JP3648130B2

JP3648130B2 - 映像一覧方法及び映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP3648130B2
Application number: JP2000141418A
Authority: JP
Inventors: 行信谷口; 治彦児島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-05-15
Filing date: 2000-05-15
Publication date: 2005-05-18
Anticipated expiration: 2020-05-15
Also published as: JP2001326881A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像をシーンに分割し、一シーンを一アイコンで表現して、それらのアイコンを一覧表示することによって、映像の概要を素早く把握できるようにする映像一覧方法と、その映像一覧方法を実現する映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、動きを含めた映像の詳細を素早く理解できるようにする映像一覧方法と、その映像一覧方法を実現する映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【０００２】
【従来の技術】
▲１▼従来技術１
映像から場面の切り替わり（ショット切り替えと呼ぶ）を検出して一覧表示するソフトウェア製品、例えば、Ｖirage 社ＶideoＬogger3.1が開発され販売されている。このようなソフトウェア製品の目的の一つとして、映像に対する情報付加を効率化することがある。
【０００３】
図１０の模式図を用いて、この従来技術１の動作の概略について説明する。
【０００４】
入力として与える映像１００は、三つの場面（ショット）Ａ，Ｂ，Ｃなどから構成されており、この例では、ショットＡは４枚のフレームＡ1,Ａ2,Ａ3,Ａ4 から構成され、ショットＢは３枚のフレームＢ1,Ｂ2,Ｂ3 から構成され、ショットＣは３枚のフレームＣ1,Ｃ2,Ｃ3 から構成されている。これらのショットＡ，Ｂ，Ｃの境界１０１，１０２，１０３をショット切り替えと呼ぶ。
【０００５】
この従来技術１では、先ず最初に、このショット切り替え位置を検出する。画像処理を用いてショット切り替え位置を検出する方法として様々なものが開発されており、例えば、特許第2869398 号「カット点検出方法及び装置」に示された方法を用いることで検出できる。
【０００６】
続いて、それぞれのショットの先頭画像を代表画像２０１（Ａ1,Ｂ1,Ｃ1,......）として映像１００から抜き出し、縮小するなどして、代表画像表示ウィンドウ２００内に一覧表示する。
【０００７】
このようにして、従来技術１では、ショットから代表画像を抽出して一覧表示することで、利用者は映像を再生して見なくても内容の概略を把握できるようにしている。
【０００８】
この従来技術１に従うと、以上のようにして作成した代表画像一覧を用いることで、情報付与インタフェースを構築できる。例えば、利用者が代表画像２０１の一つをマウスなどのポインティングデバイスで選択すると、コメント入力ウィンドウ２０３が表示されるようにプログラムする。
【０００９】
このコメント入力ウィンドウ２０３を使って、例えば、登場人物、場所、日時、イベントなどといった付加情報をショット毎にテキスト入力する。入力テキストはデータベースに登録され、後で検索に利用される。例えば「国会」という単語を与えると、「国会」に関するシーン（ショット）が検索され表示されるといった具合である。
【００１０】
この従来技術１の一つ目の問題点は、ショット切り替え検出アルゴリズムが１００％正しくショット切り替えを検出できるわけではないことである。例えば、ショットＡとショットＢの境界を示すショット切り替えが検出できなかったと仮定する。この場合、代表画像一覧からショットＢの代表画像が抜け落ちることになり、重要なショットを見落とす可能性がある。結局、見落としを無くすには映像をいちいち再生して確認する煩雑な作業が必要となる。
【００１１】
二つ目の問題点は、静止画である代表画像を見るだけではシーンの詳細が分からない場合があることである。例えば、サッカー映像を入力として与え、シュートシーンを見つけて情報を付与する作業を考える。静止画ではシュートシーンか否かの判断が困難なので、どうしても動画での確認が必要になる。静止画像から構成される代表画像一覧だけでは動画による確認ができないという問題点があった。
【００１２】
▲２▼従来技術２
ショット切り替えの検出もれの有無を確認する作業を効率化する方法として、特開平10-51734号「動画像編集装置および動画像編集方法」が開示されている。この従来技術２では、一ショットに対して一枚の代表画像を表示するのではなくて、ショットの中からある一定間隔で抜き出した画像もあわせて表示することで、検出もれを見つけやすくしている。
【００１３】
図１１に、この従来技術２のインタフェースの模式図を示す。
【００１４】
この従来技術２では、画像表示ウィンドウ３００に、ショット切り替え直後の代表画像Ａ１，Ｃ１をショット切り替えを示すマーク３０１と共に表示するとともに、その間の画像Ａ３，Ｂ１，Ｂ３も合わせて表示するようにしている。
【００１５】
この図１１では、Ｂ１がショット切り替えとして検出されなかった場合を示しているが、この表示方法により、利用者が画像列を観察することで検出もれを簡単に発見できることになる。更に、この従来技術２では、動画として当該部分を詳細に確認できるようにするために、別ウィンドウ３０２を表示して、マウスなどでプレビューボタン３０３が操作されるときには動画として映像を確認できるようにしている。
【００１６】
この従来技術２の問題点は、一つのショットについて多数の代表画像を表示する必要があるので、結局、一画面に収まるショットの数が少なくなり長時間の映像について確認作業を行おうとすると、ウィンドウのスクロール操作などの余計な操作が増え作業効率が落ちることがある。また、もう一つの問題点として、動画としてショットを確認するために別ウィンドウ３０２を表示すると、視点の移動が頻繁になり、利用者の負担が増大することがあった。
【００１７】
【発明が解決しようとする課題】
要約すると、従来技術１は、一画面に多くのショットを表示でき映像の概要把握には適しているが、動画として映像を確認できないという問題点があった。したがって、ショット切り替えの検出もれの修正が困難であった。
【００１８】
この従来技術１では静止画を代表画像としているが、すべてを動画として表示させることも可能である。
【００１９】
この方法を用いると、動画での確認作業が可能になるとともに、一画面に多くのショットを収めることが可能になるものの、同時に表示される動画の数が多くなることで、表示処理に多くの計算パワーを要するという問題点や、画面が騒がしくなりすぎ集中しずらくなるという問題点や、目が疲れるといった問題点が生ずる。
【００２０】
一方、従来技術２は、動画での確認作業を可能にしているが、一画面に表示できるショットが少なくなったり、視点の移動が頻繁になり、確認作業の効率が落ちるという問題があった。
【００２１】
本発明は、これらの問題点を解決するためになされたものであり、動画によるシーンの確認作業を効率化することで、動きを含めた映像の詳細を素早く理解できるようにする新たな映像一覧方法の提供と、その映像一覧方法を実現する映像一覧処理プログラムを記録した新たなコンピュータ読み取り可能な記録媒体の提供とを目的とする。
【００２２】
【課題を解決するための手段】
この目的を達成するために、本発明では、基本的な構成として、映像を複数のシーンに分割する手順と、分割したそれぞれのシーンから代表画像を一枚ずつ抽出しアイコンとして一覧表示する手順と、利用者により選定される利用者が注目するアイコンを検出する手順と、注目アイコンが検出された場合に、注目アイコンの指すシーンに属する映像を注目アイコンに動画表示する手順とを有することを特徴とする。
【００２３】
このように構成される本発明では、利用者が注目するアイコンを検出する手順を備えて、その手順により検出された注目アイコンのみを動画表示するように処理することから、一画面に多くのシーンを表示しつつ、動画アイコンによる映像の確認を可能にして、視点の移動が煩雑になるという問題点や、スクロール操作などの増加により確認作業の効率が落ちるという問題点や、表示処理に多くの計算パワーを要するという問題点や、画面が騒がしくなりすぎ集中しずらくなるという問題点や、目が疲れるといった問題点を解決する。これにより効率的な作業を行えるようになる。
この基本的な構成を採るときに、本発明では、映像を複数のシーンに分割する手順が、場面の切り替わりであるショット切り替えを検出して、映像を複数のショットに分割することで、映像を複数のシーンに分割する。
この構成に従って、ショットという映像制作でよく用いられている単位毎に情報を付与できるなどの効果がある。
そして、この基本的な構成を採るときに、本発明では、動画表示する手順が、注目アイコンに対応するショット（現ショット）の先頭フレームからそのショットの次のショットの先頭フレームまでを繰り返し動画表示することを特徴とする。
この構成に従って、現ショットの最後までではなく、次のショットの先頭まで表示されることになることで、ショット切り替えの検出もれを目視で効率的に確認できるようになる。
【００２８】
更に、本発明では、注目アイコンを検出する手順が、コンピュータ画面上のポインティングカーソルがアイコンに重なることを検出する手順であることを特徴とする。
【００２９】
この構成に従って、マウスを利用可能なウィンドウシステム（例えば、Ｘ−Ｗindow,Ｗindows）の上に簡単に実装できるようになる。
【００３０】
更に、本発明では、動画表示する手順が、予め設定した時間内に動画再生が一巡するように間引いて表示することを特徴とする。
【００３１】
この構成に従って、長いシーンも、一定時間内に動画再生されるようになるので、動画確認作業が効率化される。
【００３２】
更に、本発明では、利用者にアイコンを選択させる手順と、選択されたアイコンに対して利用者に付加情報を入力させる手順と、入力された付加情報を、選択されたアイコンの指す映像区間と関連付けて記録する手順とを有することを特徴とする。
【００３３】
この構成に従って、アイコンに対するコメントなどの付加情報を利用者が入力するインタフェースが提供されることで、効率的に情報付加作業を行えるようになる。
【００３４】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００３５】
図１に、本発明を具備する映像処理装置１の一実施形態例を図示する。
【００３６】
この図に示すように、本発明を具備する映像処理装置１は、処理対象の映像を格納する映像ファイル２に接続されて、本発明を実現するために、利用者との対話手段となる端末３と、映像処理プログラム１０と、動画アイコン表示ルーチン１１と、映像作業ファイル１２と、タイムコード格納域１３とを備える。
【００３７】
ここで、図中に示す４は端末３の備えるディスプレイ、５は端末３の備えるキーボード、６は端末３の備えるマウスである。
【００３８】
この映像処理プログラム１０は、フロッピィディスクや回線などを介してインストールされてメモリ上で動作して、本発明を実現するための映像処理のメイン処理を実行する。動画アイコン表示ルーチン１１は、フロッピィディスクや回線などを介してインストールされてメモリ上で動作して、映像処理プログラム１０から呼び出されて本発明に特徴的な動画アイコン表示処理を実行する。
【００３９】
映像作業ファイル１２は、映像処理プログラム１０により処理される映像の作業用ファイルとして用意される。タイムコード格納域１３は、映像を仮想的に分割するときに得られるタイムコードを格納する。
【００４０】
ここで、映像処理プログラム１０や動画アイコン表示ルーチン１１は、計算機が読み取り可能な可搬媒体メモリや半導体メモリやハードディスクなどの適当な記録媒体に格納することができる。
【００４１】
図２及び図３に、映像処理プログラム１０の実行する処理フローの一実施形態例、図４に、動画アイコン表示ルーチン１１の実行する処理フローの一実施形態例を図示する。
【００４２】
次に、この処理フローに従って、このように構成される本発明を具備する映像処理装置１の実行する処理について詳細に説明する。
【００４３】
映像処理プログラム１０は、起動されると、図２及び図３の処理フローに示すように、先ず最初に、ステップ１で、映像ファイル２から処理対象の映像を読み込んで映像作業ファイル１２に格納する。
【００４４】
続いて、ステップ２で、その読み込んだ処理対象の映像からショット切り替え（カットとも呼ばれる）を検出する。具体的には、特許第2869398 号「カット点検出方法及び装置」に示された方法を用いることができる。
【００４５】
この特許第2869398 号に示された方法では、図５に示すように、ＭＰＥＧ方式などにより圧縮された圧縮画像データを画面間順方向予測符号化画像列（ＭＰＥＧ方式の場合にはＰピクチャの画像列）と、画面内符号化画像列（ＭＰＥＧ方式の場合にはＩピクチャの画像列）とに分離し、それぞれの画像列の変化量を算出して、その算出した２つの変換量からカット点を検出するように処理しているので、この方法に従って、読み込んだ処理対象の映像からショット切り替えを検出するのである。
【００４６】
このショット切り替えの検出処理により、一本の映像が複数のショットに分割される。実際には、映像データそのものを分割するわけではなくて、ショット切り替えの時間情報であるタイムコードをタイムコード格納域１３に記憶することで、映像をショットに仮想的に分割することになる。
【００４７】
続いて、ステップ３で、ショット毎に一枚の代表画像（アイコンと呼ぶ）を抽出（必要に応じて縮小する）し、それらを図６に示すような代表画像一覧ウィンドウ２０内に順に並べて表示する。この図に示す代表画像一覧ウィンドウ２０では、通番(1),(2),......と、ショットの開始時刻とをアイコンの下に表示するようにしている。
【００４８】
ここで、代表画像一覧ウィンドウ２０は、図６に示すように、マウスカーソル２１を表示するとともに、併合ボタン２２と、追加ボタン２３と、コメント入力ボタン２４とを持っている。
【００４９】
このときの代表画像の表示形態については、特開平11-224266 号「電子映像文書作成利用方法及びプログラム格納媒体」に記載されているように、利用者が指定した方法などに従って、図７（ａ）に示すように欧文の横書きの順に配置したり、図７（ｂ）に示すように縦方向に配置するといったように、時間順序を追うことができる形で代表画像を配置していくことになる。
【００５０】
図６に示す代表画像一覧ウィンドウ２０の例では、９つのアイコンＡ1,Ｂ1,Ｃ1,....を左から右へ、上から下へというように欧文の横書きの順に一覧表示している。
【００５１】
このときに表示する代表画像としては、ショットの先頭画像を用いることもできるし、ショット切り替えから一定時間後の画像を代表画像とすることもできる。なお、この時点では、すべてのアイコンが静止画として表示されている。
【００５２】
続いて、ステップ４で、ユーザ操作を待って、ユーザ操作を検出すると、続くステップ５で、そのユーザ操作が処理の終了を要求するものであるのか否かを判断して、処理終了要求のユーザ操作であることを判断するときには、処理を終了する。
【００５３】
一方、ステップ５で、処理終了要求のユーザ操作でないことを判断するときには、ステップ６に進んで、ユーザ操作によりマウスカーソル２１がアイコンの上に移動したのか否かを調べて、マウスカーソル２１がアイコン上に存在する場合には、利用者がそのアイコンに注目しているとみなし、ステップ７に進んで、動画アイコン表示ルーチン１１を呼び出すことで動画アイコン表示処理を開始させてから、ステップ４に戻ることで次のユーザ操作を待つ。
【００５４】
図６に示す代表画像一覧ウィンドウ２０の例では、マウスカーソル２１がアイコンＡ１の上に位置しているので、アイコンＡ１が注目アイコンとして検出されることになる。後述するように、動画アイコン表示ルーチン１１は、注目アイコンのみを動画表示するように処理するので、この例の場合には、アイコンＡ１のみが動画表示されることになる。なお、マウスカーソル２１の位置は、コンピュータのオペレーティングシステム（ＯＳ）が管理しているので、オペレーティングシステムに問い合わせることで取得できる。
【００５５】
一方、ステップ６で、ユーザ操作によりマウスカーソル２１がアイコンの上に移動したのではないことを判断するときには、ステップ８に進んで、ユーザ操作によりマウスカーソル２１がアイコンの外へ移動したのか否かを判断して、マウスカーソル２１がアイコンの外へ移動したことを判断するときには、ステップ９に進んで、動画アイコン表示ルーチン１１を停止させることで動画アイコン表示処理を終了させてから、ステップ４に戻ることで次のユーザ操作を待つ。
【００５６】
このようにして、マウスカーソル２１がアイコン上にとどまっている場合には動画アイコン表示処理を継続させるとともに、マウスカーソル２１がアイコンの外へ移動した場合には、動画アイコン表示処理を終了させて、今まで動画表示されていたアイコンを静止画表示に切り替えていくように処理するのである。
【００５７】
次に、図２及び図３の処理フローの説明を一時離れて、図４の処理フローに従って、動画アイコン表示ルーチン１１の実行する動画アイコン表示処理について詳細に説明する。
【００５８】
動画アイコン表示ルーチン１１は、注目アイコンが検出されることで起動されると、図４の処理フローに示すように、先ず最初に、ステップ２０で、タイムコード格納域１３にアクセスすることで、注目アイコンに対応付けられるショットの開始時刻αと次のショットの開始時刻βとを取得する。
【００５９】
すなわち、映像処理プログラム１０の処理に従ってタイムコード格納域１３にショット切り替えの時刻情報であるタイムコードが記録されているので、それを参照することで、注目アイコンに対応付けられるショットの開始時刻αと次のショットの開始時刻βとを取得するのである。
【００６０】
この２つの開始時刻α，βを取得すると、続いて、ステップ２１で、変数ｉに初期値“０”をセットする。
【００６１】
続いて、ステップ２２で、注目アイコンに対応付けられるショットをＮ等分する時刻ｔの内、変数ｉの指す時刻を、
ｔ＝α×（Ｎ−ｉ）／Ｎ＋β×ｉ／Ｎ（ｉ＝0,1,2,....,N）
の式に従って算出して、映像作業ファイル１２に格納される映像の中から、その時刻ｔに最も近い画像を取得（必要に応じて縮小する）して、それを注目アイコンに表示する。
【００６２】
この式に従って、「ｉ＝０」のときには「ｔ＝α」という時刻が求められることで、注目アイコンに対応付けられるショットの先頭画像が注目アイコンに表示されることになる。また、「ｉ＝Ｎ」のときには「ｔ＝β」という時刻が求められることで、注目アイコンに対応付けられるショットの次のショットの先頭画像が注目アイコンに表示されることになる。
【００６３】
ここで、Ｎはショットの長さに関係なく設定される。（Ｎ＋１）は一つのショットから抜き出すフレーム数であり、Ｎが大きいほど動画再生が滑らかになる反面、一回の再生に要する時間が長くなり確認作業に時間がかかる。従って、適当な値（例えばＮ＝１０）をＮとして設定する必要がある。
【００６４】
続いて、ステップ２３で、ステップ２２の処理により表示を開始してから規定の一定時間ｐ（例えば１００ミリ秒）が経過するのを待って、その一定時間ｐが経過したことを判断すると、ステップ２４に進んで、変数ｉの値を１つインクリメントする。
【００６５】
続いて、ステップ２５で、変数ｉの値がＮよりも大きくなったのか否かを判断して、大きくなっていないことを判断するときには、そのままステップ２２に戻り、大きくなったことを判断するときには、ステップ２６に進んで、変数ｉの値を０にリセットしてからステップ２２に戻る。
【００６６】
このようにして、動画アイコン表示ルーチン１１は、注目アイコンが検出されることで起動されると、数十〜数百ミリ秒という短い時間間隔ｐでもって、注目アイコンに表示する画像を更新することで、注目アイコンの指すショットの画像を間引きつつ動画表示するように処理するのである。
【００６７】
この動画アイコン表示処理は、ｐ×（Ｎ＋１）（ｐ＝１００ミリ秒、Ｎ＝１０の場合、ｐ×Ｎ＝1.１秒）の時間で一巡する。ショットの長さに関係なく一定時間内に動画が一巡するようにしたので、長いショットも短時間で確認できることになる。
【００６８】
なお、動画の動きが速すぎて確認に困難をきたす場合には、後述するモニターウィンドウ３０を補助的に用いることも可能であり、この場合には、モニターウィンドウ３０の持つ早送り機能や、巻き戻し機能や、再生機能や、停止機能などの制御を行いながら確認作業を行うことになる。
【００６９】
動画アイコン表示ルーチン１１は、図４の処理フローに従う場合、注目アイコンに対応付けられるショットの開始フレームから次のショットの開始フレームβまでを動画表示するようにしている。これに対して、注目アイコンに対応付けられるショットの開始フレームαから終了フレーム（β−１）までを動画表示するように修正することもできる。
【００７０】
この場合には、例えば、ショットＡに対応する動画アイコンは画像列
「Ａ1,Ａ3,Ａ5 」「Ａ1,Ａ3,Ａ5 」 ............
を繰り返し動画表示することになる。
【００７１】
しかしながら、この方法によると、Ａ1,Ａ3,Ａ5 はすべて同一ショットに含まれるフレームなので画像の絵柄が似通っており、動画がどこで一巡したのかが分かりずらいという問題がある。
【００７２】
それに対して、図４の処理フローの方法では、
「Ａ1,Ａ3,Ａ5,Ｂ1 」「Ａ1,Ａ3,Ａ5,Ｂ1 」 ............
のように、次のショットの先頭フレームＢ１まで表示するようにしているので、動画が一巡したことが分かりやすくなる。つまり、Ｂ１の画像を表示したとき、一瞬動画がフラッシュしたように見えるので、その時点で動画が一巡したことが分かる。
【００７３】
更に、図４の処理フローの方法によると、ショット切り替えの検出もれが目視で発見しやすくなる。
【００７４】
例えば、ショットＢが検出されなかった場合、ショットＡに対応する動画アイコンは、例えば画像列
「Ａ1,Ａ5,Ｂ2,Ｂ6,Ｃ1 」「Ａ1,Ａ5,Ｂ2,Ｂ6,Ｃ1 」 ............
を表示することになる。この場合には、Ｂ２とＣ１の画像が表示されたとき、２回フラッシュしたように見える。２回、フラッシュしたように見せることで、ショット切り替えの検出もれがあったことを知覚できるようにしている。
【００７５】
次に、図２及び図３の処理フローに戻って、映像処理プログラム１０の実行する処理について説明を進める。
【００７６】
映像処理プログラム１０は、図２の処理フローのステップ８で、ユーザ操作がマウスカーソル２１の移動操作でないことを判断するときには、ステップ１０（図３の処理フロー）に進んで、ユーザ操作が代表画像（アイコン）の併合要求であるのか否かを判断する。
【００７７】
すなわち、図６に示すように、代表画像一覧ウィンドウ２０には併合ボタン２２が用意されており、利用者は、ショット切り替えが過剰に検出された（一つのショットが二つ以上のショットとして検出された場合）ことで、代表画像一覧ウィンドウ２０に表示されている代表画像を併合させたいと考えるときには、代表画像一覧ウィンドウ２０に表示される複数の代表画像を同時に選択して、併合ボタン２２を押下することにより代表画像の併合要求を発行してくるので、ユーザ操作がこの併合要求（複数のショットを１つに併合させる要求）であるのか否かを判断するのである。
【００７８】
この判断処理により、ユーザ操作が代表画像（アイコン）の併合要求であることを判断するときには、ステップ１１に進んで、併合対象として選択された複数の代表画像の指すショットを併合するとともに、それらの代表画像を併合してから、ステップ４に戻ることで次のユーザ操作を待つ。
【００７９】
このようにして、映像処理プログラム１０は、代表画像一覧ウィンドウ２０に表示する複数の代表画像がマウス６によりクリックされることで選択（その旨が分かるように表示色を変えてもよい）された後に、併合ボタン２２が押下されたことを検出すると、それらの代表画像の併合要求が発行されたことを判断して、時間的に前の方の代表画像を残し、残りの代表画像を消去することで代表画像を併合するとともに、タイムコード格納域１３に格納されるそれらの代表画像の指すタイムコードを１つに統合（ショットの開始時刻と終了時刻とが残るように統合）するように処理するのである。
【００８０】
ここで、誤り修正メニューを用意して、この誤り修正メニューが選択されるときに併合ボタン２２を表示するという構成を採るときには、誤り修正メニューが選択されたことを検出するときに併合ボタン２２を表示していくことで、上述した併合処理を行っていくことになる。
【００８１】
一方、ステップ１０で、ユーザ操作が代表画像（アイコン）の併合要求でないことを判断するときには、ステップ１２に進んで、ユーザ操作が代表画像の追加要求であるのか否かを判断する。
【００８２】
すなわち、映像処理プログラム１０は、図６に示す代表画像一覧ウィンドウ２０を表示するときに、図８に示すようなモニターウィンドウ３０を表示しており、利用者は、正規のショット切り替えが検出されなかったことで、代表画像一覧ウィンドウ２０に代表画像を追加したいと考えるときには、このモニターウィンドウ３０を使って代表画像の追加要求を発行してくるので、ユーザ操作がこの追加要求であるのか否かを判断するのである。
【００８３】
この判断処理により、ユーザ操作が代表画像（アイコン）の追加要求であることを判断するときには、ステップ１３に進んで、モニターウィンドウ３０を使って利用者と対話することで、代表画像を追加（ショットを追加）してから、ステップ４に戻ることで次のユーザ操作を待つ。
【００８４】
このモニターウィンドウ３０では、動画や静止画を表示する画像表示エリア３１と、画像の動きを停止させる停止ボタン３２と、画像を再生させる再生ボタン３３と、画像を早送りさせる早送りボタン３４と、画像を巻き戻しさせる巻き戻しボタン３５と、映像全体の中での現在の画像位置の変更に用いるスクロールバー３６と、設定されたショット区間の中での現在の画像位置の変更に用いるスクロールバー３７と、追加するショットの開始時刻の設定に用いるＩＮボタン３８と、追加するショットの終了時刻の設定に用いるＯＵＴボタン３９とを用意している。
【００８５】
これから、利用者は、例えば、スクロールバー３６を使って、画像表示エリア３１に表示される画像をスクロールしながら、追加したいショットの開始位置を見つけると、ＩＮボタン３８を押下することでショットの開始時刻を仮設定するとともに、追加したいショットの終了位置を見つけると、ＯＵＴボタン３９を押下することでショットの終了時刻を仮設定する。そして、その仮設定した時刻の区切るショットを追加するときには、代表画像一覧ウィンドウ２０の追加ボタン２３を押下する。
【００８６】
この代表画像の追加要求（ショットの追加要求）を受けて、映像処理プログラム１０は、仮設定された開始時刻と終了時刻とをタイムコード格納域１３に登録することで新たなショットを登録するとともに、その登録したショットの代表画像を代表画像一覧ウィンドウ２０に追加表示することで代表画像を追加する。
【００８７】
このようにして、映像処理プログラム１０は、モニターウィンドウ３０を表示して、ＩＮボタン３８の押下されるときのスクロールバー３６の座標位置の指す映像時刻をショットの仮開始時刻とし、ＯＵＴボタン３９の押下されるときのスクロールバー３６の座標位置の指す映像時刻をショットの仮終了時刻として決定し、追加ボタン２３が押下されることを検出すると、その仮設定した開始時刻／終了時刻をタイムコード格納域１３に登録することで、利用者の切り出したショットを登録するように処理するのである。
【００８８】
ここで、誤り修正メニューを用意して、この誤り修正メニューから追加要求が選択されるときにモニターウィンドウ３０を表示するという構成を採るときには、誤り修正メニューの中から追加要求が選択されるときにモニターウィンドウ３０を表示していくことで、上述した追加処理を行っていくことになる。
【００８９】
一方、ステップ１２で、ユーザ操作が代表画像（アイコン）の追加要求でないことを判断するときには、ステップ１４に進んで、ユーザ操作がコメントの入力要求であるのか否かを判断する。
【００９０】
すなわち、図６に示すように、代表画像一覧ウィンドウ２０にはコメント入力ボタン２４が用意されており、利用者は、代表画像一覧ウィンドウ２０に表示されている代表画像の指すショットにコメント情報を割り付けたいと考えるときには、代表画像一覧ウィンドウ２０に表示される代表画像をマウス６で選択してから、コメント入力ボタン２４を押下することによりコメント入力要求を発行してくるので、ユーザ操作がこのコメント入力要求であるのか否かを判断するのである。
【００９１】
この判断処理により、ユーザ操作がコメント入力要求であることを判断するときには、ステップ１５に進んで、図９に示すようなコメント入力ウィンドウ４０を表示して利用者と対話することでコメント情報を入力して、それをユーザの選択した代表画像の指すショットに対応付けて格納（映像作業ファイル１２などに格納する）してから、ステップ４に戻ることで次のユーザ操作を待つ。
【００９２】
このコメント入力ウィンドウ４０は、代表画像を表示する代表画像表示エリア４１と、二つのテキスト入力エリア４２，４３と、ＯＫボタン４４、キャンセルボタン４５とから構成される。
【００９３】
映像処理プログラム１０は、利用者から代表画像を選択してコメントの入力要求が発行されると、キーボード５から入力されるテキストを、テキスト入力エリア４２またはテキスト入力リエア４３に表示し、利用者がＯＫボタン４４を押下すると、コメント入力処理を終了して、選択された代表画像（アイコン）の指すショットと関連付けてコメント情報を保存して、コメント入力ウィンドウ４０を閉じる。そして、利用者がキャンセルボタン４５を押下するときには、入力したコメント情報を保存しないで、コメント入力ウィンドウ４０を閉じるように処理する。
【００９４】
このようなコメント入力ウィンドウ４０のインタフェースを設けることにより、ショット単位での情報付与が効率化されるという効果がある。
【００９５】
そして、ステップ１４で、ユーザ操作がコメント入力要求でないことを判断するときには、ステップ１６に進んで、ユーザ操作の指定する処理を実行してから、ステップ４に戻ることで次のユーザ操作を待つ。
【００９６】
このようにして、映像処理プログラム１０は、映像を複数のショットに分割して、それぞれのショットから代表画像を一枚ずつ抽出しアイコンとして一覧表示するとともに、利用者が注目するアイコンを検出して、注目アイコンが検出された場合には、注目アイコンの指すショットに属する映像を注目アイコンに動画表示していくように処理するのである。
【００９７】
以上に説明した実施形態例では、映像をショットを単位にして分割することで説明したが、映像をシーンに分割することでもよい。
【００９８】
映像をシーンに分割する場合には、ショット切り替えだけでなく、カメラ操作の開始点・終了点や、テロップ（字幕）の表示開始点・終了点や、ナレーションの開始点・終了点、音楽の開始点・終了点などといった音声の切り替えなどの情報を手がかりにして、映像をシーンに分割することになる。勿論、ショットの切り替えなどを手がかりにして、利用者と対話することで映像をシーンに分割してもよい。
【００９９】
また、利用者の注目するアイコンを検出する手順も、様々なものが考えられる。例えば、キーボード操作により注目アイコンが切り替えられるようにとプログラムしたり、視線検出装置などを使うことも可能である。
【０１００】
また、図４に示した処理フローでは、動画更新手続きを繰り返し呼び出すようにしているが、実際にはハードウェアタイマーなどを用いて一定時間おきに更新手続きが呼び出されるような構成を用いることも可能である。
【０１０１】
【発明の効果】
以上説明したように、本発明では、映像を複数のシーンに分割して処理するときにあって、利用者が注目するアイコンを検出して、その注目アイコンのみを動画表示することを特徴とする。
【０１０２】
この構成に従って、一画面に多くのシーンを表示しつつ、動画アイコンによる映像の確認を可能にして、視点の移動が煩雑になるという問題点や、スクロール操作などの増加により確認作業の効率が落ちるという問題点や、表示処理に多くの計算パワーを要するという問題点や、画面が騒がしくなりすぎ集中しずらくなるという問題点や、目が疲れるといった問題点を解決し、これにより効率的な作業を行えるという効果がある。
【０１０３】
更に、本発明では、映像を複数のシーンに分割する手順が、場面の切り替わりであるショット切り替えを検出し、映像をショットに分割する手順を含むことを特徴とする。
【０１０４】
この構成に従って、ショットという映像制作でよく用いられている単位毎に情報を付与できるなどの効果がある。
【０１０５】
このとき、動画表示する手順が、注目アイコンに対応する現ショットの先頭フレームから次ショットの先頭フレームまでを繰り返し動画表示することを特徴とする。
【０１０６】
この構成に従って、現ショットの最後までではなく、次のショットの先頭まで表示されることになることで、ショット切り替えの検出もれを目視で効率的に確認できるようになる。
【０１０７】
更に、本発明では、注目アイコンを検出する手順が、コンピュータ画面上のポインティングカーソルがアイコンに重なることを検出する手順であることを特徴とする。
【０１０８】
この構成に従って、マウスを利用可能なウィンドウシステム（例えば、Ｘ−Ｗindow,Ｗindows）の上に簡単に実装できるようになる。
【０１０９】
更に、本発明では、動画表示する手順が、予め設定した時間内に動画再生が一巡するように間引いて表示することを特徴とする。
【０１１０】
この構成に従って、長いシーンも、一定時間内に動画再生されるようになるので、動画確認作業が効率化される。
【０１１１】
更に、本発明では、利用者にアイコンを選択させる手順と、選択されたアイコンに対して利用者に付加情報を入力させる手順と、入力された付加情報を、選択されたアイコンの指す映像と関連付けて記録する手順とを有することを特徴とする。
【０１１２】
この構成に従って、アイコンに対するコメントなどの付加情報を利用者が入力するインタフェースが提供されることで、効率的に情報付加作業を行えるようになる。
【図面の簡単な説明】
【図１】本発明を具備する映像処理装置の一実施形態例である。
【図２】映像処理プログラムの実行する処理フローの一実施形態例である。
【図３】映像処理プログラムの実行する処理フローの一実施形態例である。
【図４】動画アイコン表示ルーチンの実行する処理フローの一実施形態例である。
【図５】ショット切り替えの検出処理の説明図である。
【図６】代表画像一覧ウィンドウの一実施形態例である。
【図７】代表画像の表示形態の説明図である。
【図８】モニターウィンドウの一実施形態例である。
【図９】コメント入力ウィンドウの一実施形態例である。
【図１０】従来技術の説明図である。
【図１１】従来技術の説明図である。
【符号の説明】
１映像処理装置
２映像ファイル
３端末
４ディスプレイ
５キーボード
６マウス
１０映像処理プログラム
１１動画アイコン表示ルーチン
１２映像作業ファイル
１３タイムコード格納域

Claims

場面の切り替わりであるショット切り替えを検出して、映像を複数のショットに分割する手順と、
分割したそれぞれのショットから代表画像を一枚ずつ抽出しアイコンとして一覧表示する手順と、
利用者により選定される利用者が注目するアイコンを検出する手順と、
注目アイコンが検出された場合に、該注目アイコンの指すショットに属する映像を、該注目アイコンに、該ショットの先頭フレームから該ショットの次のショットの先頭フレームまでを繰り返し表示する形で動画表示する手順とを有することを、
特徴とする映像一覧方法。
請求項１記載の映像一覧方法において、
注目アイコンを検出する手順が、コンピュータ画面上のポインティングカーソルがアイコンに重なることを検出する手順であることを、
特徴とする映像一覧方法。
請求項１又は２記載の映像一覧方法において、
動画表示する手順が、予め設定した時間内に動画再生が一巡するように間引いて表示することを、
特徴とする映像一覧方法。
請求項３記載の映像一覧方法において、
予め設定したフレーム数を再生対象の映像のフレーム数で除算して間引き率を算出し、該間引き率に従ってフレームを間引いて映像を再生することを、
特徴とする映像一覧方法。
請求項１ないし４のいずれか１項に記載の映像一覧方法において、
利用者にアイコンを選択させる手順と、
選択されたアイコンに対して利用者に付加情報を入力させる手順と、
入力された付加情報を、選択されたアイコンの指す映像区間と関連付けて記録する手順とを有することを、
特徴とする映像一覧方法。
場面の切り替わりであるショット切り替えを検出して、映像を複数のショットに分割する処理と、
分割したそれぞれのショットから代表画像を一枚ずつ抽出しアイコンとして一覧表示する処理と、
利用者により選定される利用者が注目するアイコンを検出する処理と、
注目アイコンが検出された場合に、該注目アイコンの指すショットに属する映像を、該注目アイコンに、該ショットの先頭フレームから該ショットの次のショットの先頭フレームまでを繰り返し表示する形で動画表示する処理とをコンピュータに実行させるための映像一覧処理プログラムを記録したことを、
特徴とする映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体。