JP3938368B2 - 動画像データの編集装置および動画像データの編集方法 - Google Patents

Description

この発明は、例えばハードディスクやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などに格納された動画像データに対して、例えば再生を行なわない区間の始点と終点を設定編集する場合に使用して好適な動画像データの編集装置および動画像データの編集方法に関し、特に、当該編集を行なう際のユーザ・インターフェースの技術に関する。

例えばテレビ放送番組を録画して、ハードディスク装置などに一旦格納した動画像データに対して、特に再生して視聴したい部分のみを指定して再生することができるようにすることが提案されている（特許文献１（特開平１１−１４６３３６号公報））。

これは、編集モードにおいて、ハードディスク装置などに一旦格納した動画像データを読み出して再生し、その再生画像を視聴して、再生時に、スキップしたい画像区間の始点と終点とを指定し、その指定した画像区間の始点および終点の情報を、動画像データに付加して、ハードディスク装置に書き戻すようにすることにより、実現される。

ＤＶＤ−Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ（ＤＶＤ−ＶＲ）フォーマットの規格においては、スキップしたい画像区間の始点と終点との情報は、動画像データの付加データとして含めて記録することができる。記録される動画像データには、１コンテンツ当たりに、前記画像区間の始点（イン点）と終点（アウト点）とが、複数対、記録することが可能とされている。

ところで、従来、このイン点とアウト点の設定は、編集モードにおいて、再生画面に表示された再生画像を観ながら、再生ボタンまたはサーチボタンの操作、ポーズ操作、イン点またはアウト点の設定操作、を繰り返し行なうようにすることにより、編集点としてのイン点とアウト点の設定を行なうようにしている。
特開平１１−１４６３３６号公報

ところが、再生画面のみを観ながら、ポーズボタンを操作して、編集点を見付ける方法は、細かい編集点を設定するには、非常に困難である。すなわち、従来の方法では、細かい設定をしようとする場合には、編集点近傍でポーズボタンを押して画像を停止させた後、その停止位置の画像がユーザが希望する編集点よりずれているときには、再生ボタンやサーチボタンとポーズボタンを繰り返し操作することにより、希望する編集点を見付け出すようにしなければならず、非常に厄介である。

また、このような厄介な操作により設定した編集点も、実際には、希望する編集点になっていない場合もあった。

この発明は、以上の点にかんがみ、上記のイン点およびアウト点の編集点の設定を、精細に、かつ容易にできるようにした動画像データの編集装置および編集方法を提供することを目的とする。

上記の課題を解決するため、請求項１の発明による動画像データの編集装置は、
ユーザからの操作入力を受け付ける操作入力部と、
動画像データを格納する格納部と、
前記格納部から読み出された前記動画像データをデコードして表示用画像データに変換し、前記表示用画像データによる再生画像を表示装置の画面に表示する画像再生手段と、
前記動画像データから、当該動画像データによる画像の内の所定時間おきの画像のサムネイルを生成するサムネイル生成手段と、
前記表示装置の画面に表示中の再生画像のサムネイルおよび前記表示中の再生画像の近傍の複数枚のサムネイルを、前記再生画像に重畳して表示するようにする画像データを生成して、前記表示装置に出力する表示画像生成出力部と、
前記表示装置の画面に表示された前記複数枚のサムネイルのうちの、前記操作入力部の第１の操作部を通じて指定されたサムネイルに対応する画像データ位置を示す編集点の情報を、指定する画像区間の始点または終点の情報として前記動画像データに付加して前記格納部に格納する手段と
を備え、
前記表示画像生成出力部は、前記第１の操作部を通じて指定されたサムネイルに対応する前記画像データ位置を示す編集点が、前記始点であるのか、前記終点であるのかを示す表示を生成して前記表示装置に出力する
ことを特徴とする。

この請求項１の発明による動画像データの編集装置においては、操作入力部を通じて所定の操作がなされたときに、表示画面に表示中の再生画像のサムネイルおよび表示中の再生画像の近傍の複数枚のサムネイルが、再生画像に重畳して表示される。

したがって、例えばポーズボタンを操作したときに、当該表示中の画面のみならず、その近傍の画像がサムネイルによりユーザに提供される。ユーザは、これら重畳表示されているサムネイルの画像を編集点として指示することができ、そのサムネイルに対応する画像データ位置を編集点の情報とすることができる。

これにより、ユーザは、編集点近傍として、所定の操作、例えばポーズボタンを操作したときに、その近傍の希望する画像位置を編集点として設定することが可能になり、編集点を精細に、かつ、容易に設定することが可能になる。

請求項２の発明は、請求項１に記載の動画像データの編集装置において、
前記動画像データは、動き補償を用いると共に、複数枚分ごとの画像のグループを形成し、かつ、1グループ内の少なくとも１枚の画像は、1画面内の完結する圧縮方法で圧縮される画像圧縮方式により圧縮されて、前記格納部に格納されており、
前記サムネイル生成手段は、前記圧縮されている前記動画像データの各グループ内の、前記１画面内で完結する圧縮方法で圧縮された画像を縮小して、前記サムネイルを生成する
ことを特徴とする。

この請求項２の発明によれば、サムネイルとして表示される縮小画像は、採用される画像圧縮方式において、圧縮されている動画像データをすべてデコードすることなく再生可能な画像の最小単位であり、サムネイルの生成を高速で行なうことができると共に、十分な精細度で、編集点の設定が可能である。

この発明によれば、イン点およびアウト点の編集点の設定を、精細に、かつ容易にできる動画像データの編集装置および編集方法を提供することができる。

以下、この発明による動画像データの編集装置および編集方法の実施形態を、図を参照しながら説明する。

以下に説明する実施形態は、この発明を、放送、光ディスクなどの記録媒体、ゲームなどの複数種のメディアに亘る複数個のコンテンツを再生するマルチメディア再生装置における動画像データの編集に適用した場合である。

なお、コンテンツとは、信号によって表現された、音楽の楽曲、動画や静止画などの画像、電子小説などのテキストデータ、ゲームソフトなど、人が視覚的あるいは聴覚的に認識できる内容情報である。

また、メディアとは、ハードディスク、光ディスク、メモリカード、磁気テープなどの情報の記憶媒体や、電波やケーブルなどの情報の伝送媒体を示すものであるが、ゲームメディアなど記憶媒体や伝送媒体が同じであっても、データ形式や圧縮形式が異なるものは、別のメディアとして区別されるものである。

＜マルチメディア記録再生システムの構成＞
図１は、この実施形態が適用されたマルチメディア記録再生装置２０を含むマルチメディア記録再生システム１０の基本的な構成を示す。

この例のマルチメディア記録再生装置２０は、映像やグラフィック・ユーザ・インターフェース画面を表示する表示用ディスプレイは備えておらず、その代わりに図示を省略した映像出力端子を備える。そして、マルチメディア記録再生装置２０の映像出力端子は、接続ケーブル３１を介して、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ；陰極線管）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶ディスプレイ）などからなるモニターディスプレイ３０に接続され、このモニターディスプレイ３０の画面３２が、映像表示用およびユーザ・インターフェース画面表示用とされる。

なお、図１の例では、モニターディスプレイ３０は、その左右の両端に、スピーカ３３Ｌ，３３Ｒを備え、図示を省略したマルチメディア記録再生装置２０の音声出力端子からの音声信号が、図示を省略したケーブルを介してモニターディスプレイ３０に供給されて、音響再生されるようにされている。

マルチメディア記録再生装置２０には、放送、インターネット、ＤＶＤやＣＤなどの光ディスク、メモリカードなどの複数種のメディアを通じて、コンテンツの情報が入力される。

放送メディアに関して説明すると、マルチメディア記録再生装置２０には、この例では、テレビ放送受信用アンテナ４１が接続され、当該アンテナ４１にて受信されたテレビ放送信号がマルチメディア記録再生装置２０に供給される。そして、マルチメディア記録再生装置２０では、テレビ放送信号からユーザにより選択された放送番組コンテンツが抽出されてデコードされ、その放送番組映像がモニターディスプレイ３０の画面に表示されると共に、その放送番組の音声がモニターディスプレイ３０のスピーカ３３Ｌ，３３Ｒにより音響再生される。また、マルチメディア記録再生装置２０は、放送番組コンテンツを録画する機能も備えている。

インターネットメディアに関して説明すると、マルチメディア記録再生装置２０には、インターネットに接続するための通信回線４２が接続されており、インターネットを通じて取得されたウェブコンテンツのデータが、マルチメディア記録再生装置２０に入力される。このウェブコンテンツのデータは、マルチメディア記録再生装置２０に保存することができるようにされていると共に、マルチメディア記録再生装置２０が持つゲーム機能などの各種機能において、利用することができるように構成されている。

また、光ディスクメディアに関して説明すると、マルチメディア記録再生装置２０は、ＤＶＤやＣＤなどの光ディスク４３に格納されたコンテンツのデータの読み取り機能を備え、読み取ったデータをデコードして、モニターディスプレイ３０に供給して、視聴に供するようにする。また、ＤＶＤから読み取った映像コンテンツの動画像データや音声データおよび、ＣＤから読み取った音楽コンテンツのデータを格納する機能も有する。

光ディスクに格納されるコンテンツとしては、例えば映画の映像や音楽および音声、クラシック音楽や歌謡曲などの楽曲、電子小説などがある。電子小説のコンテンツのデータとしては、テキストデータや朗読の音声データ、挿絵などの画像データ等がある。

メモリカードメディアに関しては、マルチメディア記録再生装置２０は、メモリカード４４に格納されたデータの読み取り機能および書き込み機能とを有する。メモリカード４４に記憶されるコンテンツのデータとしては、デジタルカメラで撮影された動画や静止画の撮影画像や付随する音声情報などがあり、これらもマルチメディア記録再生装置２０が備えるデータ格納部に格納可能である。

この例のマルチメディア記録再生装置２０は、ゲーム機の機能を備えている。操作入力部５０は、このため、ゲーム機用の操作コントローラとしての機能を備え、接続ケーブル５１を介して接続されている。操作入力部５０は、この例においては、ゲーム用の操作コントローラとして主として用いられるように構成されているので、操作ボタンの数は、比較的少なく、図１の例においては、ひし形の頂点位置に設けられた４個の操作ボタン５２，５３，５４，５５と、十字型方向指示ボタン５６と、スタートボタン５７と、セレクトボタン５８と、操作入力部５０の側方に設けられたＬボタン５９ＬおよびＲボタン５９Ｒとが設けられている。

４個の操作ボタン５２，５３，５４，５５の押下部の表面には、この例には、特定の標識（マーク）が、図１の例では、丸印、三角印、四角印、×印が印刷等により表示されている。後述するように、これらの４個の操作ボタン５２，５３，５４，５５およびスタートボタン５７、セレクトボタン５８は、モニターディスプレイ３０の表示画面に表示されるグラフィック・ユーザ・インターフェースにおける特定の操作項目に対応するように予め定められている。

特に、４個のボタン５２，５３，５４，５５に対応付けられる操作項目には、これらの操作ボタン５２，５３，５４，５５に表示されている標識と同じ標識が、後述するように、付加表示されて、操作ボタンと、操作項目との対応が一目でわかるようにしている。

モニターディスプレイ３０の画面にグラフィック・ユーザ・インターフェースが表示されているときに、操作入力部５０のボタンがユーザにより操作されると、そのボタン操作がグラフィック・ユーザ・インターフェース画面に反映されるように構成されている。操作入力部５０は、マルチメディア記録再生装置２０の一部の機能として構成されている。

＜マルチメディア記録再生装置の構成＞
図２に、この実施形態の動画像データの編集装置の例としてのマルチメディア記録再生装置２０のハードウエア構成を示す図を示す。

図２に示すように、この例のマルチメディア記録再生装置は、システムバス２０１に対して、制御部２０２、テレビ放送受信部２０３、マルチディスクドライブ２０４、メモリカードドライブ２０５、ネットワーク通信インターフェース２０６、データ格納部コントローラ２０７、データデコード部２０８、データ記録処理部２０９、サムネイル生成部２１０、表示画像生成出力部２１１、ディスプレイインターフェース２１２、操作入力部インターフェース２１３、ゲーム実行処理部２１４、時計部２１５が接続されて構成される。

制御部２０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ワークエリアＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備え、プログラムＲＯＭに書き込まれたプログラムにしたがって、ワークエリアＲＡＭを用いながら、種々の制御処理を実行する。

テレビ放送受信部２０３は、アンテナ４１からの受信されたテレビ信号から、図示を省略したリモートコントローラを通じて入力されたユーザの選局操作に応じた放送番組を選択し、システムバス２０１に送出する。

マルチディスクドライブ２０４は、これに装填されるＤＶＤやＣＤなどの光ディスク４３に格納されたコンテンツのデータを、当該光ディスク４３から読み出してマルチメディア記録再生装置２０に取り込む。また、ＤＶＤが書き込み可能な場合において、制御部２０２から書き込み指示があるときには、マルチディスクドライブ２０４は、ＤＶＤに記録データを書き込む機能も備えている。

メモリカードドライブ２０５は、これに挿入されるメモリカード４４からデータを読み取り、また、マルチメディア記録再生装置２０からメモリカード４４にデータを書き込むためのものである。

ネットワーク通信インターフェース２０６は、前述したように、通信回線４２に接続されており、ウェブコンテンツなどのデータをインターネット経由で取り込んだり、ネットゲームにおいてインターネットを通じて所定の情報を送出したりする。

データ格納部コントローラ２０７には、例えばハードディスクドライブからなるデータ格納部２１５が接続される。データ格納部コントローラ２０７は、このデータ格納部２１５へのデータの書き込みおよびこのデータ格納部２１６からのデータの読み出しを制御する。

データデコード部２０８は、操作入力部５０を通じて受け付けられたユーザの指示に基づき、テレビ放送受信部２０３や、マルチディスクドライブ２０４、また、データ格納部２１５から読み出された放送コンテンツの符号化されたデータや、ＤＶＤやＣＤからの映画や音楽などの符号化された再生データを復号デコードし、システムバス２０１に送出する。制御部２０２は、当該復号デコードされた映像データや音楽データなどは、表示画像生成出力部２１１の出力バッファに格納させるようにする。

データ記録処理部２０９は、制御部２０２の制御の下に、操作入力部５０を通じて受け付けられたユーザの指示に基づき、テレビ放送受信部２０３からの放送コンテンツの符号化されたデータや、マルチディスクドライブ２０４からの映画や音楽などの符号化された再生データ、また、ネットワーク通信インターフェース２０６を通じて取得したウェブコンテンツを、データ格納部２１５に格納する記録フォーマットのデータに変換して、そのデータをデータ格納部コントローラ２０７を介して、データ格納部２１５に格納するようにする。この例では、記録フォーマットとしては、例えばＤＶＤ−ＶＲフォーマットが用いられる。

サムネイル生成部２１０は、この例では、編集モードにおいて、データ格納部２１６から読み出された動画像データから、フレーム画像の縮小画像としてサムネイルを生成する。この例では、動画像データは、動き補償フレーム間符号化処理を用いた、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式の圧縮符号方式により圧縮されている。

この圧縮符号化方式においては、複数フレーム、例えば１５フレームごとにグループされている。このフレーム画像のグループ単位は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれており、各ＧＯＰには、１画面内で完結する圧縮方法で圧縮されたフレーム（フレーム内符号化されたフレーム（イントラフレーム）；Ｉピクチャと呼ばれる）が含まれる。Ｉピクチャ以外のフレーム画像は、動き補償フレーム間符号化処理がなされるもので、前後のフレームの一方あるいは両方がデコードされて再生されないとデコードして再生することができるものである。

したがって、サムネイルを形成しようとするフレーム画像は、Ｉピクチャ以外の場合には、その前後のフレーム画像を再生した後でないと作成することができない。

Ｉピクチャは、フレーム内符号化されたものであるので、当該Ｉピクチャのデータのみから画像データを再生することが可能である。このため、このＩピクチャであれば、前後のフレーム画像の再生を待つことなく、サムネイルを生成することができる。前後のフレームをデコードする必要がないので、Ｉピクチャは高速で再生でき、サムネイルも高速で生成することができる。

表示画像生成出力部２１１は、データデコード部２０８からの復号デコードされた映像データや音楽データを、これに内蔵の出力バッファに格納する。また、サムネイル生成部２１０からのサムネイルのデータやグラフィック・ユーザ・インターフェースのための文字や記号などを表示するためのデータなどを、オンスクリーンディスプレイデータとして、これに内蔵するオンスクリーンバッファに格納する。オンスクリーンディスプレイデータは、モニターディスプレイ３０の画面３２に表示する再生映像の画像に重畳して表示するデータである。このとき、重畳画像の下に、再生映像の画像が透けて見えるような表示とされる。

そして、表示画像生成出力部２１１は、出力バッファに格納したデータと、オンスクリーンバッファに格納したオンスクリーンディスプレイデータとの合成データを、ディスプレイインターフェース２１２を通じてモニターディスプレイ３０に供給するようにする。ディスプレイインターフェース２１２は、ケーブル３１を介してモニターディスプレイ３０に接続されている。

また、表示画像生成出力部２１１は、ゲーム実行処理部２１４でのゲーム実行処理動作がなされるときに、ゲーム画像情報を、ゲーム実行処理部２１４と協働で生成し、その生成したゲーム描画画像をディスプレイインターフェース２１２を通じてモニターディスプレイ３０に供給する機能も備える。

ゲーム実行処理部２１４は、マルチディスクドライブ２０４によって光ディスク４３から読み出されるゲームプログラムまたはデータ格納部２１６から読み出されるゲームプログラムを実行する。ゲーム実行処理部１００は、操作入力部５０により受け付けられるユーザの指示に基づいてゲームプログラムを実行するとともに、ゲームの映像および音声を表示画像生成出力部２１１へ送る。

操作部インターフェース２１３には、ケーブル５１を通じて操作入力部５０としてのゲーム用コントローラが接続されている。操作入力部５０は、前述したように、上、下、左、右の４方向のいずれかに関する方向指示をユーザの操作を介して受け付ける十字型方向指示ボタン５６と、例えばコンテンツの再生、再生停止、メニュー画面呼び出しなどの選択指示をユーザの操作を介して受け付けるように割り付けられた操作ボタン５２〜５５および操作ボタン５７，５８を備えている。

これらの操作ボタンのいずれが操作されて、どのような操作内容の操作がなされたかの操作信号が、操作入力部５０から操作部インターフェース２１３を通じてシステムバス２０１に供給される。制御部２０２は、操作信号に応じた制御処理を実行するようにする。

時計部２１５は、現在時刻の情報やカレンダー情報を提供する。また、各種タイマー時間の計測にも用いられる。さらに、映像コンテンツの記録時に、記録データに付加する時間情報も提供する。この記録データに付加する時間情報としては、各画像フレームの当該映像コンテンツ中での、当該映像コンテンツの先頭からの相対的な時間位置がわかるような時間情報とされる。この時間情報としては、現在時間そのものであっても良いし、コンテンツの先頭からの相対的な時間情報であってもよい。

制御部２０２は、ユーザにより設定されたモードがテレビ放送の受信モードであるときには、テレビ放送受信部２０３からのデータをデータデコード部２０８に転送して、符号化されている画像データおよび音声データをデコードし、表示画像生成出力部２１１およびディスプレイインターフェース２１２を通じてモニターディスプレイ３０に供給する。

また、制御部２０２は、ユーザにより設定されたモードが、ＤＶＤの再生モードであるときには、マルチディスクドライブ２０４から読み込まれたＤＶＤからの映像コンテンツデータおよび音声データを、データデコード部２０８に転送して、符号化されている画像データおよび音声データをデコードし、表示画像生成出力部２１１およびディスプレイインターフェース２１２を通じてモニターディスプレイ３０に供給する。

制御部２０２は、ユーザにより設定されたモードが、テレビ放送やＤＶＤコンテンツの格納モードであったときには、テレビ放送受信部２０３からの符号化データやマルチディスクドライブ２０４から読み込まれたＤＶＤからの映像コンテンツデータおよび音声データを、データ記録処理部２０９により、データ格納部２１６に格納する記録フォーマットに変換させ、当該変換後の記録フォーマットのデータをデータ格納部コントローラ２０７を通じてデータ格納部２１６に格納するようにする。

メモリカード４４から読み込まれたデータやネットワーク通信インターフェース２０６から取得されたウェブコンテンツのデータについても、制御部２０２は、操作入力部５０を通じたユーザの設定モードにしたがって、モニターディスプレイ３０の画面３２に表示したり、データ格納部２１６に格納したりする処理を制御する。

また、この実施形態では、制御部２０２は、編集モードにおいて、再生をスキップする画像区間のイン点およびアウト点の設定をユーザに行なわせるための処理を、以下に説明するように実行する。

なお、図２におけるデータデコード部２０８、データ記録処理部２０９、サムネイル生成部２１０および表示画像生成出力部２１１は、ソフトウエアによっても構成することができる。

＜編集処理動作の説明＞
この実施形態においては、マルチメディア記録再生装置２０では、処理機能メニューから「編集」を選択し、この編集のモードにおいて、再生を行いながら、前述した再生時にスキップしたい画像区間の開始点（イン点）および終了点（アウト点）の設定を行なうようにすることができるようにされている。

図示は省略するが、操作入力部５０のスタートボタン５７を操作すると、複数個のメディアのうちの一つのメディアを選択し、また、その選択されたメディアの複数個のコンテンツの中からユーザが希望するコンテンツを選択するための初期メニュー画面が、表示画像生成出力部２１１で生成されてモニターディスプレイ３０の表示画面３２に表示される。このとき、コンテンツの再生中であれば、初期メニュー画面は、再生中のコンテンツ画面に重畳表示される。

ユーザは、その初期メニュー画面において、操作入力部５０の十字型方向指示ボタン５６を操作することより、自分が希望するメディアおよびコンテンツの選択をすることができる。

次に、メディアおよびコンテンツを選択したら、ユーザは、例えば操作ボタン５３を操作をする。すると、当該コンテンツについて、可能である処理機能項目が記述された処理機能メニュー画面が、表示画像生成出力部２１１で生成されて、初期メニュー画面に変わって、当該処理機能メニュー画面がモニターディスプレイ３０の表示画面３２に表示される。

ユーザは、この処理機能メニュー画面において、十字型方向指示ボタン５６により処理機能項目の選択を行なうが、その処理機能項目として編集を選択することができる。そして、編集を選択すると、表示画像生成出力部２１１で、編集項目一覧メニューが生成されて、それがモニターディスプレイ３０の表示画面３２に表示される。

そこで、ユーザは、操作入力部５０の十字型方向指示ボタン５６を操作して、編集項目の一つとしての再生編集の項目を選択し、操作入力部５０において決定キー（Ｅｎｔｅｒキー）として割り付けられている操作ボタン５３を押下操作する。この例では、再生編集は、前述した再生をスキップする画像区間のイン点およびアウト点の設定を行なうモードである。

再生編集の項目が選択されて、決定入力操作がなされると、選択されたコンテンツの再生が開始され、モニターディスプレイ３０の表示画面３２に、その再生画像が映出される。このとき、この再生画像に重畳されて、図３に示すように、複数枚のサムネイルが横方向（水平方向）に一行に並べられたサムネイル配列３００が表示される。

この再生中におけるサムネイル配列３００は、水平方向のほぼ中央の領域３０１と、この中央の領域３０１から左方向に延びる左領域３０２とを有し、中央の領域３０１には、現在表示中の画像のサムネイルが表示され、左領域３０２には、現在表示中の画像よりも過去の画像フレームの複数枚のサムネイルが表示される。各サムネイルは、各ＧＯＰ内のＩピクチャの画像の縮小画像からなることは、前述した通りである。ＧＯＰが、例えば１５フレームからなるものとしたときには、サムネイルは、対象コンテンツの０．５秒間隔の画像となる。

この例では、図３に示すように、中央の領域３０１に表示されるサムネイルは、他のサムネイルよりも大きく表示されて、強調表示される。これにより、ユーザは、再生中の画面において現在表示中の画像のサムネイルがどれであるかを一目でわかる。なお、中央の領域３０１のサムネイルの強調表示としては、その大きさを変えるのでなく、周辺の彩色を変えるなどの方法を用いることもできる。なお、強調表示は必須ではない。

また、図３に示すように、この例においては、サムネイル配列３００の下方には、現在表示中の画像の、当該コンテンツの先頭からの時間を示す時間値の表示３０３と、現在表示中の画像が、当該コンテンツの再生時間の全体のうちの、どの辺りの時間のものかの表示を伴う時間バー表示３０４と、当該画面において操作可能とされる操作機能記号表示３０５とが表示される。「ＣＡＮＣＥＬ」は、これを選択する操作をすると、あるいはこれに割り当てられたボタンを操作すると、編集点の設定をキャンセルすることができ、「ＱＵＩＴ」は、これを選択する操作をすると、あるいはこれに割り当てられたボタンを操作すると、編集点設定のための再生編集モードを終了することができる。

時間バー表示３０４においては、現在表示中の画面位置が、輝点３０６により表示されると共に、その輝点３０６の上方に、次に設定するのがイン点であるのか、アウト点であるかの文字表示３０７がなされる。

この図３の画面が表示される再生中において、この例においては、ポーズボタン（一時停止ボタン）に対応する操作（例えば操作ボタン５５の操作）が、操作入力部５０を通じてなされると、画面３２に表示されていた再生画像が一時停止すると共に、図４に示すような、イン点およびアウト点を設定する編集点設定用ユーザ・インターフェース画面を表示する。

この編集点設定用ユーザ・インターフェース画面は、制御部２０２の制御の下、表示画像生成出力部２１１と、サムネイル生成部２１０とにより生成されて、モニターディスプレイ３０の表示画面３２に表示される。

この編集点設定用ユーザ・インターフェース画面においては、サムネイル配列３００は、水平方向のほぼ中央の領域３０１と、この中央の領域３０１から左方向に延びる左領域３０２とに加えて、中央領域３０１から右方向に延びる右領域３０８が表示される。

そして、ポーズボタン操作がなされた直後には、中央領域には、現在表示中の画像のサムネイルが表示され、左領域３０２には、現在表示中の画像よりも過去の画像フレームの複数枚のサムネイルが表示され、右領域３０８には、現在表示中の画像よりも未来の画像フレームの複数枚のサムネイルが表示される。

そして、操作機能記号表示３０５には、操作入力部５０の操作ボタン５３が決定ボタンであること、また、操作ボタン５４が戻るボタンであることが、それぞれの操作ボタンに表示される丸印と「Ｅｎｔｅｒ」の文字および×印と「Ｂａｃｋ」の文字が用いられて表示される。

現在表示中の画像の、当該コンテンツの先頭からの時間を示す時間値の表示３０３と、時間バー表示３０４は、図３と同様に表示される。さらに、図４に示すように、この編集点設定用ユーザ・インターフェース画面の上方には、編集点の設定操作を促すメッセージが表示される。このメッセージには、次に設定する編集点がイン点（削除部分の開始位置）であるのか、アウト点（削除部分の終了位置）であるのかを指示する字句が含まれ、ユーザに注意喚起する。

この編集点設定用ユーザ・インターフェース画面においては、サムネイル配列３００の中央領域３０１のサムネイルは、編集点として選択中の画像位置のサムネイル（以下、注目サムネイルという）とされる。そして、この実施形態では、操作入力部５０を通じて左方向指示操作がなされると、サムネイル配列３００が過去方向にスクロールされ、操作入力部５０を通じて右方向指示操作がなされると、サムネイル配列３００が未来方向にスクロールされるように、構成されている。

この場合には、スクロール速度は可変とされ、操作入力部５０の十字型方向指示ボタン５６の左方向指示を操作すると、サムネイル配列３００中の注目サムネイルは、１枚ごとに過去方向にスクロールされ、操作入力部５０の十字型方向指示ボタン５６の右方向指示を操作すると、サムネイル配列３００中の注目サムネイルは、１枚ごとに未来方向にスクロールされるように、構成されている。

また、操作入力部５０のＬボタン５９Ｌを操作すると、サムネイル配列３００中の注目サムネイルは、例えば１０枚ごとに１枚の割合で、飛び飛びに過去方向にスクロールされ、操作入力部５０のＲボタン５９Ｒを操作すると、サムネイル配列３００中の注目サムネイルは、例えば１０枚ごとに１枚の割合で、飛び飛びに未来方向にスクロールされるように、構成されている。

そして、決定ボタンとされた操作入力部５０の操作ボタン５３が操作されると、そのときに中央領域に表示されていた注目サムネイルに対応する画像位置が編集点として決定される。

編集点の決定操作をした後には、ユーザは、再生を再開させるための操作をするようにする。すると、再生が再開され、図３の編集モードにおける再生中画面となる。そして、再度、ポーズボタンが操作されると、前回イン点の設定であった場合にはアウト点の設定操作、前回アウト点の設定であった場合にはイン点の設定操作を行なうために、上述した図４のような編集点設定用ユーザ・インターフェース画面が表示される。

ただし、図４の画面は、イン点の設定操作時の画面であったので、画面上方のメッセージには、削除部分の開始位置の指定を促す字句が含まれ、時間バー表示３０４には、イン点の編集を示す「ＩＮ」が含まれるが、アウト点の設定操作時の画面の時には、このメッセージには、削除部分の終了位置の指定を促す字句が含まれ、また、時間バー表示３０４には、アウト点の編集を示す「ＯＵＴ」が含まれるものとなる。

以上のようにして、対象コンテンツについて、イン点とアウト点が、交互に設定され、その編集作業が終了すると、その編集点の情報は、前述したように、イン点またはアウト点として、それぞれ当該映像コンテンツのデータ中に記録される。

このような編集がなされて、データ格納部に格納されたコンテンツについて、編集点を用いた再生を行なうと、イン点とアウト点との間の区間をスキップして、コンテンツの再生がなされる。また、当該コンテンツが、例えば書き込み可能なＤＶＤディスクに複製記録されるとき、編集点を使用する記録モードを設定すると、イン点とアウト点との間の区間を除いて、複製記録がなされる。

次に、この例のマルチメディア記録再生装置における、以上説明した再生編集モードの処理動作を図５および図６のフローチャートを参照しながら説明する。このフローチャートの各ステップの処理は、制御部２０２の制御の下に実行されるものである。

図５のフローチャートは、マルチメディア記録再生装置２０において、編集モードが選択され、さらに、再生編集が選択された場合に起動される。

すなわち、再生編集モードにおいて、対象とするコンテンツが決定され、再生開始の指示操作がなされると、制御部２０２は、データ格納部２１６から対象コンテンツのデータを読み出し、データデコード部２０８でデコードさせ、表示画像生成出力部２１１およびディスプレイインターフェース２１２を通じてモニターディスプレイ３０に出力させる。これにより、モニターディスプレイ３０の画面に再生画像を表示させる。このとき、制御部２０２は、サムネイル生成部２１０にサムネイルの生成を指示し、表示画像生成出力部２１１に制御指示を送り、再生画像に前述の図３に示したように、サムネイル配列３００を表示させるようにする（ステップＳ１０１）。

次に、制御部２０２は、操作入力部５０を通じてポーズ操作がなされたか否か判別し（ステップＳ１０２）、ポーズ操作がなされていないと判別したときには、操作入力部５０を通じてこの再生編集モードを終了させる操作がなされたか否か判別する（ステップＳ１０３）。

ステップＳ１０３で、再生編集モードを終了させる操作がなされたと判別したときには、制御部２０２は、そのときまでに設定されたイン点、アウト点の編集点を付加した画像データをデータ格納部１２６に書き戻すようにする（ステップＳ１０４）。その後、この処理ルーチンを終了する。ステップＳ１０３で、再生編集モードを終了させる操作がなされていないと判別したときには、ステップＳ１０１に戻る。

ステップＳ１０２で、ポーズ操作がなされたと判別したときには、制御部２０２は、再生中のコンテンツ画像の表示をその時点で固定するように制御し、表示画像生成出力部２１１は、図４に示した中央領域３０１および過去領域３０２と未来領域３０８を有するサムネイル配列３００を、その画像に重畳表示する（ステップＳ１０５）。

次に、制御部２０２は、操作入力部５０の十字型方向指示ボタン５６による左右方向の指示操作があったか否か判別し（ステップＳ１０６）、当該指示操作があったと判別したときには、指示操作された方向に、サムネイルを１枚ずつスクロールするように表示画像生成出力部２１１に指示する（ステップＳ１０７）。

次に、制御部２０２は、決定操作入力がなされたか否か判別し（ステップＳ１１０）、決定操作入力がなされていないと判別したときには、操作入力部５０を通じてこの再生編集モードを終了させる操作がなされたか否か判別する（ステップＳ１１１）。

ステップＳ１１１で、再生編集モードを終了させる操作がなされたと判別したときには、制御部２０２は、そのときまでに設定されたイン点、アウト点の編集点を付加した画像データをデータ格納部１２６に書き戻すようにする（ステップＳ１１２）。その後、この処理ルーチンを終了する。ステップＳ１１１で、再生編集モードを終了させる操作がなされていないと判別したときには、ステップＳ１０６に戻る。

ステップＳ１０６で、操作入力部５０の十字型方向指示ボタン５６による左右方向の指示操作はなかったと判別したときには、制御部２０２は、操作入力部５０のＬボタンまたはＲボタンの操作入力があったか否か判別し（ステップＳ１０８）、操作入力があったと判別したときには、操作されたボタンに応じた方向に、サムネイルを、この例では、１０枚ごとに１枚の割合でスクロールするように表示画像生成出力部２１１に指示する（ステップＳ１０９）。そして、ステップＳ１１０に進み、決定操作入力がなされたか否か判別する。

ステップＳ１０８で、制御部２０２は、操作入力部５０のＬボタンまたはＲボタンの操作入力がなかったと判別したときには、ステップＳ１１０にそのまま進み、決定操作入力がなされたか否か判別する。

ステップＳ１１０で、決定操作入力があったと判別したときには、制御部２０２は、そのときに中央領域３０１に表示されていたサムネイルに対応する画像位置をイン点として登録する（ステップＳ１１３）。

次に、操作入力部５０の十字型方向指示ボタン５６による左右方向の指示操作があったか否か判別し（図６のステップＳ１２１）、当該指示操作があったと判別したときには、指示操作された方向に、サムネイルを１枚ずつスクロールするように表示画像生成出力部２１１に指示する（ステップＳ１２２）。

次に、制御部２０２は、決定操作入力がなされたか否か判別し（ステップＳ１２５）、決定操作入力がなされていないと判別したときには、操作入力部５０を通じてこの再生編集モードを終了させる操作がなされたか否か判別する（ステップＳ１２６）。

ステップＳ１２６で、再生編集モードを終了させる操作がなされたと判別したときには、制御部２００は、そのときまでに設定されたイン点、アウト点の編集点を付加した画像データをデータ格納部１２６に書き戻すようにする（ステップＳ１２７）。その後、この処理ルーチンを終了する。ステップＳ１２６で、再生編集モードを終了させる操作がなされていないと判別したときには、ステップＳ１２１に戻る。

ステップＳ１２１で、操作入力部５０の十字型方向指示ボタン５６による左右方向の指示操作はなかったと判別したときには、制御部２０２は、操作入力部５０のＬボタンまたはＲボタンの操作入力があったか否か判別し（ステップＳ１２３）、操作入力があったと判別したときには、操作されたボタンに応じた方向に、サムネイルをこの例では、１０枚おきにスクロールするように表示画像生成出力部２１１に指示する（ステップＳ１２４）。そして、ステップＳ１２５に進み、決定操作入力がなされたか否か判別する。

また、ステップＳ１２３で、操作入力部５０のＬボタンまたはＲボタンの操作入力がなかったと判別したときには、ステップＳ１２５にそのまま進み、決定操作入力がなされたか否か判別する。

ステップＳ１２５で、制御部２０２は、決定操作入力があったと判別したときには、そのときに中央領域３０１に表示されていたサムネイルに対応する画像位置をアウト点として登録する（ステップＳ１２８）。

そして、制御部２０２は、ポーズ状態から再生を再開させる操作がなされたか否か判別し（ステップＳ１２９）、再生再開の操作がなされていないと判別したときには、ステップＳ１０６に戻る。また、再生再開の操作がなされたと判別したときには、ステップＳ１０２に戻り、次のポーズ操作を待つ。

以上のようにして、再生編集点として、イン点とアウト点とを交互に、容易かつ精細に設定することできる。

なお、ＬボタンやＲボタンによりスクロールする場合の飛び飛びのサムネイルは、前述のような１０枚単位ではなく、より少ない枚数でも、多い枚数でもよいし、また、Ｌボタンと、Ｒボタンとで、つまり、中心領域に対して過去方向と未来方向とで、飛ばすサムネイルの枚数を変えるようにしても良い。

また、サムネイルは、図の例のように横方向に１行に並べるのではなく、縦方向に一列に並べるようにしてもよい。

なお、イン点およびアウト点を設定するユーザ・インターフェース画面を表示する起因とするボタン操作は、ポーズボタンとしたが、ポーズボタンに限られるものではないことは言うまでもない。したがって、ユーザ・インターフェース画面の背景の画像は、ポーズの場合のように停止しておく必要はなく、再生を続行するようにしておいてもよい。

また、上述の実施形態は、マルチメディア再生装置の場合にこの発明を適用した場合であるが、この発明は、マルチメディア再生装置に限られるものではなく、単一のメディアの再生装置でも複数個のコンテンツを取り扱う場合に適用可能である。

また、上述の実施形態においては、表示画面３２上でサムネイル配列３００を水平方向に表示する構成としたが、垂直方向または斜め方向に表示する構成としてもよい。

また、上述の実施形態では、サムネイル配列の中央領域を注目サムネイルとしたが、注目サムネイルよりも過去のサムネイルを検索するときには、一番右側を注目サムネイルとし、また、注目サムネイルよりも未来のサムネイルを検索するときには、一番左側を注目サムネイルとするようにしてもよい。

また、上述の実施の形態では左右方向のスクロール指示により注目サムネイルを中央領域など、特定の領域に位置させるようにすると共に、決定ボタンの操作によりサムネイルの選択決定とする構成としたが、個々のサムネイルに対するユーザによる明確な決定指示をもつてサムネイルの選択を確定する構成としてもよい。

なお、上述の実施形態の再生装置は、ディスプレイを備えなかったが、ディスプレイを備える装置の構成であっても勿論良い。

また、上述の実施形態では、編集モードにおいて、再生を行なったときに、上述のような編集点設定用ユーザ・インターフェースを表示するようにしたが、編集モードにおける再生ではなく、通常の再生状態において、特定の操作入力をしたときに、編集モードにすると共に、編集点設定用ユーザ・インターフェースを表示するようにしてもよい。

また、上述の実施形態では、サムネイルは、直線状に配列したが、円弧状など、曲線状に配列しても良い。

この発明による動画像データの編集装置の実施形態を含むマルチメディアシステムの構成例を示す図である。 この発明による動画像データの編集装置の実施形態の要部の構成例を示すブロック図である。 この発明による動画像データの編集装置の実施形態における再生編集メニュー画面の初期メニュー画面の一例を示す図である。 この発明による動画像データの編集装置の実施形態における再生編集メニュー画面の編集点設定用ユーザ・インターフェース画面を説明するための図である。 この発明による動画像データの編集装置の実施形態における要部の処理動作を説明するためのフローチャートの一部を示す図である。 この発明による動画像データの編集装置の実施形態における要部の処理動作を説明するためのフローチャートの一部を示す図である。

符号の説明

２０…マルチメディア再生装置、３０…モニターディスプレイ、４１…アンテナ、４３…光ディスク、４４…メモリカード、５０…操作入力部

Claims (12)

1. ユーザからの操作入力を受け付ける操作入力部と、
   動画像データを格納する格納部と、
   前記格納部から読み出された前記動画像データをデコードして表示用画像データに変換し、前記表示用画像データによる再生画像を表示装置の画面に表示する画像再生手段と、
   前記動画像データから、当該動画像データによる画像の内の所定時間おきの画像のサムネイルを生成するサムネイル生成手段と、
   前記表示装置の画面に表示中の再生画像のサムネイルおよび前記表示中の再生画像の近傍の複数枚のサムネイルを、前記再生画像に重畳して表示するようにする画像データを生成して、前記表示装置に出力する表示画像生成出力部と、
   前記表示装置の画面に表示された前記複数枚のサムネイルのうちの、前記操作入力部の第１の操作部を通じて指定されたサムネイルに対応する画像データ位置を示す編集点の情報を、指定する画像区間の始点または終点の情報として前記動画像データに付加して前記格納部に格納する手段と
   を備え、
   前記表示画像生成出力部は、前記第１の操作部を通じて指定されたサムネイルに対応する前記画像データ位置を示す編集点が、前記始点であるのか、前記終点であるのかを示す表示を生成して前記表示装置に出力する
   ことを特徴とする動画像データの編集装置。
2. 請求項１に記載の動画像データの編集装置において、
   前記動画像データは、動き補償を用いると共に、複数枚分ごとの画像のグループを形成し、かつ、１グループ内の少なくとも１枚の画像は、１画面内で完結する圧縮方法で圧縮される画像圧縮方式により圧縮されて、前記格納部に格納されており、
   前記サムネイル生成手段は、前記圧縮されている前記動画像データの各グループ内の、前記１画面内で完結する圧縮方法で圧縮された画像を縮小して、前記サムネイルを生成する
   ことを特徴とする動画像データの編集装置。
3. 請求項１に記載の動画像データの編集装置において、
   前記表示画面生成出力部は、前記表示装置の画面に前記再生画像が表示されている状態において、前記操作入力部を通じて再生一時停止指示がされたときに、前記表示中の再生画像のサムネイルおよび前記表示中の再生画像の近傍の複数枚のサムネイルを、前記再生画像に重畳して表示する
   ことを特徴とする動画像データの編集装置。
4. 請求項１に記載の動画像データの編集装置において、
   前記操作入力部を通じた第１のスクロール操作入力に対しては、前記サムネイルの１枚単位のスクロールを行ない、前記操作入力部を通じた第２のスクロール操作入力に対しては、前記サムネイルの複数枚ごとの単位でスクロールを行なう
   ことを特徴とする動画像データの編集装置。
5. 請求項４に記載の動画像データの編集装置において、
   前記操作入力部は、ゲーム用の操作コントローラであって、前記第１の操作部、前記第１および第２のスクロール操作入力用のボタンは、前記ゲーム用の操作コントローラの、それぞれ特定のボタンに割り当てられてなる
   ことを特徴とする動画像データの編集装置。
6. 請求項１に記載の動画像データの編集装置において、
   前記指定する画像区間は、再生を行なわない画像区間である
   ことを特徴とする動画像データの編集装置。
7. 格納部から読み出された前記動画像データをデコードして、再生画像を表示画面に表示する再生工程と、
   前記動画像データから、当該動画像データによる画像の内の所定時間おきの画像のサムネイルを生成するサムネイル生成工程と、
   前記表示装置の画面に表示中の再生画像のサムネイルおよび前記表示中の再生画像の近傍の複数枚のサムネイルを、前記再生画像に重畳して表示するようにする画像データを生成して、前記表示装置に出力する表示画像生成出力工程と、
   前記表示装置の画面に表示された前記複数枚のサムネイルのうちの、操作入力部の第１の操作部を通じて指定されたサムネイルに対応する画像データ位置を示す編集点の情報を、指定する画像区間の始点または終点の情報として前記動画像データに付加して前記格納部に格納する工程と
   を備え、
   前記表示画像生成出力工程では、さらに、前記第１の操作部を通じて指定されたサムネイルに対応する前記画像データ位置を示す編集点が、前記始点であるのか、前記終点であるのかを示す表示を生成して前記表示装置に出力する
   ことを特徴とする動画像データの編集方法。
8. 請求項７に記載の動画像データの編集方法において、
   前記動画像データは、動き補償を用いると共に、複数枚分ごとの画像のグループを形成し、かつ、1グループ内の少なくとも１枚の画像は、1画面内で完結する圧縮方法で圧縮される画像圧縮方式により圧縮されて、格納されているものであり、
   前記サムネイルは、前記圧縮されている前記動画像データの各グループ内の、前記１画面内で完結する圧縮方法で圧縮された画像を縮小したものである
   ことを特徴とする動画像データの編集方法。
9. 請求項７に記載の動画像データの編集方法において、
   前記表示画面生成出力工程では、前記表示装置の画面に前記再生画像が表示されている状態において、前記操作入力部を通じて再生一時停止指示がされたときに、前記表示中の再生画像のサムネイルおよび前記表示中の再生画像の近傍の複数枚のサムネイルを、前記再生画像に重畳して表示する
   ことを特徴とする動画像データの編集方法。
10. 請求項７に記載の動画像データの編集方法において、
    前記操作入力部を通じた第１のスクロール操作入力に対しては、前記サムネイルの１枚単位のスクロールを行ない、前記操作入力部を通じた第２のスクロール操作入力に対しては、前記サムネイルの複数枚ごとの単位でスクロールを行なう
    ことを特徴とする動画像データの編集方法。
11. 請求項１０に記載の動画像データの編集方法において、
    前記操作入力部は、ゲーム用の操作コントローラであって、前記第１の操作部、前記第１および第２のスクロール操作入力用のボタンは、前記ゲーム用の操作コントローラの、それぞれ特定のボタンに割り当てられてなる
    ことを特徴とする動画像データの編集方法。
12. 請求項７に記載の動画像データの編集方法において、
    前記指定する画像区間は、再生を行なわない画像区間である
    ことを特徴とする動画像データの編集方法。

Images