以下、この発明による動画像データの編集装置および編集方法の実施形態を、図を参照しながら説明する。
以下に説明する実施形態は、この発明を、放送、光ディスクなどの記録媒体、ゲームなどの複数種のメディアに亘る複数個のコンテンツを再生することができると共に記録が可能なマルチメディア記録再生装置における動画像データの編集に適用した場合である。
なお、コンテンツとは、信号によって表現された、音楽の楽曲、動画や静止画などの画像、電子小説などのテキストデータ、ゲームソフトなど、人が視覚的あるいは聴覚的に認識できる内容情報である。
また、メディアとは、ハードディスク、光ディスク、メモリカード、磁気テープなどの情報の記憶媒体や、電波やケーブルなどの情報の伝送媒体を示すものであるが、ゲームメディアなど記憶媒体や伝送媒体が同じであっても、データ形式や圧縮形式が異なるものは、別のメディアとして区別されるものである。
<マルチメディア記録再生システムの構成>
図1は、この実施形態が適用されたマルチメディア記録再生装置10を含むマルチメディア記録再生システムの基本的な構成を示す。
この例のマルチメディア記録再生装置10は、映像やグラフィック・ユーザ・インターフェース画面を表示する表示用ディスプレイは備えておらず、その代わりに図示を省略した映像出力端子を備える。そして、マルチメディア記録再生装置10の映像出力端子は、接続ケーブル11を介して、例えばCRT(Cathode Ray Tube;陰極線管)やLCD(Liquid Crystal Display;液晶ディスプレイ)などからなるモニターディスプレイ30に接続され、このモニターディスプレイ30の画面31が、映像表示用およびユーザ・インターフェース画面表示用とされる。
なお、図1の例では、モニターディスプレイ30は、その左右の両端に、スピーカ32L,32Rを備え、図示を省略したマルチメディア記録再生装置20の音声出力端子からの音声信号が、図示を省略したケーブルを介してモニターディスプレイ30に供給されて、音響再生されるようにされている。
マルチメディア記録再生装置10には、放送、インターネット、DVDやCDなどの光ディスク、メモリカードなどの複数種のメディアを通じて、コンテンツの情報が入力される。
放送メディアに関して説明すると、マルチメディア記録再生装置10には、この例では、テレビ放送受信用アンテナ12が接続され、当該アンテナ12にて受信されたテレビ放送信号がマルチメディア記録再生装置10に供給される。そして、マルチメディア記録再生装置10では、テレビ放送信号からユーザにより選択された放送番組コンテンツが抽出されてデコードされ、その放送番組映像がモニターディスプレイ30の画面に表示されると共に、その放送番組の音声がモニターディスプレイ30のスピーカ32L,32Rにより音響再生される。また、マルチメディア記録再生装置10は、放送番組コンテンツを録画する機能も備えている。
インターネットメディアに関して説明すると、マルチメディア記録再生装置10には、インターネットに接続するための通信回線13が接続されており、インターネットを通じて取得されたウェブコンテンツのデータが、マルチメディア記録再生装置10に入力される。このウェブコンテンツのデータは、マルチメディア記録再生装置10に保存することができるようにされていると共に、マルチメディア記録再生装置10が持つゲーム機能などの各種機能において、利用することができるように構成されている。
また、光ディスクメディアに関して説明すると、マルチメディア記録再生装置10は、DVDやCDなどの光ディスク14に格納されたコンテンツのデータの読み取り機能を備え、読み取ったデータをデコードして、モニターディスプレイ30に供給して、視聴に供するようにする。また、DVDから読み取った映像コンテンツの動画像データや音声データおよび、CDから読み取った音楽コンテンツのデータを格納する機能も有する。
光ディスクに格納されるコンテンツとしては、例えば映画の映像や音楽および音声、クラシック音楽や歌謡曲などの楽曲、電子小説などがある。電子小説のコンテンツのデータとしては、テキストデータや朗読の音声データ、挿絵などの画像データ等がある。
メモリカードメディアに関しては、マルチメディア記録再生装置10は、メモリカード15に格納されたデータの読み取り機能および書き込み機能とを有する。メモリカード15に記憶されるコンテンツのデータとしては、デジタルカメラで撮影された動画や静止画の撮影画像や付随する音声情報などがあり、これらもマルチメディア記録再生装置10が備えるデータ格納部に格納可能である。
この例のマルチメディア記録再生装置10は、前述したようなマルチメディアの記録再生機能を備えるのみではなく、ゲーム機の機能をも備えている。操作コントローラ40は、主として、マルチメディア記録再生装置10のゲーム機部用の制御用であり、接続ケーブル40Cを介してマルチメディア記録再生装置10に接続されている。操作コントローラ40は、また、マルチメディアの記録再生機能の制御用としても用いることができるようにされている。
操作コントローラ40は、この例においては、主としてゲーム機部用の操作コントローラとして用いられるものであって、従来のゲーム機用の操作コントローラと同一に構成されており、操作ボタンの数は、比較的少なく、図1の例においては、ひし形の頂点位置に設けられた4個の操作ボタン41,42,43,44と、十字型方向指示ボタン45と、スタートボタン46STと、セレクトボタン46SEと、操作コントローラ40の側方に設けられたL1ボタン47L、R1ボタン47R、L2ボタン48LおよびR2ボタン48Rとが設けられている。
4個の操作ボタン41,42,43,44の押下部の表面には、この例には、特定の標識(マーク)が、図1の例では、丸印、三角印、四角印、×印が印刷等により表示されている。後述するように、これらの4個の操作ボタン41,42,43,44およびスタートボタン46ST、セレクトボタン46SEは、モニターディスプレイ30の表示画面に表示されるグラフィック・ユーザ・インターフェースにおける特定の操作項目に対応するように予め定められている。
特に、4個のボタン41,42,43,44に対応付けられるグラフィック・ユーザ・インターフェースにおける操作項目には、これらの操作ボタン41,42,43,44に表示されている標識と同じ標識が、後述するように、表示されて、操作ボタンと、操作項目との対応が一目でわかるようにされている。
モニターディスプレイ30の画面にグラフィック・ユーザ・インターフェースが表示されているときに、操作コントローラ40のボタンがユーザにより操作されると、そのボタン操作がグラフィック・ユーザ・インターフェース画面に反映されるように構成されている。
また、操作コントローラ40は、マルチメディア記録再生装置10のマルチメディアの記録再生機能の遠隔制御用として用いることができるようにされており、当該マルチメディアの記録再生機能の遠隔制御用として用いる場合には、L1ボタン47LおよびR1ボタン47Rは、フォワード方向の頭出しおよびバックワード方向の頭出しの機能ボタンとして働くように割り付けられ、L2ボタン48LおよびR2ボタン48Rは、フォワード方向のサーチ(早送り再生)およびバックワード方向のサーチ(巻戻し再生)の機能ボタンとして働くように割り付けられる。
さらに、操作コントローラ40の十字型方向指示ボタン45の、左方向および右方向の操作は、フォワード方向のサーチ(早送り再生)およびバックワード方向のサーチ(巻戻し再生)の機能を起動する操作とされている。
したがって、操作コントローラ40では、フォワード方向のサーチ(早送り再生)およびバックワード方向のサーチ(巻戻し再生)の機能は、L2ボタン48LおよびR2ボタン48Rと、十字型方向指示ボタン45の、左方向および右方向の操作ボタン部とに、ダブって割り付けられている。
この実施形態では、また、ゲーム機部用の操作コントローラ40の他に、マルチメディア記録再生装置10について、その全部の機能を制御することができる遠隔制御装置部として、リモートコマンダ50が設けられる。このリモートコマンダ50は、この例では、赤外線を用いた無線のリモコンとされている。
<マルチメディア記録再生装置10の構成>
図2に、この実施形態のマルチシステムの例としてのマルチメディア記録再生装置10の主要部のハードウエア構成を示す図を示す。なお、この図2の例においては、説明の簡単のため、オーディオ信号系については省略した。
図2に示すように、この例のマルチメディア記録再生装置10は、システムバス101に対して、制御部102、テレビ放送受信部103、マルチディスクドライブ104、メモリカードドライブ105、ネットワーク通信インターフェース106、データ格納部コントローラ107、データデコード部108、データ記録処理部109、サムネイル生成部110、表示画像生成出力部111、ディスプレイインターフェース112、操作入力部インターフェース113、ゲーム実行処理部114、時計部115、リモコン受信部116が接続されて構成される。
制御部102は、CPU(Central Processing Unit)と、プログラムROM(Read Only Memory)と、ワークエリアRAM(Random Access Memory)などを備え、プログラムROMに書き込まれたプログラムにしたがって、ワークエリアRAMを用いながら、編集モード制御、編集制御などの種々の制御処理を実行する。
テレビ放送受信部103は、アンテナ41からの受信されたテレビ信号から、図示を省略したリモートコントローラを通じて入力されたユーザの選局操作に応じた放送番組を選択し、システムバス101に送出する。
マルチディスクドライブ104は、これに装填されるDVDやCDなどの光ディスク14に格納されたコンテンツのデータを、当該光ディスク14から読み出してマルチメディア記録再生装置10に取り込む。また、DVDが書き込み可能な場合において、制御部102から書き込み指示があるときには、マルチディスクドライブ104は、DVDに記録データを書き込む機能も備えている。
メモリカードドライブ105は、これに挿入されるメモリカード15からデータを読み取り、また、マルチメディア記録再生装置10からメモリカード15にデータを書き込むためのものである。
ネットワーク通信インターフェース106は、前述したように、通信回線13に接続されており、ウェブコンテンツなどのデータをインターネット経由で取り込んだり、ネットゲームにおいてインターネットを通じて所定の情報を送出したりする。
データ格納部コントローラ107には、例えばハードディスクドライブからなるデータ格納部120が接続される。データ格納部コントローラ107は、このデータ格納部120へのデータの書き込みおよびこのデータ格納部120からのデータの読み出しを制御する。
データデコード部108は、操作入力部40を通じて受け付けられたユーザの指示に基づき、テレビ放送受信部103や、マルチディスクドライブ104、また、データ格納部120から読み出された放送コンテンツの符号化されたデータや、DVDやCDからの映画や音楽などの符号化された再生データを復号デコードし、システムバス101に送出する。制御部102は、当該復号デコードされた映像データや音楽データなどは、表示画像生成出力部111の出力バッファに格納させるようにする。
データ記録処理部109は、制御部102の制御の下に、操作入力部40を通じて受け付けられたユーザの指示に基づき、テレビ放送受信部103からの放送コンテンツの符号化されたデータや、マルチディスクドライブ104からの映画や音楽などの符号化された再生データ、また、ネットワーク通信インターフェース106を通じて取得したウェブコンテンツを、データ格納部120に格納する記録フォーマットのデータに変換して、そのデータをデータ格納部コントローラ107を介して、データ格納部120に格納するようにする。この例では、記録フォーマットとしては、例えばDVD−VRフォーマットが用いられる。
サムネイル生成部110は、この例では、編集モードにおいて、データ格納部120から読み出された動画像データから、各フレーム画像の縮小画像としてサムネイルを生成する。この例では、動画像データは、動き補償フレーム間符号化処理を用いた、例えばMPEG(Moving Picture Experts Group)方式の圧縮符号方式により圧縮されている。
この圧縮符号化方式においては、複数フレーム、例えば15フレームごとにグループされている。このフレーム画像のグループ単位は、GOP(Group Of Picture)と呼ばれており、各GOPには、1画面内で完結する圧縮方法で圧縮されたフレーム(フレーム内符号化されたフレーム(イントラフレーム);Iピクチャと呼ばれる)が含まれる。Iピクチャ以外のフレーム画像は、動き補償フレーム間符号化処理がなされるもので、前後のフレームの一方あるいは両方がデコードされて再生されないとデコードして再生することができるものである。
したがって、サムネイルを形成しようとするフレーム画像は、Iピクチャ以外の場合には、その前後のフレーム画像を再生した後でないと作成することができない。
Iピクチャは、フレーム内符号化されたものであるので、当該Iピクチャのデータのみから画像データを再生することが可能である。このため、このIピクチャであれば、前後のフレーム画像の再生を待つことなく、サムネイルを生成することができる。前後のフレームをデコードする必要がないので、Iピクチャだけであれば高速で再生でき、サムネイルも高速で生成することができる。
表示画像生成出力部111は、データデコード部108からの復号デコードされた映像データや音楽データを、これに内蔵の出力バッファに格納する。また、サムネイル生成部110からのサムネイルのデータやグラフィック・ユーザ・インターフェースのための文字や記号などを表示するためのデータなどを、オンスクリーンディスプレイデータとして、これに内蔵するオンスクリーンバッファに格納する。オンスクリーンディスプレイデータは、モニターディスプレイ30の画面31に表示する再生映像の画像に重畳して表示するデータである。このとき、重畳画像の下に、再生映像の画像が透けて見えるような表示とされる。
そして、表示画像生成出力部111は、出力バッファに格納したデータと、オンスクリーンバッファに格納したオンスクリーンディスプレイデータとの合成データを、ディスプレイインターフェース112を通じてモニターディスプレイ30に供給するようにする。ディスプレイインターフェース112は、ケーブル11を介してモニターディスプレイ30に接続されている。
また、表示画像生成出力部111は、ゲーム実行処理部114でのゲーム実行処理動作がなされるときに、ゲーム画像情報を、ゲーム実行処理部114と協働で生成し、その生成したゲーム描画画像をディスプレイインターフェース112を通じてモニターディスプレイ30に供給する機能も備える。
ゲーム実行処理部114は、マルチディスクドライブ104によって光ディスク14から読み出されるゲームプログラムまたはデータ格納部120から読み出されるゲームプログラムを実行する。ゲーム実行処理部114は、操作入力部40により受け付けられるユーザの指示に基づいてゲームプログラムを実行するとともに、ゲームの映像および音声を表示画像生成出力部111へ送る。
操作部インターフェース113には、ケーブル11を通じて操作入力部40としてのゲーム用コントローラが接続されている。操作入力部40は、前述したように、上、下、左、右の4方向のいずれかに関する方向指示をユーザの操作を介して受け付ける十字型方向指示ボタン45と、例えばコンテンツの再生、再生停止、メニュー画面呼び出しなどの選択指示をユーザの操作を介して受け付けるように割り付けられた操作ボタン41〜44およびセレクトボタン46SE、スタートボタン46STを備えている。
これらの操作ボタンのいずれが操作されて、どのような操作内容の操作がなされたかの操作信号が、操作入力部40から操作部インターフェース113を通じてシステムバス101に供給される。制御部102は、操作信号に応じた制御処理を実行するようにする。
時計部115は、現在時刻の情報やカレンダー情報を提供する。また、各種タイマー時間の計測にも用いられる。さらに、映像コンテンツの記録時に、記録データに付加する時間情報も提供する。この記録データに付加する時間情報としては、各画像フレームの当該映像コンテンツ中での、当該映像コンテンツの先頭からの相対的な時間位置がわかるような時間情報とされる。この時間情報としては、現在時間そのものであっても良いし、コンテンツの先頭からの相対的な時間情報であってもよい。
制御部102は、ユーザにより設定されたモードがテレビ放送の受信モードであるときには、テレビ放送受信部103からのデータをデータデコード部108に転送して、符号化されている画像データおよび音声データをデコードし、表示画像生成出力部111およびディスプレイインターフェース112を通じてモニターディスプレイ30に供給する。
また、制御部102は、ユーザにより設定されたモードが、DVDの再生モードであるときには、マルチディスクドライブ104から読み込まれたDVDからの映像コンテンツデータおよび音声データを、データデコード部108に転送して、符号化されている画像データおよび音声データをデコードし、表示画像生成出力部111およびディスプレイインターフェース112を通じてモニターディスプレイ30に供給する。
制御部102は、ユーザにより設定されたモードが、テレビ放送やDVDコンテンツの格納モードであったときには、テレビ放送受信部103からの符号化データやマルチディスクドライブ104から読み込まれたDVDからの映像コンテンツデータおよび音声データを、データ記録処理部109により、データ格納部120に格納する記録フォーマットに変換させ、当該変換後の記録フォーマットのデータをデータ格納部コントローラ107を通じてデータ格納部120に格納するようにする。
メモリカード15から読み込まれたデータやネットワーク通信インターフェース106から取得されたウェブコンテンツのデータについても、制御部102は、操作入力部50を通じたユーザの設定モードにしたがって、モニターディスプレイ30の画面31に表示したり、データ格納部120に格納したりする処理を制御する。
また、この実施形態では、制御部102は、編集モードにおいて、再生をスキップする画像区間の編集開始点(イン点)および編集終了点(アウト点)の設定をユーザに行なわせるための処理を、以下に説明するように実行する。
なお、図2におけるデータデコード部108、データ記録処理部109、サムネイル生成部110および表示画像生成出力部111は、ソフトウエアによっても構成することができる。
[動作説明]
以下に、上述の構成のマルチメディア記録再生装置10の主要な動作を説明する。
[放送番組コンテンツや外部入力コンテンツの視聴用再生動作]
例えば、リモートコマンダ50(操作コントローラ40でもよい)が用いられてユーザによりテレビ放送番組コンテンツの視聴の選択入力がなされると、リモートコマンダ50から当該選択入力の赤外線リモコン信号がリモコン受信部116に送られる。リモコン受信部116では、前記選択入力を判別して、その判別結果の制御信号をバス101を通じて制御部102に送る。制御部102は、この制御信号を判別して、テレビ放送受信部103に、選局コマンドを渡す。
あるいは、例えば、モニターディスプレイ画面に表示されたグラフィック・ユーザ・インターフェース画面において、例えば操作コントローラ40(リモートコマンダ50でもよい)を介したユーザ入力によりテレビ放送番組コンテンツの視聴の選択入力がなされると、制御部102は、それを検知して、テレビ放送受信部103に、選局コマンドを渡す。
テレビ放送受信部103は、選局コマンドに応じたテレビ放送番組コンテンツを選択し、選択したテレビ放送番組コンテンツの画像データをデータデコード部108に転送する。データデコード部108ではテレビ放送番組コンテンツの画像データをデコードする。デコードされた画像データは、制御部102の制御により、ディスプレイインターフェース112を通じてモニターディスプレイ30に供給される。これにより、モニターディスプレイ30において、テレビ放送番組コンテンツが視聴される。
[放送番組コンテンツの録画再生動作]
例えば、リモートコマンダ50や操作コントローラ40を介したユーザ入力によりハードディスク装置からなるデータ格納部120への録画指示入力またはデータ格納部120からの再生指示入力がなされると、制御部102は、それを録画コマンドまたは再生コマンドとして判別する。
そして、制御部102は、録画コマンドに応じたテレビ放送番組コンテンツの録画時には、テレビ放送受信部103からの放送番組コンテンツのMPEG圧縮符号化データを、データ記録処理部109で記録処理をした後、データ格納部コントローラ107を通じてデータ格納部120に書き込むように制御する。
また、制御部102は、再生コマンドを受けたときには、データ格納部コントローラ107を通じてデータ格納部120から、対象となる映像コンテンツの圧縮符号化データを読み出す。データ格納部120から読み出された圧縮符号化データは、データデコード部108に転送される。
データデコード部108では、圧縮符号化されているコンテンツデータをデコードし、表示画像生成出力部111、ディスプレイインターフェース112を通じてモニターディスプレイ30に出力して、画像を再生するようにする。
なお、録画指示が、DVDへの記録であったときには、その指示コマンドに応じて制御部101は、放送番組コンテンツの圧縮符号化データを、マルチディスクドライブ104に転送するようにする。マルチディスクドライブ104は、この転送されてきた放送番組コンテンツの圧縮符号化データを、DVDに記録するようにする。
また、再生指示がDVDの映像コンテンツの再生であったときには、その指示コマンドに応じて制御部101は、マルチディスクドライブ104に、指示された映像コンテンツを読み出してデータデコード部108に転送するようにする指示を送る。マルチディスクドライブ104は、この指示を受けて、DVD14から前記映像コンテンツのデータを読み出して、デコードデコード部108に転送する。データデコード部108では、圧縮符号化されているコンテンツデータをデコードし、表示画像生成出力部111、ディスプレイインターフェース112を通じてモニターディスプレイ30に出力して、画像を再生するようにする。
<ゲーム機としての動作>
モニターディスプレイ画面に表示された後述するグラフィック・ユーザ・インターフェース画面において、リモートコマンダ50や操作コントローラ40を介したユーザ入力によりゲームコンテンツの選択操作入力がなされた場合には、制御部102は、マルチディスクドライブ104を通じて、例えばDVDからゲーム・ソフトウエアを取り込む。そして、制御部102は、当該ゲーム・ソフトウエアに基づいた描画データを表示画像生成出力部111で生成するように制御する。
表示画像生成出力部111からのゲーム・ソフトウエアに基づいた描画画像データは、ディスプレイインターフェース112を通じてディスプレイ30に送られる。
<グラフィック・ユーザ・インターフェースの画面>
この実施形態では、予め定められている特定の操作、例えば、リモートコマンダ50のセレクトボタンあるいは操作コントローラ40のセレクトボタン46SEが操作されると、制御部102の制御により、表示画像生成出力部111で、グラフィック・ユーザ・インターフェースの画像が、α(アルファ)ブレンディングにより混合され、モニターディスプレイ30の画面には、そのときに表示されている画像に半透明の状態で重畳されるようにされている。
ここで、αブレンディングとは、ある表示画像の上に、半透明の状態で、別の画像を重畳して表示するようにする画像混合方法の呼称であり、2つの画像データを指定された混合比α(0≦α≦1.0)で混合することにより、当該指定された混合比αに応じた半透明の度合いで、重畳表示することができる。
すなわち、テレビ放送番組コンテンツの画像や、DVDの再生画像、また、データ格納部120から読み出された画像が表示されているときに、リモートコマンダ50のセレクトボタンや操作コントローラ40のセレクトボタン46SEが押されると、制御部102は、表示画像生成出力部111にグラフィック・ユーザ・インターフェース画面の画像を生成する制御指示を送る。
表示画像生成出力部111は、制御部102からの制御指示に応じてグラフィック・ユーザ・インターフェース画面の描画用データを生成する。この表示画像生成出力部111で生成されたグラフィック・ユーザ・インターフェース画面の描画用データは、テレビ放送受信部103からのテレビ放送番組の画像データ等に、αブレンディングにより混合され、モニターディスプレイ30の画面には、テレビ放送番組の画像等に半透明の状態で重畳されてグラフィック・ユーザ・インターフェース画面が表示される。
図3は、マルチメディア記録再生装置10において、制御部102の制御により表示画像生成出力部111により生成されて、モニターディスプレイ30の画面31に表示されるユーザ・インターフェース画面の初期メニュー画面の一例を示す。この実施の形態では、この初期メニュー画面として、図視のような交差型二次元配列メニュー画面を用いる。この例の交差型二次元配列メニュー画面は、例えばリモートコマンダ50のセレクトボタンや操作コントローラ40のセレクトボタン46SEを操作するごとに、画面31に表示されたり、画面31から消去されたりする。
なお、このグラフィカル・ユーザ・インターフェースの交差型二次元配列メニューにおいては、カーソル位置(選択中位置に相当)の変更は、この例では、操作コントローラ40の十字型方向指示ボタン45やリモートコマンダ50の左方向指示ボタン、右方向指示ボタン、上方向指示ボタン、下方向指示ボタンの操作に応じて、それぞれ指示された方向になされる。
この例の交差型二次元配列メニュー画面には、図3に示すように、水平方向に複数のメディアアイコンおよび設定アイコンが一列に並んだメディアアイコン配列200と、垂直方向に複数のコンテンツアイコンが一列に並んだコンテンツアイコン配列300や設定項目アイコン配列310とが、ほぼ画面中央近傍で交差する交差型2次元配列メニューが表示される。
メディアアイコン配列200に含まれるメディアアイコンは、この例のマルチメディア記録再生装置10が再生可能なメディアの種類を示す見出し用小画像であるので、予め定まったものとなる。図3の例では、メディアアイコン配列200に含まれるメディアアイコンとして、写真アイコン201、音楽アイコン202、動画アイコン203、放送アイコン204、光ディスクアイコン205、ゲームアイコン206が表示されている。
メディアアイコン配列200において、いずれかのメディアアイコンが選択されているときには、図3に示すように、当該選択中のメディアアイコン(図3において、斜線を付して示す)から上下に延長するコンテンツアイコン配列300が表示される。
このコンテンツアイコン配列300に含まれるコンテンツアイコンは、当該コンテンツアイコン配列300がメディアアイコン配列200と交差する位置のメディア(選択中であるメディアである。以下、この選択中メディアを注目メディアという)における複数のコンテンツについての見出し用小画像である。コンテンツアイコンのそれぞれは、前述したような、画像の縮小画像からなるサムネイルや、文字、絵柄などからなる。サムネイルは、サムネイル生成部110で生成される。
なお、データ格納部120に格納されているコンテンツに対しては、予めサムネイル生成部110で生成されたサムネイルが、各コンテンツに対応付けられて記憶されており、制御部102によりデータ格納部120から読み出されて用いられる。DVD14やメモリカード15に格納されているコンテンツに対しては、メディアアイコン200の対応するアイコンが選択されたときに、サムネイル生成部110で、そのサムネイルが生成されて用いられる。
図3の例では、注目メディアは、動画アイコン203で示されるメディアである。動画アイコン203は、メディアとしてのデータ格納部120に対応するものである。したがって、図3の例においては、コンテンツアイコン配列300に含まれるコンテンツアイコンは、データ格納部120に記録されている動画コンテンツのアイコンである。この例では、コンテンツアイコン配列300には、一画面上では、コンテンツアイコン301〜307が表示される。
上述したグラフィック・ユーザ・インターフェース画面は、前述したようにして、画面31に映出されている映像コンテンツの画像の前面に、半透明の状態で重ね合わされて表示される。
この例では、メディアアイコン配列200は、垂直方向には移動せず、例えば図3に示すような垂直方向の中央よりも僅かに上方の位置に固定されて表示される。しかし、メディアアイコン配列200内の複数個のメディアアイコン201〜206は、その配列全体として、操作コントローラ40の十字型方向指示ボタン45やリモートコマンダ50の操作ボタンを通じたユーザの左右方向の指示に応じて左右方向に移動するようにされる。
また、コンテンツアイコン配列300は、水平方向には移動せず、例えば図3に示すように、水平方向の中央よりも僅かに左寄りの位置に固定されて表示される。しかし、コンテンツアイコン配列300内の複数個のコンテンツアイコン301〜306は、その配列全体として、操作コントローラ40の十字型方向指示ボタン45やリモートコマンダ50の操作ボタンを通じたユーザの上下方向の指示に応じて上下方向に移動するようにされる。
以上のように、水平方向に複数個のメディアアイコン201〜206が一列に配列されているメディアアイコン配列200の垂直方向の表示位置は固定されると共に、垂直方向に複数個のコンテンツアイコン301〜306が一列に配列されているコンテンツアイコン配列300の水平方向の表示位置は固定されるので、メディアアイコン配列200と、コンテンツアイコン配列300との交差領域200Cは、表示画面31の中央よりも左斜め上方の位置に固定されるようにされる。
この実施形態では、制御部102は、この交差領域200Cに表示されるメディアアイコンを、選択中のアイコン(注目メディア等アイコン)と認識するようにする。
この交差領域200Cに位置する注目メディア等アイコンは、この例では、他のメディアアイコンと異なる色彩で表示されると共に、透明度を低くして、他のアイコンと区別可能となるように、強調表示される。図3の例では、交差領域200Cにおいては、動画アイコン203が、図示のように、他のメディアアイコンとは異なる色彩で表示されると共に、透明度が低くされて、これが選択中であることが示される。なお、選択中のアイコンを拡大表示して、強調するようにしてもよい。
また、この実施形態では、制御部102は、交差領域200Cの直下の領域300Cに表示されるコンテンツアイコンを、選択中のコンテンツアイコン(注目コンテンツアイコン)と認識するようにする。この領域300Cに表示される注目コンテンツアイコンも、他のコンテンツアイコンと区別可能とするために、この例では、他のコンテンツアイコンと異なる態様で表示される共に、透明度を低くされる。選択中のアイコンを拡大表示して、強調するようにしてもよい。
以上のように、この実施形態では、固定位置である交差領域200Cに表示されるアイコンが、注目メディアアイコンとされ、交差領域200Cの直下の領域(以下、注目領域という)300Cに表示されるコンテンツアイコンが、注目コンテンツアイコンとされる。ユーザは、メディアアイコン配列200を水平方向にスクロールさせて、交差領域200Cに希望メディアに対応するメディアアイコンを表示させるようにすると共に、コンテンツアイコン配列300を垂直方向にスクロールさせて、固定領域300Cに、希望コンテンツに対応するコンテンツアイコンを表示させるようにして、希望するメディアの希望するコンテンツの設定の選択操作を行なう。
このとき、いずれかのメディアアイコンが交差領域200Cで位置確定したときに、そのメディアアイコンの色彩とサイズおよび透明度が変化されて強調表示される。このように、交差領域200Cに位置するメディアアイコンをその他のメディアアイコンと異なる表示態様で表示するため、ユーザは容易にメディアを選択できる。
そして、いずれかのメディアアイコンが交差領域200Cで位置確定したときに、コンテンツアイコン配列300が交差領域200Cから上下方向に繰り出すように展開表示される。
次に、ユーザは、操作コントローラ40の十字型方向指示ボタン45やリモートコマンダ50の操作ボタンを介した上下方向の指示により、コンテンツアイコンの配列全体を上下方向に移動させる。すると、制御部102の制御により、交差領域200Cの直下の注目領域300Cに位置したコンテンツアイコンの色彩、アイコンサイズおよび透明度が変化する。なお、注目コンテンツアイコンの近傍位置、図3の例では、注目コンテンツアイコンの右方に、注目コンテンツアイコンに対応するコンテンツに関する属性として、例えば、図3の例では、映像タイトルと録画日が、制御部102の制御により表示される。
この実施形態においては、図3に示すように、初期メニュー画面には、決定キー42や、処理機能メニューを開くための操作ボタン等が、操作コントローラ40やリモートコマンダ50のどの操作ボタンに対応しているかを示す操作ボタン表示部400が含まれている。この操作ボタン表示部400には、操作コントローラ40やリモートコマンダ50の所定の4個の操作ボタンの押下部表面に記された丸印、三角印、四角印、×印に対応して、どのような操作機能が対応しているかを示す操作機能文字が表示されている。
図3の例では、丸印が付された操作ボタン42は、決定キー42(Enter)として割り当てられ、三角印が付された操作ボタン41は、処理機能メニュー画面を開くためのオプションキー(Option)として割り当てられている。また、×印が付された操作ボタン43は、一つ前の処理画面の状態に戻るための戻るボタンとして割り当てられている。
[編集機能の説明]
上述の例のマルチメディア記録再生装置に適用されたこの発明における動画像データの編集方法の幾つかの実施形態を、その編集動作のフローチャートおよび表示画面の変換を参照しながら、以下に説明する。
この実施形態においては、マルチメディア記録再生装置10では、上述の交差型二次元配列メニューのメディアアイコン配列200において動画アイコン203を選択し、その後、所定の操作をすることにより表示させた処理機能メニューから「編集」を選択して編集モードにする。そして、この編集のモードにおいて、再生を行いながら、後の再生時にはスキップしたい画像区間の編集開始点(イン点)および編集終了点(アウト点)の設定を行なうようにされている。
このような編集がなされて、データ格納部120に格納されたコンテンツについて、編集点を用いた再生を行なうと、イン点とアウト点との間の区間をスキップして、コンテンツの再生がなされる。また、当該コンテンツが、例えば書き込み可能なDVDディスクに複製記録されるとき、編集点を使用する記録モードを設定すると、イン点とアウト点との間の区間を除いて、複製記録がなされる。
<編集方法の第1の実施形態>
図4〜図7は、編集方法の第1の実施形態を説明するためのフローチャートである。このフローチャートは、主としてマルチメディア記録再生装置10の制御部102における処理動作を示したものである。また、図8および図9〜図15は、この編集方法の第1の実施形態におけるモニターディスプレイ30の表示画面の変化を示す図である。これらの図を参照しながら、編集方法の第1の実施形態を説明する。
なお、以下の説明においては、操作手段としては、操作コントローラ40のみが使用される場合を想定して説明する。しかし、操作コントローラ40ではなく、リモートコマンダ50の対応する操作ボタンを操作することによって、同様の動作をすることは言うまでもない。
マルチメディア記録再生装置10の制御部102では、交差型二次元配列メニュー画面を表示させるように割り当てられた操作コントローラ40のセレクトボタン46SEが操作されたか否か判別し(ステップS101)、セレクトボタン46SEではなく他のボタンが操作されたと判別すると、当該操作ボタンに対応する他の処理に移行する(ステップS102)。
ステップS101で、操作コントローラ40のセレクトボタン46SEが操作された判別したときには、制御部102は、表示画面生成出力部111に対して、交差型二次元配列メニュー画面の画像データの生成出力指示を送る(ステップS103)。
表示画像成出力部111は、記憶されているメディアアイコンやコンテンツアイコンなどの見出し小画像の画像情報を用いた交差型二次元配列メニュー画面の画像データを生成し、これをディスプレイインターフェース112を通じてモニターディスプレイ30に供給する。したがって、モニターディスプレイ30の表示画面31に、前述の図3に示したような交差型二次元配列メニュー画面が表示される。
このメニュー画面において、動画アイコン203が選択されたか否か判別し(ステップS104)、選択されていないと判別したときには、選択されているメディアアイコンに対応する処理を行なう(ステップS105)。また、動画アイコン203が選択されていると判別したときには、制御部102は、データ格納部120に格納されている動画コンテンツのコンテンツアイコン配列300を、図3および図8(A)に示すように、モニターディスプレイ30の表示画面31に表示するようにする(ステップS106)。
この表示画面においては、前述したように、ユーザにより十字型方向指示ボタン45の上方向指示ボタン(以下、上キーという)または下方向指示ボタン(以下、下キーという)が操作されることにより、編集の対象とする特定の動画コンテンツの選択入力が受け付けられる(ステップS106)。
そして、制御部102は、操作コントローラ40のオプションボタン41が操作されたか否か判別し(ステップS107)、オプションボタン41が操作されていないと判別したときには、戻るボタン43などの操作に応じたその他処理を行なう(ステップS108)。
また、ステップS107において、オプションボタン41が操作されたと判別したときには、制御部102は、表示画像生成出力部111を制御して、図8(B)に示すような下位階層機能メニュー画面(オプションメニュー画面)を表示させるようにする(ステップS109)。
この下位階層機能メニュー画面においては、メディアアイコン配列200が画面から消去され、ほぼ中央にあったコンテンツアイコン配列300が、図8(B)に示すように、モニターディスプレイ30の画面31の左端に移動させられると共に、メディアアイコン配列の消去およびコンテンツアイコン配列300の移動により空いたスペースに、下位の階層の処理機能項目群401が表示される。
制御部102は、この下位の階層の処理機能項目群401の中の1つの処理機能項目として、「編集」の選択を受け付けたか否か判別し(ステップS110)、受け付けてはいないと判別したときには、他の処理機能の選択の受け付けやその他の処理が行われる(ステップS111)。
また、ステップS110で、処理機能項目として、「編集」の選択を受け付けたと判別したときには、制御部102は、マルチメディア記録再生装置10を編集モードに移行させる。このとき、領域300Cに表示されて選択中コンテンツとされている動画コンテンツが、編集の対象のコンテンツとなる。
そして、表示画像生成出力部111は、制御部102の制御により、交差型二次元配列メニューを表示画面から消去して、図9に示すような編集モードの検索再生用モードの画面を表示する(ステップS112)。
この編集モードの検索再生用モードにおいては、図9に示すように、表示画面31には動画コンテンツの早送り再生、巻き戻し再生、ノーマル再生、ポーズ、取消、確認再生、中止、完了などの操作ボタンアイコン群410が表示され、カーソルが当該操作ボタンアイコン群410のうちのいずれかのボタンアイコンに位置し、ユーザによりカーソル位置のボタンアイコンが操作可能とされる。
この実施形態では、この操作ボタンアイコン群410は、後述するGOPモードやフレームモードになると、画面上に薄く表示されて、ユーザにより操作できなくなるようにされている。ただし、この第1の実施形態では、GOPモードにおいて、予め定められた特定のボタン、例えば操作コントローラ40やリモートコマンダ50の左方向指示ボタン(以下、左キーという)が操作されると、操作ボタンアイコン群410が濃く表示されると共に、カーソルが当該操作ボタンアイコン群のうちのいずれかのボタンアイコンに位置し、ユーザによりカーソル位置のボタンアイコンが操作可能の状態とされるようにされている。
また、この例においては、現在表示中の再生画像が、編集対象の動画コンテンツの再生時間の全体のうちの、どの辺りの時間のものかの表示マークTMを伴う時間バー411が表示される。この例では、この時間バー411において、画面に向かって左側から右側に向かう方向を時間経過方向としている。したがって、動画コンテンツの再生開始点は時間バー411の左端の位置であり、現時点マークTMは、再生時間の経過と共に、左から右に順次に移動する。
ユーザは、この検索再生用モードにおいては、早送り再生や巻き戻し再生、ノーマル再生により、画面31に当該動画コンテンツの再生画像を表示させ、当該再生画像を監視することにより編集開始点および編集終了点の大まかな位置を検索する。そして、大まかな編集点位置を検知すると、ユーザは、ポーズボタンを操作する。第1の実施形態では、この検索再生用モードにおけるポーズボタン操作は、検索再生用モードからGOPモードへの切換操作とされている。
なお、編集モードの画面においては、上方に、動画コンテンツの編集モードであることを示す編集モード表示412と、戻るボタン43、決定キー42およびオプションボタン41と、操作コントローラ40およびリモートコマンダ50の操作ボタンとの対応を示す表示部413が常時表示されている。
以上のことから、検索再生用モードにおいては、制御部102は、ユーザにより操作ボタンアイコン群410のいずれかのボタン操作がなされ、検索用の再生操作がなされたか否か判別し(ステップS113)、なされてはいないと判別したときには、戻るボタン43が操作されたか否か判別し(ステップS116)、戻るボタン43が操作されたと判別したときには、ステップS109に戻り、図8(B)に示した画面の状態に戻る。また、ステップS116で戻るボタン43が操作されていないと判別したときには、ステップS113に戻り、検索用再生操作入力を監視する。
なお、以下の説明においても、常に戻るボタン43は有効であって、一つ前の操作時点に処理を戻すことができるが、説明の簡単のため、以下に説明するフローチャートにおいては、戻るボタン43を操作したときの処理動作は省略した。
ステップS113で、検索用再生操作がなされたと判別したときには、制御部102は、表示画像生成出力部111を制御して、操作に応じた再生位置の再生画像をモニターディスプレイ30の表示画面31に表示するように制御すると共に、時間バー411のマークTMにより、当該再生画像の対象コンテンツの全体における位置を表示するようにする(ステップS114)。
そして、制御部102は、ポーズボタンが操作されたかどうかを監視し(ステップS115)、ポーズボタンが操作されていないと判別したときには、ステップS113に戻り、また、ポーズボタンが操作されたと判別したときには、モニターディスプレイ30の表示画面31の再生画像を、ポーズボタンが操作された時点のもので一時停止すると共に、GOP単位である例えば15枚おきのフレームを編集点として設定することが可能なGOPモード(群単位編集点選択モード)に移行する(図5のステップS121)。
図10(A)は、このGOPモードの表示画面の一例を示すものである。このGOPモードの表示画面には、編集点選択モード表示欄414が表示されていると共に、ユーザに編集点の設定を促すメッセージ表示欄415が表示される。この図10(A)では、編集点選択モードがGOPモードであることが編集点選択モード表示欄414に文字表示されていると共に、メッセージ表示欄415には、編集開始点を設定するように促すメッセージが文字表示されている。
また、GOPモードおよび後述するフレームモードにおいては、前述したように、操作ボタンアイコン群410は、薄く表示されて操作不能とされるが、時間バー411には、編集点位置がマークTMにより表示されるようにされている。すなわち、時間バー411において、マークTMにより、当該編集開始点が、対象コンテンツの全体のどの時間位置であるかが表示される。
さらに、この実施形態では、GOPモードおよびフレームモードにおいては、表示画面31には、図10〜図15に示すように、当該編集開始点の編集対象コンテンツの先頭からの相対的な時間位置を示す開始点表示欄416および編集終了点の編集対象コンテンツの先頭からの相対的な時間位置を示す終了点表示欄417が表示されるようにされている。
図10(A)に示すように、GOPモードの表示画面においては、群単位サムネイル配列に対応するGOP単位サムネイル配列500が表示される。このGOP単位サムネイル配列500は、各GOP内のIピクチャの画像の縮小画像からなるGOP単位サムネイル501の複数個が、画面の水平方向に、時間の経過に沿って並べられて表示されるものである。GOPが、例えば15フレームからなるものとしたときには、GOP単位サムネイル501は、対象動画コンテンツの0.5秒間隔の画像フレームとなる。
このGOP単位サムネイル配列500は、操作コントローラ40やリモートコマンダ50の左方向指示ボタン(以下、左キーという)や右方向指示ボタン(以下、右キーという)の操作入力に応じて、全体として左方向および右方向に移動する。
そして、この例では、図10(A)に示すように、GOP単位サムネイル配列500の中央の領域500Cに表示されるGOP単位サムネイルが、現在選択中であるGOP単位サムネイル(以下、選択中GOP単位サムネイルという)とされる。
選択中GOP単位サムネイルは、図の例では、例えば黄色などの目立つ色の枠で囲まれて、他のGOP単位サムネイルと区別できるように、強調表示される。これにより、ユーザは、再生中の画面において現在表示中である選択中の画像のGOP単位サムネイルがどれであるかを一目でわかる。なお、中央の領域500Cの選択中GOP単位サムネイルの強調表示としては、目立つ色の枠で囲むのではなく、そのGOP単位サムネイルの大きさを、他のGOP単位サムネイルとは変える、選択中GOP単位サムネイルの周辺の彩色を変えるなどの方法を用いることもできる。なお、強調表示は必須ではない。
以上のように、ユーザは、前記左キーや右キーを操作することにより、領域500Cに位置する現在選択中のGOP単位サムネイルを変更することができる。そして、左キーあるいは右キーにより、選択中GOP単位サムネイルが変更されると、画面31に全体として表示される画像も、当該選択中GOP単位サムネイルに対応する画像フレームの画像とされる。これにより、ユーザは、GOP単位サムネイルだけでなく、当該画面31に表示される画像によって、その内容を確認することができる。
つまり、GOP単位サムネイル配列500や後述するフレーム単位サムネイル配列600は、選択中GOP単位サムネイルや選択中フレーム単位サムネイルに対応する画像フレームの上に、αブレンディングより半透明の状態で表示されるものである。以下、同様である。
すなわち、制御部102は、GOPモードにおいては、操作コントローラ40やリモートコマンダ50の左キーや右キーが操作されたか否か監視し(ステップS122)、左キーや右キーが操作されたと判別したときには、GOP単位サムネイル配列500を、全体として左方向あるいは右方向に移動させて、選択中GOP単位サムネイルを変更するように表示画像生成出力部111を制御する(ステップS123)。
この実施形態では、このGOPモードにおいて、操作コントローラ40やリモートコマンダ50を通じて、ユーザにより決定ボタンが操作されると、GOP単位のフレーム(Iピクチャ)を編集点として設定することができるように構成されている。
また、この実施形態では、GOPモードにおいて、操作コントローラ40やリモートコマンダ50を通じて、ユーザにより上キーあるいはオプションボタンが操作されると、選択中GOP単位サムネイルに対応するGOPを構成する複数枚の画像フレームのうちの1つの画像フレームを編集点として選択決定することができるフレームモード(フレーム単位編集点選択モード)に移行させることができるように構成されている。
また、この実施形態では、GOPモードにおいて、操作コントローラ40やリモートコマンダ50を通じた操作が何もない状態が予め定めた一定時間以上継続したときにも、GOPモードからフレームモードに移行するように構成されている。
そこで、この実施形態では、ステップS122で左キーあるいは右キーが操作されていないと判別されたとき、また、ステップS123で選択中GOP単位サムネイルが変更された後には、制御部102は、決定キー42が操作されたか否か判別する(ステップS124)。そして、ステップS124で、決定キー42が操作されたと判別したときには、制御部102は、当該決定キー42が操作されたのは、編集モードを開始してから初めてであるか、つまり、最初の編集点(最初の編集開始点)であるか否か判別する(図6のステップS141)。
このステップS141において、最初の編集点であると判別したときには、制御部102は、選択中GOP単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS142)。
このとき、この実施形態では、表示画面31の開始点表示欄416には、当該編集開始点の編集対象コンテンツの先頭からの相対的な時間位置が文字表示されると共に、時間バー411において、マークTMにより、当該編集開始点が、対象コンテンツの全体のどの時間位置であるかが表示される。なお、この時点では、終了点表示欄417にも、開始点表示欄416と同じ時間位置の文字表示がなされる。
その後、制御部102は、装置10を編集終了点の設定受付状態に移行させる(ステップS143)。この編集終了点の設定受付状態においては、開始点表示欄416の内容は固定とし、終了点表示欄417の内容を、ユーザの編集終了点の変更操作に併せて変更するようにする。
また、時間バー411においては、直前に設定された編集開始点の時点から、これから設定される編集終了点までの区間をユーザに報知表示するための区間表示418を伴って、編集終了点をマークTMにより表示する。前記編集開始点から編集終了点までの区間表示418は、時間バー411において、当該区間を他とは異なる色で表示することにより行なう。例えば、時間バー411は、青色で表示するが、前記編集開始点から編集終了点までの区間の区間表示418は、白色で表示する等の表示方法が用いられる。
次に、制御部102は、左キーあるいは右キーが操作されたか否か判別する(ステップS144)。そして、ステップS144で、左キーあるいは右キーが操作されたと判別したときには、制御部102は、ステップS123に戻り、図10(B)に示すように、GOP単位サムネイル配列500における選択中GOP単位サムネイルを変更し、上述したステップS123以降の処理を繰り返す。
このとき、図10(B)に示すように、編集終了点の設定受付状態である場合には、メッセージ表示欄415は、編集終了点の設定入力を促すメッセージとなり、また、開始点表示欄416の表示値は固定され、終了点表示欄417の表示値のみがユーザの編集点検索操作に応じて変更されて表示される。そして、時間バー411においては、図10(B)において、塗り潰して示すように、編集開始点と編集終了点の間の区間表示418がなされる。
そして、上述と同様にして、GOPモードにおいて、ステップS124でユーザにより決定キー42が操作されたと判別すると、図6のステップS141では最初の編集点ではないと判別されるので、ステップS145に進む。そして、ステップS145では、前回、決定された編集点は、編集開始点か編集終了点かを判別する。ここでは、前回は編集開始点と判別されるので、制御部102は、決定された編集点を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS146)。
なお、ステップS145で、前回、決定された編集点が編集終了点であると判別したときには、制御部102は、ステップS142に進み、前述したステップS142以降の処理を実行する。
ステップS146で、編集終了点の保存が終了すると、その後、制御部102は、装置10を編集開始点の設定受付状態に移行させ(ステップS147)、左キーあるいは右キーが操作されたか否か判別する(ステップS148)。そして、ステップS148で、左キーあるいは右キーが操作されたと判別したときには、制御部102は、ステップS123に戻り、図10(A)に示すように、編集開始点の設定入力を促すメッセージをメッセージ表示欄415に表示し、GOP単位サムネイル配列500における選択中GOP単位サムネイルを変更し、上述したステップS123以降の処理を繰り返す。
そして、上述と同様にして、編集開始点の設定入力を受け付け、決定キー42の操作入力に応じて、当該設定された編集開始点のフレーム位置情報を、データ格納部120に、対象コンテンツに対応させて記憶する。また、編集終了点についても、上述したようにして設定入力を受け付け、決定キー42の操作入力に応じて、当該設定された編集終了点のフレーム位置情報を、データ格納部120に、対象コンテンツに対応させて記憶する。
以上のようにして、GOPモードにおいては、GOP単位サムネイルに対応する、例えば15フレームおきのフレーム単位での編集点の設定が可能である。
また、ステップS148で、左キーあるいは右キーが操作されてはいないと判別したときには、制御部102は、下キーが操作されたか否か判別する(ステップS149)。下キーが操作されていないと判別したときには、ステップS148に戻る。
ステップS149で下キーが操作されたと判別したときには、制御部102は、装置10をGOPモードから検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS150)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS151)、完了ボタンアイコンが操作されたと判別したときには、ステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS151で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS152)。
前述もしたように、この実施形態では、GOPモードからフレームモードに切り換えることにより、GOPを構成する各フレーム単位でも編集点の設定が可能である。すなわち、この実施形態では、GOPモードにおいて、上キーあるいはオプションボタン41を操作すると、GOPモードからフレームモードに移行することができる。また、GOPモードにおいて、何の操作もない状態が一定時間以上経過したときにも、GOPモードからフレームモードに移行することができる。
そこで、制御部102は、図5のステップS124で、GOPモードにおいて、決定キー42が操作されないと判別したときには、上キーあるいはオプションボタン41が操作されたかどうか判別する(ステップS125)。このステップS125で、上キーあるいはオプションボタン41が操作されていないと判別したときには、何も操作入力が無い状態が一定時間以上経過したか否か判別する(ステップS126)。一定時間以上経過してはいないと判別したときには、制御部102は、ステップS122に戻り、左キーあるいは右キーの操作の監視状態になる。
ステップS125で、上キーあるいはオプションボタン41が操作されたと判別されたとき、また、ステップS126で、何も操作入力が無い状態が一定時間以上経過したと判別したときには、制御部102は、GOPモードからフレームモードに移行する(ステップS127)。
すなわち、例えば図11(A)に示すようなGOPモードにおいて、例えば、フレームモードに移行すると、図11(B)に示すような画面に変わる。すなわち、制御部102は、表示画像生成出力部111を制御して、GOP単位サムネイル配列500の選択中GOP単位サムネイルに対応するGOPを構成する複数枚の画像フレームのそれぞれのサムネイル(以下、これをフレーム単位サムネイルという)を、時間経過の順に並べたフレーム単位サムネイル配列600を、領域500Cの部分から下方に並べて表示させるようにする。
この例では、画面の上方から下方に向かう方向を時間経過方向としている。したがって、フレーム単位サムネイル配列600を構成する複数個の画像フレームは、領域500Cの選択中GOP単位サムネイルと、その右隣のGOP単位サムネイルとの間の複数フレーム(例えば15フレーム)からなる。
ここで、図11(B)の例では、GOPモードからフレームモードに変化した最初の時点では、領域500Cに表示されるサムネイルは変化していない。これは、領域500CのGOP単位サムネイルと、フレーム単位サムネイルの先頭とを同一にして、モード切り換え直後の表示の違和感をできるだけ少なくするようにするためであり、領域500Cから下方にのみ、フレーム単位サムネイル配列600を表示することにより、領域500Cのサムネイルが変化しないようにしている。
そして、この状態から、操作コントローラ40やリモートコマンダ50の上キーを操作すると、図12(A)に示すように、フレーム単位サムネイル配列600は、上方に全体として移動する。また、操作コントローラ40やリモートコマンダ50の下キーを操作すると、フレーム単位サムネイル配列600は、下方に全体として移動する。
この図12(A)に示されるように、この第1の実施形態では、GOP単位サムネイル配列500と、フレーム単位サムネイル配列600とは、交差型二次元配列メニューとまったく同様に、注目位置(選択中位置)を交差位置として互いに交差するように配置される。このため、この第1の実施形態においては、交差型二次元配列メニューの操作と同様にして、編集点の設定入力を行なうことができ、使い勝手が良いというメリットがある。
このフレーム単位サムネイル配列600における選択中フレーム単位サムネイルも、中央の領域500Cに表示されるサムネイルとされ、選択中GOP単位サムネイルと同様に、他のサムネイルと区別するように、例えば黄色枠で囲まれて強調表示される。
そして、このフレームモードにおいては、上述の上キーあるいは下キーの操作により、フレーム単位サムネイル配列600を上下方向に移動させることにより、領域500Cの選択中フレーム単位サムネイルを変更させることができる。
そして、上キーあるいは下キーにより、選択中フレーム単位サムネイルが変更されると、画面31に全体として表示される画像も、当該選択中フレーム単位サムネイルに対応する画像フレームの画像とされる。これにより、ユーザは、フレーム単位サムネイルだけでなく、当該画面31に表示される画像によって、その内容を確認することができる。
そして、このフレームモードにおいて、操作コントローラ40やリモートコマンダ50の決定キー42が操作されると、画像フレーム単位の編集点の設定ができる。
また、フレームモードにおいて、左キーあるいは右キーが操作されると、この第1の実施形態では、制御部102は、当該操作をフレームモードからGOPモードへの切換操作として判別し、後述する図13(A)に示すように、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみからなる表示に戻すと共に、前記左キーあるいは右キーの操作に応じた方向に選択中GOP単位サムネイルを変更するようにする。
そして、そのGOPモードから、上キーあるいはオプションボタン41を再度操作することにより、フレームモードに移行させることができる。以上のようにして、この第1の実施形態では、GOPモードとフレームモードとを切り換えながら、GOP単位のフレーム編集点あるいはフレーム単位のフレーム編集点の設定を行なうことができる。
以上説明したフレームモードの動作を、図5および図7のフローチャートについて説明する。
すなわち、フレームモードにおいて、制御部102は、上キーまたは下キーが操作されたか否か判別し(図5のステップS128)、上キーまたは下キーが操作されたと判別したときには、図12(A)および図12(B)に示すように、画面31の垂直方向において、操作されたキーに応じた方向に、フレーム単位サムネイル配列600を全体として移動させて、領域500Cの選択中フレーム単位サムネイルを変更する。
次に、制御部102は、決定キー42が操作されたか否か判別する(ステップS130)。ステップS128で、上キーまたは下キーが操作されていないと判別したときにも、制御部102は、ステップS130に飛んで、決定キー42が操作されたか否か判別する。
そして、このステップS130で、決定キー42が操作されたと判別したときには、制御部102は、当該決定キー42が操作されたのは、編集モードを開始してから初めてであるか、つまり、最初の編集点(最初の編集開始点)であるか否か判別する(図7のステップS161)。
このステップS161において、最初の編集点であると判別したときには、制御部102は、選択中フレーム単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS162)。
その後、制御部102は、装置10を編集終了点の設定受付状態に移行させ(ステップS163)、左キーあるいは右キーが操作されたか否か判別する(ステップS164)。そして、ステップS164で、左キーあるいは右キーが操作されてはいないと判別したときには、ステップS128に戻り、このステップS128以降を繰り返す。
このとき、フレームモードにおける編集終了点の設定受付状態である場合には、メッセージ表示欄415は、編集終了点の設定入力を促すメッセージとなり、また、開始点表示欄416の表示値は固定され、終了点表示欄417の表示値のみがユーザの編集点検索操作に応じて変更されて表示される。そして、時間バー411においては、前述したように、編集開始点と編集終了点の間の区間表示418がなされる。
そして、上述と同様にして、フレームモードにおいて、ステップS130でユーザにより決定キー42が操作されたと判別すると、図7のステップS161では最初の編集点ではないと判別されるので、ステップS166に進む。そして、ステップS166では、前回、決定された編集点は、編集開始点か編集終了点かを判別する。ここでは、前回は編集開始点と判別されるので、制御部102は、決定された編集点(画像フレーム単位の編集点)を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS167)。
なお、ステップS166で、前回、決定された編集点が編集終了点であると判別したときには、制御部102は、ステップS162に進み、前述したステップS162以降の処理を実行する。
ステップS167で、編集終了点の保存が終了すると、その後、制御部102は、装置10を編集開始点の設定受付状態に移行させ(ステップS168)、左キーあるいは右キーが操作されたか否か判別する(ステップS169)。そして、ステップS169で、左キーあるいは右キーが操作されていないと判別したときには、制御部102は、ステップS128に進み、このステップS128以降の処理を繰り返す。
また、ステップS169で、左キーあるいは右キーが操作されたと判別したときには、制御部102は、フレームモードからGOPモードへの切換操作があったと判断して、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみとすると共に、GOP単位サムネイル配列500における選択中GOP単位サムネイルを、ユーザによる左キー操作あるいは右キー操作に応じて変更する(ステップS170)。
次に、制御部102は、下キーが操作されたか否か判別する(ステップS171)。下キーが操作されていないと判別したときには、ステップS124に戻る。
ステップS171で下キーが操作されたと判別したときには、制御部102は、装置10をGOPモードから検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS172)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS173)、完了ボタンアイコンが操作されたと判別したときには、ステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS173で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS174)。
また、ステップS164で、左キーあるいは右キーが操作されたと判別したときには、制御部102は、GOPモードへの切換操作と判断して、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみとすると共に、GOP単位サムネイル配列500における選択中GOP単位サムネイルを、ユーザによる左キー操作あるいは右キー操作に応じて変更する(ステップS165)。その後、ステップS124に進み、前述したステップS124以降の処理を繰り返す。
以上のようにして、フレームモードにおいては、フレーム単位サムネイルに対応する画像フレーム単位での編集点の設定が可能である。
この第1の実施形態において、或るGOP単位サムネイルに対応するGOPのうちの特定のフレームを編集開始点として、別のGOP単位サムネイルに対応するGOPのうちの特定のフレームを編集終了点として設定する場合には、次のような、操作および編集点設定動作となる。表示画面の変化を参照しながら、この操作および編集点設定動作について以下に説明する。
先ず、ユーザは、図11(A)に示すGOPモードにおいて、左キーあるいは右キーを操作することにより、編集開始点としたい画像フレームを含むであろうGOPを、それに対応するGOP単位サムネイルを領域500Cの選択中GOPサムネイルとすることにより選択する。そして、選択中GOPサムネイルの選択が終了したら、ユーザは、上キーあるいはオプションボタンを操作することにより、GOPモードからフレームモードに移行させ、図11(B)に示すようなフレームモードの画面を表示させる。
そして、ユーザは、このフレームモードにおいて、上キーあるいは下キーを操作することにより、図12(A)および(B)に示すように、フレーム単位サムネイル配列600を移動させることにより、編集開始点の画像フレームに対応するフレーム単位サムネイルを、領域500Cの選択中フレーム単位サムネイルとすることにより選択する。
そして、例えば図12(B)において、ユーザは、決定キー42を操作することにより、このフレームモードの画面において、選択中フレーム単位サムネイルに対応する画像フレームを、編集開始点として設定する。すると、前述したように、編集対象の動画コンテンツに対応して、設定された編集開始点についてのデータがデータ格納部120に格納される。
次に、ユーザは、この図12(B)において、編集終了点の画像フレームを含むであろうGOPを選択すべく、左キーあるいは右キーを操作する。すると、フレームモードからGOPモードへ切り換わり、図13(A)に示すようなGOPモードの画面となり、左キーあるいは右キーの操作に応じて、領域500Cの選択中GOPサムネイルが変更される。そして、さらに、ユーザは、左キーまたは右キーを操作して、編集終了点としたい画像フレームを含むであろうGOPを、それに対応するGOP単位サムネイルを領域500Cの選択中GOPサムネイルとすることにより選択する。
このとき、図13(A)に示すように、編集開始点から選択中GOP単位サムネイルまでの区間が時間バー411において区間表示418として表示されると共に、編集開始点を含むGOPのGOP単位サムネイルから、編集終了点のフレームを含むとして選択中のGOP単位サムネイルまでの全てのサムネイルを目立つ色で囲むなどの方法で、強調表示する。図13(A)では、対応する区間のGOP単位サムネイルに対して2重線を付して強調表示を表している。
そして、選択中GOPサムネイルの選択が終了したら、ユーザは、上キーあるいはオプションボタンを操作することにより、GOPモードからフレームモードに移行させ、図13(B)に示すようなフレームモードの画面を表示させる。
そして、ユーザは、このフレームモードにおいて、上キーあるいは下キーを操作することにより、図14(A)および(B)に示すように、フレーム単位サムネイル配列600を移動させることにより、編集終了点の画像フレームに対応するフレーム単位サムネイルを、領域500Cの選択中フレーム単位サムネイルとすることにより選択する。
そして、例えば図14(B)において、ユーザは、決定キー42を操作することにより、このフレームモードの画面において、選択中フレーム単位サムネイルに対応する画像フレームを、編集終了点として設定する。すると、前述したように、編集対象の動画コンテンツに対応して、設定された編集終了点についてのデータがデータ格納部120に格納される。
このとき、編集終了点のフレーム単位サムネイルを選択し決定するまでは、GOP単位サムネイル配列500およびフレーム単位サムネイル配列600について、編集開始点から編集終了点までを、図14(A)において2重線を付して示すようにして、ユーザに報知するようにする。
そして、ユーザが編集終了点についての決定キー42操作をしたときには、表示画面31においても、図14(B)に示すように、編集点開始点を含むGOP単位サムネイルから編集終了点のフレーム単位サムネイルまでを、他のサムネイルを区別して表示するようにする。図14(B)においては、各サムネイルについて斜線を付して示すが、実際的には、このような斜線を付すのではなく、例えば色彩を他のサムネイルと異ならせるようにすることで区別表示するようにする。
以上のようにして、1組の編集開始点および編集終了点の設定が終了したとき、引き続いて、他の区間の編集開始点から編集終了点を設定するときには、ユーザは、左キーあるいは右キーのいずれかを操作する。すると、図11(A)の状態に戻り、以降、同様にして次の編集開始点から編集終了点の設定をする。以下、必要な複数区間の編集開始点から編集終了点についての設定を行なうことができる。
そして、最後の編集終了点を設定した後には、図14(B)の画面において、下キーを操作する。すると、図15に示すように、GOPモードの画面となり、編集開始点から編集終了点までをGOP単位サムネイル配列500において、他と区別する表示により報知すると共に、時間バー411においても時間区間表示418により表示する。
<編集方法の第2の実施形態>
以上説明した第1の実施形態では、フレーム単位の編集点を設定する場合において、異なるGOPのフレームを編集開始点および編集終了点とする場合は、GOPモードに一度戻るようにした。これに対して、この第2の実施形態では、編集モードの検索再生用モードからGOPモードに移行し、GOPモードにおいて編集点を設定するのは、第1の実施形態と同様であるが、この第2の実施形態では、GOPモードからフレームモードに移行した後には、第1の実施形態とは異なり、GOPモードへの戻りを必要とせずに、GOPを異にするフレーム単位の編集点の設定が可能とされている。
すなわち、例えば図12(B)のフレームモードにおいて、編集開始点の設定をした後、別のGOPに移動して編集終了点を設定するために、左キーあるいは右キーを操作すると、第1の実施形態では、図13(A)に示したように、一旦、GOPモードに戻るようにしたが、この第2の実施形態では、GOPモードに戻ることなく、図14(A)の状態に直接に移行するようにする。
つまり、図12(B)のフレームモードにおいて、GOP単位サムネイル配列500の選択中GOP単位サムネイルを変更するように、左キーあるいは右キーを操作すると、選択中GOP単位サムネイルが変更されると共に、フレーム単位サムネイル配列600が同時に新たに選択中GOP単位サムネイルとなったGOP単位サムネイルに対応するGOPを構成する複数枚のフレームのサムネイルからなるフレーム単位サムネイル配列に変更される。
第2の実施形態では、この状態で、上キーあるいは下キーを操作することにより、フレーム単位サムネイル配列600を上下に移動させて、選択中フレーム単位サムネイルを変更することができる。
また、さらに、左キーあるいは右キーを操作すると、選択中GOP単位サムネイルが変更されると共に、フレーム単位サムネイル配列600が同時に新たに選択中GOP単位サムネイルとなったGOP単位サムネイルに対応するGOPを構成する複数枚のフレームのサムネイルからなるフレーム単位サムネイル配列に変更される。
つまり、この第2の実施形態では、フレームモードにおいては、左キーあるいは右キーの操作は、領域500Cの選択中GOP単位サムネイルの変更操作とされ、上キーあるいは下キーの操作は、領域500Cの選択中フレーム単位サムネイルの変更操作とされる。したがって、この第2の実施形態では、フレーム単位の編集点の設定は、フレームモードのみにおいて行える。換言すれば、第2の実施形態のフレームモードは、いわばGOP/フレームモードである。
次に、この第2の実施形態の場合における制御部102の動作処理のフローチャートを説明するに、前述の図4のフローチャート部分および図6のフローチャート部分は、この第2の実施形態においても全く同様の動作であるので、ここではその説明は省略する。図16〜図18は、この第2の実施形態の場合における制御部102の動作処理の主要部のフローチャートであり、図4のフローチャートに続く処理ステップである。
すなわち、図4のステップS115で、ポーズボタンが操作されたと判別したときには、制御部102は、モニターディスプレイ30の表示画面31の再生画像を、ポーズボタンが操作された時点のもので一時停止すると共に、GOP単位である例えば15枚おきのフレームを編集点として設定することが可能なGOPモード(群単位編集点選択モード)に移行する(図16のステップS201)。
そして、制御部102は、GOPモードにおいては、操作コントローラ40やリモートコマンダ50の左キーや右キーが操作されたか否か監視し(ステップS202)、左キーや右キーが操作されたと判別したときには、GOP単位サムネイル配列500を、全体として左方向あるいは右方向に移動させて、選択中GOP単位サムネイルを変更するように表示画像生成出力部111を制御する(ステップS203)。
そして、ステップS202で左キーあるいは右キーが操作されていないと判別されたとき、また、ステップS203で選択中GOP単位サムネイルが変更された後には、制御部102は、決定キー42が操作されたか否か判別する(ステップS204)。そして、ステップS204で、決定キー42が操作されたと判別したときには、前述した図6のステップS141に進み、制御部102は、そのときに選択中のGOP単位サムネイルに対応するGOPのIピクチャ(フレーム)を編集開始点として設定し、当該編集開始点についてのデータを、編集対象である動画コンテンツに対応してデータ格納部120に格納する。そして、制御部102は、前述したステップS141以降の処理を実行する。
また、制御部102は、ステップS204で、決定キー42が操作されないと判別したときには、上キーあるいはオプションボタン41が操作されたかどうか判別する(ステップS205)。このステップS205で、上キーあるいはオプションボタン41が操作されていないと判別したときには、何も操作入力が無い状態が一定時間以上経過したか否か判別する(ステップS206)。一定時間以上経過してはいないと判別したときには、制御部102は、ステップS202に戻り、左キーあるいは右キーの操作の監視状態になる。
ステップS205で、上キーあるいはオプションボタン41が操作されたと判別されたとき、また、ステップS206で、何も操作入力が無い状態が一定時間以上経過したと判別したときには、制御部102は、GOPモードからフレームモードに移行し、例えば図21(B)に示すような画面表示とする(ステップS207)。
そして、制御部102は、オプションボタン41が操作されたか否か判別し(ステップS208)、オプションボタン41が操作されたと判別したときには、GOPモードに戻る操作と判別して、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみを画面に表示し(ステップS209)、その後、ステップS202に戻る。
ステップS208でオプションボタン41が操作されてはいないと判別したときには、制御部102は、左キーあるいは右キーが操作されたか否か判別し(図17のステップS211)、左キーあるいは右キーが操作されたと判別したときには、GOP単位サムネイル配列500を、操作された方向に移動して、選択中GOP単位サムネイルを変更すると共に、フレーム単位サムネイル配列600を、当該選択中GOP単位サムネイルに対応するGOPを構成する複数枚のフレームについてのものに変更する(ステップS212)。
ステップS212の次には、制御部102は、上キーあるいは下キーが操作されたか否か判別する(ステップS213)。また、ステップS211で、左キーあるいは右キーが操作されてはいないと判別したときにも、制御部102は、ステップS213に進んで、上キーあるいは下キーが操作されたか否か判別する。
そして、ステップS213で上キーあるいは下キーが操作されたと判別したときには、制御部102は、前述の図12(A)および図12(B)に示したように、画面31の垂直方向において、操作されたキーに応じた方向に、フレーム単位サムネイル配列600を全体として移動させて、領域500Cの選択中フレーム単位サムネイルを変更する(ステップS214)。
次に、制御部102は、決定キー42が操作されたか否か判別する(ステップS215)。ステップS213で、上キーまたは下キーが操作されていないと判別したときにも、制御部102は、ステップS215に飛んで、決定キー42が操作されたか否か判別する。
そして、このステップS215で、決定キー42が操作されてはいないと判別したときには、制御部102は、ステップS208に戻って、オプションボタン41が操作されたか否か判別する。そして、このステップS208以降を繰り返す。また、ステップS215で、決定キー42が操作されたと判別したときには、制御部102は、前回、決定された編集点は、編集開始点か編集終了点かを判別する(ステップS216)。
このステップS216で、前回の編集点は、編集終了点あるいは前回は無し(初めての編集点)であると判別したときには、制御部102は、選択中フレーム単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS217)。
その後、制御部102は、装置10を編集終了点の設定受付状態に移行させた後(ステップS218)、ステップS208に戻って、オプションボタン41が操作されたか否か判別する。そして、このステップS208以降を繰り返す。
また、ステップS216で、前回の編集点は編集開始点であると判別したときには、制御部102は、決定された編集点(画像フレーム単位の編集点)を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS219)。そして、編集終了点の保存が終了すると、制御部102は、装置10を編集開始点の設定受付状態に移行させた後(ステップS220)、オプションボタン41が操作されたか否か判別し(ステップS221)、操作されていないと判別したときには、ステップS211に戻り、このステップS211以降の処理を繰り返す。
また、ステップS221で、オプションボタン41が操作されたと判別したときには、制御部102は、フレームモードからGOPモードへの切換操作があったと判断して、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみとする(図18のステップS231)。
次に、制御部102は、下キーが操作されたか否か判別する(ステップS232)。下キーが操作されていないと判別したときには、左キーあるいは右キーが操作されたか否か判別する(ステップS233)。そして、ステップS233で、左キーあるいは右キーが操作されていないと判別したときには、制御部102は、ステップS232に戻り、このステップS232以降の処理を繰り返す。ステップS233で、左キーあるいは右キーが操作されたと判別したときには、制御部102は、図16のステップS203に戻り、当該ステップS203以降の処理を繰り返す。
また、ステップS232で、下キーが操作されたと判別したときには、制御部102は、装置10をGOPモードから検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS234)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS235)、完了ボタンアイコンが操作されたと判別したときには、ステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS235で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS236)。
以上のようにして、この第2の実施形態では、フレームモードにおいては、GOP/フレームモードのような動作をして、GOPモードに切り換える操作をしなくても、GOP単位サムネイル配列500の選択中GOP単位サムネイルを変更することができ、使い勝手が良くなるものである。
<第3の実施形態>
この第3の実施形態は、第2の実施形態の更なる発展型である。第2の実施形態においても、検索再生用モードからGOPモードを経由してフレームモードに移行するようにすると共に、フレームモードとGOPモードとの切り換えを、特定の操作ボタン、上述の例では、オプションボタン41(GOPモードからフレームモードへは、上キーでもできる)を用いて行なうようにしている。
これに対して、第3の実施形態では、検索再生用モードから、前述した第2の実施形態のフレームモード(GOP/フレームモード)に直接移行するようにし、このGOP/フレームモードにおいて、編集点の設定を行なえるようにする。
以下に、この第3の実施形態の場合における制御部102の動作処理のフローチャートを説明するに、前述の図4のフローチャート部分および図6のフローチャート部分は、この第3の実施形態においても全く同様の動作であるので、ここではその説明は省略する。図19〜図20は、この第3の実施形態の場合における制御部102の動作処理の主要部のフローチャートであり、図4のフローチャートに続く処理ステップである。
すなわち、図4のステップS115で、ポーズボタンが操作されたと判別したときには、制御部102は、モニターディスプレイ30の表示画面31の再生画像を、ポーズボタンが操作された時点のもので一時停止すると共に、図12(A)に示したようなGOP単位サムネイル配列500と、フレーム単位サムネイル配列600とを表示して、GOP単位の画像フレームを編集点として設定することができると共に、1フレーム単位の画像フレームを編集点として設定することが可能なGOP/フレームモード(図19のステップS301)。
そして、制御部102は、左キーあるいは右キーが操作されたか否か判別し(ステップS302)、左キーあるいは右キーが操作されたと判別したときには、GOP単位サムネイル配列500を、操作された方向に移動して、選択中GOP単位サムネイルを変更すると共に、フレーム単位サムネイル配列600を、当該選択中GOP単位サムネイルに対応するGOPを構成する複数枚のフレームについてのものに変更する(ステップS303)。
ステップS303の次には、制御部102は、上キーあるいは下キーが操作されたか否か判別する(ステップS304)。また、ステップS302で、左キーあるいは右キーが操作されてはいないと判別したときにも、制御部102は、ステップS304に進んで、上キーあるいは下キーが操作されたか否か判別する。
そして、ステップS304で上キーあるいは下キーが操作されたと判別したときには、制御部102は、前述の図12(A)および図12(B)に示したように、画面31の垂直方向の操作されたキーに応じた方向に、フレーム単位サムネイル配列600を全体として移動させて、領域500Cの選択中フレーム単位サムネイルを変更する(ステップS305)。
次に、制御部102は、決定キー42が操作されたか否か判別する(ステップS306)。ステップS306で、上キーまたは下キーが操作されていないと判別したときにも、制御部102は、ステップS306に飛んで、決定キー42が操作されたか否か判別する。
そして、このステップS306で、決定キー42が操作されたと判別したときには、制御部102は、当該決定キー42が操作されたのは、編集モードを開始してから初めてであるか、つまり、最初の編集点(最初の編集開始点)であるか否か判別する(ステップS308)。
このステップS308において、最初の編集点であると判別したときには、制御部102は、選択中GOP単位サムネイルあるいはフレーム単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS309)。
その後、制御部102は、装置10を編集終了点の設定受付状態に移行させ(ステップS310)、ステップS302に戻る。
また、ステップS308で、最初の編集点ではないと判別したときには、制御部102は、前回、決定された編集点は、編集開始点か編集終了点かを判別する(ステップS311)。ステップS311で、前回、決定された編集点が編集終了点であると判別したときには、制御部102は、ステップS309に進み、前述したステップS309以降の処理を実行する。
そして、ステップS311で、前回、決定された編集点が編集開始点であると判別したときには、制御部102は、決定された編集点を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(図20のステップS321)。
ステップS321で、編集終了点の保存が終了すると、その後、制御部102は、装置10を編集開始点の設定受付状態に移行させ(ステップS322)、オプションボタン41が操作されたか否か判別する(ステップS323)。そして、ステップS323で、オプションボタン41が操作されていないと判別したときには、制御部102は、ステップS302に戻り、このステップS302以降の処理を繰り返す。
ステップS323でオプションボタン41が操作されたと判別したときには、制御部102は、装置10を検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS324)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS325)、完了ボタンアイコンが操作されたと判別したときには、ステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS325で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS326)。
また、ステップS306で、決定キー42が操作されてはいないと判別したときには、制御部102は、オプションボタン41が操作されたか否か判別し(ステップS307)、オプションボタンが操作されてはいないと判別したときには、ステップS302に戻る。また、ステップS307でオプションボタンが操作されたと判別したときには、ステップS324に進んで、上述のステップS324以降の処理を行なう。
以上のようにして、この第3の実施形態では、検索再生用モードから、GOP/フレームモードに移行して編集点の設定ができる。したがって、GOPモードと、フレームモードとの切り換え操作をしなくても、GOP単位サムネイル配列の選択中GOP単位サムネイルおよびフレーム単位サムネイル配列を変更することができ、使い勝手が良くなるものである。
<編集方法の第4の実施形態>
上述の第1〜第3の実施形態は、GOP単位サムネイル配列500と、フレーム単位サムネイル配列600とを、十字型に交差させるようにレイアウトした例であるが、両配列500,600のレイアウトの方法としては、このような十字型レイアウトに限られるものではなく、種々のレイアウトが可能である。
第4の実施形態はその一例であり、左右方向に並べたGOP単位サムネイル配列500に対してフレーム単位サムネイル配列600を並行に並べた2列配列レイアウトとするようにした場合の例である。
図21(A)は、この第4の実施形態におけるGOPモードの画面表示例を示すものである。これは、前述の第1〜第3の実施形態におけるGOPモードの画面と全く同様であって、例えば黄色枠などにより囲まれて強調表示されるカーソル位置であるところの領域500Cの選択中GOP単位サムネイルが左キーあるいは右キーのユーザ操作に応じて変更される。そして、ユーザの決定キー42の操作に応じて、GOP単位サムネイルを用いたGOP単位の編集点の設定が、前記第1〜第3の実施形態と全く同様にして行なえるものである。
また、図21(B)は、この第4の実施形態におけるフレームモードの画面表示例を示すものである。すなわち、この第4の実施形態においても、フレーム単位サムネイル配列600が、GOP単位サムネイル配列500中の領域500Cにおける選択中GOP単位サムネイルに対応するGOPを構成する複数枚、例えば15枚の画像フレームのそれぞれのサムネイルからなるのは、前述の実施形態と同様である。
しかし、この第4の実施形態のフレームモードでは、図21(B)に示すように、フレーム単位サムネイル配列600は、GOP単位サムネイル配列500の上方に並行に並べて表示するような表示レイアウトとされる。そして、このフレームモードにおいては、ユーザにより選択される対象のフレーム単位サムネイル位置は、前述の実施形態とは異なり、領域500Cの上方の領域600Cとされる。
このため、GOPモードからフレームモードに移行すると、例えば黄色枠により強調表示されているカーソルが、図21(A),(B)に示すように、領域500Cから領域600Cに移り、フレームモードにおける選択中フレーム単位サムネイルの位置は、フレーム単位サムネイル配列600中の中央の領域600Cであることがユーザに報知される。
そして、この状態でユーザが左キーあるいは右キーを操作すると、選択中フレーム単位サムネイルが変更される。そして、さらに、フレームモードにおいて、ユーザにより決定キー42が操作されると、制御部102は、それに応じて、フレーム単位の編集開始点あるいは編集終了点の設定を受け付け、前述と同様にして、データ格納部120に、編集対象コンテンツに対応付けられて格納される。
この第4の実施形態では、GOPモードからフレームモードへの切換操作は、オプションボタンの操作あるいは上キーの操作とされる。これに対して、フレームモードからGOPモードへの切換操作は、オプションボタンあるいは下キーの操作とされる。
そして、この第4の実施形態においても、画面31には、「GOPモード」、「フレームモード」の文字表示がなされていずれのモードであるかがユーザに報知されるが、第4の実施形態では、GOPモードでは、GOP単位サムネイル配列のみが画面31に表示され、フレームモードでは、GOP単位サムネイル配列500とフレーム単位サムネイル配列600とが表示されるので、それらのモードを表わす文字表示が無くてもよい。このことは、第1の実施形態および第2の実施形態についても同様である。
なお、フレームモードにおいては、フレーム単位サムネイル配列600がいずれのGOPに対応しているかをユーザに報知するために、領域500Cと、領域600Cとの間に、連結マーク420が表示される。
この第4の実施形態において、或るGOP単位サムネイルに対応するGOPのうちの特定のフレームを編集開始点として、別のGOP単位サムネイルに対応するGOPのうちの特定のフレームを編集終了点として設定する場合には、次のような、操作および編集点設定動作となる。表示画面の変化を参照しながら、この操作および編集点設定動作について以下に説明する。
先ず、ユーザは、図21(A)に示すGOPモードにおいて、左キーあるいは右キーを操作することにより、編集開始点としたい画像フレームを含むであろうGOPを、それに対応するGOP単位サムネイルを領域500Cの選択中GOPサムネイルとすることにより選択する。そして、編集開始点としたい画像フレームを含むであろうGOPを選択中GOPサムネイルとする選択が終了したら、ユーザは、上キーあるいはオプションボタンを操作することにより、GOPモードからフレームモードに移行させ、図21(B)に示すようなフレームモードの画面を表示させる。
そして、ユーザは、このフレームモードにおいて、左キーあるいは右キーを操作することにより、図22(A)および(B)に示すように、フレーム単位サムネイル配列600を移動させることにより、編集開始点の画像フレームに対応するフレーム単位サムネイルを、領域600Cの選択中フレーム単位サムネイルとすることにより選択する。
そして、例えば図22(B)において、ユーザは、決定キー42を操作することにより、このフレームモードの画面において、選択中フレーム単位サムネイルに対応する画像フレームを、編集開始点として設定する。すると、前述したように、編集対象の動画コンテンツに対応して、設定された編集開始点の情報がデータ格納部120に格納される。
次に、ユーザは、この図22(B)において、編集終了点の画像フレームを含むであろうGOPを選択すべく、下キーあるいはオプションボタン41を操作する。すると、フレームモードからGOPモードへ切り換わり、図23(A)に示すように、GOPモードの画面が表示される。そして、このGOPモードにおいて、ユーザは、左キーあるいは右キーを操作することにより、編集終了点としたい画像フレームを含むであろうGOPを、それに対応するGOP単位サムネイルを領域500Cの選択中GOPサムネイルとすることにより選択する(図23(B)参照)。
このとき、図23(B)に示すように、編集開始点から選択中GOP単位サムネイルまでの区間が時間バー411において区間表示418として表示されると共に、編集開始点を含むGOPのGOP単位サムネイルから、編集終了点のフレームを含むものとして選択中のGOP単位サムネイルまでの全てのサムネイルを目立つ色で囲むなどの方法で、強調表示する。図23(B)では、対応する区間のGOP単位サムネイルに対して2重線を付して強調表示を表している。
そして、選択中GOPサムネイルの選択が終了したら、ユーザは、例えば図23(B)の画面において、上キーあるいはオプションボタンを操作することにより、GOPモードからフレームモードに移行させ、図24(A)に示すようなフレームモードの画面を表示させる。
そして、ユーザは、このフレームモードにおいて、左キーあるいは右キーを操作することにより、図24(B)および図25(A)に示すように、フレーム単位サムネイル配列600を移動させることにより、編集終了点の画像フレームに対応するフレーム単位サムネイルを、領域600Cの選択中フレーム単位サムネイルとすることにより選択する。
そして、例えば図25(A)において、ユーザは、決定キー42を操作することにより、このフレームモードの画面において、選択中フレーム単位サムネイルに対応する画像フレームを、編集終了点として設定する。すると、前述したように、編集対象の動画コンテンツに対応して、設定された編集終了点の情報がデータ格納部120に格納される。
このとき、ユーザが編集終了点のフレーム単位サムネイルを選択し決定すると、GOP単位サムネイル配列500およびフレーム単位サムネイル配列600について、編集開始点から編集終了点までを、図25(A)において斜線を付して示すようにして、ユーザに報知する。すなわち、ユーザが編集終了点についての決定キー42操作をすると、図25(A)に示すように、編集点開始点を含むGOP単位サムネイルから編集終了点のフレーム単位サムネイルまでを、他のサムネイルを区別して表示するようにする。
なお、図25(A)においては、各サムネイルについて斜線を付して示すが、実際的には、このような斜線を付すのではなく、例えば色彩を他のサムネイルと異ならせるようにすることで区別表示するようにする。
次に、続いて、他の区間の編集開始点から編集終了点を設定するために、他のGOPに移動するときには、ユーザは、下キーあるいはオプションボタンのいずれかを操作する。すると、図25(B)のGOPモードの状態に戻り、以降、同様にして次の編集開始点から編集終了点の設定をする。以下、必要な複数区間の編集開始点から編集終了点についての設定を行なうことができる。
次に、この第4の実施形態の場合における制御部102の動作処理のフローチャートを説明するに、前述の第1の実施形態の図4のフローチャート部分および図6のフローチャート部分は、この第4の実施形態においても全く同様の動作であるので、ここではその説明は省略する。
図26〜図27は、この第4の実施形態の場合における制御部102の動作処理の主要部のフローチャートであり、図4のフローチャートに続く処理ステップである。
すなわち、図4のステップS115で、ポーズボタンが操作されたと判別したときには、制御部102は、モニターディスプレイ30の表示画面31の再生画像を、ポーズボタンが操作された時点のもので一時停止すると共に、GOP単位である例えば15枚おきのフレームを編集点として設定することが可能なGOPモード(群単位編集点選択モード)に移行する(図26のステップS401)。
そして、制御部102は、GOPモードにおいては、操作コントローラ40やリモートコマンダ50の左キーや右キーが操作されたか否か監視し(ステップS402)、左キーや右キーが操作されたと判別したときには、GOP単位サムネイル配列500を、全体として左方向あるいは右方向に移動させて、選択中GOP単位サムネイルを変更するように表示画像生成出力部111を制御する(ステップS403)。
そして、ステップS402で左キーあるいは右キーが操作されていないと判別されたとき、また、ステップS403で選択中GOP単位サムネイルが変更された後には、制御部102は、決定キー42が操作されたか否か判別する(ステップS404)。そして、ステップS404で、決定キー42が操作されたと判別したときには、前述した図6のステップS141に進み、制御部102は、そのときに選択中のGOP単位サムネイルに対応するGOPのIピクチャ(フレーム)を編集開始点として設定し、当該編集開始点についてのデータを、編集対象である動画コンテンツに対応してデータ格納部120に格納する。そして、制御部102は、前述したステップS141以降の処理を実行する。
また、制御部102は、ステップS404で、決定キー42が操作されないと判別したときには、上キーあるいはオプションボタン41が操作されたかどうか判別する(ステップS405)。このステップS405で、上キーあるいはオプションボタン41が操作されていないと判別したときには、何も操作入力が無い状態が一定時間以上経過したか否か判別する(ステップS406)。一定時間以上経過してはいないと判別したときには、制御部102は、ステップS402に戻り、左キーあるいは右キーの操作の監視状態になる。
ステップS405で、上キーあるいはオプションボタン41が操作されたと判別されたとき、また、ステップS406で、何も操作入力が無い状態が一定時間以上経過したと判別したときには、制御部102は、GOPモードからフレームモードに移行し、例えば図21(B)に示すように、GOP単位サムネイル配列500と、フレーム単位サムネイル配列600とを水平方向(左右方向)に2列に並べた画面表示とする(ステップS407)。
次に、制御部102は、左キーあるいは右キーが操作されたか否か判別し(ステップS408)、左キーあるいは右キーが操作されたと判別したときには、フレーム単位サムネイル配列600を、操作された方向に移動して、領域600Cの選択中フレーム単位サムネイルを変更する(ステップS409)。
ステップS409の次には、制御部102は、決定キー42が操作されたか否か判別する(ステップS410)。また、ステップS408で、左キーあるいは右キーが操作されてはいないと判別したときにも、制御部102は、ステップS410に進んで、決定キー42が操作されたか否か判別する。
そして、ステップS410で決定キー42が操作されてはいないと判別したときには、下キーあるいはオプションボタン41が操作されたか否か判別し(ステップS411)、操作されてはいないと判別したときには、ステップS408に戻り、このステップS408以降の処理を繰り返す。
また、ステップS411で、オプションボタン41が操作されたと判別したときには、GOPモードに戻る操作と判別して、ステップS401に戻り、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみを画面に表示する状態にする。
そして、ステップS410で、決定キー42が操作された判別したときには、制御部102は、当該決定キー42が操作されたのは、編集モードを開始してから初めてであるか、つまり、最初の編集点(最初の編集開始点)であるか否か判別する(図27のステップS421)。
このステップS421において、最初の編集点であると判別したときには、制御部102は、選択中フレーム単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS422)。
その後、制御部102は、装置10を編集終了点の設定受付状態に移行させ(ステップS423)、下キーあるいはオプションボタン41が操作されたか否か判別する(ステップS424)。そして、ステップS424で、下キーあるいはオプションボタン41が操作されてはいないと判別したときには、ステップS408に戻り、このステップS408以降を繰り返す。
また、下キーあるいはオプションボタン41が操作されたと判別したときには、制御部102は、GOPモードに戻る操作と判別して、ステップS401に戻り、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみを画面に表示する状態にする。
また、ステップS421で、最初の編集点ではないと判別したときには、制御部102は、前回、決定された編集点は、編集開始点か編集終了点かを判別する(ステップS425)。このステップS425で、前回、決定された編集点が編集終了点であると判別したときには、制御部102は、ステップS422に進み、前述したステップS422以降の処理を実行する。
そして、ステップS425で、前回は編集開始点であると判別したときには、制御部102は、決定された編集点(画像フレーム単位の編集点)を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS426)。
その後、ステップS426で、編集終了点の保存が終了すると、制御部102は、装置10を編集開始点の設定受付状態に移行させる(ステップS427)。そして、下キーあるいはオプションボタン41が操作されたか否か判別する(ステップS428)。このステップS428で、下キーあるいはオプションボタン41が操作されていないと判別したときには、ステップS408に戻り、このステップS408以降を繰り返す。
また、ステップS428で、下キーあるいはオプションボタン41が操作されたと判別したときには、制御部102は、フレームモードからGOPモードに戻る操作がなされと判別して、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみを画面に表示する状態にする(ステップS429)。
次に、制御部102は、下キーが操作されたか否か判別する(ステップS430)。下キーが操作されていないと判別したときには、ステップS404に戻り、このステップS404以降の処理を繰り返す。
ステップS430で下キーが操作されたと判別したときには、制御部102は、装置10をGOPモードから検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS431)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS432)、完了ボタンアイコンが操作されたと判別したときには、図4のステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS432で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS433)。
この第4の実施形態の場合には、フレーム単位サムネイル配列600は、GOPサムネイル配列500と共に、水平方向に並べられて表示されるので、フレーム単位サムネイル配列600が画面の上下方向に並べられる場合に比べて、画面の下方に表示される時間バー411の一部を隠すことが無いという効果がある。
<編集方法の第5の実施形態>
第5の実施形態は、第4の実施形態の変形例であり、第1の実施形態に対する第2の実施形態と同様の関係を示すものである。すなわち、この第5の実施形態では、検索再生用モードから最初のGOPモードへの移行までは第4の実施形態と同様であるが、一旦、フレームモードに移行したときには、例えばオプションボタン41の操作によるGOPモードへの強制的な移行操作が無い限り、GOP単位サムネイル配列500と、フレーム単位サムネイル配列とを並列して常に表示するようにする。つまり、この第5の実施形態のフレームモードにおいては、編集点を、GOP単位のフレームで設定することもできるし、また、1フレーム単位で設定することができるもので、いわばGOP/フレームモードとなる。
そして、フレームモードにおいては、カーソル位置がGOP単位サムネイル配列500の領域500Cにあって、装置10がGOP単位編集点設定状態のときに、上キーを操作すると、カーソルがフレーム単位サムネイル配列600の領域600Cに移行し、装置10は、フレーム単位編集点設定状態に切り換わる。
また、フレームモードにおいて、カーソル位置がフレーム単位サムネイル配列600の領域600Cにあって、装置10がフレーム単位編集点設定状態のときに、下キーを操作すると、カーソルがGOP単位サムネイル配列500の領域500Cに移行し、装置10は、GOP単位編集点設定状態に切り換わる。
したがって、この第5の実施形態では、フレームモードにおいては、上キーおよび下キーを操作して、選択するサムネイルを、GOP単位サムネイルとフレーム単位サムネイルとで切り換えることが容易にでき、選択するGOPを変更する場合にも第4の実施形態のように、一旦、フレームモードからGOPモードに戻る必要はない。
そして、フレームモードにおいて、カーソルが選択中GOP単位サムネイルにあるときに決定キー42を操作することにより、GOP単位の編集点を設定することができ、また、カーソルが選択中フレーム単位サムネイルにあるときに決定キー42を操作することにより、1フレーム単位の編集点を設定することができる。
<編集方法の第6の実施形態>
第6の実施形態も、第4の実施形態の変形例であり、第1の実施形態に対する第3の実施形態と同様の関係を示すものである。すなわち、この第6の実施形態では、検索再生用モードから、前述した第5の実施形態のフレームモード(GOP/フレームモード)に直接移行するようにし、このGOP/フレームモードにおいて、GOP単位および1フレーム単位の編集点の設定を行なえるようにする。
この第6の実施形態においても、前述の第5の実施形態と同様に、フレームモード(GOP/フレームモード)においては、カーソル位置がGOP単位サムネイル配列500の領域500Cにあって、装置10がGOP単位編集点設定状態のときに、上キーを操作すると、カーソルがフレーム単位サムネイル配列600の領域600Cに移行し、装置10は、フレーム単位編集点設定状態に切り換わる。
また、フレームモード(GOP/フレームモード)において、カーソル位置がフレーム単位サムネイル配列600の領域600Cにあって、装置10がフレーム単位編集点設定状態のときに、下キーを操作すると、カーソルがGOP単位サムネイル配列500の領域500Cに移行し、装置10は、GOP単位編集点設定状態に切り換わる。
したがって、この第6の実施形態では、フレームモード(GOP/フレームモード)においては、上キーおよび下キーを操作して、選択するサムネイルを、GOP単位サムネイルとフレーム単位サムネイルとで切り換えることが容易にでき、選択するGOPを変更する場合にも第4の実施形態のように、一旦、フレームモードからGOPモードに戻る必要はない。
<編集方法の第7の実施形態>
上述の実施形態では、いずれも、フレームモードあるいはGOP/フレームモードにおいては、GOP単位サムネイル配列500と、フレーム単位サムネイル配列600とを同一の表示画面に表示する状態を備えている。これに対して、第7の実施形態では、GOPモードでは、GOP単位サムネイル配列500のみを表示し、フレームモードでは、フレーム単位サムネイル配列600のみを表示するものとする。そして、第7の実施形態では、GOPモードとフレームモードとを、特定の操作、例えばオプションボタンの操作により交互に切り換えるようにする。
この第7の実施形態において、或るGOP単位サムネイルに対応するGOPのうちの特定のフレームを編集開始点として、別のGOP単位サムネイルに対応するGOPのうちの特定のフレームを編集終了点として設定する場合には、次のような、操作および編集点設定動作となる。表示画面の変化を参照しながら、この操作および編集点設定動作について以下に説明する。
先ず、ユーザは、図28(A)に示すGOPモードにおいて、左キーあるいは右キーを操作することにより、編集開始点としたい画像フレームを含むであろうGOPを、それに対応するGOP単位サムネイルを領域500Cの選択中GOPサムネイルとすることにより選択することができる。このGOPモードの画面においては、前述の実施形態と同様に編集点選択モード表示欄414として「GOPモード」が表示される。
そして、編集開始点としたい画像フレームを含むであろうGOPを選択中GOPサムネイルとする選択が終了したら、ユーザは、この例ではオプションボタンを操作することにより、GOPモードからフレームモードに移行させ、図28(B)に示すように、GOP単位サムネイル配列500が消えて、フレーム単位サムネイル配列600が表示されるフレームモードの画面を表示させる。このフレームモードの画面においては、前述の実施形態と同様に編集点選択モード表示欄414として「フレームモード」が表示される。
そして、ユーザは、このフレームモードにおいて、左キーあるいは右キーを操作することにより、図29(A)および(B)に示すように、フレーム単位サムネイル配列600を移動させることにより、編集開始点の画像フレームに対応するフレーム単位サムネイルを、領域600Cの選択中フレーム単位サムネイルとすることにより選択する。
そして、例えば図29(B)において、ユーザは、決定キー42を操作することにより、このフレームモードの画面において、選択中フレーム単位サムネイルに対応する画像フレームを、編集開始点として設定するようにする。すると、前述したように、制御部102は、編集対象の動画コンテンツに対応して、設定された編集開始点の情報をデータ格納部120に格納する。
次に、ユーザは、この図29(B)において、編集終了点の画像フレームを含むであろうGOPを選択すべく、この例ではオプションボタン41を操作する。すると、フレームモードからGOPモードへ切り換わり、図30(A)に示すように、GOPモードの画面が表示される。このとき、メッセージ表示欄415には、それまで表示されていた「編集開始点の設定を促すメッセージ」に代わって、「編集終了点の設定を促すメッセージ」が表示される。
そして、このGOPモードにおいて、ユーザは、左キーあるいは右キーを操作することにより、編集終了点としたい画像フレームを含むであろうGOPを、それに対応するGOP単位サムネイルを領域500Cの選択中GOPサムネイルとすることにより選択する(図30(B)参照)。
このとき、図30(B)に示すように、編集開始点から選択中GOP単位サムネイルまでの区間が時間バー411において区間表示418として表示されると共に、編集開始点を含むGOPのGOP単位サムネイルから、編集終了点のフレームを含むとして選択中のGOP単位サムネイルまでの全てのサムネイルを目立つ色で囲むなどの方法で、強調表示する。図30(B)では、対応する区間のGOP単位サムネイルに対して2重線を付して強調表示を表している。
そして、選択中GOPサムネイルの選択が終了したら、ユーザは、例えば図30(B)の画面において、この例ではオプションボタンを操作することにより、GOPモードからフレームモードに移行させ、図31(A)に示すようなフレームモードの画面を表示させる。
そして、ユーザは、このフレームモードにおいて、左キーあるいは右キーを操作することにより、図31(B)および図32(A)に示すように、フレーム単位サムネイル配列600を移動させることにより、編集終了点の画像フレームに対応するフレーム単位サムネイルを、領域600Cの選択中フレーム単位サムネイルとすることにより選択する。
そして、例えば図32(A)の画面において、ユーザは、決定キー42を操作することにより、このフレームモードの画面において、選択中フレーム単位サムネイルに対応する画像フレームを、編集終了点として設定する。すると、前述したように、編集対象の動画コンテンツに対応して、設定された編集終了点の情報がデータ格納部120に格納される。
このとき、ユーザが編集終了点のフレーム単位サムネイルを選択し決定すると、GOP単位サムネイル配列500およびフレーム単位サムネイル配列600において、図32(A)において斜線を付して示す編集開始点から編集終了点までの区間のサムネイルに対して、他のサムネイルとは区別する表示を施して、ユーザに報知する。すなわち、ユーザが編集終了点についての決定キー42操作をすると、図25(A)に示すように、編集点開始点を含むGOP単位サムネイルから編集終了点のフレーム単位サムネイルまでを、他のサムネイルを区別して表示するようにする。ここで、他のサムネイルとは区別する表示としては、当該サムネイルを濃く表示する、当該サムネイルの色を変える、当該サムネイルの周囲の色を変える、図示の通りの斜線を付す、など種々の態様の表示が可能である。
次に、続いて、他の区間の編集開始点から編集終了点を設定するために、他のGOPに移動するときには、ユーザは、この例ではオプションボタンを操作する。すると、図32(B)に示すGOPモードの状態に戻り、以降、同様にして次の編集開始点から編集終了点の設定をする。以下、必要な複数区間の編集開始点から編集終了点についての設定を行なうことができる。
次に、この第7の実施形態の場合における制御部102の動作処理のフローチャートを説明するに、前述の第1の実施形態の図4のフローチャート部分は、この第4の実施形態においても全く同様の動作であるので、ここではその説明は省略する。
図33〜図34は、この第7の実施形態の場合における制御部102の動作処理の主要部のフローチャートであり、図4のフローチャートに続く処理ステップである。
すなわち、図4のステップS115で、ポーズボタンが操作されたと判別したときには、制御部102は、モニターディスプレイ30の表示画面31の再生画像を、ポーズボタンが操作された時点のもので一時停止すると共に、GOP単位である例えば15枚おきのフレームを編集点として設定することが可能なGOPモード(群単位編集点選択モード)に移行する(図33のステップS501)。
そして、制御部102は、GOPモードにおいては、操作コントローラ40やリモートコマンダ50の左キーや右キーが操作されたか否か監視し(ステップS502)、左キーや右キーが操作されたと判別したときには、GOP単位サムネイル配列500を、全体として左方向あるいは右方向に移動させて、選択中GOP単位サムネイルを変更するように表示画像生成出力部111を制御する(ステップS503)。
そして、ステップS502で左キーあるいは右キーが操作されていないと判別されたとき、また、ステップS503で選択中GOP単位サムネイルが変更された後には、制御部102は、決定キー42が操作されたか否か判別する(ステップS504)。そして、ステップS504で、決定キー42が操作されたと判別したときには、制御部102は、当該決定キー42が操作されたのは、編集モードを開始してから初めてであるか、つまり、最初の編集点(最初の編集開始点)であるか否か判別する(図34のステップS521)。
このステップS521において、最初の編集点であると判別したときには、制御部102は、選択中GOP単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS522)。次に、制御部102は、装置10を編集終了点の設定受付状態に移行させ(ステップS523)、その後、ステップS502に戻り、当該ステップS502以降を繰り返す。
また、ステップS521で、最初の編集点ではないと判別したときには、制御部102は、前回、決定された編集点は、編集開始点か編集終了点かを判別する(ステップS524)。このステップS524で、前回、決定された編集点が編集終了点であると判別したときには、制御部102は、ステップS522に進み、前述したステップS522以降の処理を実行する。
そして、ステップS524で、前回は編集開始点であると判別したときには、制御部102は、決定された編集点(画像フレーム単位の編集点)を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS525)。
その後、ステップS525で、編集終了点の保存が終了すると、制御部102は、装置10を編集開始点の設定受付状態に移行させる(ステップS526)。そして、下キーが操作されたか否か判別する(ステップS527)。このステップS527で、下キーが操作されていないと判別したときには、ステップS502に戻り、このステップS502以降を繰り返す。
また、ステップS527で、下キーが操作されたと判別したときには、制御部102は、フレームモードまたはGOPモードから検索再生用モードに戻る操作がなされと判別して、装置10をGOPモードから検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS535)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS536)、完了ボタンアイコンが操作されたと判別したときには、図4のステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS536で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS537)。
また、制御部102は、ステップS504で、決定キー42が操作されないと判別したときには、オプションボタン41が操作されたかどうか判別する(ステップS505)。このステップS505で、オプションボタン41が操作されていないと判別したときには、ステップS502に戻る。
ステップS505で、オプションボタン41が操作されたと判別されたときには、制御部102は、GOPモードからフレームモードに移行し、例えば図28(B)に示すように、GOP単位サムネイル配列500を画面から消去して、フレーム単位サムネイル配列600を水平方向(左右方向)に並べた画面表示とする(ステップS506)。
次に、制御部102は、左キーあるいは右キーが操作されたか否か判別し(ステップS507)、左キーあるいは右キーが操作されたと判別したときには、フレーム単位サムネイル配列600を、操作された方向に移動して、領域600Cの選択中フレーム単位サムネイルを変更する(ステップS508)。
このステップS508の次には、制御部102は、決定キー42が操作されたか否か判別する(ステップS509)。また、ステップS507で、左キーあるいは右キーが操作されてはいないと判別したときにも、制御部102は、ステップS509に進んで、決定キー42が操作されたか否か判別する。
そして、ステップS509で決定キー42が操作されてはいないと判別したときには、オプションボタン41が操作されたか否か判別し(ステップS510)、操作されてはいないと判別したときには、ステップS507に戻り、このステップS507以降の処理を繰り返す。
また、ステップS510で、オプションボタン41が操作されたと判別したときには、GOPモードに戻る操作と判別して、ステップS501に戻り、フレーム単位サムネイル配列600を消去して、GOP単位サムネイル配列500のみを画面に表示する状態にする。
そして、ステップS509で、決定キー42が操作された判別したときには、制御部102は、当該決定キー42が操作されたのは、編集モードを開始してから初めてであるか、つまり、最初の編集点(最初の編集開始点)であるか否か判別する(図34のステップS528)。
このステップS528において、最初の編集点であると判別したときには、制御部102は、選択中GOP単位サムネイルに対応する画像フレームの、編集対象コンテンツにおけるフレーム位置情報、例えば、当該編集点の画像フレームの編集対象コンテンツの先頭からの相対的な時間位置情報を、編集開始点(イン点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS529)。次に、制御部102は、装置10を編集終了点の設定受付状態に移行させ(ステップS530)、その後、ステップS507に戻り、当該ステップS507以降を繰り返す。
また、ステップS528で、最初の編集点ではないと判別したときには、制御部102は、前回、決定された編集点は、編集開始点か編集終了点かを判別する(ステップS531)。このステップS531で、前回、決定された編集点が編集終了点であると判別したときには、制御部102は、ステップS529に進み、前述したステップS529以降の処理を実行する。
そして、ステップS531で、前回は編集開始点であると判別したときには、制御部102は、決定された編集点(画像フレーム単位の編集点)を編集終了点(アウト点)のフレーム位置情報として決定し、データ格納部120の対象コンテンツのデータに対応付けて書き込む(ステップS532)。
その後、ステップS532で、編集終了点の保存が終了すると、制御部102は、装置10を編集開始点の設定受付状態に移行させる(ステップS533)。そして、下キーが操作されたか否か判別する(ステップS534)。このステップS534で、下キーが操作されていないと判別したときには、ステップS507に戻り、このステップS507以降を繰り返す。
また、ステップS534で、下キーが操作されたと判別したときには、制御部102は、フレームモードまたはGOPモードから検索再生用モードに戻る操作がなされと判別して、装置10をGOPモードから検索再生用モードに移行させ、画面下方の操作ボタンアイコン群410を濃く表示すると共に、カーソルを当該操作ボタンアイコン群410に移動させる(ステップS535)。
そして、制御部102は、この操作ボタンアイコン群410の中の完了ボタンアイコンが操作されたか否か判別し(ステップS536)、完了ボタンアイコンが操作されたと判別したときには、図4のステップS109に戻って、オプションメニューの画面を表示画面31に表示するようにする。
ステップS536で完了ボタンアイコンが操作されていないと判別したときには、制御部102は、再生ボタンアイコン、早送り再生アイコン、巻き戻し再生アイコンなどの操作に応じた検索再生など、その他の処理を行なう(ステップS537)。
この第7の実施形態の場合には、GOPモードと、フレームモードとを、特定の操作、例えばオプションボタンの操作により切り換えて、編集点の設定ができるので、分かり易い編集作業となる。
また、画面に表示されるサムネイル配列は、フレーム単位サムネイル配列600とGOPサムネイル配列500との一方のみであるので、表示画面においてサムネイル配列によって隠されてしまう部分が少ないので、時間バー411などが隠されることが無いという効果がある。
なお、以上の説明においては、この第7の実施形態においては、画面上では、編集点選択モード表示欄414に「GOPモード」または「フレームモード」を文字表示することにより、いずれのモードであるかをユーザに報知するようにしたが、GOP単位サムネイル配列500の色彩あるいはその周囲の色彩と、フレーム単位サムネイル配列600の色彩あるいはその周囲の色彩とを異ならせるなどにより、GOPモードとフレームモードとをユーザに区別させるようにしても良い。
<編集方法の第8の実施形態>
第8の実施形態は、上述したようなGOPモードやフレームモードで編集点を設定し、当該設定した編集点データを、データ格納部120に対象コンテンツと対応して格納した後、当該格納した編集点のデータを、例えば編集点リストとして読み出し、その編集点リストの段階で、フレーム単位で編集点の微調整を行なうことができるようにした場合である。
この第8の実施形態の場合には、先ず、ユーザは、例えばGOPモードで編集開始点および編集終了点を、対象コンテンツについて、必要箇所数分、設定を行なう。そして、設定を完了したが、編集点リストを読み出し、1フレーム単位で編集点の微調整を行なうという使い方ができる。もちろん、GOPモードだけでなく、フレームモードによって、微細に1フレーム単位で設定した編集点を、後の時点で、編集点リストを読み出して、修正する場合にも、この第8の実施形態は有効である。
編集点リストは、例えば、図8(B)に示したオプションメニューの「編集」の項目に対して、さらに下層において複数の選択項目を備える構造として、当該下層において選択することができるようにする。
図35は、この第8の実施形態を説明するための画面表示例である。例えば、ユーザが編集リストを呼び出すようにする操作をすると、表示画面31には、図35(A)に示すような編集点リスト画面が表示される。
この編集点リスト画面は、対象コンテンツについて設定された複数個の編集点セット700を時間経過に沿って並べて表示する。この例では、対象コンテンツについての全ての編集点セットを同時に表示するのではなく、例えば図示のように、3セット程度ずつ表示するようにする。
そして、例えば上キーあるいは下キーを操作することにより、表示されている編集点セットの全体を移動させて、他の編集点セットを表示画面上に表示することができるようにする。この例では、上キーを操作すると、3個の編集点セット700が上方に移動して、時間的に、より後の時点の編集点セットが表示画面に現れるようにされ、下キーを操作すると、3個の編集点セット700が下方に移動して、時間的に、より以前の時点の編集点セットが表示画面に現れるようにされる。
1つの編集点セット700は、編集開始点のフレームのサムネイル701および編集終了点のフレームのサムネイル702の対と、編集開始点の時間表示711および編集終了点の時間表示712の対とからなっている。
さらに、この例の編集点リスト画面には、対象コンテンツの全体の時間に対して、編集点セットのそれぞれがどの部分であるかを示す区間表示PMを伴う時間バー720が表示される。
そして、図35において点線で囲んで示す編集点位置(編集開始点または編集終了点のいずれか)が選択中編集点位置731とされ、当該選択中編集点位置731の位置の編集点が注目編集点、すなわち、微調整対象編集点として選択される。選択中編集点位置731は、例えば他と異なる所定の色彩を施したり、反転表示したりすることでユーザに報知される。この場合、上キーあるいは下キーを操作すると、選択中編集点位置731の内容が、編集点セットの単位で変化するのではなく、編集開始点、編集終了点の編集点単位で変化する。
この例の場合、選択中編集点位置731は動かず、上キーあるいは下キーにより上下方向に移動されることにより、選択中編集点位置731で選択される注目編集点が変更される。そして、ある編集点が選択中編集点位置731に表示されているときに、決定キー42を操作すると、当該選択中編集点位置731に表示されている注目編集点の微調整ができる。すなわち、ユーザが決定キー42を操作すると、図35(B)に示すように、選択中編集点位置731に、編集点変更可能表示マーク732が表示され、注目編集点が変更可能であることがユーザに報知される。
そして、この図35(B)の画面において、ユーザが上キーを操作すると、当該注目編集点のフレームよりも前のフレームに編集点が変更され、下キーを操作すると、当該注目編集点のフレームよりも後のフレームに編集点が変更される。注目編集点の変更修正後、決定キー42をユーザが操作すると、図35(C)に示すように、前記編集点変更可能表示マーク732が消えて、選択中編集点位置731の表示状態に戻り、当該変更編集点が決定されたことがユーザに報知される。
そして、制御部102は、この決定キー42操作を受けて、データ格納部120の当該注目編集点のデータを、当該変更修正後の編集点のフレームの時間位置情報(例えば対象コンテンツの先頭からの時間位置情報)に書き換える。
以上の処理動作は、上述の実施形態と同様に、制御部102に内蔵されるソフトウエアプログラムによって実行される。次に、この第8の実施形態における制御部102を中心とした処理動作を、図36および図37のフローチャートを参照して説明する。
前述したように、この第8の実施形態では、ユーザが、オプションメニューから編集点リストを選択すると、制御部102は、図36のフローチャートを開始する。
すなわち、先ず、制御部102は、図35(A)に示したような編集点リストをモニターディスプレイ30の表示画面31に表示するように制御する(ステップS601)。次に、制御部102は、上キーあるいは下キーが操作されたか否か判別し(ステップS602)、上キーあるいは下キーが操作されたと判別したときには、選択中編集点位置731に表示される注目編集点を、操作されたキーに応じて変更する(ステップS603)。
次に、制御部102は、決定キー42が操作されたか否か判別し(ステップS604)、決定キー42が操作されていないと判別したときには、戻るキーが操作されたか否か判別し(図37のステップS621)、戻るキーが操作されたと判別したときには、編集リストを表示する前の状態に戻る(ステップS622)。
また、ステップS622で、戻るキーが操作されていないと判別したときには、制御部102は、終了操作がなされたか否か判別し(ステップS623)、なされてはいないと判別したときには、ステップS602に戻り、終了操作がなされたと判別したときには、この処理ルーチンを終了する。
そして、ステップS604で、決定キー42が操作されたと判別したときには、制御部102は、当該注目編集点を微調整対象編集点として認識し、編集点変更可能表示マーク732を、注目編集点に対して表示する(ステップS605)。
そして、制御部102は、上キーあるいは下キーが操作されたか否か判別し(ステップS606)、上キーあるいは下キーが操作されたと判別したときには、注目編集点を1フレーム単位で変更し、表示画面31の対応するサムネイルを当該変更したものに変える(ステップS607)。
次に、制御部102は、決定キー42が操作されたか否か判別し(ステップS608)、決定キー42が操作されていないと判別したときには、戻るキーが操作されたか否か判別し(図37のステップS624)、戻るキーが操作されたと判別したときには、ステップS602に戻り、注目編集点の決定までの状態に戻る。
また、ステップS624で、戻るキーが操作されていないと判別したときには、制御部102は、終了操作がなされたか否か判別し(ステップS625)、なされてはいないと判別したときには、ステップS606に戻り、終了操作がなされたと判別したときには、この処理ルーチンを終了する。
なお、上述の実施形態では、GOPモード、フレームモードあるいはGOP/フレームモードにより編集点を設定した後の時点において、編集点リストを読み出して注目編集点を選択し、当該注目編集点についてフレーム単位の変更修正を行なうようにしたが、前述した編集点リストを用いて編集点設定モードをフレームモードとして、GOPモードの後に、ユーザ指示により移行することができるようにしても良い。
[その他の変形例]
以上の実施形態では、検索再生用モードにおいてポーズボタンを操作した時点で、GOPモードやGOP/フレームモードに移行するようにしたが、移行させるための操作としては、これに限られるものではない。また、例えばポーズボタンや停止ボタンを操作して、編集点近傍を検索した後に、特定のボタン、例えばオプションボタンを操作したらGOPモードやGOP/フレームモードに移行するようにしてもよい。
また、上述の実施形態は、画像データの圧縮方式としてMPEG圧縮方式を用い、GOP単位のサムネイルは、Iピクチャのサムネイルとしたが、GOP単位のサムネイルはIピクチャでなくともよいことは言うまでもない。
また、上述の実施形態は、画像データの圧縮方式としてMPEG圧縮方式を用いるようにしたが、画像データの圧縮方式としては、これに限られるものではなく、複数枚のフレーム単位で画像データ圧縮するものであればよい。
また、GOPモードからフレームモードに切り換えるための操作、フレームモードからGOPモードに切り換えるための操作、GOPモードやフレームモードの編集点設定のモードから検索再生用モードに切り換える操作は、上述の例の操作に限られるものではないことは言うまでもない。
また、上述の実施形態では、スキップしたい区間の始点と終点とを設定する場合に、この発明を適用したが、この発明の編集方法は、このような場合に限らず、例えば始点のみ、あるいは終点のみの設定にも適用可能であることは言うまでもない。
10…マルチメディア記録再生装置、30…モニターディスプレイ、40…操作コントローラ、50…リモートコマンダ、102…制御部、109…データ記録処理部、110…サムネイル生成部、111…表示画像生成出力部、120…データ格納部