以下、この発明による装置、方法、および、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、ハードディスクを記録媒体として用いる記録再生装置に、この発明を適用した場合を例にして説明する。
[第1の実施の形態(チャプタマークを付けこれを基準とする場合)]
[記録再生装置の利用態様の一例]
図1は、この発明による装置、方法、プログラムが適用された記録再生装置100を説明するための図である。記録再生装置100には、記録再生装置100において形成するようにされる再生画像信号の供給先であるモニタ受像機の他、画像情報を含む情報の供給装置として、種々のデジタル機器、アナログ機器を接続して画像処理システムを構成することができるようにされている。
図1は、この実施の形態の記録再生装置100を用いて構成するようにした画像処理システムを説明するための図である。図1に示すように、記録再生装置100には、デジタル機器としてのBS/CSチューナー300と、アナログ機器としての地上波テレビチューナー400と、デジタル機器としてのビデオカメラ500とが接続するようにされている。
なお、記録再生装置100に接続可能な機器は、図1に示したものに限るものではない。例えば、DVD(Digital Versatile Disk)プレーヤ、VTR(Video Tape Recorder)、ハードディスクを記録媒体として用いる記録再生装置などの各種の再生装置、記録再生装置等を接続することができる。
そして、この実施の形態において、記録再生装置100は、BS/CSチューナー300、地上波テレビチューナー400からの放送信号、ビデオカメラ500からの収録情報など、画像情報を含むデジタル信号、あるいは、アナログ信号の供給を受けて、これをデジタル信号として自機に内蔵されている記録媒体(ハードディスク)に記録することができるものである。
また、記録再生装置100は、自機の記録媒体に記録されている画像情報を読み出して、表示素子としてのモニタ受像機200の表示画面に画像を表示するための画像信号を再生し、これをモニタ受像機200に供給することができるものである。これにより、記録再生装置100のハードディスクに記録された画像情報に応じた画像をモニタ受像機200の表示画面に表示して使用者が見ることができるようにされる。
なお、ここでは、主に画像情報を記録し、再生する場合を説明した。しかし、テレビ放送番組を提供する放送信号やビデオカメラ500からの収録情報には、画像情報の他、音声情報も含んでおり、記録再生装置100は、画像情報のほか、画像情報とともに供給される音声情報についても記録媒体に記録し、また、記録したものを再生することができるものである。なお、再生される音声情報については、図示しないが、例えば、モニタ受像機に設けられたスピーカなどに供給されることになる。
また、記録再生装置100に対しては、記録再生装置100本体のフロントパネル面に設けられた操作パネル45の操作キー群を操作することにより、また、記録再生装置100用のリモコンコマンダ150の操作キー群を操作することにより、各種の指示を与えることができるようにされている。
なお、リモコン150の操作キー群の操作に応じた赤外線のリモコン信号は、リモコン150のリモコン信号出力部151から出力され、これが記録再生装置100本体のフロントパネル面側に設けられているリモコン信号受光部44で受光されることにより、リモコン150の操作キー群の操作に応じた情報が、記録再生装置100に通知するようにされる。
そして、具体的には、本体のフロントパネル面に設けられた操作パネル45の操作キー群、あるいは、リモコン150を通じて、記録開始と停止、再生開始と停止、早送り開始と停止、早戻し開始と停止、一時停止と一時停止解除などの一般的な動作指示の他、詳しくは後述もするように、再生されている画像情報の目的とするシーン付近にチャプタマークと呼ばれる目印マークを付けるようにしたり、チャプタマークが付けられるようにされた画像区間を削除したり、移動したりするなどの編集指示などを記録再生装置100に対して入力することができるようにしている。
[記録再生装置の構成]
図2は、この実施の形態の記録再生装置100の構成を説明するためのブロック図である。図2において、CPU(Central Processing Unit)40は、後述する全ての回路ブロックの制御を司っている。CPU40は、ホストバスを介し、ROM(Read Only Memory)41、RAM(Random Access Memory)42、EEPROM(Electrically Erasable and Programmable ROM)43を必要に応じアクセスし、この記録再生装置(画像検出装置)100の全体の制御を行う。
また、図2に示すように、ホストバスには、赤外線のリモコン信号の受光部44が接続されている。受光部44は、リモコン150からの赤外線のリモコン信号を受光し、これを電気信号に変換して、CPU40に供給することができるようにされている。
これにより、CPU40は、リモコン150を通じて供給されるユーザからの指示に応じた処理を行うように各部を制御したり、種々の設定を例えばEEPROM43に対して行ったりすることができるようにされている。
なお、ROM41は、この実施の形態の記録再生装置100において実行する各種のプログラムや処理に必要となる各種のデータが記録されたものであり、RAM42は、処理の途中結果を一時記録するなど、主に作業領域として用いられるものである。また、EEPROM43は、いわゆる不揮発性メモリであり、電源が落とされても保持しておく必要のあるデータ、例えば、各種の設定データなどを記憶保持しておくためのものである。
そして、図2に示すこの実施の形態の記録再生装置100は、入力端部として、デジタル入力端子1、デジタル入力/出力端子2、アナログ音声入力端子4、アナログ画像入力端子8、10を備えている。なお、アナログ画像入力端子8は、コンポジット画像信号(Cps)用のものであり、アナログ画像入力端子10は、セパレート画像信号(S)用のものである。
また、記録再生装置100は、出力端部として、デジタル入出力端子2、アナログ音声出力端子22、アナログ画像出力端子28、29を備えている。なお、アナログ画像出力端子28は、コンポジット画像信号(Cps)用のものであり、アナログ画像出力端子29は、セパレート画像信号(S)用のものである。
さらに、この実施の形態の記録再生装置100は、通信用接続端子31を備え、通信インターフェース(以下、通信I/Fと略称する。)30を介して、例えば、インターネットなどの通信ネットワークを通じて各種のデータの送受を行うことができるようにしている。
そして、この記録再生装置100は、上述した入力端子や入出力端子を通じて受け付けた画像信号や音声信号を、ハードディスクである記録媒体18に記録したり、上述した出力端子や入出力端子を通じて出力したり、また、記録媒体18に記録されている画像信号や音声信号を読み出して再生し、これを各出力端子を通じて出力することができるものである。
また、上述した通信接続端子31を通じて受け付けたデータを記録媒体18に記録したり、デジタル出力したり、また、受け付けたデータが、画像データや音声データである場合には、これらをアナログ信号に変換して、アナログ出力端子を通じて出力することもできるようにされている。
図1にも示したように、この実施の形態において、記録再生装置100には、BS/CSチューナー300、地上波テレビチューナー400、ビデオカメラ500が接続するようにされている。この場合、BS/CSチューナー300は、デジタル入力端子1を通じて接続され、地上波テレビチューナー400は、アナログ音声入力端子4およびアナログ画像入力端子8またはアナログ画像入力端子10を通じて接続され、また、ビデオカメラ500は、デジタル入出力端子2を通じて接続されているものとして以下の説明を進める。
[デジタル入力の利用について]
上述した各入力端子を通じて情報の供給を受ける場合のこの実施の形態の記録再生装置100の動作について説明する。まず、デジタル入力端子1を通じて接続されたBS/CSチューナー300からのBSデジタル放送信号あるいはCSデジタル放送信号の供給を受け、これを記録媒体18に記録したり、アナログ出力したりする場合の動作について説明する。
デジタルBS/CSチューナー300には、衛星からのデジタル放送信号を受信するためのパラボナアンテナが接続されている。そして、デジタルBS/CSチューナー300は、ユーザからの選局指示に応じた選局制御信号に基づいて、目的とするデジタル放送信号を受信、選局し、この受信、選局したデジタル放送信号をデジタル入力端子1を通じてこの記録再生装置100に供給する。デジタル入力端子1を通じて供給されたデジタル放送信号は、多重/分離回路16に供給する。
デジタル放送信号は、番組伝送路としてのチャンネル毎に、PSI(Program Specific Information)と呼ばれる選局情報や電子番組案内表を形成するためのEPG(Electronic Program Guide)データなどの種々の制御データと共に、放送番組を構成する画像データ(ビデオデータ)や音声データ(オーディオデータ)、その他の種々のデータがパケット化され、多重化されて送信されるものであり、いわゆるTS(Transport Stream)信号の形式とされたものである。
各パケットのそれぞれには、識別子(ID)が付加されており、この識別子によって、PSIデータやEPGデータを抽出したり、同じ番組を構成する画像パケットや音声パケットを抽出したりすることができるようにされている。
多重/分離回路16は、デジタルBS/CSチューナー300からのTS信号からPSIやEPGデータを抽出し、これをCPU40に供給して、番組の選択を可能にすると共に、電子番組案内表を形成して、これをユーザからの指示に応じて表示するように出力し、電子番組案内表を通じての番組選択や録画予約などを可能にする。
また、多重/分離回路16は、選択された番組の記録が指示されている場合には、デジタルBS/CSチューナー300からのTS信号からユーザにより選択された目的とする番組の画パケットと音声パケットとを抽出して、これらと必要な制御データとからなる新たなTS信号を形成し、これをバッファ制御回路17を通じて記録媒体18に記録する。
同時に、多重/分離回路部16は、デジタルBS/CSチューナー300からのTS信号から抽出された目的とする番組の画像パケットから画像ES(Elementary Stream)を形成し、これをMPEG(Moving Picture Experts Group)ビデオデコーダ23に供給し、また、音声パケットから音声ES(Elementary Stream)を形成して、これをMPEGオーディオデコーダ19に供給する。
MPEGオーディオデコーダ19は、これに供給された音声ESを復号化処理し、ベースバンドの音声データを得て、これをポスト音声信号処理回路20に供給する。MPEGデコーダ23は、これに供給された画像ESを復号化処理して、ベースバンドの画像データを得て、これをポスト映像信号処理回路24に供給する。
ポスト映像信号処理回路24は、MPEGビデオデコーダ23からの画像データと、後述するプリ映像信号処理回路13からの画像データとの切り換えや、画面合成やフィルタ処理などを行い、処理後の画像データを合成回路26に供給する。
合成回路26は、後述もするが、ポスト映像信号処理回路24からの画像データや、静止画像生成回路25からのサムネイルなどと呼ばれる縮小静止画像の画像データや、CPU40により形成するようにされた画面表示用のグラフィックッスや文字データなどの供給を受け、これらを合成したり、部分的に表示を重ねたりするなどの処理を施し、処理後の画像データをNTSCエンコーダ27に供給する。
NTSCエンコーダ27は、これに入力された画像データ(コンポーネントデジタル信号)をYC信号に変換した後、D/A変換を行い、アナログのコンポジット画像信号(Cps)とセパレート画像信号(S)を生成して、それらをアナログ画像出力端子28、29を通じて出力する。
一方、ポスト音声信号処理回路20では、MPEGオーディオデコーダ19からの音声データと、プリ音声信号処理回路6からの音声データとの切り換えや、フィルタ処理、フェード処理、話速変換処理等を行い、処理後の音声データを音声D/A変換器21に供給する。音声D/A変換器21は、これに供給された音声データをアナログ音声信号に変換し、これをアナログ音声出力端子22を通じて出力する。
なお、アナログ音声出力端子22、アナログ画像出力端子28、29の後段に、モニタ受像機200が接続され、アナログ音声出力端子22を通じて出力されたアナログ音声信号に応じた音声がモニタ受像機200に設けられたスピーカから放音するようにされ、アナログ画像出力端子28、29を通じて出力されたアナログ画像信号に応じた画像がモニタ受像機の表示画面に表示するようにされる。
このように、この実施の形態の記録再生装置100は、BS/CSチューナー300から供給されるデジタル放送信号から目的とする番組の画像データと音声データとを抽出し、これを記録媒体18に記録すると共に、同時にアナログ画像信号とアナログ音声信号とを形成して、これを出力することができるようにしている。つまり、デジタル放送信号として提供される目的とする番組を記録媒体18に記録しながら、その番組を視聴することができるようにしている。
[デジタル入出力の利用について]
また、上述したように、多重/分離回路16において新たに形成したTS信号をデジタルインターフェイス回路(以下、デジタルI/F回路と略称する。)3、デジタル入出力端子2を通じて、例えば、他の記録装置やパーソナルコンピュータなどの外部機器に出力することも可能である。この場合、デジタルI/F回路3においては、これに供給されたデジタル信号を外部の機器に適合する形式のデジタル信号に変換し、これを出力する。
また、この逆に、例えば、デジタルビデオカメラ500などからIEEE1394のようなデジタルインターフェイスを介して供給されるデジタル信号をデジタル入出力端子2を通じて受け付け、これを記録媒体18に記録したり、アナログ画像信号、アナログ音声信号を形成して、これを出力したりすることもできるようにされている。
すなわち、デジタル入出力端子2を通じて供給を受けたデジタル信号は、デジタルI/F回路3に供給される。デジタルI/F回路3は、これに供給されたデジタル信号について、この実施の形態の記録再生装置100が用いている方式に適合するようにフォーマット変換等の処理を施し、TS信号を生成して、これを多重/分離回路16に供給する。
多重/分離回路16では、更に制御信号等の解析や生成を行い、記録媒体18に記録する形式のTS信号を形成し、これを前述もしたように、バッファ制御回路17を通じて記録媒体18に記録することができるようにしている。
また、多重/分離回路16は、デジタルI/F回路3から供給されたTS信号から画像ES、音声ESを形成し、MPEGビデオデコーダ23、MPEGオーディオデコーダ19に供給することにより、上述もしたようにアナログ画像信号、アナログ音声信号を形成し、これらを出力することもできるようにしている。
[アナログ入力の利用について]
次に、アナログ音声入力端子4と、例えばアナログ画像入力端子8とを通じて接続された地上波テレビチューナー400からのテレビ放送信号の供給を受け、これを記録媒体18に記録したり、アナログ出力したりする場合の動作について説明する。
地上波テレビチューナー400は、地上波のアナログ放送信号を受信、選局して復調し、アナログコンポジット画像信号(Cps)とアナログ音声信号とを得て、記録再生装置100に供給する。地上波テレビチューナー400からのアナログ音声信号は、アナログ音声入力端子4を通じてA/D変換器5に供給され、地上波テレビチューナー400からのアナログコンポジット画像信号(Cps)は、アナログ画像入力端子8を通じてYC分離回路9に供給される。なお、アナログセパレート画像信号(S)の場合には、アナログ画像入力端子10を通じてセレクタ11に供給されることになる。
YC分離回路9は、これに供給されるアナログコンポジット画像信号(Cps)を輝度信号Yと色差信号Cとに分離し(いわゆるYC分離し)、これらをセレクタ11に供給する。このセレクタ11には、アナログ画像入力端子10を通じて供給されるアナログセパレート画像信号(S)も供給される。
セレクタ11は、CPU40からの指示に従い、YC分離回路9からの画像信号と、アナログ画像入力端子10を通じてセパレート画像信号として供給を受けた画像信号とのいずれをNTSC(National Television System Committee)デコーダ12に供給するかを切り換える。
NTSCデコーダ12は、これに入力されたアナログ画像信号に対して、A/D変換、クロマデコード等の処理を施し、デジタルコンポーネントビデオデータ(ビデオデータ)に変換し、これをプリ映像信号処理回路13に供給する。また、NTSCデコーダ12は、入力された画像信号の水平同期信号を基準に生成したクロックと、同期分離して得た水平同期信号、垂直同期信号、フィールド判別信号を同期制御回路15に供給する。
同期制御回路15は、これに供給された各信号を基準とし、各回路ブロックにおいて必要なタイミングを提供するクロック信号、同期信号を生成し、これを各回路ブロックに供給する。
また、プリ映像信号処理回路13は、入力された画像データにプリフィルタ等の各種映像信号処理を施し、これをMPEGビデオエンコーダ14とポスト映像信号処理回路24に供給する。
MPEGビデオエンコーダ14は、プリ映像信号処理回路13からの画像データにブロックDCT(Discrete Cosine Transform:離散コサイン変換)等の符号化処理を施し、画像ESを生成し、多重/分離回路16に供給する。
一方、音声入力端子4を通じてA/D変換器5に供給された音声信号は、A/D変換器5において、デジタル音声データに変換された後、プリ音声信号処理回路6に供給される。プリ音声信号処理回路6は、これに供給された音声データに対してフィルタ処理を施し、これをMPEGオーディオエンコーダ7に供給する。
MPEGオーディオエンコーダ7は、これに供給された音声データをMPEGフォーマットに従い圧縮した後、音声ESを生成し、画像データの場合と同様に、多重/分離回路16に供給する。
多重/分離回路16は、記録時においては、MPEGビデオエンコーダ14からの画像ESとMPEGオーディオエンコーダ7からの音声ESと各種制御信号との多重化処理を行う。つまり、記録時における多重/分離回路16は、これに入力されたMPEG画像ESと、MPEG音声ESとを、各種制御信号と合わせ、多重化処理を施し、例えばMPEGシステムのTS信号を生成する。ここで生成されたTS信号が、バッファ制御回路17を通じて記録媒体18に記録される。
また、図2に示すように、プリ音声信号処理回路6からの音声データは、MPEGオーディオエンコーダ7に供給されると共に、ポスト音声信号処理回路20にも供給され、また、プリ映像信号処理回路13からの画像データは、MPEGビデオエンコーダ14に供給されると共に、ポスト映像信号処理回路24にも供給するようにされている。
そして、ポスト音声信号処理回路20、D/A変換器21の機能により、アナログ音声信号を形成し、これを音声出力端子22を通じて出力すると共に、ポスト映像信号処理回路24、合成回路26、NTSCエンコーダ27の機能により、アナログ画像信号を形成し、これをアナログ画像出力端子28、29を通じて出力することができるようにしている。
すなわち、アナログ音声入力端子4、アナログ画像入力端子8、10を通じて供給されたアナログ信号をデジタル信号に変換してこれを記録媒体18に記録する処理と並行して、この記録対象の画像データと音声データとを再生して出力することができるようにしている。
また、アナログ入力された画像信号と音声信号とを画像データ音声データとして多重化し、デジタルI/F回路3、デジタル入出力端子2を通じて、外部のデジタル機器に出力することも可能である。
[記録媒体からの再生について]
次に、上述のようにして記録媒体18に記録された画像データと音声データとを再生する場合のこの実施の形態の記録再生装置100の動作について説明する。CPU40の制御により、記録媒体18から再生しようとする目的とするTS信号が読み出され、これがバッファ制御回路17を通じて多重/分離回路16に供給される。
再生時において、多重/分離回路16は、記録媒体18から読み出されたTS信号から、画像ES、音声ESの分離処理を行い、分離した音声ESをMPEGオーディオデコーダ19に供給し、画像ESをMPEGビデオデコーダ23に供給する。
MPEGオーディオデコーダ19以降の各回路部の処理、および、MPEGビデオデコーダ23以降の各回路部の処理は、前述したデジタル入力の利用についての説明で説明した通りである。すなわち、MPEGオーディオデコーダ19に供給された音声ESからアナログ音声信号が形成されて出力され、MPEGビデオデコーダ23に供給された画像ESからアナログ画像信号が形成されて出力される。
これにより、アナログ音声出力端子22、アナログ画像出力端子28、29の後段に接続されるモニタ受像機200を通じて、記録媒体18から読み出された画像データ、音声データに応じた画像、音声を出力し、これを視聴することができるようにされる。
[通信接続端子、通信インターフェースの利用について]
また、上述もしたように、この実施の形態の記録再生装置100には、通信I/F30、通信接続端子31を備え、例えば、電話回線などを経由してインターネットなどのネットワークに接続し、そのネットワークを通じて、各種のデータを取得したり、また、各種のデータをネットワークに送出したりすることができるようにされている。
ここで、送受可能な各種のデータとしては、画像データや音声データの他、各種のプログラムやテキストデータなどの送受も可能である。画像データや音声データの場合には、多重/分離回路16を通じて、記録媒体18に記録することができる。
また、多重/分離回路16と、MPEGオーディオデコーダ19、ポスト音声信号処理回路20、D/A変換器21、オーディオ出力端子22からなるオーディオ信号の再生系と、MPEGビデオデコーダ23、ポスト映像信号処理回路24、静止画像生成回路25、合成回路26、NTSCエンコーダ27、画像出力端子28、29からなる画像信号の再生系を用いることによって、通信ネットワークを通じて取得した画像データや音声データを再生し、これらを利用することもできるようにされる。
さらに、この実施の形態の記録再生装置100において用いられるプログラムや制御データなどの提供をネットワークを通じて受けて、これをEEPROM43などに記録保持し、必要に応じてこれを利用するようにするなどのこともできる。例えば、通信ネットワークを通じて、この実施の形態の記録再生装置の機能をアップさせるようにしたり、BSデジタル放送やCSデジタル放送用のEPGデータなどを事前に得て、予め電子番組案内表を作成したりしておくなどのこができるようにされる。
なお、この実施の形態においては、画像データと音声データとについては、MPEG方式の圧縮を行うようにしているが、他の圧縮方式を用いることも可能であるし、また、データ圧縮することなく、非圧縮のまま処理することも可能である。
[編集機能について]
そして、この実施の形態の記録再生装置100は、編集機能を備え、記録媒体18に記録されている放送番組などを再生し、その再生画像を確認しながら、目的とするシーンを構成する画像付近に、簡単な操作で目印としてのチャプタマークを付けることができるようにしている。
そして、チャプタマークが付けるようにされた画像を基準として縮小静止画像をスクロール可能な態様で表示し、目的とするシーンの始めと終わりとをフレーム単位に、すなわち、画像単位で正確に特定し、編集対象の信号区間の最初と最後を厳密に指定して、その指定した画像区間について、目的とする編集を行うことができるようにしている。
この場合、縮小静止画像を表示するための画像信号を形成する部分が、図2に示した静止画像生成回路25である。静止画像生成回路25は、例えば、4Mbyte程度のバッファメモリを備え、CPU40の制御により、MPEGビデオデコーダ23を介して、記録媒体18に記録されている画像データから目的とする画像データを得て、その縮小画像を表示するための画像信号を形成するようにしている。
そして、この実施の形態の記録再生装置100において、編集機能は、従来の記録再生装置の編集機能のように、記録再生装置を編集モードに一々切り換えなければ動作しないというものではない。この実施の形態の記録再生装置100は、以下にも詳しく説明するように、再生モード時において、種々の編集機能を用いることができるようにし、再生動作から編集動作への移行を動作の途切れなく、いわゆるシームレスに行うことができるようにしている。
以下、この実施の形態の記録再生装置100の編集機能について説明する。記録再生装置100の記録媒体18は、上述もしたようにハードディスクであり、大量のデータの記録が可能なものである。例えば、1つのテレビ放送番組などの1まとまりとなる情報をタイトルと呼ぶことにすると、記録媒体18には、複数のタイトル分の画像情報を含む情報のまとまりを記憶保持することができるようにしている。
つまり、この明細書において、タイトルは、1つの放送番組、1つの映画など、一連の1まとまり(1つの)情報として扱うこととなる画像情報や音声情報などのまとまりであり、記録媒体18には、上述もしたように、複数タイトル分の情報の記録が可能である。
そして、記録媒体18に記録保持されているタイトルのうち、再生するタイトルを選択して、その再生を指示すると、そのタイトルの画像情報を含む情報のまとまり(TS信号)が、記録媒体18から読み出されて、上述もしたように、多重/分離回路16の機能、MPEGビデオデコーダ23、ポスト映像信号処理回路24、合成回路26、NTSCエンコーダ27の機能により再生される。ここで再生するようにされる画像情報は、モニタ装置200に供給され、その再生画像が、モニタ装置200の表示画面201に表示するようにされる。
そして、目的とするシーンの画像が表示画面201に表示され、使用者がこれを確認すると、手元のリモコン150のチャプタマークキー154を押下操作し、目的とするシーンの画像にいわゆるチャプタマークを付けるようにする。図3は、チャプタマークが付けられるように操作された直後の表示画面201の表示画像201Gの一例について説明するための図である。
チャプタマークキー154が押下操作されると、記録再生装置100のCPU40は、現在どの画像を再生するようにしているのかを、その画像のタイムコードやフレーム番号により把握しているので、そのチャプタマークキー154が押下操作された時点において、モニタ受像機200の表示画面201に表示するようにされている画像を特定するための情報として、タイムコード情報やフレーム番号を取得し、これを例えば再生中のタイトルの識別情報とともにチャプタマーク情報として記録媒体18に設けられるファイルに記録する。
さらに、CPU40は、チャプタマークキー154が押下されたことを検知すると、図3に示すように、そのとき再生されているタイトルの総データ量に対応し、総再生時間を示す表示であるタイムライン201Tを表示するとともに、当該タイトルの総再生時間において、チャプタマークが付けられた画像の位置を示す三角マークM1、M2、M3、…を表示する。
つまり、チャプタマークは1フレーム単位の画像データに付けられるようにされるものであり、三角マークが、チャプタマークが付けられるようにされた画像の位置を示すための表示マークである。
これらタイムライン201Tと、三角マークM1、M2、M3、…とは、チャプタマークキー154を押下操作後において一定時間表示されたのちに消去され、また元の表示画像201Gのみの表示に戻るようにされる。そして、チャプタマークキー154は、図3に示したように、1つのタイトル内において、必要に応じて何度でも押下操作することが可能であり、1つのタイトル内に複数個のチャプタマークをつけるようにすることができる。
このように、目的とするタイトルの再生中において、例えば、1タイトル中に飛び飛びに存在する1つ以上の必要なシーンのみを特定したり、逆に1つ以上の不必要なシーンのみを特定したりすることができるようにされる。
そして、チャプタマークがつけられるようにされた画像を基準画像(編集点)として用いて、チャプタマークが付けられた位置(画像)からの再生、チャプタマークが付けられた画像あるいはチャプタマークで挟まれた区間の画像の削除や移動や抽出、チャプタマークが付けられた位置を基準とする画像情報の分割といった編集を行うことができるようにされる。
しかし、目的とするタイトルの再生中にチャプタマークキー154を押下してつけるチャプタマークは、大まかに目的とするシーンの画像に付けるようにしているので、厳密に目的とするシーンの初めの画像や終わりの画像に付けられているとは限らない。
そこで、チャプタマークを1つでも付けるようにした後においては、リモコン150の所定の操作キーを操作することにより、あるいは、所定のメニューを表示させ、そのメニューから例えば「マーク編集」などと呼ばれる項目を選択することにより、チャプタマークについての操作を受け付けるモードに記録再生装置100を遷移させるようにする。この場合、表示画面201に表示されている表示画像201Gは一時停止するようにされる。つまり、静止画像となるようにされる。
この後、記録再生装置100のCPU40は、図3に示したように、タイムライン201Tとチャプタマークが付けられた画像の位置を示す三角マークとを表示するための画像情報を形成し、これをモニタ受像機200に表示するようにして、チャプタマークが付けられた画像の選択を受け付けるようにする。
チャプタマークについての操作を受け付けるモードに遷移した直後においては、例えば、直近にチャプタマークを付与した画像、あるいは、最初にチャプタマークを付与した画像など、既にチャプタマークを付与した複数の画像の内の予め決められた画像の位置に対応する三角マークが選択された状態になっている。
そして、リモコン150の左矢印キー152L、右矢印キー152Rを操作することにより、タイムライン201T上の目的とする三角マークを選択することができるようにされる。
リモコン150の左矢印キー152L、右矢印キー152Rを操作し、目的とする三角マークを選択し、リモコン150の例えば上矢印キー152Uを押下するなどの所定の操作を行うと、記録再生装置100のCPU40は、三角マークの位置から、当該三角マークに対応するチャプタマーク情報は何番目に指示されたものかを特定し、記録媒体18に記録保持しているチャプタマーク情報を参照して、選択された三角マークが示す位置の画像を特定する。
そして、CPU40は、特定した画像(選択された三角マークが示す位置の画像)を形成する画像情報と、その近隣の画像を形成する画像情報とを記録媒体18から取得し、この取得した画像情報をMPEGビデオデコーダ23を介して、静止画像生成回路25に供給するとともに、静止画像生成回路25を制御して、サムネイルなどと呼ばれる縮小静止画像S1、S2、S3、S4、S5を表示するための画像信号を形成する。
静止画像生成回路25で生成された複数の、この実施の形態においては少なくとも5つの縮小静止画像を表示するための画像信号は、合成部26に供給され、ここでポスト映像信号処理回路24からの画像信号と合成され、NTSCエンコーダ27を介して出力され、図1に示したようにモニタ受像機200に供給され、その表示G面201に画像を表示するようにする。
図4に示した例の場合には、三角マークM1が選択された場合であって、三角マークが示す位置の画像を基準(S3)とし、画像S3の前2フレーム分の画像(S1、S2)と、画像S3の後2フレーム分の画像(S4、S5)との5フレーム分の縮小静止画像が表示するようにされている。
また、図4に示した例の場合には、現時点においてチャプタマークが付けられるようにされている縮小静止画像S3の外枠が太く示され、いわゆるカーソルが位置付けられるようにされ、縮小静止画像S3が操作対象の縮小静止画像であることが示される。
そして、縮小静止画像S1、S2、S3、S4、S5が表示されている状態において、左矢印キー152L、右矢印キー152Rを操作することにより、カーソルを移動させるようにして、操作対象の縮小静止画像を順次に変更することができるようにしている。
図5は、縮小静止画像S1、S2、S3、S4、S5が表示された状態にあるときに、操作対象の縮小静止画像を変更する場合の例を説明するための図である。左矢印キー152Lを押下操作すると、カーソルを順次左側に移動させることができるようにされる。
したがって、縮小静止画像S3にカーソルが位置付けられた状態にあるときに、左矢印キー152Lを2回押下操作すると、図5Aに示すように、表示画面201の最左端にある縮小静止画像S1にカーソルを位置付けることができる。そして、外枠が太く示された縮小静止画像(カーソルが位置付けられた縮小静止画像)を操作対象とすることができる。なお、図5Aに示す状態にあるときに、チャプタマークが付けられている画像は、図5Aにおいて矢印が示すように縮小静止画像S3として表示されている画像である。
さらに、左矢印キー152Lを押下操作すると、図5Bに示すように、縮小静止画像が表示画面201の右側方向にスクロールするようにされ、図5Aの状態にあるときには表示対象となっていなかった画像であって、縮小静止画像S1の1フレーム前の画像(S1−1)が縮小静止画像S1として表示するようにされる。この時点において、チャプタマークが付けられている画像は、図5Bにおいて矢印が示すように、縮小静止画像S4として表示されている画像である。
このように、左矢印キー152Lを押下操作することにより、過去にさかのぼる方向に、1フレームづつ縮小静止画像をスクロールさせるようにすることができ、目的とする画像を選択することができるようにしている。
同様にして、右矢印152Rを押下操作することにより、カーソルを表示画面201の右側方向に移動させることができ、カーソルを表示画面201の最右端にある縮小静止画像S5にカーソルを移動させた後に、さらに右矢印キーを押下操作することにより、時間を進める方向に、1フレームづつ縮小静止画像をスクロールさせ、目的とする画像を選択することができるようにしている。
そして、リモコン150の決定キー153を押下操作することにより、図5Cに示すように、操作対象とした縮小表示画像に対する操作を選択するメニューMN1を表示する。この場合、縮小静止画像の選択に戻るか、チャプタマークの再設定かを選択することができるようにされる。
なお、チャプタマークの再設定は、選択した縮小静止画像の元の画像に対して、新たにチャプタマークを付け、今回の基準画像とした画像に付けられているチャプタマークを削除する処理である。
したがって、図5B、Cに示した状態にあるときに、チャプタマークの再設定を行うようにすると、図5B、Cにおいて、縮小静止画像S1の元の画像にチャプタマークが付けられ、縮小静止画像S4の元の画像に付けられているチャプタマークは削除するようにされる。
具体的には、図5B、Cに示した例の場合、記録媒体18に記録保持されているチャプタマーク情報のうち、図5B、Cにおいて、縮小静止画像S4の元の画像を特定する情報が、縮小静止画像S1の元の画像を特定する情報に変えられることになる。
そして、チャプタマークが削除するようにされた画像の位置を示す三角マークを消去し、新たにチャプタマークが付けられた画像の位置を示す三角マークを新たに表示するようにすることができる。
このようにして、この実施の形態の記録再生装置100においては、記録媒体18に記録されたテレビ放送番組などを再生して視聴しながら、例えば、不必要なシーン部分に大まかにチャプタマークを付けるようにし、この大まかに付けたチャプタマークを適宜の時に確認して、目的とする画像に正確にチャプタマークを付け直すことができるようにしている。
そして、目的とするシーンの最初の画像と最終の画像とに正確にチャプタマークを付けるようにした後において、処理を戻すようにする操作をおこなうと、縮小静止画像S1、S2、S3、S4、S5は表示されないようにされ、図3に示したように、静止画像とされた表示画像201Gと、タイムライン201と、三角マークM1、M2、M3、…からなる表示に戻され、チャプタマークが付けられた画像を基準として、再生や各種の編集を行うことができるようにされる。
図6は、チャプタマークが付けられた画像を基準として、再生や各種の編集を行う場合について説明するための図である。静止画像とされた表示画像201Gと、タイムライン201Tと、三角マークM1、M2、M3、…からなる表示に戻された後、三角マークを選択し、所定の操作を行うと、その選択した三角マークが付けられた画像を基準として行うことが可能な処理の選択メニューMN2が表示される。
このメニューMN2から目的とする処理を選択することにより、選択した三角マークの削除、選択した三角マークの位置の画像からの再生、2つの三角マークを指定して、その2つの三角マークで挟まれたシーン部分の削除(A−B削除)、選択した三角マークへの名前付けなどの処理を行うことができるようにされる。
この他、2つの三角マークを指定して、その2つの三角マークで挟まれたシーン部分を移動したり、あるいは、選択された三角マークの画像を基準として、放送番組などの画像情報を分割するようにしたりするなどの各種の編集処理を行うことも可能である。
このように、この実施の形態の記録再生装置100においては、従来の記録再生装置のように、記録再生装置100を編集モードに切り換えた後に、編集を行うのではなく、視聴のための再生時においてチャプタマークを設定し、そのチャプタマークを基準として、最終的には編集ができるようにされる。
つまり、再生モードと編集モードとは明確にモードが異なるものではなく、再生モード時に実行可能な機能として各種の編集機能を利用することができるようにしている。したがって、再生して視聴する通常の動作と編集のための動作とはシームレスに実行することができるようにされ、使い勝手のよい記録再生装置を実現している。
次に、この実施の形態の記録再生装置100の再生時の動作について、図7の表示項目の例を示す図、および、図8〜図10のフローチャートを参照しながらさらに説明する。この実施の形態の記録再生装置100の再生時の動作は、この発明による方法が適用されたものであり、例えば、CPU40において実行されるプログラムグラムを実行することにより行なわれるようにされる。
図7は、この実施の形態の記録再生装置100によりモニタ受像機200の表示画面201に表示するようにされる表示項目の例を説明するための図である。上述もしたように、この実施の形態の記録再生装置100は、記録媒体18に記録された画像情報を読み出して再生処理することにより、モニタ受像機200に供給するアナログ画像信号を形成して出力し、モニタ受像機200の表示画面201に表示画像201Gを表示することができるものである。
そして、再生時(再生モード時)においては、所定のタイミングで、図7に示すように、状態表示G1、リモコン操作可能キー表示G2、タイムライン201T、三角マークM1、M2、M3、…、始点表示ST、終点表示ED、縮小静止画像(サムネイル)S、メニューMN1、MN2、MNSを表示するための画像信号を形成し、これらをモニタ受像機200の表示画面に表示することができるものである。
ここで、状態表示G1は、記録モード、再生モードなどの記録再生装置100の動作状態を通知するためのものであり、リモコン操作可能キー表示G2は、その時点において、操作可能なリモコンの操作キーを通知するためのものである。
また、上述もしたように、タイムライン201Tは、現在再生中のタイトルの総再生時間(タイトルの総データ量)を示すものであり、タイムライン201Tの近傍に表示するようにされる三角マークM1、M2、M3、…は、チャプタマークが付けられるようにされた画像の位置を示すものである。
さらに、始点STは、範囲指定された区間の始点を示す、終点EDは、範囲指定された区間の終点を示すものであり、いずれも三角マークに対応して指定されるものであり、始点STと終点EDとで挟まれた区間を削除や移動などの編集対象とすることができるようにされる。
また、縮小静止画像Sは、この実施の形態においては、図3、図4にも示したように縮小静止画像S1、S2、S3、S4、S5の5つの縮小静止画像からなるものであり、チャプタマークが付けられた画像の内、ユーザによって選択された画像とその近隣の画像の縮小静止画像からなるものである。
また、メニューMN1は、選択した縮小静止画像に対する処理を選択するためのものであり、メニューMN2は、チャプタマークに対応して表示するようにされる三角マークに対する処理を選択するためのものである。また、メニューMNSは、再生モード時において、実行可能な処理を選択するためのものである。
そして、この実施の形態の記録再生装置100は、図8〜図10を用いて説明する再生時の動作において、図7に示した各表示項目を適宜表示するようにしながら、再生処理、および、再生モード時において実行可能な各種の処理を行うようにしている。
図8に示すように、この実施の形態の記録再生装置100に電源が投入され、記録媒体18に記録されている放送番組などのタイトル一覧を表示するようにする指示が入力されると、CPU40は、バッファ制御回路17を通じて記録媒体18の例えばディレクトリを参照し、記録媒体18に記録されているタイトルの一覧表を表示するための画像信号を形成し、これを多重/分離回路16を通じて合成回路26に供給し、モニタ受像機200の表示画像201Gにタイトルの一覧表を合成して表示するようにする(ステップS101)。
そして、記録再生装置100のCPU40は、リモコン150や記録再生装置100のフロントパネル面に設けられた操作パネルを通じての使用者からのタイトルの選択入力を受け付けるとともに(ステップS102)、リモコン150や操作パネルを通じての使用者からの動作指示入力を受け付けるようにする(ステップS103)。
そして、CPU40は、動作指示入力として使用者から終了指示が入力されたか否かを判断する(ステップS104)。ステップS104の判断処理において、終了指示が入力されたと判断したときには、CPU40は、この図8〜図10に示す処理を終了し、記録モードの選択入力あるいはタイトル一覧の表示指示入力などを受け付けるいわゆる初期入力待ちとなる。
ステップS104の判断処理において、終了指示が入力されていないと判断したときには、目的とするタイトルの選択入力および選択されたタイトルの再生指示入力が入力されたか否かを判断する(ステップS105)。ステップS105の判断処理において、タイトルの選択がされていない、あるいは、再生指示が入力されていないと判断したときには、CPU40は、ステップS102からの処理を繰り返し、タイトルの選択入力および動作指示入力を受け付けるようにする。
ステップS105の判断処理において、選択されたタイトルの再生指示が入力されたと判断した場合には、CPU40は、バッファ制御回路17、多重/分離回路16、MPEGオーディオデコーダ19、ポスト音声信号処理回路20、D/A変換器21、MPEGビデオデコーダ23、ポスト映像信号処理回路24、合成回路26、NTSCエンコーダ27のそれぞれを制御して、ステップS102において選択されたタイトルの再生を開始する(ステップS106)。
なお、ステップS106においては、図7を用いて説明した状態表示G1、リモコン操作可能キー表示G2が一定時間、例えば数秒程度表示され、再生モードとなったことが通知されるとともに、使用可能なリモコン150や操作パネルの操作キーが通知される。
そして、CPU40は、リモコン150や操作パネルを通じて、使用者からの指示入力を受け付ける(ステップS107)。ステップS107において受付可能な指示入力としては、チャプタマークキー154を押下操作して行うチャプタマークを付与する指示入力、サブメニューの表示指示入力、その他、一時停止、早送り、早戻し、再生停止等の指示入力がある。
そして、ステップS107で受け付けた指示入力は、チャプタマークを付与する指示入力か否かを判断する(ステップS108)。ステップS108の判断処理において、チャプタマークを付与する指示入力を受け付けたと判断したときには、CPU40は、当該指示入力を受け付けたときに、モニタ受像機200の表示画面201に表示するようにしていた画像を特定するタイムコードやフレーム番号を取得する(ステップS109)。
タイムコード等を取得した後、CPU40は、現在再生中のタイトルを示すタイトル情報と、そのタイトルを構成する画像情報であって、チャプタマークが付けられるようにされた画像情報のタイムコード等とを対応付けて、記録媒体18に記録する(ステップS110)。そして、ステップS107からの処理を繰り返し、同一タイトル中の複数の画像(複数の箇所)にチャプタマークを付けることができるようにしている。
ステップS108の判断処理において、チャプタマークを付与する指示入力ではないと判断したときには、CPU40は、サブメニューMNSの表示を指示するものであるか否かを判断する(ステップS111)。ステップS111の判断処理において、サブメニューの表示を指示するものではないと判断したときには、CPU40は、使用者によって指示された他の処理、例えば、一時停止、早送り、早戻し、再生停止など処理を行うようにする(ステップS112)。
ステップS111の判断において、サブメニューMNSの表示指示であると判断したときには、図9に示す処理に進み、サブメニューMNSを表示する(ステップS113)。ここで、サブメニューMNSは、画像に付けるようにしたチャプタマークに対する編集を行うための「マーク編集」や、既に記録されているタイトルを誤って削除することがないようにするための「タイトル保護」や、既に記録されているタイトルを削除するようにする「タイトル削除」等を選択するためのものである。
そして、CPU40は、リモコン150あるいは記録再生装置100のフロントパネルに設けられている操作パネルを通じて、使用者からの選択入力を受け付ける(ステップS114)。そして、CPU40は、ステップS114で受け付けた選択入力は、「マーク編集」の実行を指示するものか否かを判断する(ステップS115)。
ステップS115の判断処理において、受け付けた選択入力は「マーク編集」ではないと判断したときには、「タイトル保護」、あるいは、「タイトル削除」などの選択された処理を行うようにする(ステップS116)。
ステップS115の判断処理において、「マーク編集」が選択されたと判断したときには、CPU40は、多重/分離回路16、MPEGビデオデコーダ23、ポスト映像信号処理回路24、合成回路26、NTSCエンコーダ27を制御して、表示画像201Gを一時停止させる(ステップS117)。
次に、CPU40は、タイムライン201Tと三角マークM1、M2、M3、M4、…を表示するための画像信号を形成し、これを多重/分離回路16、合成回路26に供給して、タイムライン201Tと三角マークM1、M2、M3、…をモニタ受像機200の表示画面201に表示し、直近の三角マークが選択された状態となるようにする(ステップS118)。
CPU40は、リモコン150または操作パネルを通じて、使用者からのキー入力を受け付ける(ステップS119)。この実施の形態の記録再生装置100において、ステップS119において操作可能な入力キーは、上矢印キー152U、決定キー153、左右矢印キー152L、152Rとされている。
そして、CPU40は、ステップS119において操作された入力キーは何かを判別する(ステップS120)。ステップS120において、操作された入力キーは、上矢印キー152Uであると判断したときには、CPU40は、縮小静止画像表示(サムネイル表示)が指示されたと判断し、現在選択している三角マークに対応する画像を特定する情報としてチャプタマーク情報を抽出し、このチャプタマーク情報に基づいて、その現在選択している三角マークに対応する画像と、その近隣の画像の画像データを記録媒体18から読み出し、縮小静止画像(サムネイル)Sを形成して、これをモニタ受像機に供給してその表示画面に表示するようにする(ステップS121)。
そして、CPU40は、サムネイルとして表示された縮小静止画像に対するキー入力を受け付けるようにする(ステップS122)。このステップS122において、操作可能な入力キーは、下矢印キー152D、決定キー153、左右矢印キー152L、152Rとされている。
CPU40は、ステップS122において受け付けた入力キーは何かを判断し(ステップS123)、下矢印キーが操作されたと判断したときには、表示したサムネイルSを非表示にする指示であると判断し、表示したサムネイルを非表示として(ステップS124)、ステップS119からの処理を繰り返すようにする。
ステップS123の判断処理において、受け付けた入力キーは、決定キーであると判断した場合には、メニューMN1を表示するための画像信号を形成し、これをモニタ受像機に供給して表示するようにする(ステップS125)。
また、ステップS123の判断処理において、受け付けた入力キーは、左右キー152L、152Rであると判断したときには、図4、図5を用いて上述したように、表示された縮小静止画像を選択する処理を行い(ステップS126)、この後、ステップS122からの処理を繰り返す。
また、ステップS120の判断処理において、ステップS119において受け付けたキー入力は、決定キー153であると判断した場合には、CPU40は、メニューMN2を表示するための画像信号を形成し、これをモニタ受像機に供給して表示するようにする(ステップS127)。ステップS125の処理の後、および、ステップS127の処理の後においては、後述する図10に示す処理に移行することになる。
また、ステップS120の判断処理において、ステップS119において受け付けたキー入力は、左右キー152L、152Rであると判断したときには、CPU40は、既に表示してあるタイムライン201Tと三角マークM1、M2、M3、…の表示上において、目的とする位置の画像に対応する三角マークを選択するようにし(ステップS128)、この後、ステップS119からの処理を繰り返す。
そして、図9に示し、上述もしたように、ステップS125、ステップS127の後においては、CPU40は、図10に示す処理に進み、図9に示したステップS125において表示されたメニューMN1または、ステップS127において表示されたメニューMN2からの機能の選択を受け付ける(ステップS129)。
ステップS129においては、表示されたメニューがメニューMN1である場合には、縮小静止画像に対するメニューであるので、図5Cに示したように、「戻る」、「マーク再設定」が選択可能とされる。また、表示されたメニューがメニューMN2である場合には、タイムラインおよび三角マークに対するメニューであるので、図6に示したように、「戻る」、「マーク削除」、「A−B削除」、「ここから再生」が選択可能とされる。
そして、ステップS129において、「戻る」が選択されたとCPU40が判断したときには(ステップS130)、メニューMN1が表示されている場合には、図9に示したステップS122からの処理を繰り返して、縮小静止画像に対するキー入力を再度受け付けるようにし、また、メニューMN2が表示されている場合には、図9に示したステップS119からの処理を繰り返して、チャプタマークに対応する三角マークに対するキー入力を再度受け付けるようにする。
また、ステップS129において、メニューMN1からマーク再設定が選択されたとCPU40が判断した場合、あるいは、メニューMN2からマーク削除が選択されたとCPU40が判断した場合には(ステップS131)、CPU40は、まず、選択されている三角マークに対応する画像に付けられるようにされたチャプタマーク情報を記録媒体18から削除する(ステップS132)。
そして、CPU40は、マーク再設定が指示されているか否かを判断し(ステップS133)、マーク再設定が指示されているときには、図7に示したように、選択されている縮小静止画像に対するメニューMN1に対する指示入力であるので、選択されている縮小静止画像に対応する画像を特定する情報として例えばタイムコードを取得し、これをチャプタマーク情報として新たに記録媒体18に登録(記録)する(ステップS134)。
ステップS134の処理の後、あるいは、ステップS133においてマークの再設定ではない(三角マークに対するメニューMN2におけるマーク削除である)と判断したときには、ステップS117において停止させた表示画像201Gの再生を再開させ(ステップS135)、図8に示したステップS107からの処理を繰り返す。
また、ステップS129において、メニューMN2から「A−B削除」が選択されたとCPU40が判断した場合には(ステップS136)、CPU40は、図7において、始点STに示したように、表示されている三角マークを処理単位として開始点の選択入力を受け付け、その位置を表示する(ステップS137)。同様に、CPU40は、図7において、終点EDに示したように、表示されている三角マークを処理単位として終了点の選択を受け付け、その位置を表示する(ステップS138)。
そして、CPU40は、ステップS137で選択された開始点から、ステップS138で選択された終了点までの画像を削除し(ステップS139)、この後、ステップS117において停止させた表示画像201Gの再生を再開させ(ステップS135)、図8に示したステップS107からの処理を繰り返す。
また、ステップS129において、メニューMN2から「ここから再生」が選択されたとCPU40が判断した場合には(ステップS140)、CPU40は、現在選択されている三角マークに対応する画像から、処理対象のタイトルの再生を再開させ(ステップS135)、図8に示したステップS107からの処理を繰り返す。
このように、この実施の形態の記録再生装置100においては、従来の記録再生装置のように、再生モードと編集モードとの2つのモードを使い分けるなどと言うことなく、基本的に再生モード時において、必要に応じて編集を行うことができるようにされる。したがって、編集モードへの移行操作が分からなかったり、あるいは、編集モードへの移行に手間取ったりするなどの不都合を生じさせることがない。
しかも編集に関する操作は、リモコンなどの操作装置のごく限られた操作キー、例えば、上矢印キー152U、下矢印キー152D、左矢印キー152L、右矢印キー152R、決定キー153、チャプタマークキー154を用いて行うことができるので、編集を行う場合の操作が極めて簡単である。したがって、誤操作を頻繁に発生させたり、操作に気を取られて目的のシーンを見逃したりするなどの不都合を生じさせることもない。
また、目的とするシーンの画像にチャプタマークを付けるようにし、そのチャプタマークを付けるようにした画像と、その近隣の画像とを縮小画像として同時に確認し、しかもスクロール表示するようにすることができるので、早送り、早戻し、コマ送りなどの従来の機能を多用することもなく、チャプタマークを付けるようにした画像を基準として、目的とするシーンの画像を正確に指定して、編集を行うようにすることができる。
すなわち、この実施の形態の記録再生装置100においては、編集操作を迅速かつ容易に行うことができるので、リモコン操作に気を取られることなく、画面(再生画像)に集中することができるのである。また、再生モード、編集モードといったモードを一切気にする必要がなく、しかも、フレーム単位での詳細な編集が可能であり、編集点の検索、編集点の変更などもフレーム単位の画像を確認しながら、フレームを最小単位として簡単に行うことができる。
なお、チャプタマークの再設定を行った場合には、新たにチャプタマークが付加するようにされた画像をモニタ受像機200の表示画面201に表示し、その画像から再生を再開するようにすることもできる。また、A−B削除を行った場合には、削除された画像区間の次の画像から再生を再開させたり、あるいは、次の三角マークの位置の画像から再生を再開させたりすることができるようにされる。
また、マーク再設定の場合に、既にチャプタマークが付けられている画像に重複してチャプタマークを付けるようにした場合には、例えば、「既にチャプタマークが付けられています。」などの警告表示を表示したり、アラーム音を放音したりするなどのことが行われるようにされている。
また、チャプタマークが付けられた画像の全部を一覧表示するようにすることも可能である。この場合には、記録媒体18に別ファイルとして記録保持されている全てのチャプタマーク情報を読み出し、これに基づいて、チャプタマークが付けられた画像の画像データを記録媒体18から読み出して、これを再生するようにすることによって実現することができる。
[変形例1]
上述した実施の形態においては、再生時において、モニタ受像機200の表示画面201に表示される再生画像を確認しながら、再生画像を静止させることなく目的とするシーンの画像にチャプタマークを付けることができるようにした。そして、少なくとも1つ以上のチャプタマークを付けるようにした後に、チャプタマークが付けられた画像を基準として、チャプタマークの付け替え(再設定)を含む各種の編集を行えるようにした。しかし、これに限るものではない。
例えば、初めからチャプタマークを正確に目的とする画像に付けるようにしたい場合もある。このような場合には、目的とするタイトルの再生中に、チャプタマークキー154が押下された場合には、例えば、図4に示したように、モニタ受像機200の表示画面に表示される表示画像201Gをチャプタマークが付けられる画像として静止画像とする。
そして、チャプタマークが付けられるようにされた画像を中心として、その前後2フレームの画像を含む5フレーム分の画像の縮小静止画像を表示し、チャプタマークの再設定等を受け付けるようにするとともに、タイムライン201T、チャプタマークが付けられた画像位置に対応してタイムライン201Tの近傍に三角マークを表示するようにし、チャプタマークの削除や範囲指定などを受け付けるようにする。
この後、再生キーを押下操作するなどの再生を再開させる所定の操作が行われた場合に、表示画像201Gの再生を再開するとともに、縮小静止画像S1、S2、S3、S4、S5、タイムライン201T、三角マークM1、M2、M3、…を消去するようにする。
このように、チャプタマークキー154が押下されるごとに縮小静止画像およびタイムライン、三角マークを表示し、チャプタマークの再設定や削除、区間指定を行うことができるようにしておくことにより、目的とするタイトルを再生して視聴しながら、そのタイトルに対して正確な編集処理を施すことができるようにすることができる。
なお、この変形例1においても、チャプタマークの再設定を行った場合には、新たにチャプタマークが付加するようにされた画像をモニタ受像機200の表示画面201に表示し、その画像から再生を再開するようにすることもできる。また、A−B削除を行った場合には、削除された画像区間の次の画像から再生を再開させたり、あるいは、次の三角マークの位置の画像から再生を再開させたりすることができるようにされる。
また、初めに説明した再生時において、再生画像を静止させることなくチャプタマークを付加するようにするモードと、変形例1として説明したチャプタマークを付加するようにする毎に、再生画像を静止させて、チャプタマークの再設定を行うようにするモードとの両方を搭載するようにし、これを使用者が切り換えて使用するようにすることもできる。
[変形例2]
上述の実施の形態においては、モニタ受像機200の表示画面201において、縮小静止画像は、動画の表示に重ねて表示するようにした。しかし、これに限るものではない。例えば、図11に示すように、表示画面201において、動画表示エリア201Mと縮小画像表示エリア201Sとを重複することがないように分けるようにしてもよい。
この場合、動画表示エリア201Mには、記録媒体18に記録されたタイトルの再生画像が表示され、静止画像表示エリア201Sには、サムネイルなどと呼ばれる縮小静止画像が表示されることになる。この用にすることなく、タイトルの再生画像の全部を縮小静止画像などにより隠されることなく観視することができるようにされる。
なお、図12に示すように、縮小画像表示エリア201Sを可能な限り広く取り、より多くの縮小静止画像を表示するようにしてもよい。また、動画表示エリアを表示画面201の下側に設け、静止画像表示エリアを表示画面201の上側に設けるようにしてもよい。
また、動画表示エリアを表示画面201の右側に設け、静止画表示エリアを表示画面201の左側に設けるようにしてもよいし、また、動画表示エリアを表示画面201の左側に設け、静止画表示エリアを表示画面201の右側に設けるようにしてもよい。要は、表示画面201を、適宜、動画表示エリアと静止画表示エリアとに分離して用いるようにすることができる。
[第2の実施の形態(異なる時点から複数の動画を再生するようにする場合)]
上述した第1の実施の形態の記録再生装置の場合には、記録媒体に記録されたタイトル(放送番組などの1まとまりの情報信号)の画像情報の再生時において、目的とするシーン、あるいはその近傍にチャプタマークを付けていくようにし、付けたチャプタマークを基準にして、編集区間を正確に特定し、目的とする編集を行えるようにした。したがって、再生モードと編集モードとを特に意識することなく、再生時において編集作業をシームレスに開始することが可能なのである。
しかしながら、記録媒体に記録した大量の画像情報の中から目的とするシーンをできるだけ迅速に見つけ出したい場合がある。例えば、記録媒体に記録した映画の放送番組の中から削除したり抽出したり、あるいは、移動したりするなどの編集を行おうとする目的とするシーンを見つけ出したい場合や、長時間に渡ってビデオカメラで撮影し、記録再生装置の記録媒体に記録した画像情報の中から編集を行うとする目的とするシーンを見つけ出したい場合などである。
このような場合に、記録媒体に記録した画像情報の先頭から再生を行い、目的とするシーンがモニタ受像機の表示画面に映出されるまで再生画像を観視するようにしたのでは、目的とするシーンを見つけ出すのに時間がかかってしまう。また、いわゆる早送り再生を行うようにして、目的とするシーンを見つけ出すようにすることも考えられるが、この場合には、目的とするシーンを見逃してしまう可能性が高くなり、確実性に欠ける場合がある。
そこで、この第2の実施の形態の記録再生装置においては、表示画面中に動画像を表示するための複数個の小領域(サブ画像表示エリア(子画面))を設け、記録媒体に記録されているタイトルについて、異なる時点からの複数の動画像再生を同時に行うようにし、目的とするシーンを迅速に見つけ出すことができるようにするものである。
なお、この第2の実施の形態においても、画像処理システムは、図1に示した第1の実施の形態の画像処理システムと同様に構成されるものである。また、この場合における画像処理システムを構成する記録再生装置600は、図13に示すように、表示画像形成回路50を除き、図2に示した第1の実施の形態の記録再生装置100とほぼ同様に構成されるものである。このため、図13に示した記録再生装置600において、図2に示した記録再生装置100と同様に構成される部分には、同じ参照符号を付し、その詳細な説明については省略することとする。
そして、この第2の実施の形態の記録再生装置600は、記録媒体18からの目的とするタイトルの画像データ等を読み出す速度と、MPEGビデオデコーダ23の処理速度が十分に速くされており、また、静止画像のみならず、複数の動画像の同時処理が可能な表示画像形成回路50を備えることにより、再生するように選択したタイトルについて、異なる複数の時点から同時に再生することができるものである。
[第1の例]
以下、動画像表示を用いて目的とするシーンの画像を迅速に検出できるようにするこの第2の実施の形態の記録再生装置600の幾つかの具体例について説明する。図14は、動画像表示を用いて目的とするシーンの迅速な検出をできるようにする記録再生装置600の第1の例について説明するための図である。
図14に示すように、この例の記録再生装置600のCPU40は、第1の動画表示エリア201M1と、第2の動画表示エリア201M2と、第3の動画表示エリア201M3とを設けることができるものである。そして、CPU40は、バッファ制御回路17を制御して、目的とするタイトル(放送番組などの1まとまりの情報信号)の先頭時点と、その先頭時点から再生時間にして10秒先の時点と、先頭時点から再生時間にして20秒先の時点との3つの時点から画像データの読み出しを開始し、読み出した画像データのそれぞれを多重/分離回路16を通じてMPEGビデオデコーダ23に供給する。
MPEGビデオデコーダ23は、多重/分離回路16を通じて供給される3つの時点を開始時点として読み出される画像データのそれぞれについてデコード処理を行い、デコード処理後のそれぞれの画像データを順次に表示画像形成回路50に供給する。
表示画像形成回路50は、これに供給された読み出し開始時点が異なる3つの画像データから、そのそれぞれの画像データに基づいて動画像を表示するための画像データを形成し、これを合成回路26に供給する。
合成回路26は、図14に示したように、目的とするタイトルの先頭時点からの画像データに応じた再生動画像を第1の動画表示エリア201M1に表示するようにし、目的とするタイトルの先頭時点から再生時間にして10秒後の時点からの画像データに応じた再生動画像を第2の動画表示エリア201M2に表示するようにし、目的とするタイトルの先頭時点から再生時間にして20秒後の時点からの画像データに応じた再生動画像を第3の動画表示エリア201M3に表示するように合成する。
合成後の画像データは、合成回路26からNTSCエンコーダ27に供給され、このNTSCエンコーダ27において、アナログのコンポジット画像信号(Cps)とセパレート画像信号(S)が生成されて、これらがアナログ画像出力端子28、29を通じて出力される。
このように、1つのタイトルを時間差を設けて複数の時点から再生し、そのそれぞれの再生画像を表示することにより、目的とするシーンを見逃すことなく、検出することができるようにされる。つまり、第1の動画表示エリア201M1よりも先の時点の画像が表示される第2の動画表示エリア201M2、第3の動画表示エリア201M3に表示されるので、目的とするシーンの画像を確実に検出し、編集候補点として指定することができるようにされる。
さらに、画像の読み出し開始時点の間隔を例えば、数分間間隔、数十分間間隔のように比較的に長く設定することにより、複数の目的とする信号を同時並行的に検出することができる。
また、第1の動画表示エリアに表示する動画像と、第2の動画表示エリアに表示する動画像と、第3の動画表示エリアに表示する動画像とで、再生速度(表示速度)を変えることにより、例えば、第2の動画表示エリアに表示する動画像と、第3の動画表示エリアに表示する動画像とは、第1の動画表示エリアに表示する動画像よりも、再生速度を2倍、あるいは、3倍というように早くすることにより、目的とするシーンの迅速な検出を促進することができる。
ここで、動画像の再生速度は、記録媒体からのデータの読み出し速度やデータの処理速度によって規定されるものではなく、動画像の表示の速さをもって規定されるものである。すなわち、この明細書において、動画の再生速度は、動画像の表示速度と同義である。
また、複数の動画像間で設けるようにする時間差も等間隔でなくてももちろんよい。また、設ける動画表示エリアは、3つに限るものではない。2つでもよいし、2つ以上の複数の動画表示エリアを設けるようにすることも可能である。
また、基準動画像を第1の動画表示エリア201M1に表示し、その10秒後の動画を第2の動画表示エリア201M2に表示し、その10秒後の動画を第3の動画表示エリア201M3に表示するようにしてもよい。
このように、時間差を設けて複数の時点から同じタイトルを再生しそのそれぞれの再生画像を表示することにより、例えば、早送りする場合や早戻しする場合に、第2の動画像表示エリア201M2や第3の動画像表示エリア201M3に表示される動画像に基づいて、第1の動画表示エリア201M1に表示されることになる目的とする画像(目的とするシーンの画像)を容易に確認することができる。
なお、図14において、縮小画像表示エリア201Sには、例えば、第1の動画表示エリア201M1に表示された画像に対して、第1の実施の形態の記録再生装置の場合と同様にチャプタマークを付けるようにした場合に、第1の動画表示エリア201M1に表示される画像を静止画像とし、これを基準としてその前後のフレーム画像(静止画像)を表示することにより、第1の実施の形態の場合と同様に詳細な編集点の選択および設定ができるようにされる。
つまり、縮小画像表示エリア201Sの用途は、上述の第1の実施の形態の記録再生装置100と同様のものである。また、チャプタマークを付けるようにした場合には、そのチャプタマークを付けた画像(編集候補点)のそのタイトル内における位置を示すタイムラインおよび三角マークを上述の第1の実施の形態の記録再生装置100の場合と同様に表示画面に表示するようにすることもできる。
また、縮小画像表示エリア201Sに表示される静止画像もまた、表示画像形成回路50において形成されるものである。すなわち、表示画像形成回路50は、第1、第2、第3の動画表示エリア201M1、201M2、201M3に表示する動画像データの生成とともに、縮小画像表示エリア201Sに表示する複数の静止画像の生成も行うことができるものである。
また、ここでは、第1、第2、第3の動画表示エリア201M1、201M2、201M3に表示する画像データ(動画像データ)は、全て表示画像形成部50において形成するようにするものとして説明したが、これに限るものではない。例えば、第1の動画表示エリア201M1に表示し基準画像とする動画像については、ポスト映像信号処理回路24において形成するようにしてもよい。
なお、バッファ制御回路17、多重/分離回路16、MPEGビデオデコーダ23、表示画像形成回路50、合成回路26、NTSCエンコーダ27などのそれぞれは、CPU40によってその動作が制御され、図14に示したように、複数の動画像を1画面中に表示することが実現される。
また、この第1の例において、再生するようにした画像データに付随する音声データは、例えば、第1の動画表示エリア201M1に表示される画像に対応する音声データを、バッファ制御回路17を通じて記録媒体18から読み出し、MPEGオーディオデコード19、ポスト音声信号処理回路20、D/A変換器21を通じて再生するようにするなどのことができる。
つまり、再生する音声は、第1の動画表示エリア201M1に表示される動画像に応じた音声を再生するようにしたり、第2の動画表示エリア201M2に表示される動画像に応じた音声を再生するようにしたり、また、第3の動画表示エリア201M3に表示される動画像に応じた音声を再生するようにしたりすることができる。
[第2の例]
上述した第1の例の場合には、所定間隔おきに読み出し開始点(再生点)を設けることにより、目的とするシーンの画像の見落とし防止と、目的とするシーンの画像の迅速な検出を実現するようにした。この第2の例の場合には、例えば長時間分記録された画像データから編集候補点とする目的とするシーンの画像を迅速かつ簡単に検出できるようにするものである。
図15は、この第2の実施の形態の第2の例において、記録再生装置600によってモニタ受像機の表示画面201に表示するようにされる画像の表示例を説明するための図である。記録媒体18に記録されているタイトル(放送番組などの1まとまりの情報信号)の中から再生するタイトルが選択されると、記録再生装置600のCPU40は、図15に示すように、表示画面201中に、まず、メイン画像表示エリア201Mを設けるようにするとともに、再生するように選択されたタイトルの総画像データ量に対応するタイムライン201Tを表示するようにする。
この場合、メイン画像表示エリア201Mや、タイムライン201Tおよびタイムライン201T上を移動する再生位置指定用マークの形成は、CPU40が、ROM41に記憶されたデータを用いて行い、これを例えば多重/分離回路16を通じて合成回路26に供給することにより、メイン画像表示エリア201M、タイムライン201T、再生位置指定用マークが、記録再生装置600に接続されたモニタ受像機200の表示画面に表示するようにされる。
記録再生装置600の使用者は、タイムライン201Tを目安として、例えばリモコン150の矢印キーなどを操作することにより、タイムライン201T上で再生位置指定用マークを移動させて、1つ以上の動画再生点を選択入力するようにする。
記録再生装置600のCPU40は、使用者からの動画再生点の選択入力を受け付け、選択された位置に動画の再生位置を示す再生点MK1、MK2、MK3、…を表示するようにする。なお、動画再生時刻を設定する入力項目を設け、1つ以上の再生点を動画再生時刻、すなわち数値によって設定するようにしてもよい。
さらに、記録再生装置600のCPU40は、受け付けた動画再生点の数に応じて、再生画像の表示エリアであるサブ画像表示エリアを形成し、サブ画像表示エリアに受け付けた動画再生点に対応する位置の1フレーム分の画像データを記録媒体18から読み出し、その読み出した画像データによるフレーム画像(静止画)をサブ画像表示エリアに表示するようにする。
この場合、再生点MK1、MK2、MK3、…は、タイムライン201Tと同様に、CPU40により形成され、合成回路26に供給されてこれらが画像中に表示するようにされる。また、各再生点に対応する位置のフレーム画像は、CPU40の制御により、対応するフレームの画像を形成する画像データが記録媒体18から読み出され、これが多重/分離回路16を通じてMPEGビデオデコーダ23に供給され、ここでMPEGデコードされて表示画像形成回路50に供給される。
この表示画像形成回路50において、各サブ画像表示エリアに静止画像であるフレーム画像を表示するための画像データが形成され、これが合成回路26に供給され合成されることにより、1画面中に設けられる各サブ画像表示エリアに再生点に対応する位置のフレーム画像が表示するようにされる。
また、複数のサブ画像表示エリアが設けられた場合には、サブ画像表示エリアの選択もできるようにされており、記録再生装置600のCPU40は、カーソルが位置付けられたサブ画像表示エリアの画像と同じ画像をメイン画像表示エリア201Mに表示するようにする。このサブ画像表示エリア用のカーソルは、CPU40により、表示するようにされ、その表示位置が制御される。
図15に示した例の場合には、再生するように選択されたタイトルの前段、中段、後段の3箇所が動画像の再生点として選択されており、タイムライン201T上には、再生点MK1、MK2、MK3が表示されるとともに、3つのサブ画像表示エリアSG1、SG2、SG3が設けられている。
そして、再生点MK1、MK2、MK3に対応する位置のフレーム画像(静止画)のそれぞれが、上述もしたように、多重/分離回路16、MPEGビデオデコーダ23、表示画像形成回路50、合成回路26、NTSCエンコーダ27で処理されて、表示画面上に形成される対応するサブ画像表示エリアSG1、SG2、SG3のそれぞれに表示される。
また、図15に示した例の場合、サブ画像表示エリアについてのカーソルCSは、サブ画像表示エリアSG1に位置付けられており、サブ画像表示エリアSG1と同じ画像が、メイン画像表示エリア201Mにも表示するようにされる。
なお、メイン画像表示エリア201Mに表示するようにされる画像は、この例の場合、ポスト映像信号処理回路24において形成される画像データにより表示するようにされるものである。
そして、図15に示した状態にあるときには、メイン画像表示エリア201M、サブ画像表示エリアSG1、SG2、SG3のそれぞれに表示される画像は、使用者によって指示された再生点に対応する位置のフレーム画像(静止画像)である。
この状態にあるときに、リモコン150を操作することにより、再生点の位置を変更したり、また、サブ画像表示エリアに対するカーソルCSを移動させて他のサブ画像表示エリアに位置付けたりするなどのことができるようにされる。なお、サブ画像表示エリアに対するカーソルCSの移動は、以下に説明するように、実際に選択されたタイトルの再生が開始された後においても行うことができるようにされる。
そして、リモコン150の再生キーが押下操作されるなど、選択されたタイトルの実際の再生開始が指示されると、記録再生装置600のCPU40は、メイン画像表示エリア201M、サブ画像表示エリアSG1、SG2、SG3への動画の再生を開始するようにする。
図16は、この第2の実施の形態の第2の例の記録再生装置600により、動画再生時にモニタ受像機200の表示画面201に表示するようにされる画像を説明するための図である。上述したように、動画の再生が指示されると、CPU40は、再生点MK1、MK2、MK3のそれぞれに対応する位置の画像データを記録媒体18から順次に読み出す。
そして、CPU40は、メイン画像表示エリア201M、サブ画像表示エリアSG1、SG2、SG3に静止画像を表示するようにした場合と同様に、多重/分離回路16、MPEGビデオデコーダ23、ポスト映像信号処理回路24、表示画像形成回路50、合成回路26、NTSCエンコーダ27を制御し、これらに記録媒体18から順次に読み出される画像データを供給して、図16に示すように、メイン画像表示エリア201M、サブ画像表示エリアSG1、SG2、SG3のそれぞれに、対応する再生点から再生される動画像を表示するようにする。
さらに、記録再生装置のCPU40は、再生点MK1、MK2、MK3のそれぞれを、図16において矢印が示すように動画像の再生に連動して、再生方向に移動させるようにして表示し、各サブ画像表示エリアSG1、SG2、SG3に表示されている画像が、再生している当該タイトルのどの位置に該当するかを使用者が視覚を通じて認識できるようにしている。図16において、点線で示したマークST1、ST2、ST3は、再生点MK1、MK2、MK3の各開始点を示している。
なお、図16に示した例の場合、サブ画像表示エリアに対するカーソルCSは、サブ画像表示エリアSG1に位置付けられているので、メイン画像表示エリア201Mには、サブ画像表示エリアSG1に表示されている動画像と同じ動画像が表示するようにされている。
このように、この第2の例の記録再生装置600の使用者は、3つのサブ画像表示エリアSG1、SG2、SG3のそれぞれに表示される再生点の異なる複数の表示エリアの動画像を通じて、編集候補点として用いるようにする目的とするシーンの画像の検出を行うようにすることができる。
そして、サブ画像表示エリアSG1、SG2、SG3のいずれかに目的とするシーンの画像、あるいは、目的とするシーンの近傍の画像が表示された場合には、その目的とするシーンの画像、あるいは、目的とするシーン近傍の画像が表示されたサブ画像表示エリアに対してカーソルCSを位置付ける。
これにより、カーソルCSが位置付けられたサブ画像表示エリアと同じ動画像をメイン画像表示エリア201Mにも表示するようにし、編集候補点として用いるようにする目的とするシーンの画像をサブ画像表示エリアよりも表示面積の大きなメイン画像表示エリア201Mに表示される動画像を通じて検出することができるようにされる。
図17、図18は、目的とするシーンの画像のうち、編集候補点として用いる画像を選択する場合の使用者と記録再生装置600の動作について説明するための図である。
図16を用いて説明したように、複数の再生点MK1、MK2、MK3からの動画の再生が同時に開始され、カーソルCSがサブ画像表示エリアSG1に位置付けられている場合に、サブ画像表示エリアSG3に目的とするシーンの近傍らしき画像が表示されたとする。このとき使用者は、リモコン150の矢印キーを操作し、サブ画像表示エリアSG1に位置付けられているカーソルをサブ画像表示エリアSG3に位置付けるようにする。
記録再生装置600のCPU40は、リモコン150を通じての使用者からの指示に応じて、図17に示すように、カーソルCSをサブ画像表示エリアSG3に位置付けるとともに、サブ画像表示エリアSG3に表示するようにされている動画像をメイン画像表示エリア201Mにも表示するようにする。
そして、使用者は、目的とするシーンの画像がメイン画像表示エリア201Mに表示されると、記録再生装置600の使用者は、リモコン150に設けられているチャプタマークキー154を押下操作する。
記録再生装置のCPU40は、リモコン150からのチャプタマークキー154が押下操作されたことを示す信号を受信すると、その時点において、メイン画像表示エリア201Mに表示されているフレーム画像を特定することが可能な情報として例えばタイムコードあるいはフレーム番号を取得し、これを編集候補点を示す情報として記録媒体18に記録する。
同時に、CPU40は、チャプタマークキーが押下操作された時点のフレーム画像の当該タイトル中における位置を示す編集候補点マークCN(1)をタイムライン201T上に表示するようにする。この編集候補点マークは、再生点マークとは例えば色や形などが換えられて、すぐに見分けがつく態様で表示される。
なお、上述したように、チャプタマークキー154が押下操作された場合であっても、メイン画像表示エリア201M、および、サブ画像表示エリアSG1、SG2、SG3に表示される動画像の表示が停止されることはなく、各表示エリアにおいての動画像の表示は続行するようにしている。
この後、サブ画像表示エリアSG2に目的とするシーンの近傍らしき画像が表示されたとする。このとき使用者は、リモコン150の矢印キーを操作し、図17に示したようにサブ画像表示エリアSG3に位置付けられているカーソルCSを、図18に示すようにサブ画像表示エリアSG2に位置付けるようにする。
記録再生装置600のCPU40は、リモコン150を通じての使用者からの指示に応じて、図18に示すように、カーソルCSをサブ画像表示エリアSG2に位置付けるとともに、サブ画像表示エリアSG2に表示するようにされている動画像をメイン画像表示エリア201Mにも表示するようにする。
そして、使用者は、目的とするシーンの画像がメイン画像表示エリア201Mに表示されると、記録再生装置600の使用者は、リモコン150に設けられているチャプタマークキー154を押下操作する。
記録再生装置600のCPU40は、リモコン150からのチャプタマークキー154が押下操作されたことを示す信号を受信すると、その時点において、メイン画像表示エリア201Mに表示されているフレーム画像を特定することが可能なタイムコードあるいはフレーム番号を取得し、これを例えばタイトル識別情報とともに編集候補点を示す情報として、記録媒体18に記録する。
同時に、CPU40は、チャプタマークキーが押下操作された時点のフレーム画像の当該タイトル中における位置を示す編集候補点マークCN(2)をタイムライン201T上に表示するようにする。
このようにして、複数の異なる再生点から再生され、異なるサブ画像表示エリアに表示される画像を用いて、使用者は、編集候補点とする目的のシーンの画像を迅速に検出し、編集候補点として記録媒体18に登録することができるようにされる。
そして、登録するようにした編集候補点CN(1)、CN(2)、…の中から、1つの編集候補点を選択すると、図4、図5などを用いて上述した第1の実施の形態の記録再生装置100の場合と同様にして、その編集候補点近傍のフレーム画像(静止画)を表示し、目的とするシーンの最終的な編集点を特定して、これを記録媒体18に記録しておくことができるようにされ、この最終的な編集点を基準点として用いて、種々の編集を行うようにすることができるようにされる。
次に、この第2の実施の形態の第2の例の記録再生装置600の動作について、図19、図20に示すフローチャートを参照しながら説明する。図19に示すように、この第2の実施の形態の記録再生装置600に電源が投入され、記録媒体18に記録されている放送番組などのタイトル一覧を表示するようにする指示が入力されると、CPU40は、バッファ制御回路17を通じて記録媒体18の例えばディレクトリを参照し、記録媒体18に記録されているタイトルの一覧表を表示するための画像信号を形成し、これを多重/分離回路16を通じて合成回路26に供給し、モニタ受像機200の表示画像201Gにタイトルの一覧表を合成して表示するようにする(ステップS201)。
そして、記録再生装置600のCPU40は、リモコン150や記録再生装置600のフロントパネル面に設けられた操作パネルを通じての使用者からのタイトルの選択入力を受け付け(ステップS202)、図14に示したように、メイン画像表示エリア201Mを形成するようにするとともに、タイムライン201Tを形成して、これらを表示するようにする(ステップS203)。
次に、記録再生装置600のCPU40は、リモコン150などを通じての使用者からの再生点選択入力や動作指示入力を受け付ける(ステップS204)。そして、CPU40は、使用者からの入力が、再生の終了を指示するものか否かを判断する(ステップS205)。
ステップS205の判断処理において、ステップS204において受け付けた使用者からの入力が、再生の終了指示であると判断した場合には、この図19に示す処理を終了し、例えば、使用者からの入力待ち状態となる。ステップS205の判断処理において、ステップS204において受け付けた使用者からの入力が、再生の終了指示ではないと判断した場合には、CPU40は、使用者からの入力は、再生開始入力か否かを判断する(ステップS206)。
ステップS206判断処理において、使用者からの入力が再生開始入力ではないと判断したときには、この例においてCPU40は、ステップS202からの処理を繰り返すようにし、タイトル選択入力、再生点選択入力や動作指示入力を受け付けるようにする。
ステップS206の判断処理において、ステップS204において受け付けた使用者からの入力は、再生開始を指示するものであると判断したときには、CPU40は、上述もしたように、使用者によって選択入力された再生点の数に応じて、サブ画像表示エリアを設け、当該再生点からの動画の再生を開始する(ステップS207)。
そして、CPU40は、編集候補点の設定入力や、カーソルの移動指示入力、編集候補点の選択入力などの使用者からの指示入力を受け付け(ステップS208)、受け付けた指示入力は、編集候補点の設定入力か否かを判断する(ステップS209)。
ステップS209の判断処理において、受け付けた使用者からの指示入力は、編集候補点の設定入力であると判断したときには、CPU40は、メイン画像表示エリアに表示されている画像を特定するための情報であるタイムコードあるいはフレーム番号等を取得する(ステップS210)。そして、ステップS210において取得した画像を特定するための情報と当該再生対象のタイトルを特定する情報(タイトル情報)とを対応付けて記録媒体18に記録し(ステップS211)、ステップS208からの処理を繰り返す。
ステップS209の判断処理において、受け付けた使用者からの指示入力は、編集候補点の設定入力ではないと判断したときには、CPU40は、受け付けた使用者からの指示入力は、サブ画像表示エリアに対するカーソルCSの移動指示入力か否かを判断する(ステップS212)。
ステップS212の判断処理において、ステップS208において受け付けた使用者からの入力がサブ画像表示エリアに対するカーソルCSの移動指示入力であると判断したときには、CPU40は、使用者からの指示入力に応じて、サブ画像表示エリアに対するカーソルCSを移動させる(ステップS213)。
そして、CPU40は、メイン画像表示エリア201Mの表示画像をカーソルCSが位置付けられたサブ画像表示エリアと同じ画像となるように変更し(ステップS214)、この後、ステップS208からの処理を繰り返すようにする。
ステップS212の判断処理において、ステップS208において受け付けた使用者からの入力がサブ画像表示エリアに対するカーソルCSの移動指示入力ではないと判断したときには、図20に示す処理に進み、CPU40は、ステップS208において受け付けた使用者からの入力が、使用者からの指示に応じて登録するようにした編集候補点の選択入力か否かを判断する(ステップS215)。
ステップS215の判断処理において、ステップS208において受け付けた使用者からの入力が、編集候補点の選択入力であると判断したときには、CPU40は、動画の再生を中止するとともに、記録媒体18に保持している選択された編集候補点のフレーム画像を特定する情報を読み出し、当該編集候補点のフレーム画像を形成する画像データと、その近隣の複数のフレーム画像の画像データとを記録媒体18から読み出し、これを静止画像として表示するようにする(ステップS216)。
このステップS216の処理は、多重/分離回路16、MPEGビデオデコーダ23、表示画像形成回路50、合成回路26、NTSCエンコーダ27の各部を通じて行われる。そして、表示画像形成回路50は、複数のサブ画像表示エリアに動画像を表示するための画像データを形成するようにすることができるとともに、第1の実施の形態の図4、図5に示したような静止画像(サムネイル)を表示するための画像データをも形成することができるものである。
そして、この第2の実施の形態の記録再生装置600もまた、第1の実施の形態の記録再生装置100の場合と同様に、例えば、図4に示したように表示させる静止画像をスクロール可能に表示させることができるようにしている。そして、CPU40は、選択された編集候補点を基準として表示するようにされる複数の静止画像の中から、最終的に編集点として用いるようにするフレーム画像の選択入力を受け付ける(ステップS217)。
ステップS217の選択入力は、第1の実施の形態の記録再生装置の場合と同様に、選択された編集候補点を基準として表示するようにされる複数の静止画像のうちの1つに位置付けられるようにされる静止画選択用カーソルを使用者からの指示に応じて移動させるようにすることによって、最終的な編集点の画像を選択することができるようにしている。
CPU40は、ステップS217において受け付けた入力キーの判別を行う(ステップS218)。ステップS218の判断処理において、受け付けた入力キーは下キー(下矢印キー)であると判断したときには、編集点の選択を行わないものと判断し、ステップS216において停止させるようにしたメイン画像表示エリアおよびサブ画像表示エリアへの動画像の表示を再開させ(ステップS221)、図19に示したステップS208からの処理を繰り返すようにする。
また、ステップS218の判断処理において、ステップS217において受け付けた入力キーは決定キーであると判断したときには、ステップS207において選択した編集候補点に変えて、今回選択したフレーム画像を編集点とし、そのフレーム画像を特定する情報を取得する(ステップS219)。
この後、タイトル情報とステップS219において取得したフレーム画像を特定する情報とを編集点情報として記録媒体18に記録する(ステップS220)。そして、ステップS216において停止させるようにしたメイン画像表示エリアおよびサブ画像表示エリアへの動画像の表示を再開させ(ステップS221)、図19に示したステップS208からの処理を繰り返すようにする。
また、ステップS218の判断処理において、ステップS217において受け付けた入力キーは左右キー(左矢印キーあるいは右矢印キー)であると判断したときには、静止画像の選択の変更、つまり、静止画像に位置付けられているカーソルを移動させる指示であると判断し、カーソルを移動させることによって、表示されている静止画像(サムネイル)の選択を行うようにする(ステップS222)。この後、ステップS217を繰り返すようにする。
また、ステップS215の判断処理において、ステップS208において受け付けた使用者からの入力が、編集候補点の選択入力であると判断したときには、CPU40は、使用者から受け付けた指示入力に応じた処理を実行する(ステップS223)。このステップS223においては、一時停止、早送り、早戻し、再生停止等の種々の処理のうち、使用者からの要求に応じた処理が行われることになる。
このように、この第2の実施の形態の第2の例の記録再生装置600においては、1つのタイトルに付き、複数の異なる再生点を指定し、その複数の異なる再生点から同時に動画の再生を開始することによって、目的とするシーンの画像を迅速に見つける(検出する)ことができるようにしたものである。
そして、目的とするシーンの画像を使用者が検出した場合に、その画像を編集候補点の画像として特定し、この編集候補点の画像とその近隣の画像とを静止画像として表示し、正確な編集点を選択することができるようにされる。そして、選択された編集点の画像を特定する情報が取得され、これが編集候補点情報として記録媒体18に記録されることになる。また、選択された編集点を用いて、編集点で挟まれた区間の削除、移動、抽出など、種々の編集を行うようにすることができるようにされる。
[第2の例の変形例1]
ところで、この第2の例の記録再生装置の場合、図15〜図18に示したように、複数の異なる再生点から同時に複数の動画像を再生するようにしている。このため、時間的に先行する位置に設定するようにされた編集候補点に、後続の再生点が追いついてしまう場合があると考えられる。この場合、先行する再生開始点以降の再生は、2回目の再生となる。
この点に着目し、この第2の例の変形例の記録再生装置においては、未再生部分の再生と、後続の再生点が追いついた編集候補点を基準とする編集点の選択とを同時に行うようにしたものである。
図21は、この第2の実施の形態の第2の例の記録再生装置において、先に設定された編集候補点に後続の再生点が追いついた場合の処理を説明するための図である。図17、図18を用いて説明した例の場合と同様に、再生開始点をST1、ST2、ST3とする3つの再生点MK1、MK2、MK3が指定されて再生が開始されたとする。
そして、サブ画像表示エリアSG3にカーソルCSが位置付けられて、ST3の後に編集候補点CN(1)が設定され、さらに、サブ画像表示エリアSG2にカーソルCSが位置付けられて、ST2の後に編集候補点CN(2)が設定されている。カーソルCSがサブ画像表示エリアSG2に位置付けられた状態で再生処理が続行され、図21に示すように、先に設定された編集候補点CN(1)に再生点MK2が追いついたとする。
このように、先に設定された編集候補点に後続の再生点が追いついたか否かは、記録再生装置600のCPU40が、例えば、編集候補点と再生点のフレーム画像のタイムコードやフレーム番号を監視して、両者のタイムコードやフレーム番号が一致した場合に、編集候補点に後続の再生点が追いついたと判断することができる。
そして、図21に示す例の場合、先に設定された編集候補点CN(1)に後続の再生点MK2が追いついたことを検出すると、CPU40は、サブ画像表示エリアSG2に、編集候補点CN(1)と、その近隣の画像を静止画像として表示する。なお、再生点MK2に対応する画像を表示しているサブ画像表示エリアSG2以外のサブ画像表示エリアSG1、SG3においては動画の再生が続行するようにようにされる。
また、編集候補点に追いついた再生点に対応する動画像を表示しているサブ画像表示エリアにカーソルCSが位置付けられている場合には、そのサブ画像表示エリアに表示されている静止画像をメイン画像表示エリア201Mにも表示する。図21に示した例の場合には、サブ画像表示エリアSG2に表示されている静止画像は、メイン画像表示エリア201Mにも表示される。
この図21に示した例の場合には、編集候補点はCN(1)であり、編集候補点はCN(1)と、その前2フレーム分と、後の2フレーム分の4フレーム画像を形成する画像データが読み出され、図21のメイン画像表示エリア201Mに示したように、編集候補点の画像CN(1)と、これに隣接する画像CN(1)−2、CN(2)−1、CN(1)+1、CN(1)+2がサムネイルとして表示される。
そして、図21に示すように、最初の段階では、メイン画像表示エリア201Mに表示される編集候補点の画像CN(1)の表示エリアには、カーソルMCSが位置付けられ、このカーソルMCSが位置付けられた画像が、メイン画像表示エリア201Mの全面にも大きく表示される。
このカーソルMCSは、前述した第1の実施の形態の場合と同様に、例えば、リモコン150の左矢印キー、右矢印キーを操作することにより移動させることができ、このカーソルMCSが位置付けられたフレーム画像を編集点として選択して登録することができるようにされる。
したがって、図21に示したように、静止画を表示しても編集点を選択する操作である決定キー、左矢印キー、右矢印キーが押下操作されることなく、下矢印キーが押下操作されたり、所定時間以上何の操作もされなかったりした場合などにおいては、静止画を表示したサブ画面表示エリアSG2、メイン画面表示エリア201Mにおいても、動画の再生が再開するようにされる。
図22は、編集候補点CN(1)に追いついた再生点MK2に対応する動画像を表示しているサブ画像表示エリアSG2にカーソルCSが位置付けられていない場合を説明するための図である。この場合には、サブ画像表示領域SG2のみに編集候補点CN(1)に対応する位置の画像、および、編集候補点CN(1)の画像、および、その近隣の画像をサムネイルとして表示するようにする。
ただし、上述したように、静止画を選択して編集点を決定できるのはメイン画像表示エリア201Mを通じてのみであるので、カーソルCSをサブ画像表示エリアSG2に位置付けようにしない限り、編集点の選択はできず、例えば、所定時間経過後にサブ画像表示エリアSG2においても動画の再生が再開するようにされる。
なお、この例においては、編集点の選択および登録は、メイン画像表示エリア201Mを通じてのみ行うことができるようにしたので、図22の表示例のように、サブ画像表示エリアに編集候補点、および、その近隣の画像をいわゆるサムネイルとして表示する必要はない。
図23は、編集候補点に追いついた再生点を基準にして、編集点を登録した後の記録再生装置の動作を説明するための図である。図21に示した状態にあるときに、サムネイルとしてメイン画像表示エリア201Mにサムネイルとして表示されている5枚の静止画像の中の目的とする静止画像に、リモコン150の左矢印キー、右矢印キーを操作してカーソルMCSを位置付け、決定キーを押下操作することにより、編集点を選択して登録する。
この場合、直近の編集候補点CN(1)に変えて、編集点DC(1)が記録媒体18に設定される。そして、図23に示すように、タイムライン201T上に確定された編集点DC(1)が示され、この後、再生点MK2からの動画の再生が再開される。
また、ここでは、編集候補点に変えて編集点を登録するようにしたが、編集候補点CN(1)と、編集点DC(1)とを示すマークの色を変えて表示するなど、編集候補点と編集点との両方を区別可能なようにして表示することも可能である。
また、再生点が編集候補点に追いつく前に、CPU40が、再生点と編集候補点との時間間隔を管理するようにし、例えば、「あと○○秒で編集候補点です。」等のメッセージを表示するようにする。このようにすることにより、使用者は、前もって該当するサブ画像表示エリアにカーソルCSを合わせるようにすることができる。
なお、タイムライン201T上に表示するようにする再生点、編集候補点、編集点の位置を示すマークは、例えば、再生点を示すマークは緑色、編集候補点を示すマークは青色、編集点は赤色などのように、色を変えたり、あるいは、再生点を示すマークは三角印、編集候補点を示すマークは四角印、編集点は丸印などのように、その形を変えたり、また、各マークの表示位置をずらしたりすることにより、各マークの位置を明確に使用者に通知することができる。
[第2の例の変形例2]
上述した第2の例の記録再生装置600において、複数の再生点が指定された場合、各再生点からの動画の再生速度は、全て等速となるようにした。しかし、再生点毎に再生速度を変えるようにしてもよい。
図24〜図26は、複数の再生点を設定し、その複数の再生点のそれぞれから同時に再生を行う場合に、再生点の位置に応じて再生速度を異ならせるようにした場合の例を説明するための図である。
図24に示すように、3つの再生点MK1、MK2、MK3が選択され、これら3つの再生点から同時に動画像を再生する場合において、再生点MK1についての動画の再生は2倍速(図においては「×2」と記載。)で、再生点MK2、MK3についての動画の再生は等倍速(図においては「×1」と記載。)で行う場合を示している。
この図24の例の場合には、タイトルの中段部分、後段部分については等倍速再生されるが、前段は2倍速再生されるので、タイトルの中段部分、後段部分については、通常の再生速度で目的とするシーンの画像を見つけ出すようにすることができるのに対して、タイトルの前段部分については、2倍速で再生されるので、より迅速に目的とするシーンの画像の検出を行うようにすることができる。
なお、このように選択した複数の再生点に応じて再生速度を変えるようにする場合、例えば、目的とするシーンが存在する可能性の低い部分では高速再生し、目的とするシーンが存在する可能性が高い部分では等速、あるいは、低速再生するようにするなど、使用者の目的に応じて、選択するようにした再生点毎に再生速度を設定することができるようにされる。
また、再生点毎の再生速度の設定は、リモコン150を通じて行うことができ、CPU40は、選択された再生点毎に、記録媒体18からのデータの読み出す速度を変えたり、あるいは、MPEGビデオデコーダ23や表示画像形成回路50における処理速度を調整したりすることにより、再生点毎の動画の再生速度を変えることができるようにされる。
そして、この変形例2の場合にも、第2の実施の形態の第2の例の場合と同様に、編集候補点を複数設定した場合に、その複数の編集候補点の中から1の編集候補点を選択し、その編集候補点に対応する位置の画像(静止画像)と、その編集候補点に対応する位置の近隣の画像(静止画像)とをスクロール可能な態様で表示し、最終的に編集時において用いるようにする編集点を設定することができるようにされる。
この場合、再生速度の異なる区間の編集候補点については、表示するようにする静止画像の数を異ならせるようにする。図25、図26は、再生速度の異なる区間の編集候補点を基準に編集点の選択を受け付けるようにする場合の処理を説明するための図である。
複数の編集候補点から1つの編集候補点を選択する場合には、例えば、図25に示すように、タイムライン201T上の編集候補点単位に移動が可能とされたカーソルCSTを、リモコン150の左矢印キー、右矢印キーを操作することにより移動させ、決定キー154を押下することにより行うことができるようにされる。
そして、選択された編集候補点が等倍速再生された区間にある場合には、図25に示すように、選択された編集候補点(図25の場合には、編集候補点CN(1))の画像と、その前後の1フレームの画像とをメイン画像表示エリア201Tにサムネイル表示し、編集点の選択を行うようにする。
同様にして、選択された編集候補点が2倍速再生された区間にある場合には、図26に示すように、選択された編集候補点(図26の場合には、編集候補点CN(2))の画像と、その前2フレーム分と後2フレーム分の画像とをメイン画像表示エリア201Tにサムネイル表示し、編集点の選択を行うようにする。このように、再生速度が速い区間については、再生速度が遅い区間よりも多くの編集点選択のためのサムネイルを表示するようにする。
このように、再生速度に応じて、編集点を選択するためのいわゆるサムネイル画像の数を変えるのは、使用者が再生速度の速い画面で編集候補点をマークした際、編集候補点が所望の編集点から離れている可能性が高いからである。つまり、再生速度が速いほど、実際にマークした編集候補点と目的とする編集点との間隔が離れる可能性が高くなるので、再生速度に比例して編集候補点に隣接する静止画の表示枚数を多くする。これによって、より迅速に編集点の選択を行うようにすることができる。
そして、使用者からの指示に応じて編集候補点の画像を特定する情報を記録媒体18に記録する際に、その編集候補点が属する区間の再生速度を示す情報をも記録するようにしておけば、この情報を利用し、CPU40の制御によって、編集点を選択するための静止画像の数を再生速度に応じたものとすることができる。
なお、図25、図26において、CN(n)+1は、編集候補点CN(n)の1フレーム先の画像を、CN(n)−1は、編集候補点CN(n)の1フレーム前の画像を意味し、同様に、図26において、CN(n)+2は、編集候補点CN(n)の2フレーム先の画像を、CN(n)−2は、編集候補点CN(n)の2フレーム前の画像を意味するものである。
[第2の例の変形例3]
ところで、上述したように、再生点毎に再生速度を設定可能とすることにより、先行する再生点を後続の再生点が追い越す場合が生じる。この場合に、再生点とサブ画像表示エリアとの画面上での対応関係がずれ、画面に表示される情報が観づらくなってしまう場合がある。
図27〜図29は、先行する再生点を後続の再生点が追い越す場合等について説明するための図である。図27Aに示すように、再生点MK1、MK2、MK3の3つの再生点が選択され、再生点MK1については2倍速再生、再生点MK2、MK3については等倍速再生を行うようにしたとする。
図27Aに示した状態から再生が開始され、ある程度の時間が経過すると、図27Bに示すように、再生点MK1が再生点MK2を追い越す状態になる。この場合、記録再生装置600のCPU40は、再生点MK1、MK2、MK3のタイトル上の位置に応じて、サブ画像表示エリアSG1、SG2、SG3に表示する動画像を変える。
図27に示した例の場合には、図27Bのように、再生点MK1が再生点MK2を追い越した時点で、CPU40は、再生点MK2の画像をサブ画像表示エリアSG1に表示し、再生点MK1の画像をサブ画像表示エリアSG2に表示するように表示エリアを切り換える(スイッチする)ようにする。
これにより、タイムライン201T上を移動する再生点MK1、MK2、MK3の並び順と、サブ画像表示エリアSG1、SG2、SG3の並び順とが一致し、再生点とサブ画像表示エリアとの関係が混乱することなく、表示情報が見づらくなったり、処理を間違えてしまったりするなどの不都合を防止することができる。
なお、先行する再生点を後続の再生点が追い越す場合は、再生速度が異なる場合に限るものではない。例えば、図28Aに示すように、選択された再生点MK1、MK2、MK3のそれぞれが等倍速(図においては「×1」と記載。)で再生するものである場合、例えば、再生点MK3の再生時に登録するようにした編集候補点に再生点MK2が追いつき前述もしたように、編集点を確定するために再生点MK2が停止したとする。
このような状態にあるときに、再生点MK1、MK3は停止しないので、再生点MK2の停止中に再生点MK1が再生点MK2を追い越すということが発生する。このような場合にも、図28Aに示すように、再生点MK1が再生点MK2を追い越した時点で、CPU40は、再生点MK2の画像をサブ画像表示エリアSG1に表示し、再生点MK1の画像をサブ画像表示エリアSG2に表示するように表示エリアを切り換えるようにする。
これにより、タイムライン201T上を移動する再生点MK1、MK2、MK3の並び順と、サブ画像表示エリアSG1、SG2、SG3の並び順とが一致し、再生点とサブ画像表示エリアとの関係が混乱することなく、表示情報が見づらくなったり、処理を間違えてしまったりするなどの不都合を防止することができる。
また、図28Bに示すように、再生点MK2に再生点MK1が追いついてしまった場合、これ以降は、再生点MK1、MK2とも同じ動画像を再生することになるので、再生点MK1、MK2を融合させるとともに、サブ画像表示エリアについてもサブ画像表示エリアSGFとサブ画像表示エリアSGEとの2つにまとめる。
そして、サブ画像表示エリアSGFには、再生点MK1、MK2が融合した再生点の画像を表示するようにし、サブ画像表示エリアSGEには、再生点MK3の画像を表示するようにする。これにより、同じ動画像が複数のサブ画像表示エリアに表示されることを防止し、目的とするシーンの画像の検出がしにくくなるなどの不都合を防止することができる。
[第2の例の変形例4]
また、上述した第2の例の変形例3において説明した先行の再生点が後続の再生点に追い越された場合の処理と同様に、先行の再生点が、当該タイトルの最後まで再生し終えた場合の処理についても問題になる。この場合には、3つの方策が考えられる。
図29は、先行の再生点がタイトルの最後まで再生し終えた場合の処理を説明するための図である。まず図29Aは、タイトルの後段部分から再生する再生点MK3が当該タイトルの最後まで再生し終えた場合に、再生点MK3が当該タイトルの先頭からの再生点となって、再生を継続するようにし、サブ画像表示エリアSG1、SG2、SG3に表示する画像もこれに従って入れ換えるようにする場合を示している。
また、図29Bは、タイトルの後段部分から再生する再生点MK3が当該タイトルの最後まで再生し終えた場合に、再生点MK3の移動を当該タイトルの最後で停止させ、その状態を維持するようにしている場合を示している。したがって、この図29Bの場合には、再生点MK1、MK2のいずれもが、当該タイトルの最後まで再生し終えた状態になった時には、サブ画像表示エリアSG1、SG2、SG3には同じ画像が表示されることになる。
また、図29Cは、タイトルの後段部分から再生する再生点MK3が当該タイトルの最後まで再生し終えた場合に、再生点MK3、および、再生点MK3に対応する位置の再生画像が表示するようにされていたサブ画像表示エリアSG3を消去し、まだ最後まで再生が終了していない再生点MK1、MK2と、それに対応する画像を表示するサブ画像表示エリアSG1、SG2のみを残すようにする。
この図29A、B、Cのいずれかの方策を用いることによって、画面に表示される情報が見づらくなったり、分かり難くなったりするなどの不都合を防止し、目的とするシーンの画像を比較的容易に見つけ出すことができるようにされる。
[第3の例]
この第3の例の記録再生装置においては、上述した第2の例のように、使用者自身が、再生点の位置や数を設定するのではなく、画像の再生速度によって、再生点の数やその位置を変えるように記録再生装置が自動的に制御することによって、一連のタイトル中から目的とするシーンの目的とする画像を迅速かつ正確に検出できるようにしている。なお、この第3の例の記録再生装置もまた、図13に示した記録再生装置600と同じものである。
この第3の例の記録再生装置600の場合、タイトルの再生時において、タイトルの再生速度を自由に設定することができるようにされている。この再生速度の設定は、リモコン150を通じて行うことができるようにされている。そして、再生時においては、図30に示すように、表示画面201の全面に再生画像が表示される。同時に、表示画面201の下側部分にサブ画像表示エリアSG1が設けられ、ここに、先読み画像を表示するようにしている。
ここで、表示画面201の全面に表示される画像の当該タイトルにおける再生点は、タイムライン201上において、現在再生位置マークNLにより示され、また、サブ画像表示エリアSG1に表示される画像の当該タイトルにおける再生点は、タイムライン201上において、先読みポイントPT1により示される。
この図30の例の場合には、再生速度201Cが示すように、2倍速(図30においては、「×2」と記載。)で再生するようにされたものである。この図30に示す状態は、図31Aに示す状態と同じである。再生速度が例えば2倍速程度であれば、再生速度が速すぎて、目的とするシーンの画像を見逃してしまうなどの不都合も少ない。
しかし、再生速度が例えば5倍速などのように、比較的に高速になってくると、目的とするシーンの画像を見逃す可能性が高くなってくる。そこで、図31Bに示すように、再生速度が例えば5倍速の場合には、2つのサブ画像表示エリアSG1、SG2を設け、これらに対して、予め決められた間隔分離れた先読みポイントPT1、PT2に対応する位置からの再生画像を表示する。
また、図31Cに示すように、再生速度が例えば10倍速の場合には、3つのサブ画像表示エリアSG1、SG2を設け、これらに対して、予め決められた間隔分離れた先読みポイントPT1、PT2、PT3に対応する位置からの再生画像を表示する。
このように、再生速度が速くなるにしたがって、先読み画像を表示するサブ画像表示エリアの数を増やすことにより、再生速度が速い場合には、複数のサブ画像表示エリアを通じて、異なる複数の再生点からの先読み画像を確認し、目的とするシーンの目的とする画像を見落とすことなく検出することができるようにすることができる。
なお、この第3の例において、表示画面201の全面に表示される画像は、多重/分離回路16、MPEGビデオデコーダ23、ポスト映像信号処理回路24により形成され、また、各サブ画像表示エリアSG1、SG2、SG3、…に表示される画像は、多重/分離回路16、MPEGビデオデコーダ23、表示画像形成回路50によって形成されるものである。
そして、ポスト映像信号処理回路24からの画像と、表示画像形成回路50からの1つ以上のサブ画像表示エリアに表示するようにされる画像とが合成回路26において合成され、NTSCエンコーダ27を通じて出力するようにされる。
また、上述したように、現在再生位置を含め、複数の再生点からの画像データによる画像を同時に再生するようにすることになるが、CPU40の制御に制御されるバッファ制御回路17により順次に記録媒体18の異なる再生点から読み出される画像データが、それぞれの再生点からの連続する画像データとしてまとめられ処理することができるようにされる。
そして、サブ画像表示エリアに目的とするシーンの画像が表示された場合には、図32に示すように、タイムライン201T上の各再生点PT1、PT2、PT3、…に対応して移動可能なカーソルCSTを目的とする再生点に位置付ける。これにより、カーソルCSTが位置付けられた再生点の画像(図32の例の場合には、再生点PT2の画像)を基準として、編集点を設定するためのフレーム画像を表示画面に表示する。
図32の例の場合、カーソルCSTが位置付けられた再生点PT2の画像を基準とし、その前後2フレームずつ、計5枚のフレーム画像、すなわち、画像PT2−2、PT2−1、PT2、PT2+1、PT2+2の5枚のフレーム画像がスクロール可能な態様で表示するようにされる。そして、表示される5枚のフレーム画像上を移動可能なカーソルCSを移動させることにより、最終的な編集点を選択し、記録媒体18に登録することができるようにされる。
なお、図31を用いて説明したように、再生速度が2倍速の場合には、1つのサブ画像表示エリアを用い、再生速度が5倍速の場合には、2つのサブ画像表示エリアを用い、再生速度が10倍速の場合には、3つのサブ画像表示エリアを用いるものとして説明したが、これに限るものではない。
例えば、再生速度に応じて用いるサブ画像表示エリアの数も任意に設定するようにしてもよいし、また、各再生点間の間隔も任意に設定するようにしてもよい。また、2つ以上のサブ画像表示エリアを用いる場合には、現在再生位置と最初の再生点との間の間隔と、最初の再生点と2番面の再生点との間隔とを異ならせるというように、現在再生位置を含む各再生点間の間隔を異ならせるようにしてもよい。もちろん、現在再生位置を含む各再生点間の間隔を全て等しくなるようにすることもできる。
[第4の例]
この第4の例の場合には、過去に登録された編集点を再利用することにより、今回編集しようとしているタイトルの編集点を迅速に検出し登録できるようにしようとするものである。
例えば、連続もののドラマのテレビ放送番組などの場合、放送される都度、番組内容は変わるものの、ほぼ同じ時間にコマーシャルが挿入される場合が多い。また、毎週放送される番組において、決まった時間に放送するようにされるコーナーが不用であるなどの場合がある。
このように、目的とする番組において、移動や削除などの編集対象となるシーンがほぼ決まった時間に放送するようにされているなどの場合、その番組をこの第2の実施の形態の記録再生装置により記録媒体18に記録し、編集点を登録して編集を行うようにすると、編集点を示す情報は記録媒体18に登録されているので、これを再利用することが可能である。
つまり、記録媒体18に記録される編集点情報には、タイトルと1つ以上の編集点が対応付けられて記憶されている。そして、記録媒体18に記録される放送番組などのタイトルと呼ぶ主情報信号にもタイトル識別情報が付加されている。
そこで、記録媒体に記録したタイトルを再生する場合に、CPU40は、同じタイトル識別情報を有する編集点情報があるか否かを確認し、ある場合には、その編集点情報を用いて、編集候補点を示す情報を形成し、これを再生画像に合成して表示する。
図33、図34は、この第4の例において、過去の編集点情報を用いて編集候補点情報を表示するようにした画像を説明するための図である。図33に示すように、再生するようにされたタイトルの再生画像が、表示画面201の全面に表示される。
この場合に再生されたタイトルと同じタイトル識別情報を有する編集点情報が記録媒体18に既に存在している場合、その編集点情報に基づいて、タイムライン201T上に編集候補点PP1、PP2、PP3を表示するとともに、各編集候補点が示す位置に対応するタイトルの画像をサブ画像表示領域SG1、SG2、SG3に表示する。
ただ、例えば、毎週決まった時間に放送される連続番組であるといっても、前回放送分の番組に対する編集点と、今回放送分の番組に対する編集点とが全く同じであるということは考え難く、同じ番組といえども数秒の誤差が生じる可能性がある。
そこで、上述した第1〜第3の例の場合と同様に、編集候補点に隣接するフレーム画像をスクロール可能な態様で表示し、この表示されるフレーム画像の中から編集点を決定する。図34は、この編集候補点に隣接するフレーム画像が表示された状態を示している。
すなわち、図34においては、表示された3つの編集候補点PP1、PP2、PP3のうち、最初の編集候補点PP1にカーソルCSTが位置図けられている。そして、この編集候補点PP1の画像を基準として、前後2フレーム分ずつのフレーム画像が編集点を選択するための画像として、スクロール可能な態様で表示されている。
この状態にあるときに、カーソルCSを目的とするフレーム画像に位置付けて、決定キーを押下操作するなどの決定操作を行うことにより、編集点を決定し、その決定した画像位置を編集点として記録媒体の編集点情報に登録することができるようにされる。
なお、リモコン150の左矢印キーを押下操作し、フレーム画像の表示エリア201Sに表示された5枚のフレーム画像の内の左端のフレーム画像にカーソルCSが位置付けられた後、さらに左矢印キーが押下操作された場合には、1フレーム単位に右方向にフレーム画像がスクロールされる。
また、リモコン150の右矢印キーを押下操作し、フレーム画像の表示エリア201Sに表示された5枚のフレーム画像の内の右端のフレーム画像にカーソルCSが位置付けられた後、さらに右矢印キーが押下操作された場合には、1フレーム単位に左方向にフレーム画像がスクロールされる。
なお、この第4の例の場合においても、表示画面201の全面に表示される画像は、多多重/分離回路16、MPEGビデオデコーダ23、ポスト映像信号処理回路24により形成され、また、各サブ画像表示エリアSG1、SG2、SG3、…に表示される画像、フレーム画像の表示エリア201Sに表示されるフレーム画像は、多重/分離回路16、MPEGビデオデコーダ23、表示画像形成回路50によって形成されるものである。
そして、ポスト映像信号処理回路24からの画像と、表示画像形成回路50からの画像とが合成回路26において合成され、NTSCエンコーダ27を通じて出力するようにされる。
また、上述したように、複数の再生点からの画像データによる画像を同時に再生することになるが、CPU40の制御に制御されるバッファ制御回路17により順次に記録媒体18の異なる再生点から読み出される画像データが、それぞれの再生点からの連続する画像データとしてまとめられ処理することができるようにされる。
このように、過去に登録された編集点情報の利用を可能にすることにより、決まって録画するようにする連続ドラマなどの放送番組などについては、編集点を迅速かつ正確に定め、これを登録することができる。
なお、この第4の実施の形態においては、既に登録されている編集点情報と、新たに記録するようにされたタイトルの対応付けは、各タイトルを識別するためのタイトル識別情報を用いるものとして説明した。この場合のタイトル識別情報は、例えば使用者等によって入力されるタイトル名やタイトル番号などのほか、録画日時、曜日、放送チャンネルなどからなる情報を用いるようにするなどのことができる。
また、全体を通じて、編集候補点および編集点の管理は、前述したタイムコード(タイムスタンプ)やフレーム番号等、動画像全体に対する位置情報、時間情報でもよいし、録画した時刻情報、記録媒体全体に対する位置情報でもよい。
なお、上述の実施の形態において、チャプタマークに関する情報、編集候補点に関する情報、および、編集点に関する情報は、記録媒体18に別ファイルを設けて記録するものとして説明したが、これに限るものではない。チャプタマークに関する情報、編集候補点に関する情報、編集点に関する情報は、記録再生装置100のメモリに記録するようにしてもよい。
この場合、記録媒体18が着脱可能なものである場合には、記録媒体を特定する情報と、タイトルを特定する情報と、チャプタマークに関する情報、編集候補点に観する情報あるいは、編集点に関する情報とを対応付けて記録しておくことにより、記録媒体18を取り外して、他の記録媒体に変えても不正合を生じさせることがないようにすることができる。
また、記録再生装置100の記録媒体18は、ハードディスクに限るものではなく、光ディスク、光磁気ディスク、半導体メモリ等の種々の記録媒体を用いるようにすることも可能である。また、記録媒体18は、記録再生装置100の内部に設けられるものに限るものではなく、外部接続されるハードディスク装置等に記録されている画像情報などを再生用の情報として用いることが可能である。
また、上述の実施の形態においては、この発明を記録媒体としてハードディスクを用いる記録再生装置に適用した場合を例にして説明したが、これに限るものではない。ビデオカメラ装置にこの発明を適用することもできる。つまり、画像情報を取り込んでこれを記録媒体に記録することができるとともに、その記録した画像情報の再生機能を有する各種の記録再生装置にこの発明を適用することができる。
また、記録媒体に記録された画像情報を再生する機能を備えた再生装置にこの発明を適用することも可能である。この場合には、チャプタマークに関する情報、編集点情報を記録媒体に書き込めなくても、チャプタマークに関する情報、編集点情報を自機のメモリに書き込むことができるとともに、必要に応じて読み出すことができるようになっていればよい。
また、サブ画像表示エリアの数や編集点を選択するために表示する静止画像(サムネイル)の数を上述した実施の形態の例に限るものではなく、表示画面の多くさなどに応じて、多くしたり、少なくしたりすることが可能である。
100…記録再生装置、1…デジタル入力端子、2…デジタル入出力端子、3…デジタルI/F、4…音声入力端子、5…A/D変換器、6…プリ音声処理回路、7…MPEGオーディオエンコーダ、8…画像入力端子、9…YC分離回路、10…画像入力端子、11…セレクタ、12…NTSCデコーダ、13…プリ映像信号処理回路、14…MPEGビデオエンコーダ、15…同期制御回路、16…多重/分離回路、17…バッファ制御回路、18…記録媒体、19…MPEGオーディオデコーダ、20…ポスト音声信号処理回路、21…D/A変換器、22…音声出力端子、23…MPEGビデオデコーダ、24…ポスト映像処理回路、25…静止画像生成回路、26…合成回路、27…NTSCエンコーダ、28…画像出力端子、29…画像出力端子、40…CPU、41…ROM、42…RAM、43…EEPROM、44…リモコン信号受光部、50…表示画像形成回路、150…リモコン、600…記録再生装置