JP4288514B2

JP4288514B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP4288514B2
Application number: JP2005364361A
Authority: JP
Inventors: 類山上; 修伊達; 葉子高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-06-11
Filing date: 2005-12-19
Publication date: 2009-07-01
Anticipated expiration: 2022-07-12
Also published as: JP2006129523A

Description

この発明は、例えば、デジタル録画機などに搭載され記録媒体に記録された画像情報から目的とする画像を検出するようにする装置、この装置に適用される方法およびプログラムに関する。

既存の家庭用デジタル録画機の中には編集機能が搭載されているものもある。編集機能が搭載された家庭用デジタル録画機において、録画した例えばテレビ番組から不必要なシーンを削除したり、必要なシーンだけを抽出したりするような編集操作を行う場合、当該家庭用デジタル録画機を編集モードに遷移させて行う。

具体的には、家庭用デジタル録画機の使用者（ユーザ）は、まず、家庭用デジタル録画機を編集モードに遷移させた後、編集の対象となる録画したテレビ番組を再生するようにし、その再生画像を確認しながら、当該家庭用デジタル録画機のリモコン（遠隔操作装置）に設けられている「再生キー」、「早送りキー」、「早戻しキー」、「停止キー」、「一時停止キー」などを操作することにより、目的とするシーンの編集点を検索する。

そして、同じくリモコンに設けられている「チャプター分割キー」、「開始点指定キー」、「終了点指定キー」、「削除キー」、「抽出キー」といった編集用操作キーを操作することによって、目的とする編集操作を行う。なお、編集点をできるだけ正確に指定しようとする場合には、「スロー再生キー」や「コマ送りキー」を駆使し、編集点として最も適切と思われるフレームの画像を検索するようにしている。

なお、編集モードに遷移させた後に、「チャプター分割キー」、「開始点指定キー」、「終了点指定キー」、「削除キー」、「抽出キー」といった編集時にのみ使用される編集用操作キーに対する操作を有効とすることによって、編集時にのみ使用される編集用操作キーの誤操作を防止することができるようにされている。

また、画像データの編集に関する技術としては、後に記す特許文献１、特許文献２に記載の技術などがある。
特開平０６−１１０９４３号公報特開平０５−０３０４６５号公報

ところで、上述したように編集機能が搭載された従来の家庭用デジタル録画機において上述したような録画データの編集を行う場合、使用者からの指示入力を受け付けるリモコンには数多くの操作キーが設けられているために、手元のリモコンの操作キーの位置をたびたび確認しなければならない場合がある。

このため、手元のリモコンの操作キーの位置を確認している間に、目的とする編集点が存在するシーンを見逃してしまったり、再生画像を確認している間に、手元のリモコンの操作を間違えたりしてしまうということが生じる場合がある。

また、編集点を検索する場合において、指示可能な単位、例えばフレーム単位に画像を明示することができないために、正確、かつ、簡単に目的とする編集点を指定することができず、目的とする編集点を指定するまでに、手間や時間がかかる場合がある。

また、録画データに対する編集作業は、上述したように、編集モードに切り換えた後に可能となるが、使用者によっては、編集モードへの切り換え自体が分からずに、録画データの編集を行うまでに手間取る場合もあると考えられる。

また、記録媒体の大容量化に伴い、記録媒体に記録できる動画像の記録時間も増加する。例えば、長時間録画された番組から編集点を決定する際、初めから番組を再生して編集点を探し出すようにしたのでは莫大な時間を要する。また、途中から番組を再生した場合でもスキップ部分に所望の編集点が存在することがあり適切な編集点を検出することができない場合がある。このため、再生時間が数時間におよぶような長時間分の画像情報の中から目的とするシーンを迅速かつ正確に検出できるようにするための手立てを講じることが望まれている。

以上のことにかんがみ、この発明は、上記問題点を一掃し、記録された画像情報から目的とする画像情報を迅速かつ正確に検出することができ、操作性、親和性のよい装置を実現するとともに、当該装置で用いられる方法、プログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
複数のフレーム画像からなる動画像に対して、複数の画像位置を再生開始位置として選択する選択手段と、
選択された複数の前記再生開始位置のそれぞれからの前記動画像を、サブ動画像として表示画面の異なる表示エリアに同時再生する手段であって、編集候補点が設定されている場合であって、当該編集候補点に前記サブ動画像として表示されている動画像の再生位置が到達した場合には、当該サブ動画像が表示されていた表示エリアに、到達した当該編集候補点とその近隣の静止画像を表示するようにする再生手段と、
前記動画像の総画像データ量に対応するタイムラインを前記表示画面に表示するとともに、前記再生手段により再生されている複数の前記サブ動画像のそれぞれの再生位置を示すマークを前記タイムラインに表示するように制御する表示制御手段と、
前記再生手段により前記表示画面の異なる前記表示エリアに表示されている前記サブ動画像を選択するサブ動画像選択手段と、
ユーザからの編集候補点の設定指示を受け付ける設定指示受付手段と、
前記設定指示受付手段を通じて前記設定指示を受け付けたとき、前記サブ動画像選択手段を通じて選択されたサブ動画像の再生位置を編集候補点として設定し、設定された編集候補点を示すマークを前記タイムラインに対して表示する候補点マーク表示手段と
を備える。

早送り、早戻し、コマ送りなどの従来の機能を多用することもなく、チャプタマークを付けるようにした画像を基準として、目的とするシーンの画像を正確に指定して、編集を行うようにすることができる。

また、長時間録画された画像情報の中から、目的とするシーンの画像を迅速かつ正確に見つけ出すようにすることができる。

以下、この発明による装置、方法、および、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、ハードディスクを記録媒体として用いる記録再生装置に、この発明を適用した場合を例にして説明する。

［第１の実施の形態（チャプタマークを付けこれを基準とする場合）］
［記録再生装置の利用態様の一例］
図１は、この発明による装置、方法、プログラムが適用された記録再生装置１００を説明するための図である。記録再生装置１００には、記録再生装置１００において形成するようにされる再生画像信号の供給先であるモニタ受像機の他、画像情報を含む情報の供給装置として、種々のデジタル機器、アナログ機器を接続して画像処理システムを構成することができるようにされている。

図１は、この実施の形態の記録再生装置１００を用いて構成するようにした画像処理システムを説明するための図である。図１に示すように、記録再生装置１００には、デジタル機器としてのＢＳ／ＣＳチューナー３００と、アナログ機器としての地上波テレビチューナー４００と、デジタル機器としてのビデオカメラ５００とが接続するようにされている。

なお、記録再生装置１００に接続可能な機器は、図１に示したものに限るものではない。例えば、ＤＶＤ（Digital Versatile Disk）プレーヤ、ＶＴＲ（Video Tape Recorder）、ハードディスクを記録媒体として用いる記録再生装置などの各種の再生装置、記録再生装置等を接続することができる。

そして、この実施の形態において、記録再生装置１００は、ＢＳ／ＣＳチューナー３００、地上波テレビチューナー４００からの放送信号、ビデオカメラ５００からの収録情報など、画像情報を含むデジタル信号、あるいは、アナログ信号の供給を受けて、これをデジタル信号として自機に内蔵されている記録媒体（ハードディスク）に記録することができるものである。

また、記録再生装置１００は、自機の記録媒体に記録されている画像情報を読み出して、表示素子としてのモニタ受像機２００の表示画面に画像を表示するための画像信号を再生し、これをモニタ受像機２００に供給することができるものである。これにより、記録再生装置１００のハードディスクに記録された画像情報に応じた画像をモニタ受像機２００の表示画面に表示して使用者が見ることができるようにされる。

なお、ここでは、主に画像情報を記録し、再生する場合を説明した。しかし、テレビ放送番組を提供する放送信号やビデオカメラ５００からの収録情報には、画像情報の他、音声情報も含んでおり、記録再生装置１００は、画像情報のほか、画像情報とともに供給される音声情報についても記録媒体に記録し、また、記録したものを再生することができるものである。なお、再生される音声情報については、図示しないが、例えば、モニタ受像機に設けられたスピーカなどに供給されることになる。

また、記録再生装置１００に対しては、記録再生装置１００本体のフロントパネル面に設けられた操作パネル４５の操作キー群を操作することにより、また、記録再生装置１００用のリモコンコマンダ１５０の操作キー群を操作することにより、各種の指示を与えることができるようにされている。

なお、リモコン１５０の操作キー群の操作に応じた赤外線のリモコン信号は、リモコン１５０のリモコン信号出力部１５１から出力され、これが記録再生装置１００本体のフロントパネル面側に設けられているリモコン信号受光部４４で受光されることにより、リモコン１５０の操作キー群の操作に応じた情報が、記録再生装置１００に通知するようにされる。

そして、具体的には、本体のフロントパネル面に設けられた操作パネル４５の操作キー群、あるいは、リモコン１５０を通じて、記録開始と停止、再生開始と停止、早送り開始と停止、早戻し開始と停止、一時停止と一時停止解除などの一般的な動作指示の他、詳しくは後述もするように、再生されている画像情報の目的とするシーン付近にチャプタマークと呼ばれる目印マークを付けるようにしたり、チャプタマークが付けられるようにされた画像区間を削除したり、移動したりするなどの編集指示などを記録再生装置１００に対して入力することができるようにしている。

［記録再生装置の構成］
図２は、この実施の形態の記録再生装置１００の構成を説明するためのブロック図である。図２において、ＣＰＵ（Central Processing Unit）４０は、後述する全ての回路ブロックの制御を司っている。ＣＰＵ４０は、ホストバスを介し、ＲＯＭ（Read Only Memory）４１、ＲＡＭ（Random Access Memory）４２、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）４３を必要に応じアクセスし、この記録再生装置（画像検出装置）１００の全体の制御を行う。

また、図２に示すように、ホストバスには、赤外線のリモコン信号の受光部４４が接続されている。受光部４４は、リモコン１５０からの赤外線のリモコン信号を受光し、これを電気信号に変換して、ＣＰＵ４０に供給することができるようにされている。

これにより、ＣＰＵ４０は、リモコン１５０を通じて供給されるユーザからの指示に応じた処理を行うように各部を制御したり、種々の設定を例えばＥＥＰＲＯＭ４３に対して行ったりすることができるようにされている。

なお、ＲＯＭ４１は、この実施の形態の記録再生装置１００において実行する各種のプログラムや処理に必要となる各種のデータが記録されたものであり、ＲＡＭ４２は、処理の途中結果を一時記録するなど、主に作業領域として用いられるものである。また、ＥＥＰＲＯＭ４３は、いわゆる不揮発性メモリであり、電源が落とされても保持しておく必要のあるデータ、例えば、各種の設定データなどを記憶保持しておくためのものである。

そして、図２に示すこの実施の形態の記録再生装置１００は、入力端部として、デジタル入力端子１、デジタル入力／出力端子２、アナログ音声入力端子４、アナログ画像入力端子８、１０を備えている。なお、アナログ画像入力端子８は、コンポジット画像信号（Ｃｐｓ）用のものであり、アナログ画像入力端子１０は、セパレート画像信号（Ｓ）用のものである。

また、記録再生装置１００は、出力端部として、デジタル入出力端子２、アナログ音声出力端子２２、アナログ画像出力端子２８、２９を備えている。なお、アナログ画像出力端子２８は、コンポジット画像信号（Ｃｐｓ）用のものであり、アナログ画像出力端子２９は、セパレート画像信号（Ｓ）用のものである。

さらに、この実施の形態の記録再生装置１００は、通信用接続端子３１を備え、通信インターフェース（以下、通信Ｉ／Ｆと略称する。）３０を介して、例えば、インターネットなどの通信ネットワークを通じて各種のデータの送受を行うことができるようにしている。

そして、この記録再生装置１００は、上述した入力端子や入出力端子を通じて受け付けた画像信号や音声信号を、ハードディスクである記録媒体１８に記録したり、上述した出力端子や入出力端子を通じて出力したり、また、記録媒体１８に記録されている画像信号や音声信号を読み出して再生し、これを各出力端子を通じて出力することができるものである。

また、上述した通信接続端子３１を通じて受け付けたデータを記録媒体１８に記録したり、デジタル出力したり、また、受け付けたデータが、画像データや音声データである場合には、これらをアナログ信号に変換して、アナログ出力端子を通じて出力することもできるようにされている。

図１にも示したように、この実施の形態において、記録再生装置１００には、ＢＳ／ＣＳチューナー３００、地上波テレビチューナー４００、ビデオカメラ５００が接続するようにされている。この場合、ＢＳ／ＣＳチューナー３００は、デジタル入力端子１を通じて接続され、地上波テレビチューナー４００は、アナログ音声入力端子４およびアナログ画像入力端子８またはアナログ画像入力端子１０を通じて接続され、また、ビデオカメラ５００は、デジタル入出力端子２を通じて接続されているものとして以下の説明を進める。

［デジタル入力の利用について］
上述した各入力端子を通じて情報の供給を受ける場合のこの実施の形態の記録再生装置１００の動作について説明する。まず、デジタル入力端子１を通じて接続されたＢＳ／ＣＳチューナー３００からのＢＳデジタル放送信号あるいはＣＳデジタル放送信号の供給を受け、これを記録媒体１８に記録したり、アナログ出力したりする場合の動作について説明する。

デジタルＢＳ／ＣＳチューナー３００には、衛星からのデジタル放送信号を受信するためのパラボナアンテナが接続されている。そして、デジタルＢＳ／ＣＳチューナー３００は、ユーザからの選局指示に応じた選局制御信号に基づいて、目的とするデジタル放送信号を受信、選局し、この受信、選局したデジタル放送信号をデジタル入力端子１を通じてこの記録再生装置１００に供給する。デジタル入力端子１を通じて供給されたデジタル放送信号は、多重／分離回路１６に供給する。

デジタル放送信号は、番組伝送路としてのチャンネル毎に、ＰＳＩ（Program Specific Information）と呼ばれる選局情報や電子番組案内表を形成するためのＥＰＧ（Electronic Program Guide）データなどの種々の制御データと共に、放送番組を構成する画像データ（ビデオデータ）や音声データ（オーディオデータ）、その他の種々のデータがパケット化され、多重化されて送信されるものであり、いわゆるＴＳ（Transport Stream）信号の形式とされたものである。

各パケットのそれぞれには、識別子（ＩＤ）が付加されており、この識別子によって、ＰＳＩデータやＥＰＧデータを抽出したり、同じ番組を構成する画像パケットや音声パケットを抽出したりすることができるようにされている。

多重／分離回路１６は、デジタルＢＳ／ＣＳチューナー３００からのＴＳ信号からＰＳＩやＥＰＧデータを抽出し、これをＣＰＵ４０に供給して、番組の選択を可能にすると共に、電子番組案内表を形成して、これをユーザからの指示に応じて表示するように出力し、電子番組案内表を通じての番組選択や録画予約などを可能にする。

また、多重／分離回路１６は、選択された番組の記録が指示されている場合には、デジタルＢＳ／ＣＳチューナー３００からのＴＳ信号からユーザにより選択された目的とする番組の画パケットと音声パケットとを抽出して、これらと必要な制御データとからなる新たなＴＳ信号を形成し、これをバッファ制御回路１７を通じて記録媒体１８に記録する。

同時に、多重／分離回路部１６は、デジタルＢＳ／ＣＳチューナー３００からのＴＳ信号から抽出された目的とする番組の画像パケットから画像ＥＳ（Elementary Stream）を形成し、これをＭＰＥＧ（Moving Picture Experts Group）ビデオデコーダ２３に供給し、また、音声パケットから音声ＥＳ（Elementary Stream）を形成して、これをＭＰＥＧオーディオデコーダ１９に供給する。

ＭＰＥＧオーディオデコーダ１９は、これに供給された音声ＥＳを復号化処理し、ベースバンドの音声データを得て、これをポスト音声信号処理回路２０に供給する。ＭＰＥＧデコーダ２３は、これに供給された画像ＥＳを復号化処理して、ベースバンドの画像データを得て、これをポスト映像信号処理回路２４に供給する。

ポスト映像信号処理回路２４は、ＭＰＥＧビデオデコーダ２３からの画像データと、後述するプリ映像信号処理回路１３からの画像データとの切り換えや、画面合成やフィルタ処理などを行い、処理後の画像データを合成回路２６に供給する。

合成回路２６は、後述もするが、ポスト映像信号処理回路２４からの画像データや、静止画像生成回路２５からのサムネイルなどと呼ばれる縮小静止画像の画像データや、ＣＰＵ４０により形成するようにされた画面表示用のグラフィックッスや文字データなどの供給を受け、これらを合成したり、部分的に表示を重ねたりするなどの処理を施し、処理後の画像データをＮＴＳＣエンコーダ２７に供給する。

ＮＴＳＣエンコーダ２７は、これに入力された画像データ（コンポーネントデジタル信号）をＹＣ信号に変換した後、Ｄ／Ａ変換を行い、アナログのコンポジット画像信号（Ｃｐｓ）とセパレート画像信号（Ｓ）を生成して、それらをアナログ画像出力端子２８、２９を通じて出力する。

一方、ポスト音声信号処理回路２０では、ＭＰＥＧオーディオデコーダ１９からの音声データと、プリ音声信号処理回路６からの音声データとの切り換えや、フィルタ処理、フェード処理、話速変換処理等を行い、処理後の音声データを音声Ｄ／Ａ変換器２１に供給する。音声Ｄ／Ａ変換器２１は、これに供給された音声データをアナログ音声信号に変換し、これをアナログ音声出力端子２２を通じて出力する。

なお、アナログ音声出力端子２２、アナログ画像出力端子２８、２９の後段に、モニタ受像機２００が接続され、アナログ音声出力端子２２を通じて出力されたアナログ音声信号に応じた音声がモニタ受像機２００に設けられたスピーカから放音するようにされ、アナログ画像出力端子２８、２９を通じて出力されたアナログ画像信号に応じた画像がモニタ受像機の表示画面に表示するようにされる。

このように、この実施の形態の記録再生装置１００は、ＢＳ／ＣＳチューナー３００から供給されるデジタル放送信号から目的とする番組の画像データと音声データとを抽出し、これを記録媒体１８に記録すると共に、同時にアナログ画像信号とアナログ音声信号とを形成して、これを出力することができるようにしている。つまり、デジタル放送信号として提供される目的とする番組を記録媒体１８に記録しながら、その番組を視聴することができるようにしている。

［デジタル入出力の利用について］
また、上述したように、多重／分離回路１６において新たに形成したＴＳ信号をデジタルインターフェイス回路（以下、デジタルＩ／Ｆ回路と略称する。）３、デジタル入出力端子２を通じて、例えば、他の記録装置やパーソナルコンピュータなどの外部機器に出力することも可能である。この場合、デジタルＩ／Ｆ回路３においては、これに供給されたデジタル信号を外部の機器に適合する形式のデジタル信号に変換し、これを出力する。

また、この逆に、例えば、デジタルビデオカメラ５００などからＩＥＥＥ１３９４のようなデジタルインターフェイスを介して供給されるデジタル信号をデジタル入出力端子２を通じて受け付け、これを記録媒体１８に記録したり、アナログ画像信号、アナログ音声信号を形成して、これを出力したりすることもできるようにされている。

すなわち、デジタル入出力端子２を通じて供給を受けたデジタル信号は、デジタルＩ／Ｆ回路３に供給される。デジタルＩ／Ｆ回路３は、これに供給されたデジタル信号について、この実施の形態の記録再生装置１００が用いている方式に適合するようにフォーマット変換等の処理を施し、ＴＳ信号を生成して、これを多重／分離回路１６に供給する。

多重／分離回路１６では、更に制御信号等の解析や生成を行い、記録媒体１８に記録する形式のＴＳ信号を形成し、これを前述もしたように、バッファ制御回路１７を通じて記録媒体１８に記録することができるようにしている。

また、多重／分離回路１６は、デジタルＩ／Ｆ回路３から供給されたＴＳ信号から画像ＥＳ、音声ＥＳを形成し、ＭＰＥＧビデオデコーダ２３、ＭＰＥＧオーディオデコーダ１９に供給することにより、上述もしたようにアナログ画像信号、アナログ音声信号を形成し、これらを出力することもできるようにしている。

［アナログ入力の利用について］
次に、アナログ音声入力端子４と、例えばアナログ画像入力端子８とを通じて接続された地上波テレビチューナー４００からのテレビ放送信号の供給を受け、これを記録媒体１８に記録したり、アナログ出力したりする場合の動作について説明する。

地上波テレビチューナー４００は、地上波のアナログ放送信号を受信、選局して復調し、アナログコンポジット画像信号（Ｃｐｓ）とアナログ音声信号とを得て、記録再生装置１００に供給する。地上波テレビチューナー４００からのアナログ音声信号は、アナログ音声入力端子４を通じてＡ／Ｄ変換器５に供給され、地上波テレビチューナー４００からのアナログコンポジット画像信号（Ｃｐｓ）は、アナログ画像入力端子８を通じてＹＣ分離回路９に供給される。なお、アナログセパレート画像信号（Ｓ）の場合には、アナログ画像入力端子１０を通じてセレクタ１１に供給されることになる。

ＹＣ分離回路９は、これに供給されるアナログコンポジット画像信号（Ｃｐｓ）を輝度信号Ｙと色差信号Ｃとに分離し（いわゆるＹＣ分離し）、これらをセレクタ１１に供給する。このセレクタ１１には、アナログ画像入力端子１０を通じて供給されるアナログセパレート画像信号（Ｓ）も供給される。

セレクタ１１は、ＣＰＵ４０からの指示に従い、ＹＣ分離回路９からの画像信号と、アナログ画像入力端子１０を通じてセパレート画像信号として供給を受けた画像信号とのいずれをＮＴＳＣ（National Television System Committee）デコーダ１２に供給するかを切り換える。

ＮＴＳＣデコーダ１２は、これに入力されたアナログ画像信号に対して、Ａ／Ｄ変換、クロマデコード等の処理を施し、デジタルコンポーネントビデオデータ（ビデオデータ）に変換し、これをプリ映像信号処理回路１３に供給する。また、ＮＴＳＣデコーダ１２は、入力された画像信号の水平同期信号を基準に生成したクロックと、同期分離して得た水平同期信号、垂直同期信号、フィールド判別信号を同期制御回路１５に供給する。

同期制御回路１５は、これに供給された各信号を基準とし、各回路ブロックにおいて必要なタイミングを提供するクロック信号、同期信号を生成し、これを各回路ブロックに供給する。

また、プリ映像信号処理回路１３は、入力された画像データにプリフィルタ等の各種映像信号処理を施し、これをＭＰＥＧビデオエンコーダ１４とポスト映像信号処理回路２４に供給する。

ＭＰＥＧビデオエンコーダ１４は、プリ映像信号処理回路１３からの画像データにブロックＤＣＴ（Discrete Cosine Transform：離散コサイン変換）等の符号化処理を施し、画像ＥＳを生成し、多重／分離回路１６に供給する。

一方、音声入力端子４を通じてＡ／Ｄ変換器５に供給された音声信号は、Ａ／Ｄ変換器５において、デジタル音声データに変換された後、プリ音声信号処理回路６に供給される。プリ音声信号処理回路６は、これに供給された音声データに対してフィルタ処理を施し、これをＭＰＥＧオーディオエンコーダ７に供給する。

ＭＰＥＧオーディオエンコーダ７は、これに供給された音声データをＭＰＥＧフォーマットに従い圧縮した後、音声ＥＳを生成し、画像データの場合と同様に、多重／分離回路１６に供給する。

多重／分離回路１６は、記録時においては、ＭＰＥＧビデオエンコーダ１４からの画像ＥＳとＭＰＥＧオーディオエンコーダ７からの音声ＥＳと各種制御信号との多重化処理を行う。つまり、記録時における多重／分離回路１６は、これに入力されたＭＰＥＧ画像ＥＳと、ＭＰＥＧ音声ＥＳとを、各種制御信号と合わせ、多重化処理を施し、例えばＭＰＥＧシステムのＴＳ信号を生成する。ここで生成されたＴＳ信号が、バッファ制御回路１７を通じて記録媒体１８に記録される。

また、図２に示すように、プリ音声信号処理回路６からの音声データは、ＭＰＥＧオーディオエンコーダ７に供給されると共に、ポスト音声信号処理回路２０にも供給され、また、プリ映像信号処理回路１３からの画像データは、ＭＰＥＧビデオエンコーダ１４に供給されると共に、ポスト映像信号処理回路２４にも供給するようにされている。

そして、ポスト音声信号処理回路２０、Ｄ／Ａ変換器２１の機能により、アナログ音声信号を形成し、これを音声出力端子２２を通じて出力すると共に、ポスト映像信号処理回路２４、合成回路２６、ＮＴＳＣエンコーダ２７の機能により、アナログ画像信号を形成し、これをアナログ画像出力端子２８、２９を通じて出力することができるようにしている。

すなわち、アナログ音声入力端子４、アナログ画像入力端子８、１０を通じて供給されたアナログ信号をデジタル信号に変換してこれを記録媒体１８に記録する処理と並行して、この記録対象の画像データと音声データとを再生して出力することができるようにしている。

また、アナログ入力された画像信号と音声信号とを画像データ音声データとして多重化し、デジタルＩ／Ｆ回路３、デジタル入出力端子２を通じて、外部のデジタル機器に出力することも可能である。

［記録媒体からの再生について］
次に、上述のようにして記録媒体１８に記録された画像データと音声データとを再生する場合のこの実施の形態の記録再生装置１００の動作について説明する。ＣＰＵ４０の制御により、記録媒体１８から再生しようとする目的とするＴＳ信号が読み出され、これがバッファ制御回路１７を通じて多重／分離回路１６に供給される。

再生時において、多重／分離回路１６は、記録媒体１８から読み出されたＴＳ信号から、画像ＥＳ、音声ＥＳの分離処理を行い、分離した音声ＥＳをＭＰＥＧオーディオデコーダ１９に供給し、画像ＥＳをＭＰＥＧビデオデコーダ２３に供給する。

ＭＰＥＧオーディオデコーダ１９以降の各回路部の処理、および、ＭＰＥＧビデオデコーダ２３以降の各回路部の処理は、前述したデジタル入力の利用についての説明で説明した通りである。すなわち、ＭＰＥＧオーディオデコーダ１９に供給された音声ＥＳからアナログ音声信号が形成されて出力され、ＭＰＥＧビデオデコーダ２３に供給された画像ＥＳからアナログ画像信号が形成されて出力される。

これにより、アナログ音声出力端子２２、アナログ画像出力端子２８、２９の後段に接続されるモニタ受像機２００を通じて、記録媒体１８から読み出された画像データ、音声データに応じた画像、音声を出力し、これを視聴することができるようにされる。

［通信接続端子、通信インターフェースの利用について］
また、上述もしたように、この実施の形態の記録再生装置１００には、通信Ｉ／Ｆ３０、通信接続端子３１を備え、例えば、電話回線などを経由してインターネットなどのネットワークに接続し、そのネットワークを通じて、各種のデータを取得したり、また、各種のデータをネットワークに送出したりすることができるようにされている。

ここで、送受可能な各種のデータとしては、画像データや音声データの他、各種のプログラムやテキストデータなどの送受も可能である。画像データや音声データの場合には、多重／分離回路１６を通じて、記録媒体１８に記録することができる。

また、多重／分離回路１６と、ＭＰＥＧオーディオデコーダ１９、ポスト音声信号処理回路２０、Ｄ／Ａ変換器２１、オーディオ出力端子２２からなるオーディオ信号の再生系と、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４、静止画像生成回路２５、合成回路２６、ＮＴＳＣエンコーダ２７、画像出力端子２８、２９からなる画像信号の再生系を用いることによって、通信ネットワークを通じて取得した画像データや音声データを再生し、これらを利用することもできるようにされる。

さらに、この実施の形態の記録再生装置１００において用いられるプログラムや制御データなどの提供をネットワークを通じて受けて、これをＥＥＰＲＯＭ４３などに記録保持し、必要に応じてこれを利用するようにするなどのこともできる。例えば、通信ネットワークを通じて、この実施の形態の記録再生装置の機能をアップさせるようにしたり、ＢＳデジタル放送やＣＳデジタル放送用のＥＰＧデータなどを事前に得て、予め電子番組案内表を作成したりしておくなどのこができるようにされる。

なお、この実施の形態においては、画像データと音声データとについては、ＭＰＥＧ方式の圧縮を行うようにしているが、他の圧縮方式を用いることも可能であるし、また、データ圧縮することなく、非圧縮のまま処理することも可能である。

［編集機能について］
そして、この実施の形態の記録再生装置１００は、編集機能を備え、記録媒体１８に記録されている放送番組などを再生し、その再生画像を確認しながら、目的とするシーンを構成する画像付近に、簡単な操作で目印としてのチャプタマークを付けることができるようにしている。

そして、チャプタマークが付けるようにされた画像を基準として縮小静止画像をスクロール可能な態様で表示し、目的とするシーンの始めと終わりとをフレーム単位に、すなわち、画像単位で正確に特定し、編集対象の信号区間の最初と最後を厳密に指定して、その指定した画像区間について、目的とする編集を行うことができるようにしている。

この場合、縮小静止画像を表示するための画像信号を形成する部分が、図２に示した静止画像生成回路２５である。静止画像生成回路２５は、例えば、４Ｍｂｙｔｅ程度のバッファメモリを備え、ＣＰＵ４０の制御により、ＭＰＥＧビデオデコーダ２３を介して、記録媒体１８に記録されている画像データから目的とする画像データを得て、その縮小画像を表示するための画像信号を形成するようにしている。

そして、この実施の形態の記録再生装置１００において、編集機能は、従来の記録再生装置の編集機能のように、記録再生装置を編集モードに一々切り換えなければ動作しないというものではない。この実施の形態の記録再生装置１００は、以下にも詳しく説明するように、再生モード時において、種々の編集機能を用いることができるようにし、再生動作から編集動作への移行を動作の途切れなく、いわゆるシームレスに行うことができるようにしている。

以下、この実施の形態の記録再生装置１００の編集機能について説明する。記録再生装置１００の記録媒体１８は、上述もしたようにハードディスクであり、大量のデータの記録が可能なものである。例えば、１つのテレビ放送番組などの１まとまりとなる情報をタイトルと呼ぶことにすると、記録媒体１８には、複数のタイトル分の画像情報を含む情報のまとまりを記憶保持することができるようにしている。

つまり、この明細書において、タイトルは、１つの放送番組、１つの映画など、一連の１まとまり（１つの）情報として扱うこととなる画像情報や音声情報などのまとまりであり、記録媒体１８には、上述もしたように、複数タイトル分の情報の記録が可能である。

そして、記録媒体１８に記録保持されているタイトルのうち、再生するタイトルを選択して、その再生を指示すると、そのタイトルの画像情報を含む情報のまとまり（ＴＳ信号）が、記録媒体１８から読み出されて、上述もしたように、多重／分離回路１６の機能、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４、合成回路２６、ＮＴＳＣエンコーダ２７の機能により再生される。ここで再生するようにされる画像情報は、モニタ装置２００に供給され、その再生画像が、モニタ装置２００の表示画面２０１に表示するようにされる。

そして、目的とするシーンの画像が表示画面２０１に表示され、使用者がこれを確認すると、手元のリモコン１５０のチャプタマークキー１５４を押下操作し、目的とするシーンの画像にいわゆるチャプタマークを付けるようにする。図３は、チャプタマークが付けられるように操作された直後の表示画面２０１の表示画像２０１Ｇの一例について説明するための図である。

チャプタマークキー１５４が押下操作されると、記録再生装置１００のＣＰＵ４０は、現在どの画像を再生するようにしているのかを、その画像のタイムコードやフレーム番号により把握しているので、そのチャプタマークキー１５４が押下操作された時点において、モニタ受像機２００の表示画面２０１に表示するようにされている画像を特定するための情報として、タイムコード情報やフレーム番号を取得し、これを例えば再生中のタイトルの識別情報とともにチャプタマーク情報として記録媒体１８に設けられるファイルに記録する。

さらに、ＣＰＵ４０は、チャプタマークキー１５４が押下されたことを検知すると、図３に示すように、そのとき再生されているタイトルの総データ量に対応し、総再生時間を示す表示であるタイムライン２０１Ｔを表示するとともに、当該タイトルの総再生時間において、チャプタマークが付けられた画像の位置を示す三角マークＭ１、Ｍ２、Ｍ３、…を表示する。

つまり、チャプタマークは１フレーム単位の画像データに付けられるようにされるものであり、三角マークが、チャプタマークが付けられるようにされた画像の位置を示すための表示マークである。

これらタイムライン２０１Ｔと、三角マークＭ１、Ｍ２、Ｍ３、…とは、チャプタマークキー１５４を押下操作後において一定時間表示されたのちに消去され、また元の表示画像２０１Ｇのみの表示に戻るようにされる。そして、チャプタマークキー１５４は、図３に示したように、１つのタイトル内において、必要に応じて何度でも押下操作することが可能であり、１つのタイトル内に複数個のチャプタマークをつけるようにすることができる。

このように、目的とするタイトルの再生中において、例えば、１タイトル中に飛び飛びに存在する１つ以上の必要なシーンのみを特定したり、逆に１つ以上の不必要なシーンのみを特定したりすることができるようにされる。

そして、チャプタマークがつけられるようにされた画像を基準画像（編集点）として用いて、チャプタマークが付けられた位置（画像）からの再生、チャプタマークが付けられた画像あるいはチャプタマークで挟まれた区間の画像の削除や移動や抽出、チャプタマークが付けられた位置を基準とする画像情報の分割といった編集を行うことができるようにされる。

しかし、目的とするタイトルの再生中にチャプタマークキー１５４を押下してつけるチャプタマークは、大まかに目的とするシーンの画像に付けるようにしているので、厳密に目的とするシーンの初めの画像や終わりの画像に付けられているとは限らない。

そこで、チャプタマークを１つでも付けるようにした後においては、リモコン１５０の所定の操作キーを操作することにより、あるいは、所定のメニューを表示させ、そのメニューから例えば「マーク編集」などと呼ばれる項目を選択することにより、チャプタマークについての操作を受け付けるモードに記録再生装置１００を遷移させるようにする。この場合、表示画面２０１に表示されている表示画像２０１Ｇは一時停止するようにされる。つまり、静止画像となるようにされる。

この後、記録再生装置１００のＣＰＵ４０は、図３に示したように、タイムライン２０１Ｔとチャプタマークが付けられた画像の位置を示す三角マークとを表示するための画像情報を形成し、これをモニタ受像機２００に表示するようにして、チャプタマークが付けられた画像の選択を受け付けるようにする。

チャプタマークについての操作を受け付けるモードに遷移した直後においては、例えば、直近にチャプタマークを付与した画像、あるいは、最初にチャプタマークを付与した画像など、既にチャプタマークを付与した複数の画像の内の予め決められた画像の位置に対応する三角マークが選択された状態になっている。

そして、リモコン１５０の左矢印キー１５２Ｌ、右矢印キー１５２Ｒを操作することにより、タイムライン２０１Ｔ上の目的とする三角マークを選択することができるようにされる。

リモコン１５０の左矢印キー１５２Ｌ、右矢印キー１５２Ｒを操作し、目的とする三角マークを選択し、リモコン１５０の例えば上矢印キー１５２Ｕを押下するなどの所定の操作を行うと、記録再生装置１００のＣＰＵ４０は、三角マークの位置から、当該三角マークに対応するチャプタマーク情報は何番目に指示されたものかを特定し、記録媒体１８に記録保持しているチャプタマーク情報を参照して、選択された三角マークが示す位置の画像を特定する。

そして、ＣＰＵ４０は、特定した画像（選択された三角マークが示す位置の画像）を形成する画像情報と、その近隣の画像を形成する画像情報とを記録媒体１８から取得し、この取得した画像情報をＭＰＥＧビデオデコーダ２３を介して、静止画像生成回路２５に供給するとともに、静止画像生成回路２５を制御して、サムネイルなどと呼ばれる縮小静止画像Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５を表示するための画像信号を形成する。

静止画像生成回路２５で生成された複数の、この実施の形態においては少なくとも５つの縮小静止画像を表示するための画像信号は、合成部２６に供給され、ここでポスト映像信号処理回路２４からの画像信号と合成され、ＮＴＳＣエンコーダ２７を介して出力され、図１に示したようにモニタ受像機２００に供給され、その表示Ｇ面２０１に画像を表示するようにする。

図４に示した例の場合には、三角マークＭ１が選択された場合であって、三角マークが示す位置の画像を基準（Ｓ３）とし、画像Ｓ３の前２フレーム分の画像（Ｓ１、Ｓ２）と、画像Ｓ３の後２フレーム分の画像（Ｓ４、Ｓ５）との５フレーム分の縮小静止画像が表示するようにされている。

また、図４に示した例の場合には、現時点においてチャプタマークが付けられるようにされている縮小静止画像Ｓ３の外枠が太く示され、いわゆるカーソルが位置付けられるようにされ、縮小静止画像Ｓ３が操作対象の縮小静止画像であることが示される。

そして、縮小静止画像Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５が表示されている状態において、左矢印キー１５２Ｌ、右矢印キー１５２Ｒを操作することにより、カーソルを移動させるようにして、操作対象の縮小静止画像を順次に変更することができるようにしている。

図５は、縮小静止画像Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５が表示された状態にあるときに、操作対象の縮小静止画像を変更する場合の例を説明するための図である。左矢印キー１５２Ｌを押下操作すると、カーソルを順次左側に移動させることができるようにされる。

したがって、縮小静止画像Ｓ３にカーソルが位置付けられた状態にあるときに、左矢印キー１５２Ｌを２回押下操作すると、図５Ａに示すように、表示画面２０１の最左端にある縮小静止画像Ｓ１にカーソルを位置付けることができる。そして、外枠が太く示された縮小静止画像（カーソルが位置付けられた縮小静止画像）を操作対象とすることができる。なお、図５Ａに示す状態にあるときに、チャプタマークが付けられている画像は、図５Ａにおいて矢印が示すように縮小静止画像Ｓ３として表示されている画像である。

さらに、左矢印キー１５２Ｌを押下操作すると、図５Ｂに示すように、縮小静止画像が表示画面２０１の右側方向にスクロールするようにされ、図５Ａの状態にあるときには表示対象となっていなかった画像であって、縮小静止画像Ｓ１の１フレーム前の画像（Ｓ１−１）が縮小静止画像Ｓ１として表示するようにされる。この時点において、チャプタマークが付けられている画像は、図５Ｂにおいて矢印が示すように、縮小静止画像Ｓ４として表示されている画像である。

このように、左矢印キー１５２Ｌを押下操作することにより、過去にさかのぼる方向に、１フレームづつ縮小静止画像をスクロールさせるようにすることができ、目的とする画像を選択することができるようにしている。

同様にして、右矢印１５２Ｒを押下操作することにより、カーソルを表示画面２０１の右側方向に移動させることができ、カーソルを表示画面２０１の最右端にある縮小静止画像Ｓ５にカーソルを移動させた後に、さらに右矢印キーを押下操作することにより、時間を進める方向に、１フレームづつ縮小静止画像をスクロールさせ、目的とする画像を選択することができるようにしている。

そして、リモコン１５０の決定キー１５３を押下操作することにより、図５Ｃに示すように、操作対象とした縮小表示画像に対する操作を選択するメニューＭＮ１を表示する。この場合、縮小静止画像の選択に戻るか、チャプタマークの再設定かを選択することができるようにされる。

なお、チャプタマークの再設定は、選択した縮小静止画像の元の画像に対して、新たにチャプタマークを付け、今回の基準画像とした画像に付けられているチャプタマークを削除する処理である。

したがって、図５Ｂ、Ｃに示した状態にあるときに、チャプタマークの再設定を行うようにすると、図５Ｂ、Ｃにおいて、縮小静止画像Ｓ１の元の画像にチャプタマークが付けられ、縮小静止画像Ｓ４の元の画像に付けられているチャプタマークは削除するようにされる。

具体的には、図５Ｂ、Ｃに示した例の場合、記録媒体１８に記録保持されているチャプタマーク情報のうち、図５Ｂ、Ｃにおいて、縮小静止画像Ｓ４の元の画像を特定する情報が、縮小静止画像Ｓ１の元の画像を特定する情報に変えられることになる。

そして、チャプタマークが削除するようにされた画像の位置を示す三角マークを消去し、新たにチャプタマークが付けられた画像の位置を示す三角マークを新たに表示するようにすることができる。

このようにして、この実施の形態の記録再生装置１００においては、記録媒体１８に記録されたテレビ放送番組などを再生して視聴しながら、例えば、不必要なシーン部分に大まかにチャプタマークを付けるようにし、この大まかに付けたチャプタマークを適宜の時に確認して、目的とする画像に正確にチャプタマークを付け直すことができるようにしている。

そして、目的とするシーンの最初の画像と最終の画像とに正確にチャプタマークを付けるようにした後において、処理を戻すようにする操作をおこなうと、縮小静止画像Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５は表示されないようにされ、図３に示したように、静止画像とされた表示画像２０１Ｇと、タイムライン２０１と、三角マークＭ１、Ｍ２、Ｍ３、…からなる表示に戻され、チャプタマークが付けられた画像を基準として、再生や各種の編集を行うことができるようにされる。

図６は、チャプタマークが付けられた画像を基準として、再生や各種の編集を行う場合について説明するための図である。静止画像とされた表示画像２０１Ｇと、タイムライン２０１Ｔと、三角マークＭ１、Ｍ２、Ｍ３、…からなる表示に戻された後、三角マークを選択し、所定の操作を行うと、その選択した三角マークが付けられた画像を基準として行うことが可能な処理の選択メニューＭＮ２が表示される。

このメニューＭＮ２から目的とする処理を選択することにより、選択した三角マークの削除、選択した三角マークの位置の画像からの再生、２つの三角マークを指定して、その２つの三角マークで挟まれたシーン部分の削除（Ａ−Ｂ削除）、選択した三角マークへの名前付けなどの処理を行うことができるようにされる。

この他、２つの三角マークを指定して、その２つの三角マークで挟まれたシーン部分を移動したり、あるいは、選択された三角マークの画像を基準として、放送番組などの画像情報を分割するようにしたりするなどの各種の編集処理を行うことも可能である。

このように、この実施の形態の記録再生装置１００においては、従来の記録再生装置のように、記録再生装置１００を編集モードに切り換えた後に、編集を行うのではなく、視聴のための再生時においてチャプタマークを設定し、そのチャプタマークを基準として、最終的には編集ができるようにされる。

つまり、再生モードと編集モードとは明確にモードが異なるものではなく、再生モード時に実行可能な機能として各種の編集機能を利用することができるようにしている。したがって、再生して視聴する通常の動作と編集のための動作とはシームレスに実行することができるようにされ、使い勝手のよい記録再生装置を実現している。

次に、この実施の形態の記録再生装置１００の再生時の動作について、図７の表示項目の例を示す図、および、図８〜図１０のフローチャートを参照しながらさらに説明する。この実施の形態の記録再生装置１００の再生時の動作は、この発明による方法が適用されたものであり、例えば、ＣＰＵ４０において実行されるプログラムグラムを実行することにより行なわれるようにされる。

図７は、この実施の形態の記録再生装置１００によりモニタ受像機２００の表示画面２０１に表示するようにされる表示項目の例を説明するための図である。上述もしたように、この実施の形態の記録再生装置１００は、記録媒体１８に記録された画像情報を読み出して再生処理することにより、モニタ受像機２００に供給するアナログ画像信号を形成して出力し、モニタ受像機２００の表示画面２０１に表示画像２０１Ｇを表示することができるものである。

そして、再生時（再生モード時）においては、所定のタイミングで、図７に示すように、状態表示Ｇ１、リモコン操作可能キー表示Ｇ２、タイムライン２０１Ｔ、三角マークＭ１、Ｍ２、Ｍ３、…、始点表示ＳＴ、終点表示ＥＤ、縮小静止画像（サムネイル）Ｓ、メニューＭＮ１、ＭＮ２、ＭＮＳを表示するための画像信号を形成し、これらをモニタ受像機２００の表示画面に表示することができるものである。

ここで、状態表示Ｇ１は、記録モード、再生モードなどの記録再生装置１００の動作状態を通知するためのものであり、リモコン操作可能キー表示Ｇ２は、その時点において、操作可能なリモコンの操作キーを通知するためのものである。

また、上述もしたように、タイムライン２０１Ｔは、現在再生中のタイトルの総再生時間（タイトルの総データ量）を示すものであり、タイムライン２０１Ｔの近傍に表示するようにされる三角マークＭ１、Ｍ２、Ｍ３、…は、チャプタマークが付けられるようにされた画像の位置を示すものである。

さらに、始点ＳＴは、範囲指定された区間の始点を示す、終点ＥＤは、範囲指定された区間の終点を示すものであり、いずれも三角マークに対応して指定されるものであり、始点ＳＴと終点ＥＤとで挟まれた区間を削除や移動などの編集対象とすることができるようにされる。

また、縮小静止画像Ｓは、この実施の形態においては、図３、図４にも示したように縮小静止画像Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の５つの縮小静止画像からなるものであり、チャプタマークが付けられた画像の内、ユーザによって選択された画像とその近隣の画像の縮小静止画像からなるものである。

また、メニューＭＮ１は、選択した縮小静止画像に対する処理を選択するためのものであり、メニューＭＮ２は、チャプタマークに対応して表示するようにされる三角マークに対する処理を選択するためのものである。また、メニューＭＮＳは、再生モード時において、実行可能な処理を選択するためのものである。

そして、この実施の形態の記録再生装置１００は、図８〜図１０を用いて説明する再生時の動作において、図７に示した各表示項目を適宜表示するようにしながら、再生処理、および、再生モード時において実行可能な各種の処理を行うようにしている。

図８に示すように、この実施の形態の記録再生装置１００に電源が投入され、記録媒体１８に記録されている放送番組などのタイトル一覧を表示するようにする指示が入力されると、ＣＰＵ４０は、バッファ制御回路１７を通じて記録媒体１８の例えばディレクトリを参照し、記録媒体１８に記録されているタイトルの一覧表を表示するための画像信号を形成し、これを多重／分離回路１６を通じて合成回路２６に供給し、モニタ受像機２００の表示画像２０１Ｇにタイトルの一覧表を合成して表示するようにする（ステップＳ１０１）。

そして、記録再生装置１００のＣＰＵ４０は、リモコン１５０や記録再生装置１００のフロントパネル面に設けられた操作パネルを通じての使用者からのタイトルの選択入力を受け付けるとともに（ステップＳ１０２）、リモコン１５０や操作パネルを通じての使用者からの動作指示入力を受け付けるようにする（ステップＳ１０３）。

そして、ＣＰＵ４０は、動作指示入力として使用者から終了指示が入力されたか否かを判断する（ステップＳ１０４）。ステップＳ１０４の判断処理において、終了指示が入力されたと判断したときには、ＣＰＵ４０は、この図８〜図１０に示す処理を終了し、記録モードの選択入力あるいはタイトル一覧の表示指示入力などを受け付けるいわゆる初期入力待ちとなる。

ステップＳ１０４の判断処理において、終了指示が入力されていないと判断したときには、目的とするタイトルの選択入力および選択されたタイトルの再生指示入力が入力されたか否かを判断する（ステップＳ１０５）。ステップＳ１０５の判断処理において、タイトルの選択がされていない、あるいは、再生指示が入力されていないと判断したときには、ＣＰＵ４０は、ステップＳ１０２からの処理を繰り返し、タイトルの選択入力および動作指示入力を受け付けるようにする。

ステップＳ１０５の判断処理において、選択されたタイトルの再生指示が入力されたと判断した場合には、ＣＰＵ４０は、バッファ制御回路１７、多重／分離回路１６、ＭＰＥＧオーディオデコーダ１９、ポスト音声信号処理回路２０、Ｄ／Ａ変換器２１、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４、合成回路２６、ＮＴＳＣエンコーダ２７のそれぞれを制御して、ステップＳ１０２において選択されたタイトルの再生を開始する（ステップＳ１０６）。

なお、ステップＳ１０６においては、図７を用いて説明した状態表示Ｇ１、リモコン操作可能キー表示Ｇ２が一定時間、例えば数秒程度表示され、再生モードとなったことが通知されるとともに、使用可能なリモコン１５０や操作パネルの操作キーが通知される。

そして、ＣＰＵ４０は、リモコン１５０や操作パネルを通じて、使用者からの指示入力を受け付ける（ステップＳ１０７）。ステップＳ１０７において受付可能な指示入力としては、チャプタマークキー１５４を押下操作して行うチャプタマークを付与する指示入力、サブメニューの表示指示入力、その他、一時停止、早送り、早戻し、再生停止等の指示入力がある。

そして、ステップＳ１０７で受け付けた指示入力は、チャプタマークを付与する指示入力か否かを判断する（ステップＳ１０８）。ステップＳ１０８の判断処理において、チャプタマークを付与する指示入力を受け付けたと判断したときには、ＣＰＵ４０は、当該指示入力を受け付けたときに、モニタ受像機２００の表示画面２０１に表示するようにしていた画像を特定するタイムコードやフレーム番号を取得する（ステップＳ１０９）。

タイムコード等を取得した後、ＣＰＵ４０は、現在再生中のタイトルを示すタイトル情報と、そのタイトルを構成する画像情報であって、チャプタマークが付けられるようにされた画像情報のタイムコード等とを対応付けて、記録媒体１８に記録する（ステップＳ１１０）。そして、ステップＳ１０７からの処理を繰り返し、同一タイトル中の複数の画像（複数の箇所）にチャプタマークを付けることができるようにしている。

ステップＳ１０８の判断処理において、チャプタマークを付与する指示入力ではないと判断したときには、ＣＰＵ４０は、サブメニューＭＮＳの表示を指示するものであるか否かを判断する（ステップＳ１１１）。ステップＳ１１１の判断処理において、サブメニューの表示を指示するものではないと判断したときには、ＣＰＵ４０は、使用者によって指示された他の処理、例えば、一時停止、早送り、早戻し、再生停止など処理を行うようにする（ステップＳ１１２）。

ステップＳ１１１の判断において、サブメニューＭＮＳの表示指示であると判断したときには、図９に示す処理に進み、サブメニューＭＮＳを表示する（ステップＳ１１３）。ここで、サブメニューＭＮＳは、画像に付けるようにしたチャプタマークに対する編集を行うための「マーク編集」や、既に記録されているタイトルを誤って削除することがないようにするための「タイトル保護」や、既に記録されているタイトルを削除するようにする「タイトル削除」等を選択するためのものである。

そして、ＣＰＵ４０は、リモコン１５０あるいは記録再生装置１００のフロントパネルに設けられている操作パネルを通じて、使用者からの選択入力を受け付ける（ステップＳ１１４）。そして、ＣＰＵ４０は、ステップＳ１１４で受け付けた選択入力は、「マーク編集」の実行を指示するものか否かを判断する（ステップＳ１１５）。

ステップＳ１１５の判断処理において、受け付けた選択入力は「マーク編集」ではないと判断したときには、「タイトル保護」、あるいは、「タイトル削除」などの選択された処理を行うようにする（ステップＳ１１６）。

ステップＳ１１５の判断処理において、「マーク編集」が選択されたと判断したときには、ＣＰＵ４０は、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４、合成回路２６、ＮＴＳＣエンコーダ２７を制御して、表示画像２０１Ｇを一時停止させる（ステップＳ１１７）。

次に、ＣＰＵ４０は、タイムライン２０１Ｔと三角マークＭ１、Ｍ２、Ｍ３、Ｍ４、…を表示するための画像信号を形成し、これを多重／分離回路１６、合成回路２６に供給して、タイムライン２０１Ｔと三角マークＭ１、Ｍ２、Ｍ３、…をモニタ受像機２００の表示画面２０１に表示し、直近の三角マークが選択された状態となるようにする（ステップＳ１１８）。

ＣＰＵ４０は、リモコン１５０または操作パネルを通じて、使用者からのキー入力を受け付ける（ステップＳ１１９）。この実施の形態の記録再生装置１００において、ステップＳ１１９において操作可能な入力キーは、上矢印キー１５２Ｕ、決定キー１５３、左右矢印キー１５２Ｌ、１５２Ｒとされている。

そして、ＣＰＵ４０は、ステップＳ１１９において操作された入力キーは何かを判別する（ステップＳ１２０）。ステップＳ１２０において、操作された入力キーは、上矢印キー１５２Ｕであると判断したときには、ＣＰＵ４０は、縮小静止画像表示（サムネイル表示）が指示されたと判断し、現在選択している三角マークに対応する画像を特定する情報としてチャプタマーク情報を抽出し、このチャプタマーク情報に基づいて、その現在選択している三角マークに対応する画像と、その近隣の画像の画像データを記録媒体１８から読み出し、縮小静止画像（サムネイル）Ｓを形成して、これをモニタ受像機に供給してその表示画面に表示するようにする（ステップＳ１２１）。

そして、ＣＰＵ４０は、サムネイルとして表示された縮小静止画像に対するキー入力を受け付けるようにする（ステップＳ１２２）。このステップＳ１２２において、操作可能な入力キーは、下矢印キー１５２Ｄ、決定キー１５３、左右矢印キー１５２Ｌ、１５２Ｒとされている。

ＣＰＵ４０は、ステップＳ１２２において受け付けた入力キーは何かを判断し（ステップＳ１２３）、下矢印キーが操作されたと判断したときには、表示したサムネイルＳを非表示にする指示であると判断し、表示したサムネイルを非表示として（ステップＳ１２４）、ステップＳ１１９からの処理を繰り返すようにする。

ステップＳ１２３の判断処理において、受け付けた入力キーは、決定キーであると判断した場合には、メニューＭＮ１を表示するための画像信号を形成し、これをモニタ受像機に供給して表示するようにする（ステップＳ１２５）。

また、ステップＳ１２３の判断処理において、受け付けた入力キーは、左右キー１５２Ｌ、１５２Ｒであると判断したときには、図４、図５を用いて上述したように、表示された縮小静止画像を選択する処理を行い（ステップＳ１２６）、この後、ステップＳ１２２からの処理を繰り返す。

また、ステップＳ１２０の判断処理において、ステップＳ１１９において受け付けたキー入力は、決定キー１５３であると判断した場合には、ＣＰＵ４０は、メニューＭＮ２を表示するための画像信号を形成し、これをモニタ受像機に供給して表示するようにする（ステップＳ１２７）。ステップＳ１２５の処理の後、および、ステップＳ１２７の処理の後においては、後述する図１０に示す処理に移行することになる。

また、ステップＳ１２０の判断処理において、ステップＳ１１９において受け付けたキー入力は、左右キー１５２Ｌ、１５２Ｒであると判断したときには、ＣＰＵ４０は、既に表示してあるタイムライン２０１Ｔと三角マークＭ１、Ｍ２、Ｍ３、…の表示上において、目的とする位置の画像に対応する三角マークを選択するようにし（ステップＳ１２８）、この後、ステップＳ１１９からの処理を繰り返す。

そして、図９に示し、上述もしたように、ステップＳ１２５、ステップＳ１２７の後においては、ＣＰＵ４０は、図１０に示す処理に進み、図９に示したステップＳ１２５において表示されたメニューＭＮ１または、ステップＳ１２７において表示されたメニューＭＮ２からの機能の選択を受け付ける（ステップＳ１２９）。

ステップＳ１２９においては、表示されたメニューがメニューＭＮ１である場合には、縮小静止画像に対するメニューであるので、図５Ｃに示したように、「戻る」、「マーク再設定」が選択可能とされる。また、表示されたメニューがメニューＭＮ２である場合には、タイムラインおよび三角マークに対するメニューであるので、図６に示したように、「戻る」、「マーク削除」、「Ａ−Ｂ削除」、「ここから再生」が選択可能とされる。

そして、ステップＳ１２９において、「戻る」が選択されたとＣＰＵ４０が判断したときには（ステップＳ１３０）、メニューＭＮ１が表示されている場合には、図９に示したステップＳ１２２からの処理を繰り返して、縮小静止画像に対するキー入力を再度受け付けるようにし、また、メニューＭＮ２が表示されている場合には、図９に示したステップＳ１１９からの処理を繰り返して、チャプタマークに対応する三角マークに対するキー入力を再度受け付けるようにする。

また、ステップＳ１２９において、メニューＭＮ１からマーク再設定が選択されたとＣＰＵ４０が判断した場合、あるいは、メニューＭＮ２からマーク削除が選択されたとＣＰＵ４０が判断した場合には（ステップＳ１３１）、ＣＰＵ４０は、まず、選択されている三角マークに対応する画像に付けられるようにされたチャプタマーク情報を記録媒体１８から削除する（ステップＳ１３２）。

そして、ＣＰＵ４０は、マーク再設定が指示されているか否かを判断し（ステップＳ１３３）、マーク再設定が指示されているときには、図７に示したように、選択されている縮小静止画像に対するメニューＭＮ１に対する指示入力であるので、選択されている縮小静止画像に対応する画像を特定する情報として例えばタイムコードを取得し、これをチャプタマーク情報として新たに記録媒体１８に登録（記録）する（ステップＳ１３４）。

ステップＳ１３４の処理の後、あるいは、ステップＳ１３３においてマークの再設定ではない（三角マークに対するメニューＭＮ２におけるマーク削除である）と判断したときには、ステップＳ１１７において停止させた表示画像２０１Ｇの再生を再開させ（ステップＳ１３５）、図８に示したステップＳ１０７からの処理を繰り返す。

また、ステップＳ１２９において、メニューＭＮ２から「Ａ−Ｂ削除」が選択されたとＣＰＵ４０が判断した場合には（ステップＳ１３６）、ＣＰＵ４０は、図７において、始点ＳＴに示したように、表示されている三角マークを処理単位として開始点の選択入力を受け付け、その位置を表示する（ステップＳ１３７）。同様に、ＣＰＵ４０は、図７において、終点ＥＤに示したように、表示されている三角マークを処理単位として終了点の選択を受け付け、その位置を表示する（ステップＳ１３８）。

そして、ＣＰＵ４０は、ステップＳ１３７で選択された開始点から、ステップＳ１３８で選択された終了点までの画像を削除し（ステップＳ１３９）、この後、ステップＳ１１７において停止させた表示画像２０１Ｇの再生を再開させ（ステップＳ１３５）、図８に示したステップＳ１０７からの処理を繰り返す。

また、ステップＳ１２９において、メニューＭＮ２から「ここから再生」が選択されたとＣＰＵ４０が判断した場合には（ステップＳ１４０）、ＣＰＵ４０は、現在選択されている三角マークに対応する画像から、処理対象のタイトルの再生を再開させ（ステップＳ１３５）、図８に示したステップＳ１０７からの処理を繰り返す。

このように、この実施の形態の記録再生装置１００においては、従来の記録再生装置のように、再生モードと編集モードとの２つのモードを使い分けるなどと言うことなく、基本的に再生モード時において、必要に応じて編集を行うことができるようにされる。したがって、編集モードへの移行操作が分からなかったり、あるいは、編集モードへの移行に手間取ったりするなどの不都合を生じさせることがない。

しかも編集に関する操作は、リモコンなどの操作装置のごく限られた操作キー、例えば、上矢印キー１５２Ｕ、下矢印キー１５２Ｄ、左矢印キー１５２Ｌ、右矢印キー１５２Ｒ、決定キー１５３、チャプタマークキー１５４を用いて行うことができるので、編集を行う場合の操作が極めて簡単である。したがって、誤操作を頻繁に発生させたり、操作に気を取られて目的のシーンを見逃したりするなどの不都合を生じさせることもない。

また、目的とするシーンの画像にチャプタマークを付けるようにし、そのチャプタマークを付けるようにした画像と、その近隣の画像とを縮小画像として同時に確認し、しかもスクロール表示するようにすることができるので、早送り、早戻し、コマ送りなどの従来の機能を多用することもなく、チャプタマークを付けるようにした画像を基準として、目的とするシーンの画像を正確に指定して、編集を行うようにすることができる。

すなわち、この実施の形態の記録再生装置１００においては、編集操作を迅速かつ容易に行うことができるので、リモコン操作に気を取られることなく、画面（再生画像）に集中することができるのである。また、再生モード、編集モードといったモードを一切気にする必要がなく、しかも、フレーム単位での詳細な編集が可能であり、編集点の検索、編集点の変更などもフレーム単位の画像を確認しながら、フレームを最小単位として簡単に行うことができる。

なお、チャプタマークの再設定を行った場合には、新たにチャプタマークが付加するようにされた画像をモニタ受像機２００の表示画面２０１に表示し、その画像から再生を再開するようにすることもできる。また、Ａ−Ｂ削除を行った場合には、削除された画像区間の次の画像から再生を再開させたり、あるいは、次の三角マークの位置の画像から再生を再開させたりすることができるようにされる。

また、マーク再設定の場合に、既にチャプタマークが付けられている画像に重複してチャプタマークを付けるようにした場合には、例えば、「既にチャプタマークが付けられています。」などの警告表示を表示したり、アラーム音を放音したりするなどのことが行われるようにされている。

また、チャプタマークが付けられた画像の全部を一覧表示するようにすることも可能である。この場合には、記録媒体１８に別ファイルとして記録保持されている全てのチャプタマーク情報を読み出し、これに基づいて、チャプタマークが付けられた画像の画像データを記録媒体１８から読み出して、これを再生するようにすることによって実現することができる。

［変形例１］
上述した実施の形態においては、再生時において、モニタ受像機２００の表示画面２０１に表示される再生画像を確認しながら、再生画像を静止させることなく目的とするシーンの画像にチャプタマークを付けることができるようにした。そして、少なくとも１つ以上のチャプタマークを付けるようにした後に、チャプタマークが付けられた画像を基準として、チャプタマークの付け替え（再設定）を含む各種の編集を行えるようにした。しかし、これに限るものではない。

例えば、初めからチャプタマークを正確に目的とする画像に付けるようにしたい場合もある。このような場合には、目的とするタイトルの再生中に、チャプタマークキー１５４が押下された場合には、例えば、図４に示したように、モニタ受像機２００の表示画面に表示される表示画像２０１Ｇをチャプタマークが付けられる画像として静止画像とする。

そして、チャプタマークが付けられるようにされた画像を中心として、その前後２フレームの画像を含む５フレーム分の画像の縮小静止画像を表示し、チャプタマークの再設定等を受け付けるようにするとともに、タイムライン２０１Ｔ、チャプタマークが付けられた画像位置に対応してタイムライン２０１Ｔの近傍に三角マークを表示するようにし、チャプタマークの削除や範囲指定などを受け付けるようにする。

この後、再生キーを押下操作するなどの再生を再開させる所定の操作が行われた場合に、表示画像２０１Ｇの再生を再開するとともに、縮小静止画像Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、タイムライン２０１Ｔ、三角マークＭ１、Ｍ２、Ｍ３、…を消去するようにする。

このように、チャプタマークキー１５４が押下されるごとに縮小静止画像およびタイムライン、三角マークを表示し、チャプタマークの再設定や削除、区間指定を行うことができるようにしておくことにより、目的とするタイトルを再生して視聴しながら、そのタイトルに対して正確な編集処理を施すことができるようにすることができる。

なお、この変形例１においても、チャプタマークの再設定を行った場合には、新たにチャプタマークが付加するようにされた画像をモニタ受像機２００の表示画面２０１に表示し、その画像から再生を再開するようにすることもできる。また、Ａ−Ｂ削除を行った場合には、削除された画像区間の次の画像から再生を再開させたり、あるいは、次の三角マークの位置の画像から再生を再開させたりすることができるようにされる。

また、初めに説明した再生時において、再生画像を静止させることなくチャプタマークを付加するようにするモードと、変形例１として説明したチャプタマークを付加するようにする毎に、再生画像を静止させて、チャプタマークの再設定を行うようにするモードとの両方を搭載するようにし、これを使用者が切り換えて使用するようにすることもできる。

［変形例２］
上述の実施の形態においては、モニタ受像機２００の表示画面２０１において、縮小静止画像は、動画の表示に重ねて表示するようにした。しかし、これに限るものではない。例えば、図１１に示すように、表示画面２０１において、動画表示エリア２０１Ｍと縮小画像表示エリア２０１Ｓとを重複することがないように分けるようにしてもよい。

この場合、動画表示エリア２０１Ｍには、記録媒体１８に記録されたタイトルの再生画像が表示され、静止画像表示エリア２０１Ｓには、サムネイルなどと呼ばれる縮小静止画像が表示されることになる。この用にすることなく、タイトルの再生画像の全部を縮小静止画像などにより隠されることなく観視することができるようにされる。

なお、図１２に示すように、縮小画像表示エリア２０１Ｓを可能な限り広く取り、より多くの縮小静止画像を表示するようにしてもよい。また、動画表示エリアを表示画面２０１の下側に設け、静止画像表示エリアを表示画面２０１の上側に設けるようにしてもよい。

また、動画表示エリアを表示画面２０１の右側に設け、静止画表示エリアを表示画面２０１の左側に設けるようにしてもよいし、また、動画表示エリアを表示画面２０１の左側に設け、静止画表示エリアを表示画面２０１の右側に設けるようにしてもよい。要は、表示画面２０１を、適宜、動画表示エリアと静止画表示エリアとに分離して用いるようにすることができる。

［第２の実施の形態（異なる時点から複数の動画を再生するようにする場合）］
上述した第１の実施の形態の記録再生装置の場合には、記録媒体に記録されたタイトル（放送番組などの１まとまりの情報信号）の画像情報の再生時において、目的とするシーン、あるいはその近傍にチャプタマークを付けていくようにし、付けたチャプタマークを基準にして、編集区間を正確に特定し、目的とする編集を行えるようにした。したがって、再生モードと編集モードとを特に意識することなく、再生時において編集作業をシームレスに開始することが可能なのである。

しかしながら、記録媒体に記録した大量の画像情報の中から目的とするシーンをできるだけ迅速に見つけ出したい場合がある。例えば、記録媒体に記録した映画の放送番組の中から削除したり抽出したり、あるいは、移動したりするなどの編集を行おうとする目的とするシーンを見つけ出したい場合や、長時間に渡ってビデオカメラで撮影し、記録再生装置の記録媒体に記録した画像情報の中から編集を行うとする目的とするシーンを見つけ出したい場合などである。

このような場合に、記録媒体に記録した画像情報の先頭から再生を行い、目的とするシーンがモニタ受像機の表示画面に映出されるまで再生画像を観視するようにしたのでは、目的とするシーンを見つけ出すのに時間がかかってしまう。また、いわゆる早送り再生を行うようにして、目的とするシーンを見つけ出すようにすることも考えられるが、この場合には、目的とするシーンを見逃してしまう可能性が高くなり、確実性に欠ける場合がある。

そこで、この第２の実施の形態の記録再生装置においては、表示画面中に動画像を表示するための複数個の小領域（サブ画像表示エリア（子画面））を設け、記録媒体に記録されているタイトルについて、異なる時点からの複数の動画像再生を同時に行うようにし、目的とするシーンを迅速に見つけ出すことができるようにするものである。

なお、この第２の実施の形態においても、画像処理システムは、図１に示した第１の実施の形態の画像処理システムと同様に構成されるものである。また、この場合における画像処理システムを構成する記録再生装置６００は、図１３に示すように、表示画像形成回路５０を除き、図２に示した第１の実施の形態の記録再生装置１００とほぼ同様に構成されるものである。このため、図１３に示した記録再生装置６００において、図２に示した記録再生装置１００と同様に構成される部分には、同じ参照符号を付し、その詳細な説明については省略することとする。

そして、この第２の実施の形態の記録再生装置６００は、記録媒体１８からの目的とするタイトルの画像データ等を読み出す速度と、ＭＰＥＧビデオデコーダ２３の処理速度が十分に速くされており、また、静止画像のみならず、複数の動画像の同時処理が可能な表示画像形成回路５０を備えることにより、再生するように選択したタイトルについて、異なる複数の時点から同時に再生することができるものである。

［第１の例］
以下、動画像表示を用いて目的とするシーンの画像を迅速に検出できるようにするこの第２の実施の形態の記録再生装置６００の幾つかの具体例について説明する。図１４は、動画像表示を用いて目的とするシーンの迅速な検出をできるようにする記録再生装置６００の第１の例について説明するための図である。

図１４に示すように、この例の記録再生装置６００のＣＰＵ４０は、第１の動画表示エリア２０１Ｍ１と、第２の動画表示エリア２０１Ｍ２と、第３の動画表示エリア２０１Ｍ３とを設けることができるものである。そして、ＣＰＵ４０は、バッファ制御回路１７を制御して、目的とするタイトル（放送番組などの１まとまりの情報信号）の先頭時点と、その先頭時点から再生時間にして１０秒先の時点と、先頭時点から再生時間にして２０秒先の時点との３つの時点から画像データの読み出しを開始し、読み出した画像データのそれぞれを多重／分離回路１６を通じてＭＰＥＧビデオデコーダ２３に供給する。

ＭＰＥＧビデオデコーダ２３は、多重／分離回路１６を通じて供給される３つの時点を開始時点として読み出される画像データのそれぞれについてデコード処理を行い、デコード処理後のそれぞれの画像データを順次に表示画像形成回路５０に供給する。

表示画像形成回路５０は、これに供給された読み出し開始時点が異なる３つの画像データから、そのそれぞれの画像データに基づいて動画像を表示するための画像データを形成し、これを合成回路２６に供給する。

合成回路２６は、図１４に示したように、目的とするタイトルの先頭時点からの画像データに応じた再生動画像を第１の動画表示エリア２０１Ｍ１に表示するようにし、目的とするタイトルの先頭時点から再生時間にして１０秒後の時点からの画像データに応じた再生動画像を第２の動画表示エリア２０１Ｍ２に表示するようにし、目的とするタイトルの先頭時点から再生時間にして２０秒後の時点からの画像データに応じた再生動画像を第３の動画表示エリア２０１Ｍ３に表示するように合成する。

合成後の画像データは、合成回路２６からＮＴＳＣエンコーダ２７に供給され、このＮＴＳＣエンコーダ２７において、アナログのコンポジット画像信号（Ｃｐｓ）とセパレート画像信号（Ｓ）が生成されて、これらがアナログ画像出力端子２８、２９を通じて出力される。

このように、１つのタイトルを時間差を設けて複数の時点から再生し、そのそれぞれの再生画像を表示することにより、目的とするシーンを見逃すことなく、検出することができるようにされる。つまり、第１の動画表示エリア２０１Ｍ１よりも先の時点の画像が表示される第２の動画表示エリア２０１Ｍ２、第３の動画表示エリア２０１Ｍ３に表示されるので、目的とするシーンの画像を確実に検出し、編集候補点として指定することができるようにされる。

さらに、画像の読み出し開始時点の間隔を例えば、数分間間隔、数十分間間隔のように比較的に長く設定することにより、複数の目的とする信号を同時並行的に検出することができる。

また、第１の動画表示エリアに表示する動画像と、第２の動画表示エリアに表示する動画像と、第３の動画表示エリアに表示する動画像とで、再生速度（表示速度）を変えることにより、例えば、第２の動画表示エリアに表示する動画像と、第３の動画表示エリアに表示する動画像とは、第１の動画表示エリアに表示する動画像よりも、再生速度を２倍、あるいは、３倍というように早くすることにより、目的とするシーンの迅速な検出を促進することができる。

ここで、動画像の再生速度は、記録媒体からのデータの読み出し速度やデータの処理速度によって規定されるものではなく、動画像の表示の速さをもって規定されるものである。すなわち、この明細書において、動画の再生速度は、動画像の表示速度と同義である。

また、複数の動画像間で設けるようにする時間差も等間隔でなくてももちろんよい。また、設ける動画表示エリアは、３つに限るものではない。２つでもよいし、２つ以上の複数の動画表示エリアを設けるようにすることも可能である。

また、基準動画像を第１の動画表示エリア２０１Ｍ１に表示し、その１０秒後の動画を第２の動画表示エリア２０１Ｍ２に表示し、その１０秒後の動画を第３の動画表示エリア２０１Ｍ３に表示するようにしてもよい。

このように、時間差を設けて複数の時点から同じタイトルを再生しそのそれぞれの再生画像を表示することにより、例えば、早送りする場合や早戻しする場合に、第２の動画像表示エリア２０１Ｍ２や第３の動画像表示エリア２０１Ｍ３に表示される動画像に基づいて、第１の動画表示エリア２０１Ｍ１に表示されることになる目的とする画像（目的とするシーンの画像）を容易に確認することができる。

なお、図１４において、縮小画像表示エリア２０１Ｓには、例えば、第１の動画表示エリア２０１Ｍ１に表示された画像に対して、第１の実施の形態の記録再生装置の場合と同様にチャプタマークを付けるようにした場合に、第１の動画表示エリア２０１Ｍ１に表示される画像を静止画像とし、これを基準としてその前後のフレーム画像（静止画像）を表示することにより、第１の実施の形態の場合と同様に詳細な編集点の選択および設定ができるようにされる。

つまり、縮小画像表示エリア２０１Ｓの用途は、上述の第１の実施の形態の記録再生装置１００と同様のものである。また、チャプタマークを付けるようにした場合には、そのチャプタマークを付けた画像（編集候補点）のそのタイトル内における位置を示すタイムラインおよび三角マークを上述の第１の実施の形態の記録再生装置１００の場合と同様に表示画面に表示するようにすることもできる。

また、縮小画像表示エリア２０１Ｓに表示される静止画像もまた、表示画像形成回路５０において形成されるものである。すなわち、表示画像形成回路５０は、第１、第２、第３の動画表示エリア２０１Ｍ１、２０１Ｍ２、２０１Ｍ３に表示する動画像データの生成とともに、縮小画像表示エリア２０１Ｓに表示する複数の静止画像の生成も行うことができるものである。

また、ここでは、第１、第２、第３の動画表示エリア２０１Ｍ１、２０１Ｍ２、２０１Ｍ３に表示する画像データ（動画像データ）は、全て表示画像形成部５０において形成するようにするものとして説明したが、これに限るものではない。例えば、第１の動画表示エリア２０１Ｍ１に表示し基準画像とする動画像については、ポスト映像信号処理回路２４において形成するようにしてもよい。

なお、バッファ制御回路１７、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、表示画像形成回路５０、合成回路２６、ＮＴＳＣエンコーダ２７などのそれぞれは、ＣＰＵ４０によってその動作が制御され、図１４に示したように、複数の動画像を１画面中に表示することが実現される。

また、この第１の例において、再生するようにした画像データに付随する音声データは、例えば、第１の動画表示エリア２０１Ｍ１に表示される画像に対応する音声データを、バッファ制御回路１７を通じて記録媒体１８から読み出し、ＭＰＥＧオーディオデコード１９、ポスト音声信号処理回路２０、Ｄ／Ａ変換器２１を通じて再生するようにするなどのことができる。

つまり、再生する音声は、第１の動画表示エリア２０１Ｍ１に表示される動画像に応じた音声を再生するようにしたり、第２の動画表示エリア２０１Ｍ２に表示される動画像に応じた音声を再生するようにしたり、また、第３の動画表示エリア２０１Ｍ３に表示される動画像に応じた音声を再生するようにしたりすることができる。

［第２の例］
上述した第１の例の場合には、所定間隔おきに読み出し開始点（再生点）を設けることにより、目的とするシーンの画像の見落とし防止と、目的とするシーンの画像の迅速な検出を実現するようにした。この第２の例の場合には、例えば長時間分記録された画像データから編集候補点とする目的とするシーンの画像を迅速かつ簡単に検出できるようにするものである。

図１５は、この第２の実施の形態の第２の例において、記録再生装置６００によってモニタ受像機の表示画面２０１に表示するようにされる画像の表示例を説明するための図である。記録媒体１８に記録されているタイトル（放送番組などの１まとまりの情報信号）の中から再生するタイトルが選択されると、記録再生装置６００のＣＰＵ４０は、図１５に示すように、表示画面２０１中に、まず、メイン画像表示エリア２０１Ｍを設けるようにするとともに、再生するように選択されたタイトルの総画像データ量に対応するタイムライン２０１Ｔを表示するようにする。

この場合、メイン画像表示エリア２０１Ｍや、タイムライン２０１Ｔおよびタイムライン２０１Ｔ上を移動する再生位置指定用マークの形成は、ＣＰＵ４０が、ＲＯＭ４１に記憶されたデータを用いて行い、これを例えば多重／分離回路１６を通じて合成回路２６に供給することにより、メイン画像表示エリア２０１Ｍ、タイムライン２０１Ｔ、再生位置指定用マークが、記録再生装置６００に接続されたモニタ受像機２００の表示画面に表示するようにされる。

記録再生装置６００の使用者は、タイムライン２０１Ｔを目安として、例えばリモコン１５０の矢印キーなどを操作することにより、タイムライン２０１Ｔ上で再生位置指定用マークを移動させて、１つ以上の動画再生点を選択入力するようにする。

記録再生装置６００のＣＰＵ４０は、使用者からの動画再生点の選択入力を受け付け、選択された位置に動画の再生位置を示す再生点ＭＫ１、ＭＫ２、ＭＫ３、…を表示するようにする。なお、動画再生時刻を設定する入力項目を設け、１つ以上の再生点を動画再生時刻、すなわち数値によって設定するようにしてもよい。

さらに、記録再生装置６００のＣＰＵ４０は、受け付けた動画再生点の数に応じて、再生画像の表示エリアであるサブ画像表示エリアを形成し、サブ画像表示エリアに受け付けた動画再生点に対応する位置の１フレーム分の画像データを記録媒体１８から読み出し、その読み出した画像データによるフレーム画像（静止画）をサブ画像表示エリアに表示するようにする。

この場合、再生点ＭＫ１、ＭＫ２、ＭＫ３、…は、タイムライン２０１Ｔと同様に、ＣＰＵ４０により形成され、合成回路２６に供給されてこれらが画像中に表示するようにされる。また、各再生点に対応する位置のフレーム画像は、ＣＰＵ４０の制御により、対応するフレームの画像を形成する画像データが記録媒体１８から読み出され、これが多重／分離回路１６を通じてＭＰＥＧビデオデコーダ２３に供給され、ここでＭＰＥＧデコードされて表示画像形成回路５０に供給される。

この表示画像形成回路５０において、各サブ画像表示エリアに静止画像であるフレーム画像を表示するための画像データが形成され、これが合成回路２６に供給され合成されることにより、１画面中に設けられる各サブ画像表示エリアに再生点に対応する位置のフレーム画像が表示するようにされる。

また、複数のサブ画像表示エリアが設けられた場合には、サブ画像表示エリアの選択もできるようにされており、記録再生装置６００のＣＰＵ４０は、カーソルが位置付けられたサブ画像表示エリアの画像と同じ画像をメイン画像表示エリア２０１Ｍに表示するようにする。このサブ画像表示エリア用のカーソルは、ＣＰＵ４０により、表示するようにされ、その表示位置が制御される。

図１５に示した例の場合には、再生するように選択されたタイトルの前段、中段、後段の３箇所が動画像の再生点として選択されており、タイムライン２０１Ｔ上には、再生点ＭＫ１、ＭＫ２、ＭＫ３が表示されるとともに、３つのサブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３が設けられている。

そして、再生点ＭＫ１、ＭＫ２、ＭＫ３に対応する位置のフレーム画像（静止画）のそれぞれが、上述もしたように、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、表示画像形成回路５０、合成回路２６、ＮＴＳＣエンコーダ２７で処理されて、表示画面上に形成される対応するサブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３のそれぞれに表示される。

また、図１５に示した例の場合、サブ画像表示エリアについてのカーソルＣＳは、サブ画像表示エリアＳＧ１に位置付けられており、サブ画像表示エリアＳＧ１と同じ画像が、メイン画像表示エリア２０１Ｍにも表示するようにされる。

なお、メイン画像表示エリア２０１Ｍに表示するようにされる画像は、この例の場合、ポスト映像信号処理回路２４において形成される画像データにより表示するようにされるものである。

そして、図１５に示した状態にあるときには、メイン画像表示エリア２０１Ｍ、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３のそれぞれに表示される画像は、使用者によって指示された再生点に対応する位置のフレーム画像（静止画像）である。

この状態にあるときに、リモコン１５０を操作することにより、再生点の位置を変更したり、また、サブ画像表示エリアに対するカーソルＣＳを移動させて他のサブ画像表示エリアに位置付けたりするなどのことができるようにされる。なお、サブ画像表示エリアに対するカーソルＣＳの移動は、以下に説明するように、実際に選択されたタイトルの再生が開始された後においても行うことができるようにされる。

そして、リモコン１５０の再生キーが押下操作されるなど、選択されたタイトルの実際の再生開始が指示されると、記録再生装置６００のＣＰＵ４０は、メイン画像表示エリア２０１Ｍ、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３への動画の再生を開始するようにする。

図１６は、この第２の実施の形態の第２の例の記録再生装置６００により、動画再生時にモニタ受像機２００の表示画面２０１に表示するようにされる画像を説明するための図である。上述したように、動画の再生が指示されると、ＣＰＵ４０は、再生点ＭＫ１、ＭＫ２、ＭＫ３のそれぞれに対応する位置の画像データを記録媒体１８から順次に読み出す。

そして、ＣＰＵ４０は、メイン画像表示エリア２０１Ｍ、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３に静止画像を表示するようにした場合と同様に、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４、表示画像形成回路５０、合成回路２６、ＮＴＳＣエンコーダ２７を制御し、これらに記録媒体１８から順次に読み出される画像データを供給して、図１６に示すように、メイン画像表示エリア２０１Ｍ、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３のそれぞれに、対応する再生点から再生される動画像を表示するようにする。

さらに、記録再生装置のＣＰＵ４０は、再生点ＭＫ１、ＭＫ２、ＭＫ３のそれぞれを、図１６において矢印が示すように動画像の再生に連動して、再生方向に移動させるようにして表示し、各サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３に表示されている画像が、再生している当該タイトルのどの位置に該当するかを使用者が視覚を通じて認識できるようにしている。図１６において、点線で示したマークＳＴ１、ＳＴ２、ＳＴ３は、再生点ＭＫ１、ＭＫ２、ＭＫ３の各開始点を示している。

なお、図１６に示した例の場合、サブ画像表示エリアに対するカーソルＣＳは、サブ画像表示エリアＳＧ１に位置付けられているので、メイン画像表示エリア２０１Ｍには、サブ画像表示エリアＳＧ１に表示されている動画像と同じ動画像が表示するようにされている。

このように、この第２の例の記録再生装置６００の使用者は、３つのサブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３のそれぞれに表示される再生点の異なる複数の表示エリアの動画像を通じて、編集候補点として用いるようにする目的とするシーンの画像の検出を行うようにすることができる。

そして、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３のいずれかに目的とするシーンの画像、あるいは、目的とするシーンの近傍の画像が表示された場合には、その目的とするシーンの画像、あるいは、目的とするシーン近傍の画像が表示されたサブ画像表示エリアに対してカーソルＣＳを位置付ける。

これにより、カーソルＣＳが位置付けられたサブ画像表示エリアと同じ動画像をメイン画像表示エリア２０１Ｍにも表示するようにし、編集候補点として用いるようにする目的とするシーンの画像をサブ画像表示エリアよりも表示面積の大きなメイン画像表示エリア２０１Ｍに表示される動画像を通じて検出することができるようにされる。

図１７、図１８は、目的とするシーンの画像のうち、編集候補点として用いる画像を選択する場合の使用者と記録再生装置６００の動作について説明するための図である。

図１６を用いて説明したように、複数の再生点ＭＫ１、ＭＫ２、ＭＫ３からの動画の再生が同時に開始され、カーソルＣＳがサブ画像表示エリアＳＧ１に位置付けられている場合に、サブ画像表示エリアＳＧ３に目的とするシーンの近傍らしき画像が表示されたとする。このとき使用者は、リモコン１５０の矢印キーを操作し、サブ画像表示エリアＳＧ１に位置付けられているカーソルをサブ画像表示エリアＳＧ３に位置付けるようにする。

記録再生装置６００のＣＰＵ４０は、リモコン１５０を通じての使用者からの指示に応じて、図１７に示すように、カーソルＣＳをサブ画像表示エリアＳＧ３に位置付けるとともに、サブ画像表示エリアＳＧ３に表示するようにされている動画像をメイン画像表示エリア２０１Ｍにも表示するようにする。

そして、使用者は、目的とするシーンの画像がメイン画像表示エリア２０１Ｍに表示されると、記録再生装置６００の使用者は、リモコン１５０に設けられているチャプタマークキー１５４を押下操作する。

記録再生装置のＣＰＵ４０は、リモコン１５０からのチャプタマークキー１５４が押下操作されたことを示す信号を受信すると、その時点において、メイン画像表示エリア２０１Ｍに表示されているフレーム画像を特定することが可能な情報として例えばタイムコードあるいはフレーム番号を取得し、これを編集候補点を示す情報として記録媒体１８に記録する。

同時に、ＣＰＵ４０は、チャプタマークキーが押下操作された時点のフレーム画像の当該タイトル中における位置を示す編集候補点マークＣＮ（１）をタイムライン２０１Ｔ上に表示するようにする。この編集候補点マークは、再生点マークとは例えば色や形などが換えられて、すぐに見分けがつく態様で表示される。

なお、上述したように、チャプタマークキー１５４が押下操作された場合であっても、メイン画像表示エリア２０１Ｍ、および、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３に表示される動画像の表示が停止されることはなく、各表示エリアにおいての動画像の表示は続行するようにしている。

この後、サブ画像表示エリアＳＧ２に目的とするシーンの近傍らしき画像が表示されたとする。このとき使用者は、リモコン１５０の矢印キーを操作し、図１７に示したようにサブ画像表示エリアＳＧ３に位置付けられているカーソルＣＳを、図１８に示すようにサブ画像表示エリアＳＧ２に位置付けるようにする。

記録再生装置６００のＣＰＵ４０は、リモコン１５０を通じての使用者からの指示に応じて、図１８に示すように、カーソルＣＳをサブ画像表示エリアＳＧ２に位置付けるとともに、サブ画像表示エリアＳＧ２に表示するようにされている動画像をメイン画像表示エリア２０１Ｍにも表示するようにする。

記録再生装置６００のＣＰＵ４０は、リモコン１５０からのチャプタマークキー１５４が押下操作されたことを示す信号を受信すると、その時点において、メイン画像表示エリア２０１Ｍに表示されているフレーム画像を特定することが可能なタイムコードあるいはフレーム番号を取得し、これを例えばタイトル識別情報とともに編集候補点を示す情報として、記録媒体１８に記録する。

同時に、ＣＰＵ４０は、チャプタマークキーが押下操作された時点のフレーム画像の当該タイトル中における位置を示す編集候補点マークＣＮ（２）をタイムライン２０１Ｔ上に表示するようにする。

このようにして、複数の異なる再生点から再生され、異なるサブ画像表示エリアに表示される画像を用いて、使用者は、編集候補点とする目的のシーンの画像を迅速に検出し、編集候補点として記録媒体１８に登録することができるようにされる。

そして、登録するようにした編集候補点ＣＮ（１）、ＣＮ（２）、…の中から、１つの編集候補点を選択すると、図４、図５などを用いて上述した第１の実施の形態の記録再生装置１００の場合と同様にして、その編集候補点近傍のフレーム画像（静止画）を表示し、目的とするシーンの最終的な編集点を特定して、これを記録媒体１８に記録しておくことができるようにされ、この最終的な編集点を基準点として用いて、種々の編集を行うようにすることができるようにされる。

次に、この第２の実施の形態の第２の例の記録再生装置６００の動作について、図１９、図２０に示すフローチャートを参照しながら説明する。図１９に示すように、この第２の実施の形態の記録再生装置６００に電源が投入され、記録媒体１８に記録されている放送番組などのタイトル一覧を表示するようにする指示が入力されると、ＣＰＵ４０は、バッファ制御回路１７を通じて記録媒体１８の例えばディレクトリを参照し、記録媒体１８に記録されているタイトルの一覧表を表示するための画像信号を形成し、これを多重／分離回路１６を通じて合成回路２６に供給し、モニタ受像機２００の表示画像２０１Ｇにタイトルの一覧表を合成して表示するようにする（ステップＳ２０１）。

そして、記録再生装置６００のＣＰＵ４０は、リモコン１５０や記録再生装置６００のフロントパネル面に設けられた操作パネルを通じての使用者からのタイトルの選択入力を受け付け（ステップＳ２０２）、図１４に示したように、メイン画像表示エリア２０１Ｍを形成するようにするとともに、タイムライン２０１Ｔを形成して、これらを表示するようにする（ステップＳ２０３）。

次に、記録再生装置６００のＣＰＵ４０は、リモコン１５０などを通じての使用者からの再生点選択入力や動作指示入力を受け付ける（ステップＳ２０４）。そして、ＣＰＵ４０は、使用者からの入力が、再生の終了を指示するものか否かを判断する（ステップＳ２０５）。

ステップＳ２０５の判断処理において、ステップＳ２０４において受け付けた使用者からの入力が、再生の終了指示であると判断した場合には、この図１９に示す処理を終了し、例えば、使用者からの入力待ち状態となる。ステップＳ２０５の判断処理において、ステップＳ２０４において受け付けた使用者からの入力が、再生の終了指示ではないと判断した場合には、ＣＰＵ４０は、使用者からの入力は、再生開始入力か否かを判断する（ステップＳ２０６）。

ステップＳ２０６判断処理において、使用者からの入力が再生開始入力ではないと判断したときには、この例においてＣＰＵ４０は、ステップＳ２０２からの処理を繰り返すようにし、タイトル選択入力、再生点選択入力や動作指示入力を受け付けるようにする。

ステップＳ２０６の判断処理において、ステップＳ２０４において受け付けた使用者からの入力は、再生開始を指示するものであると判断したときには、ＣＰＵ４０は、上述もしたように、使用者によって選択入力された再生点の数に応じて、サブ画像表示エリアを設け、当該再生点からの動画の再生を開始する（ステップＳ２０７）。

そして、ＣＰＵ４０は、編集候補点の設定入力や、カーソルの移動指示入力、編集候補点の選択入力などの使用者からの指示入力を受け付け（ステップＳ２０８）、受け付けた指示入力は、編集候補点の設定入力か否かを判断する（ステップＳ２０９）。

ステップＳ２０９の判断処理において、受け付けた使用者からの指示入力は、編集候補点の設定入力であると判断したときには、ＣＰＵ４０は、メイン画像表示エリアに表示されている画像を特定するための情報であるタイムコードあるいはフレーム番号等を取得する（ステップＳ２１０）。そして、ステップＳ２１０において取得した画像を特定するための情報と当該再生対象のタイトルを特定する情報（タイトル情報）とを対応付けて記録媒体１８に記録し（ステップＳ２１１）、ステップＳ２０８からの処理を繰り返す。

ステップＳ２０９の判断処理において、受け付けた使用者からの指示入力は、編集候補点の設定入力ではないと判断したときには、ＣＰＵ４０は、受け付けた使用者からの指示入力は、サブ画像表示エリアに対するカーソルＣＳの移動指示入力か否かを判断する（ステップＳ２１２）。

ステップＳ２１２の判断処理において、ステップＳ２０８において受け付けた使用者からの入力がサブ画像表示エリアに対するカーソルＣＳの移動指示入力であると判断したときには、ＣＰＵ４０は、使用者からの指示入力に応じて、サブ画像表示エリアに対するカーソルＣＳを移動させる（ステップＳ２１３）。

そして、ＣＰＵ４０は、メイン画像表示エリア２０１Ｍの表示画像をカーソルＣＳが位置付けられたサブ画像表示エリアと同じ画像となるように変更し（ステップＳ２１４）、この後、ステップＳ２０８からの処理を繰り返すようにする。

ステップＳ２１２の判断処理において、ステップＳ２０８において受け付けた使用者からの入力がサブ画像表示エリアに対するカーソルＣＳの移動指示入力ではないと判断したときには、図２０に示す処理に進み、ＣＰＵ４０は、ステップＳ２０８において受け付けた使用者からの入力が、使用者からの指示に応じて登録するようにした編集候補点の選択入力か否かを判断する（ステップＳ２１５）。

ステップＳ２１５の判断処理において、ステップＳ２０８において受け付けた使用者からの入力が、編集候補点の選択入力であると判断したときには、ＣＰＵ４０は、動画の再生を中止するとともに、記録媒体１８に保持している選択された編集候補点のフレーム画像を特定する情報を読み出し、当該編集候補点のフレーム画像を形成する画像データと、その近隣の複数のフレーム画像の画像データとを記録媒体１８から読み出し、これを静止画像として表示するようにする（ステップＳ２１６）。

このステップＳ２１６の処理は、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、表示画像形成回路５０、合成回路２６、ＮＴＳＣエンコーダ２７の各部を通じて行われる。そして、表示画像形成回路５０は、複数のサブ画像表示エリアに動画像を表示するための画像データを形成するようにすることができるとともに、第１の実施の形態の図４、図５に示したような静止画像（サムネイル）を表示するための画像データをも形成することができるものである。

そして、この第２の実施の形態の記録再生装置６００もまた、第１の実施の形態の記録再生装置１００の場合と同様に、例えば、図４に示したように表示させる静止画像をスクロール可能に表示させることができるようにしている。そして、ＣＰＵ４０は、選択された編集候補点を基準として表示するようにされる複数の静止画像の中から、最終的に編集点として用いるようにするフレーム画像の選択入力を受け付ける（ステップＳ２１７）。

ステップＳ２１７の選択入力は、第１の実施の形態の記録再生装置の場合と同様に、選択された編集候補点を基準として表示するようにされる複数の静止画像のうちの１つに位置付けられるようにされる静止画選択用カーソルを使用者からの指示に応じて移動させるようにすることによって、最終的な編集点の画像を選択することができるようにしている。

ＣＰＵ４０は、ステップＳ２１７において受け付けた入力キーの判別を行う（ステップＳ２１８）。ステップＳ２１８の判断処理において、受け付けた入力キーは下キー（下矢印キー）であると判断したときには、編集点の選択を行わないものと判断し、ステップＳ２１６において停止させるようにしたメイン画像表示エリアおよびサブ画像表示エリアへの動画像の表示を再開させ（ステップＳ２２１）、図１９に示したステップＳ２０８からの処理を繰り返すようにする。

また、ステップＳ２１８の判断処理において、ステップＳ２１７において受け付けた入力キーは決定キーであると判断したときには、ステップＳ２０７において選択した編集候補点に変えて、今回選択したフレーム画像を編集点とし、そのフレーム画像を特定する情報を取得する（ステップＳ２１９）。

この後、タイトル情報とステップＳ２１９において取得したフレーム画像を特定する情報とを編集点情報として記録媒体１８に記録する（ステップＳ２２０）。そして、ステップＳ２１６において停止させるようにしたメイン画像表示エリアおよびサブ画像表示エリアへの動画像の表示を再開させ（ステップＳ２２１）、図１９に示したステップＳ２０８からの処理を繰り返すようにする。

また、ステップＳ２１８の判断処理において、ステップＳ２１７において受け付けた入力キーは左右キー（左矢印キーあるいは右矢印キー）であると判断したときには、静止画像の選択の変更、つまり、静止画像に位置付けられているカーソルを移動させる指示であると判断し、カーソルを移動させることによって、表示されている静止画像（サムネイル）の選択を行うようにする（ステップＳ２２２）。この後、ステップＳ２１７を繰り返すようにする。

また、ステップＳ２１５の判断処理において、ステップＳ２０８において受け付けた使用者からの入力が、編集候補点の選択入力であると判断したときには、ＣＰＵ４０は、使用者から受け付けた指示入力に応じた処理を実行する（ステップＳ２２３）。このステップＳ２２３においては、一時停止、早送り、早戻し、再生停止等の種々の処理のうち、使用者からの要求に応じた処理が行われることになる。

このように、この第２の実施の形態の第２の例の記録再生装置６００においては、１つのタイトルに付き、複数の異なる再生点を指定し、その複数の異なる再生点から同時に動画の再生を開始することによって、目的とするシーンの画像を迅速に見つける（検出する）ことができるようにしたものである。

そして、目的とするシーンの画像を使用者が検出した場合に、その画像を編集候補点の画像として特定し、この編集候補点の画像とその近隣の画像とを静止画像として表示し、正確な編集点を選択することができるようにされる。そして、選択された編集点の画像を特定する情報が取得され、これが編集候補点情報として記録媒体１８に記録されることになる。また、選択された編集点を用いて、編集点で挟まれた区間の削除、移動、抽出など、種々の編集を行うようにすることができるようにされる。

［第２の例の変形例１］
ところで、この第２の例の記録再生装置の場合、図１５〜図１８に示したように、複数の異なる再生点から同時に複数の動画像を再生するようにしている。このため、時間的に先行する位置に設定するようにされた編集候補点に、後続の再生点が追いついてしまう場合があると考えられる。この場合、先行する再生開始点以降の再生は、２回目の再生となる。

この点に着目し、この第２の例の変形例の記録再生装置においては、未再生部分の再生と、後続の再生点が追いついた編集候補点を基準とする編集点の選択とを同時に行うようにしたものである。

図２１は、この第２の実施の形態の第２の例の記録再生装置において、先に設定された編集候補点に後続の再生点が追いついた場合の処理を説明するための図である。図１７、図１８を用いて説明した例の場合と同様に、再生開始点をＳＴ１、ＳＴ２、ＳＴ３とする３つの再生点ＭＫ１、ＭＫ２、ＭＫ３が指定されて再生が開始されたとする。

そして、サブ画像表示エリアＳＧ３にカーソルＣＳが位置付けられて、ＳＴ３の後に編集候補点ＣＮ（１）が設定され、さらに、サブ画像表示エリアＳＧ２にカーソルＣＳが位置付けられて、ＳＴ２の後に編集候補点ＣＮ（２）が設定されている。カーソルＣＳがサブ画像表示エリアＳＧ２に位置付けられた状態で再生処理が続行され、図２１に示すように、先に設定された編集候補点ＣＮ（１）に再生点ＭＫ２が追いついたとする。

このように、先に設定された編集候補点に後続の再生点が追いついたか否かは、記録再生装置６００のＣＰＵ４０が、例えば、編集候補点と再生点のフレーム画像のタイムコードやフレーム番号を監視して、両者のタイムコードやフレーム番号が一致した場合に、編集候補点に後続の再生点が追いついたと判断することができる。

そして、図２１に示す例の場合、先に設定された編集候補点ＣＮ（１）に後続の再生点ＭＫ２が追いついたことを検出すると、ＣＰＵ４０は、サブ画像表示エリアＳＧ２に、編集候補点ＣＮ（１）と、その近隣の画像を静止画像として表示する。なお、再生点ＭＫ２に対応する画像を表示しているサブ画像表示エリアＳＧ２以外のサブ画像表示エリアＳＧ１、ＳＧ３においては動画の再生が続行するようにようにされる。

また、編集候補点に追いついた再生点に対応する動画像を表示しているサブ画像表示エリアにカーソルＣＳが位置付けられている場合には、そのサブ画像表示エリアに表示されている静止画像をメイン画像表示エリア２０１Ｍにも表示する。図２１に示した例の場合には、サブ画像表示エリアＳＧ２に表示されている静止画像は、メイン画像表示エリア２０１Ｍにも表示される。

この図２１に示した例の場合には、編集候補点はＣＮ（１）であり、編集候補点はＣＮ（１）と、その前２フレーム分と、後の２フレーム分の４フレーム画像を形成する画像データが読み出され、図２１のメイン画像表示エリア２０１Ｍに示したように、編集候補点の画像ＣＮ（１）と、これに隣接する画像ＣＮ（１）−２、ＣＮ（２）−１、ＣＮ（１）＋１、ＣＮ（１）＋２がサムネイルとして表示される。

そして、図２１に示すように、最初の段階では、メイン画像表示エリア２０１Ｍに表示される編集候補点の画像ＣＮ（１）の表示エリアには、カーソルＭＣＳが位置付けられ、このカーソルＭＣＳが位置付けられた画像が、メイン画像表示エリア２０１Ｍの全面にも大きく表示される。

このカーソルＭＣＳは、前述した第１の実施の形態の場合と同様に、例えば、リモコン１５０の左矢印キー、右矢印キーを操作することにより移動させることができ、このカーソルＭＣＳが位置付けられたフレーム画像を編集点として選択して登録することができるようにされる。

したがって、図２１に示したように、静止画を表示しても編集点を選択する操作である決定キー、左矢印キー、右矢印キーが押下操作されることなく、下矢印キーが押下操作されたり、所定時間以上何の操作もされなかったりした場合などにおいては、静止画を表示したサブ画面表示エリアＳＧ２、メイン画面表示エリア２０１Ｍにおいても、動画の再生が再開するようにされる。

図２２は、編集候補点ＣＮ（１）に追いついた再生点ＭＫ２に対応する動画像を表示しているサブ画像表示エリアＳＧ２にカーソルＣＳが位置付けられていない場合を説明するための図である。この場合には、サブ画像表示領域ＳＧ２のみに編集候補点ＣＮ（１）に対応する位置の画像、および、編集候補点ＣＮ（１）の画像、および、その近隣の画像をサムネイルとして表示するようにする。

ただし、上述したように、静止画を選択して編集点を決定できるのはメイン画像表示エリア２０１Ｍを通じてのみであるので、カーソルＣＳをサブ画像表示エリアＳＧ２に位置付けようにしない限り、編集点の選択はできず、例えば、所定時間経過後にサブ画像表示エリアＳＧ２においても動画の再生が再開するようにされる。

なお、この例においては、編集点の選択および登録は、メイン画像表示エリア２０１Ｍを通じてのみ行うことができるようにしたので、図２２の表示例のように、サブ画像表示エリアに編集候補点、および、その近隣の画像をいわゆるサムネイルとして表示する必要はない。

図２３は、編集候補点に追いついた再生点を基準にして、編集点を登録した後の記録再生装置の動作を説明するための図である。図２１に示した状態にあるときに、サムネイルとしてメイン画像表示エリア２０１Ｍにサムネイルとして表示されている５枚の静止画像の中の目的とする静止画像に、リモコン１５０の左矢印キー、右矢印キーを操作してカーソルＭＣＳを位置付け、決定キーを押下操作することにより、編集点を選択して登録する。

この場合、直近の編集候補点ＣＮ（１）に変えて、編集点ＤＣ（１）が記録媒体１８に設定される。そして、図２３に示すように、タイムライン２０１Ｔ上に確定された編集点ＤＣ（１）が示され、この後、再生点ＭＫ２からの動画の再生が再開される。

また、ここでは、編集候補点に変えて編集点を登録するようにしたが、編集候補点ＣＮ（１）と、編集点ＤＣ（１）とを示すマークの色を変えて表示するなど、編集候補点と編集点との両方を区別可能なようにして表示することも可能である。

また、再生点が編集候補点に追いつく前に、ＣＰＵ４０が、再生点と編集候補点との時間間隔を管理するようにし、例えば、「あと○○秒で編集候補点です。」等のメッセージを表示するようにする。このようにすることにより、使用者は、前もって該当するサブ画像表示エリアにカーソルＣＳを合わせるようにすることができる。

なお、タイムライン２０１Ｔ上に表示するようにする再生点、編集候補点、編集点の位置を示すマークは、例えば、再生点を示すマークは緑色、編集候補点を示すマークは青色、編集点は赤色などのように、色を変えたり、あるいは、再生点を示すマークは三角印、編集候補点を示すマークは四角印、編集点は丸印などのように、その形を変えたり、また、各マークの表示位置をずらしたりすることにより、各マークの位置を明確に使用者に通知することができる。

［第２の例の変形例２］
上述した第２の例の記録再生装置６００において、複数の再生点が指定された場合、各再生点からの動画の再生速度は、全て等速となるようにした。しかし、再生点毎に再生速度を変えるようにしてもよい。

図２４〜図２６は、複数の再生点を設定し、その複数の再生点のそれぞれから同時に再生を行う場合に、再生点の位置に応じて再生速度を異ならせるようにした場合の例を説明するための図である。

図２４に示すように、３つの再生点ＭＫ１、ＭＫ２、ＭＫ３が選択され、これら３つの再生点から同時に動画像を再生する場合において、再生点ＭＫ１についての動画の再生は２倍速（図においては「×２」と記載。）で、再生点ＭＫ２、ＭＫ３についての動画の再生は等倍速（図においては「×１」と記載。）で行う場合を示している。

この図２４の例の場合には、タイトルの中段部分、後段部分については等倍速再生されるが、前段は２倍速再生されるので、タイトルの中段部分、後段部分については、通常の再生速度で目的とするシーンの画像を見つけ出すようにすることができるのに対して、タイトルの前段部分については、２倍速で再生されるので、より迅速に目的とするシーンの画像の検出を行うようにすることができる。

なお、このように選択した複数の再生点に応じて再生速度を変えるようにする場合、例えば、目的とするシーンが存在する可能性の低い部分では高速再生し、目的とするシーンが存在する可能性が高い部分では等速、あるいは、低速再生するようにするなど、使用者の目的に応じて、選択するようにした再生点毎に再生速度を設定することができるようにされる。

また、再生点毎の再生速度の設定は、リモコン１５０を通じて行うことができ、ＣＰＵ４０は、選択された再生点毎に、記録媒体１８からのデータの読み出す速度を変えたり、あるいは、ＭＰＥＧビデオデコーダ２３や表示画像形成回路５０における処理速度を調整したりすることにより、再生点毎の動画の再生速度を変えることができるようにされる。

そして、この変形例２の場合にも、第２の実施の形態の第２の例の場合と同様に、編集候補点を複数設定した場合に、その複数の編集候補点の中から１の編集候補点を選択し、その編集候補点に対応する位置の画像（静止画像）と、その編集候補点に対応する位置の近隣の画像（静止画像）とをスクロール可能な態様で表示し、最終的に編集時において用いるようにする編集点を設定することができるようにされる。

この場合、再生速度の異なる区間の編集候補点については、表示するようにする静止画像の数を異ならせるようにする。図２５、図２６は、再生速度の異なる区間の編集候補点を基準に編集点の選択を受け付けるようにする場合の処理を説明するための図である。

複数の編集候補点から１つの編集候補点を選択する場合には、例えば、図２５に示すように、タイムライン２０１Ｔ上の編集候補点単位に移動が可能とされたカーソルＣＳＴを、リモコン１５０の左矢印キー、右矢印キーを操作することにより移動させ、決定キー１５４を押下することにより行うことができるようにされる。

そして、選択された編集候補点が等倍速再生された区間にある場合には、図２５に示すように、選択された編集候補点（図２５の場合には、編集候補点ＣＮ（１））の画像と、その前後の１フレームの画像とをメイン画像表示エリア２０１Ｔにサムネイル表示し、編集点の選択を行うようにする。

同様にして、選択された編集候補点が２倍速再生された区間にある場合には、図２６に示すように、選択された編集候補点（図２６の場合には、編集候補点ＣＮ（２））の画像と、その前２フレーム分と後２フレーム分の画像とをメイン画像表示エリア２０１Ｔにサムネイル表示し、編集点の選択を行うようにする。このように、再生速度が速い区間については、再生速度が遅い区間よりも多くの編集点選択のためのサムネイルを表示するようにする。

このように、再生速度に応じて、編集点を選択するためのいわゆるサムネイル画像の数を変えるのは、使用者が再生速度の速い画面で編集候補点をマークした際、編集候補点が所望の編集点から離れている可能性が高いからである。つまり、再生速度が速いほど、実際にマークした編集候補点と目的とする編集点との間隔が離れる可能性が高くなるので、再生速度に比例して編集候補点に隣接する静止画の表示枚数を多くする。これによって、より迅速に編集点の選択を行うようにすることができる。

そして、使用者からの指示に応じて編集候補点の画像を特定する情報を記録媒体１８に記録する際に、その編集候補点が属する区間の再生速度を示す情報をも記録するようにしておけば、この情報を利用し、ＣＰＵ４０の制御によって、編集点を選択するための静止画像の数を再生速度に応じたものとすることができる。

なお、図２５、図２６において、ＣＮ（ｎ）＋１は、編集候補点ＣＮ（ｎ）の１フレーム先の画像を、ＣＮ（ｎ）−１は、編集候補点ＣＮ（ｎ）の１フレーム前の画像を意味し、同様に、図２６において、ＣＮ（ｎ）＋２は、編集候補点ＣＮ（ｎ）の２フレーム先の画像を、ＣＮ（ｎ）−２は、編集候補点ＣＮ（ｎ）の２フレーム前の画像を意味するものである。

［第２の例の変形例３］
ところで、上述したように、再生点毎に再生速度を設定可能とすることにより、先行する再生点を後続の再生点が追い越す場合が生じる。この場合に、再生点とサブ画像表示エリアとの画面上での対応関係がずれ、画面に表示される情報が観づらくなってしまう場合がある。

図２７〜図２９は、先行する再生点を後続の再生点が追い越す場合等について説明するための図である。図２７Ａに示すように、再生点ＭＫ１、ＭＫ２、ＭＫ３の３つの再生点が選択され、再生点ＭＫ１については２倍速再生、再生点ＭＫ２、ＭＫ３については等倍速再生を行うようにしたとする。

図２７Ａに示した状態から再生が開始され、ある程度の時間が経過すると、図２７Ｂに示すように、再生点ＭＫ１が再生点ＭＫ２を追い越す状態になる。この場合、記録再生装置６００のＣＰＵ４０は、再生点ＭＫ１、ＭＫ２、ＭＫ３のタイトル上の位置に応じて、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３に表示する動画像を変える。

図２７に示した例の場合には、図２７Ｂのように、再生点ＭＫ１が再生点ＭＫ２を追い越した時点で、ＣＰＵ４０は、再生点ＭＫ２の画像をサブ画像表示エリアＳＧ１に表示し、再生点ＭＫ１の画像をサブ画像表示エリアＳＧ２に表示するように表示エリアを切り換える（スイッチする）ようにする。

これにより、タイムライン２０１Ｔ上を移動する再生点ＭＫ１、ＭＫ２、ＭＫ３の並び順と、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３の並び順とが一致し、再生点とサブ画像表示エリアとの関係が混乱することなく、表示情報が見づらくなったり、処理を間違えてしまったりするなどの不都合を防止することができる。

なお、先行する再生点を後続の再生点が追い越す場合は、再生速度が異なる場合に限るものではない。例えば、図２８Ａに示すように、選択された再生点ＭＫ１、ＭＫ２、ＭＫ３のそれぞれが等倍速（図においては「×１」と記載。）で再生するものである場合、例えば、再生点ＭＫ３の再生時に登録するようにした編集候補点に再生点ＭＫ２が追いつき前述もしたように、編集点を確定するために再生点ＭＫ２が停止したとする。

このような状態にあるときに、再生点ＭＫ１、ＭＫ３は停止しないので、再生点ＭＫ２の停止中に再生点ＭＫ１が再生点ＭＫ２を追い越すということが発生する。このような場合にも、図２８Ａに示すように、再生点ＭＫ１が再生点ＭＫ２を追い越した時点で、ＣＰＵ４０は、再生点ＭＫ２の画像をサブ画像表示エリアＳＧ１に表示し、再生点ＭＫ１の画像をサブ画像表示エリアＳＧ２に表示するように表示エリアを切り換えるようにする。

また、図２８Ｂに示すように、再生点ＭＫ２に再生点ＭＫ１が追いついてしまった場合、これ以降は、再生点ＭＫ１、ＭＫ２とも同じ動画像を再生することになるので、再生点ＭＫ１、ＭＫ２を融合させるとともに、サブ画像表示エリアについてもサブ画像表示エリアＳＧＦとサブ画像表示エリアＳＧＥとの２つにまとめる。

そして、サブ画像表示エリアＳＧＦには、再生点ＭＫ１、ＭＫ２が融合した再生点の画像を表示するようにし、サブ画像表示エリアＳＧＥには、再生点ＭＫ３の画像を表示するようにする。これにより、同じ動画像が複数のサブ画像表示エリアに表示されることを防止し、目的とするシーンの画像の検出がしにくくなるなどの不都合を防止することができる。

［第２の例の変形例４］
また、上述した第２の例の変形例３において説明した先行の再生点が後続の再生点に追い越された場合の処理と同様に、先行の再生点が、当該タイトルの最後まで再生し終えた場合の処理についても問題になる。この場合には、３つの方策が考えられる。

図２９は、先行の再生点がタイトルの最後まで再生し終えた場合の処理を説明するための図である。まず図２９Ａは、タイトルの後段部分から再生する再生点ＭＫ３が当該タイトルの最後まで再生し終えた場合に、再生点ＭＫ３が当該タイトルの先頭からの再生点となって、再生を継続するようにし、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３に表示する画像もこれに従って入れ換えるようにする場合を示している。

また、図２９Ｂは、タイトルの後段部分から再生する再生点ＭＫ３が当該タイトルの最後まで再生し終えた場合に、再生点ＭＫ３の移動を当該タイトルの最後で停止させ、その状態を維持するようにしている場合を示している。したがって、この図２９Ｂの場合には、再生点ＭＫ１、ＭＫ２のいずれもが、当該タイトルの最後まで再生し終えた状態になった時には、サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３には同じ画像が表示されることになる。

また、図２９Ｃは、タイトルの後段部分から再生する再生点ＭＫ３が当該タイトルの最後まで再生し終えた場合に、再生点ＭＫ３、および、再生点ＭＫ３に対応する位置の再生画像が表示するようにされていたサブ画像表示エリアＳＧ３を消去し、まだ最後まで再生が終了していない再生点ＭＫ１、ＭＫ２と、それに対応する画像を表示するサブ画像表示エリアＳＧ１、ＳＧ２のみを残すようにする。

この図２９Ａ、Ｂ、Ｃのいずれかの方策を用いることによって、画面に表示される情報が見づらくなったり、分かり難くなったりするなどの不都合を防止し、目的とするシーンの画像を比較的容易に見つけ出すことができるようにされる。

［第３の例］
この第３の例の記録再生装置においては、上述した第２の例のように、使用者自身が、再生点の位置や数を設定するのではなく、画像の再生速度によって、再生点の数やその位置を変えるように記録再生装置が自動的に制御することによって、一連のタイトル中から目的とするシーンの目的とする画像を迅速かつ正確に検出できるようにしている。なお、この第３の例の記録再生装置もまた、図１３に示した記録再生装置６００と同じものである。

この第３の例の記録再生装置６００の場合、タイトルの再生時において、タイトルの再生速度を自由に設定することができるようにされている。この再生速度の設定は、リモコン１５０を通じて行うことができるようにされている。そして、再生時においては、図３０に示すように、表示画面２０１の全面に再生画像が表示される。同時に、表示画面２０１の下側部分にサブ画像表示エリアＳＧ１が設けられ、ここに、先読み画像を表示するようにしている。

ここで、表示画面２０１の全面に表示される画像の当該タイトルにおける再生点は、タイムライン２０１上において、現在再生位置マークＮＬにより示され、また、サブ画像表示エリアＳＧ１に表示される画像の当該タイトルにおける再生点は、タイムライン２０１上において、先読みポイントＰＴ１により示される。

この図３０の例の場合には、再生速度２０１Ｃが示すように、２倍速（図３０においては、「×２」と記載。）で再生するようにされたものである。この図３０に示す状態は、図３１Ａに示す状態と同じである。再生速度が例えば２倍速程度であれば、再生速度が速すぎて、目的とするシーンの画像を見逃してしまうなどの不都合も少ない。

しかし、再生速度が例えば５倍速などのように、比較的に高速になってくると、目的とするシーンの画像を見逃す可能性が高くなってくる。そこで、図３１Ｂに示すように、再生速度が例えば５倍速の場合には、２つのサブ画像表示エリアＳＧ１、ＳＧ２を設け、これらに対して、予め決められた間隔分離れた先読みポイントＰＴ１、ＰＴ２に対応する位置からの再生画像を表示する。

また、図３１Ｃに示すように、再生速度が例えば１０倍速の場合には、３つのサブ画像表示エリアＳＧ１、ＳＧ２を設け、これらに対して、予め決められた間隔分離れた先読みポイントＰＴ１、ＰＴ２、ＰＴ３に対応する位置からの再生画像を表示する。

このように、再生速度が速くなるにしたがって、先読み画像を表示するサブ画像表示エリアの数を増やすことにより、再生速度が速い場合には、複数のサブ画像表示エリアを通じて、異なる複数の再生点からの先読み画像を確認し、目的とするシーンの目的とする画像を見落とすことなく検出することができるようにすることができる。

なお、この第３の例において、表示画面２０１の全面に表示される画像は、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４により形成され、また、各サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３、…に表示される画像は、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、表示画像形成回路５０によって形成されるものである。

そして、ポスト映像信号処理回路２４からの画像と、表示画像形成回路５０からの１つ以上のサブ画像表示エリアに表示するようにされる画像とが合成回路２６において合成され、ＮＴＳＣエンコーダ２７を通じて出力するようにされる。

また、上述したように、現在再生位置を含め、複数の再生点からの画像データによる画像を同時に再生するようにすることになるが、ＣＰＵ４０の制御に制御されるバッファ制御回路１７により順次に記録媒体１８の異なる再生点から読み出される画像データが、それぞれの再生点からの連続する画像データとしてまとめられ処理することができるようにされる。

そして、サブ画像表示エリアに目的とするシーンの画像が表示された場合には、図３２に示すように、タイムライン２０１Ｔ上の各再生点ＰＴ１、ＰＴ２、ＰＴ３、…に対応して移動可能なカーソルＣＳＴを目的とする再生点に位置付ける。これにより、カーソルＣＳＴが位置付けられた再生点の画像（図３２の例の場合には、再生点ＰＴ２の画像）を基準として、編集点を設定するためのフレーム画像を表示画面に表示する。

図３２の例の場合、カーソルＣＳＴが位置付けられた再生点ＰＴ２の画像を基準とし、その前後２フレームずつ、計５枚のフレーム画像、すなわち、画像ＰＴ２−２、ＰＴ２−１、ＰＴ２、ＰＴ２＋１、ＰＴ２＋２の５枚のフレーム画像がスクロール可能な態様で表示するようにされる。そして、表示される５枚のフレーム画像上を移動可能なカーソルＣＳを移動させることにより、最終的な編集点を選択し、記録媒体１８に登録することができるようにされる。

なお、図３１を用いて説明したように、再生速度が２倍速の場合には、１つのサブ画像表示エリアを用い、再生速度が５倍速の場合には、２つのサブ画像表示エリアを用い、再生速度が１０倍速の場合には、３つのサブ画像表示エリアを用いるものとして説明したが、これに限るものではない。

例えば、再生速度に応じて用いるサブ画像表示エリアの数も任意に設定するようにしてもよいし、また、各再生点間の間隔も任意に設定するようにしてもよい。また、２つ以上のサブ画像表示エリアを用いる場合には、現在再生位置と最初の再生点との間の間隔と、最初の再生点と２番面の再生点との間隔とを異ならせるというように、現在再生位置を含む各再生点間の間隔を異ならせるようにしてもよい。もちろん、現在再生位置を含む各再生点間の間隔を全て等しくなるようにすることもできる。

［第４の例］
この第４の例の場合には、過去に登録された編集点を再利用することにより、今回編集しようとしているタイトルの編集点を迅速に検出し登録できるようにしようとするものである。

例えば、連続もののドラマのテレビ放送番組などの場合、放送される都度、番組内容は変わるものの、ほぼ同じ時間にコマーシャルが挿入される場合が多い。また、毎週放送される番組において、決まった時間に放送するようにされるコーナーが不用であるなどの場合がある。

このように、目的とする番組において、移動や削除などの編集対象となるシーンがほぼ決まった時間に放送するようにされているなどの場合、その番組をこの第２の実施の形態の記録再生装置により記録媒体１８に記録し、編集点を登録して編集を行うようにすると、編集点を示す情報は記録媒体１８に登録されているので、これを再利用することが可能である。

つまり、記録媒体１８に記録される編集点情報には、タイトルと１つ以上の編集点が対応付けられて記憶されている。そして、記録媒体１８に記録される放送番組などのタイトルと呼ぶ主情報信号にもタイトル識別情報が付加されている。

そこで、記録媒体に記録したタイトルを再生する場合に、ＣＰＵ４０は、同じタイトル識別情報を有する編集点情報があるか否かを確認し、ある場合には、その編集点情報を用いて、編集候補点を示す情報を形成し、これを再生画像に合成して表示する。

図３３、図３４は、この第４の例において、過去の編集点情報を用いて編集候補点情報を表示するようにした画像を説明するための図である。図３３に示すように、再生するようにされたタイトルの再生画像が、表示画面２０１の全面に表示される。

この場合に再生されたタイトルと同じタイトル識別情報を有する編集点情報が記録媒体１８に既に存在している場合、その編集点情報に基づいて、タイムライン２０１Ｔ上に編集候補点ＰＰ１、ＰＰ２、ＰＰ３を表示するとともに、各編集候補点が示す位置に対応するタイトルの画像をサブ画像表示領域ＳＧ１、ＳＧ２、ＳＧ３に表示する。

ただ、例えば、毎週決まった時間に放送される連続番組であるといっても、前回放送分の番組に対する編集点と、今回放送分の番組に対する編集点とが全く同じであるということは考え難く、同じ番組といえども数秒の誤差が生じる可能性がある。

そこで、上述した第１〜第３の例の場合と同様に、編集候補点に隣接するフレーム画像をスクロール可能な態様で表示し、この表示されるフレーム画像の中から編集点を決定する。図３４は、この編集候補点に隣接するフレーム画像が表示された状態を示している。

すなわち、図３４においては、表示された３つの編集候補点ＰＰ１、ＰＰ２、ＰＰ３のうち、最初の編集候補点ＰＰ１にカーソルＣＳＴが位置図けられている。そして、この編集候補点ＰＰ１の画像を基準として、前後２フレーム分ずつのフレーム画像が編集点を選択するための画像として、スクロール可能な態様で表示されている。

この状態にあるときに、カーソルＣＳを目的とするフレーム画像に位置付けて、決定キーを押下操作するなどの決定操作を行うことにより、編集点を決定し、その決定した画像位置を編集点として記録媒体の編集点情報に登録することができるようにされる。

なお、リモコン１５０の左矢印キーを押下操作し、フレーム画像の表示エリア２０１Ｓに表示された５枚のフレーム画像の内の左端のフレーム画像にカーソルＣＳが位置付けられた後、さらに左矢印キーが押下操作された場合には、１フレーム単位に右方向にフレーム画像がスクロールされる。

また、リモコン１５０の右矢印キーを押下操作し、フレーム画像の表示エリア２０１Ｓに表示された５枚のフレーム画像の内の右端のフレーム画像にカーソルＣＳが位置付けられた後、さらに右矢印キーが押下操作された場合には、１フレーム単位に左方向にフレーム画像がスクロールされる。

なお、この第４の例の場合においても、表示画面２０１の全面に表示される画像は、多多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、ポスト映像信号処理回路２４により形成され、また、各サブ画像表示エリアＳＧ１、ＳＧ２、ＳＧ３、…に表示される画像、フレーム画像の表示エリア２０１Ｓに表示されるフレーム画像は、多重／分離回路１６、ＭＰＥＧビデオデコーダ２３、表示画像形成回路５０によって形成されるものである。

そして、ポスト映像信号処理回路２４からの画像と、表示画像形成回路５０からの画像とが合成回路２６において合成され、ＮＴＳＣエンコーダ２７を通じて出力するようにされる。

また、上述したように、複数の再生点からの画像データによる画像を同時に再生することになるが、ＣＰＵ４０の制御に制御されるバッファ制御回路１７により順次に記録媒体１８の異なる再生点から読み出される画像データが、それぞれの再生点からの連続する画像データとしてまとめられ処理することができるようにされる。

このように、過去に登録された編集点情報の利用を可能にすることにより、決まって録画するようにする連続ドラマなどの放送番組などについては、編集点を迅速かつ正確に定め、これを登録することができる。

なお、この第４の実施の形態においては、既に登録されている編集点情報と、新たに記録するようにされたタイトルの対応付けは、各タイトルを識別するためのタイトル識別情報を用いるものとして説明した。この場合のタイトル識別情報は、例えば使用者等によって入力されるタイトル名やタイトル番号などのほか、録画日時、曜日、放送チャンネルなどからなる情報を用いるようにするなどのことができる。

また、全体を通じて、編集候補点および編集点の管理は、前述したタイムコード（タイムスタンプ）やフレーム番号等、動画像全体に対する位置情報、時間情報でもよいし、録画した時刻情報、記録媒体全体に対する位置情報でもよい。

なお、上述の実施の形態において、チャプタマークに関する情報、編集候補点に関する情報、および、編集点に関する情報は、記録媒体１８に別ファイルを設けて記録するものとして説明したが、これに限るものではない。チャプタマークに関する情報、編集候補点に関する情報、編集点に関する情報は、記録再生装置１００のメモリに記録するようにしてもよい。

この場合、記録媒体１８が着脱可能なものである場合には、記録媒体を特定する情報と、タイトルを特定する情報と、チャプタマークに関する情報、編集候補点に観する情報あるいは、編集点に関する情報とを対応付けて記録しておくことにより、記録媒体１８を取り外して、他の記録媒体に変えても不正合を生じさせることがないようにすることができる。

また、記録再生装置１００の記録媒体１８は、ハードディスクに限るものではなく、光ディスク、光磁気ディスク、半導体メモリ等の種々の記録媒体を用いるようにすることも可能である。また、記録媒体１８は、記録再生装置１００の内部に設けられるものに限るものではなく、外部接続されるハードディスク装置等に記録されている画像情報などを再生用の情報として用いることが可能である。

また、上述の実施の形態においては、この発明を記録媒体としてハードディスクを用いる記録再生装置に適用した場合を例にして説明したが、これに限るものではない。ビデオカメラ装置にこの発明を適用することもできる。つまり、画像情報を取り込んでこれを記録媒体に記録することができるとともに、その記録した画像情報の再生機能を有する各種の記録再生装置にこの発明を適用することができる。

また、記録媒体に記録された画像情報を再生する機能を備えた再生装置にこの発明を適用することも可能である。この場合には、チャプタマークに関する情報、編集点情報を記録媒体に書き込めなくても、チャプタマークに関する情報、編集点情報を自機のメモリに書き込むことができるとともに、必要に応じて読み出すことができるようになっていればよい。

また、サブ画像表示エリアの数や編集点を選択するために表示する静止画像（サムネイル）の数を上述した実施の形態の例に限るものではなく、表示画面の多くさなどに応じて、多くしたり、少なくしたりすることが可能である。

この発明による装置が適用された記録再生装置が用いられて形成された画像処理システムを説明するための図である。この発明による装置が適用された記録再生装置を説明するためのブロック図である。チャプタマークが付けられるように操作された直後の表示画面２０１に表示される表示画像の一例について説明するための図である。縮小静止画像（サムネイル）が表示するようにされた場合の画像の表示例を説明するための図である。縮小静止画像の選択やスクロール表示および縮小静止画像に対するメニュー表示について説明するための図である。タイムラインと三角マークの利用について説明するための図である。表示画面に表示される表示項目の例について説明するための図である。再生時の動作について説明するためのフローチャートである。図８に続くフローチャートである。図９に続くフローチャートである。表示画像の他の例を説明するための図である。表示画像の他の例を説明するための図である。この発明による装置が適用された記録再生装置の第２の実施の形態を説明するための図である。図１３に示した記録再生装置において形成される表示画像の例を説明するための図である。図１３に示した記録再生装置において形成される表示画像の他の例を説明するための図である。図１３に示した記録再生装置において形成される表示画像の他の例を説明するための図である。目的とするシーンの画像のうち、編集候補点として用いる画像を選択する場合の使用者と記録再生装置６００の動作について説明するための図である。目的とするシーンの画像のうち、編集候補点として用いる画像を選択する場合の使用者と記録再生装置６００の動作について説明するための図である。図１３に示したこの第２の実施の形態の記録再生装置の動作を説明するためのフローチャートである。図１９に続くフローチャートである。第２の実施の形態の第２の例の記録再生装置において、先に設定された編集候補点に後続の再生点が追いついた場合の処理を説明するための図である。サブ画像表示エリアＳＧ２にカーソルＣＳが位置付けられていない場合を説明するための図である。編集候補点に追いついた再生点を基準にして、編集点を設定した後の記録再生装置の動作を説明するための図である。再生点の位置に応じて再生速度を異ならせるようにした場合の例を説明するための図である。再生点の位置に応じて再生速度を異ならせるようにした場合の例を説明するための図である。再生点の位置に応じて再生速度を異ならせるようにした場合の例を説明するための図である。先行する再生点を後続の再生点が追い越す場合等について説明するための図である。先行する再生点を後続の再生点が追い越す場合等について説明するための図である。先行する再生点を後続の再生点が追い越す場合等について説明するための図である。再生速度を使用者が設定する場合の再生点の自動設定について説明するための図である。再生速度を使用者が設定する場合の再生点の自動設定について説明するための図である。再生速度を使用者が設定する場合の再生点の自動設定について説明するための図である。過去の編集点情報を用いて編集候補点情報を表示するようにした画像を説明するための図である。過去の編集点情報を用いて編集候補点情報を表示するようにした画像を説明するための図である。

符号の説明

１００…記録再生装置、１…デジタル入力端子、２…デジタル入出力端子、３…デジタルＩ／Ｆ、４…音声入力端子、５…Ａ／Ｄ変換器、６…プリ音声処理回路、７…ＭＰＥＧオーディオエンコーダ、８…画像入力端子、９…ＹＣ分離回路、１０…画像入力端子、１１…セレクタ、１２…ＮＴＳＣデコーダ、１３…プリ映像信号処理回路、１４…ＭＰＥＧビデオエンコーダ、１５…同期制御回路、１６…多重／分離回路、１７…バッファ制御回路、１８…記録媒体、１９…ＭＰＥＧオーディオデコーダ、２０…ポスト音声信号処理回路、２１…Ｄ／Ａ変換器、２２…音声出力端子、２３…ＭＰＥＧビデオデコーダ、２４…ポスト映像処理回路、２５…静止画像生成回路、２６…合成回路、２７…ＮＴＳＣエンコーダ、２８…画像出力端子、２９…画像出力端子、４０…ＣＰＵ、４１…ＲＯＭ、４２…ＲＡＭ、４３…ＥＥＰＲＯＭ、４４…リモコン信号受光部、５０…表示画像形成回路、１５０…リモコン、６００…記録再生装置

Claims

複数のフレーム画像からなる動画像に対して、複数の画像位置を再生開始位置として選択する選択手段と、
選択された複数の前記再生開始位置のそれぞれからの前記動画像を、サブ動画像として表示画面の異なる表示エリアに同時再生し、編集候補点が設定されている場合であって、当該編集候補点に前記サブ動画像として表示されている動画像の再生位置が到達した場合には、当該サブ動画像が表示されていた表示エリアに、到達した当該編集候補点とその近隣の静止画像を表示するようにする再生手段と、
前記動画像の総画像データ量に対応するタイムラインを前記表示画面に表示するとともに、前記再生手段により再生されている複数の前記サブ動画像のそれぞれの再生位置を示すマークを前記タイムラインに表示するように制御する表示制御手段と、
前記再生手段により前記表示画面の異なる前記表示エリアに表示されている前記サブ動画像を選択するサブ動画像選択手段と、
ユーザからの編集候補点の設定指示を受け付ける設定指示受付手段と、
前記設定指示受付手段を通じて前記設定指示を受け付けたとき、前記サブ動画像選択手段を通じて選択されたサブ動画像の再生位置を編集候補点として設定し、設定された編集候補点を示すマークを前記タイムラインに対して表示する候補点マーク表示手段と
を備える画像処理装置。
請求項１に記載の画像処理装置であって、
前記再生手段は、複数の前記サブ動画像のうち、少なくとも１つのサブ動画像の表示を異なる表示速度で表示するように制御する画像処理装置。
請求項１に記載の画像処理装置であって、
設定された前記編集候補点を示す情報を、再生対象の前記動画像が記録されている記録媒体とは異なる記録媒体に記録保持する手段を有する画像処理装置。
複数のフレーム画像からなる動画像に対して、選択手段が、複数の画像位置を再生開始位置として選択する選択工程と、
選択した複数の前記再生開始位置のそれぞれからの前記動画像をサブ動画像として、再生手段が、表示画面の異なる表示エリアに同時再生し、編集候補点が設定されている場合であって、当該編集候補点に前記サブ動画像として表示されている動画像の再生位置が到達した場合には、当該サブ動画像が表示されていた表示エリアに、到達した当該編集候補点とその近隣の静止画像を表示するようにする再生工程と、
表示制御手段が、前記動画像の総画像データ量に対応するタイムラインを前記表示画面に表示するとともに、前記再生工程において再生した複数の前記サブ動画像のそれぞれの再生位置を示すマークを前記タイムラインに表示するように制御する表示制御工程と、
前記再生工程において前記表示画面の異なる表示エリアに再生するようにした前記サブ動画像を、サブ動画像選択手段を通じて選択するサブ動画像選択工程と、
ユーザからの編集候補点の設定指示を、設定指示受付手段を通じて受け付ける設定指示受付工程と、
前記設定指示受付工程において前記設定指示を受け付けたとき、候補点マーク表示手段が、前記サブ動画像選択工程において選択したサブ動画像の再生位置を編集候補点として設定し、設定した編集候補点を示すマークを前記タイムラインに対して表示する候補点マーク表示工程と
を有する画像処理方法。
請求項４に記載の画像処理方法であって、
前記再生工程においては、前記再生手段により、複数の前記サブ動画像のうち、少なくとも１つのサブ動画像の表示を異なる表示速度で表示するように制御する画像処理方法。
請求項４に記載の画像処理方法であって、
設定した前記編集候補点を示す情報を、再生対象の前記動画像が記録されている記録媒体とは異なる記録媒体に記録保持する工程を有する画像処理方法。
複数のフレーム画像からなる動画像に対して、複数の画像位置を再生開始位置として選択する選択ステップと、
選択した複数の前記再生開始位置のそれぞれからの前記動画像をサブ動画像として、表示画面の異なる表示エリアに同時再生し、編集候補点が設定されている場合であって、当該編集候補点に前記サブ動画像として表示されている動画像の再生位置が到達した場合には、当該サブ動画像が表示されていた表示エリアに、到達した当該編集候補点とその近隣の静止画像を表示するようにする再生ステップと、
前記動画像の総画像データ量に対応するタイムラインを前記表示画面に表示するとともに、前記再生工程において再生した複数の前記サブ動画像のそれぞれの再生位置を示すマークを前記タイムラインに表示するように制御する表示制御工程と、
前記再生ステップにおいて前記表示画面の異なる表示エリアに再生するようにした前記サブ動画像を選択するサブ動画像選択ステップと、
ユーザからの編集候補点の設定指示を受け付ける設定指示受付ステップと、
前記設定指示受付ステップにおいて前記設定指示を受け付けたとき、前記サブ動画像選択工程において選択したサブ動画像の再生位置を編集候補点として設定し、設定した編集候補点を示すマークを前記タイムラインに対して表示する候補点マーク表示ステップと
を画像処理装置に搭載されたコンピュータが実行するコンピュータ読み取り可能な画像処理プログラム。
請求項７に記載の画像処理プログラムであって、
前記再生ステップにおいては、複数の前記サブ動画像のうち、少なくとも１つのサブ動画像の表示を異なる表示速度で表示するように制御する画像処理プログラム。
請求項７に記載の画像処理プログラムであって、
設定した前記編集候補点を示す情報を、再生対象の前記動画像が記録されている記録媒体とは異なる記録媒体に記録保持するステップを有する画像処理プログラム。