WO2006070601A1

WO2006070601A1 - データ処理装置

Info

Publication number: WO2006070601A1
Application number: PCT/JP2005/022929
Authority: WO
Inventors: Kenji Morimoto
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-12-27
Filing date: 2005-12-14
Publication date: 2006-07-06
Also published as: JP4932493B2; CN101080924A; JPWO2006070601A1; US20080092048A1

Abstract

　テレビ放送等の映像に含まれるコマーシャルのカット等を行う際に番組本編とコマーシャルの境界を高精度に検出可能とする。　データ処理装置は、複数の画像から構成される映像の信号を受け取り、信号に基づいて所定の画像の信号レベルを検出する画像レベル検出部と、画像のデータを記憶するフレーム記憶部と、インデックス情報を付加するコントローラとを有する。この画像レベル検出部は、連続する複数の画像の各信号レベルに基づいて映像の切り替わり点を特定し、コントローラは切り替わり点に対応するデータストリーム内のデータ位置にインデックス情報を付加する。

Description

明細書

データ処理装置

技術分野

[0001] 本発明は、デジタル放送等の映像信号を再生する技術に関する。

背景技術

[0002] デジタル化されて伝送される映像や音声といった情報を光ディスク等の記録媒体に記録するデジタル記録再生装置が実用化されている。これら記録媒体に記録されるデジタル映像ビットストリームは、その記録媒体容量を効率的に利用するために、例えば MPEG2 (Motion Picture Experts Group)等により、フレーム内データ圧縮やフレーム間データ圧縮等により圧縮されて記録されることが一般的である。

[0003] また、デジタル再生装置により、記録された記録媒体を再生する際には、特別に頭出しをして再生したいような再生開始位置をメモリや記録媒体に保存しておき、ユーザの好みに応じて自由に設定した再生開始位置から頭出し再生を行うことが可能である。また、特に複数回の書き換えが可能なデジタル記録再生装置においては、ュ一ザの好みに応じて、記録した映像や音声を切り取ったり、結合したりする編集機能を実現することが特に要望され、実用化されている。また、この編集作業においては、特に TV放送から記録した番組に揷入されるコマーシャルを切り取る編集を行うことが多く想定される。

[0004] また、同じような考え方で、再生時にコマーシャル部分を早送りによりスキップしたいという要望も存在する。いずれも TV放送から記録した番組の本編と挿入されたコマ一シャルの境界を自動的に検出することが必要となる。したがって、 TV放送の番組とコマーシャル部分の境界で記録した映像音声信号にインデックス点を打ち、再生時に自動的に早送りを行ってスキップするといつた記録再生装置が考案されている。

[0005] 以下、図 7を参照しながら、従来の記録再生装置 170の構成および動作を説明する。

[0006] 図 7は、従来の記録再生装置 170の機能ブロックの構成を示す。記録再生装置 17 0は、アンテナ 71と、デジタルチューナー 72と、記録再生部 73と、マイクロコントローラ 3と、ストリーム分離部 4と、ビデオデコード部 5と、フレーム記憶部 6と、 GUI (Graph ical User Interface)混合部 8と、ビデオ出力端子 9と、オーディオデコード部 10と、オーディオ出力端子 11とを有する。記録媒体 1として、例えば光ディスクを想定する

[0007] 記録再生装置 170では、アンテナ 71で受信した放送波を、デジタルチューナー 72 で受信し、映像音声を含むデジタルビットストリームに復調する。記録再生部 73はデジタルビットストリーム信号を記録するための信号に変換して記録媒体 1に記録する。記録媒体 1に記録されるデジタル映像 ·音声信号は記録されると同時に並行して、ストリーム分離部 4で映像と音声ビットストリームにそれぞれ分離される。そして、それぞれビデオデコード部 5およびオーディオデコード部 10へ入力される。ビデオデコード部 5では、入力されたビデオビットストリームはフレーム記憶部 6を用いてデコードされ、再生デコード画像を得る。

[0008] デコードされた画像は、 GUI混合部 8において、必要な場合にはユーザとの機器操作インターフェイスを画面上に表示させる GUI画像を付加して、ビデオ出力端子 9から出力され、 TV等に接続される。オーディオデコード部 10でデコードされたオーディォ信号はオーディオ出力端子 11から出力され、 TV等に接続される。この時、オーディォのモードがステレオからモノラル、あるいはデュアルモノラル（2ケ国語放送）とレ、うように変化する時をオーディオデコード部 10で検出し、マイクロコントローラ 3へ通知する。

[0009] マイクロコントローラ 3は、記録時に検出したオーディオのモードの変化点において、インデックス点を示すインデックス信号を記録媒体 1に記録する。したがって、放送番組の本編がデュアルモノラル（2ケ国語）またはモノラルであり、コマーシャルがステレオ放送であった場合あるいはその逆のような場合において、本編とコマーシャルの境界でインデックス信号を記録することが可能となる。

[0010] したがって、再生時にインデックス信号を検出する毎に通常再生から早送り再生、早送り再生から通常再生と再生モードを自動的に切り換えることで、コマーシャルの自動早送り再生や、コマーシャル以外の自動早送り再生といった機能が実現できる。

[0011] 本例ではデジタル放送と光ディスク記録媒体を利用した記録再生装置を例にあげたが、アナログ放送とデジタル VTR等の記録再生装置であってもまったく同様の構成で自動コマーシャルスキップ再生機能が実現できる。また、インデックス点の位置（インデックス信号が検出されたデータ位置）に基づいてユーザが編集を行って、コマ一シャルカット機能を実現することも可能である。

特許文献 1 :特開平 6— 295488号公報

発明の開示

発明が解決しょうとする課題

[0012] しかし、この場合オーディオモードの切り替わり点の検出により本編とコマーシャノレの境界を検出するため、映像の切り替わり点と完全に一致することは少ない。そのため 1フレーム単位でコマーシャルカット編集を実現したい場合などは、コマーシャル境界がずれてしまい、コマーシャルの 1シーンが一瞬だけ挿入されたり、本編がカットされてしまったりする等の問題があった。また、オーディオのモードが切り替わるコマ一シャルのみにしか適用できず、アナログ放送の映画番組（ニケ国語放送)等を除く多くの放送では適応できないとレ、う問題もあった。

[0013] 本発明の目的は、記録再生装置においてコマーシャルスキップやコマーシャルカツト編集に用いるために自動的に検出するコマーシャルと本編の境界を、 1フレーム単位の高い精度で検出することである。

課題を解決するための手段

[0014] 本発明によるデータ処理装置は、複数の画像から構成される映像の信号を受け取り、前記信号に基づいて所定の画像の信号レベルを検出する画像レベル検出部と、前記画像のデータを記憶するフレーム記憶部と、インデックス情報を付加するコント口一ラとを有する。前記画像レベル検出部は、連続する複数の画像の各信号レベルに基づいて映像の切り替わり点を特定し、前記コントローラは前記切り替わり点に対応する前記データストリーム内のデータ位置にインデックス情報を付加する。

[0015] 前記画像レベル検出部は、前記各信号レベルに基づいて、前記映像のフェードィンの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定してもよい。

[0016] 前記コントローラは、前記切り替わり点の検出を開始する検出指示を出力し、前記画像レベル検出部は、前記検出指示に基づいて前記映像のフェードインの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定してもよい。

[0017] 前記データ処理装置は、前記映像上に GUI画像を混合する GUI混合部をさらに備えていてもよレ、。前記コントローラは、前記 GUI混合部を介して与えられた指示に基づいて前記検出指示を出力してもよい。

[0018] 前記画像レベル検出部は、前記検出指示を受け取った後の最初に検出された前記映像のフェードインの開始点およびフェードアウトの終了点の一方を、前記切り替わり点として特定してもよい。

[0019] 前記コントローラは、前記切り替わり点に基づいて、前記映像のチャプターを設定してもよい。

[0020] 前記データ処理装置は、前記映像上に GUI画像を混合する GUI混合部をさらに備えていてもよい。前記画像レベル検出部は、前記 GUI混合部を介して与えられたフェードインおよび/またはフェードアウトの検出指示に基づいて、前記映像のフエードインの開始点およびフェードアウトの終了点の一方を検出し、前記切り替わり点として特定してちょレ、。

[0021] 前記映像の信号は、前記画像の DC成分と AC成分とに分解したデータに基づいて符号化されたデジタル信号であり、前記画像レベル検出部は、前記所定の画像の D

C成分に基づレ、て前記信号レベルを検出してもよレ、。

[0022] 前記映像の信号はアナログ信号であり、前記画像レベル検出部は、前記所定の画像を構成する複数の画素の各信号レベルに基づレ、て、前記所定の画像の信号レべルを検出してもよい。

[0023] 前記データ処理装置は、映像データをデコードして前記信号を生成するビデオデコード部をさらに備えていてもよい。前記画像レベル検出部は、前記ビデオデコード部によつて生成された前記信号を受け取つてもよい。

[0024] 前記データ処理装置は、前記映像データを含むデータストリームが記録された記録媒体から、前記データストリームを再生する再生部をさらに備えていてもよい。前記ビデオデコード部は、前記再生部によって再生された前記データストリームから前記映像データを取得してもよレ、。

[0025] 前記データ処理装置は、放送波を復調して前記映像データを含むデータストリームを出力する受信部をさらに備えていてもよい。前記ビデオデコード部は、前記受信部によって出力された前記データストリームから前記映像データを取得してもよい。

[0026] 前記画像レベル検出部は、前記映像の全区間のうちの所定区間において、前記切り替わり点を特定してもよい。

[0027] 前記画像レベル検出部は、ユーザが指定した区間および予め設定された区間の一方の区間を前記所定区間として、前記切り替わり点を特定してもよい。

[0028] 前記データ処理装置は、前記映像上に GUI画像を混合する GUI混合部をさらに備えていてもよレ、。前記コントローラは、前記映像の全区間のうちの所定区間に対する前記インデックス情報の設定指示を受け取って、検出指示および混合指示を出力し、前記画像レベル検出部は、前記検出指示に基づいて、前記所定区間において前記切り替わり点を特定し、前記 GUI混合部は、前記混合指示に基づいて前記所定区間の前記映像を出力するとともに、特定された前記切り替わり点の存在を表示してもよい。

発明の効果

[0029] 本発明によれば、再生時にデコード部でデコードされた画像のレベルに基づいてフェードイン点またはフェードアウト点を検出することにより、番組本編とコマーシャノレとの境界を高い精度で検出することができる。特にユーザが指示した再生地点付近に存在する境界を検出して、その境界の位置を特定するインデックス信号を記録することで、後に行う編集作業を高精度かつ効率的に行うことができる。

図面の簡単な説明

[0030] [図 1]実施形態 1による記録再生装置 100の機能ブロックの構成を示す図である。

[図 2]GUI混合部 8によって生成される GUI画像 12の例を示す図である。

[図 3] (a)および (b)は、画像レベル検出部 7の出力信号を示す図である。

[図 4]実施形態 1による記録再生装置のチャプター登録モードの動作手順を示すフロ一チャートである。

[図 5]実施形態 2による GUI画像 57の例を示す図である。園 6]実施形態 2による記録再生装置のチャプター登録モードの動作手順を示すフロ一チャートである。

園 7]従来の記録再生装置 170の機能ブロックの構成を示す。

符号の説明

1 記録媒体

2 再生部

3 マイクロコントローラ

4 ストリーム分離部

5 ビデオデコーダ

6 フレーム記憶部

7 画像レベル検出部

8 GUI混合部

9 映像出力端子

10 オーディオテコータ

11 音声出力端子

12 GUI画像

13 ウィンドウ画面

14 チャプター設定ボタン

15 終了ボタン

16 時間情報

17、 18 ストリーム全体の現在位置表示

19 インデックス信号の位置

20〜45 画像レベル検出部の出力

46 In点検出ボタン

47 Out点検出ボタン

71 アンテナ

72 デジタ/レチューナー

73 記録再生部発明を実施するための最良の形態

[0032] 以下、添付の図面を参照して、本発明によるデータ処理装置の実施形態を説明する。実施形態 1および 2においては、データ処理装置は、記録媒体に録画された映像および音声等の再生処理が可能であるとともに、それらの編集処理も可能である。一般に編集処理は記録機能を利用するため、以下の実施形態においてはデータ処理装置を記録再生装置として説明する。

[0033] (実施の形態 1)

図 1は、本実施形態による記録再生装置 100の機能ブロックの構成を示す。記録再生装置 100は、記録再生部 2と、マイクロコントローラ 3と、ストリーム分離部 4と、ビデォデコード部 5と、フレーム記憶部 6と、画像レベル検出部 7と、 GUI混合部 8と、ビデォ出力端子 9と、オーディオデコード部 10と、音声出力端子 11と、アンテナ 12および 13と、受信部 14とを備えている。

[0034] 記録再生装置 100は、映像および音声を含む番組のデータを記録媒体 1に蓄積すること力 Sできる。このような番組は、デジタル放送波やアナログ放送波から取得できる

[0035] 図 1においては、アンテナ 12はデジタル放送波を受け、アンテナ 13はアナログ放送波を受けて、その放送波を受信部 14に送る。受信部 14は、アンテナ 12からデジタル放送波を受けたときはそのデジタル放送波を復調して、映像音声を含む符号化されたデジタルビットストリームを取得し出力する。また、アンテナ 13からアナログ放送波を受けたときはそのアナログ放送波を復調して、映像音声を含む、符号化されていないデジタルビットストリーム（レ、わゆるベースバンド信号）を生成し、出力する。

[0036] 記録再生部 2は、符号ィ匕されたデジタルビットストリームを受け取ったときは、そのデジタルビットストリームに所定の処理をカ卩えて記録媒体 1に書き込む。所定の処理とは、再生時において、受け取った順序でそのデジタルビットストリームを出力するための時刻情報の付カ卩処理などである。

[0037] また記録再生部 2は、符号化されていないデジタルビットストリームを受け取ったときは、そのビットストリームを MPEG規格等に基づいて圧縮符号化して記録媒体 1に書き込む。 [0038] 以下では記録媒体 1には映像および音声を含む番組が既に格納されているとする。本実施形態においては、記録媒体 1はブルーレイディスクに代表される光ディスクであるとして説明する。なお、一般的には光ディスクは可換媒体であるため、記録媒体 1は記録再生装置 100の構成要素ではなレ、が、例えば記録媒体 1がハードデイスクのような非可換媒体であれば記録再生装置 100の構成要素として取り扱えばよい。

[0039] 本実施形態による記録再生装置 100の特徴のひとつは、映像を構成するフレーム画像の画像レベルに基づいてフェードイン開始点やフェードアウト終了点を自動的に検出することにある。検出された開始点や終了点は映像の切り替わり点として特定されるので、ユーザは検出された点をコマーシャルと本編の境界点であるかを確認できる。データ処理装置は、ユーザによって確認された映像の切り替わり点にインデックス点を打つ（インデックス信号を揷入する）こと力 Sできる。ユーザは後に行われる編集作業時等の任意のインデックス点から再生を開始し、編集等を実行できるため、作業を効率的に行うことができる。なお、開始点、終了点、切り替わり点、境界点等は、いずれも映像の構成単位を意味している。

[0040] 本明細書においては、フレーム画像が映像の構成単位であるとする。すなわち複数のフレーム画像が所定の周波数で次々と切り替えられて映像が表示されるとする。なお、映像の構成単位として挙げるフレーム画像は例であり、フィールド画像であつてもよい。

[0041] 記録媒体 1に記録された、映像データや音声データを含むデータストリームは、マイク口コントローラ 3の指示により再生部 2によって再生される。ここでレ、う「再生」とは、記録媒体 1にレーザ光を放射して反射光を取得し、その反射光から記録媒体 1に記録された情報を取得することをいう。記録媒体 1には記録対象の情報に応じて、ピット (またはマーク）が形成されており、ピットとピット以外の部分の光学的特性が異なることを利用して、情報を記録し、記録された情報を再生することができる。

[0042] 再生されたデータストリームは、例えば複数の TSパケットから構成された MPEG2 -TS (Transport Stream)のようなビットストリームである。一般に TSパケットは通常 4バイトのトランスポートパケットヘッダと、 184バイトのペイロードとから構成されている。パケットヘッダには、そのパケットの種類を特定するパケット識別子（パケット ID )が記述されている。例えば、ビデオ TSパケットの PIDは" 0x0020"であり、オーディォ TSパケットの PIDは" 0x0021 "である。ペイロードにはエレメンタリデータや付加情報等が格納される。エレメンタリデータは、ビデオデータ、オーディオデータ等のコンテンッデータや、再生を制御するための制御データ等である。どのようなデータが格納されているかは、パケットの種類に応じて異なる。

[0043] ストリーム分離部 4は、上述のパケット IDを利用することにより、映像データを含む T Sパケットと、音声データを含む TSパケットとを分離する。そして、分離された各パケットから取得される映像データおよび音声データを出力する。出力された映像データはビデオデコード部 5でフレーム記憶部 6を用いてデコードされ、映像信号として GU I混合部 8に伝送される。 GUI混合部 8は、映像信号に対してユーザの機器操作のためのインターフェイス画像の画像信号を重畳し、複合映像信号を生成する。複合映像信号はビデオ出力端子 9から出力される。一方、音声データはオーディオデコード部 10によりデコードされ、音声信号として音声出力端子 11から出力される。

[0044] 上述の手順にしたがって、記録再生装置 100は記録媒体 1に記録された映像や音声等の情報を再生して映像 (画像)信号や音声信号を出力する。特に GUI混合部 8 は再生対象となる映像にユーザに機器操作を行わせるためのインターフェイス画像を重畳させることができる。このインターフェイス画像を通して、ユーザは任意の映像意の映像フレームから頭出し再生を可能とするためのインデックスを設定することをレ、い、具体的には特定のデータ位置にインデックス信号 (インデックスを示す情報）を付加または挿入することをいう。インデックス信号として、記録媒体上のアドレス情報を利用することができる。すなわち、インデックス点を打つべきデータ位置のアドレス情報を記録媒体 1に別途記録しておけばよい。記録再生装置 100はそのアドレス情報を再生時に読み出すことにより、そのアドレス情報によって特定される記録媒体 1 上の位置からビットストリームを再生することができる。インデックス信号は、例えばマイク口コントローラ 3の指示に基づいて付力卩し揷入される。

[0045] インデックス点は上記のように容易に頭出しをして再生する場合のみならず、ストリームを切断する編集作業時においても利用される。すなわちインデックス点は、そのデータ位置でストリームを分割したり、あるインデックス点からあるインデックス点までの間を削除したり、インデックス点からインデックス点までの間をチャプターと定義し、チャプター単位で順序を並べ替えたり削除する等の編集作業時に利用される。これら編集作業を行う際には、高精度なフレーム単位でインデックス点を設定できることが好ましい。

[0046] 図 2は、 GUI混合部 8によって生成される GUI画像 12の例を示す。この GUI画像 1 2は、 TV等の表示装置の画面に表示される。本例ではウィンドウ 13内に再生画像をはめ込み、再生動作を行うとこの領域に再生画像が表示される。画面上にはチヤプタ一設定ボタン 14を設け、リモコン操作等により任意のフレームにインデックス信号を揷入して、チャプターを作成することが可能である。この時ユーザは、リモコン操作により早送りやスロー、コマ送りといった操作で所望のフレームを画面上で確認しながら探すことができ、適切なフレームに対してインデックス点を設定できる。チャプターの設定は、その先頭および末尾に対応するインデックス点を特定すればよい。

[0047] ユーザが画面上で終了ボタン 15を押下して作業の終了を指示すると、全体画像 1 2には、例えば記録番組の先頭からの時間を示す表示窓 16が表示される。また画面上には、ストリーム全体の再生時間に対応したバー 17が表示される。バーに対してはストリーム中の現在の再生点 18が示される。これらの表示に基づいて、ユーザは所望の再生地点を探す際にこれらの情報を補助的に利用できる。さらにバーに対しては、インデックス信号が挿入されたストリーム内の時間位置を模式的に表示している。

GUI画像 12を通じて、基本的にはユーザが指定した自由な再生位置にインデックス信号を記録してチャプターを作成することができる。

[0048] 本実施形態においては、フェードイン Zアウト点検出を可能とするモードに切り換えた状態、または常にフェードイン Zアウト点を検出可能な状態において、ユーザがチャプター作成ボタンを押した場合にその前後 N秒間のフェードイン/アウト地点を自動的に検出してチャプターを打つことが可能である。 Nはユーザが自由に設定できてもよレ、し、予め指定されていてもよレ、。上述のように、チャプターの作成時にはインデックス信号の記録 (インデックス点の設定）が行われるため、任意の区間にインデックス点を設定できる。すなわち、チャプター作成ボタンの押下により、ユーザからのインデッタス点の設定およびチャプターの作成が指示される。

[0049] ここで、図 3を参照しながらフェードイン/アウト点検出の仕組みを説明する。図 3 (a )および (b)は、画像レベル検出部 7の出力信号を示す。画像レベル検出部 7は、図 3 (a)の時刻 20〜32および図 3 (b)の時刻 33〜45のタイミングで画像のレベルを検出し、その結果を出力している。この「画像」とは映像の構成単位であり、フレームなどとも呼ばれる。複数の画像が所定の周波数（例えば NTSC方式では 30Hz)で次々と切り替えられることにより、映像として表示される。図示される各時刻の間隔は映像 1 フレームあたりの表示時間である。すなわち図 3 (a)および (b)は、デコードした画像の画像レベルの変化を 1フレーム毎に表してレ、る。

[0050] 画像レベルは、例えば MPEG2ストリームの場合は 8x8画素で構成される DCT(Di screte Cosine Transform)ブロックの DC成分に基づいて計算される。 MPEG2 ビデオエレメンタリストリームでは、映像信号を圧縮し、ピクチャ層、スライス層、マクロブロック層の順に小さくなる階層構造で画像データが伝送される。 DCTブロックはマクロブロック層において伝送される。たとえばフレーム構造では通常 1フレーム画面を 8x8画素の DCTブロックで分割した数に相当する個数だけ伝送される。

[0051] DCTブロックには、 8x8画素の平均画像レベルを表す DC成分と、 8x8画素の周波数成分を表す AC係数が順に伝送される。ビデオデコード部 5におレ、てマクロブロック層のデータをデコードするときには、たとえば画像レベル検出部 7は、 1フレーム画面期間において DC成分の値を加算し、あるいは平均値を計算することで、 1フレーム全体の DC成分の値（DCTブロック数分の画像レベルの合計値または平均値）を得ること力 Sできる。図 3 (a)および（b)では、このようにして得られた値が各フレームの画像レベルとして記載されてレヽる。

[0052] 例えば図 3 (a)は番組本編がフェードアウトしながら黒画面になり、直後にコマーシャルに切り替わる場合を示してレ、る。画像レベルはフレーム 21から 24のフレーム毎に滑らかに低くなり、フレーム 25、 26、 27等ではほぼ 0に近づいた状態（フェードァゥト終了時）から、コマーシャルに入った最初のフレーム 28で急激にレベルが大きくなつている。例えば画像レベル検出部 7は、点線で示すような 3段階のレベルを設けて画像レベルを監視する。そして、画像レベルがフレーム毎に単調減少を続け、最もレベルの低レ、ゾーンに入った場合をフェードアウトしてレ、る状態と検出することは容易に可能である。また最もレベルの低いゾーンにあるフレーム 27から、例えば 2段階を超えてレベルが大きくなつているフレーム 28については、黒画面から急に映像が始まったことを示している。したがって、この例の場合はアウト点と矢印で示すように、フレーム 27をフェードアウトした映像の最後のフレームと判定することができる。

[0053] 同様に、図 3 (b)にはフェードイン点を検出する場合のしくみを示している。点線で示す 3段階のレベルで分けられたゾーンを 1フレームのうちに越えて最もレベルの低いゾーンに入ったフレームをフレーム 38とする。その後、フレーム 39力、ら 43に力、けて、毎フレーム毎に画像レベルは単調増加を続けている。したがって、矢印イン点で示すようにフレーム 38までがフェードイン開始前であり、フレーム 38をフェードイン点（フエードイン開始時）と判定することが可能である。

[0054] これら 3段階のレベル設定や判定方法は上で述べた以外にも様々な調整や判定精度を変えることでフェードイン/アウト点を検出することができる。

[0055] 次に、図 4を参照しながら、本実施形態による記録再生装置 100の動作を説明する。図 4は、記録再生装置 100のチャプター登録モードの動作手順を示す。チャプター登録モードの開始時は、ユーザの指示によるインデックス点を打つ処理に入る。ステップ 49において、図 2に示す GUI画像 12を表示して通常再生開始を行うと共に、ステツプ 50で画像レベル検出部によるフェードイン/アウト点検出可能状態になる。さらにステップ 51においてユーザがシーンを探すために特殊再生指示を行った場合は早送りやスロー、コマ送りといった再生動作に追従する。ユーザは再生画面をみて、インデックス点を打ちたい付近でフェードイン/アウト点を見つけた場合、またはフエードイン Zアウトがそろそろ出現しそうであると判断した場合に、ステップ 52においてチャプター作成を指示する。過去 N秒以内にフェードイン Zアウト点が出現していた場合はステップ 55に進み、ステップ 55においてフェードイン/アウト点検出を行つていた画像レベル検出部 5およびマイクロコントローラ 3は、その検出したフレームにインデックス点を打ちチャプターを登録する。また過去 N秒以内に出現していなかつた場合はステップ 54に進み、ユーザ指示点から通常再生を行ってフェードイン/ァゥト点を検出する。そして、ステップ 55に進んで検出したフレームにインデックス点を打ちチャプターを登録する。

[0056] その後、ステップ 56において終了ボタン 15が押下されたか否かが判断され、押下されていなければさらに次のインデックス点を打つ動作を継続する。終了ボタン 15が押された場合はチャプター登録モードを終了する。例えば、 GUI画面 12の表示を終了し、通常再生画面等に戻る。

[0057] 上述のステップ 53および 55によれば、おおよその場所を探して再生しチャプター作成ボタンを押すだけで、 1フレーム単位で正確に所望のフレームにインデックス点を打ってチャプターを作成することが可能となる。よって、ユーザがコマーシャルとの境界やシーンの変わり目等でフェードイン/アウト点を探してスローやコマ送りを繰り返していた手間がなくなるため、利便性が大幅に向上する。

[0058] インデックス点として挿入されたインデックス信号を検出することにより、そのフレームから頭出し再生をする、コマーシャルスキップ再生を行う、チャプター単位の編集を行う等の様々な機能を実現することが可能である。特に編集作業にぉレ、てコマーシャルカットを繰り返し行う際に、効率的で高精度な編集点作成を行うことが可能となる

[0059] なお、本実施形態では GUI画像 12を用いて、ユーザが指示したフレーム付近でィンデッタス点を打つ構成を説明したが、再生中にユーザの指示なく完全に自動的にフェードイン/アウト点をすベて探してインデックス点を打つことも可能である。

[0060] (実施形態 2)

本実施形態による記録再生装置の構成は、実施形態 1と全く同様であり、図 1に示される構成を持つ。よって本実施形態による記録再生装置は、引き続き「記録再生装置 100」として説明する。実施形態 1では、 GUI画像 12 (図 2)を利用して、 1つのチヤプター作成指示ボタン 14でフェードイン Zまたはフェードアウト点を探してインデックス点を打つとして説明した。

[0061] 本実施形態においては、ユーザがフェードイン点、またはフェードアウト点を明示的に指示して検出を行レ、、インデックス点を打つことが可能である。図 5は、本実施形態による GUI画像 57の例を示す。 GUI画像 57が実施形態 1による GUI画像 12 (図 2) と異なるのは、チャプター設定ボタン 14に代えてイン点検出ボタン 46およびアウト点検出ボタン 47を備えていることにある。それぞれのボタンを選択してユーザが指示することで、記録再生装置 100はフェードイン点およびフェードアウト点を別個に検出し、それぞれに対してインデックス点を打つことができる。

[0062] 次に、本実施形態による記録再生装置 100の動作を説明する。図 6は、記録再生装置 100のチャプター登録モードの動作手順を示す。チャプター登録モードの開始時は、ユーザの指示によるインデックス点を打つモードに入る。ステップ S59において、図 5に示す GUI画像 57を表示して通常再生開始を行うと共に、ステップ 60において画像レベル検出部によるフェードイン/アウト点検出状態になる。さらにステップ 61においてユーザがシーンを探すために特殊再生指示を行った場合は早送りゃスロー、コマ送りといった再生動作に追従する。ユーザは再生画面をみて、インデックス点を打ちたい付近でフェードイン Zアウト点を見つけた場合、またはフェードイン/ァゥトがそろそろ出現しそうであると判断した場合に、ステップ 62においてチャプター作成を指示する。

[0063] このとき、ユーザはフェードイン点を見つけたいの力、フェードアウト点を見つけたいのかを選択してボタン 46または 47を押す。ステップ 63において、いずれのボタン 46 または 47が押されたかを判定し、フェードイン点検出指示 46が押された場合はステップ 64に進む。ステップ 64においてフェードイン点検出を行っていた画像レベル検出部 5とマイクロコントローラ 3は、ステップ 68に進んでその検出したフレームにインデックス点を打ちチャプターを登録する。また過去 N秒以内に出現していなかった場合はステップ 65に進み、ユーザ指示点から通常再生を行ってフェードイン点を検出する。そしてステップ 68において検出したフレームにインデックス点をうちチャプターを登録する。

[0064] 同様にフェードアウト点検出指示 47が押された場合は、ステップ 66に進む。フエ一ドアウト点検出を行っていた画像レベル検出部 5とマイクロコントローラ 3は、過去 N秒以内にフェードアウト点が出現していた場合はステップ 68に進んで、その検出したフレームにインデックス点をうちチャプターを登録する。また過去 N秒以内に出現していなかった場合はステップ 67に進み、ユーザ指示点から通常再生を行ってフヱードアゥト点を検出する。そしてステップ 68において検出したフレームにインデックス点をうちチャプターを登録する。

[0065] その後、ステップ 69において終了ボタン 15が押下されたか否かが判断され、押下されていなければさらに次のインデックス点を打つ動作を継続する。終了ボタン 15が押された場合はチャプター登録モードを終了する。例えば、 GUI画面 57の表示を終了し、通常再生画面等に戻る。

[0066] 上述のステップ 63〜68によれば、おおよその場所を探して再生し、かつフェードィン点カ、フェードアウト点かを選択してボタンを押すだけで 1フレーム単位で正確に所望のフレームにインデックス点を打つてチャプターを作成することが可能となる。すなわち、番組本編からコマーシャルへ切り替わる点ではフェードアウトされることが多ぐコマーシャルから番組本編へ切り替わる点ではフェードインされることが多いので、これらの場所でインデックス点を打ちたい場合、あら力、じめフェードインかフェードアウトを選択して確実に番組境界を検出することが可能である。また、番組本編とコマーシャルの境界だけでなぐ例えば歌手のプロモーションビデオの最初と最後、あるいは映像シーンの最初と最後といったフェードインで始まりフェードアウトで終わるようなフレームにインデックス点を効率的に打つことができる。よって、ユーザがコマーシャルとの境界やシーンの変わり目等でフェードイン/アウト点を探してスローやコマ送りを繰り返していた手間がなくなるため、利便性が大幅に向上する。

[0067] インデックス点が打たれた後は、実施形態 1におレ、ても説明したと同様、インデックス点として挿入されたインデックス信号を検出することにより、そのフレームから頭出し再生をする、コマーシャルスキップ再生を行う、チャプター単位の編集を行う等の様々な機能を実現することが可能である。また、編集作業においてコマーシャルカットを繰り返し行う際に、効率的で高精度な編集点作成を行うことも可能となる。

[0068] なお、本実施形態においても GUI画像 57を用いてインデックス点をユーザが指示した再生フレーム付近で打つ構成を説明したが、再生中にユーザの指示なく完全に自動的にフェードイン/アウト点をすベて探してインデックス点を打つことも可能である。

[0069] 実施形態 1および 2においては、図 1に示す再生機能に関連する処理のみを説明した。しかしこれは、従来例図 7のような記録機能をもつ記録再生装置の構成を排除するものではない。記録機能を利用してインデックス点を打つ態様としては、例えば記録時において自動的にフェードイン/アウト点を検出してインデックス点を打つてもよい。ビデオデコード部を用いて画像をデコードしているため、記録時にも同様の処理が可能だからである。

[0070] なお、実施形態 1および 2共に、チャプター登録モードの GUI画像では、フェードィン /フェードアウト点を自動的に検出するボタンのみを表示しているが、通常のユーザが明確に指示したフレームにインデックス点を打つボタンを同時に表示し、ユーザ力 Sさらに動作の選択を行って実行させてもよい。

[0071] また、フェードイン、フェードアウト点を画像が黒レベル、すなわちレベルが低くなる部分を検出してインデックス点を打つとして説明したが、画像が白レベル、すなわちレベルが高くなる部分を検出してインデック信号を打つモードを併せ持ち、切り換え動作させてもよい。

[0072] また実施形態 1および 2共に、デジタル信号をデコードする際に画像レベルを検出する。この処理は、デジタル放送番組をデジタル情報として記録し、再生するときのみならず、アナログ放送番組をデジタル化して記録し、再生するときであっても適用できる。

[0073] さらに、上述の処理は、アナログ放送番組をデジタル化することなく記録し再生するときであっても適用可能である。具体的には、アナログ映像信号の画像レベルを検出して、インデックス点を打つことができる。

[0074] アナログ映像信号の映像にインデックス点を打つときには、 A/Dコンバータとアナログ信号用の画像レベル検出部が必要である。この A/Dコンバータは、アナログ映像信号をデジタル映像信号に変換する機能を有しており、たとえば記録再生部 2にも含まれている。

[0075] またアナログ信号用の画像レベル検出部は、たとえば図 1の画像レベル検出部 7の位置に配置され、得られたデジタル映像信号の画像レベルを検出する機能を有している。ただし、得られたデジタル映像信号は MPEG2ストリームではなぐ符号化されていないため、上述の DC成分を利用した処理はできない。

[0076] そこで画像レベル検出部は、画像を構成する複数の画素の各画像レベルをサンプリングし、 1フレームの平均画像レベルを算出する。この平均画像レベルを上述の DC 成分の平均値に対応する値として利用すれば、画像レベル検出部はフェードイン点 /フェードアウト点を検出できる。

[0077] 実施形態 1および 2における記録再生装置 100の動作は、図 4または図 6に示す処理手順を規定したコンピュータプログラムに基づいて実現される。例えばマイクロコントローラ 3は、そのようなコンピュータプログラムを実行することによって記録再生装置 100の各構成要素を動作させ、上述した処理を実現することができる。コンピュータプログラムは、 CD— ROM等の記録媒体に記録して巿場に流通され、または、インタ一ネット等の電気通信回線を通じて伝送される。これにより、コンピュータシステムを、上述のデータ処理装置と同等の機能を有する再生装置として動作させることができる

産業上の利用可能性

[0078] 本発明による記録再生装置は、画像のレベルを検出することによってフェードイン /フェードアウト点を検出し、番組本編とコマーシャルとの境界等の映像の境界を高い精度で検出することができる。この境界をインデックス点として登録することにより、後の編集作業を効率的に行うことが可能な記録再生装置を得ることができる。

Claims

請求の範囲

[1] 複数の画像から構成される映像の信号を受け取り、前記信号に基づいて所定の画像の信号レベルを検出する画像レベル検出部と、

前記画像のデータを記憶するフレーム記憶部と、

インデックス情報を付加するコントローラと、

を有するデータ処理装置であって、

前記画像レベル検出部は、連続する複数の画像の各信号レベルに基づレ、て映像の切り替わり点を特定し、前記コントローラは前記切り替わり点に対応する前記データストリーム内のデータ位置にインデックス情報を付加する、データ処理装置。

[2] 前記画像レベル検出部は、前記各信号レベルに基づいて、前記映像のフェードィンの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定する、請求項 1に記載のデータ処理装置。

[3] 前記コントローラは、前記切り替わり点の検出を開始する検出指示を出力し、

前記画像レベル検出部は、前記検出指示に基づいて前記映像のフェードインの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定する、請求項 1に記載のデータ処理装置。

[4] 前記映像上に GUI画像を混合する GUI混合部をさらに備え、

前記コントローラは、前記 GUI混合部を介して与えられた指示に基づいて前記検出指示を出力する、請求項 3に記載のデータ処理装置。

[5] 前記画像レベル検出部は、前記検出指示を受け取った後の最初に検出された前記映像のフェードインの開始点およびフェードアウトの終了点の一方を、前記切り替わり点として特定する、請求項 4に記載のデータ処理装置。

[6] 前記コントローラは、前記切り替わり点に基づいて、前記映像のチャプターを設定する、請求項 1に記載のデータ処理装置。

[7] 前記映像上に GUI画像を混合する GUI混合部をさらに備え、

前記画像レベル検出部は、前記 GUI混合部を介して与えられたフェードインおよび/またはフェードアウトの検出指示に基づいて、前記映像のフェードインの開始点およびフェードアウトの終了点の一方を検出し、前記切り替わり点として特定する、請求項 6に記載のデータ処理装置。

[8] 前記映像の信号は、前記画像の DC成分と AC成分とに分解したデータに基づいて符号化されたデジタル信号であり、

前記画像レベル検出部は、前記所定の画像の DC成分に基づいて前記信号レべルを検出する、請求項 1に記載のデータ処理装置。

[9] 前記映像の信号はアナログ信号であり、

前記画像レベル検出部は、前記所定の画像を構成する複数の画素の各信号レべルに基づいて、前記所定の画像の信号レベルを検出する、請求項 1に記載のデータ処理装置。

[10] 映像データをデコードして前記信号を生成するビデオデコード部をさらに備え、前記画像レベル検出部は、前記ビデオデコード部によって生成された前記信号を受け取る、請求項 1に記載のデータ処理装置。

[11] 前記映像データを含むデータストリームが記録された記録媒体から、前記データストリームを再生する再生部をさらに備え、

前記ビデオデコード部は、前記再生部によって再生された前記データストリームから前記映像データを取得する、請求項 1に記載のデータ処理装置。

[12] 放送波を復調して前記映像データを含むデータストリームを出力する受信部をさらに備え、

前記ビデオデコード部は、前記受信部によって出力された前記データストリームから前記映像データを取得する、請求項 1に記載のデータ処理装置。

[13] 前記画像レベル検出部は、前記映像の全区間のうちの所定区間において、前記切り替わり点を特定する、請求項 3に記載のデータ処理装置。

[14] 前記画像レベル検出部は、ユーザが指定した区間および予め設定された区間の一方の区間を前記所定区間として、前記切り替わり点を特定する、請求項 13に記載のデータ処理装置。

[15] 前記映像上に GUI画像を混合する GUI混合部をさらに備え、

前記コントローラは、前記映像の全区間のうちの所定区間に対する前記インデックス情報の設定指示を受け取って、検出指示および混合指示を出力し、前記画像レベル検出部は、前記検出指示に基づいて、前記所定区間において前記切り替わり点を特定し、

前記 GUI混合部は、前記混合指示に基づいて前記所定区間の前記映像を出力するとともに、特定された前記切り替わり点の存在を表示する、請求項 1に記載のデータ処理装置。