JP3939685B2 - オートディスクチェンジ制御方法及びビデオ再生装置 - Google Patents

オートディスクチェンジ制御方法及びビデオ再生装置 Download PDF

Info

Publication number
JP3939685B2
JP3939685B2 JP2003289768A JP2003289768A JP3939685B2 JP 3939685 B2 JP3939685 B2 JP 3939685B2 JP 2003289768 A JP2003289768 A JP 2003289768A JP 2003289768 A JP2003289768 A JP 2003289768A JP 3939685 B2 JP3939685 B2 JP 3939685B2
Authority
JP
Japan
Prior art keywords
video
moving image
playback
ending
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003289768A
Other languages
English (en)
Other versions
JP2005063513A (ja
Inventor
恭隆 遠藤
匡則 櫛部
克哉 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2003289768A priority Critical patent/JP3939685B2/ja
Publication of JP2005063513A publication Critical patent/JP2005063513A/ja
Application granted granted Critical
Publication of JP3939685B2 publication Critical patent/JP3939685B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Automatic Disk Changers (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、主として、収容した複数枚の記録ディスクの内の任意の記録ディスクを選択的に再生対象とし、再生対象とした記録ディスクに記録されたビデオプレゼンテーションを再生するディスクチェンジャ機能を備えたビデオ再生装置において、ユーザ操作によらず自動的に再生対象とする記録ディスクを切り替えるオートディスクチェンジの技術に関するものである。
複数枚の記録ディスクを収容し、ユーザ操作によらず自動的に再生する記録ディスクを切り替えるオートディスクチェンジの技術としては、オーディオプレゼンテーション(楽曲等)をトラックとして記録したCD-DAを複数枚収容し、順次、各CD-DAに記録されたトラックを再生するCDチェンジャ装置などが知られている。
そして、このようなCDチャンジャ装置では、通常、各CD-DAに記録されたトラックを記録順に先頭のトラックから最終のトラックまで再生し、最終のトラックの再生が終了した時点で、そのCD-DAの再生が終了したものとして、再生するCD-DAの次のCD-DAへの切り替えを行うことによりオートディスクチェンジを実現している。
一方、ビデオプレゼンテーションの記録に用いることのできるビデオ記録ディスクとしてはDVD-Videoディスクが知られている。そして、このようなDVD-Videoディスクを複数枚収容し、ユーザ操作に応じて、収容した複数枚のDVD-Videoディスクの内の任意のDVD-Videoディスクを選択的に再生するディスクチェンジャ機能を備えたDVDビデオ再生装置も知られている(たとえば、特開2001-176202号公報)。
また、ビデオに含まれる内容を抽出する技術としては、ビデオ中に含まれる字幕を検出する技術が知られている(たとえば、特開平11−205679号公報)。
この出願の発明に関連する先行技術文献情報としては以下のものがある。
特開2001-176202号公報 特開平11−205679号公報
さて、DVD-Videoディスクでは、ビデオプレゼンテーションは主としてタイトルとして記録されている。一方、DVD-Videoディスクでは、CD-DAにおいて各オーディオプレゼンテーションのディフォルトの再生順がトラックの記録順として規定されるのとは異なり、DVD-Videoディスクのプロバイダがタイトルの再生シーケンスを任意に規定することができる。したがって、DVD-Videoディスクのプロバイダは、タイトルをエンドレスに再生しつづけるような再生シーケンスを規定することも可能である。また、多くのDVD-Videoディスクでは、タイトル再生終了毎にメニューを表示して、ユーザから次に再生するタイトルの指定を受け付けて、その再生を行う再生シーケンスが規定されている。
すなわち、DVD-Videoディスクの場合、DVD-Videoディスクの再生終了という概念は通常存在しない。そして、このため、最終トラックの再生終了をもって一枚のCD-DAの再生終了としてCD-DAを切り替える前記CDチャンジャ装置におけるCD-DAのオートディスクチェンジの技術を、対象をトラックからタイトルに置き換えることによりDVD-Videoディスクのオートディスクチェンジに適用することはできない。そして、このために従来は、収容した複数枚のDVD-Videoディスクの内の任意のDVD-Videoディスクを選択的に再生するディスクチェンジャ機能を備えたDVDビデオ再生装置においては、オートディスクチェンジを行うことができなかった。すなわち、複数枚のDVD-Videoディスクを利用する場合、ユーザは、自身でDVD-Videoディスク切り替えの要否を判断し、DVD-Videoディスクの切り替え操作をDVDビデオ再生装置に対して行って、ディスクチェンジを行う必要があった。
また、この場合において車載のディスクチェンジャ機能を備えたDVDビデオ再生装置が、走行中はビデオ出力を停止し音声出力のみを行うDVDビデオ再生装置であるときに、DVD-Videoディスクにタイトル再生終了後にメニューを表示する再生シーケンスが定義されている場合において、メニューに音声が伴わない場合には、このメニューの表示に遷移すると、ビデオ出力も音声出力も行われないといった状態となってしまい、ユーザに不審な感じを与えてしまうという問題もあった。
そこで、本発明は、収容した複数枚の記録ディスクの内の任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクに記録されているビデオプレゼンテーションを再生するディスクチェンジャ機能を備えたビデオ再生装置において、記録ディスクの再生シーケンスより記録ディスクの再生終了位置を定めることができない場合であっても、ユーザにとって有意なビデオプレゼンテーションを再生しながら、記録ディスクを切り替えるオートディスクチェンジ機能を実現することを課題とする。
前記課題達成のために、本発明は、各々1または複数のビデオタイトルの動画データを記録した記録ディスクを複数枚収容し、収容した任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクを再生するビデオ再生装置に、前記再生対象となっている前記記録ディスクに記録された動画データが表す動画を再生する再生手段と、前記動画データが表す動画の特徴に基づいて、前記再生手段における前記ビデオタイトルのエンディングロールの再生を検出するエンディングロール再生検出手段と、前記エンディングロール再生手段の前記エンディングロールの再生の検出に基づいて、前記再生対象とする記録ディスクを切り替えるディスクチェンジ制御手段とを備えたものである。
このようなビデオ再生装置によれば、前記動画データが表す動画の特徴に基づいてエンディングロールの再生を、ユーザにとって有意なビデオタイトルの終了部分として検知して、当該検知に基づきディスクチェンジを行うことにより、記録ディスクの再生シーケンスよりビデオ記録ディスクの再生終了位置を定めることができない場合であっても、ユーザにとって有意なビデオタイトル再生終了時のオートディスクチェンジを実現することができる。
ここで、前記ビデオ再生装置において、前記動画データは、動き補償予測によって算出した動画中の各画像領域の動きベクトルを用いて、動画を圧縮符号化した動画データである場合には、前記エンディングロール再生検出手段において、動画データが表す動画中の各画像領域の動きベクトルが、各画像領域の下方から上方へ向かう移動傾向を所定レベル以上強く所定期間以上示し続けた場合に、前記再生手段における前記ビデオタイトルのエンディングロールの再生を検出するようにすることができる。
ここで、ビデオタイトルのエンディングロールは、通常、下から上に向かって出演者やスタッフの名称等の文字列が、ユーザが文字列を視認可能な速度範囲の一定の速度で移動しながら表示(スクロール表示)されるものとなっているので、エンディングロールの再生中は、動きベクトルが、各画像領域の下方から上方へ向かう移動傾向を所定レベル以上強く示すことになる。したがって、このようにすることによりエンディングロールの再生を良好に検出することができる。なお、各画像領域の下方から上方へ向かう移動傾向の大きさは、たとえば、過去一定期間の、下から上へ向かう所定の速度範囲内の速度の動きを表す、相互に近接する動き量を持つ画像領域の数や、その数の全画像領域の数に対する比率として求めるようにしても良い。
また、この場合には、前記エンディングルール再生検出手段において、前記動画データが表す動画の輝度分布が高輝度画素と低輝度画素に所定レベル以上偏っている場合にのみ、前記エンディングロールの再生の検出を行うようにしてもよい。
ここで、通常、エンディングロールは黒色などの低輝度の背景上に、白色などの高輝度の文字で出演者やスタッフの名称等が表示されたものとなっており、その動画の輝度分布は、高輝度画素と低輝度画素に所定レベル以上偏ったものとなる。したがって、このようにすることによりエンディングロールの再生の誤検出を抑制することができるようになる。
また、以上のビデオ再生装置においては、前記エンディングルール再生検出手段は、前記ビデオタイトルの終わり部分の動画データに対してのみ、前記動画の特徴に基づく前記エンディングロールの再生の検出を行うようにしてもよい。ここで、エンディングロールは、前記ビデオタイトルの終わり部分で表示されるので、このようにすることによりエンディングロールの再生の誤検出を抑制することができるようになる。
また、以上のビデオ再生装置においては、前記エンディングルール再生検出手段は、動画の画面上における左右方向について中央の領域のみを対象として、前記動画の特徴に基づく前記エンディングロールの再生の検出を行うようにしてもよい。ここで、エンディングロールは、通常、左右方向についての中央領域で文字列をスクロール表示するものとなっている。したがって、このようにすることによりエンディングロールの再生をより良好に検出することができるようになる。
また、以上の各ビデオ再生装置において、前記記録ディスクは、たとえばDVD-Videoディスクであり、前記動画データは、たとえばMPEG2(Moving Picture Experts Group Phase 2 )規格に従って圧縮符号化された動画データである。
以上のように、本発明によれば、収容した複数枚の記録ディスクの内の任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクに記録されているビデオプレゼンテーションを再生するディスクチェンジャ機能を備えたビデオ再生装置において、記録ディスクの再生シーケンスより記録ディスクの再生終了位置を定めることができない場合であっても、ユーザにとって有意なビデオプレゼンテーションを再生しながら、記録ディスクを切り替えるオートディスクチェンジ機能を実現することができる。
以下、本発明の実施形態について説明する。
図1に、本実施形態に係るDVDビデオ再生装置の構成を示す。
図示するように、DVDビデオ再生装置は、複数枚のDVD-Videoディスク1を収容し、収容した複数枚のDVD-Videoディスク1の内から選択的に1枚のDVD-Videoディスク1をローディングし、ローディングしたDVD-Videoディスク1からデータを再生するDVDチャンジャ10を備えている。また、DVDビデオ再生装置は、DVDチャンジャ10を介してDVD-Videoディスク1のデータにアクセスするデータアクセス制御部11、主制御部12、リモートコントローラなどの操作部13、ナビゲーションマネージャ14、プレゼンテーションエンジン15、表示装置16、スピーカ等の音声出力装置17とを有する。
DVD-Videoディスク1は、DVD-ROM規格(物理規格)に従ったリードイン領域とリードアウト領域とその間のデータ領域とを有し、データ領域には、UDF-Bridge規格(ファイル規格)に従ってボリューム及びファイル構造を記述したボリューム及びファイル構造領域が設けられている。また、データ領域には、複数のファイルよりなるファイル群が格納されており、これらファイル群中のデータがDVD-Video規格に従ったアプリケーションデータとなる。そして、このアプリケーションデータは、大別して音声データや動画データやサブピクチャデータやハイライト情報などのプレゼンテーションの実体を格納したプレゼンテーションデータと、プレゼンテーションの実行を制御するためのナビゲーションデータとよりなる。
プレゼンテーションエンジン15において、デマルチプレクサ機能部151は、データアクセス制御部11、DVDチャンジャ10を介してDVD-Videoディスク1から、プレゼンテーションデータを読み込み、プレゼンテーションデータから音声データ、動画データ、サブピクチャデータ、ボタンのハイライト情報などを抽出する。オーディオデコーダ152は、抽出された音声データをデコードしてオーディオ出力装置17に再生音声として出力し、ビデオデコーダ153は抽出された動画データをデコードし、PCI、HLIデコーダ154はハイライト情報HLIをデコードし、サブピクチャ処理部155はハイライト情報HLIを必要に応じて用いながらサブピクチャを描画する。合成制御部156は、デコードされた動画と描画されたサブピクチャを合成して再生画像としてウインドウ制御部に出力する。なお、このようにして動画と合成して表示されるサブピクチャは、主としてメニューの表示に用いられる。また、ビデオデコーダ153は、再生している動画についての所定の情報を再生画像情報として、主制御部12に通知する機能も備えている。この再生画像情報については後に詳述する。
また、ナビゲーションマネージャ14は、データアクセス制御部11、DVDチャンジャ10を介して読み込んだナビゲーションデータと、操作部13より受け取ったユーザ操作とに応じて、プレゼンテーションエンジン15における、プレゼンテーションの再生シーケンスを決定し、決定した再生シーケンスにおける、プレゼンテーションエンジン15の再生出力動作を制御する。
主制御部12は、ナビゲーションマネージャ14のタイトルの再生状況やビデオデコーダ153から通知される再生画像情報に応じて、再生するDVD-Videoディスク1を切り替えるオートディスクチェンジ処理を行う。
次に、図2に、DVDチャンジャ10の構成を示す。
図示するように、DVDチャンジャ10は、大きく分けて、各々1枚のDVD-Videoディスク1を収容したディスクトレイ101を複数格納したマガジン102と、DVD-Videoディスク1からデータを再生するデータ再生部104と、マガジン102に対して上下に移動しマガジン収容された任意のDVD-Videoディスク1をディスクトレイ101ごと、データ再生部104とマガジン102の間で搬送する搬送部103とを有する。そして、データ再生部104は、クランパ1041、ターンテーブル1042、スピンドルモータ1043、フィードモータ1044、ピックアップ1045、RFアンプ1046、信号処理部1047、サーボ制御部1048、システムコントローラ1049、ホストインタフェース1050を備えている。
搬送部103は、マガジン102よりシステムコントローラ1049に指示されたディスクトレイ101を、クランパ1041とターンテーブル1042の間に搬送する。クランパ1041とターンテーブル1042は、搬送されたディスクトレイ101をクランプし、ピックアップ1045は、ディスクトレイ101に設けられた開口を介して、ディスクトレイ101内のディスク1から記録信号の読み取りを行う。
ここで、ピックアップ1045は、レーザ光源と、レーザ光源からの照射を集光するとともにディスク1の信号記録面からの反射光を光電素子に導く対物レンズと、この対物レンズをディスク1の信号記録面に垂直方向に移動させることにより焦点位置を調整するフォーカスアクチュエータと、対物レンズをディスク1の径方向に移動させることによりトラッキング調整を行うトラッキングアクチュエータを含んでいる。
次に、フィードモータ1044は、ピックアップ1045をディスク1の径方向に移動させるシーク動作を行い、スピンドルモータ1043はターンテーブル1042とクランパ1041の間にクランプされたディスク1を回転する。
RFアンプ1046は、ピックアップ1045から出力される信号を増幅して所定のイコライザ処理を行うことによりRF信号を生成して出力する。また、RFアンプ1046は、フォーカスサーボに必要なフォーカスエラー信号(FE)およびトラッキングサーボに必要なトラッキングエラー信号(TE)などを生成する。サーボ制御部1048は、システムコントローラ1049の制御に応じたフィードモータ1044のシーク動作の制御や、フォーカスエラー信号(FE)、トラッキングエラー信号(TE)に応じた各種のサーボ制御を行う。例えば、サーボ制御部1048は、ピックアップ1045に指示を送ることにより、レーザ光源の制御およびフォーカスサーボ制御およびトラッキングサーボ制御を行うとともに、スピンドルモータ1043に指示を送ることにより、スピンドルモータ1043の回転数のサーボ制御を行う。そして、信号処理部1047は、RFアンプ1046から入力されるRF信号から、ディスク1に記録されたデータを再生し、ホストインタフェース1050に送る。
そして、システムコントローラ1049は、以上の各部を制御し、ホストインタフェース1050を介してデータアクセス制御部11から受け取った再生要求に応じて、データを要求されたディスク1より要求されたデータを再生して、ホストインタフェース1050を介してデータアクセス制御部11に転送するリード処理や、ホストインタフェース1050を介してデータアクセス制御部11から受け取ったローディング制御に応じて、クランパ1041や搬送部103を制御し、データ再生部104にローディングしデータ再生部104でデータを再生可能な状態とするDVD-Videoディスク1を交換するディスクチェンジ処理などを行う。
ここで、DVD-Video規格において、プレゼンテーションの再生構造がどのように定義されているか、その一例を簡単に示しておく。
プレゼンテーションには、タイトル全体用のメニューのプレゼンテーションと、複数のタイトルについて共通に用いるメニューのプレゼンテーションと、個々のタイトルのプレゼンテーションの3種類がある。そして、各プレゼンテーションの再生シーケンスは、1以上のプログラムチェインPGCにより規定され、PGCの構成を定義するのがプログラムチェイン情報PGCIである。
図3は、このようなPGCの再生構造を示したものであり、図示するようにPGCIによって、PGCに含まれるプログラムPGとPGの再生順序が定義される。また、PGCIには、当該PGC再生開始時に実行すべきコマンドであるPRE_CMDや、当該PGC終了時に実行すべきコマンドドであるPOST_CMDや、次に再生すべきPGCの記述Next_PGCNを含めることができる。
各PGは、1以上のセルCELLからなり、各CELLは複数のビデオオブジェクトユニットVOBUからなり、各VOBUは一つのナビゲーションパックNV_PCKの他に複数のビデオパックV_PCKと複数のオーディオパッックA_PCKと複数のサブピクチャパックSP_PCKを持つことができる。そして、ビデオパックV_PCKには動画データがA_PCKには音声データがSP_PCKにはサブピクチャデータが格納されている。
ここで、以上のようにPGCIによって再生が制御される各々について以上のような再生構造が、DVD-Video規格に従ったアプリケーションデータ中において図4に示すようなデータ構造によって定義されている。
図4に示すように、DVD-Video規格に従ったアプリケーションデータは、タイトル全体用のメニューのデータであるビデオマネージャVMGと、複数のタイトルのデータであるビデオタイトルセットVTSを含む(図4a)。
そして、VMGは、ビデオマネージャ情報VMGIと、ビデオマネージャメニュー用ビデオオブジェクトセットVMGM_VOBSを含む。そして、VMGIは、DVD-Videoディスク再生開始時に最初に再生すべきPGCの記述FP_PGCIと、VMGM_VOBSを用いてタイトル全体用のメニューのプレゼンテーションの再生を制御するためのPGCIであるVMGM_PGCIとを含む(図4b)。
一方、VTSは、ビデオタイトルセット情報VTSIと、ビデオタイトルセットメニュー用ビデオオブジェクトセットVTSM_VOBSと、ビデオタイトルセットタイトル用ビデオオブジェクトセットVTSTT_VOBSを有する。そして、VTSIは、VTSM_VOBSを用いてVTS内のタイトルについて共通に用いるメニューのプレゼンテーションの再生を制御するためのPGCIであるVTSM_PGCIと、VTSTT_VOBSを用いて個々のタイトルのプレゼンテーションの再生を制御するためのPGCIであるVTS_PGCIを含む(図4c)。また、VTSIには、各VTS_PGCIが属するタイトルと、タイトル再生開始時に最初に再生すべきVTS_PGCI(エントリPGC)の記述が含まれる。
また、VMGM_PGCI、VTSM_PGCI、VTS_PGCIには、そのPGCに含まれるプログラムPG数やセルC数が記述されたPGC_CNT、PGC内の各セルの再生時間C_PBTM等を表すC_PBI、そのPGCの再生時間を表すPGC_PB_TM、そのPGCの前に再生されるPGCを示すPrevious_PGCN、ユーザのGoUp操作時に再生すべきPGCを示すGoUp_PGCN、そのPGC再生終了後に次に実行するPGCを表すNext_PGCN、PGC内のPGの順次再生やランダム再生といった再生モードを表すPG Playback mode、前述したPRE_CMD、POST_CMDなどが含まれる。
そして、VMGM_VOBS、VTSM_VOBS、VTSTT_VOBSの各VOBSは、1以上のビデオオブジェクトVOBを有し(図4d)、各VOBは1以上のCELLを有する(図4e)。そして、前述したように、各CELLは1以上のVOBUを有する(図4f)。そして、各VOBUは一つのNV_PCKの他に複数のV_PCKと複数のA_PCKと複数のSP_PCKを持つことができる(図4g)。また、NV_PACKは、再生制御情報PCIとデータサーチ情報DSIを有し、PCIは前述したハイライト情報HLIを有し、DSIは自VOBUが属するVOBのVOBのID番号や自VOBUが属するCELLのID番号などが定義されている。
ここで、以上のPCI、DSI、VMGI、VTSIがおおよそ前述したナビゲーションデータに対応し、VOBUのNV_PACKを除く部分が前述したプレゼンテーションデータにおおよそ対応する。
ここで、以上のPCI、DSI、VMGI、VTSIがおおよそ前述したナビゲーションデータに対応し、VOBUのNV_PCKを除く部分が前述したプレゼンテーションデータにおおよそ対応する。また、図3中の破線のブロックは、プレゼンテーションの再生構造と、PGCIとVOBSとの対応を示している。
さて、前述のように、ビデオオブジェクトVOBのビデオパックV_PCKには動画データが格納され、この動画データの復号を行うのが、プレゼンテーションエンジン15のビデオデコーダ153である。
図5に、このビデオデコーダ153の構成を示す。
ここでビデオパックV_PCKには、動画データとして、MPEG2(Moving Picture Experts Group Phase 2 )規格に従って圧縮符号化された動画データが格納されている。
このMPEG2規格では、周知のように、主として、動き補償予測と離散コサイン変換(DCT)と可変長符号化とを組合せて動画の圧縮符号化が行われている。
すなわち、本規格において、動画はGOP(Group of Pictures)と呼ばれる複数のフレーム(ピクチャ)の集合を単位として行われ、各GPOは、IピクチャとPピクチャとBピクチャとよりなる。そして、Iピクチャは、動き補償予測を用いずに離散コサイン変換のみで符号化したピクチャであり、Pピクチャは、時間的に直前のIピクチャ又はPピクチャを参照ピクチャとして参照ピクチャに対する動き補償予測と離散コサイン変換を組み合わせて符号化したピクチャである。そして、Bピクチャは時間的に直前のIピクチャ又はPピクチャと時間的に直後のIピクチャ又はPピクチャとの双方を参照ピクチャとして、任意の参照ピクチャに対する動き補償予測と離散コサイン変換を組み合わせて符号化したピクチャである。
より詳細には、この圧縮符号化は、基本的には、ピクチャをn×n画素のブロックに分割し、個々のブロックを対象として次のように行われる。すなわち、Iピクチャについては、各ブロックを直接離散コサイン変換してDCT係数を得、得られたDCT係数に対して、隣接ブロックで得られたDCT係数との差分化や、量子化や、可変長符号化などを施して当該ブロックの圧縮された符号を得る。
また、PピクチャやBピクチャにおいて、あるブロックを符号化する場合、そのブロックに最も近似する参照ピクチャ(Bピクチャの場合は二つの参照ピクチャのうちの任意の参照ピクチャ)内のn×n画素の領域を探索する。そして、探索した領域と、符号化するブロックとの空間的な位置のずれを動きベクトルとして検出する。また、探索した領域と、符号化するブロックとの画素値の差分を求め、求めた差分を離散コサイン変換する。そして、検出した動きベクトルと、離散コサイン変換によって得られたDCT係数とに対して、隣接ブロックで得られた動きベクトルやDCT係数との差分化や、量子化や、可変長符号化などを施して当該ブロックの圧縮された符号を得る。ただし、符号化するブロックを直接離散コサイン変換して得られたDCT係数を用いた方が、データ量を圧縮できる場合には、動きベクトルとDCT係数に代えて、当該DCT係数を用いるようにする。
ここで、このようにMPEG2規格によって用いられる動きベクトルは、動画に含まれる被写体の時間軸上の動きを表すものとして捉えることができる。
さて、このように圧縮符号化された動画データを復号するビデオデコーダ153は、図5に示すように、入力制御部1531、復号分離部1532、逆DCT部1533、加算部1534、出力制御部1535、動き補償部1536、参照ピクチャメモリ1537、復号シーケンス制御部1538、動き量検出部1539、画像解析部1530とを有する。
このような構成において、Iピクチャの復号は、次のように行う。
すなわち、復号分離部1532は、入力制御部1531を介して入力するV_PCKの動画データからIピクチャのDCT係数の分離、復号を行い、逆DCT部1533に送る。逆DCT部1533は、受け取ったDCT係数に対して逆離散コサイン変換を施し、加算部1534で加算を行うことなく出力することにより、Iピクチャを復号する。ここで、再生され、加算部1534から出力される各ピクチャは、必要に応じて参照ピクチャメモリ1537に格納することができるようになっている。
次に、PピクチャとBピクチャの号は、次のように行う。
すなわち、復号分離部1532は、入力制御部1531を介して入力するV_PCKの動画データからPピクチャとBピクチャの各ブロックの動きベクトルとDCT係数の分離、復号を行い、動きベクトルについては動き補償部1536に、DCT係数については逆DCT部1533に送る。逆DCT部1533は、復号対象のブロックのDCT係数に対して逆離散コサイン変換を施し加算部1534に出力する。一方、動き補償部1536は、既に復号され参照ピクチャメモリ1537に格納されている参照ピクチャの、復号対象のブロックの符号化時に用いた復号対象のブロックとの差分をとった領域を、動きベクトルに基づいて抽出し、加算部1534に送る。加算部1534は、逆DCT部1533からの入力に動き補償部1536から入力する領域を加算し、復号対象のブロックを復号する。なお、ビデオデコーダ153に入力する動画データ上において、各ピクチャのデータは、本来の再生順と異なり、PピクチャやBピクチャの再生前に、これらピクチャの参照ピクチャとなっているピクチャが出現するように並び変えられている。
さて、正規の再生順に復号された各ピクチャがビデオデコーダ153から出力されるように、入力制御部1531は動画データの復号分離部1532への供給タイミングを調整し、出力制御部1535は加算部1534の出力するピクチャと参照ピクチャメモリ1537に格納されたピクチャのいずれかを選択的に出力タイミングを調整した上で出力する。
一方、動き量検出部1539は、復号分離部1532が復号した動きベクトルに基づいて、Pピクチャの各ブロックについて、そのブロックの動きベクトルを動き量として算出する。
ただし、Pピクチャ及びBピクチャの各ピクチャ(フレーム)の各ブロックについて、そのピクチャの再生順序上一つ前のピクチャ(フレーム)に対する動き量を検出するようにしてもよい。すなわち、あるピクチャのあるブロックの動き量は、そのピクチャの参照ピクチャが、再生順序上一つ前のピクチャである場合には、そのブロックの動きベクトルとして求まる。一方、あるピクチャのあるブロックの動き量は、そのピクチャの参照ピクチャが、再生順序上一つ前のピクチャではない場合には、そのピクチャのそのブロックと、そのブロックと同位置にある再生順序上一つ前のピクチャのブロックが、それぞれ動きベクトルを順次過去に向かって辿った場合に、同じピクチャの同じ領域に行き当たる場合にのみ求まり、求める動き量は、行き当たったピクチャの領域に対する、そのピクチャのそのブロックの動きと、そのブロックと同位置にある再生順序上一つ前のピクチャのブロックの動きの差分(行き当たったピクチャが再生順上過去のピクチャである場合)、または、その差分の正負を反転したもの(行き当たったピクチャが再生順上将来のピクチャである場合)となる。
次に、画像解析部1530は、以上のようにして再生出力される各画像フレームの画像としての特徴を算出し、画像特徴値として出力する。本実施形態では、各画像フレームの輝度のヒストグラムを算出し、画像特徴値として出力する。
なお、このようにして算出された画像特徴値と動き量検出部1539が算出した動き量とが前述した再生画像情報として、主制御部12に通知されることになる。
そして、復号シーケンス制御部1538は、ナビゲーションエンジンの制御下で、以上の各部の再生動作を統括する。
以下、このようなDVDビデオ再生装置におけるオートディスクチェンジ処理について説明する。
図5に、主制御部12が行うオートディスクチェンジ処理の手順を示す。
図示するように、この処理では、まず、ステップ602において、ナビゲーションエンジンに問い合わせを行うことにより、当該ステップ602における前回の判定時と異なるビデオタイトルの再生が開始されたかどうかを監視し、前回の判定時と異なるビデオタイトルの再生が開始されていれば、ナビゲーションエンジンから再生が開始されたビデオタイトルの情報を取得し、再生が開始されたビデオタイトルが監視対象条件を満たすかどうかを調べる(ステップ604)。
そして、監視対象条件を満たしていなければ、ステップ602に戻り、監視対象条件を満たしていれば、再生が開始されたビデオタイトルを監視タイトルに設定する(ステップ606)。
ここで、監視対象条件としては、各タイトルに含まれるPGCのPGC_PB_TMが示す再生時間の和、または、そのタイトルに含まれるPGCに含まれるCELLのC_PBTMが示す再生時間の和から推測されるビデオタイトルの再生時間が所定時間(たとえば20分)以上であることといった監視対象条件を用いる。このような監視条件を用いることにより、現在再生中のDVD-Videoディスク1に記録されている主要なビデオタイトル以外のビデオタイトルを、監視タイトルから排除することができる。
さて、監視タイトルを設定したならば、次にエンディングロール監視範囲を算出し設定する(ステップ608)。エンディングロール監視範囲は、以下のように算出する。
まず、監視タイトルが、PGを順次再生する単一のPGCのみから構成されるOne_Sequential_PGC_Titleであるかどうかを判定する。この判定では、監視タイトルにただ一つVTS_PGCIが含まれ、そのVTS_PGCIのPrevious_PGCN、GoUp_PGCN、Next_PGCNの値が全て0000hで、そのVTS_PGCIのPG Playback modeが順次再生であり、そのVTS_PGCIに含まれるPRE_CMDやPOST_CMDなどのコマンドでシステムパラメータのナビゲーションタイマNV_TMRの設定や参照が行われていない場合に、One_Sequential_PGC_Titleであると判定する。
そして、One_Sequential_PGC_Titleであれば、監視タイトルにただ一つ含まれるVTS_PGCIの再生順序上終わりのn個(たとえば、3個)のPGをエンディングロール監視範囲に設定する。または、VTS_PGCIのPGC_PB_TMが示す再生時間、または、そのタイトルにただ一つ含まれるVTS_PGCIに含まれるCELLのC_PBTMが示す再生時間の和から推測されるビデオタイトルの再生時間上終わりのm分(たとえば、15分)をエンディングロール監視範囲に設定する。
一方、監視タイトルがOne_Sequential_PGC_Titleでない場合には、監視タイトルに含まれるVTS_PGCIのうちのPG Playback modeが順次再生である各VTS_PGCIの再生順序上終わりのn個のPGをエンディングロール監視範囲に設定する。または、監視タイトルに含まれるVTS_PGCIのうちのPG Playback modeが順次再生である各VTS_PGCIのPGC_PB_TMが示す再生時間、または、監視タイトルに含まれるVTS_PGCIのうちのPG Playback modeが順次再生である各VTS_PGCIに含まれるCELLのC_PBTMが示す再生時間の和から推測される各PGCの再生時間上終わりのm分をエンディングロール監視範囲に設定する。また、監視タイトルがOne_Sequential_PGC_Titleでない場合には、さらにPG Playback modeが順次再生でない各VTS_PGCIの全PGをエンディングロール監視範囲に設定するようにしてもよい。
さて、このようにしてエンディングロール監視範囲を設定したならば、ナビゲーションエンジンから再生中のビデオタイトルやPGCIやPGの情報や、PGCIの再生経過時間などの情報を取り込み、現在エンディングロール監視範囲内を再生中であるかどうかを監視する(ステップ610)。そして、エンディングロール監視範囲内を再生中でなければ、再生対象が監視タイトル以外の再生に変化したかどうかを調べ(ステップ624)、変化していれば、エンディングロール監視範囲と監視タイトルをリセットし(ステップ626)、始めのステップ602に戻る。
一方、エンディングロール監視範囲内を再生中であれば、ビデオデコーダ153から通知される再生画像情報を取り込み、現在エンディングロールを再生中であるか否かを判定する(ステップ614)。
ここで、エンディングロールとは、図7c、d、e、fに示すように、映画やドラマの終わりに再生される出演者やスタッフ等の表示を言い、通常、エンディングロールは黒色などの低輝度の背景上に、白色などの高輝度の文字で出演者やスタッフの名称等が表示されたものとなっている。また、このエンディングロールは、通常、下から上に向かって出演者やスタッフの名称等の文字列が、ユーザが文字列を視認可能な速度範囲の一定の速度で移動しながら表示(スクロール表示)されるものとなっている。
さて、エンディングロールの再生中であるか否かの判定は次のように行う。
すなわち、再生画像情報が示す各ブロックの動き量に基づき、過去の所定期間(たとえば、5秒)、下から上へ向かう所定の速度範囲内の速度の動きを表す、相互に近接する動き量を持つブロック数が所定数以上または所定比率以上存在し続けたかどうかを判定する。ここで、この判定は、現在、スクロール表示であるかどうかを判定するために行う。また、再生画像情報が示す画像特徴値が、低輝度の特定色の画素の出現比率と高輝度の特定色の画素の出現比率が所定レベル以上高いことを表すヒストグラムを過去の所定期間示し続けたかどうかを判定する。ここで、この判定は、黒色などの低輝度の背景上に、白色などの高輝度の表示が行われている状態にあるのかどうかを判定するために行う。なお、図7aは、エンディングロールのピクチャに対して得られるヒストグラムの例を示したものであり、図示するように、エンディングロールのピクチャに対して得られるヒストグラムでは、黒色の背景に対応する低輝度色の画素の出現比率と、白色の文字列に対応する高輝度色の画素の出現比率が際だって大きいものとなる。
そして、上述のような動き量を持つブロック数が所定数以上または所定比率以上存在し続け、かつ、低輝度の特定色の画素数と高輝度の特定色の画素数の出現比率が高いことを表すヒストグラムが過去の所定期間示され続けた場合に、エンディングロール再生中であると判定する。ただし、上述のような動き量を持つブロック数が所定数以上または所定比率以上存在し続けた場合に、無条件にエンディングロール再生中であると判定するようにしてもよい。
ただし、これら動き量とヒストグラムについての判定は、図7bに示すように、ピクチャの左右方向についての中央領域701のみを対象として行うようにしてもよい。通常、エンディングロールにおいて、文字列は左右方向についての中央で左右に余白をもってスクロール表示されるからである。なお、この場合には、動き量検出部1539は中央領域701内のブロックの動き量のみを算出し、画像解析部1530において、中央領域701のヒストグラムを算出し、画像特徴値として出力するようにする。
さて、このようにしてエンディングロールの再生中であると判定できた場合には、エンディングフラグをセットして(ステップ622)、ステップ612に戻る。一方、エンディングロール再生中でないと判定された場合には、エンディングフラグがセットされているかどうかを調べ(ステップ616)、セットされていなければ、そのままステップ610に戻り、セットされている場合には、エンディングロールの再生が終了したことを表すので、データアクセス制御部11にディスクチェンジ要求を発行する(ステップ618)。そして、エンディングロール監視範囲と監視タイトルをリセットし(ステップ620)、始めのステップ602に戻る。
ディスクチェンジ要求を受けたデータアクセス制御部11は、予め定めた規則に従って、次に再生対象とするDVD-Videoディスク1(トレイマガジン)を決定し、そのDVD-Videoディスク1を再生可能な状態とするディスクチェンジ処理を、DVDチャンジャ10に行わせる。
以上、オートディスクチェンジ処理について説明した。
なお、以上のオートディスクチェンジ処理では、ステップ604の判定において、監視対象条件に、再生を開始したタイトルがOne_Sequential_PGC_Titleであるという条件を加え、再生を開始したタイトルがOne_Sequential_PGC_Titleでない場合には、監視タイトルとして設定しないようにしてもよい。また、ステップ604の判定においては、再生を開始したタイトルが、前述のように推測される再生時間が最大のタイトルであるという監視条件を用いて、再生時間が最大のタイトルのみを監視タイトルに設定するようにしてもよい。
以上のように、本実施形態によれば、エンディングロールの再生をビデオタイトルの再生の終了として検知することにより、ユーザにとって有意なビデオタイトル再生終了時のオートディスクチェンジを実現することができる。
ところで、以上の実施形態では、動画データに含まれる動きベクトルに基づく動き量と、画像の輝度分布に基づいてエンディングロールを検出したが、エンディングロールの検出は、エンディングロールにおいて現れる任意の画像の特徴に基づいて行うようにしてもよい。たとえば、画像解析部1530において、復号されたピクチャに対して文字認識処理やパターン認識などの画像認識処理を施して、エンディングロールにおいてのみピクチャに現れることが期待できる映画会社名称や「脚本」や「監督」といった文字列や、エンディングロールにおいてのみピクチャに現れることが期待できる映画会社ロゴやサウンドシステムマークなどの図形を認識し、当該文字列やマークを認識できた場合に、エンディングロール再生中であると判定することにより、エンディングロールを検出するようにしてもよい。このようにすることにより、スクロール表示されない形態のエンディングロールの再生も検出することができるようになる。
また、以上の実施形態は、ディスクチェンジャ機能を備えたDVD-ROMドライブを備えたコンピュータシステム上に、DVDビデオ再生装置をコンピュータプログラムを用いて形成する場合においても同様に適用することができる。また、本実施形態の、ビデオプレゼンテーション(以上では、タイトル)のエンディングロールを検出しディスクチェンジを行う技術は、DVDビデオ再生装置以外の、複数の記録媒体を切り替えながら、記憶媒体からのビデオプレゼンテーションの再生を行う任意のビデオ再生装置における、再生対象とする記憶媒体の自動的な切り替えに同様に適用可能である。
本発明の実施形態に係るDVDビデオ再生装置の構成を示すブロック図である。 本発明の実施形態に係るDVDチャンジャの構成を示すブロック図である。 本発明の実施形態に係るDVDビデオ再生装置のビデオデコーダの構成を示すブロック図である。 DVD-VIDEO規格における再生構造を示す図である。 DVD-VIDEO規格におけるデータ構造を示す図である。 本発明の実施形態に係るDVDビデオ再生装置のオートディスクチェンジ処理の手順を示すフローチャートである。 本発明の実施形態に係るエンディングロール検出法を示す図である。
符号の説明
1…ディスク、10…チャンジャ、11…データアクセス制御部、12…主制御部、13…操作部、14…ナビゲーションマネージャ、15…プレゼンテーションエンジン、16…表示装置、17…音声出力装置、101…ディスクトレイ、102…マガジン、103…搬送部、104…データ再生部、151…デマルチプレクサ機能部、152…オーディオデコーダ、153…ビデオデコーダ、154…HLIデコーダ、155…サブピクチャ処理部、156…合成制御部、1041…クランパ、1042…ターンテーブル、1043…スピンドルモータ、1044…フィードモータ、1045…ピックアップ、1046…RFアンプ、1047…信号処理部、1048…サーボ制御部、1049…システムコントローラ、1050…ホストインタフェース、1531…入力制御部、1532…復号分離部、1533…逆DCT部、1534…加算部、1535…出力制御部、1536…補償部、1537…参照ピクチャメモリ、1538…復号シーケンス制御部、1539…動き量検出部、1530…画像解析部。

Claims (7)

  1. 各々1または複数のビデオタイトルの動画データを記録した記録ディスクを複数枚収容し、収容した任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクを再生するビデオ再生装置において、前記再生対象とする記録ディスクの切り替えを制御するオートディスクチェンジ制御方法であって、
    前記再生対象となっている前記記録ディスクに記録された動画データが表す動画を再生するステップと、
    前記動画データが表す動画の特徴に基づいて、前記ビデオタイトルのエンディングロールの再生を検出するステップ、
    前記エンディングロールの再生の検出に基づいて、前記再生対象とする記録ディスクを切り替えるステップとを有し、
    前記動画データは、動き補償予測によって算出した動画中の各画像領域の動きベクトルを用いて、動画を圧縮符号化した動画データであって、
    前記ビデオタイトルのエンディングロールの再生を検出するステップにおいて、動画データが表す動画中の各画像領域の動きベクトルが、各画像領域の下方から上方へ向かう移動傾向を所定レベル以上強く所定期間以上示し続けた場合に、前記再生手段における前記ビデオタイトルのエンディングロールの再生を検出することを特徴とするオートディスクチェンジ制御方法。
  2. 各々1または複数のビデオタイトルの動画データを記録した記録ディスクを複数枚収容し、収容した任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクを再生するビデオ再生装置において、前記再生対象とする記録ディスクの切り替えを制御するオートディスクチェンジ制御方法であって、
    前記再生対象となっている前記記録ディスクに記録された動画データが表す動画を再生するステップと、
    前記動画データが表す動画の特徴に基づいて、前記ビデオタイトルのエンディングロールの再生を検出するステップ、
    前記エンディングロールの再生の検出に基づいて、前記再生対象とする記録ディスクを切り替えるステップとを有し、
    前記ビデオタイトルのエンディングロールの再生を検出するステップにおいて、動画の画面上における左右方向について中央の領域のみを対象として、前記動画の特徴に基づく前記エンディングロールの再生の検出を行うことを特徴とするオートディスクチェンジ制御方法。
  3. 各々1または複数のビデオタイトルの動画データを記録した記録ディスクを複数枚収容し、収容した任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクを再生するビデオ再生装置であって、
    前記再生対象となっている前記記録ディスクに記録された動画データが表す動画を再生する再生手段と、
    前記動画データが表す動画の特徴に基づいて、前記再生手段における前記ビデオタイトルのエンディングロールの再生を検出するエンディングロール再生検出手段と、
    前記エンディングロール再生手段の前記エンディングロールの再生の検出に基づいて、前記再生対象とする記録ディスクを切り替えるディスクチェンジ制御手段とを有し、
    前記動画データは、動き補償予測によって算出した動画中の各画像領域の動きベクトルを用いて、動画を圧縮符号化した動画データであって、
    前記エンディングロール再生検出手段は、動画データが表す動画中の各画像領域の動きベクトルが、各画像領域の下方から上方へ向かう移動傾向を所定レベル以上強く所定期間以上示し続けた場合に、前記再生手段における前記ビデオタイトルのエンディングロールの再生を検出することを特徴とするビデオ再生装置。
  4. 各々1または複数のビデオタイトルの動画データを記録した記録ディスクを複数枚収容し、収容した任意の記録ディスクを選択的に再生対象として、再生対象とした記録ディスクを再生するビデオ再生装置であって、
    前記再生対象となっている前記記録ディスクに記録された動画データが表す動画を再生する再生手段と、
    前記動画データが表す動画の特徴に基づいて、前記再生手段における前記ビデオタイトルのエンディングロールの再生を検出するエンディングロール再生検出手段と、
    前記エンディングロール再生手段の前記エンディングロールの再生の検出に基づいて、前記再生対象とする記録ディスクを切り替えるディスクチェンジ制御手段とを有し、
    前記エンディングルール再生検出手段は、動画の画面上における左右方向について中央の領域のみを対象として、前記動画の特徴に基づく前記エンディングロールの再生の検出を行うことを特徴とするビデオ再生装置。
  5. 請求項3または4記載のビデオ再生装置であって、
    前記エンディングルール再生検出手段は、前記動画データが表す動画の輝度分布が高輝度画素と低輝度画素に所定レベル以上偏っている場合にのみ、前記エンディングロールの再生の検出を行うことを特徴とするビデオ再生装置。
  6. 請求項3、4または5記載のビデオ再生装置であって、
    前記エンディングルール再生検出手段は、前記ビデオタイトルの終わり部分の動画データに対してのみ、前記動画の特徴に基づく前記エンディングロールの再生の検出を行うことを特徴とするビデオ再生装置。
  7. 請求項3、4、5または6記載のビデオ再生装置であって、
    前記記録ディスクはDVD-Videoディスクであって、前記動画データはMPEG2(Moving Picture Experts Group Phase 2 )規格に従って圧縮符号化された動画データであることを特徴とするビデオ再生装置。
JP2003289768A 2003-08-08 2003-08-08 オートディスクチェンジ制御方法及びビデオ再生装置 Expired - Fee Related JP3939685B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003289768A JP3939685B2 (ja) 2003-08-08 2003-08-08 オートディスクチェンジ制御方法及びビデオ再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003289768A JP3939685B2 (ja) 2003-08-08 2003-08-08 オートディスクチェンジ制御方法及びビデオ再生装置

Publications (2)

Publication Number Publication Date
JP2005063513A JP2005063513A (ja) 2005-03-10
JP3939685B2 true JP3939685B2 (ja) 2007-07-04

Family

ID=34367995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003289768A Expired - Fee Related JP3939685B2 (ja) 2003-08-08 2003-08-08 オートディスクチェンジ制御方法及びビデオ再生装置

Country Status (1)

Country Link
JP (1) JP3939685B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010058509A1 (ja) * 2008-11-21 2010-05-27 日本電気株式会社 情報処理装置

Also Published As

Publication number Publication date
JP2005063513A (ja) 2005-03-10

Similar Documents

Publication Publication Date Title
JP4358823B2 (ja) マルチアングルデータ構造を有する情報記録媒体及びその装置
JP3761623B2 (ja) 情報記録媒体、情報記録装置及び方法並びに情報再生装置及び方法
JP3607486B2 (ja) 情報記録再生装置
JP3729920B2 (ja) 情報記録媒体並びにその記録装置及び再生装置
JP4420897B2 (ja) マルチアングルを支援するデータ構造で記録された情報保存媒体及びその装置
JP4865884B2 (ja) 情報記録媒体
JP4459165B2 (ja) マルチアングルのための動画データを情報保存媒体に記録する方法及び再生する方法
JP3921593B2 (ja) 情報処理装置および方法、プログラム格納媒体、プログラム、並びに情報記録媒体
JP3392838B2 (ja) 光ディスク及びその再生装置と方法及び記録方法
KR20040048869A (ko) 정보 기록 매체, 정보 재생 장치, 정보 재생 방법, 및컴퓨터 프로그램
JP3392849B2 (ja) 光ディスク及びその再生装置と方法及び記録方法
US7257313B2 (en) Method and apparatus for reproducing optical disk player having quick video playback function
JP2003091934A (ja) ディスク再生装置
JP3939685B2 (ja) オートディスクチェンジ制御方法及びビデオ再生装置
JP3698915B2 (ja) ディスク再生装置
JP4808761B2 (ja) 情報記録媒体から一つの動画に対応する各アングルのための動画データを再生する装置
US7424205B2 (en) Video player and video playing method
JP2000163933A (ja) ディスク再生装置
JP3730191B2 (ja) 記録媒体並びにその再生装置及び記録装置
JP2000311420A (ja) ディスク再生装置
KR100619083B1 (ko) 멀티 앵글을 지원하는 데이터 구조로 기록된 정보저장매체및 그 장치
JP4850140B2 (ja) ディスク再生装置及びディスク再生方法
JP4551476B2 (ja) 情報記録媒体、情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法
JP4564021B2 (ja) 情報記録媒体
JP3730190B2 (ja) 記録媒体並びにその再生装置及び記録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070328

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees