JP4935661B2 - 再生装置、再生方法および再生プログラム - Google Patents

再生装置、再生方法および再生プログラム Download PDF

Info

Publication number
JP4935661B2
JP4935661B2 JP2007323294A JP2007323294A JP4935661B2 JP 4935661 B2 JP4935661 B2 JP 4935661B2 JP 2007323294 A JP2007323294 A JP 2007323294A JP 2007323294 A JP2007323294 A JP 2007323294A JP 4935661 B2 JP4935661 B2 JP 4935661B2
Authority
JP
Japan
Prior art keywords
video signal
field
frame frequency
video data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007323294A
Other languages
English (en)
Other versions
JP2009147699A (ja
Inventor
公嘉 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007323294A priority Critical patent/JP4935661B2/ja
Priority to US12/269,316 priority patent/US8401360B2/en
Publication of JP2009147699A publication Critical patent/JP2009147699A/ja
Application granted granted Critical
Publication of JP4935661B2 publication Critical patent/JP4935661B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

この発明は、複数の映像信号を同時に再生する際に用いて好適な再生装置、再生方法および再生プログラムに関する。
近年、ディジタルハイビジョン放送の実用化などに伴い、ビデオデータのフォーマットも、従来からのＮＴＳＣ（National Television System Committee）におけるフレーム周波数が２９．９７Ｈｚ（３０Ｈｚ）でインタレース走査のビデオデータに代えて、より高精細な映像を映出することができる、フレーム周波数が５９．９４Ｈｚ（６０Ｈｚ）でプログレッシブ走査のビデオデータが多く用いられるようになってきている。
それに伴い、最近では、フレーム周波数が５９．９４Ｈｚ（６０Ｈｚ）でプログレッシブ走査のビデオデータを表示可能な、液晶やＰＤＰ（Plasma Display Panel）を用いたフラットパネルディスプレイなどの表示装置が市場に投入され始めているが、現在、ユーザに用いられている表示装置としては、フレーム周波数が２９．９７Ｈｚ（３０Ｈｚ）でインタレース走査のビデオデータを表示可能な表示装置が主流である。
一方、例えば映画映像は、従来からの光学フィルムを用いて制作されており、毎秒２４コマ、すなわち、フレーム周波数が２４Ｈｚでプログレッシブ走査のビデオデータとなる。そのため、フレーム周波数が２９．９７Ｈｚ（３０Ｈｚ）でインタレース走査のビデオデータを表示可能な表示装置を用いて、フレーム周波数が２４Ｈｚでプログレッシブ走査のビデオデータを表示させる場合には、再生装置側でフレーム周波数が２４Ｈｚでプログレッシブ走査のビデオデータをフレーム周波数が３０Ｈｚ（フィールド周波数が６０Ｈｚ）でインタレース走査のビデオデータに変換する必要がある。
フレーム周波数が２４Ｈｚでプログレッシブ走査（以下、２４ｐと適宜称する）のビデオデータを、フレーム周波数が３０Ｈｚ（フィールド周波数が６０Ｈｚ）でインタレース走査（以下、６０ｉと適宜称する）のビデオデータに変換する際には、２４ｐのビデオデータを、所定の変換パターンで６０ｉのビデオデータの３フレームおよび２フレームに交互に変換する処理が行われるため、３−２プルダウン（または２−３プルダウン）処理と称される。
ここで、２４ｐのビデオデータを、３−２プルダウン処理により６０ｉのビデオデータに変換する処理について考える。２４ｐのビデオデータと６０ｉのビデオデータとでは、フレーム周波数に２対５の関係がある。そこで、図２６に示すように、例えば、２４ｐのビデオデータのフレームを（図２６Ａ参照）、３−２プルダウン処理により３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、３０Ｈｚのフレーム周波数（６０Ｈｚのフィールド周波数）で出力することで（図２６Ｂ参照）、２４ｐのビデオデータが６０ｉのビデオデータへ変換される。
特許文献１には、フィルム素材に基づく２４ｐのビデオデータに対して３−２プルダウン処理を行うことにより、６０ｉのビデオデータに変換する技術が記載されている。
国際公開第０４／０３２４９４号パンフレット
ところで、最近の再生装置には、メイン映像である第１の映像を再生しているときに、任意のタイミングでサブ映像である第２の映像を再生し、２つの映像を重ねることによって同時に再生することができるピクチャインピクチャという機能を備えたものがある。
しかしながら、このような再生装置において、２４ｐのビデオデータを３−２プルダウン処理によって６０ｉのビデオデータに変換して再生する場合、ピクチャインピクチャ機能を用いて２つの映像を同時に再生すると、第２の映像を再生するタイミングによっては、映像が櫛状となる、所謂コーミングが発生してしまうという問題点があった。
したがって、この発明の目的は、ピクチャインピクチャ機能を用いた際に発生するコーミングを防止することができる再生装置、再生方法および再生プログラムを提供することにある。
上述した課題を解決するために、第１の発明は、第１のビデオ信号と、第１のビデオ信号に対して任意のタイミングで再生された第２のビデオ信号を同時に再生する再生装置において、
第１のフレーム周波数の第１のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、第１のフレーム周波数の第１のビデオ信号を、第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第１のビデオ信号に変換する第１の変換部と、
第１のフレーム周波数の第２のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、第１のフレーム周波数の第２のビデオ信号を、第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第２のビデオ信号に変換する第２の変換部と、
第２のフレーム周波数の第１のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群、および、３回繰り返し出力のフィールドに基づくフィールド群に連続する、２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングと、第２のフレーム周波数の第２のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群、および、３回繰り返し出力のフィールドに基づくフィールド群に連続する、２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングとを一致させるように制御する制御部と
を有することを特徴とする再生装置である。
また、第２の発明は、第１のビデオ信号と、第１のビデオ信号に対して任意のタイミングで再生された第２のビデオ信号を同時に再生する再生方法において、
第１のフレーム周波数の第１のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、第１のフレーム周波数の第１のビデオ信号を、第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第１のビデオ信号に変換する第１の変換ステップと、
第１のフレーム周波数の第２のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、第１のフレーム周波数の第２のビデオ信号を、第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第２のビデオ信号に変換する第２の変換ステップと、
第２のフレーム周波数の第１のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群、および、３回繰り返し出力のフィールドに基づくフィールド群に連続する、２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングと、第２のフレーム周波数の第２のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群、および、３回繰り返し出力のフィールドに基づくフィールド群に連続する、２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングとを一致させるように制御するステップと
を有することを特徴とする再生方法である。
また、第３の発明は、第１のビデオ信号と、第１のビデオ信号に対して任意のタイミングで再生された第２のビデオ信号を同時に再生する再生方法をコンピュータ装置に実行させる再生プログラムにおいて、
第１のフレーム周波数の第１のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、第１のフレーム周波数の第１のビデオ信号を、第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第１のビデオ信号に変換する第１の変換ステップと、
第１のフレーム周波数の第２のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、第１のフレーム周波数の第２のビデオ信号を、第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第２のビデオ信号に変換する第２の変換ステップと、
第２のフレーム周波数の第１のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群、および、３回繰り返し出力のフィールドに基づくフィールド群に連続する、２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングと、第２のフレーム周波数の第２のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群、および、３回繰り返し出力のフィールドに基づくフィールド群に連続する、２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングとを一致させるように制御するステップと
を有することを特徴とする再生プログラムである。
この発明は、第１のビデオ信号であるプライマリビデオデータと第２のビデオ信号であるセカンダリビデオデータのフィールド群の切り替わりを一致させるようにしているため、セカンダリビデオデータを再生する際に発生するコーミングを防止することができるという効果がある。
以下、この発明の実施の一形態について、図面を参照しながら説明する。この発明の実施の一形態では、ＢＤ−ＲＯＭ（Blu-ray Disc Read Only Memory；Blu-rayは登録商標）などの記録媒体に記録されて提供されるＡＶ(Audio/Video)データを再生装置で再生する場合において、ピクチャインピクチャ機能を用いて複数の映像データを同時に再生した際に発生するコーミングを防止するようにしている。以下では、ＢＤ−ＲＯＭに記録されたＡＶデータを再生する場合を例にとって説明する。
先ず、この発明の理解を容易とするために、Ｂｌｕ−ｒａｙ Ｄｉｓｃに関し、"Blu-ray Disc Read-Only Format Ver1.0 part3 Audio Visual Specifications"で規定されている、読み出し専用タイプのＢｌｕ−ｒａｙ ＤｉｓｃであるＢＤ−ＲＯＭに記録されたＡＶデータの管理構造について、概略的に説明する。以下では、このＢＤ−ＲＯＭにおける管理構造をＢＤＭＶ（Blu-ray Disc Movie & Video）フォーマットと称する。
例えばＭＰＥＧ(Moving Pictures Experts Group)ビデオやＭＰＥＧオーディオなどの符号化方式で符号化され、ＭＰＥＧ２システムに従い多重化されたビットストリームは、クリップＡＶストリーム（またはＡＶストリーム）と称される。クリップＡＶストリームは、Ｂｌｕ−ｒａｙ Ｄｉｓｃに関する規格の一つである"Blu-ray Disc Read-Only Format part2"で定義されたファイルシステムにより、ファイルとしてディスクに記録される。このファイルを、クリップＡＶストリームファイル（またはＡＶストリームファイル）と称する。
クリップＡＶストリームファイルは、ファイルシステム上での管理単位であり、ユーザにとって必ずしも分かりやすい管理単位であるとは限らない。ユーザの利便性を考えた場合、複数のクリップＡＶストリームファイルに分割された映像コンテンツを一つにまとめて再生する仕組みや、クリップＡＶストリームファイルの一部だけを再生する仕組み、さらには、特殊再生や頭出し再生を滑らかに行うための情報などをデータベースとしてディスクに記録しておく必要がある。Ｂｌｕ−ｒａｙ Ｄｉｓｃに関する規格の一つである"Blu-ray Disc Read-Only Format part3"で、このデータベースが規定される。
図１は、ＢＤ−ＲＯＭのデータモデルを概略的に示す。ＢＤ−ＲＯＭのデータ構造は、図１に示されるように４層のレイヤよりなる。最も最下層のレイヤは、クリップＡＶストリームが配置されるレイヤである（便宜上、クリップレイヤと呼ぶ）。その上のレイヤは、クリップＡＶストリームに対する再生箇所を指定するための、ムービープレイリスト(Movie PlayList)と、プレイアイテム(PlayItem)とが配置されるレイヤである（便宜上、プレイリストレイヤと呼ぶ）。さらにその上のレイヤは、ムービープレイリストに対して再生順などを指定するコマンドからなるムービーオブジェクト(Movie Object)などが配置されるレイヤである（便宜上、オブジェクトレイヤと呼ぶ）。最上層のレイヤは、このＢＤ−ＲＯＭに格納されるタイトルなどを管理するインデックステーブルが配置される（便宜上、インデックスレイヤと呼ぶ）。
クリップレイヤについて説明する。クリップＡＶストリームは、ビデオデータやオーディオデータがＭＰＥＧ２ ＴＳ（トランスポートストリーム）の形式などに多重化されたビットストリームである。このクリップＡＶストリームに関する情報がクリップ情報(Clip Information)としてファイルに記録される。
また、クリップＡＶストリームには、ビデオデータやオーディオデータによるコンテンツデータに対して付随して表示される字幕やメニュー表示を行うためのストリームも多重化される。字幕を表示するためのグラフィクスストリームは、プレゼンテーショングラフィクス（ＰＧ）ストリームと呼ばれる。また、メニュー表示などに用いられるデータをストリームにしたものは、インタラクティブグラフィクス（ＩＧ）ストリームと呼ばれる。インタラクティブグラフィクス（ＩＧ）ストリームにより再生されるインタラクティブグラフィクス（ＩＧ）メニューは、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムを含ませることができる。
クリップＡＶストリームファイルと、対応するクリップ情報が記録されたクリップ情報ファイルとをひとまとまりのオブジェクトと見なし、クリップ(Clip)と称する。すなわち、クリップは、クリップＡＶストリームとクリップ情報とから構成される、一つのオブジェクトである。
ファイルは、一般的に、バイト列として扱われる。クリップＡＶストリームファイルのコンテンツは、時間軸上に展開され、クリップ中のエントリポイントは、主に時間ベースで指定される。所定のクリップへのアクセスポイントのタイムスタンプが与えられた場合、クリップＡＶストリームファイルの中でデータの読み出しを開始すべきアドレス情報を見つけるために、クリップ情報ファイルを用いることができる。
プレイリストレイヤについて説明する。ムービープレイリストは、再生するＡＶストリームファイルの指定と、指定されたＡＶストリームファイルの再生箇所を指定する再生開始点（ＩＮ点）と再生終了点（ＯＵＴ点）の集まりとから構成される。この再生開始点と再生終了点の情報を一組としたものは、プレイアイテム(PlayItem)と称される。ムービープレイリストは、プレイアイテムの集合で構成される。プレイアイテムを再生するということは、そのプレイアイテムに参照されるＡＶストリームファイルの一部分を再生するということになる。すなわち、プレイアイテム中のＩＮ点およびＯＵＴ点情報に基づき、クリップ中の対応する区間が再生される。
オブジェクトレイヤについて説明する。ムービーオブジェクトは、ＨＤＭＶナビゲーションコマンドプログラム（ＨＤＭＶプログラム）と、ムービーオブジェクトとを連携するターミナルインフォメーションを含む。ＨＤＭＶプログラムは、プレイリストの再生を制御するためのコマンドである。ターミナルインフォメーションは、ユーザのＢＤ−ＲＯＭプレーヤに対するインタラクティブな操作を許可するための情報を含んでいる。このターミナルインフォメーションに基づき、メニュー画面の呼び出しや、タイトルサーチといったユーザオペレーションが制御される。
ＢＤ−Ｊオブジェクトは、Ｊａｖａプログラム（Ｊａｖａは登録商標）によるオブジェクトからなる。ＢＤ−Ｊオブジェクトは、この発明と関わりが薄いので、詳細な説明を省略する。
インデックスレイヤについて説明する。インデックスレイヤは、インデックステーブルからなる。インデックステーブルは、ＢＤ−ＲＯＭディスクのタイトルを定義する、トップレベルのテーブルである。インデックステーブルに格納されているタイトル情報に基づき、ＢＤ−ＲＯＭ常駐システムソフトウェア中のモジュールマネージャによりＢＤ−ＲＯＭディスクの再生が制御される。
すなわち、図２に概略的に示されるように、インデックステーブル中の任意のエントリは、タイトルと称され、インデックステーブルにエントリされるファーストプレイバック(First Playback)、トップメニュー(Top Menu)およびタイトル(Title)＃１、＃２、・・・は、全てタイトルである。各タイトルは、ムービーオブジェクトあるいはＢＤ−Ｊオブジェクトに対するリンクを示し、各タイトルは、ＨＤＭＶタイトルあるいはＢＤ−Ｊタイトルの何れかを示す。
例えば、ファーストプレイバックは、当該ＢＤ−ＲＯＭに格納されるコンテンツが映画であれば、映画本編に先立って映出される映画会社の宣伝用映像（トレーラ）である。トップメニューは、例えばコンテンツが映画である場合、本編再生、チャプタサーチ、字幕や言語設定、特典映像再生などを選択するためのメニュー画面である。また、タイトルは、トップメニューから選択される各映像である。タイトルがさらにメニュー画面であるような構成も可能である。
図３は、上述のようなクリップＡＶストリーム、クリップ情報(Stream Attributes)、クリップ、プレイアイテムおよびプレイリストの関係を示すＵＭＬ(Unified Modeling Language)図である。プレイリストは、１または複数のプレイアイテムに対応付けられ、プレイアイテムは、１のクリップに対応付けられる。１のクリップに対して、それぞれ開始点および／または終了点が異なる複数のプレイアイテムを対応付けることができる。１のクリップから１のクリップＡＶストリームファイルが参照される。同様に、１のクリップから１のクリップ情報ファイルが参照される。また、クリップＡＶストリームファイルとクリップ情報ファイルとは、１対１の対応関係を有する。このような構造を定義することにより、クリップＡＶストリームファイルを変更することなく、任意の部分だけを再生する、非破壊の再生順序指定を行うことが可能となる。
また、図４のように、複数のプレイリストから同一のクリップを参照することもできる。また、１のプレイリストから複数のクリップを指定することもできる。クリップは、プレイリスト中のプレイアイテムに示されるＩＮ点およびＯＵＴ点により、参照される。図４の例では、クリップ３００は、プレイリスト３１０のプレイアイテム３２０から参照されると共に、プレイリスト３１１を構成するプレイアイテム３２１および３２２のうちプレイアイテム３２１から、ＩＮ点およびＯＵＴ点で示される区間が参照される。また、クリップ３０１は、プレイリスト３１１のプレイアイテム３２２からＩＮ点およびＯＵＴ点で示される区間が参照されると共に、プレイリスト３１２のプレイアイテム３２３および３２４のうち、プレイアイテム３２３のＩＮ点およびＯＵＴ点で示される区間が参照される。
なお、プレイリストは、図５に一例が示されるように、主として再生されるプレイアイテム（メインプレイアイテム）に対応するメインパスに対して、サブプレイアイテムに対応するサブパスを持つことができる。サブプレイアイテムは、異なる複数のクリップと関連付けることができ、サブプレイアイテムは、サブプレイアイテムに関連付けられる複数のクリップのうち１を選択的に参照することができる。詳細は省略するが、プレイリストは、所定の条件を満たす場合にだけ、サブプレイアイテムを持つことができる。
メインパスを構成するメインプレイアイテムが参照するクリップに含まれるビデオストリーム（以下、プライマリビデオストリームと適宜称する）は、他のストリームと組み合わせて同時に再生することができる。プライマリビデオストリームと組み合わせられる他のストリームとしては、例えば、メインパスに対応するサブパスを構成するサブプレイアイテムが参照するクリップに含まれるビデオストリーム（以下、セカンダリビデオストリームと適宜称する）がある。サブパスは、例えば２枚の映像を合成する際に、メインプレイアイテムで指定されるプライマリビデオストリームと同期して再生するセカンダリビデオストリームを指定するといった目的で用いられる。
ところで、ピクチャインピクチャ機能では、プライマリビデオストリームに含まれるビデオデータ（以下、プライマリビデオデータと称する）を再生している場合に、ユーザの操作によってセカンダリビデオストリームに含まれるビデオデータ（以下、セカンダリビデオデータと適宜称する）を重ねて表示することによって同時に再生することができる。
上述したようなデータ構造を有するディスクから読み出したビデオストリームに含まれるビデオデータを、ピクチャインピクチャ機能を用いて再生する場合について、概略的に説明する。例えば、外部の表示装置などに設けられた表示部には、図６に示されるように、プライマリビデオデータの映像と、セカンダリビデオデータの映像とが表示されるとともに、ピクチャインピクチャ機能のＳＴＡＲＴ／ＳＴＯＰを切り替えるためのＩＧメニューボタン１００が表示される。
このような場合において、図７のフローチャートに示されるように、ユーザがリモートコントロールコマンダーなどを操作することにより、セカンダリビデオデータの再生を示すＩＧメニューボタン１００が選択されると（ステップＳ１１参照）、選択されたＩＧメニューボタンに割り当てられたナビゲーションコマンドが解釈される（ステップＳ１２参照）。そして、ＩＧメニューボタンに割り当てられたナビゲーションコマンド、具体的には、セカンダリビデオストリームを選択するコマンドが実行され、対応するセカンダリビデオデータが選択されて再生処理が行われる（ステップＳ１３参照）。なお、ナビゲーションコマンドを実行する際には、セカンダリビデオストリームの選択を再生開始時に最初に行うか否かを、セカンダリビデオストリームがプライマリビデオストリームに対して非同期であるか否かに応じて決定する。
また、図８のフローチャートに示されるように、セカンダリビデオデータに対応するプレイリストの再生が開始されると（ステップＳ２１参照）、セカンダリビデオデータを選択するためのナビゲーションコマンドが割り当てられたＩＧメニューボタン１００が表示される（ステップＳ２２参照）。ＩＧメニューボタン１００に割り当てられたナビゲーションコマンドに基づき、セカンダリビデオデータが選択されたか否かが判断され（ステップＳ２３参照）、セカンダリビデオデータが選択されたと判断した場合には、セカンダリビデオデータの再生が開始される（ステップＳ２４参照）。一方、セカンダリビデオデータが選択されていないと判断した場合には、再度、セカンダリビデオデータが選択されたか否かの判断が行われる。
次に、この発明の実施の一形態による映像処理方法について、概略的に説明する。ここでは、例えば、フレーム周波数が２４Ｈｚでプログレッシブ走査（以下、２４ｐと適宜称する）で記録されたプライマリビデオデータを再生しているときに、ピクチャインピクチャ機能を用いて、２４ｐのセカンダリビデオデータを任意のタイミングで再生する場合について考える。また、この例では、オーディオデータなど、この発明の実施の一形態と直接関係のない部分については、説明を省略する。
図９Ａに示されるように、２４ｐのプライマリビデオデータに対して３−２プルダウン処理を行い、フレーム周波数が３０Ｈｚ（フィールド周波数が６０Ｈｚ）でインタレース走査（以下、６０ｉと適宜称する）のプライマリビデオデータＡt，Ａb，Ａt，Ｂb，Ｂt，Ｃb，Ｃt，Ｃb，・・・に変換する。また、セカンダリビデオデータの再生が指示された時点で、２４ｐのセカンダリビデオデータに対して３−２プルダウン処理を行い、６０ｉのセカンダリビデオデータＸb，Ｘt，Ｘb，Ｙt，Ｙb，Ｚt，Ｚb，Ｚt，・・・に変換する。各フィールドにおけるデータの右下に付された「ｔ」および「ｂ」は、それぞれのフィールドがトップフィールドおよびボトムフィールドであることを示す。
３−２プルダウン処理は、２４ｐのビデオデータのフレームの３回繰り返しと２回繰り返しとを、フレーム毎に順次、交互に行うため、３−２プルダウン処理で生成されたビデオデータは、５フィールドの周期を有する。以下、３−２プルダウン処理により２４ｐのフレームがｎ回繰り返された隣接するフィールドからなる集合をグループと呼び、２４ｐのフレームが３回繰り返された隣接する３フィールドからなるグループを３フィールドグループ、２回繰り返された隣接する２フィールドからなるグループを２フィールドグループとそれぞれ呼ぶことにする。
なお、図９Ａにおいて、３フィールドグループのフレームに斜線を付し、２フィールドグループのフレームと区別している。この表現は、他の同様な図において、共通である。
このように、任意のタイミングでセカンダリビデオデータを再生する場合には、図９Ａに示されるように、プライマリビデオデータのグループの切り替わり位置と、セカンダリビデオデータのグループの切り替わり位置とが異なってしまう場合がある。したがって、例えば区間ａにおいて、プライマリビデオ領域にプライマリビデオデータＢbおよびＢtが再生されているときのセカンダリビデオ領域に再生されるセカンダリビデオデータは、トップフィールドがＹt、ボトムフィールドがＸbとなる。この場合、トップフィールドおよびボトムフィールドの映像が異なるため、再生されるセカンダリビデオデータには、図９Ｂに示されるように、櫛状、所謂コーミングが発生してしまう。
セカンダリビデオデータのコーミングを防止する方法としては、３つの方法が考えられる。コーミングを防止する第１の方法では、セカンダリビデオデータの再生開始タイミングを、再生開始が指示された時点から、プライマリビデオデータに対して３−２プルダウン処理を行うことによって生成された３フィールドグループの先頭フィールドのピクチャが次に出力されるタイミングに合わせる。
第２の方法では、セカンダリビデオデータの再生開始が指示された時点で再生されている、プライマリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャの残り表示数を取得し、取得した残り表示数をセカンダリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャの表示数に設定することにより、プライマリビデオデータのグループの先頭フィールドのピクチャが出力されるタイミングと、セカンダリビデオデータのグループの先頭フィールドのピクチャが出力されるタイミングとを合わせる。
第３の方法では、プライマリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャを表示している間は、セカンダリビデオデータの所定グループのピクチャを表示させ続け、プライマリビデオデータのグループの切り替わりタイミングでセカンダリビデオデータの表示ピクチャを切り替えることにより、プライマリビデオデータとセカンダリビデオデータとの切り替わりタイミングを合わせる。
この発明の実施の一形態では、セカンダリビデオデータを再生する際に発生するコーミングを防止するために、第１の方法を用いる。例えば、図１０に示されるように、セカンダリビデオデータの再生が指示されたタイミングが、プライマリビデオデータの３フィールドグループの先頭フィールドのピクチャが出力されるタイミングでない場合に、セカンダリビデオデータを再生すると、プライマリビデオデータおよびセカンダリビデオデータのグループの切り替わりが異なってしまうため、セカンダリビデオデータのグループの切り替わりでコーミングが発生してしまう。
そこで、このような場合、第１の方法では、セカンダリビデオデータの再生開始を指示されたタイミングから所定値だけセカンダリビデオデータの再生開始タイミングずらし、プライマリビデオデータの次の３フィールドグループの先頭フィールドのピクチャが出力されるタイミングに合わせて、セカンダリビデオデータを再生する。
図１１は、この発明の実施の一形態に適用可能な再生装置１の一例の構成を概略的に示す。この発明の実施の一形態に適用可能な再生装置としては、プライマリビデオストリームとセカンダリビデオストリームとが同一のトランスポートストリームに多重化され、それぞれのストリームが同期している「ＩｎＭｕｘ」型と呼ばれる構成の再生装置と、プライマリビデオストリームとセカンダリビデオストリームとが異なるトランスポートストリームに含まれ、それぞれのストリームが同期または非同期である「ＯｕｔＭｕｘ」型と呼ばれる構成の再生装置とがある。ここでは、プライマリビデオストリームとセカンダリビデオストリームとが同一のトランスポートストリームに多重化され、それぞれが同期している「ＩｎＭｕｘ」型の再生装置を例にとって説明する。また、以下では、例えば、フレーム周波数が２４Ｈｚのビデオデータを、フィールド周波数が５９．９４Ｈｚのビデオデータに変換する必要がある場合など、ビデオデータのフレーム周波数の変更が必要な場合を例にとって説明する。
再生装置１は、ディスクドライブ１１、バッファ１２、デマルチプレクサ（ＤｅＭＵＸ）１３、プライマリビデオデコーダ１４、プライマリビデオ変換部１５、セカンダリビデオデコーダ１６、セカンダリビデオ変換部１７、制御部１８、ＳＴＣ（System Time Clock）回路１９、加算器２０および２１で構成されている。
ストリームデータは、着脱可能な記録媒体１０に記録されて供給される。記録媒体１０の例としては、再生専用または記録可能なディスク状記録媒体、フラッシュメモリといった半導体メモリ、着脱可能なハードディスクドライブなどが考えられる。ディスク状記録媒体としては、例えばＢｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）およびＢｌｕ−ｒａｙ Ｄｉｓｃに基づく再生専用の規格であるＢＤ−ＲＯＭ（Blu-ray Disc-Read Only Memory）、さらにはＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）などが考えられる。
ストリームデータの供給源としては、ディスク状記録媒体の他に、例えば、インターネットなどの通信ネットワークやディジタルテレビジョン放送が考えられる。以下では、ストリームデータの供給源として、ディスク状記録媒体などの着脱可能な記録媒体１０を例にとって説明する。
ディスクドライブ１１は、装填された記録媒体１０に記録されたストリームデータを再生する。記録媒体１０には、例えばＭＰＥＧ２（Moving Picture Experts Group 2）システムズに規定されるトランスポートストリーム（ＴＳ）やプログラムストリーム（ＰＳ）の形式で、ビデオデータおよびオーディオデータが多重化されたストリームデータが記録されている。記録媒体１０から再生されたトランスポートストリームまたはプログラムストリームは、バッファ１２に供給される。バッファ１２は、後述する制御部１８の制御に基づき、供給されたストリームデータをデマルチプレクサ１３に供給する。
デマルチプレクサ１３は、供給されたストリームデータからプライマリビデオストリームおよびセカンダリビデオストリームを分離する。例えば、バッファ１２からトランスポートストリームとしてストリームデータが供給された場合、デマルチプレクサ１３は、トランスポートパケット毎にＰＩＤ（Packet IDentification）を解析し、プライマリビデオデータが格納されたパケットを集める。集めたパケットのペイロードに格納されたデータからＰＥＳ(Packetized Elementary Stream)パケットを再構築する。そして、ＰＥＳパケットのヘッダに格納された情報などに基づき、ＰＥＳパケット毎にプライマリビデオデータのエレメンタリストリームを取り出してプライマリビデオストリームを復元する。また、プライマリビデオストリームの復元と同様にして、デマルチプレクサ１３は、トランスポートパケット毎のＰＩＤに基づきセカンダリビデオデータが格納されたパケットを集め、セカンダリビデオストリームを復元する。
バッファ１２からプログラムストリームとしてストリームデータが供給された場合、デマルチプレクサ１３は、パックヘッダなどのヘッダ情報に基づきＰＥＳパケットを分離し、ＰＥＳパケットのヘッダに格納された情報などに基づき、ＰＥＳパケット毎にビデオデータのエレメンタリストリームを取り出してビデオストリームを復元する。また、ビデオストリームの復元と同様にして、デマルチプレクサ１３は、パックヘッダなどのヘッダ情報に基づきＰＥＳパケットを分離し、オーディオストリームを復元する。
デマルチプレクサ１３で分離されたプライマリビデオストリームは、プライマリビデオデコーダ１４に供給され、セカンダリビデオストリームは、セカンダリビデオデコーダ１６に供給される。プライマリビデオデコーダ１４は、供給されたプライマリビデオストリームをデコードし、ベースバンドのビデオデータとして出力する。
ここで、例えばＭＰＥＧ２システムズにより伝送されるビデオストリームの符号化方式は、ＭＰＥＧ２方式に限られない。例えば、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standardization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standardization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、ＭＰＥＧ４ ＡＶＣと略称する）に規定される符号化方式や、ＶＣ−１(Video Codec 1)方式で符号化されたビデオストリームを、ＭＰＥＧ２システムズにより伝送することができる。
プライマリビデオデコーダ１４は、これら複数の符号化フォーマットにそれぞれ対応してプライマリビデオストリームをデコードするようにできる。この場合、プライマリビデオデコーダ１４は、例えばプライマリビデオストリームのヘッダ情報や、プライマリビデオストリームに所定に付加される属性情報に基づき符号化フォーマットを判別し、対応する復号方式でプライマリビデオストリームをデコードする。ユーザ操作などに基づく外部からの制御に応じて符号化フォーマットを設定することもできる。
勿論、プライマリビデオデコーダ１４が単独の符号化フォーマットにのみ対応するようにもできる。この場合には、プライマリビデオデコーダ１４が対応していない符号化フォーマットのビデオストリームが供給されると、例えばエラー処理がなされる。
また、プライマリビデオデコーダ１４は、供給されたプライマリビデオストリームのフレームレートすなわちフレーム周波数を取得する。一例として、上述したＭＰＥＧ２方式、ＭＰＥＧ４ ＡＶＣ方式およびＶＣ−１方式においては、ストリームのヘッダ部分にフレームレートに関する情報が格納される。プライマリビデオデコーダ１４は、供給されたプライマリビデオストリームの例えばヘッダ部分からフレームレートに関する情報を抽出し、当該ビデオストリームのフレームレートを取得する。
より具体的には、ＭＰＥＧ２の場合、シーケンスヘッダ(Sequence Header)内のデータ項目frame_rate_codeにフレームレートframe_rate_valueが記述される。ＭＰＥＧ４ ＡＶＣの場合、シーケンスパラメータセット(Sequence Parameter Set)におけるシーケンスパラメータvui_parameters()内のパラメータnum_units_in_tickおよびパラメータtime_scaleを用いて(time_scale／num_units_in_tick)／２を計算することにより、フレームレートframe_rate_valueが求められる。また、ＶＣ−１の場合、シーケンスレイヤSEQUENCE LAYER()における項目FRAMERATENRおよび項目FRAMERATEDRでそれぞれ示される値value of Frame Rate Numeratorおよび値value of Frame Rate Denominatorを用いて(value of Frame Rate Numerator)／(value of Frame Rate Denominator)を計算することにより、フレームレートframe_rate_valueが求められる。
プライマリビデオデコーダ１４から、プライマリビデオストリームがデコードされたプライマリビデオデータと、プライマリビデオストリームから所定に取得されたフレームレート情報とがプライマリビデオ変換部１５に供給される。プライマリビデオデータは、例えばこのビデオデータのフレームレートに従いプライマリビデオ変換部１５に供給される。
セカンダリビデオデコーダ１６は、プライマリビデオデコーダ１４と同様に、複数の符号化フォーマットにそれぞれ対応してプライマリビデオストリームをデコードするようにできる。また、セカンダリビデオデコーダ１６は、供給されたセカンダリビデオストリームのヘッダ部分に格納されたフレームレートに関する情報を抽出し、当該ビデオストリームのフレームレートを取得する。
セカンダリビデオデコーダ１６から、セカンダリビデオストリームがデコードされたセカンダリビデオデータと、セカンダリビデオストリームから所定に取得されたフレームレート情報とがセカンダリビデオ変換部１７に供給される。セカンダリビデオデータは、例えばこのビデオデータのフレームレートに従いセカンダリビデオ変換部１７に供給される。
ＳＴＣ回路１９は、プライマリビデオデータとセカンダリビデオデータとを同期させるための同期基準信号であるＳＴＣを発生させる。発生したＳＴＣは、プライマリビデオ変換部１５および加算器２０を介してセカンダリビデオ変換部１７に供給される。
制御部１８は、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)およびＲＡＭ（Random Access Memory）などからなる。ＲＯＭは、ＣＰＵ上で動作されるプログラムや動作のために必要なデータが予め記憶される。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムやデータを必要に応じて読み出し、ＲＡＭをワークメモリとして用いながら、この再生装置１の各部を制御する。なお、ＲＯＭは、記憶されたプログラムやデータを書き換えて、更新可能としてもよい。
また、制御部１８は、ＳＴＣ回路１９からセカンダリビデオ変換部１７に対して供給されるＳＴＣ値に対して、加算器２０を介して所定値分だけ遅らせてセカンダリビデオデータを出力するように制御する。
プライマリビデオ変換部１５は、プライマリビデオデコーダ１４から供給されたフレームレート情報に基づき、このプライマリビデオデータのフレーム周波数の変換を行う。例えば、図１２Ａに例示されるように、プライマリビデオ変換部１５は、フレームメモリ２２およびプライマリビデオ制御部２３からなり、プライマリビデオ制御部２３は、制御部１８の制御に基づき、フレームメモリ２２からのプライマリビデオデータの読み出しを制御することで、３−２プルダウン処理などの処理を行う。
一例として、２４ｐのプライマリビデオデータを６０ｉのプライマリビデオデータに変換する３−２プルダウン処理は、例えば、２４ｐすなわちフレーム周波数が２４Ｈｚで供給されたプライマリビデオデータをフレーム単位でフレームメモリ２２に格納し、プライマリビデオ制御部２３は、フレームメモリ２２から３回若しくは２回繰り返して同一フレームを読み出すように制御する。
変換されたプライマリビデオデータは、ＳＴＣ回路１９から供給される同期基準信号であるＳＴＣの値に基づき、ＳＴＣ値とプライマリビデオデータのＰＴＳ（Presentation Time Stamp）で指定される時間とが一致した場合に出力される。ＰＴＳは、映像や音声の再生時刻を示すタイムスタンプであり、９０ｋＨｚのクロック値を３３ビットで表している。ＰＴＳは、アクセスユニットと呼ばれる再生単位毎に付加されており、例えば、アクセスユニットの先頭部分が格納されたパケットのヘッダ部分に付加されている。
セカンダリビデオ変換部１７は、プライマリビデオ変換部１５と同様に、セカンダリビデオデコーダ１６から供給されたフレームレート情報に基づき、このセカンダリビデオデータのフレーム周波数の変換を行う。また、セカンダリビデオ変換部１７は、セカンダリビデオデータのサイズ変換を行う。
例えば、図１２Ｂに例示されるように、セカンダリビデオ変換部１７は、フレームメモリ２４、スケーリング部２５およびセカンダリビデオ制御部２６からなり、セカンダリビデオ制御部２６は、制御部１８の制御に基づき、フレームメモリ２４からのセカンダリビデオデータの読み出しを制御することで、３−２プルダウン処理などの処理を行う。
フレームメモリ２４から出力されたセカンダリビデオデータは、スケーリング部２５に供給され、セカンダリビデオ制御部２６の制御に基づき所定のサイズに変換されて出力される。具体的には、例えば、スケーリング部２５は、供給されたセカンダリビデオデータを、元のセカンダリビデオデータに対して１倍、１．５倍、１／２倍、１／４倍となるようにサイズを変換する。また、スケーリング部２５は、供給されたセカンダリビデオデータを全画面のサイズに変換することもできる。
説明は図１１に戻り、加算器２１は、プライマリビデオ変換部１５から出力されたプライマリビデオデータおよびセカンダリビデオ変換部１７から出力されたセカンダリビデオデータをフレーム毎に合成して出力する。
上述では、図１１に示す再生装置１の各部がそれぞれハードウェアで構成されるように説明したが、これはこの例に限定されない。すなわち、再生装置１におけるデマルチプレクサ１３、プライマリビデオデコーダ１４、プライマリビデオ変換部１５、セカンダリビデオデコーダ１６、セカンダリビデオ変換部１７、制御部１８およびＳＴＣ回路１９の全てまたは一部を、ＣＰＵ上で所定のプログラムを実行させることで構成することも可能である。プログラムは、再生装置１が有する図示されないＲＯＭに予め記憶させておいてもよいし、ＤＶＤ−ＲＯＭやＣＤ−ＲＯＭといった記録媒体に記録された状態で提供されてもよい。インターネットなどの通信ネットワークを介してプログラムを提供することもできる。提供されたプログラムは、再生装置１が有する図示されないハードディスクドライブや不揮発性メモリなどに記憶され、ＣＰＵに読み込まれて実行される。
次に、ピクチャインピクチャ機能を用いた場合に合成されるプライマリビデオデータおよびセカンダリビデオデータの組み合わせについて説明する。上述したように、プライマリビデオスデータおよびセカンダリビデオデータの符号化フォーマットとしては、ＭＰＥＧ２方式、ＭＰＥＧ４ ＡＶＣ方式およびＶＣ−１方式を用いることができる。ピクチャインピクチャ機能を用いてプライマリビデオデータおよびセカンダリビデオデータを合成する場合には、合成可能なプライマリビデオデータおよびセカンダリビデオデータの符号化フォーマットの組み合わせが予め設定されている。
例えば、図１３に示されるように、ＭＰＥＧ２方式で符号化されたプライマリビデオデータに対しては、ＭＰＥＧ２方式、ＭＰＥＧ４ ＡＶＣ方式およびＶＣ−１方式のうち、いずれの符号化方式で符号化されたセカンダリビデオデータを合成することができる。また、ＭＰＥＧ４ ＡＶＣ方式で符号化されたプライマリビデオデータに対しては、ＭＰＥＧ４ ＡＶＣ方式で符号化されたセカンダリビデオデータのみ合成することができる。ＶＣ−１方式で符号化されたプライマリビデオデータに対しては、ＶＣ−１方式で符号化されたセカンダリビデオデータのみ合成することができる。
また、プライマリビデオデータおよびセカンダリビデオデータのサイズやフレームレート、走査方式についても、合成可能な組み合わせが予め設定されている。例えば、図１４に示されるように、プライマリビデオデータの画像サイズ（水平サイズ×垂直サイズ）が１９２０×１０８０［ｐｉｘｅｌ]、フレームレートが２９．９７［Ｈｚ］であるインタレースの場合、画像サイズが７２０×４８０［ｐｉｘｅｌ］／１９２０×１０８０［ｐｉｘｅｌ］／１４４０×１０８０［ｐｉｘｅｌ］、フレームレートが２９．９７［Ｈｚ］であるインタレースのセカンダリビデオデータのみが合成可能である。
次に、この発明の実施の一形態による再生方法について説明する。この発明の実施の一形態では、ピクチャインピクチャ機能を用いてセカンダリビデオデータを再生する場合に、セカンダリビデオデータの再生開始タイミングをプライマリビデオデータの３フィールドグループの先頭フィールドのピクチャが表示されるタイミングに一致するように制御する。
先ず、図１５に示すフローチャートを参照して、セカンダリビデオデータの再生を開始するタイミングを算出する処理の流れについて説明する。この図１５に例示する処理は、主に、上述した再生装置１の制御部１８で行われる。
ステップＳ３１において、ユーザがリモートコントロールコマンダなどを操作することにより、セカンダリビデオデータの再生開始が指示されると、ステップＳ３２では、セカンダリビデオデータの再生開始の時点におけるＳＴＣ値を取得し、現在のＳＴＣ値を示す値cur_stcに格納する。
次のステップＳ３３では、現在のＳＴＣ値cur_stcが示すプライマリビデオデータに対応するメインプレイアイテムのＩＮ点を示す値in_ptsを取得し、値primary_video_datum_ptsに格納する。また、ステップＳ３４では、セカンダリビデオデータに対応するサブプレイアイテムのＩＮ点を示す値in_ptsを取得し、値async_pinp_in_ptsに格納する。
ステップＳ３５において、現在時刻から所定時間経過後にセカンダリビデオデータの再生を開始するためのマージンを示す値start_marginに所定値、例えば３００ｍｓｅｃ程度に対応する値"３００×９０"を格納する。この値は、３００ｍｓｅｃをＳＴＣのクロックである９０ｋＨｚに換算した値を示す。
ステップＳ３６では、セカンダリビデオデータの再生を開始するためのマージンstart_marginに基づき、セカンダリビデオデータの一時的な再生開始位置を示すＰＴＳ値tmp_start_ptsを、数式（１）に基づいて算出する。
tmp_start_pts = cur_stc + start_margin ・・・（１）
次のステップＳ３７では、プライマリビデオデータの再生開始位置を示すＰＴＳ値primary_video_datum_ptsと、セカンダリビデオデータの一時的な再生開始位置を示すＰＴＳ値tmp_start_ptsとに基づき、プライマリビデオデータおよびセカンダリビデオデータの再生開始位置を示すＰＴＳ値の差分diffを、数式（２）に基づいて算出する。
diff = tmp_start_pts - primary_video_datum_pts ・・・（２）
ステップＳ３８において、プライマリビデオデータのフレームレートを取得し、値frame_durationに格納し、ステップＳ３９では、ステップＳ３７で算出されたプライマリビデオデータおよびセカンダリビデオデータの再生開始位置を示すＰＴＳ値の差分diffの間に含まれる、プライマリビデオデータのフレームレートframe_durationの２倍の長さを数式（３）に基づき算出し、算出結果の整数部分を値numに格納する。
num = diff / (frame_duration × 2) ・・・（３）
ステップＳ４０では、プライマリビデオデータおよびセカンダリビデオデータの再生開始位置を示すＰＴＳ値の差分diffを、プライマリビデオデータのフレームレートframe_durationの２倍の値で正規化した差分diff_grid_x2を数式（４）に基づき算出する。この差分diff_grid_x2がＳＴＣ回路１９から供給されるＳＴＣ値に対して、制御部１８から加算器２０を介して供給されるＳＴＣ値の遅延分となる。
diff_grid_x2 = num × (frame_duration × 2) ・・・（４）
そして、ステップＳ４１において、セカンダリビデオデータの再生開始時刻を示すＰＴＳ値async_pinp_start_ptsを数式（５）に基づき算出する。すなわち、プライマリビデオデータに対して３−２プルダウン処理を行った際に生成される３フィールドグループおよび２フィールドグループで構成される組み合わせの先頭位置から、セカンダリビデオデータを再生するように設定する。
async_pinp_start_pts = primary_video_datum_pts + diff_grid_x2
・・・（５）
次に、図１６に示すフローチャートを参照して、この発明の実施の一形態による再生処理の流れについて説明する。ステップＳ５１において、対象となるビデオデータがセカンダリビデオデータであるか否かが判断される。セカンダリビデオデータであると判断された場合には、処理がステップＳ５２に移行する。
ステップＳ５２では、セカンダリビデオデータに対応するサブプレイアイテムのin_ptsが取得され、ステップＳ５３において、セカンダリビデオデータのＰＴＳから、ステップＳ５２で取得したin_ptsを減じるとともに、async_pinp_start_ptsを加算することによってセカンダリビデオデータのＰＴＳを修正し、処理がステップＳ５４に移行する。
一方、ステップＳ５１において、セカンダリビデオデータでない、すなわち、プライマリビデオデータである場合には、処理がステップＳ５４に移行する。
ステップＳ５４では、ビデオデータのＰＴＳで指定される時間と、ＳＴＣ値との比較を行うことにより、ビデオデータの表示タイミングを設定する。また、対象となるビデオデータがセカンダリビデオデータである場合には、ステップＳ５３で修正されたＰＴＳ値を用いる。そして、ステップＳ５５において、ビデオデータのＰＴＳで指定される時間がＳＴＣ値と一致した場合に、ピクチャが表示される。
次のステップＳ５６では、表示されたピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntに基づき、Ｖｓｙｎｃの数をカウントし、Ｖｓｙｎｃの数だけピクチャが表示されたか否かが判断される。表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されたと判断した場合には、処理がステップＳ５７に移行し、次のピクチャが表示される。なお、Ｖｓｙｎｃの数prsn_vsync_cntの算出方法については後述する。
一方、表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されていないと判断した場合には、処理がステップＳ５６に戻り、再度、表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されたか否かが判断される。
次に、上述のステップＳ５６で用いられる表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntの算出方法について説明する。先ず、図１７に示すフローチャートを参照して、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countの算出処理の流れについて説明する。ステップＳ６１では、表示ピクチャのＰＴＳ値とメインプレイアイテムのＰＴＳ値との差分を値pts_diffに格納する。
次のステップＳ６２では、表示ピクチャのフレームレートが２３．９７６Ｈｚであるか否かが判断される。表示ピクチャのフレームレートが２３．９７６Ｈｚであると判断された場合には、処理がステップＳ６３に移行し、５９．９４ＨｚのＶｓｙｎｃ間隔を示す値をframe_rateに格納する。frame_rateに格納される値としては、ＳＴＣのクロックである９０ｋＨｚに換算した値を格納する。具体的には、frame_rateに"９０ｋＨｚ／５９．９４Ｈｚ＝１５０１．５"を格納する。
ステップＳ６４では、数式（６）に基づき値xが算出され、算出結果の整数部分を値xに格納する。また、ステップＳ６５では、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countが数式（７）に基づき算出され、算出結果の整数部分を値native_vsync_countに格納する。
x = (pts_diff × 2) / (frame_rate × 5) ・・・（６）
native_vsync_count = x × 5 / 2 ・・・（７）
ステップＳ６６では、ステップＳ６４で算出された値xが奇数であるか否かが判断される。値xが奇数であると判断された場合には、処理がステップＳ６７に移行し、ステップＳ６５で算出されたnative_vsync_countの値に対して"１"を加算して、一連の処理が終了する。また、値xが奇数でない、すなわち、偶数であると判断された場合には、一連の処理が終了する。
一方、ステップＳ６２において、表示ピクチャのフレームレートが２３．９７６Ｈｚでないと判断された場合には、処理がステップＳ６８に移行する。ステップＳ６８では、表示ピクチャのフレームレートが２４Ｈｚであるか否かが判断される。表示ピクチャのフレームレートが２４Ｈｚであると判断された場合には、処理がステップＳ６９に移行する。ステップＳ６９では、６０ＨｚのＶｓｙｎｃ間隔を示す値をframe_rateに格納する。値frame_rateに格納される値としては、ＳＴＣのクロックである９０ｋＨｚに換算した値を格納する。具体的には、値frame_rateに"９０ｋＨｚ／６０Ｈｚ＝１５００"を格納する。
また、ステップＳ６８において、表示ピクチャのフレームレートが２４Ｈｚでないと判断された場合には、処理がステップＳ７０に移行する。ステップＳ７０では、表示ピクチャのフレームレートが２９．９７Ｈｚまたは５９．９４Ｈｚであるか否かが判断される。表示ピクチャのフレームレートが２９．９７Ｈｚまたは５９．９４Ｈｚであると判断された場合には、処理がステップＳ７１に移行する。
ステップＳ７１では、５９．９４ＨｚのＶｓｙｎｃ間隔を示す値をframe_rateに格納する。値frame_rateに格納される値としては、ＳＴＣのクロックである９０ｋＨｚに換算した値を格納する。具体的には、値frame_rateに"９０ｋＨｚ／５９．９４Ｈｚ＝１５０１．５"を格納する。
また、ステップＳ７０において、表示ピクチャのフレームレートが２９．９７Ｈｚまたは５９．９４Ｈｚでないと判断された場合には、処理がステップＳ７２に移行し、６０ＨｚのＶｓｙｎｃ間隔を示す値をframe_rateに格納する。frame_rateに格納される値としては、ＳＴＣのクロックである９０ｋＨｚに換算した値を格納する。具体的には、frame_rateに"９０ｋＨｚ／６０Ｈｚ＝１５００"を格納する。
ステップＳ７３では、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countが数式（８）に基づき算出される。
native_vsync_count = pts_diff / frame_rate ・・・（８）
次に、図１８に示すフローチャートを参照して、表示ピクチャのＶｓｙｎｃの数を示す値prsn_vsync_cntの算出処理の流れについて説明する。ステップＳ８１において、表示ピクチャのフレームレートが２３．９７６Ｈｚであるか否かが判断される。表示ピクチャのフレームレートが２３．９７６Ｈｚであると判断された場合には、処理がステップＳ８２に移行する。
ステップＳ８２では、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countに２／５を乗じた値が奇数であるか否かが判断される。表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countに２／５を乗じた値が奇数であると判断された場合には、処理がステップＳ８３に移行する。ステップＳ８３では、表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntが"２"とされるとともに、表示ピクチャのＰＴＳに"１５０１．５／２"が加算され、値vsync_cntが"２"とされる。
一方、ステップＳ８２において、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countに２／５を乗じた値が奇数でないと判断された場合には、処理がステップＳ８４に移行する。ステップＳ８４では、表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntが"３"とされるとともに、値vsync_cntが"３"とされる。
ステップＳ８１において、表示ピクチャのフレームレートが２３．９７６Ｈｚでないと判断された場合には、処理がステップＳ８５に移行する。ステップＳ８５では、表示ピクチャのフレームレートが２４Ｈｚであるか否かが判断される。表示ピクチャのフレームレートが２４Ｈｚであると判断された場合には、処理がステップＳ８６に移行する。
ステップＳ８６では、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countに２／５を乗じた値が奇数であるか否かが判断される。表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countに２／５を乗じた値が奇数であると判断された場合には、処理がステップＳ８７に移行する。ステップＳ８７では、表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntが"２"とされるとともに、表示ピクチャのＰＴＳに"１５０１．５／２"が加算され、値vsync_cntが"２"とされる。
一方、ステップＳ８６において、表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countに２／５を乗じた値が奇数でないと判断された場合には、処理がステップＳ８８に移行する。ステップＳ８８では、値vsync_cntが"３"とされる。
ステップＳ８９では、ステップＳ８７およびＳ８８で決定された値vsync_cntの値が表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntに格納され、一連の処理が終了する。
また、ステップＳ８５において、表示ピクチャのフレームレートが４Ｈｚでないと判断された場合には、処理がステップＳ９０に移行する。ステップＳ９０では、ビデオデコーダの規定に従い、表示ピクチャの元のＶｓｙｎｃの数が値vsync_cntに格納される。そして、ステップＳ９１において、ステップＳ９０で決定された値vsync_cntの値が表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntに格納される。
ステップＳ９２では、表示ピクチャのフレームレートが２９．９７Ｈｚまたは５９．９４Ｈｚであるか否かが判断される。表示ピクチャのフレームレートが２９．９７Ｈｚまたは５９．９４Ｈｚである場合には、一連の処理が終了する。また、表示ピクチャのフレームレートが２９．９７Ｈｚまたは５９．９４Ｈｚである場合にも、一連の処理が終了する。
このように、この発明の実施の一形態では、セカンダリビデオデータの再生開始タイミングを算出し、プライマリビデオデータに対して３−２プルダウン処理を行うことによって生成された３フィールドグループの先頭フィールドが次に出力されるタイミングに、算出したセカンダリビデオデータの再生開始タイミングを合わせることにより、セカンダリビデオデータを再生する際に発生するコーミングの発生を防止することができる。
次に、この発明の実施の一形態の第１の変形例について説明する。この発明の実施の一形態の第１の変形例では、セカンダリビデオデータを再生する際に発生するコーミングを防止するために、第２の方法を用いる。
第２の方法では、セカンダリビデオデータの再生開始が指示された時点におけるプライマリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャの残り表示数を、セカンダリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャの表示数に設定し、プライマリビデオデータの各グループの先頭フィールドのピクチャが出力されるタイミングと、セカンダリビデオデータの各グループの先頭フィールドのピクチャが出力されるタイミングとを合わせる。
例えば、図１９に示されるように、セカンダリビデオデータの再生開始が指示された時点のプライマリビデオデータにおけるグループのピクチャ残り表示数が"２"であるため、セカンダリビデオデータにおける最初のグループのピクチャ表示数を"２"に設定する。こうすることにより、プライマリビデオデータおよびセカンダリビデオデータの各グループの切り替わりタイミングが一致する。
この発明の実施の一形態の第１の変形例による再生方法について説明する。先ず、図２０に示すフローチャートを参照して、セカンダリビデオデータの再生を開始するタイミングを算出する処理の流れについて説明する。この図２０に例示する処理は、主に、上述した再生装置１の制御部１８で行われる。
ステップＳ１０１において、ユーザがリモートコントロールコマンダなどを操作することにより、セカンダリビデオデータの再生開始が指示されると、ステップＳ１０２では、セカンダリビデオデータの再生開始の時点におけるＳＴＣ値を取得し、現在のＳＴＣ値を示す値cur_stcに格納する。
ステップＳ１０３において、現在時刻から所定時間経過後にセカンダリビデオデータの再生を開始するためのマージンを示す値start_marginに所定値、例えば３００ｍｓｅｃ程度に対応する値"３００×９０"を格納する。この値は、３００ｍｓｅｃをＳＴＣのクロックである９０ｋＨｚに換算した値を示す。このマージンstart_marginがＳＴＣ回路１９から供給されるＳＴＣ値に対して、制御部１８から加算器２０を介して供給されるＳＴＣ値の遅延分となる。
ステップＳ１０４では、セカンダリビデオデータの再生を開始するためのマージンstart_marginに基づき、セカンダリビデオデータの再生開始時刻を示すＰＴＳ値async_pinp_start_ptsを、数式（９）に基づいて算出する。
async_pinp_start_pts = cur_stc + start_margin ・・・（９）
そして、ステップＳ１０５において、セカンダリビデオデータの再生開始時刻を示すＰＴＳ値async_pinp_start_ptsをセカンダリビデオデータの再生開始時刻としてＳＴＣ回路１９に設定する。
次に、図２１に示すフローチャートを参照して、この発明の実施の一形態の第１の変形例による再生処理の流れについて説明する。ステップＳ１１１において、対象となるビデオデータがセカンダリビデオデータであるか否かが判断される。セカンダリビデオデータであると判断された場合には、処理がステップＳ１１２に移行する。
ステップＳ１１２では、セカンダリビデオデータに対応するサブプレイアイテムのin_ptsが取得され、ステップＳ１１３において、セカンダリビデオデータのＰＴＳから、ステップＳ１１２で取得したin_ptsを減じるとともに、async_pinp_start_ptsを加算することによってセカンダリビデオデータのＰＴＳを修正し、処理がステップＳ１１４に移行する。
一方、ステップＳ１１１において、セカンダリビデオデータでない、すなわち、プライマリビデオデータである場合には、処理がステップＳ１１４に移行する。
ステップＳ１１４では、ビデオデータのＰＴＳで指定される時間と、ＳＴＣ値との比較を行うことにより、ビデオデータの表示タイミングを設定する。また、対象となるビデオデータがセカンダリビデオデータである場合には、ステップＳ１１３で修正されたＰＴＳ値を用いる。
ステップＳ１１５では、対象となるビデオデータがセカンダリビデオデータであるか否かが判断される。セカンダリビデオデータであると判断された場合には、処理がステップＳ１１６に移行する。
ステップＳ１１６では、プライマリビデオデータの表示ピクチャのＶｓｙｎｃの数を示す値prsn_vsync_cntとセカンダリビデオデータの表示ピクチャのＶｓｙｎｃの数を示す値prsn_vsync_cntとする。なお、表示ピクチャのＶｓｙｎｃの数を示す値prsn_vsync_cntの算出方法については、上述の実施の一形態における算出方法と同様に、図１７および１８に示されるフローチャートに基づき算出することができる。
一方、ステップＳ１１５において、対象となるビデオデータがセカンダリビデオデータでないと判断された場合には、処理がステップＳ１１７に移行する。ステップＳ１１７では、ビデオデータのＰＴＳで指定される時間がＳＴＣ値と一致した場合に、ピクチャが表示される。
次のステップＳ１１８では、表示されたピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntに基づき、Ｖｓｙｎｃの数をカウントし、Ｖｓｙｎｃの数だけピクチャが表示されたか否かが判断される。表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されたと判断した場合には、処理がステップＳ１１９に移行し、次のピクチャが表示される。
一方、表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されていないと判断した場合には、処理がステップＳ１１８に戻り、再度、表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されたか否かが判断される。
このように、この発明の実施の一形態の第１の変形例では、セカンダリビデオデータの再生開始が指示された時点で再生されている、プライマリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャの残り表示数を取得し、取得した残り表示数を、セカンダリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャの表示数に設定する。こうすることにより、プライマリビデオデータの各グループの先頭フィールドのピクチャが出力されるタイミングと、セカンダリビデオデータの各グループの先頭フィールドのピクチャが出力されるタイミングとを合わせることができ、セカンダリビデオデータを再生する際に発生するコーミングを防止することができる。
次に、この発明の実施の一形態の第２の変形例について説明する。この発明の実施の一形態の第２の変形例では、セカンダリビデオデータを再生する際に発生するコーミングを防止するために、第３の方法を用いる。
第３の方法では、プライマリビデオデータに対して３−２プルダウン処理を行うことによって生成されたグループのピクチャを表示している間は、セカンダリビデオデータの所定グループのピクチャを表示させ続け、プライマリビデオデータのグループの切り替わりタイミングでセカンダリビデオデータの表示ピクチャを切り替えることにより、プライマリビデオデータとセカンダリビデオデータとの切り替わりタイミングを合わせる。
例えば、図２２に示されるように、プライマリビデオデータに対する３−２プルダウン処理によって生成されるグループがグループＡからグループＢに切り替わった際に表示されているセカンダリビデオデータの表示ピクチャＸが、プライマリビデオデータのグループＢが表示されている間、保持される。同様にして、例えば、プライマリビデオデータのグループがグループＢからグループＣに切り替わった際に表示されているセカンダリビデオデータの表示ピクチャＹが、プライマリビデオデータのグループＣが表示されている間、保持される。
すなわち、プライマリビデオデータの所定のグループが再生されている間は、そのグループの先頭フィールドのピクチャが表示された時点で表示されているセカンダリビデオデータのピクチャが保持されて再生され続ける。そして、プライマリビデオデータのグループが切り替わった際に、セカンダリビデオデータの次のグループにおける先頭フィールドのピクチャが表示される。
この発明の実施の一形態の第２の変形例による再生方法について説明する。先ず、図２３に示すフローチャートを参照して、セカンダリビデオデータの再生を開始するタイミングを算出する処理の流れについて説明する。この図２３に例示する処理は、主に、上述した再生装置１の制御部１８で行われる。
ステップＳ１２１において、ユーザがリモートコントロールコマンダなどを操作することにより、セカンダリビデオデータの再生開始が指示されると、ステップＳ１２２では、セカンダリビデオデータの再生開始の時点におけるＳＴＣ値を取得し、現在のＳＴＣ値を示す値cur_stcに格納する。
ステップＳ１２３において、現在時刻から所定時間経過後にセカンダリビデオデータの再生を開始するためのマージンを示す値start_marginに所定値、例えば３００ｍｓｅｃ程度に対応する値"３００×９０"を格納する。この値は、３００ｍｓｅｃをＳＴＣのクロックである９０ｋＨｚに換算した値を示す。このマージンstart_marginがＳＴＣ回路１９から供給されるＳＴＣ値に対して、制御部１８から加算器２０を介して供給されるＳＴＣ値の遅延分となる。
ステップＳ１２４では、セカンダリビデオデータの再生を開始するためのマージンstart_marginに基づき、セカンダリビデオデータの再生開始時刻を示すＰＴＳ値async_pinp_start_ptsを、数式（１０）に基づいて算出する。
async_pinp_start_pts = cur_stc + start_margin ・・・（１０）
そして、ステップＳ１２５において、セカンダリビデオデータの再生開始時刻を示すＰＴＳ値async_pinp_start_ptsをセカンダリビデオデータの再生開始時刻としてＳＴＣ回路１９に設定する。
次に、図２４に示すフローチャートを参照して、この発明の実施の一形態の第２の変形例による再生処理の流れについて説明する。ステップＳ１３１において、対象となるビデオデータがセカンダリビデオデータであるか否かが判断される。セカンダリビデオデータであると判断された場合には、処理がステップＳ１３２に移行する。
ステップＳ１３２では、セカンダリビデオデータに対応するサブプレイアイテムのin_ptsが取得され、ステップＳ１３３において、セカンダリビデオデータのＰＴＳから、ステップＳ１３２で取得したin_ptsを減じるとともに、async_pinp_start_ptsを加算することによってセカンダリビデオデータのＰＴＳを修正し、処理がステップＳ１３４に移行する。
一方、ステップＳ１３１において、セカンダリビデオデータでない、すなわち、プライマリビデオデータである場合には、処理がステップＳ１３４に移行する。
ステップＳ１３４では、ビデオデータのＰＴＳで指定される時間と、ＳＴＣ値との比較を行うことにより、ビデオデータの表示タイミングを設定する。また、対象となるビデオデータがセカンダリビデオデータである場合には、ステップＳ１３３で修正されたＰＴＳ値を用いる。そして、ステップＳ１３５において、ビデオデータのピクチャを表示用のフレームメモリに出力する。
ステップＳ１３６では、対象となるビデオデータがプライマリビデオデータであるか否かが判断される。プライマリビデオデータであると判断された場合には、処理がステップＳ１３７に移行する。ステップＳ１３７では、セカンダリビデオデータの表示用のフレームメモリからピクチャを取得し、プライマリビデオデータの表示用のフレームメモリに重ねることにより、表示ピクチャを合成する。
一方、ステップＳ１３６において、対象となるビデオデータがプライマリビデオデータでないと判断された場合には、処理がステップＳ１３８に移行する。ステップＳ１３８では、表示されたピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntに基づき、Ｖｓｙｎｃの数をカウントし、Ｖｓｙｎｃの数だけピクチャが表示されたか否かが判断される。表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されたと判断した場合には、処理がステップＳ１３９に移行し、次のピクチャが表示される。
一方、表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されていないと判断した場合には、処理がステップＳ１３８に戻り、再度、表示ピクチャがＶｓｙｎｃの数prsn_vsync_cntだけ表示されたか否かが判断される。なお、表示ピクチャのＶｓｙｎｃの数を示す値prsn_vsync_cntの算出方法については、上述の実施の一形態における算出方法と同様に、図１７および１８に示されるフローチャートに基づき算出することができる。
このように、この発明の実施の一形態の第２の変形例では、プライマリビデオデータの所定のグループが再生されている間は、そのグループの先頭フィールドのピクチャが表示された時点で表示されているセカンダリビデオデータのピクチャが保持されて再生され続け、プライマリビデオデータのグループが切り替わった際に、セカンダリビデオデータの表示ピクチャが次のグループにおける先頭フィールドのピクチャに切り替わるようにしている。したがって、プライマリビデオデータの各グループの先頭フィールドのピクチャが出力されるタイミングと、セカンダリビデオデータの各グループの先頭フィールドのピクチャが出力されるタイミングとを合わせることができ、セカンダリビデオデータを再生する際に発生するコーミングを防止することができる。
以上、この発明の実施の一形態、実施の一形態の第１の変形例および第２の変形例について説明したが、この発明は、上述したこの発明の実施の一形態、実施の一形態の第１の変形例および第２の変形例に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述では、再生装置１としてプライマリビデオストリームとセカンダリビデオストリームとが同一の記録媒体から供給される場合を例にとって説明したが、これはこの例に限られず、例えば、プライマリビデオストリームとセカンダリビデオストリームとが異なる記録媒体から供給される場合にも適用可能である。
図２５は、プライマリビデオストリームが含まれている第１のストリームデータとセカンダリビデオストリームが含まれている第２のストリームデータとが異なる記録媒体から供給される再生装置１’の一例の構成を示す。再生装置１’は、ディスクドライブ３１、バッファ３２、デマルチプレクサ（ＤｅＭＵＸ）３３、記録媒体４１、バッファ４２、デマルチプレクサ（ＤｅＭＵＸ）４３、プライマリビデオデコーダ１４、プライマリビデオ変換部１５、セカンダリビデオデコーダ１６、セカンダリビデオ変換部１７、制御部１８、ＳＴＣ回路１９、加算器２０および２１で構成されている。なお、再生装置１と同一の機能を有する部分には、同一の符号を付し、ここでは説明を省略する。
第１のストリームデータは、着脱可能な記録媒体３０に記録されて供給される。記録媒体３０の例としては、例えば、ＢＤ−ＲＯＭなどのディスク状記録媒体が考えられる。
ディスクドライブ３１は、装填された記録媒体３０に記録された第１のストリームデータを再生する。記録媒体３０には、例えばＭＰＥＧ２システムズに規定されるトランスポートストリーム（ＴＳ）やプログラムストリーム（ＰＳ）の形式で、ビデオデータおよびオーディオデータが多重化された第１のストリームデータが記録されている。記録媒体３０から再生されたトランスポートストリームまたはプログラムストリームは、バッファ３２に供給される。バッファ３２は、制御部１８の制御に基づき、供給された第１のストリームデータをデマルチプレクサ３３に供給する。
デマルチプレクサ３３は、供給された第１のストリームデータからプライマリビデオストリームを分離する。例えば、バッファ３２からトランスポートストリームとして第１のストリームデータが供給された場合、デマルチプレクサ３３は、トランスポートパケット毎にＰＩＤを解析し、プライマリビデオデータが格納されたパケットを集め、プライマリビデオストリームを復元する。
第２のストリームデータは、例えば、インターネットなどの通信ネットワークを介してダウンロードされて記録媒体４１に記録されている。記録媒体４１の例としては、フラッシュメモリといった半導体メモリや、着脱可能なハードディスクドライブ（ＨＤＤ）などが考えられる。
記録媒体４１から出力されたトランスポートストリームまたはプログラムストリームは、バッファ４２に供給される。バッファ４２は、制御部１８の制御に基づき、供給された第２のストリームデータをデマルチプレクサ４３に供給する。
デマルチプレクサ４３は、供給された第２のストリームデータからセカンダリビデオストリームを分離する。例えば、バッファ４２からトランスポートストリームとして第２のストリームデータが供給された場合、デマルチプレクサ１３は、トランスポートパケット毎にＰＩＤを解析し、セカンダリビデオデータが格納されたパケットを集め、セカンダリビデオストリームを復元する。
ＢＤ−ＲＯＭのデータモデルを概略的に示す略線図である。 インデックステーブルを説明するための略線図である。 クリップＡＶストリーム、クリップ情報、クリップ、プレイアイテムおよびプレイリストの関係を示すＵＭＬ図である。 複数のプレイリストから同一のクリップを参照する方法を説明するための略線図である。 サブパスについて説明するための略線図である。 ピクチャインピクチャ機能を用いた場合の再生について説明するための略線図である。 ピクチャインピクチャ機能を用いた場合の再生処理の流れを説明するためのフローチャートである。 ピクチャインピクチャ機能を用いた場合の再生処理の流れを説明するためのフローチャートである。 コーミングの発生について説明するための略線図である。 この発明の実施の一形態によるコーミングを防止する方法を説明するための略線図である。 この発明の実施の一形態による再生装置の一例の構成を示すブロック図である。 プライマリビデオ変換部およびセカンダリビデオ変換部の一例の構成を示すブロック図である。 プライマリビデオデータおよびセカンダリビデオデータの符号化フォーマットの組み合わせを説明するための略線図である。 プライマリビデオデータおよびセカンダリビデオデータの組み合わせを説明するための略線図である。 この発明の実施の一形態によるセカンダリビデオデータの再生開始タイミングを算出する処理の流れについて説明するためのフローチャートである。 この発明の実施の一形態による再生処理の流れについて説明するための略線図である。 表示ピクチャの元のＶｓｙｎｃの数を示す値native_vsync_countの算出処理の流れについて説明するためのフローチャートである。 表示ピクチャに対するＶｓｙｎｃの数を示す値prsn_vsync_cntの算出処理の流れについて説明するためのフローチャートである。 この発明の実施の一形態の第１の変形例による再生方法について説明するための略線図である。 この発明の実施の一形態の第１の変形例によるセカンダリビデオデータの再生開始タイミングを算出する処理の流れについて説明するためのフローチャートである。 この発明の実施の一形態の第１の変形例による再生処理の流れについて説明するための略線図である。 この発明の実施の一形態の第２の変形例による再生方法について説明するための略線図である。 この発明の実施の一形態の第２の変形例によるセカンダリビデオデータの再生開始タイミングを算出する処理の流れについて説明するためのフローチャートである。 この発明の実施の一形態の第２の変形例による再生処理の流れについて説明するための略線図である。 この発明の実施の一形態に適用可能な別の再生装置の一例の構成を示すブロック図である。 ３−２プルダウン処理を説明するための略線図である。
符号の説明
１、１’ 再生装置
１０、３０、４１ 記録媒体
１１、３１ ディスクドライブ
１２、３２、４２ バッファ
１３、３３、４３ デマルチプレクサ
１４ プライマリビデオデコーダ
１５ プライマリビデオ変換部
１６ セカンダリビデオデコーダ
１７ セカンダリビデオ変換部
１８ 制御部
１９ ＳＴＣ回路
２０、２１ 加算器
２２、２４ フレームメモリ
２３ プライマリビデオ制御部
２５ スケーリング部
２６ セカンダリビデオ制御部

Claims (10)

  1. 第１のビデオ信号と、該第１のビデオ信号に対して任意のタイミングで再生された第２のビデオ信号を同時に再生する再生装置において、
    第１のフレーム周波数の第１のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、上記第１のフレーム周波数の第１のビデオ信号を、上記第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第１のビデオ信号に変換する第１の変換部と、
    第１のフレーム周波数の第２のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、上記第１のフレーム周波数の第２のビデオ信号を、上記第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第２のビデオ信号に変換する第２の変換部と、
    上記第２のフレーム周波数の第１のビデオ信号における上記３回繰り返し出力のフィールドに基づくフィールド群、および、該３回繰り返し出力のフィールドに基づくフィールド群に連続する、上記２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングと、上記第２のフレーム周波数の第２のビデオ信号における上記３回繰り返し出力のフィールドに基づくフィールド群、および、該３回繰り返し出力のフィールドに基づくフィールド群に連続する、上記２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングとを一致させるように制御する制御部と
    を有することを特徴とする再生装置。
  2. 請求項１に記載の再生装置において、
    上記制御部は、
    上記第２のビデオ信号が任意のタイミングで再生された際に、上記第２のフレーム周波数の第１のビデオ信号における次の３回繰り返し出力のフィールドに基づくフィールド群の先頭フィールドの再生開始タイミングを算出し、
    上記算出した再生開始タイミングと、上記第２のフレーム周波数の第２のビデオ信号における３回繰り返し出力のフィールドに基づくフィールド群の先頭フィールドの再生開始タイミングとを一致させるようにした
    ことを特徴とする再生装置。
  3. 請求項１に記載の再生装置において、
    上記制御部は、
    上記第２のビデオ信号が任意のタイミングで再生された際に、上記第２のフレーム周波数の第１のビデオ信号における３回および２回繰り返し出力のフィールドに基づくフィールド群の残フィールド数を算出し、
    上記第２のフレーム周波数の第２のビデオ信号における最初の３回または２回繰り返し出力のフィールドに基づくフィールド群のフィールド数を上記残フィールド数と一致させるようにした
    ことを特徴とする再生装置。
  4. 請求項１に記載の再生装置において、
    上記制御部は、
    上記第２のビデオ信号が任意のタイミングで再生された際に、上記第２のフレーム周波数の第１のビデオ信号における３回および２回繰り返し出力のフィールドに基づくフィールド群の先頭フィールドが再生されたタイミングにおいて再生された、上記第２のフレーム周波数の第２のビデオ信号における３回および２回繰り返し出力のフィールドを、上記第２のフレーム周波数の第１のビデオ信号における３回および２回繰り返し出力のフィールドに基づくフィールド群が切り替わるまで保持して再生させるようにした
    ことを特徴とする再生装置。
  5. 請求項１に記載の再生装置において、
    上記第１のビデオ信号および上記第２のビデオ信号は、同一の記録媒体に記録されている
    ことを特徴とする再生装置。
  6. 請求項５に記載の再生装置において、
    上記第１のビデオ信号および上記第２のビデオ信号がＢＤ−ＲＯＭに記録されている
    ことを特徴とする再生装置。
  7. 請求項１に記載の再生装置において、
    上記第１のビデオ信号および上記第２のビデオ信号が異なる記録媒体に記録されている
    ことを特徴とする再生装置。
  8. 請求項７に記載の再生装置において、
    上記第１のビデオ信号がＢＤ−ＲＯＭに記録されている
    ことを特徴とする再生装置。
  9. 第１のビデオ信号と、該第１のビデオ信号に対して任意のタイミングで再生された第２のビデオ信号を同時に再生する再生方法において、
    第１のフレーム周波数の第１のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、上記第１のフレーム周波数の第１のビデオ信号を、上記第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第１のビデオ信号に変換する第１の変換ステップと、
    第１のフレーム周波数の第２のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、上記第１のフレーム周波数の第２のビデオ信号を、上記第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第２のビデオ信号に変換する第２の変換ステップと、
    上記第２のフレーム周波数の第１のビデオ信号における上記３回繰り返し出力のフィールドに基づくフィールド群、および、該３回繰り返し出力のフィールドに基づくフィールド群に連続する、上記２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングと、上記第２のフレーム周波数の第２のビデオ信号における上記３回繰り返し出力のフィールドに基づくフィールド群、および、該３回繰り返し出力のフィールドに基づくフィールド群に連続する、上記２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングとを一致させるように制御するステップと
    を有することを特徴とする再生方法。
  10. 第１のビデオ信号と、該第１のビデオ信号に対して任意のタイミングで再生された第２のビデオ信号を同時に再生する再生方法をコンピュータ装置に実行させる再生プログラムにおいて、
    第１のフレーム周波数の第１のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、上記第１のフレーム周波数の第１のビデオ信号を、上記第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第１のビデオ信号に変換する第１の変換ステップと、
    第１のフレーム周波数の第２のビデオ信号に対し、フレームの３回繰り返し出力と２回繰り返し出力とをフレーム毎に交互に行い、上記第１のフレーム周波数の第２のビデオ信号を、上記第１のフレーム周波数と２対５の関係になる第２のフレーム周波数の第２のビデオ信号に変換する第２の変換ステップと、
    上記第２のフレーム周波数の第１のビデオ信号における上記３回繰り返し出力のフィールドに基づくフィールド群、および、該３回繰り返し出力のフィールドに基づくフィールド群に連続する、上記２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングと、上記第２のフレーム周波数の第２のビデオ信号における上記３回繰り返し出力のフィールドに基づくフィールド群、および、該３回繰り返し出力のフィールドに基づくフィールド群に連続する、上記２回繰り返し出力のフィールドに基づくフィールド群の切り替わりタイミングとを一致させるように制御するステップと
    を有することを特徴とする再生プログラム。
JP2007323294A 2007-12-14 2007-12-14 再生装置、再生方法および再生プログラム Expired - Fee Related JP4935661B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007323294A JP4935661B2 (ja) 2007-12-14 2007-12-14 再生装置、再生方法および再生プログラム
US12/269,316 US8401360B2 (en) 2007-12-14 2008-11-12 Apparatus and associated methodology for generating a picture-in-picture display from two video screens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007323294A JP4935661B2 (ja) 2007-12-14 2007-12-14 再生装置、再生方法および再生プログラム

Publications (2)

Publication Number Publication Date
JP2009147699A JP2009147699A (ja) 2009-07-02
JP4935661B2 true JP4935661B2 (ja) 2012-05-23

Family

ID=40753412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007323294A Expired - Fee Related JP4935661B2 (ja) 2007-12-14 2007-12-14 再生装置、再生方法および再生プログラム

Country Status (2)

Country Link
US (1) US8401360B2 (ja)
JP (1) JP4935661B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467738B1 (ko) * 2015-03-04 2022-11-17 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치, 및 수신 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092432A (ja) * 1999-09-17 2001-04-06 Sanyo Electric Co Ltd 表示装置
US7860375B2 (en) * 2000-03-17 2010-12-28 Thomson Licensing Method and apparatus for simultaneous recording and displaying two different video programs
JP2003274370A (ja) * 2002-03-19 2003-09-26 Matsushita Electric Ind Co Ltd タイムコード信号伝送方法およびタイムコード信号伝送装置
KR100504471B1 (ko) * 2002-08-08 2005-08-03 엘지전자 주식회사 비디오 디코딩 시스템
KR20070014945A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 기록매체, 데이터 재생방법 및 재생장치와 데이터 기록방법및 기록장치
US8134644B2 (en) * 2005-10-15 2012-03-13 Cooper J Carl Audio synchronizer control and communications method and apparatus

Also Published As

Publication number Publication date
US8401360B2 (en) 2013-03-19
JP2009147699A (ja) 2009-07-02
US20090154897A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
US7561779B2 (en) Video data processor having converting section for producing NTSC- or PAL-compliant synthetic video data
JP7139543B1 (ja) 再生装置、及び、再生方法
JP6291116B2 (ja) 再生装置および再生方法
JP6487588B2 (ja) 再生方法および再生装置
JP4775208B2 (ja) 再生方法、再生プログラムおよび再生装置
JP4935661B2 (ja) 再生装置、再生方法および再生プログラム
JP7163461B2 (ja) デコード方法およびデコーダシステム
JP2008301275A (ja) 映像出力装置及び映像出力方法
JP2012175214A (ja) 映像再生装置、映像再生方法及び映像再生プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees