以下、発明を実施するための最良の形態としての本発明の実施形態に係る映像情報再生システム、並びに、映像情報再生システムの制御方法について順に説明する。
(映像情報再生システムの実施形態)
以下、本発明の実施形態に係る映像情報再生システムについて説明する。
本発明の映像情報再生システムに係る実施形態は、主映像情報及び前記主映像情報と種類の異なる副映像情報(例えば副映像や字幕)を再生する再生装置と、(i)前記再生された主映像情報と、(ii)前記再生された副映像情報と、(iii)前記再生された主映像情報又は前記再生された副映像情報の属性(例えば位置や再生位置や字幕言語)に関する属性情報(例えば位置情報やフラグ情報)とを伝送する伝送手段と、前記伝送された属性情報に基づいて、前記伝送された主映像情報に加えて又は代えて前記伝送された副映像情報を表示する表示装置とを備え、前記再生装置と、前記表示装置とは、前記伝送手段を介 して、前記再生された主映像情報に加えて又は代えて前記再生された副映像情報によって 構成される画像の画素と対応付けて、前記属性情報を共有する。
本発明の映像情報再生システムに係る実施形態によれば、再生装置によって、主映像情報及び前記主映像情報と種類の異なる副映像情報(例えば副映像や字幕)が再生される。ここに、本発明に係る「主映像情報」とは、例えば映画コンテンツ等の主目的として再生される映像情報を意味する。また、本発明に係る「副映像情報」とは、例えばピクチャインピクチャや、字幕や、ユーザによる操作を行わせる操作メニュー情報などの、副次的に再生または表示される映像情報を意味する。具体的には、BD規格におけるSecondary VideoやInteractive Graphicsなどがある。
次に、伝送手段によって、(i)再生された主映像情報と、(ii)再生された副映像情報と、(iii)再生された主映像情報又は前記再生された副映像情報の属性(例えば再生位置や字幕言語)に関する属性情報(例えば位置情報やフラグ情報)とが伝送される。ここに、本発明に係る「属性」とは、副映像情報の種類や、副映像情報が表示される位置や、副映像情報の表示の有無や、例えば字幕言語等の副映像情報の内容などの、副映像情報の各種の性質を意味する。
次に、表示装置によって、伝送された属性情報に基づいて、伝送された主映像情報に加えて又は代えて伝送された副映像情報を表示される。
この結果、伝送された属性情報に起因して、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報を共有することが可能である。従って、表示装置自らが、再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示装置において、各種の画像処理を含む表示処理を、より迅速且つ的確に行うことが可能である。
再生装置と表示装置とが画像の画素と対応付けて属性情報を共有する態様によれば、主 映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度 合いを、主映像情報又は副映像情報における画素単位で規定された属性情報によって、リ アルタイムで高精度に検出することが可能である。
本発明の映像情報再生システムに係る実施形態の一の態様では、前記属性情報は、前記主映像情報に加えて又は代えて前記副映像情報に所定周期(例えばフレーム又はフィールド)を単位として、同期している。
この態様によれば、再生装置又は表示装置によって、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、例えばフレーム等の所定周期を単位として同期している属性情報によって、リアルタイムで検出することが可能である。従って、この検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
また、この態様によれば、再生装置又は表示装置によって、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が例えばフレーム等の所定周期を単位として同期している属性情報によって、リアルタイムで行われる。従って、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。
この所定周期に係る態様では、前記所定周期は、前記映像信号のフレーム又はフィールドの周期であるようにしてよい。
このように構成すれば、再生装置又は表示装置によって、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、フレーム又はフィールドを単位として同期している属性情報によって、リアルタイムで高精度に検出することが可能である。
また、このように構成すれば、再生装置又は表示装置によって、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理がフレーム又はフィールドを単位として同期している属性情報によって、リアルタイムで高精度に実行可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置と、前記表示装置とは、前記伝送手段を介して、所定のデータ量を前記属性情報の伝送に割り当てつつ、前記属性情報を共有する。
この態様によれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、主映像情報又は副映像情報と比較して相対的に少ない所定のデータ量である属性情報によって、リアルタイムで高精度に検出することが可能である。ここに、本発明に係る所定のデータ量とは、例えば、1ビットから数ビット等の主映像情報又は副映像情報と比較して相対的に少ない、所望となる属性情報のデータ量に対応して決定されるデータ量を意味してよい。尚、属性情報の伝送は、例えば、主映像情報又は副映像情報を構成するデータフィールドにおいて下位に位置されるデータフィールドを使用して行なわれることが好ましい。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記伝送手段は、(i)前記属性情報を保持する属性信号を伝送することで、前記属性情報を直接的に伝送する、又は、(ii)前記属性信号を含む制御信号を伝送することで、前記属性情報を間接的に伝送する。
この態様によれば、属性情報を共有する伝送形態を、各種の伝送規格に合致させることが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置は、前記主映像情報及び前記副映像情報を含む映像信号を復号化する復号化手段と、前記復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報を取得する取得手段と、前記取得された属性情報に基づいて、前記復号化された映像信号に含まれる主映像情報に加えて又は代えて副映像情報を再生する再生手段と、を有する。
この態様によれば、復号化手段によって、主映像情報及び副映像情報を含む映像信号が復号化される。次に、例えば映像デコーダ等の取得手段によって、復号化された映像信号に含まれる主映像情報又は副映像情報の属性に関する属性情報(例えば位置情報やフラグ情報)が取得される。また、再生手段は、復号化された映像信号に含まれる主映像情報及び副映像情報を再生する。
特に、本実施形態では、制御手段の制御下で、再生手段によって、取得された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報が再生される。次に、表示装置によって、伝送された属性情報に基づいて、伝送された主映像情報に加えて又は代えて伝送された副映像情報を表示される。これにより、伝送された属性情報に起因して、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報を共有することが可能である。
言い換えると、再生手段によって、この取得された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報に対して、例えば、輝度等の画像の信号特性(又は、信号特徴)を検出又は抽出し、フレーム構造を判別するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。ここに、本願発明に係る「信号特性」(又は、「画像特徴」)とは、例えば、輝度、色、動き量、動きベクトル、複雑度、符号化処理のための情報量、符号化困難度等の映像信号を構成する画像の性質や、信号処理上の特性を意味する。そして、再生装置と、表示装置とにおいて、この属性情報が共有される。
或いは、再生手段によって、この取得された属性情報に基づいて、副映像情報を視覚的に適切に表示するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。そして、再生装置と、表示装置とにおいて、この属性情報が共有される。
仮に、例えば字幕が表示される位置を示す位置情報等の属性情報が共有されることなく、主映像情報に加えて又は代えて副映像情報が再生され表示される場合、次のような技術的な問題点が生じてしまう。
即ち、再生装置又は表示装置によって、副映像情報と主映像情報との相関関係が推定されることなく、副映像情報が主映像情報に付加された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われてしまう。よって、副映像情報が主映像情報に合成される位置などの副映像情報と主映像情報との相関関係が不明確であることに起因して、画面全体、又は、予め想定した画面の一部に対して、画一的又は冗長的に画像処理が行われてしまう。よって、主映像情報及び副映像情報によって構成される画像の信号特性のレベルや度合いを誤って検出又は抽出してしまい、ひいては、主映像情報又は副映像情報のフレーム構造を誤判別する可能性が生じてしまう。
加えて、次のような技術的な問題点も生じてしまう。即ち、再生装置又は表示装置によって、副映像情報と主映像情報との相関関係が推定されることなく、副映像情報を主映像情報に合成させて表示するための画像処理が行われつつ、副映像情報及び主映像情報が再生され表示されてしまう。言い換えると、再生装置又は表示装置は、画面全体、又は、予め想定した画面の一部に対して、画一的又は一律的に画像処理を行うため、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した画像処理を行うことが技術的に困難となってしまい、ひいては、副映像情報及び主映像情報が表示される際に画質劣化が発生する可能性が生じてしまう。
より具体的には、例えば字幕等の副映像情報が予め想定した位置に存在しないばかりでなく、この予め想定した位置に例えばピクチャインピクチャ等の他の副映像情報が存在する場合、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。或いは、仮に、例えば字幕等の副映像情報が想定される位置に存在する場合でも、字幕の文字量が小さい場合には、画像の信号特性のレベルや度合いを検出する際の対象となる画像の面積が相対的に狭くなるため、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。
これに対して、本実施形態では、再生装置又は表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報に対して、フレーム構造を判別するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。
従って、制御手段の制御下で、再生装置又は表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、副映像情報と主映像情報との相関関係が推定されつつ、副映像情報が主映像情報に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生装置又は表示装置によって、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生装置又は表示装置によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。
この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
或いは、本実施形態では、再生装置又は表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、副映像情報を視覚的に適切に表示するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。
従って、再生装置又は表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、再生装置又は表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、副映像情報と主映像情報との相関関係が推定されつつ、副映像情報が主映像情報に適切に合成されるための画像処理が適切に行われる。
この結果、再生装置又は表示装置によって、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記表示装置は、前記伝送された主映像情報に加えて又は代えて前記伝送された副映像情報を表示する表示手段と、前記伝送された属性情報に基づいて、前記主映像情報に加えて又は代えて前記副映像情報を表示するように前記表示手段を制御する制御手段と、を有する。
この態様によれば、制御手段の制御下で、表示手段によって、伝送された属性情報に基づいて、主映像情報に加えて又は代えて副映像情報が表示される。従って、制御手段の制御下で、表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、副映像情報と主映像情報との相関関係が推定されつつ、副映像情報が主映像情報に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、表示装置によって、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、表示装置によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。
この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
或いは、本実施形態では、表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、副映像情報を視覚的に適切に表示するための画像処理が行われつつ、主映像情報に加えて又は代えて副映像情報が再生される。
従って、表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、表示装置によって、再生装置と表示装置とで共有された属性情報に基づいて、副映像情報と主映像情報との相関関係が推定されつつ、副映像情報が主映像情報に適切に合成されるための画像処理が適切に行われる。
この結果、表示装置によって、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置は、前記主映像情報及び前記副映像情報を再生することに加えて又は代えて、前記主映像情報と、前記副映像情報とを合成表示する画像処理を行いつつ、前記主映像情報及び前記副映像情報を再生する。
この態様によれば、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を再生することが可能である。
尚、再生装置は、主映像情報及び前記副映像情報のフレーム構造を判別する画像処理を行いつつ、主映像情報及び前記副映像情報を再生してもよい。従って、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記表示装置は、前記主映像情報及び前記副映像情報のフレーム構造を判別する画像処理を行いつつ、前記主映像情報及び前記副映像情報を表示する。
この態様によれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。従って、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記副映像情報は、(i)前記主映像情報に重ね合わせて再生されるピクチャインピクチャ情報、(ii)前記主映像情報に関する字幕情報、又は(iii)ユーザによる操作を行わせる操作メニュー情報である。
この態様によれば、主映像情報に加えて又は代えて、上述した複数種類の副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
また、この態様によれば、上述した複数種類の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置と、前記表示装置とは、前記伝送手段を介して、前記属性情報として、ユーザの操作に対応した前記副映像情報の再生の有無に関する一のフラグ情報を共有する。
この態様によれば、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報として、上述の一のフラグ情報を共有することが可能である。従って、表示装置自らが、再生装置において、ユーザによる指示に従って実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示装置において、各種の画像処理を含む表示処理を、より迅速且つ的確に行うことが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置と、前記表示装置とは、前記伝送手段を介して、前記属性情報として、副映像情報の表示画面中の表示位置に関する位置情報を共有する。
この態様によれば、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報として、上述の位置情報を共有することが可能である。従って、表示装置自らが、再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示装置において、各種の画像処理を含む表示処理を、より迅速且つ的確に行うことが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置と、前記表示装置とは、前記伝送手段を介して、前記属性情報として、2−3プルダウンの繰り返し周期に関する周期情報に加えて又は代えて、前記2−3プルダウンの有無に関する他のフラグ情報を共有する。
この態様によれば、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報として、上述の周期情報に加えて又は代えて他のフラグ情報を共有することが可能である。従って、表示装置自らが、再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示装置において、各種の画像処理を含む表示処理を、より迅速且つ的確に行うことが可能である。
本発明の映像情報再生システムに係る実施形態の他の態様では、前記再生装置と、前記表示装置とは、前記伝送手段を介して、前記属性情報として、ユーザが、前記主映像情報を構成する複数のフレームのうち同一のフレームを出力する前記主映像情報の再生又は表示の一時停止を行うことに加えて又は代えて前記副映像情報を構成する複数のフレームのうち同一のフレームを出力する前記副映像情報の再生又は表示の一時停止を行う指示を行っているか否かに関する一時停止フラグ情報を共有する。
この態様によれば、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報として、上述の一時停止フラグ情報を共有することが可能である。従って、表示装置自らが、再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示装置において、各種の画像処理を含む表示処理を、より迅速且つ的確に行うことが可能である。具体的には、例えばディスプレイモニター等の表示装置が、上述の再生手段を有する場合、画面の焼き付き等を効果的に防止する手段をとることが可能となる。
上述した表示装置に係る態様では、前記表示装置は、前記共有された一時停止フラグ情報に基づいて、表示画面の焼き付き防止のための所定処理を行うように構成してよい。
このように構成すれば、例えばディスプレイモニター等の表示装置による所定処理によって、画面の焼き付き等を効果的に防止することが可能となる。ここに、本発明に係る「所定処理」とは、表示装置の表示画面の焼き付きを防止可能な所定の画像処理、所定の光学的又は物理的な表示処理を意味してよい。
(映像情報再生システムの制御方法の実施形態)
以下、本発明の実施形態に係る映像情報再生システムの制御方法について説明する。
本発明の映像情報再生システムの制御方法に係る実施形態は、主映像情報及び前記主映像情報と種類の異なる副映像情報(例えば副映像や字幕)を再生する再生工程と、(i)前記再生された主映像情報と、(ii)前記再生された副映像情報と、(iii)前記再生された主映像情報又は前記再生された副映像情報の属性(例えば位置や再生位置や字幕言語)に関する属性情報(例えば位置情報やフラグ情報)とを伝送する伝送工程と、前記伝送された属性情報に基づいて、前記伝送された主映像情報に加えて又は代えて前記伝送された副映像情報を表示するように表示装置を制御する制御工程とを備え、前記再生工程と、前記制御工程とでは、前記伝送工程を介して、前記再生された主映像情報に加えて又は代えて前記再生された副映像情報によって構成される画像の画素と対応付けて、前記属性情報を共有する。
本発明の映像情報再生システムの制御方法に係る実施形態によれば、上述した本発明の映像情報再生システムに係る実施形態が有する各種利益を享受することが可能となる。
尚、上述した本発明の映像情報再生システムに係る実施形態が有する各種態様に対応して、本発明の映像情報再生システムの制御方法に係る実施形態も各種態様を採ることが可能である。
本実施形態のこのような作用及び他の利得は次に説明する実施例から明らかにされる。
以上説明したように、本発明の映像情報再生システム及び当該システムの制御方法に係る実施形態によれば、再生装置及び工程、伝送手段及び工程、表示装置、並びに、制御工程を備える。この結果、伝送された属性情報に起因して、再生装置と、表示装置とにおいて、ユーザによる指示に従って実行された動作、又は、自動的に実行された各種の処理に関する属性情報を共有することが可能である。従って、表示装置自らが、再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、表示装置において、各種の画像処理を含む表示処理を、より迅速且つ的確に行うことが可能である。
以下、図面を参照しながら、本発明の実施例について説明する。
(1)映像情報を保持する映像信号における符号化及び復号化の概要
先ず、図1を参照して、一般的な映像情報を保持する映像信号の概略について説明する。ここに、図1は、本実施例に係る映像情報を保持する映像信号における符号化及び復号化の概要を図式的に示した模式図である。
図1に示されるように、一般に、映像情報を保持する映像信号、所謂、ディジタルビデオ信号は情報量が極めて多い。このため当該ディジタルビデオ信号を小型で記憶情報量(記憶容量)の少ない記録媒体に長時間記録をしようとする場合、または、当該ディジタルビデオ信号を通信容量が限られた通信路の中で多くのチャネル数にて伝送しようとする場合には、このディジタルビデオ信号を高能率符号化して情報量を低減することが不可欠である。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その一つとしていわゆるMPEG(Moving Picture Expert Group)方式がある。このMPEG方式は、先ずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落し、その後、離散コサイン変換(DCT)等の直交変換手法を用いて空間軸方向の冗長度を落してビデオ信号を能率良く符号化する。
このMPEG方式に基づく符号化処理においては、図1に示されるように、各種の符号化器によって、音声信号、例えば「人の画像」である副映像情報を保持する副映像信号、例えば「Blue Sky」の字幕等の文字信号、例えば「山や木の風景の画像」である、Iピクチャ,Pピクチャ又はBピクチャの3種類の画像(ピクチャ)によって構成される主映像情報を保持する主映像信号、及び、画像シーンを構成するシーン構成信号が圧縮され符号化される。そして、これらの圧縮され符号化された音声信号、副映像信号、字幕等の文字信号、主映像信号、及び、シーン構成信号が多重化され、伝送される。
次に、伝送された、圧縮され符号化された音声信号、副映像信号、字幕等の文字信号、主映像信号、及び、シーン構成信号が分離され、各種の復号化器へ出力され、伸張され復号化される。
次に、伸張され復号化されたシーン構成信号に基づいて、伸張され復号化された音声信号、副映像信号、字幕等の文字信号、及び、主映像信号が合成され、例えばディスプレイモニター等の表示装置によって表示される。
(1−1)映像情報を保持する映像信号の周期
次に、図2を参照して、本発明の映像情報を保持する映像信号の周期の概略について説明する。ここに、図2は、本発明の映像情報を保持する映像信号の周期を決定する上で基準となる映画フィルムにおけるフレーム周期と、例えばNTSC方式のビデオにおけるフレーム周期との比較を図式的に示した模式図である。
図2に示されるように、映画フィルムにおけるフレーム周期は、「1/24」秒である。他方、NTSC方式のビデオにおけるフレーム周期は、「1/30」秒である。従って、映画フィルムの4フレームの時間、即ち、「4/24」秒(1/6秒)と、NTSC方式のビデオの5フレームの時間、即ち、「5/30」秒(1/6秒)が等しい。
具体的には、フレーム周期が「1/24」秒である映画フィルムを、フレーム周期が「1/30」秒であるNTSC方式のビデオで表示するためには、2−3プルダウン処理が行われる。即ち、映画フィルムにおける、1番目のフレームを2フィールドとして表示し、2番目のフレームを3フィールドとして表示する。この2−3プルダウン処理の結果、フレーム周期が「1/24」秒である映画フィルムは、フレーム周期が「1/30」秒であるNTSC方式のビデオのフィールドに変換される。具体的には、映画フィルムにおいて、1秒間に、24個あるフレームの半分の12個が、2つのNTSC方式のビデオのフィールドに分割され、もう半分の12個のフレームが、3つのNTSC方式のビデオのフィールドに分割されるので、次の式(1)より、1秒間に60個のフィールドに分割されることになる。
(2×12)+(3×12)=60 …… 式(1)
詳細には、MPEG方式に準拠した符号化器は、NTSC方式のビデオのフィールドにおいては、5フィールドごとに「repeat_first_fieldフラグ」が設定され、復号化器に対して、フィールドの繰り返しを指示する。この「repeat_first_fieldフラグ」に基づいて、後述される2−3プルダウン処理を行うことができる。
(2)基本構成
次に、図3を参照して、本実施例に係る映像再生装置の基本構成について説明を進める。ここに、図3は、本発明の映像再生装置の第1実施例に係る映像記録再生装置の基本構成を概念的に示すブロック図である。
図3に示されるように、映像記録再生装置100は、TV受信機1、映像入力2、音声入力3、A/D(Analog to digital)コンバータ5、A/Dコンバータ6、TV信号デコーダ7、映像エンコーダ9、音声エンコーダ10、マルチプレクサ11、入力切換12、ドライブインターフェイス(Drive Interface)14、BD(Blu-ray Disc)を有するBDドライブ15、ドライブインターフェイス16、DVDを有するDVDドライブ17、ドライブインターフェイス18、Hard Discを有するHard Discドライブ(即ち、HDD)19、出力切換20、デマルチプレクサ21、各種の暗号化システムに準拠した暗号化復号化器22、ドライブインターフェイスからの映像情報を復号化し伸張する映像デコーダ23a、インターネット(Internet)からダウンロードされる映像情報を復号化し伸張する映像デコーダ23b、画像処理装置24、音声デコーダ25、サムネイルOSD27、TV信号エンコーダ28、D/Aコンバータ29、ミキサー30、D/A(Digital to Analog)コンバータ31、HDMIトランスミッター32、システムCPU33、操作部34、メモリー部35、リモコン受光部36、リモコン37、デジタル受信機38、IEEE1394デコーダ39、TSインプットプロセッサ40、TSアウトプットプロセッサ41、IEEE1394エンコーダ42、IEEE1394出力43、及び、表示装置50を備えて構成されている。
(3)概要動作
(3−1)BD、DVD又はHDDの再生を行う場合
出力切換20がデマルチプレクサ21に接続され、例えば映画コンテンツ等の主映像情報、及び、例えば字幕等の副映像情報が記録されたBDが搭載された、BDドライブ15から、ドライブインターフェイス14を介して、主映像情報を保持する主映像信号及び副映像情報を保持する副映像信号がデマルチプレクサ21に入力される。
具体的には、システムCPU33の制御により、BDドライブ15、DVDドライブ17、及びHDD19のうちいずれか一つを選択することで、入力ソースの切り換えを行う。
BDドライブ15又はDVDドライブ17には、ATAPIなどの規格に準拠したドライブインターフェイス14又は16が接続されている。このBDドライブ15又はDVDドライブ17は、予め記録されたストリームを読み出し、ドライブインターフェイス14又は16を介して出力切換20に出力するとともに、入力されたストリームをBD又はDVDに記録するようになっている。
HDD19には、ATAPIなどの規格に準拠したドライブインターフェイス18が接続されている。このHDD19は、予めHDDに記録されたストリームを読み出し、ドライブインターフェイス18を介して出力切換20に出力するとともに、入力されたストリームをHDD19に記録するようになっている。
デマルチプレクサ21では、例えば主映像信号や副映像信号等の映像信号と、音声情報とが分離され、音声情報は、例えばAACS(Advanced Access Content System)等に準拠した暗号化復号化器22を介して、音声デコーダ25へ出力される。と共に、デマルチプレクサ21では、例えば主映像信号や副映像信号等の映像信号は、例えばAACSに準拠した暗号化復号化器22を介して、映像デコーダ24へ出力される。具体的には、デマルチプレクサ21は、出力切換20によって選択されたプログラムストリームからMPEG形式等を有する映像データ、及び、ドルビーデジタル形式やDTS形式等を有する音声データを分離し、分離した映像データおよび音声データを、それぞれ、映像デコーダ24又は音声デコーダ25に出力する。尚、音声デコーダ25は、入力されたドルビーデジタル形式等の音声データを復号化して音声信号に変換し、復号されたデジタル音声信号を出力する。
映像デコーダ23aは、後述されるように、属性情報に基づいて、主映像信号に加えて又は代えて副映像信号に対して、フレーム構造を判別するための画像処理又は個別的又は例外的な表示のための画像処理が行われつつ、主映像信号に加えて又は代えて副映像信号が再生される、即ち、表示装置において表示可能になるように伸張され復号化される。具体的には、映像デコーダ23aは、入力された例えばMPEG形式の映像信号を復号化して映像信号に変換し、復号化されたデジタル信号を出力する。
詳細には、後述されるように、映像デコーダ23aでは、主映像情報に、例えばピクチャインピクチャやサブピクチャを重ねて表示できるように画像処理回路が設計されていてよい。このため、主映像情報に重ねて合成した形で、例えば字幕や、カラオケの歌詞や、操作メニューを表示してよい。多言語の字幕等に対応できるように、一つのビデオストリームにつき最大32ストリームのサブピクチャを付加できるようになってよい。
加えて、詳細には、映像デコーダ23aは、ビデオ規格に従ってビデオ信号のデータを復号し、ストリーム中にある再生時間の指定に従って出力する。映像信号は、例えばMPEG2方式に準拠して圧縮された信号の場合、MPEG2方式に準拠した映像デコーダによって復号される。MPEG2方式に準拠した映像デコーダ24から出力される信号は、通常のテレビ走査の方式である、一秒間に30フレームのインターレース(interlace)の信号である。一部のBDプレーヤでは、このMPEG2方式に準拠した映像デコーダ24の出力信号をさらに演算し、一秒間に60フレームのプログレッシブ(progressive)の信号に変換して出力する機能を有する。また、接続するTV等の表示装置に対応してBDプレーヤの出力を、通常のTV画面である4:3のアスペクト比、又は、ワイドテレビ画面である16:9のアスペクト比に切り替えて出力する機能を有する。
或いは、この映像デコーダ23aにおいては、例えば24(Hz:hertz)のフィルム画像が、例えば60(Hz)のインターレース方式の画像に変換された後、このインターレース方式の画像における、繰り返し画像の周期、所謂、リピート映像周期が判別され、更に、プログレッシブ方式へ変換するための画像処理が行われてよい。
と同時に又は相前後して、インターネット(Internet)からダウンロードされる映像信号が、映像デコーダ23bへ出力される。この映像デコーダ23bにおいては、ダウンロードされた字幕等の映像信号が伸張され復号化される。
ミキサー30は、映像デコーダ23aから出力される復号化された映像信号、映像デコーダ23bから出力される復号化された映像信号、及び、サムネイルOSD27から出力されるサムネイル画像を混合する。と共に、混合された映像信号を画像処理装置24へ出力する。
画像処理装置24では、ミキサー30から出力された映像信号に対して、各種の画像処理を行う。具体的には、画像処理装置24は、入力された主映像信号に対して必要な字幕、即ち、文字情報等の副映像信号を重畳し、TV信号エンコーダ28或いはHDMIトランスミッター32に出力する。詳細には、字幕の言語も、光ディスクの種類によってはメインの言語以外に多国の言語の字幕(例えば日本語と英語)が記録されてよい。映像再生装置では、この字幕の信号を復号して映像信号に重ねて表示する機能や、字幕の選択をする機能を有してよい。或いは、具体的には、画像処理装置24に有される2−3プルダウン識別器では、例えばフィルム映像等の伸張され復号化された主映像信号及び副映像信号に対して、2−3プルダウン処理を行うか否かが識別されると共に、適宜、当該2−3プルダウン処理を主映像信号及び副映像信号に対して行い、当該2−3プルダウン処理が行われた主映像信号及び副映像信号を出力する。
HDMIトランスミッター32は、入力されたTV用デジタル映像信号と、入力されたデジタル音声信号を、HDMI出力部を介して外部に出力する。
TV信号エンコーダ28は、入力された主映像信号及び副映像信号を外部のディスプレイモニタなどの表示装置に表示させるため、TV用の映像フォーマットに変換し、D/Aコンバータ29に出力する。
D/Aコンバータ29は、入力されたTV用デジタル映像信号をアナログ信号に変換し、映像出力30を介して外部に出力する。
D/Aコンバータ31は、入力されたデジタル音声信号をアナログ信号に変換し、音声出力32を介して外部に出力する。
システムCPU33は、キー入力ポート、表示部出力ポート等の各種入出力ポートを含み、BDの再生及び記録、DVDの再生及び記録、又は、HDDの再生及び記録の各処理のための全般的な機能を総括的に制御する。尚、システムCPU33は、HDDの再生及び記録、又はDVDの再生及び記録の際に、メモリー部35に格納される制御プログラムを読み出して各処理を実行し、メモリー部35に処理中のデータを一時的に保持するようになっている。
操作部34は、各種確認ボタンおよび数字キー、上下左右カーソルキー等の多数のキーから構成され、キー操作に従って、又は、リモコン受光部36から出力された所定の信号をシステムCPU33に出力する。
リモコン受光部36は、リモコン37から出射された赤外線光などの光ビームを受光し、所定の信号に変換して操作部34に出力する。
リモコン37は、操作部34と同様に、各種確認ボタンおよび数字キー、上下左右カーソルキー等の多数のキーから構成されている。
表示装置50は、主映像信号に加えて又は代えて副映像信号を、視聴者に対して表示する表示画面を有する。
(3−2)地上波デジタル放送の記録を行う場合
次に、図3を参照して、地上波デジタル放送の記録の場合の概要動作について詳細な構成と共に説明する。
先ず、デジタル受信機38は、地上波デジタル放送を受信する。
IEEE1394デコーダ39は、デジタル受信機38を介して入力されたIEEE1394フォーマットのトランスポートストリームを通常のトランスポートストリームに変換し、TSインプットプロセッサ40に出力する。
TSインプットプロセッサ40は、入力された通常のトランスポートストリームをHDD記録用のトランスポートストリームデータに変換し、入力切換12に出力する。
HDDドライブ19は、入力切換12を介して入力されたストリーム(TS、又は、PS)をHDに記録するようになっている。
(3−3)アナログ放送の受信、及び、ダビングを行う場合
TV受信機1はVHF又はBSなどのRF信号を受信し、選択された受信帯域に同調して受信した信号波をIF信号に変換するとともに、TV用映像信号及び音声信号に復調して入力切換4に出力する。
TV受信機1から出力された信号、及び、映像入力2、音声入力3からの信号は、選択され、映像信号は、A/D(Analog to digital)コンバータ5に、音声信号は、A/Dコンバータ6に出力される。
A/Dコンバータ5は、TV用アナログ信号をデジタル信号に変換してTV信号デコーダ7に出力する。
TV信号デコーダ7は、入力されたTV用デジタル信号を復号化し、NTSC方式などの通常の映像信号に変換して入力切換8に出力する。
A/Dコンバータ6は、アナログ音声信号をデジタル音声信号に変換して出力する。
映像エンコーダ9は、映像信号をMPEGフォーマットの映像データに変換し、マルチプレクサ11に出力する。
音声エンコーダ10は、音声信号をドルビーデジタルフォーマットの音声データに変換し、マルチプレクサ11に出力する。
マルチプレクサ11は、入力された映像データおよび音声データに基づいてプログラムストリームを生成し、入力切換12に出力する。
(4)本実施例の作用及び効果の検討 (その1)
次に図4を参照して、本実施例の作用及び効果の検討を行う。ここに、図4は、本実施例に係る復号化器から画像処理部へ情報が送信される様子を概念的に示した模式図(図4(a))、及び、比較例に係る復号化器から画像処理部へ情報が送信される様子を概念的に示した模式図(図4(b))である。
図4(a)に示されるように、本実施例では、例えばMPEGデコーダ等の復号化器230から、例えば副映像情報が表示される位置を示す位置情報等の属性情報d3が、画像処理部24へ送信される。そして、画像処理部24が、この送信された属性情報d3を受信することで、画像処理部24は属性情報d3を取得する。
詳細には、一般的に、例えば字幕や、例えばピクチャインピクチャ等の副映像情報や、操作メニュなどの複数種類のオブジェクトを、主映像へ重ね合わせる合成処理(所謂、オーバーレイ処理、又はコンポジション処理)は、例えばBDプレーヤなど映像情報記録再生装置の伝送側(ソース側)の機器内の映像デコーダ(例えば復号化用のLSI(large-scale integration:大規模集積回路)で行われる。この場合、画面全体において、複数種類のオブジェクトが挿入され、主映像に重ね合わされて表示される位置を示す位置情報を、例えばMPEGデコーダや映像デコーダ等の復号化器が取得(識別)している。
次に、画像処理部24によって、この取得された属性情報d3に基づいて、主映像情報d1に加えて又は代えて副映像情報d2に対して、フレーム構造を判別するための画像処理が行われつつ、主映像情報d1に加えて又は代えて副映像情報d2が再生される。尚、本発明に係る「表示装置」の構成要素の一具体例が、画像処理部24によって、構成されている。具体的には、この画像処理部24は、フレーム構造の判別用の画像処理部240a及び表示用の画像処理部240bによって構成されてよい。或いは、この画像処理部24に含まれるフレーム構造の判別用の画像処理部240aは、本発明に係る「再生装置」の構成要素の一具体例であってよい。
従って、システムCPU33の制御下で、フレーム構造の判別用の画像処理部240aによって、属性情報d3に基づいて、副映像情報d2と主映像情報d1との相関関係が推定されつつ、副映像情報d2が主映像情報d1に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報d2が主映像情報d1に付加される位置などの、副映像情報d2と主映像情報d1との相関関係が明確であるので、画像処理部240aによって、複数の副映像情報d2が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生手段によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。
この結果、主映像情報d1に加えて又は代えて副映像情報d2によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
或いは、本実施例では、システムCPU33の制御下で、表示用の画像処理部240bによって、この取得された属性情報d3に基づいて、副映像情報d2を視覚的に適切に表示するための画像処理が行われつつ、主映像情報d1に加えて又は代えて副映像情報d2が再生される。
従って、システムCPU33の制御下で、表示用の画像処理部240bによって、属性情報d3に基づいて、複数の副映像情報d2が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、表示用の画像処理部240bによって、属性情報d3に基づいて、副映像情報d2と主映像情報d1との相関関係が推定されつつ、副映像情報d2が主映像情報d1に適切に合成されるための画像処理が適切に行われる。
この結果、複数の副映像情報d2の個別的又は例外的な表示のための画像処理、及び、副映像情報d2の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報d1に加えて又は代えて副映像情報d2によって構成される画像を表示することが可能である。
仮に、図4(b)の比較例に示されるように、例えば字幕が表示される位置を示す位置情報等の属性情報d3に基づくことなく、主映像情報d1に加えて又は代えて副映像情報d2が再生される場合、次のような技術的な問題点が生じてしまう。
即ち、副映像情報d2と主映像情報d1との相関関係が推定されることなく、副映像情報d2が主映像情報d1に付加された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われてしまう。よって、副映像情報d2が主映像情報d1に合成される位置などの副映像情報d2と主映像情報d1との相関関係が不明確であることに起因して、画面全体、又は、予め想定した画面の一部に対して、画一的又は冗長的に画像処理が行われてしまう。よって、主映像情報d1及び副映像情報d2によって構成される画像の信号特性のレベルや度合いを誤って検出又は抽出してしまい、ひいては、主映像情報d1又は副映像情報d2のフレーム構造を誤判別する可能性が生じてしまう。
加えて、次のような技術的な問題点も生じてしまう。即ち、副映像情報d2と主映像情報d1との相関関係が推定されることなく、副映像情報d2を主映像情報d1に合成させて表示するための画像処理が行われつつ、副映像情報d2及び主映像情報d1が再生されてしまう。言い換えると、再生手段は、画面全体、又は、予め想定した画面の一部に対して、画一的又は一律的な画像の属性検出による処理を行うため、複数の副映像情報d2が夫々表示される複数の画像領域の単位で、夫々の性質に対応した画像処理を行うことが技術的に困難となってしまい、ひいては、副映像情報d2及び主映像情報d1が表示される際に画質劣化が発生する可能性が生じてしまう。
より具体的には、例えば字幕等の副映像情報が想定される予め想定した位置に存在しないばかりでなく、この予め想定した位置に例えばピクチャインピクチャ等の他の副映像情報が存在する場合、画像の信号特性のレベルや度合いを検出する検出精度が顕著に低下してしまう。
これに対して、本実施例では、画像処理部24によって、この取得された属性情報d3に基づいて、主映像情報d1に加えて又は代えて副映像情報d2に対して、フレーム構造を判別するための画像処理が行われつつ、主映像情報d1に加えて又は代えて副映像情報d2が再生される。
この結果、上述したように、主映像情報d1に加えて又は代えて副映像情報d2によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
或いは、本実施例では、表示用の画像処理部240bによって、この取得された属性情報d3に基づいて、副映像情報d2を視覚的に適切に表示するための画像処理が行われつつ、主映像情報d1に加えて又は代えて副映像情報d2が再生される。
この結果、上述したように、複数の副映像情報d2の個別的又は例外的な表示のための画像処理、及び、副映像情報d2の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報d1に加えて又は代えて副映像情報d2によって構成される画像を表示することが可能である。
尚、属性情報d3は、後述されるように、映像記録再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報としてよい。
(5)本実施例の作用及び効果の検討 (その2)
次に図5及び図6を参照して、本実施例の作用及び効果の検討を行う。ここに、図5は、本実施例に係る主映像情報と、副映像情報とが合成される様子を概念的に示した模式図である。図6は、本実施例に係る主映像情報と、副映像情報とが合成された画像を図式的に示した模式図(図6(a))及び、比較例に係る主映像情報と、副映像情報とが合成された画像を図式的に示した模式図(図6(b))である。
図5中及び図6(a)の合成画像に示されるように、例えば「秋の収穫の様子を示した画像」などの主映像情報と、副映像情報とが属性情報に基づいて合成される。具体的には、副映像情報は、例えば「エッフェル塔を示した画像」などのピクチャインピクチャ、例えば「本編再生」と「特典再生」との操作を行う操作メニュー、例えば「フランスの農場」の文字の字幕であるようにしてよい。特に、上述の属性情報は、ピクチャインピクチャが主映像情報に合成される画像上の「領域1」の位置を示す位置情報、字幕が主映像情報に合成される画像上の「領域2」の位置を示す位置情報、及び、操作メニューが主映像情報に合成される画像上の「領域3」の位置を示す位置情報を含むようにしてよい。
仮に、図6(b)の比較例に示されるように、例えば字幕が表示される位置が把握されない場合、主映像情報に加えて又は代えて副映像情報が再生される場合、次のような技術的な問題点が生じてしまう。
即ち、副映像情報と主映像情報との位置的な相関関係が推定されることなく、副映像情報が主映像情報に付加された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われてしまう。よって、副映像情報が主映像情報に合成される位置などの副映像情報と主映像情報との位置的な相関関係が不明確であることに起因して、画面全体、又は、予め想定した画面の一部に対して、画一的又は冗長的に画像処理が行われてしまう。よって、主映像情報及び副映像情報によって構成される画像の信号特性のレベルや度合いを誤って検出又は抽出してしまい、ひいては、主映像情報又は副映像情報のフレーム構造を誤判別する可能性が生じてしまう。
加えて、次のような技術的な問題点も生じてしまう。即ち、副映像情報と主映像情報との位置的な相関関係が推定されることなく、副映像情報を主映像情報に合成させて表示するための画像処理が行われつつ、副映像情報及び主映像情報が再生されてしまう。言い換えると、再生手段は、画面全体、又は、予め想定した画面の一部に対して、画一的又は一律的な画像の属性検出による処理を行うため、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した画像処理を行うことが技術的に困難となってしまい、ひいては、副映像情報及び主映像情報が表示される際に画質劣化が発生する可能性が生じてしまう。
具体的には、例えば「秋の収穫の様子を示した画像」などの主映像情報と、例えば「エッフェル塔を示した画像」などのピクチャインピクチャとが合成される「部分1」において、画一的又は一律的な画像の属性検出による処理が行われ、画質劣化が発生してしまう。また、主映像情報と、例えば「フランスの農場」の文字の字幕とが合成される「部分2」において、画一的又は一律的な画像の属性検出による処理が行われ、画質劣化が発生してしまう。また、主映像情報上において予め設定された字幕の領域と、例えば「本編再生」と「特典再生」との操作を行う操作メニューとが合成される「部分3」において、画一的又は一律的な画像の属性検出による処理が行われ、画質劣化が発生してしまう。詳細には、主映像情報を、「ムービープレーン」と称してよい。また、字幕を「グラフィックプレーン」と称してよい。また、操作メニューを「インタラクティブプレーン」と称してよい。
詳細には、BD(Blu-ray Disc)のアプリケーションフォーマットでは、3つの画像プレーンを採用することによって、多彩な画像の表示を実現している。画像プレーンは、上述したムービープレーン、グラフィックプレーン、インタラクティブプレーンの3つで構成されており、出力される映像はこの3枚の画像プレーンを重ね合わせられている。グラフィックプレーンは、主に字幕やアイコンなどのグラフィックを動画に重ねるのに用いられる。インタラクティブプレーンは、画面上で次の動作を決定するためのボタンを配置するために用いられる。グラフィックプレーンとインタラクティブプレーンに表示する字幕、グラフィック、ボタンなどは、プレイリスト内で動画のどの位置で表示するかを設定することができる。また、動画については同時にHD(High Definition)サイズ(1920×1080等)の動画を同時に2つ再生する機能を有する。上述のピクチャインピクチャ(PinP)は、1つの動画を再生中に別の動画を画面内に出力することも可能である。
また、BDでは、ネットワークの機能を有することにより次のような機能やアプリケーションを実現可能である。(i)インターネットへの接続が可能である。BD内のコンテンツと連動した次のようなアプリケーションを実現することができる。(i-1)BD内のコンテンツが映画などの場合、作品の続編作品内に出演していた俳優の関連作品などの予告編などをダウンロードでき、プレーヤで再生することができる。同様にして、ディスク購入者向けの特典コンテンツなども再生することができる。(i-2)ディスク内に収められている主要な言語の字幕以外の言語の字幕をインターネット経由でダウンロードすることができる。BDを制作する側にとっても、地域に合わせて言語字幕を変えて制作する必要がなくなるという利点を享受できる。(i-3)BD内のコンテンツを再生中に、撮影場所や出演者が着ている衣服、挿入曲の情報などを視聴者が知りたくなった場合に、専用サイトにアクセスすることができる。専用サイトでは、コンテンツに関する情報を得ることができる。(ii)BDドライブと接続されたハードディスクなどの記憶媒体がある場合、BDディスクに入っているコンテンツに関連したデータなどを記憶媒体にダウンロードすることができる。
これに対して、本実施例によれば、図5中及び図6(a)に示されるように、フレーム構造の判別用の画像処理部240aによって、属性情報に基づいて、副映像情報と主映像情報との位置的な相関関係が推定されつつ、副映像情報が主映像情報に合成された画像の信号特性が検出又は抽出されることによって、フレーム構造を判別するための画像処理が行われる。従って、副映像情報が主映像情報に合成される位置などの、副映像情報と主映像情報との位置的な相関関係が明確であるので、画像処理部240aによって、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的なフレーム構造を判別するための画像処理が適切且つ迅速に行われる。又は、副映像情報が主映像情報に付加される位置などの、副映像情報と主映像情報との相関関係が明確であるので、再生手段によって、副映像情報が主映像情報に合成された画像において、副映像情報の部分を除いて、信号特性を簡便且つ適切に検出又は抽出することが可能である。
この結果、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いの検出精度を向上させ、フレーム構造を、より的確且つ高精度に判別することが可能である。
或いは、本実施例によれば、表示用の画像処理部240bによって、属性情報に基づいて、複数の副映像情報が夫々表示される複数の画像領域の単位で、夫々の性質に対応した個別的又は例外的な表示のための画像処理が適切に行われる。加えて、表示用の画像処理部240bによって、属性情報に基づいて、副映像情報と主映像情報との位置的な相関関係が推定されつつ、副映像情報が主映像情報に適切に合成されるための画像処理が適切に行われる。
この結果、複数の副映像情報の個別的又は例外的な表示のための画像処理、及び、副映像情報の適切な合成表示のための各種の画像処理が行われるので、画面全体に対して画一的又は一律的な画像の属性検出による処理が行われる場合と比較して、画質劣化をより効果的に低減させつつ、主映像情報に加えて又は代えて副映像情報によって構成される画像を表示することが可能である。
(6)第2実施例
次に、図7を参照して、本発明の映像記録再生装置の第2実施例について説明する。ここに、図7は、本発明の映像記録再生装置の第2実施例に係る、属性情報の具体例を示したテーブルである。
図7に示されるように、本実施例では、例えばMPEGデコーダ等の復号化器から、例えば副映像情報が表示される位置を示す位置情報に加えて又は代えて、次のような属性情報が、画像処理部が取得されてよい。
具体的には、属性情報は、映像記録再生装置のユーザによる指示に従って、映像オブジェクトとしての字幕の表示の可否に関するフラグ情報に加えて、字幕の表示位置(x1、y1)を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしてのピクチャインピクチャの表示の可否に関するフラグ情報に加えて、ピクチャインピクチャの表示位置(x2、y2)を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしてのポップアップメニュの表示の可否に関するフラグ情報に加えて、ポップアップメニュの表示位置(x3、y3)を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしての特典映像の表示の可否に関するフラグ情報に加えて、特典映像の表示位置(x4、y4)を示す位置情報を含むようにしてよい。又は、属性情報は、上述のユーザによる指示に従って、映像オブジェクトとしての広告映像の表示の可否に関するフラグ情報に加えて、広告映像の表示位置(x5、y5)を示す位置情報を含むようにしてよい。又は、属性情報は、再生される映像コンテンツの種類に従って、2−3プルダウンの実行の可否に関するフラグ情報を含むようにしてよい。又は、属性情報は、例えばMPEG−4AVCなどのMPEG規格に従って、デブロックの実行の可否に関するフラグ情報を含むようにしてよい。又は、属性情報は、例えばAACS(Advanced Access Content System)などの暗号化規格に従って、再生の許可又は不許可に関するフラグ情報を含むようにしてよい。
以上のように、映像記録再生装置において、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を属性情報としてよい。従って、例えばMPEGデコーダ等の復号化器と、画像処理部とにおいて、各種の属性情報を共有することが可能である。この結果、画像処理部自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、画像処理部において、各種の画像処理をより迅速且つ的確に行うことが可能である。
(7)映像記録再生システムの実施例
次に、図8及び図9を参照して、本発明の映像記録再生システムの実施例について説明する。ここに、図8は、本発明の映像記録再生システムの実施例に係る映像記録再生装置から表示装置へ情報が送信される様子を概念的に示した模式図(図8(a))、及び、比較例に係る映像記録再生装置から表示装置へ情報が送信される様子を概念的に示した模式図(図8(b))である。図9は、本発明の映像記録再生システムの実施例において、送受信される信号のビット番号と、信号の内容とを概略的に示したテーブルである。
図8に示されるように、映像記録再生システム500は、例えばMPEGデコーダ等の復号化器及び送信チップ200を備える映像記録再生装置と、受信チップ300を備える表示装置50とによって構成されている。送信チップ200を備える映像記録再生装置から、映像信号、音声信号、及び、例えばHDMI(High Definition Multimedia Interface)規格に準拠したコマンドを含む制御信号が、データライン1からデータライン3と、クロックラインを介して、送信される。受信チップ300を備える表示装置は、データライン1からデータライン3などと、クロックラインを介して、映像信号、音声信号、及び、制御信号を受信する。具体的には、図9に示されるように、ビット番号「0」によって、属性情報を示す属性信号として、例えば字幕の表示の有無を示すフラグ情報を保持させてよい。または、ビット番号「0」によって、属性情報を示す属性信号として、例えば字幕の表示位置を示す位置情報を保持させてよい。その他のビット番号「1」から「11」によって、映像信号として映像情報を保持されてよい。このように構成すれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、主映像情報又は副映像情報と比較して相対的に少ないデータ量である属性情報によって、リアルタイムで高精度に検出することが可能である。
特に、送信チップ200と受信チップ300とは、画素単位に規定された属性情報を含む制御信号を介して属性情報を送受信するようにしてよい。このように構成すれば、主映像情報に加えて又は代えて副映像情報によって構成される画像の信号特性のレベルや度合いを、主映像情報又は副映像情報における画素単位で規定された属性情報によって、リアルタイムで高精度に検出することが可能である。
また、特に、本実施例においては、データライン3を介して、属性情報を送受信することが可能である。従って、映像記録再生システムにおいて、例えばMPEGデコーダ等の復号化器及び送信チップ200を備える映像記録再生装置と、受信チップ300を備える表示装置とにおいて、属性情報を共有することが可能である。この結果、表示装置自らが、ユーザによる指示に従って実行された動作や、各種の規格に従って自動的に実行された動作に関する情報を、再度、検出や測定する必要性が殆ど又は完全にない。以上の結果、映像記録再生システムにおいて、画像処理や表示処理をより迅速且つ的確に行うことが可能である。
詳細には、送信チップ200を備える映像記録再生装置は、BDプレーヤやBDレコーダであってよい。また、受信チップ300を備える表示装置は、HDMI規格に対応したハイビジョンモニタであってよい。物理的には電流源に差動のスイッチがつながり、それぞれのドレーン(即ち、半導体のFETのドレーン側)の2本と、シールドの3本とがペアをなし、データ用に3ペアと、それぞれのデータのタイミングを取るためのクロックが1ペアの12本のデータラインでよい。この12本のデータラインにCEC(Consumer Electronics Control)と呼ばれる系全体の制御ラインなどを加え、全部で18本の信号線(即ち、コネクタは19個)で構成されてよい。信号の伝送は、映像信号と、音声信号と、データ信号とが時分割されてよい。
基本的には、このデータラインには、非圧縮の映像信号が伝送され、輝度信号と色差信号とが伝送される。尚、ハイビジョン映像の場合、各ペアで1秒当たり1.5Gビット程度の大変高速な信号を伝送するので、ケーブル自体の特性も検証されていることが好ましい。特に、よりきれいな映像を、表示装置に伝送できるように、映像信号を8ビットの256階調で伝送するのではなく、10ビットや12ビットあるいはそれ以上のデータ量で伝送できることが好ましい。
尚、伝送されるデータは、HDCP(High-Bandwidth Digital Content Protection)という著作権保護の仕組みに従って暗号化されていることが好ましい。
また、伝送側又はソース側にある送信チップ200を備える映像記録再生装置が、制御に関して主導権を保持しており、表示装置のEDID(Extended Display Identification Data)を読みにいって、認証された表示装置であることを確認した後で、映像信号を伝送するようにしてよい。
また、映像記録再生システムの系全体を制御するCECは、例えばモニタ等の表示装置に対して遠隔制御装置、所謂、リモコンで所定の指令を送出した場合、表示装置につながっている映像記録再生装置の電源のON、OFFや、再生や再生の一時停止などの制御を行うことが可能であり、AV機器の基本的な操作は共通のコマンドとして定義されてよい。
また、上述の実施例では、映像情報再生装置、及び映像情報再生システムの一例として、MPEG2、又は、MPEG4/AVC等に準拠した映像信号を再生する映像情報再生装置、及び映像情報再生システムについて説明したが、本発明は、他の種類の規格に準拠した映像信号を再生する映像情報再生装置、及び映像情報再生システムにも適用可能である。
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴なう映像情報再生装置及び方法、映像情報再生システム、並びに、映像情報再生システムの制御方法もまた本発明の技術的範囲に含まれるものである。