WO2020039973A1 - 受信装置、受信方法、送信装置および送信方法 - Google Patents

Abstract

受信側において安定した動画像を得る。　所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データと、拡張レイヤの各ピクチャの画像データを受信する。表示能力に応じて、基本レイヤの各ピクチャの画像データのみ、または基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る。基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

Description

受信装置、受信方法、送信装置および送信方法

　本技術は、受信装置、受信方法、送信装置および送信方法に関し、詳しくは、混合処理された画像データを取り扱う受信装置、受信方法、送信装置および送信方法に関する。

　従来から放送されているフレームレートでデコードを行う受信機において、ハイフレームレート（High Frame Rate)の放送を受信する場合、ストリームの部分的なデコードを行うと動きの連続性が損なわれて動画質の劣化が生じる。この動画質の劣化の主な原因は、部分デコードされたピクチャ同士の時間連続性が粗くなるため、速い動きに対する人間の眼の網膜投影が間欠的になることで生ずるストロービング（Strobing）であるといわれている。

　ストロービングによる動画質の劣化を低減させるために、本出願人は、先に、基準となるフレーム周期でのピクチャについて、その前後のピクチャとの間で画素混合を行う技術を提案した（特許文献１参照）。この場合、従来の受信機において時間サブサンプルを行っても、動いた要素が部分デコードされる時間サンプルに反映されるので、ストロービングによる動画質劣化が低減される。

国際公開第２０１５/０７６２７７号

　従来の技術では、ピクチャ全体に対して混合処理を行うために、本来鮮明に表示すべきものが二重表示されるおそれがある。ストロービング劣化を回避すべき部分とハイフレームレートの鮮明度を維持すべき部分とを別々に処理を行って、安定した動画像を得ることが望まれる。

　本技術の目的は、受信側において安定した動画像を得ることを目的とする。

　本技術の概念は、
　基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データを受信する受信部を備え、
　上記基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
　表示能力に応じて、上記基本レイヤの各ピクチャの画像データのみ、または上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る処理部をさらに備える
　受信装置にある。

　本技術において、受信部により、基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データが受信される。ここで、基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである。また、拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものである。

　例えば、所定のウインドウ範囲は、所定フレームレートの画像データのうち基本レイヤの各ピクチャの画像データに対応した各ピクチャの画像データに基づいて抽出された閾値以上の動き部分を含む画像範囲である、ようにされてもよい。また、例えば、所定フレームレートは１２０Ｈｚである、ようにされてもよい。

　処理部により、表示能力に応じて、基本レイヤの各ピクチャの画像データのみ、または基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データが得られる。例えば、処理部は、基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る場合、基本レイヤの各ピクチャの画像データに所定のウインドウ範囲内で逆混合処理をする、ようにされてもよい。

　この場合、例えば、少なくとも基本レイヤの各ピクチャの画像データに混合処理の情報が含まれており、処理部は、混合処理の情報に基づいて、基本レイヤの各ピクチャの画像データにウインドウ範囲内で逆混合処理をする、ようにされてもよい。そして、この場合、混合処理の情報は、所定のウインドウの位置情報を含む、ようにされてもよい。また、この場合、混合処理の情報は、さらに、所定のウインドウにおける混合比の情報を含む、ようにされてもよい。

　このように本技術においては、所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データと、拡張レイヤの各ピクチャの画像データが受信され、表示能力に応じて、基本レイヤの各ピクチャの画像データのみ、または基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データが得られる。そのため、例えば、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

　また、本技術の他の概念は、
　所定フレームレートの画像データを処理して基本レイヤの各ピクチャの画像データを得ると共に拡張レイヤの各ピクチャの画像データを得る処理部とを備え、
　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
　上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データを送信する送信部をさらに備える
　送信装置にある。

　本技術において、所定フレームレートの画像データが処理されて基本レイヤの各ピクチャの画像データが得られると共に拡張レイヤの各ピクチャの画像データが得られる。ここで、基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである。また、拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものである。そして、送信部により、基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データが送信される。

　このように本技術においては、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データと、拡張レイヤの各ピクチャの画像データが送信されるものである。そのため、受信側において、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

　また、本技術の他の概念は、
　所定フレームレートの画像データを受信する受信部と、
　上記所定フレームレートの画像データを処理して、基本レイヤの各ピクチャの画像データを得る処理部を備え、
　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである
　受信装置にある。

　本技術において、受信部により、所定フレームレートの画像データが受信される。そして、所定フレームレートの画像データが処理されて、基本レイヤの各ピクチャの画像データが得られる。ここで、基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである。

　このように本技術においては、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データが得られるものである。そのため、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

　なお、本技術において、例えば、基本レイヤの各ピクチャの画像データを外部機器に送信する送信部をさらに備える、ようにされてもよい。これにより、外部機器では、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

実施の形態としての送受信システムの構成例を示すブロック図である。 １２０Ｈｚのフレーム周波数の画像データに混合処理が施されて得られた６０Ｈｚの基本レイヤの画像データと、＋６０Ｈｚの拡張レイヤの画像データの一例を示す図である。 送信装置およびテレビ受信機の処理の概要を示す図である。 送信装置のプリプロセッサの構成例を示すブロック図である。 ウインドウ処理部の構成例を示すブロック図である。 Ｎ番目と（Ｎ＋２）番目のピクチャペアの間における画像変化の一例を示す図である。 グルーピング候補およびウインドウの生成の一例を示す図である。 ウインドウ生成部におけるウインドウ生成の手順の一例を説明するための図である。 混合比設定部にける混合比設定のためのテーブルの一例を示す図である。 ウインドウ処理部においてピクチャ毎に行われる、ウインドウと、そのウインドウにおける混合比を取得する処理の手順の一例を示すフローチャートである。 グルーピング候補を得るための処理の手順の一例を示すフローチャートである。 ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージの構造例を示す図である。 ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 ポストプロセッサの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合におけるトランスポートストリームＴＳの構成例を示す図である。 混合処理情報を全ピクチャのみに付す場合におけるトランスポートストリームＴＳの構成例を示す図である。 １２０Ｈｚのフレーム周波数の画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。 ６０Ｈｚのフレーム周波数の画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 送信装置、セットトップボックスおよびディスプレイの処理の概要を示す図である。 ＨＤＭＩ・ブレンディング・ウインドウ・インフォフレームの構造例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 送信装置、インタフェース・ボックスおよび画像表示機器の処理の概要を示す図である。 プロセッサの構成例を示すブロック図である。

　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［送受信システム］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、テレビ受信機２００を有する構成となっている。

　送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳは、多重化ストリームとしてのコンテナを構成している。このトランスポートストリームＴＳには、所定フレームレートであるハイフレームレート、この実施の形態においては１２０Ｈｚの画像データ（動画像データ）から得られた基本レイヤ（Base layer）の符号化ストリーム（基本ストリーム）と拡張レイヤ（Enhanced layer）の符号化ストリーム（拡張ストリーム）が含まれる。

　この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬ（Network Abstraction Layer）ユニット構造を有するものとされる。基本ストリームには、基本レイヤの各ピクチャの画像データを符号化して得られた符号化画像データがアクセスユニットとして含まれる。また、拡張ストリームには、拡張レイヤの各ピクチャの画像データを符号化して得られた符号化画像データがアクセスユニットとして含まれる。

　ここで、基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、１２０Ｈｚのフレーム周波数の画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、所定のウインドウ範囲外では、時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたものである。例えば、所定のウインドウ範囲は、１２０Ｈｚのフレーム周波数の画像データのうち基本レイヤの各ピクチャの画像データに対応した各ピクチャの画像データに基づいて抽出された閾値以上の動き部分を含む画像範囲とされる。ここで、基本レイヤの各ピクチャの画像データのフレームレートは６０Ｈｚである。

　また、拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものである。ここで、拡張レイヤの各ピクチャの画像データのフレームレートは６０Ｈｚである。

　図２（ａ），（ｂ）は、１２０Ｈｚのフレーム周波数の画像データに混合処理が施されて得られた６０Ｈｚの基本レイヤの画像データと、＋６０Ｈｚの拡張レイヤの画像データの一例を示している。基本レイヤの画像データを構成する一つのピクチャ（フレーム）と、それに隣接する拡張レイヤの画像データの１つのピクチャ（フレーム）からなる２ピクチャによりピクチャペア（Picture-pair）が構成されている。

　図２（ａ）においては、各ピクチャペアにおいて、最初のピクチャである拡張レイヤのピクチャの画像データは混合されていない状態（非混合状態）にあるが、それに続く基本レイヤのピクチャの画像データは一つ前の拡張レイヤのピクチャの画像データと所定のウインドウ範囲内で混合された状態（混合状態）にある。また、図２（ｂ）において、各ピクチャペアにおいて、最初のピクチャである基本レイヤのピクチャの画像データは一つ後の拡張レイヤのピクチャの画像データと所定のウインドウ範囲内で混合された状態（混合状態）にあるが、それに続く拡張レイヤのピクチャの画像データは混合されていない状態（非混合状態）にある。以下、この実施の形態においては、各ピクチャペアの関係が、基本的には、図２（ａ）のパターンにあるものとして説明する。

　少なくとも、６０Ｈｚの基本レイヤの各ピクチャの画像データに、混合処理の情報が付加されている。この実施の形態において、混合処理の情報には、所定のウインドウ範囲の情報、混合処理における混合比の情報、連続する２個のピクチャ単位における一方のピクチャ（拡張レイヤのピクチャ）と他方のピクチャ（基本レイヤのピクチャ）との時間的な相対位置関係を示す情報などが含まれている。これにより、受信側では、この混合処理の情報に基づいて、６０Ｈｚの基本レイヤの画像データに対する逆混合処理（混合解除処理）を容易かつ適切に行い得るようになる。

　図１に戻って、テレビ受信機２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、ノーマルフレームレート（６０Ｈｚ）の画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、ノーマルフレームレートの画像データを得て、画像再生をする。

　この場合、テレビ受信機２００は、基本レイヤの基本ストリームに対してレイヤ内の予測復号化処理を施してノーマルフレームレートの各フレームの画像データを得る。また、テレビ受信機２００は、ハイフレームレート（１２０Ｈｚ）の画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレートの画像データを得て、画像再生をする。この場合、混合処理の情報に基づいて、基本レイヤの各ピクチャの画像データに、所定のウインドウ範囲内で逆混合処理が行われる。

　図３は、送信装置１００およびテレビ受信機２００（２００Ａ，２００Ｂ）の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＲ（Ｎ）、Ｒ（Ｎ＋１）とテレビ受信機２００Ａ，２００Ｂのデコーダ２０４Ａ，２０４Ｂの出力の画像シーケンスＲ（Ｎ）、Ｒ（Ｎ＋１）とは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。

　送信装置１００では、プリプロセッサ１０２において、１２０Ｈｚのフレーム周波数の画像データＰが処理されて、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）が得られる。

　ここで、基本レイヤの各ピクチャの画像データＲ（Ｎ）は、閾値以上の動き部分を含む画像範囲であるウインドウ範囲内では、画像データＰにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られ、上記所定のウインドウ範囲外では、時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られる。一方、拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）は、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られる。

　図４は、プリプロセッサ１０２の構成例を示している。このプリプロセッサ１０２は、時間軸分割部１２１と、ウインドウ処理部１２２と、混合処理部１２３を有している。時間軸分割部１２１は、１２０Ｈｚのフレーム周波数の画像データＰを入力し、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データと、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データに分割する。この拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データは、そのままプリプロセッサ１０２からの拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）となる。

　ウインドウ処理部１２２は、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データを入力する。また、このウインドウ処理部１２２には、図示しない制御部から移動画素数閾値が与えられる。ウインドウ処理部１２２は、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データに基づいて、ピクチャ毎に、閾値（移動画素数閾値）以上の動き部分を含む画像範囲であるウインドウと、当該ウインドウにおける混合比を取得し、それらの情報を制御部に送る。

　図５は、ウインドウ処理部１２２の構成例を示している。このウインドウ処理部１２２は、双方向動き予測部１３１と、速度判定部１３２と、ウインドウ生成部１３３と、混合比設定部１３４を有している。双方向動き予測部１３１は、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データを入力する。双方向動き予測部１３１は、ピクチャ毎に、自身をＮ番目のピクチャとし、Ｎ番目と（Ｎ＋２）番目のピクチャペアの間で、４×４あるいは８×８などの画素ブロック単位で動きベクトルＭＶ(i,j)を双方向で求める。動きベクトルＭＶ(i,j)の求め方は、例えば従来周知のブロックマッチング法により行うことができる。

　図６は、Ｎ番目と（Ｎ＋２）番目のピクチャペアの間における画像変化の一例を示している。なお、図示の例で、マス目の一つ一つは画素ブロックを示している。図６（ａ）はＮ番目のピクチャの画像を示し、図６（ｂ）は（Ｎ＋２）番目の画像を示し、図６（ｃ）がＮ番目と（Ｎ＋２）番目の合成画を示している。なお、図６（ｃ）において、破線はＮ番目のピクチャの画像に対応している。この図６（ｃ）に示すように、動画の場合にはＮ番目と（Ｎ＋２）番目の画像は少なくともその一部はずれたものとなる。

　図５に戻って、速度判定部１３２は、双方向動き予測部１３１で求められた各画素ブロックの動きベクトルＭＶ(i,j)を入力する。また、速度判定部１３２には、図示しない制御部から移動画素数閾値が与えられる。速度判定部１３２は、各画素ブロックの動きベクトルＭＶ(i,j)を移動画素数閾値と比較し、閾値以上の動きベクトルＭＶ(i,j)に対応した画素ブロックをグルーピング候補とする。

　ここで、移動画素数閾値Ｔについて説明する。物体の動きを水平方向のみで考え、画面Ｗ(水平方向画素数）いっぱい左から右へあるいは右から左へ１秒で移動することを想定する。そのような動きは比較的速い動きであり、それを越える速度の移動がある場合、ストロービング（strobing）が知覚されるものとする。その場合のフレーム間の移動画素数閾値Ｔは、以下の数式（１）で求められる。
　　　　Ｔ＝Ｗ/表示フレーム周波数　　　・・・（１）

　実際のパラメータをあてると、ＨＤ解像度の画像の場合は、以下の数式（２）で表される。
　　　　Ｔ＝Ｗ/６０Ｈｚ＝１９２０/６０＝３２(pixels/frame）　　　・・・（２）
　また、ＵＨＤ解像度の画像の場合は、以下の数式（３）で表される。
　　　　Ｔ＝Ｗ/６０Ｈｚ＝３８４０/６０＝６４(pixels/frame）　　　・・・（３）

　なお、ここで述べた移動画素数閾値Ｔは、あくまでも一例であって、これに限定されるものではない。

　ウインドウ生成部１３３は、速度判定部１３２で得られた各グルーピング候補の画素ブロックの位置情報を入力する。ウインドウ生成部１３３は、各グルーピング候補に対して水平方向、垂直方向の結合処理を行ってグルーピングを行い、それぞれ１つにグルーピングされた所定数のグルーピング候補を包含する長方形領域をウインドウとし、そのウインドウの位置情報を出力する。

　図７は、Ｎ番目のピクチャの画像が図６（ａ）に示され、（Ｎ＋２）番目のピクチャの画像が図６（ｂ）に示される場合における、グルーピング候補およびウインドウの生成の一例を示している。ハッチングを付して示す画素ブロックがグルーピング候補であり、破線矩形枠がウインドウ（混合ウインドウ）を示している。図示の例においては、ウインドウ１（Window 1）、ウインドウ２（Window 2）、ウインドウ３（Window 3）の３つのウインドウが生成されている。

　ウインドウ生成部１３３におけるウインドウ生成の手順の一例について説明する。ここでは、図８（ａ）に示すようにグルーピング候補が得られている場合を例にとって説明する。なお、図８において、マス目の一つ一つは画素ブロックを示し、“１”が付された画素ブロックはグルーピング候補ＢＬＫであり、“０”が付された画素ブロックはグルーピング候補ではない、とする。

　第１に、スキャンラインごとに水平位置が隣接するグルーピング候補ＢＬＫを水平隣接結合する。これにより、（０，４）、（０，５）、（０，６）が水平隣接結合され、（１，６）、（１，７）が水平隣接結合され、（２，０）、（２，１）、（２，２）、（２，３）が水平隣接結合され、さらに（２，６）、（２，７）が水平隣接結合される（図８（ｂ）参照）。

　第２に、異なる垂直位置のグルーピング候補ＢＬＫ間で、同一の水平位置を持つものを垂直隣接結合する。これにより、（１，０）、（２，０）が垂直隣接結合され、（１，３）、（２，３）が垂直隣接結合され、（０，６）、（１，６）が垂直隣接結合され、（１，６）、（２，６）が垂直隣接結合され、さらに（１，７）、（２，７）が垂直隣接結合される（図８（ｂ）参照）。

　第３に、各結合状態をたどることでグループピングしてウインドウを生成する。図８（ｂ）に示すように、（０，４）、（０，５）、（０，６）の結合、（０，６）、（１，６）の結合、（１，６）、（１，７）の結合、（１，６）、（２，６）の結合、および（１，７）、（２，７）の結合から、破線で示されるグルーピングができる。そして、グルーピングされた各グルーピング候補を包含する長方形領域が、図８（ｃ）に示すように、ウインドウ１（Window 1）とされる。このウインドウ１の長方形領域の中でのトップ・レフト（Top-left）は（０，４）であり、ボトム・ライト（Bottom-right）は（２，７）である。

　また、図８（ｂ）に示すように、（１，０）、（２，０）の結合、（１，３）、（２，３）の結合、および（２，０）、（２，１）、（２，２）、（２，３）の結合から、一点鎖線で示されるグルーピングができる。そして、グルーピングされた各グルーピング候補を包含する長方形領域が、図８（ｃ）に示すように、ウインドウ２（Window 2）とされる。このウインドウ２の長方形領域の中でのトップ・レフト（Top-left）は（１，０）であり、ボトム・ライト（Bottom-right）は（２，３）である。

　図５に戻って、混合比設定部１３４は、上述したように生成された各ウインドウにおける混合比を算出し、そのウインドウの混合比情報を出力する。混合比設定部１３４には、ウインドウ生成部１３３から各ウインドウの位置情報が与えられる。また、この混合比設定部１３４には、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データが供給される。また、この混合比設定部１３４には、速度判定部１３２から、各画素ブロックの動くベクトルＭＶ(i,j)が与えられる。混合比設定部１３４は、ウインドウ毎に、そのウインドウにおける動きオブジェクトの動き量やコントラストの情報に基づいて、混合比を算出する。このようにして混合比を算出することで、不必要に強い混合を行うことなく、適切なレベルでの混合が可能になる。

　動きの非連続性、つまりストロービング(Strobing)の知覚度合いは、動きオブジェクトの動き量と背景に対する目立ち易さで変化する。ウインドウにおける動きオブジェクトの動き量は、速度判定部１３２からのそのウインドウに含まれる各画素ブロックの動きベクトルＭＶ(ｉ,j)の値を利用して求めることができる。動きオブジェクトの動き量が相対的に小である場合、ストロービングの知覚度合いは小さいと考えられる。逆に、動きオブジェクトの動き量が相対的に大の場合、ストロービングの知覚度合いは大きいと考えられる。動きオブジェクトの動き量を、フレーム間移動画素数、あるいは秒単位の平均値に応じて例えば大、中、小の３段階に分類して、混合比を制御することが考えられる。

　また、動きオブジェクトの背景に対する目立ち易さは、入力される６０Ｈｚ階層の画像データのウインドウ内のコントラストの大小をチェックすることで判定できる。例えば、以下の数式（４）に示すように、ウインドウ内の各画素に対して、輝度値の分散Ｓを求める。なお、この数式（４）において、ｘｉは画素輝度値、μは画素平均値、ｎはウインドウ内の画素数である。
　　Ｓ＝（１/ｎ）＊（Σ｜ｘｉ－μ｜）　　　・・・（４）

　数式（４）に示すように、分散Ｓは、画素輝度値と画素平均値の差分絶対値の総和を画素数で割ったものである。分散Ｓが大きければ、コントラストが大きいと判断でき、分散Ｓが小さければ、コントラストは小さいと判断できる。コントラストが大の場合、動きオブジェクトと背景との区別が視覚的に目立ち易いと考えられる。逆に、コントラストが小の場合、動きオブジェクトと背景との区別が視覚的に目立ちにくいと考えられる。コントラストのレベルを分散Ｓにおうじて例えば大、中、小の３段階に分類して、混合比を制御することが考えられる。

　この動き量とコントラストの２要素の組み合わせで考えると、動き量が大、かつコントラストが大である場合にストロービングが最も目立つことになる。その場合には混合比を強めの係数とする。逆に、動き量が比較的小、かつコントラストが小である場合はストロービングがあまり目立たないとし、混合比を弱めの係数とする。

　図９は、混合比設定部１３４にける混合比設定のためのテーブルの一例を示している。例えば、動き量Ｍのレベルが小（レベル１）で、かつコントラストＣのレベルが小（レベル１）である場合は、混合比は「１（弱い）」に設定される。また、例えば、動き量Ｍのレベルが中（レベル２）で、かつコントラストＣのレベルが中（レベル２）である場合は、混合比は「３（中庸）」に設定される。また、例えば、動き量Ｍのレベルが大（レベル３）で、かつコントラストＣのレベルが大（レベル３）である場合は、混合比は「５（強い）」に設定される。

　ここで、混合比が「１（弱い）」の場合は、６０Ｈｚ階層の画像データと１２０Ｈｚ階層の画像データの間で、例えば４：１の混合が行われる。また、混合比が「５（強い）」の場合は、６０Ｈｚ階層の画像データと１２０Ｈｚ階層の画像データの間で、例えば１：１の混合が行われる。そして、これらの間の混合比が「２（比較的弱い）」、「３（中庸）」、「４（比較的強い）」の場合は、６０Ｈｚ階層の画像データと１２０Ｈｚ階層の画像データの間で、４：１から１：１の間の比率での混合が行われる。

　ただし、動きオブジェクト自体が動き方向に細いテクスチャーである場合、混合することでテクスチャーが二重化することもあるため、そういった場合は混合比を敢えて強くない係数とする。その場合の混合比の設定の一例を図９に「＃」を付して示している。なお、テクスチャーが細いかどうかの判断は、２次元微分フィルタで得られるエッジ検出画において、エッジ同士の距離が極めて近い場合、テクスチャーは細いと判断できる。逆に、エッジ同士の距離がある程度離れている場合、エッジとエッジの間に厚みのあるオブジェクトがあるとみなすことができる。例えば、２次元微分フィルタの基本的な例として、ラプラシアンフィルタ（Laplacian filter）やソーベルオペレータ（Sobel operator）などがある。

　図１０のフローチャートは、図５に示すウインドウ処理部１２２においてピクチャ毎に行われる、ウインドウと、そのウインドウにおける混合比を取得する処理の手順の一例を示している。

　まず、ウインドウ処理部１２２は、ステップＳＴ１において、処理を開始する。次に、ウインドウ処理部１２２は、ステップＳＴ２において、双方向動き予測部１３１で、ピクチャペア（Ｎ番目のピクチャと（Ｎ＋２）番目のピクチャ）の間で、Ｎ番目のピクチャから（Ｎ＋２）番目のピクチャに対して、画素ブロック単位で、動きベクトル（ＭＶ）計算を行うと共に、速度判定部１３２で、各画素ブロックの動きベクトルＭＶ(i,j)を移動画素数閾値と比較し、閾値以上の動きベクトルＭＶ(i,j)に対応した（Ｎ＋２）番目のピクチャの画素ブロックを、前方向のウインドウグルーピング候補として得る。

　次に、ウインドウ処理部１２２は、ステップＳＴ３において、双方向動き予測部１３１で、ピクチャペア（Ｎ番目のピクチャと（Ｎ＋２）番目のピクチャ）の間で、（Ｎ＋２）番目のピクチャからＮ番目のピクチャに対して、画素ブロック単位で、動きベクトル（ＭＶ）計算を行うと共に、速度判定部１３２で、各画素ブロックの動きベクトルＭＶ(i,j)を移動画素数閾値と比較し、閾値以上の動きベクトルＭＶ(i,j)に対応したＮ番目のピクチャの画素ブロックを、後方向のウインドウグルーピング候補として得る。

　次に、ウインドウ処理部１２２は、ステップＳＴ４において、ウインドウ生成部１３３で、ステップＳＴ２，ＳＴ３で得られたグルーピング候補に対して、水平方向、垂直方向の結合処理を行い、それぞれ一つにグルーピングされた所定数のグルーピング候補を包含する長方形領域をウインドウとし、その位置情報を出力する。

　次に、ウインドウ処理部１２２は、ステップＳＴ５において、混合比設定部１３４で、ウインドウ毎に、そのウインドウにおける動きオブジェクトの動き量ＭやコントラストＣの情報を計算し、その情報に基づいて例えば混合比設定テーブル（図９参照）を参照して混合比を設定し、その混合比情報を出力する。そして、ウインドウ処理部１２２は、ステップＳＴ６において、処理を終了する。

　図１１のフローチャートは、図１０のステップＳＴ２のグルーピング候補を得るための処理の手順の一例を示している。このフローチャートは、１画素ブロックに対する処理を示しており、実際には、この処理が全画素ブロックに対して行われる。

　まず、ウインドウ処理部１２２は、ステップＳＴ１１において、双方向動き予測部１３１で、処理を開始する。次に、ウインドウ処理部１２２は、ステップＳＴ１２において、ピクチャペア（Ｎ番目のピクチャと（Ｎ＋２）番目のピクチャ）の間で、Ｎ番目のピクチャから（Ｎ＋２）番目のピクチャに対して、Ｎ番目のピクチャにおける対象画素ブロックについての動きベクトルＭＶ(i,j)を求める。

　次に、ウインドウ処理部１２２は、ステップＳＴ１３において、速度判定部１３２で、対象画素ブロックの動きベクトルＭＶ(i,j)が移動画素数閾値以上か否かを判断する。閾値以上であるとき、ウインドウ処理部１２２は、ステップＳＴ１４において、速度判定部１３２で、その動きベクトルＭＶ(i,j)に対応した（Ｎ＋２）番目のピクチャの画素ブロックを、前方向のウインドウグルーピング候補とし、その後に、ステップＳＴ１５において、処理を終了する。一方、ステップＳＴ１３で閾値以上でないとき、ウインドウ処理部１２２は、直ちに、ステップＳＴ１５において、処理を終了する。

　なお、詳細説明は省略するが、図１０のステップＳＴ３のグルーピング候補を得るための処理の手順に関しても、図１１のフローチャートで示すものと同様に行われる。

　また、上述では、各ウインドウにおける混合比を、そのウインドウにおける動きオブジェクトの動き量やコントラストの情報に基づいて算出する例を示したが、動き量の情報あるいはコントラストの情報のいずれかだけに基づいて混合比を算出することも考えられる。

　図４に戻って、混合処理部１２３は、時間軸分割部１２１で得られた基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データおよび拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データを入力する。また、この混合処理部１２３には、図示しない制御部から、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）が供給される。混合処理部１２３は、ピクチャペア毎に、基本レイヤの画像データに対して拡張レイヤの画像データを適宜混合して、基本レイヤの各ピクチャの画像データＲ（Ｎ）を生成して、プリプロセッサ１０２の出力とする。

　この場合、混合処理部１２３は、ウインドウ範囲内では、基本レイヤ（６０Ｈｚ階層）の画像データおよび拡張レイヤ（１２０Ｈｚ階層）の画像データを、そのウインドウの混合比で混合して、基本レイヤの画像データＲ（Ｎ）とする。また、混合処理部１２３は、ウインドウ範囲外では、基本レイヤ（６０Ｈｚ階層）の画像データをそのまま基本レイヤの画像データＲ（Ｎ）とする。

　図３に戻って、送信装置１００では、エンコーダ１０３において、基本レイヤの各ピクチャの画像データＲ（Ｎ）と、拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）に例えばＨＥＶＣ（High Efficiency Video Coding）による符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。

　基本ストリームＳＴｂには、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）の符号化画像データが含まれる。拡張ストリームＳＴｅには、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）の符号化画像データが含まれる。

　また、送信装置１００では、エンコーダ１０３において、少なくとも基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データに、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）が付加される。このように混合パラメータが付加されることで、受信側において、逆混合処理（混合解除処理）を簡単かつ適切に行うことが可能となる。

　この実施の形態において、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージ（Blending__window_information SEI message）が挿入される。

　図１２は、ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージの構造例（Syntax）を示し、図１３は、その構造例における主要な情報の内容（Semantics）を示している。「blending_window_information_id」のフィールドは、ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージであることを示す識別情報である。

　「number_of_blending_windows」のフィールドは、混合ウインドウの数を示す。「current_picture_position」のフィールドは、混合処理に寄与する２つのピクチャの中での現ピクチャの時間的位置を示す。例えば、 “１”は２つのピクチャのうち時間的順序が早い方であることを示し、“０”は２つのピクチャのうち時間的順序が遅い方であることを示す。「blend_flag」のフィールドは、当該ピクチャが混合されているか否かを示す。例えば、“１”は混合されていることを示し、“０”は混合されていないことを示す。

　「number_of_blending_windows」で示される混合ウインドウの数だけ、「window_start_position_horizontal」、「window_start_position_vertical」、「window_end_position_horizontal」、「window_end_position_vertical」、「blend_coefficient_A」および「blend_coefficient_B」のフィールドが繰り返される。

　「window_start_position_horizontal」のフィールドは、ウインドウの開始位置の水平画素位置を画像のトップ・レフト（top-left）からの画素単位オフセットで示す。「window_start_position_vertical」のフィールドは、ウインドウの開始位置の垂直画素位置を画像のトップ・レフト（top-left）からの画素単位オフセットで示す。

　「window_end_position_horizontal」のフィールドは、ウインドウの終了位置の水平画素位置を画像のトップ・レフト（top-left）からの画素単位オフセットで示す。「window_end_position_vertical」のフィールドは、ウインドウの終了位置の垂直画素位置を画像のトップ・レフト（top-left）からの画素単位オフセットで示す。

　「blend_coefficient_A」のフィールドは、混合演算の係数の分子を示す。「blend_coefficient_B」のフィールドは、混合演算の係数の分母を示す。

　図３に戻って、１２０Ｈｚのフレーム周波数の画像データを処理可能なデコード能力があるテレビ受信機２００Ａでは、デコーダ２０４Ａにおいて、２つのストリームＳＴｂ，ＳＴeに復号化処理が施されて、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）が得られる。

　そして、テレビ受信機２００Ａでは、ポストプロセッサ２０５Ａにおいて、画像データＲ（Ｎ），Ｒ（Ｎ＋１）が処理されて、送信側における１２０Ｈｚのフレーム周波数の画像データＰと同様の１２０Ｈｚのフレーム周波数の画像データＰが得られる。

　この場合、ポストプロセッサ２０５Ａでは、制御部から与えられる混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）に基づいて、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）について、混合処理がされているウインドウ範囲内で、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）を用いた逆混合処理（混合解除処理）が行われる。

　図１４は、ポストプロセッサ２０５Ａの構成例を示している。このポストプロセッサ２０５Ａは、逆混合処理部２５１と、時間軸合成部２５２を有している。逆混合処理部２５１は、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データおよび拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データを入力する。また、この逆混合処理部２５１には、図示しない制御部から、混合パラメータが供給される。

　逆混合処理部２５１は、ピクチャペア毎に、基本レイヤの画像データに対して、拡張レイヤの画像データを用いた逆混合処理を適宜施して、基本レイヤの各ピクチャの画像データＲ´（Ｎ）を生成して、時間軸合成部２５２に供給する。この場合、逆混合処理部２５１は、ウインドウ範囲内では、画像データＲ（Ｎ）に混合処理が施されていることから、その画像データＲ（Ｎ）に対して、Ｒ（Ｎ）のウインドウ位置に相当する拡張レイヤ（１２０Ｈｚ階層）の画像データを用いて、そのウインドウの混合比に基づいた逆混合処理を施して、画像データＲ´（Ｎ）として出力する。また、逆混合処理部２５１は、ウインドウ範囲外では、画像データＲ（Ｎ）に混合処理が施されていないことから、その画像データＲ（Ｎ）をそのまま画像データＲ´（Ｎ）として出力する。

　時間軸合成部２５２は、逆混合処理部２５１で得られた基本レイヤの各ピクチャの画像データＲ´（Ｎ）と、拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）を合成して、ポストプロセッサ２０５Ａの出力となる１２０Ｈｚのフレーム周波数の画像データＰを得る。

　図３に戻って、テレビ受信機２００Ａでは、ポストプロセッサ２０５Ａで得られた１２０Ｈｚのフレーム周波数の画像データＰが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６Ａでフレーム補間がされてフレームレートが高められて、表示用画像データとなる。

　また、６０Ｈｚのフレーム周波数の画像データを処理可能なデコード能力があるテレビ受信機２００Ｂでは、デコーダ２０４Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）を含む６０Ｈｚのフレーム周波数の画像データが得られる。そして、このテレビ受信機２００Ｂでは、その６０Ｈｚのフレーム周波数の画像データが、そのまま、あるいはＭＣＦＩ部２０６Ｂでフレーム補間がされてフレームレートが高められて、表示用画像データとなる。

　「送信装置の構成」
　図１５は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、プリプロセッサ１０２と、エンコーダ１０３と、マルチプレクサ１０４と、送信部１０５を有している。制御部１０１は、送信装置１００の各部の動作を制御する。

　プリプロセッサ１０２は、１２０Ｈｚのフレーム周波数の画像データＰを処理して、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）を得る（図４参照）。

　この場合、基本レイヤの各ピクチャの画像データＲ（Ｎ）は、閾値以上の動き部分を含む画像範囲であるウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）が用いられて、混合処理が施される。その場合の混合比は、ウインドウ毎に、そのウインドウにおける動きオブジェクトの動き量やコントラストの情報に基づいて設定される（図５、図９参照）。

　エンコーダ１０３は、プリプロセッサ１０２から出力される基本レイヤの各ピクチャの画像データＲ（Ｎ）と拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）に例えばＨＥＶＣによる符号化処理を施し、基本ストリームＳＴｂと、拡張ストリームＳＴｅを得る。ここで、基本ストリームＳＴｂには、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）の符号化画像データが含まれる。拡張ストリームＳＴｅには、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）の符号化画像データが含まれる。

　また、エンコーダ１０３は、少なくとも基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データに、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）を付加する。具体的には、各ピクチャのアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージ（図１２参照）を挿入する。

　マルチプレクサ１０４は、エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。

　図１６は、トランスポートストリームＴＳの構成例を示している。この例は、混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合の構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと、拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのストリーム（サブストリーム）が含まれている。

　すなわち、この構成例では、パケット識別子「PID1」で識別される基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在し、パケット識別子「PID2」で識別される拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。ＰＥＳパケット「video PES1」でコンテナされる６０Ｈｚ階層の各ピクチャの符号化画像データには、ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージ（図１２参照）が挿入されている。

　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

　ＰＭＴには、プログラム全体に関連する情報を記述するプログラムループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリストリームループが存在する。この構成例では、基本ストリームＳＴｂに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在し、拡張ストリームＳＴｅに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。

　「video ES1 loop」には、基本ストリームＳＴｂ（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ストリームタイプは、ＨＥＶＣ符号化の場合、基本ストリームを示す“０ｘ２４”とされる。

　また、「video ES2 loop」には、拡張ストリームＳＴｅ（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ストリームタイプは、ＨＥＶＣ符号化の場合、拡張ストリームを示す“０ｘ２５”とされる。

　図１７は、トランスポートストリームＴＳの他の構成例を示している。この例は、混合処理情報を全ピクチャに付す場合の構成例を示している。ＰＥＳパケット「video PES1」でコンテナされる６０Ｈｚ階層の各ピクチャの符号化画像データおよびＰＥＳパケット「video PES2」でコンテナされる１２０Ｈｚ階層の各ピクチャの符号化画像データには、ブレンディング・インフォメーション・ＳＥＩメッセージ（図１２参照）が挿入されている。その他は、図１６に示すトランスポートストリームＴＳの構成例と同様であるので、その詳細説明は省略する。

　図１５に示す送信装置１００の動作を簡単に説明する。１２０Ｈｚのフレーム周波数の画像データＰがプリプロセッサ１０２（図４参照）に入力される。このプリプロセッサ１０２では、１２０Ｈｚのフレーム周波数の画像データＰが処理されて、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）が得られる。この場合、基本レイヤの各ピクチャの画像データＲ（Ｎ）は、閾値以上の動き部分を含む画像範囲であるウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）が用いられて、混合処理が施される。

　プリプロセッサ１０２で得られた基本レイヤの各ピクチャの画像データＲ（Ｎ）および拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）は、エンコーダ１０３に供給される。エンコーダ１０３では、画像データＲ（Ｎ），Ｒ（Ｎ＋１）のそれぞれに対して例えばＨＥＶＣによる符号化処理が施され、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。

　また、エンコーダ１０３では、少なくとも混合処理が施されている６０Ｈｚ階層の画像データの各ピクチャの符号化画像データに、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）が付加される。具体的には、各ピクチャのアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージ（図１２参照）が挿入される。

　エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０４に供給される。マルチプレクサ１０４では、各ストリームが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

　マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、このＲＦ変調信号が送信アンテナから送信される。

　「テレビ受信機の構成」
　図１８は、１２０Ｈｚのフレーム周波数の画像データを処理可能なデコード能力があるテレビ受信機２００Ａの構成例を示している。このテレビ受信機２００Ａは、制御部２０１Ａと、受信部２０２Ａと、デマルチプレクサ２０３Ａと、デコーダ２０４Ａと、ポストプロセッサ２０５Ａと、ＭＣＦＩ部２０６Ａと、パネル表示部２０７Ａを有している。

　制御部２０１Ａは、テレビ受信機２００Ａの各部の動作を制御する。受信部２０２Ａは、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３Ａは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０４Ａに供給する。

　デコーダ２０４は、ストリームＳＴｂ，ＳＴeに復号化処理を施し、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）を得る。この場合、基本レイヤの各ピクチャの画像データＲ（Ｎ）は、閾値以上の動き部分を含む画像範囲であるウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）が用いられて、混合処理が施されている。

　また、デコーダ２０４Ａは、ストリームＳＴｂ，ＳＴeを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１Ａに送る。この場合、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）を持つブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージ（図１２参照）も抽出される。制御部２０１Ａは、この混合パラメータに基づいて、ポストプロセッサ２０５Ａにおける６０Ｈｚ階層の画像データに対する逆混合処理（混合解除処理）を制御する。

　ポストプロセッサ２０５Ａは、デコーダ２０４Ａで得られる画像データＲ（Ｎ），Ｒ（Ｎ＋１）を処理して、送信側における１２０Ｈｚのフレーム周波数の画像データＰと同様の１２０Ｈｚのフレーム周波数の画像データＰを得る（図１４参照）。この場合、ポストプロセッサ２０５Ａでは、制御部２０１Ａから与えられる混合パラメータに基づいて、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）について、混合処理がされているウインドウ範囲内で、ピクチャペアを構成する拡張レイヤ（１２０Ｈｚ階層）のピクチャの画像データＲ（Ｎ＋１）を用いた逆混合処理（混合解除処理）が施される。

　ＭＣＦＩ部２０６Ａは、ポストプロセッサ２０５Ａで得られた１２０Ｈｚのフレーム周波数の画像データＰに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた画像データを得る。なお、このＭＣＦＩ部２０６Ａを有していない場合もある。パネル表示部２０７Ａは、ポストプロセッサ２０５で得られた２４０Ｈｚの画像データまたはＭＣＦＩ部２０６Ａでフレームレートが高められた画像データによる画像表示をする。

　図１８に示すテレビ受信機２００Ａの動作を簡単に説明する。受信部２０２Ａでは、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ａに送られる。デマルチプレクサ２０３Ａでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０４Ａに供給される。

　デコーダ２０４Ａでは、ストリームＳＴｂ，ＳＴｅに復号化処理が施され、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ＋１）が得られる。この場合、基本レイヤの各ピクチャの画像データＲ（Ｎ）は、閾値以上の動き部分を含む画像範囲であるウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）が用いられて、混合処理が施されている。

　また、デコーダ２０４Ａでは、ストリームＳＴｂ，ＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。この場合、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）を持つブレンディング・ウインドウ・インフォメーション・ＳＥＩメッセージ（図１２参照）も抽出される。この混合パラメータに基づいて、ポストプロセッサ２０５Ａにおける６０Ｈｚ階層の画像データに対する逆混合処理（混合解除処理）が制御される。

　デコーダ２０４Ａで得られた基本レイヤの各ピクチャの画像データＲ（Ｎ）および拡張レイヤの各ピクチャの画像データＲ（Ｎ＋１）は、ポストプロセッサ２０５Ａに供給される。ポストプロセッサ２０５Ａでは、画像データＲ（Ｎ），Ｒ（Ｎ＋１）が処理されて、送信側における１２０Ｈｚのフレーム周波数の画像データＰと同様の１２０Ｈｚのフレーム周波数の画像データＰが得られる。

　この場合、基本レイヤの各ピクチャの画像データＲ（Ｎ）については、混合処理がされているウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）を用いた逆混合処理（混合解除処理）が施される。そのため、ポストプロセッサ２０５Ａから出力される１２０Ｈｚのフレーム周波数の画像データＰに含まれる６０Ｈｚ階層の画像データは混合が解除されたものとなる。

　ポストプロセッサ２０５Ａで得られた１２０Ｈｚのフレーム周波数の画像データ、あるいはさらにＭＣＦＩ部２０６Ａでフレームレートが高められた画像データはパネル表示部２０７Ａに供給され、パネル表示部２０７Ａには当該画像データによる画像表示がされる。

　図１９は、６０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの構成例を示している。このテレビ受信機２００Ｂは、制御部２０１Ｂと、受信部２０２Ｂと、デマルチプレクサ２０３Ｂと、デコーダ２０４Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。

　制御部２０１Ｂは、テレビ受信機２００Ｂの各部の動作を制御する。受信部２０２Ｂは、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３Ｂは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂを取り出し、デコーダ２０４Ｂに供給する。

　デコーダ２０４Ｂは、基本ストリームＳＴｂに復号化処理を施して、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）を含む６０Ｈｚのフレーム周波数の画像データを得る。この基本レイヤの各ピクチャの画像データＲ（Ｎ）については、混合処理がされているウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）を用いた混合処理が施されている。

　ＭＣＦＩ部２０６Ｂは、この６０Ｈｚのフレーム周波数の画像データに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、デコーダ２０４Ｂで得られた６０Ｈｚのフレーム周波数の画像データまたはＭＣＦＩ部２０６Ｂでフレームレートが高められた画像データによる画像表示をする。

　図１９に示すテレビ受信機２００Ｂの動作を簡単に説明する。受信部２０２Ｂでは、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ｂに送られる。デマルチプレクサ２０３Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂが取り出され、デコーダ２０４Ｂに供給される。

　デコーダ２０４Ｂでは、基本ストリームＳＴｂに復号化処理が施されて、基本レイヤの各ピクチャの画像データＲ（Ｎ）を含む６０Ｈｚのフレーム周波数の画像データが得られる。デコーダ２０４Ｂで得られた６０Ｈｚのフレーム周波数の画像データ、あるいはさらにＭＣＦＩ部２０６Ｂでフレームレートが高められた画像データはパネル表示部２０７Ｂに供給され、このパネル表示部２０７Ｂには当該画像データによる画像表示がされる。

　以上説明したように、図１に示す送受信システム１０において、送信側では、移動画素数閾値以上の動き部分を含む画像範囲であるウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データと、拡張レイヤの各ピクチャの画像データを送信するものである。そのため、受信側において、基本となるフレーム周波数のレイヤにおいて、ウインドウ範囲内でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

　また、図１に示す送受信システム１０においては、受信側では、所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データと、拡張レイヤの各ピクチャの画像データを受信し、表示能力に応じて、基本レイヤの各ピクチャの画像データのみ、または基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得るものである。そのため、例えば、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　＜２．変形例＞
　上述実施の形態においては、送信装置１００とテレビ受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図２０に示すように、テレビ受信機２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックス２００-1およびディスプレイ２００-2とされる送受信システム１０Ａも考えられる。なお、「ＨＤＭＩ」は登録商標である。

　図２１は、その場合における送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2の処理の概要を示している。詳細説明は省略するが、図３に示す送信装置１００およびテレビ受信機２００（２００Ａ，２００Ｂ）の構成と同様に動作する。なお、セットトップボックス２００Ａ-1からディスプレイ２００Ａ-2には、画像データＲ（Ｎ），Ｒ（Ｎ＋１）と共に、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＲ（Ｎ）に逆混合処理（混合解除処理）を施すための情報として、混合パラメータ（各ウインドウの位置、混合比の情報、さらに混合対象画像の情報などの混合処理の情報を含む）が送られる。なお、ポストプロセッサ２０５Ａの機能を、デコーダ２０４Ａに持たせることも考えられる。

　セットトップボックス２００Ａ-1は、各ピクチャに対応した混合パラメータを、例えば、それぞれのピクチャの画像データにおけるブランキング期間に挿入して送信する。ここでは、新規定義するＨＤＭＩ・ブレンディング・ウインドウ・インフォフレーム（HDMI blending_window InfoFrame）を使用するが、これに限定されるものではない。

　図２２は、ＨＤＭＩ・ブレンディング・ウインドウ・インフォフレームの構造例（Syntax）を示し、上述の図１２のブレンディング・インフォメーション・ＳＥＩメッセージの構造例（Syntax）に対応したものであり、個々の情報の詳細については、その説明を省略する。このインフォフレームの最初の３バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。

　データバイト０（Ｎ＋０）に「number_of_blending_windows」の８ビット情報が配置されている。データバイト１（Ｎ＋１）の第７ビットに「current_picture_position」の１ビット情報が配置されている。また、このデータバイト１（Ｎ＋１）の第６ビットに「blend_flag」の１ビット情報が配置されている。

　また、データバイト２（Ｎ＋２）とデータバイト３（Ｎ＋３）に「window_start_position_horizontal」の１６ビット情報が配置されている。また、データバイト４（Ｎ＋４）とデータバイト５（Ｎ＋５）に「window_start_position_vertical」の１６ビット情報が配置されている。また、データバイト６（Ｎ＋６）とデータバイト７（Ｎ＋７）に「window_end_position_horizontal」の１６ビット情報が配置されている。また、データバイト８（Ｎ＋８）とデータバイト９（Ｎ＋９）に「window_end_position_vertical」の１６ビット情報が配置されている。

　また、データバイト１０（Ｎ＋１０）に「blend_coefficient_A」の８ビット情報が配置されている。また、データバイト１１（Ｎ＋１１）に「blend_coefficient_B」の８ビット情報が配置されている。そして、「number_of_blending_windows」の値だけ、データバイト２からデータバイト１１の要素がデータバイト１２（Ｎ＋１２）以後の空間で繰り返される。

　また、上述実施の形態においては、１２０Ｈｚのフレーム周波数の画像データが処理された基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）と拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ＋１）を送信側から受信側に送信する例を示した。しかし、送信側から受信側に１２０Ｈｚのフレーム周波数の画像データをそのまま送信し、受信側において、この１２０Ｈｚのフレーム周波数の画像データを処理して、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）に相当する６０Ｈｚのフレーム周波数の画像データを得て利用することも考えられる。

　図２３は、その場合における送受信システム１０Ｂの構成例を示している。この送受信システム１０Ｂは、送信装置１００Ｂと、インタフェース・ボックス（ＩＦＢ：Interface box）３００-1と、画像表示機器３００-2を有する構成となっている。画像表示機器３００-2は、例えばテレビ受信機やディスプレイなどである。インタフェース・ボックス３００-1と画像表示機器３００-2は例えばＨＤＭＩなどのデジタルインタフェースで接続されている。

　送信装置１００Ｂは、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳは、多重化ストリームとしてのコンテナを構成している。このトランスポートストリームＴＳには、１２０Ｈｚのフレーム周波数の画像データを符号化して得られた基本ストリームが含まれている。

　インタフェース・ボックス３００-1は、送信装置１００Ｂから放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。インタフェース・ボックス３００-1は、トランスポートストリームＴＳに含まれる基本ストリームに復号化処理を施して、１２０Ｈｚのフレーム周波数の画像データを得る。この１２０Ｈｚのフレーム周波数の画像データは、それを取り扱う画像表示機器３００-2に送られる。

　また、インタフェース・ボックス３００-1は、上述のように得られた１２０Ｈｚのフレーム周波数の画像データを処理して、図１の送信装置１００のプロプロセッサ１０２で得られた基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）に相当する、６０Ｈｚのフレーム周波数の画像データを得る。この６０Ｈｚのフレーム周波数の画像データは、それを取り扱う画像表示機器３００-2に送られる。なお、基本レイヤの各ピクチャの画像データＲ（Ｎ）は、上述したように、閾値以上の動き部分を含む画像範囲であるウインドウ範囲内で、ピクチャペアを構成する拡張レイヤのピクチャの画像データＲ（Ｎ＋１）が用いられて、混合処理が施されたものである。

　図２４は、送信装置１００Ｂ、インタフェース・ボックス３００-1および画像表示機器３００-2(３００Ａ-2，３００Ｂ-2）の処理の概要を示している。なお、送信装置１００Ｂに入力される１２０Ｈｚのフレーム周波数の画像データＰと、インタフェース・ボックス３００-1のデコーダ３１１から出力される１２０Ｈｚのフレーム周波数の画像データＰとは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。

　送信装置１００では、エンコーダ１０３Ｂにおいて、１２０Ｈｚのフレーム周波数の画像データＰが符号化されて基本ストリームＳＴｂが得られる。この基本ストリームＳＴｂは、トランスポートストリームＴＳに含められて送信される。

　インタフェース・ボックス３００-1では、デコーダ３１１において、トランスポートストリームＴＳに含めて送信されてくる基本ストリームＳＴｂに復号化処理が施されて、１２０Ｈｚのフレーム周波数の画像データＰが得られる。また、インタフェース・ボックス３００-1では、プロセッサ３１２において、画像データＰが処理されて、図１の送信装置１００のプロプロセッサ１０２で得られた基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）に相当する、６０Ｈｚのフレーム周波数の画像データが得られる。

　図２５は、プロセッサ３１２の構成例を示している。この図２５において、図４のプリプロセッサ１０２と対応する部分には、同一符号を付してしめしている。詳細説明は省略するが、プロセッサ３１２は、時間軸分割部１２１と、ウインドウ処理部１２２と、混合処理部１２３を有し、図４のプリプロセッサ１０２と同様の処理がなされて、６０Ｈｚのフレーム周波数の画像データとして、基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）を出力する。

　図２４に戻って、インタフェース・ボックス３００-1のデコーダ３１１で得られた１２０Ｈｚのフレーム周波数の画像データＰは、ＨＤＭＩなどのデジタルインタフェースで、画像表示機器３００Ａ-2に送られる。この画像表示器３００Ａ-2では、この画像データＰが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部３２１Ａでフレーム補間がされてフレームレートが高められて、表示用画像データとなる。

　また、インタフェース・ボックス３００-1のプロセッサ３１２で得られた６０Ｈｚのフレーム周波数の画像データＲ（Ｎ）は、ＨＤＭＩなどのデジタルインタフェースで、画像表示機器３００Ｂ-2に送られる。この画像表示器３００Ｂ-2では、この画像データＲ（Ｎ）が、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部３２１Ｂでフレーム補間がされてフレームレートが高められて、表示用画像データとなる。

　このように、図２３に示す送受信システム１０Ｂにおいて、インタフェース・ボックス３００-1では、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データが得られるものである。そのため、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できる。

　また、上述実施の形態においては、１２０Ｈｚのフレーム周波数の画像データが処理された基本レイヤ（６０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）と、拡張レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ＋１）を取り扱う例を示したが、これに限定されるものではない。例えば、２４０Ｈｚのフレーム周波数の画像データが処理された基本レイヤ（１２０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ）と、拡張レイヤ（２４０Ｈｚ階層）の各ピクチャの画像データＰ（Ｎ＋１）を取り扱う例も、同様に考えることができる。

　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。

　また、本技術は、以下のような構成を取ることもできる。
　（１）基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データを受信する受信部を備え、
　上記基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
　表示能力に応じて、上記基本レイヤの各ピクチャの画像データのみ、または上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る処理部をさらに備える
　受信装置。
　（２）上記処理部は、上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る場合、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
　前記（１）に記載の受信装置。
　（３）少なくとも上記基本レイヤの各ピクチャの画像データに混合処理の情報が含まれており、
　上記処理部は、上記混合処理の情報に基づいて、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
　前記（２）に記載の受信装置。
　（４）上記混合処理の情報は、上記所定ウインドウの位置情報を含む
　前記（３）に記載の受信装置。
　（５）上記混合処理の情報は、上記所定ウインドウにおける混合比の情報を含む
　前記（４）に記載の受信装置。
　（６）上記所定のウインドウ範囲は、上記所定フレームレートの画像データのうち上記基本レイヤの各ピクチャの画像データに対応した各ピクチャの画像データに基づいて抽出された閾値以上の動き部分を含む画像範囲である
　前記（１）から（５）のいずれかに記載の受信装置。
　（７）上記所定フレームレートは１２０Ｈｚである
　前記（１）から（６）のいずれかに記載の受信装置。
　（８）基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データを受信する手順を有し、
　上記基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
　表示能力に応じて、上記基本レイヤの各ピクチャの画像データのみ、または上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る手順をさらに有する
　受信方法。
　（９）上記表示用画像データを得る手順では、上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る場合、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
　前記（８）に記載の受信方法。
　（１０）少なくとも上記基本レイヤの各ピクチャの画像データに上記混合処理の情報が含まれており、
　上記表示用画像データを得る手順では、混合処理の情報に基づいて、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
　請求項９に記載の受信方法。
　（１１）上記混合処理の情報は、上記所定のウインドウの位置情報を含む
　前記（１０）に記載の受信方法。
　（１２）上記混合処理の情報は、上記所定のウインドウにおける混合比の情報を含む
　前記（１１）に記載の受信方法。
　（１３）上記所定のウインドウ範囲は、上記所定フレームレートの画像データのうち上記基本レイヤの各ピクチャの画像データに対応した各ピクチャの画像データに基づいて抽出された閾値以上の動き部分を含む画像範囲である
　前記（８）から（１２）のいずれかに記載の受信方法。
　（１４）上記所定フレームレートは１２０Ｈｚである
　前記（８）から（１３）のいずれかに記載の受信方法。
　（１５）所定フレームレートの画像データを処理して基本レイヤの各ピクチャの画像データを得ると共に拡張レイヤの各ピクチャの画像データを得る処理部とを備え、
　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
　上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データを送信する送信部をさらに備える
　送信装置。
　（１６）所定フレームレートの画像データを処理して基本レイヤの各ピクチャの画像データを得ると共に拡張レイヤの各ピクチャの画像データを得る手順を有し、
　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
　上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データを送信する手順をさらに有する
　送信方法。
　（１７）所定フレームレートの画像データを受信する受信部と、
　上記所定フレームレートの画像データを処理して、基本レイヤの各ピクチャの画像データを得る処理部を備え、
　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである
　受信装置。
　（１８）上記基本レイヤの各ピクチャの画像データを外部機器に送信する送信部をさらに備える
　前記（１７）に記載の受信装置。
　（１９）所定フレームレートの画像データを受信する手順と、
　上記所定フレームレートの画像データを処理して、基本レイヤの各ピクチャの画像データを得る手順を有し、
　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである
　受信方法。
　（２０）上記基本レイヤの各ピクチャの画像データを外部機器に送信する手順をさらに有する
　前記（１９）に記載の受信方法。

　本技術の主な特徴は、所定のウインドウ範囲内だけ混合処理がされている基本レイヤの各ピクチャの画像データと、拡張レイヤの各ピクチャの画像データを受信し、表示能力に応じて、基本レイヤの各ピクチャの画像データのみ、または基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得ることで、基本となるフレーム周波数のレイヤにおいて、所定のウインドウ範囲でストロービング劣化を回避でき、その他の範囲で本来鮮明に表示すべきものが二重表示されることを回避できるようにしたことである（図３、図４、図７参照）。

　１０，１０Ａ，１０Ｂ・・・送受信システム
　１００，１００Ｂ・・・送信装置
　１０１・・・制御部
　１０２・・・プリプロセッサ
　１０３，１０３Ｂ・・・エンコーダ
　１０４・・・マルチプレクサ
　１０５・・・送信部
　１２１・・・時間軸分割部
　１２２・・・ウインドウ処理部
　１２３・・・混合処理部
　１３１・・・双方向動き予測部
　１３２・・・速度判定部
　１３３・・・ウインドウ生成部
　１３４・・・混合比設定部
　２００，２００Ａ，２００Ｂ・・・テレビ受信機
　２００-1，２００Ａ-1，２００Ｂ-1・・・・セットトップボックス
　２００-2，２００Ａ-2，２００Ｂ-2・・・ディスプレイ
　２０１Ａ，２０１Ｂ・・・制御部
　２０２Ａ，２０２Ｂ・・・受信部
　２０３Ａ，２０３Ｂ・・・デマルチプレクサ
　２０４Ａ，２０４Ｂ・・・デコーダ
　２０５Ａ・・・ポストプロセッサ
　２０６Ａ，２０６Ｂ・・・ＭＣＦＩ部
　２０７Ａ，２０７Ｂ・・・パネル表示部
　２５１・・・逆混合処理部
　２５２・・・時間軸合成部
　３００-1・・・インタフェース・ボックス
　３００-2，３００Ａ-2，３００Ｂ-2・・・画像表示機器
　３１１・・・デコーダ
　３１２・・・プロセッサ

Claims (20)

1. 　基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データを受信する受信部を備え、
   　上記基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
   　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
   　表示能力に応じて、上記基本レイヤの各ピクチャの画像データのみ、または上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る処理部をさらに備える
   　受信装置。
2. 　上記処理部は、上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る場合、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
   　請求項１に記載の受信装置。
3. 　少なくとも上記基本レイヤの各ピクチャの画像データに混合処理の情報が含まれており、
   　上記処理部は、上記混合処理の情報に基づいて、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
   　請求項２に記載の受信装置。
4. 　上記混合処理の情報は、上記所定ウインドウの位置情報を含む
   　請求項３に記載の受信装置。
5. 　上記混合処理の情報は、上記所定ウインドウにおける混合比の情報を含む
   　請求項４に記載の受信装置。
6. 　上記所定のウインドウ範囲は、上記所定フレームレートの画像データのうち上記基本レイヤの各ピクチャの画像データに対応した各ピクチャの画像データに基づいて抽出された閾値以上の動き部分を含む画像範囲である
   　請求項１に記載の受信装置。
7. 　上記所定フレームレートは１２０Ｈｚである
   　請求項１に記載の受信装置。
8. 　基本レイヤの各ピクチャの画像データおよび拡張レイヤの各ピクチャの画像データを受信する手順を有し、
   　上記基本レイヤの各ピクチャの画像データは、所定のウインドウ範囲内では、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
   　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
   　表示能力に応じて、上記基本レイヤの各ピクチャの画像データのみ、または上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る手順をさらに有する
   　受信方法。
9. 　上記表示用画像データを得る手順では、上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データの双方を用いて表示用画像データを得る場合、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
   　請求項８に記載の受信方法。
10. 　少なくとも上記基本レイヤの各ピクチャの画像データに混合処理の情報が含まれており、
    　上記表示用画像データを得る手順では、上記混合処理の情報に基づいて、上記基本レイヤの各ピクチャの画像データに上記所定のウインドウ範囲内で逆混合処理をする
    　請求項９に記載の受信方法。
11. 　上記混合処理の情報は、上記所定のウインドウの位置情報を含む
    　請求項１０に記載の受信方法。
12. 　上記混合処理の情報は、上記所定のウインドウにおける混合比の情報を含む
    　請求項１１に記載の受信方法。
13. 　上記所定のウインドウ範囲は、上記所定フレームレートの画像データのうち上記基本レイヤの各ピクチャの画像データに対応した各ピクチャの画像データに基づいて抽出された閾値以上の動き部分を含む画像範囲である
    　請求項８に記載の受信方法。
14. 　上記所定フレームレートは１２０Ｈｚである
    　請求項８に記載の受信方法。
15. 　所定フレームレートの画像データを処理して基本レイヤの各ピクチャの画像データを得ると共に拡張レイヤの各ピクチャの画像データを得る処理部とを備え、
    　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
    　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
    　上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データを送信する送信部をさらに備える
    　送信装置。
16. 　所定フレームレートの画像データを処理して基本レイヤの各ピクチャの画像データを得ると共に拡張レイヤの各ピクチャの画像データを得る手順を有し、
    　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものであり、
    　上記拡張レイヤの各ピクチャの画像データは、上記時間的に連続する２個のピクチャ単位で他方のピクチャの画像データを取り出して得られたものであり、
    　上記基本レイヤの各ピクチャの画像データおよび上記拡張レイヤの各ピクチャの画像データを送信する手順をさらに有する
    　送信方法。
17. 　所定フレームレートの画像データを受信する受信部と、
    　上記所定フレームレートの画像データを処理して、基本レイヤの各ピクチャの画像データを得る処理部を備え、
    　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである
    　受信装置。
18. 　上記基本レイヤの各ピクチャの画像データを外部機器に送信する送信部をさらに備える
    　請求項１７に記載の受信装置。
19. 　所定フレームレートの画像データを受信する手順と、
    　上記所定フレームレートの画像データを処理して、基本レイヤの各ピクチャの画像データを得る手順を有し、
    　上記基本レイヤの各ピクチャの画像データは、閾値以上の動き部分を含む画像範囲である所定のウインドウ範囲内では、上記所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データに他方のピクチャの画像データを混合して得られたものであり、上記所定のウインドウ範囲外では、上記時間的に連続する２個のピクチャ単位で上記一方のピクチャの画像データを取り出して得られたものである
    　受信方法。
20. 　上記基本レイヤの各ピクチャの画像データを外部機器に送信する手順をさらに有する
    　請求項１９に記載の受信方法。

Images