JPWO2020137766A1 - 送信装置、送信方法、符号化装置、符号化方法、受信装置および受信方法 - Google Patents

Abstract

混合処理された画像データの例えば素材伝送に当たって受信側での取り扱いを良好に行い得るようにする。所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを送信する。所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされている。各フレームの画像データにそれぞれ関連付けて混合処理に関する情報を含むメタデータさらに送信する。例えば、メタデータを、各フレームの画像データの少なくとも先頭を含むパケットのペイロードヘッダに挿入して送信する。また、例えば、メタデータを、各フレームの画像データを含むパケットに対応付けられたメタデータ専用パケットで送信する。

Description

本技術は、送信装置、送信方法、符号化装置、符号化方法、受信装置および受信方法に関し、詳しくは、混合処理された画像データを取り扱う送信装置等に関する。

従来から放送されているフレームレートでデコードを行う受信機において、ハイフレームレート（High Frame Rate)の放送を受信する場合、ストリームの部分的なデコードを行うと動きの連続性が損なわれて動画質の劣化が生じる。この動画質の劣化の主な原因は、部分デコードされたピクチャ同士の時間連続性が粗くなるため、速い動きに対する人間の眼の網膜投影が間欠的になることで生ずるストロービング（Strobing）であるといわれている。

ストロービングによる動画質の劣化を低減させるために、本出願人は、先に、基準となるフレーム周期でのピクチャについて、その前後のピクチャとの間で画素混合を行う技術を提案した（特許文献１参照）。この場合、従来の受信機において時間サブサンプルを行っても、動いた要素が部分デコードされる時間サンプルに反映されるので、ストロービングによる動画質劣化が低減される。

国際公開第２０１５/０７６２７７号

本技術の目的は、混合処理された画像データの例えば素材伝送に当たって受信側での取り扱いを良好に行い得るようにすることにある。

本技術の概念は、
所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを送信する送信部を備え、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
上記送信部は、各フレームの画像データにそれぞれ関連付けて、上記混合処理に関する情報を含むメタデータをさらに送信する
送信装置にある。

本技術において、送信部により、所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットが送信される。ここで、所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされている。例えば、パケットは、ＩＰ（Internet Protocol）ネットワークを利用した映像信号伝送に関する規格により規定されるフォーマットに準拠する、ようにされてもよい。この場合、例えば、規格は、ＳＭＰＴＥ ＳＴ２０２２-６、あるいはＳＭＰＴＥ ＳＴ２１１０-２０である、ようにされてもよい。例えば、混合処理を行う混合処理部をさらに備える、ようにされてもよい、

送信部により、各フレームの画像データにそれぞれ関連付けて、混合処理に関する情報を含むメタデータがさらに送信される。例えば、混合処理は、所定段の混合処理を含む、ようにされてもよい。また、例えば、混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報、キャプチャ時のカメラシャッター速度の情報、混合処理対象ピクチャのフレームレートの情報、混合処理後のフレームレートの情報、混合処理対象ピクチャを示す情報、混合する際のフィルタ演算係数の比率を示す情報の少なくともいずれかを含む、ようにされてもよい。

例えば、送信部は、メタデータを、各フレームの画像データのすくなくとも先頭を含むパケットのペイロードヘッダに挿入して送信する、ようにされてもよい。また、例えば、送信部は、メタデータを、各フレームの画像データを含むパケットに対応付けられたメタデータ専用パケットで送信する、ようにされてもよい。

このように本技術においては、所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットと共に、各フレームの画像データにそれぞれ関連付けて混合処理に関する情報を含むメタデータを送信するものである。そのため、混合処理された画像データの例えば素材伝送に当たって受信側での取り扱いを良好に行い得るようになる。

また、本技術の他の概念は、
所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する受信部を備え、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
上記受信部は、各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータをさらに受信し、
上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含み、
上記混合処理に関する情報に基づいて、上記所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、上記所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する符号化部をさらに備える
符号化装置にある。

本技術において、受信部により、所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットが受信される。ここで、所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされている。また、受信部により、各フレームの画像データにそれぞれ関連付けされた混合処理に関する情報を含むメタデータがさらに受信される。ここで、混合処理に関する情報には、対応するフレームの画像データが混合処理されているか否かを示す情報が含まれている。

符号化部により、混合処理に関する情報に基づいて、所定フレーム周波数の画像データのうち混合処理されているフレームの画像データが基本レイヤの画像データとして符号化され、所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データが拡張レイヤの画像データとして符号化される。

このように本技術においては、混合処理されている所定フレーム周波数の画像データを混合処理に関する情報（対応するフレームの画像データが混合処理されているか否かを示す情報を含む）に基づいて符号化するものである。そのため、所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化することを、容易かつ適切に行い得るようになる。

また、本技術の他の概念は、
所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する受信部を備え、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
上記受信部は、各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータをさらに受信し、
上記混合処理に関する情報に基づいて上記所定フレーム周波数の画像データに対して逆混合処理を施して表示用画像データを得る処理部をさらに備える
受信装置にある。

本技術において、受信部により、所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットが受信される。ここで、所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされている。また、受信部により、各フレームの画像データにそれぞれ関連付けされた混合処理に関する情報を含むメタデータがさらに受信される。

処理部により、混合処理に関する情報に基づいて所定フレーム周波数の画像データに対して逆混合処理が施されて表示用画像データが得られる。

このように本技術においては、混合処理に関する情報に基づいて混合処理されている所定フレーム周波数の画像データに対して逆混合処理を施して表示用画像データを得るものである。そのため、逆混合処理を容易かつ適切に行って表示用画像データを得ることが可能となる。

放送フローと、撮影・制作と送出のステップに対応したシステム構成の一例を示す図である。 撮影・制作・送出の送信側と受信・表示の受信側を含む送受信システムの構成例を示す図である。 送信側の他の構成例を示す図である。 処理検査を行う編集装置の構成例を示す図である。 エンコーダにおける階層符号化におけるレイヤ振り分けを説明するための図である。 エンコーダにおける階層符号化におけるレイヤ振り分けを説明するための図である。 撮影時のシャッター率について説明するための図である。 シャッター速度（１/sec）と、伝送フレームレート（fps）と、シャッターアングル（degree）の対応関係の一例を示す図である。 混合処理の一例を説明するための図である。 混合処理の他の一例を説明するための図である。 混合処理のさらに他の一例を説明するための図である。 パケットの一例を示す図である。 ＲＴＰヘッダの構造例を示す図である。 ＲＴＰヘッダの構造例における主要な情報の内容を示す図である。 ペイロードヘッダの構造例を示す図である。 ペイロードヘッダの構造における主要な情報の内容を示す図である。 “shutter_blending()”の構造例を示す図である。 “shutter_blending()”の構造例における主要な情報の内容を示す図である。 メタデータの具体例について説明するための図である。 メタデータの具体例について説明するための図である。 メタデータの具体例について説明するための図である。 ＲＴＰ伝送でピクチャが複数パケット（メディアパケット）で伝送される例を示す図である。 ＲＴＰ伝送でピクチャが複数パケット（メディアパケット）で伝送される他の例を示す図である。 ペイロードヘッダの構造例を示す図である。 メタデータパケットのペイロードヘッダおよびペイロードの構造例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［放送フロー］
図１（ａ）は、放送フローを示している。放送フローは、素材映像の画像データを得るための撮影・制作のステップと、その素材映像の画像データを送信する送出ステップと、素材映像の画像データを受信して画像表示を行う受信・表示のステップからなる。

図１（ｂ）は、撮影・制作と送出のステップに対応したシステム構成の一例を示している。例えば、スタジアムの撮像装置（以下、カメラ）でキャプチャされた素材映像の所定フレーム周波数の画像データが中継車に送信される。また、例えば、ドローンのカメラでキャプチャされた素材映像の所定フレーム周波数の画像データが中継車に送信される。また、例えば、映像素材サーバから素材映像として所定周波数の画像デーが中継車に送信される。

また、中継車で得られる編集後の素材映像の画像データは、中継局を介して、放送局に送信される。また、スタジオのカメラでキャプチャされた素材映像の所定フレーム周波数の画像データは、放送局に送信される。そして、この素材映像の所定フレーム周波数の画像データは符号化されて、放送局から放送波に載せて送信される。

上述の各素材映像の所定フレーム周波数の画像データは、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）規格による伝送対象とされる。この場合、所定フレーム周波数の画像データをフレーム毎に所定数に分割し、それによって得られた各分割画像データをペイロードデータとして含むパケットが送信される。このパケットは、ＩＰ（Internet Protocol）ネットワークを利用した映像信号伝送に関する規格により規定されるフォーマットに準拠するものである。この場合の映像信号は、例えば番組素材映像の信号である。

この実施の形態において、素材映像の所定フレーム周波数の画像データに、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理が施される。この混合処理は、部分デコードから表示画を作成する受信機においてストロービングによる動画質の劣化を低減するために行われる。

この混合処理は、素材映像をキャプチャする撮像装置、例えばドローンのカメラ、スタジアムのカメラ、スタジオのカメラなどが備える混合処理部、例えばプリプロセッサ（PreProc）で行われる。または、撮像装置がキャプチャした素材映像を受信する装置、例えばドローン、映像素材サーバ、中継車、中継局などが備えるプリプロセッサで行われる。この混合処理は、１段階で行われるだけでなく、２段階、３段階、・・・で行われることもある。なお、ドローンのカメラ（またはドローン）、スタジアムのカメラ、映像素材サーバ、中継車、中継局、スタジオのカメラの全てがプリプロセッサを備えている必要はないが、少なくとも放送局に送られてくる素材映像の所定フレーム周波数の画像データに関しては混合処理が施されたものとされる。

混合処理が施された所定フレーム周波数の画像データが次段に送信される場合、各フレームの画像データにそれぞれ関連付けられて、混合処理に関する情報を含むメタデータが送信される。この混合処理に関する情報には、対応するフレームの画像データが混合処理をされているか否かを示す情報などが含まれる。

［送受信システム］
図２は、撮影・制作・送出の送信側と受信・表示の受信側を含む送受信システム１０の構成例を示している。送信側は、カメラ（Camera）１０１と、放送局（Broadcasting center）１０２を有している。カメラ１０１は、図１（ｂ）におけるドローンのカメラ、スタジアムのカメラ、スタジオのカメラ等に対応する。

カメラ１０１は、素材映像としての所定フレーム周波数の画像データをキャプチャし、プリプロセッサ１０１ａでその所定フレーム周波数の画像データに対してフレーム毎に選択的に前および/または後ろのフレームの画像データを用いた混合処理をする。この場合、プリプロセッサ１０１ａでは、必要に応じて、フレーム周波数のダウンコンバージョンの処理も行われる。

カメラ１０１の図示しない送信部は、上述の混合処理された所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られる分割画像データをペイロードデータとして含むパケットを放送局１０２に送信する。また、カメラ１０１の図示しない送信部は、各フレームの画像データに関連付けて、混合処理に関する情報を含むメタデータＡを放送局１０２に送信する。

放送局１０２は、図示しない受信部で、カメラ１０１から送信されてくるパケットを受信し、混合処理された素材映像としての所定フレーム周波数の画像データを取得する。また、この受信部は、カメラ１０１から送信されてくるメタデータＡを受信する。

放送局１０２は、ＨＬＰ（High Level Parser）部１０２ａで、各フレームの画像データに関連付けられているメタデータＡの解釈を行うと共に、この解釈に基づいて、エンコーダ１０２ｂで、混合処理された素材映像としての所定フレーム周波数の画像データに対して、例えばＨＥＶＣ（High Efficiency Video Coding）による階層符号化処理を行って、基本ストリームＳＴｂと、第１拡張ストリームＳＴe1、第２拡張ストリームＳＴe2を得る。

この場合、エンコーダ１０２ｂは、例えば、所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する。

放送局１０２は、図示しない送信部で、基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2を送信する。この場合、各ストリームの画像データに関連づけて、混合処理に関する情報を含むメタデータも送信する。例えば、各ピクチャ（フレーム）のアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、メタデータを含む、新規定義するＳＥＩメッセージを挿入することで行われる。

なお、図示の例では、基本ストリームＳＴｂの他に、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2の２つの拡張ストリームを送信する例を示したが、拡張ストリームが１つ、あるいは３つ以上であることも考えられる。

受信側は、例えば、セットトップボックス２１１と、ディスプレイ２１２を有している。セットトップボックス２１１は、図示しない受信部で、基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2と、各ストリームの画像データに関連付けられている混合処理に関する情報を含むメタデータを受信する。

セットトップボックス２１１は、ＨＬＰ部２１１ａで、各フレームの画像データに関連付けて送られてくるメタデータを解釈する。また、セットトップボックス２１１は、デコーダ２１１ｂで、基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2に復号化処理を行って、例えば２４０Ｈｚの画像データを得る。

セットトップボックス２１１は、図示しない送信部で、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）等のデジタルインタフェースを用いて、２４０Ｈｚの画像データと、各フレームに対応したメタデータを、ディスプレイ２１２に送信する。

ディスプレイ２１２は、図示しない受信部で、セットトップボックス２１１から送られてくる２４０Ｈｚの画像データと、各フレームに対応したメタデータを、受信する。ディスプレイ２１２は、ポストプロセッサ２１２ａで、２４０Ｈｚの画像データのうち、混合処理されている基本レイヤの画像データに対して、メタデータに基づいて、逆混合処理を施して、混合前の画像データを得る。

また、ディスプレイ２１２は、ポストプロセッサ２１２ａで得られた２４０Ｈｚの画像データを、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２１２ｂでフレーム補間処理を施してフレームレートを高めて、表示用画像データとする。

また、受信側は、例えば、セットトップボックス２２１と、ディスプレイ２２２を有している。セットトップボックス２２１は、図示しない受信部で、基本ストリームＳＴｂおよび第１拡張ストリームＳＴe1と、各ストリームの画像データに関連付けられている混合処理に関する情報を含むメタデータを受信する。

セットトップボックス２２１は、ＨＬＰ部２２１ａで、各フレームの画像データに関連付けて送られてくるメタデータを解釈する。また、セットトップボックス２２１は、デコーダ２２１ｂで、基本ストリームＳＴｂおよび第１拡張ストリームＳＴe1に復号化処理を行って、例えば１２０Ｈｚの画像データを得る。

セットトップボックス２２１は、図示しない送信部で、例えば、ＨＤＭＩ等のデジタルインタフェースを用いて、１２０Ｈｚの画像データと、各フレームに対応したメタデータを、ディスプレイ２２２に送信する。

ディスプレイ２２２は、図示しない受信部で、セットトップボックス２２１から送られてくる１２０Ｈｚの画像データと、各フレームに対応したメタデータを、受信する。ディスプレイ２２２は、ポストプロセッサ２２２ａで、１２０Ｈｚの画像データのうち、混合処理されている基本レイヤの画像データに対して、メタデータに基づいて、逆混合処理を施して、混合前の画像データを得る。

また、ディスプレイ２０１Ｂは、ポストプロセッサ２２２ａで得られた１２０Ｈｚの画像データを、そのまま、あるいはＭＣＦＩ部２２２ｂでフレーム補間処理を施してフレームレートを高めて、表示用画像データとする。

また、受信側は、例えば、セットトップボックス２３１と、ディスプレイ２３２を有している。セットトップボックス２３１は、図示しない受信部で、基本ストリームＳＴｂを受信する。セットトップボックス２３１は、デコーダ２３１ａで、基本ストリームＳＴｂに復号化処理を行って、例えば６０Ｈｚの画像データを得る。セットトップボックス２３１は、図示しない送信部で、例えば、ＨＤＭＩ等のデジタルインタフェースを用いて、６０Ｈｚの画像データをディスプレイ２３２に送信する。

ディスプレイ２３２は、図示しない受信部で、セットトップボックス２３１から送られてくる６０Ｈｚの画像データを受信する。ディスプレイ２３２は、受信された６０Ｈｚの画像データを、そのまま、あるいはＭＣＦＩ部２３２ａでフレーム補間処理を施してフレームレートを高めて、表示用画像データとする。

なお、図示の例では、受信側として３系統を示しているが、これに限定されるものではない。例えば、系統数は拡張ストリームの数に応じて変わる可能性がある。

図３は、送信側の他の構成例を示している。図３において、図２と対応する部分には同一符号を付して示している。この送信側は、カメラ１０１と、編集装置（Production device）１０３と、放送局１０２を有している。カメラ１０１は、例えば、図１（ｂ）におけるドローンのカメラ、スタジアムのカメラ等に対応する。編集装置１０３は、例えば、図１（ｂ）における中継車、中継局等に対応する。

カメラ１０１は、素材映像としての所定フレーム周波数の画像データをキャプチャし、プリプロセッサ１０１ａでその所定フレーム周波数の画像データに対してフレーム毎に選択的に前および/または後ろのフレームの画像データを用いた混合処理をする。この場合、プリプロセッサ１０１ａでは、必要に応じて、フレーム周波数のダウンコンバージョンの処理も行われる。

カメラ１０１の図示しない送信部は、上述の混合処理された所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られる分割画像データをペイロードデータとして含むパケットを編集装置１０３に送信する。また、カメラ１０１の図示しない送信部は、各フレームの画像データに関連付けて、混合処理に関する情報を含むメタデータＡを編集装置１０３に送信する。

編集装置１０３は、図示しない受信部で、カメラ１０１から送信されてくるパケットを受信し、混合処理された素材映像としての所定フレーム周波数の画像データを取得する。また、この受信部は、カメラ１０１から送信されてくるメタデータＡを受信する。

編集装置１０３は、ＨＬＰ部１０３ａで、各フレームの画像データに関連付けられているメタデータＡの解釈をし、この解釈に基づいて、プリプロセッサ１０３ｂでその所定フレーム周波数の画像データに対してフレーム毎に選択的に前および/または後ろのフレームの画像データを用いた混合処理をして、多段、ここでは２段の混合処理がされた所定フレーム周波数の画像データを得る。この場合、プリプロセッサ１０３ｂでは、必要に応じて、フレーム周波数のダウンコンバージョンの処理も行われる。

編集装置１０３の図示しない送信部は、上述の混合処理された所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られる分割画像データをペイロードデータとして含むパケットを放送局１０２に送信する。また、編集装置１０３の図示しない送信部は、各フレームの画像データに関連付けて、多段の混合処理に関する情報を含むメタデータＢを放送局１０２に送信する。

放送局１０２は、図示しない受信部で、編集装置１０３から送信されてくるパケットを受信し、混合処理された素材映像としての所定フレーム周波数の画像データを取得する。また、この受信部は、編集装置１０３から送信されてくるメタデータＢを受信する。

放送局１０２は、ＨＬＰ部１０２ａで、各フレームの画像データに関連付けられているメタデータＢの解釈を行うと共に、この解釈に基づいて、エンコーダ１０２ｂで、混合処理された素材映像としての所定フレーム周波数の画像データに対して、例えばＨＥＶＣによる階層符号化処理を行って、基本ストリームＳＴｂと、第１拡張ストリームＳＴe1、第２拡張ストリームＳＴe2を得る。

この場合、エンコーダ１０２ｂは、所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する。

放送局１０２は、図示しない送信部で、基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2を送信する。この場合、各ストリームの画像データに関連づけて、混合処理に関する情報を含むメタデータも送信する。例えば、各ピクチャ（フレーム）のアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、メタデータを含む、新規定義するＳＥＩメッセージを挿入することで行われる。

なお、図示の例では、基本ストリームＳＴｂの他に、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2の２つの拡張ストリームを送信する例を示したが、拡張ストリームが１つ、あるいは３つ以上であることも考えられる。

「処理検査」
上述していないが、ユーザは、編集装置１０３で、前段、ここではカメラ１０１から送られてくる画像データに対して、プリプロセッサ１０３ｂで混合処理を行うかどうかを、プリプロセッサ１０３ｂで混合処理をした後の画像データによる画質を見て判断することも考えられる。

その際、実際の放送におけるようにエンコーダ・デコーダを経た後に、ポストプロセッサで逆混合処理を行って得られた画像データによる表示画像の画質で判断する場合もある。また、その際、実際の放送におけるようにエンコーダ・デコーダを経た後の混合処理されたままの画像データによる表示画像の画質で判断する場合もある。さらに、その際、エンコーダ・デコーダを通さない非圧縮の混合処理された画像データによる表示画像の画質で判断する場合もある。

図４は、その場合における編集装置１０３の構成例を示している。編集装置１０３は、ＨＬＰ部１０３ａおよびプリプロセッサ１０３ｂの他に、エンコーダ１０３ｃ、デコーダ１０３ｄ、ポストプロセッサ１０３ｅおよび制作モニタ１０３ｆを有している。

プリプロセッサ１０３ｂで混合処理されて得られた所定周波数の画像データは第１の画像データとして制作モニタ１０３ｆに送られる。また、プリプロセッサ１０３で混合処理されて得られた所定周波数の画像データは、エンコーダ１０３ｃによる符号化およびデコーダ１０３ｄのよる復号化を経た後に第２の画像データとして制作モニタ１０３ｆに送られる。

また、デコーダ１０３ｄから得られる所定フレーム周波数の画像データは、ポストプロセッサ１０３ｅで逆混合処理が施された後に、第３の画像データとして制作モニタ１０３ｆに送られる。このポストプロセッサ１０３ｅにおける逆混合処理は、図示していないが、プリプロセッサ１０３ｂから出力されるメタデータＢに基づいて行われる。

この構成例では、ユーザは、制作モニタ１０３ｆで、第１の画像データ、第２の画像データまたは第３の画像データを選択的に切り換えて、それぞれによる表示画像を見て、プリプロセッサ１０３ｂで混合処理を行うかどうかを判断することが可能となる。なお、プリプロセッサ１０３ｂで混合処理が行われない場合には、編集装置１０３から後段、ここでは放送局１０２に送られる画像データおよびメタデータＢは、カメラ１０１から編集装置１０３に送られてくる画像データおよびメタデータＡと同じものとなる。

「エンコーダにおける階層符号化におけるレイヤ振り分け」
上述したように、エンコーダ１０２ｂは、例えば、所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤ（Base layer）の画像データとして符号化し、所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤ（Enhanced layer）の画像データとして符号化をする。

エンコーダ１０２ｂに混合処理された所定フレーム周波数の画像データと共に送られてくる各フレームの画像データに対応付けされた混合処理に関する情報を含むメタデータには、対応するフレームの画像データが混合処理されているか否かを示す情報としての“Blending_flag”が含まれている。図５に示すように、エンコーダ１０２ｂにおけるレイヤ振り分け処理は、“Blending_flag”に基づいて行われる。

この場合、エンコーダ１０２ｂは、図６（ａ）に示すように、入力されるピクチャ（フレーム）の“Blending_flag”により、エンコーダ１０２ｂの参照・非参照バッファへの蓄積を切り替える。“Blending_flag＝１”であれば、ピクチャの符号化で非参照バッファへ蓄積し、“Blending_flag＝０”であれば、ピクチャの符号化で参照バッファへ蓄積する。

図６（ｂ）に示すように、被参照バッファの基本レイヤ（Base layer）のピクチャは参照バッファの拡張レイヤ（Enhanced layer）のピクチャから参照されることが可能で、参照バッファの拡張レイヤのピクチャは他のピクチャから参照されることはない。

「撮影時のシャッター率」
撮影時のシャッター率について説明する。図７（ａ）は、２４０Ｈｚ（２４０ fps）のフレーム周波数で、１/２４０ secのシャッター速度で撮影した場合の画像データを示している。この画像データは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム区間が繰り返される構成となっている。

この場合、２４０Ｈｚのフレーム間隔に対して、その全期間でシャッターが開いているので、シャッターアングル（シャッター率）αは、以下の数式（１）で表されるように、３６０ degree（１００％）となる。
α＝３６０＊２４０/２４０＝３６０ ・・・（１）

図７（ｂ）は、２４０Ｈｚ（２４０ fps）のフレーム周波数で、１/３００ secのシャッター速度で撮影した場合の画像データを示している。この画像データは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム区間が繰り返される構成となっている。

この場合、２４０Ｈｚのフレーム間隔に対して、シャッターが開いている期間は１/３００ secと短くなるため、シャッターアングル（シャッター率）αは、以下の数式（２）で表されるように、２８８ degree（８０％）となる。
α＝３６０＊２４０/３００＝２８８ ・・・（２）

図８は、シャッター速度（１/sec）と、伝送フレームレート（fps）と、シャッターアングル（degree）の対応関係の一例を示している。一般的に、シャッターアングル（degree）は、以下の数式（３）で求められる。
シャッターアングル（degree）＝３６０＊（伝送フレームレート）＊（シャッター速度）
・・・（３）

「混合処理」
混合処理は、上述したように、部分デコードから表示画を作成する受信機においてストロービングによる動画質の劣化を低減するために行われる。混合処理がされていない画像データは非互換モードの画像データであり、混合処理された画像データは低フレームレート互換モードの画像データとなる。

図９を参照して、混合処理の一例を説明する。図９（ａ）は、基本形である混合処理がされていない非互換モードの画像データを示している。この画像データは、２４０Ｈｚ（２４０ fps）のフレーム周波数で、１/２４０ secのシャッター速度で撮影した場合の画像データである。この画像データは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム（ピクチャ）区間が繰り返される構成となっている。この場合の各フレームのシャッターアングル（シャッター率）αは３６０ degree（１００％）である（図７（ａ）参照）。

図９（ｂ）は、混合処理された低フレームレート互換モードの２４０Ｈｚの画像データを示している。この画像データは、Ｑ１，Ｑ２，Ｑ３，Ｑ４の４フレーム区間が繰り返される構成となっている。Ｑ１，Ｑ２，Ｑ４のフレームの画像データは、それぞれ、Ｐ１，Ｐ２，Ｐ４のフレームの画像データと同じである。このＱ１，Ｑ２，Ｑ４のフレームのシャッターアングル（シャッター率）αは３６０ degree（１００％）である。

Ｑ３のフレームの画像データは、Ｐ２，Ｐ３，Ｐ４のフレームの画像データをフィルタ演算して得られた混合画像データｔ（Ｐ２，Ｐ３，Ｐ４）である。この場合、Ｑ３のフレームの画像データは、Ｐ２，Ｐ３，Ｐ４の３フレームの画素要素をフィルタ演算で混合して持つことになる。このＱ３のフレームのシャッターアングル（シャッター率）βは、以下の数式（４）で表されるように、２４０Ｈｚの１フレーム内に３フレームの画素要素が反映されているので、３６０＊３ degree（３００％）となる。
β＝３６０＊２４０/２４０＊３＝３６０＊３ ・・・（４）

図９（ｃ）は、受信側で、混合処理されているＱ３のフレームの画像データを抽出して６０Ｈｚ表示をする場合の画像データを示している。Ｒ３のフレームの画像データは、Ｑ３のフレームの画像データを６０Ｈｚの時間間隔で表示するものとなる。このＲ３のフレームの画像データは、６０Ｈｚの時間幅において、元の２４０Ｈｚの４スロットのうちＰ２，Ｐ３，Ｐ４の３スロットにあたるフレームの画素要素を合成して持つことになる。そのため、Ｒ３のフレームのシャッターアングル（シャッター率）γは、以下の数式（５）で表されるように、２７０ degree（７５％）となる。
γ＝３６０＊６０/２４０＊３＝２７０ ・・・（５）

図９（ｂ）に示す混合処理された低フレームレート互換モードの画像データを受信側に送信する場合、エンコーダ１０２ｂでは、例えば、以下のように符号化が行われる。すなわち、基本ストリームＳＴｂには、６０Ｈｚ階層の画像データ（Ｑ３のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第１拡張ストリームＳＴｅ１には、１２０Ｈｚ階層の画像データ（Ｑ１のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第２拡張ストリームＳｔｅ２には、２４０Ｈｚ階層の画像データ（Ｑ２、Ｑ４のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。

なお、図９の例においては、撮影時のシャッターアングル（シャッター率）αが３６０ degree（１００％）である例を示したが、他の例の場合であっても、同様に考えることができる。例えば、α＝２８８ degreeの場合、β＝２８８＊３＝８６４ degree、γ＝２８８＊３/４＝２１６ degreeとなる。このことは、図９の例の場合だけでなく、以下の図１０、図１１の例においても同様である。

図１０を参照して、混合処理の他の一例を説明する。図１０（ａ）は、基本形である混合処理がされていない非互換モードの画像データを示している。この画像データは、２４０Ｈｚ（２４０ fps）のフレーム周波数で、１/２４０ secのシャッター速度で撮影した場合の画像データである。この画像データは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム（ピクチャ）区間が繰り返される構成となっている。この場合の各フレームのシャッターアングル（シャッター率）αは３６０ degree（１００％）である（図７（ａ）参照）。

図１０（ｂ）は、混合処理された低フレームレート互換モードの１２０Ｈｚの画像データを示している。この画像データは、Ｓ１，Ｓ３の２フレーム区間が繰り返される構成となっている。Ｓ１のフレームの画像データは、Ｐ１のフレームの画像データと同じである。このＳ１のフレームは１２０Ｈｚの時間幅であり、これは２４０Ｈｚの２スロットの時間幅に相当する。

このＳ１のフレームの画像データがＰ１，Ｐ２の２スロットの画素要素を含むのであればシャッターアングル（シャッター率）は３６０ degree（１００％）となる。しかし、このＳ１のフレームの画像データはＰ１のスロットの画素要素だけを含むので、このＳ１のフレームのシャッターアングル（シャッター率）は１８０ degree（５０％）である。

Ｓ３のフレームの画像データは、Ｐ２，Ｐ３，Ｐ４のフレームの画像データをフィルタ演算して得られた混合画像データｔ（Ｐ２，Ｐ３，Ｐ４）である。このＳ３のフレームは１２０Ｈｚの時間幅であり、これは２４０Ｈｚの２スロットの時間幅に相当する。このＳ３のフレームの画像データがＰ３，Ｐ４の２スロットの画素要素を含むのであればシャッターアングル（シャッター率）は３６０ degree（１００％）となる。

しかし、このＳ３のフレームの画像データは、Ｐ３，Ｐ４の２スロットの他に、Ｐ２のスロットを加えた３スロットの画素要素も含む。そのため、このＳ３のフレームのシャッターアングル（シャッター率）βは、以下の数式（６）で表されるように、５４０ degree（１５０％）となる。
β＝３６０＊１２０/２４０＊３＝５４０ ・・・（６）

図１０（ｃ）は、受信側で、混合処理されているＳ３のフレームの画像データを抽出して６０Ｈｚ表示をする場合の画像データを示している。Ｔ３のフレームの画像データは、Ｓ３のフレームの画像データを６０Ｈｚの時間間隔で表示するものとなる。このＴ３のフレームの画像データは、６０Ｈｚの時間幅において、元の２４０Ｈｚの４スロットのうちＰ２，Ｐ３，Ｐ４の３スロットにあたるフレームの画素要素を合成して持つことになる。そのため、T３のフレームのシャッターアングル（シャッター率）γは、以下の数式（７）で表されるように、２７０ degree（７５％）となる。
γ＝３６０＊６０/２４０＊３＝２７０ ・・・（７）

図１０（ｂ）に示す混合処理された低フレームレート互換モードの画像データを受信側に送信する場合、エンコーダ１０２ｂでは、例えば、以下のように符号化が行われる。すなわち、基本ストリームＳＴｂには、６０Ｈｚ階層の画像データ（Ｓ３のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第１拡張ストリームＳＴｅ１には、１２０Ｈｚ階層の画像データ（Ｓ１のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。この場合、第２拡張ストリームＳｔｅ２は生成されない。

図１１を参照して、混合処理のさらに他の一例を説明する。図１１（ａ）は、基本形である混合処理がされていない非互換モードの画像データを示している。この画像データは、２４０Ｈｚ（２４０ fps）のフレーム周波数で、１/２４０ secのシャッター速度で撮影した場合の画像データである。この画像データは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム（ピクチャ）区間が繰り返される構成となっている。この場合の各フレームのシャッターアングル（シャッター率）αは３６０ degree（１００％）である（図７（ａ）参照）。

図１１（ｂ）は、１段目の混合処理がされた低フレームレート互換モードの１２０Ｈｚの画像データを示している。詳細説明は省略するが、この画像データは、上述の図１０（ｂ）に示す画像データと同じである。

図１１（ｃ）は、２段目の混合処理がされた低フレームレート互換モードの１２０Ｈｚの画像データを示している。この画像データは、Ｕ１，Ｕ３の２フレーム区間が繰り返される構成となっている。Ｕ１のフレームの画像データは、Ｓ１のフレームの画像データと同じである。

Ｕ３のフレームの画像データは、Ｓ１，Ｓ３のフレームの画像データをフィルタ演算して得られた混合画像データｔ（Ｓ１，Ｓ３）である。このＵ３のフレームは１２０Ｈｚの時間幅であり、これは２４０Ｈｚの２スロットの時間幅に相当する。このＵ３のフレームの画像データがＰ３，Ｐ４の２スロットの画素要素を含むのであればシャッターアングル（シャッター率）は３６０ degree（１００％）となる。

しかし、このＵ３のフレームの画像データは、Ｐ３，Ｐ４の２スロットの他に、Ｐ１，Ｐ２のスロットを加えた４スロットの画素要素も含む。そのため、このＵ３のフレームのシャッターアングル（シャッター率）βは、以下の数式（８）で表されるように、３６０＊２ degree（２００％）となる。
β＝３６０＊１２０/２４０＊４＝３６０＊２ ・・・（８）

図１１（ｄ）は、受信側で、混合処理されているＵ３のフレームの画像データを抽出して６０Ｈｚ表示をする場合の画像データを示している。Ｗ３のフレームの画像データは、Ｕ３のフレームの画像データを６０Ｈｚの時間間隔で表示するものとなる。このＷ３のフレームの画像データは、６０Ｈｚの時間幅において、元の２４０Ｈｚの４スロットのうちその全てのスロットのフレームの画素要素を合成して持つことになる。そのため、Ｗ３のフレームのシャッターアングル（シャッター率）γは、以下の数式（９）で表されるように、３６０ degree（１００％）となる。
γ＝３６０＊６０/２４０＊４＝３６０ ・・・（９）

図１１（ｃ）に示す混合処理された低フレームレート互換モードの画像データを受信側に送信する場合、エンコーダ１０２ｂでは、例えば、以下のように符号化が行われる。すなわち、基本ストリームＳＴｂには、６０Ｈｚ階層の画像データ（Ｕ３のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第１拡張ストリームＳＴｅ１には、１２０Ｈｚ階層の画像データ（Ｕ１のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。この場合、第２拡張ストリームＳｔｅ２は生成されない。

「メタデータの送信」
上述したように、図２の送信側（撮影・制作・送出）において、混合処理された所定フレーム周波数の画像データをパケット化して次段に送信する際に、各フレームの画像データに関連付けて、混合処理に関する情報を含むメタデータの送信も行われる。

ここで、メタデータの送信は、上述したように、例えば、メタデータを、各フレームの画像データの少なくとも先頭を含むパケットのペイロードヘッダに挿入して送信する（第１の方法）、あるいはメタデータを、各フレームの画像データを含むパケットに対応付けられたメタデータ専用パケットで送信する（第２の方法）で、行われる。なお、メタデータの送信方法は、この第１の方法および第２の方法に限定されるものではない。以下、第１の方法および第２の方法の詳細を説明する。

「第１の方法」
この第１の方法は、メタデータを各フレームの画像データの少なくとも先頭を含むパケットのペイロードヘッダに挿入して送信するものである。

図１２は、パケットの一例を示している。この例は、「ST 2022-6 Transport of High Bit Rate Media Signals over IP Networks（HBRMT）」として規格化されているものである。この規格は、ＳＤＩ信号をＩＰ伝送するための規格であり、ＳＭＰＴＥ（米国映画テレビ技術者協会）がＩＰパケットを規定したものである。この規格の場合、ペイロードには、ビデオ、オーディオが混在して挿入される。

この規格では、ＳＤＩストリーム（ピクチャデータ）を１３７６バイト毎に区切ってメディアペイロード（Media Payload）として、ペイロードヘッダ（Payload Header）を付加後、１２バイトのＲＴＰヘッダをさらに付加してＲＴＰパケットにカプセル化する。「SMPTEST 2022-6」の規格では、１０８０Ｐビデオを伝送する３Ｇ−ＳＤＩの非圧縮ストリームまでのＩＰ伝送を規定する。なお、実際には、ＲＴＰパケットに、ＵＤＰヘッダが付加され、さらにＩＰパケットが付加され、ＩＰパケットとして送信される。

図１３は、ＲＴＰヘッダの構造例（Syntax）を示し、図１４は、その構造例における主要な情報の内容（Semantics）を示している。バージョン番号（Ｖ）は、ＲＴＰのバージョンを示し、現在のバージョンは２である。パディングビット（Ｐ）は、ペイロードがパディングされている（１）か、パディングされていない（０）かを示す。

ヘッダ拡張ビット（Ｘ）は、拡張ヘッダが追加されている（１）か、追加されていない（０）かを示す。ＣＳＲＣカウント（ＣＣ）は、ＣＳＲＣリストの長さを示す。 ペイロードが複数のメディアストリームの合成である場合、各メディアストリームのＳＳＲＣのリストが貢献ソース（CSRC：Contributing Source）リストとして格納される。

マーカビット（Ｍ）は、使用するＲＴＰプロファイルによって定義される重要なイベントの発生を示す。ストリームの開始、再開、終了などを表すために利用される。ペイロードタイプ（ＰＴ）は、ペイロードデータのメディアタイプの識別に使用され、ＲＦＣ ３５５１で定められているメディア符号化方式を示す。例えば、値“９８”は「ST2022-6」を示し、新規定義される“New_Value１”は「ST2110-20」を示し、新規定義される“New_Value2”は「メタデータ」を示す。

シーケンス番号は、パケットが送信される度に1ずつ増加される符号なしの１６ビット整数値である。通常、初期値はランダムに設定される。パケットの欠落や整列目的で使用される。タイムスタンプは、ペイロードデータの先頭がサンプリングされた瞬間を表す。メディアの再生に使用される。値は、ＲＴＰパケットの伝送時に、パケットごとインクリメントされる。
同期ソース(SSRC)識別子は、パケット送信者のＳＳＲＣを示す。

図１５は、ペイロードヘッダ（Payload Header）の構造例（Syntax）を示し、図１６は、その構造例における主要な情報の内容（Semantics）を示している。このペイロードヘッダは、パケットのペイロードで伝送される中身の再生を受信側で同期をとって行えるように指定する情報である。

「Ext」の４ビットフィールドは、ペイロードヘッダの拡張ワード（４Byte で1ワード）数を表す。「F」の１ビットフィールドは、“１”でビデオフォーマットを含むことを示し、“０”でメタデータなどのビデオ以外であることを示す。ビデオ以外である場合は、以後の要素、「FRcount」、「R」、「FRAME」、「 FRATE」の値は、意味を持たない。

「VSID」の３ビットフィールドは、“０”で「primary」を示し、“１”で「protect」を示す。「FRcount」の８ビットフィールドは、映像フレームごとに増加する値を示す。「R」の２ビットフィールドは、ビデオタイムスタンプのリファレンスを示す。“００”は「not locked」を示し、“０１”は「UTC」を示し、“１０”は「private reference」を示す。

「S」の２ビットフィールドは、ペイロードがスクランブルされているかどうかを示す。“００”はスクランブル無を示す。「FEC」の３ビットフィールドは、使用する誤り訂正符号の種類を示す。“０００”は「none」を示し、“００１”は「column」を示し、“０１０”は「row&column」を示す。

「CF」の４ビットフィールドは、映像信号のクロック周波数を示す。“０ｘ１”は２７ＭＨｚを示す。「MAP」の４ビットフィールドは、ＳＤＩストリームの種類を示す。「FRAME」の８ビットフィールドは、映像信号のスキャン方式や画素数などの、組み合わせ指定する。

「FRATE」の８ビットフィールドは、映像信号のフレーム周波数を示す。「SAMPLE」の４ビットフィールドは、映像信号のクロマサンプリング構造を示す。「Video timestamp」の３２ビットフィールドは、「CF」の値が０より大きいとき存在し、送受信間の映像信号同期のためのタイムスタンプで、精度は映像信号のクロック周波数で指定する値である。

このペイロードヘッダにおいて、「Ext」の値が０より大きいとき、「Header extension」のフィールドが、「Ext」の値で示されるワード数だけ存在する。このフィールドには、拡張タイプを示す「Extension type」の情報も含まれる。第１の方法では、この「Header extension」のフィールドに、混合処理に関する情報を含むメタデータとしての“shutter_blending()”が挿入される。

図１７は、“shutter_blending()”の構造例（Syntax）を示し、図１８は、その構造例における主要な情報の内容（Semantics）を示している。「metadata type」の８ビット領域は、メタデータタイプを示す。“０ｘ０Ａ”の場合、拡張領域を本シンタクス/セマンティクスのように定義する。

「shutter_blending_length」の８ビットフィールドは、次の要素からのバイトサイズを表す。「video_stream_id」の８ビットフィールドは、ターゲットのビデオストリームＩＤである。ビデオパケットの外側で用いる時のみ使用される。

「reference_shutter_speed_code」の４ビットフィールドは、リファレンスシャッター速度（主にキャプチャ時のカメラシャッター速度）の符号値である。例えば、“０ｘ１”は１/２４secを示し、“０ｘ２”は１/２５secを示し、“０ｘ３”は１/３０secを示し、“０ｘ４”は１/５０secを示し、“０ｘ５”は１/６０secを示し、“０ｘ６”は１/１００secを示し、“０ｘ７”は１/１２０secを示し、“０ｘ８”は１/１８０secを示し、“０ｘ９”は１/２００secを示し、“０ｘＡ”は１/２４０secを示す。

「number_of_blend_stages」の４ビットフィールドは、混合処理の段数を示す。値は１以上である。この段数分、以下の要素が繰り返し存在する。

「reference_framerate_code」の４ビットフィールドは、リファレンスフレームレート（＝混合処理対象ピクチャのフレームレート）の符号値である。例えば、“０ｘ１”は２４fpsを示し、“０ｘ２”は２５fpsを示し、“０ｘ３”は３０fpsを示し、“０ｘ４”は５０fpsを示し、“０ｘ５”は６０fpsを示し、“０ｘ６”は１００fpsを示し、“０ｘ７”は１２０fpsを示し、“０ｘ８”は２００fpsを示し、“０ｘ９”は２４０fpsを示す。

「current_framerate_code」の４ビットフィールドは、現在のフレームレート（＝混合処理後のピクチャのフレームレート）の符号値である。例えば、“０ｘ１”は２４fpsを示し、“０ｘ２”は２５fpsを示し、“０ｘ３”は３０fpsを示し、“０ｘ４”は５０fpsを示し、“０ｘ５”は６０fpsを示し、“０ｘ６”は１００fpsを示し、“０ｘ７”は１２０fpsを示し、“０ｘ８”は２００fpsを示し、“０ｘ９”は２４０fpsを示す。

「blending_flag」の１ビットフィールドは、混合処理されているか否かを示すブレンド・フラグである。“１”は混合処理がされえいることを示し、“０”は混合処理がされていないことを示す。ブレンド・フラグが“１”であるとき、以下の要素が存在する。

「blend_targets_code」の２ビットフィールドは、混合処理対象を示す。リファレンスフレームレートにおける、現ピクチャと混合するピクチャが、現ピクチャに対して前、後、前後両方のいずれかを示す。例えば、“１０”は「前」を示し、“０１”は「後」を示し、“１１”は「前後両方」を示す。

「blend_coefficients_code」の４ビットフィールドは、ブレンド比（混合する際のフィルタ演算係数の比率）を示す符号値である。比率が大きい値を現ピクチャに対する重み付け係数とし、比率の小さい方を前後の混合対象ピクチャに対する重み付け係数とする。例えば、“０ｘ１”は「１対１」を示し、“０ｘ２”は「２対１」を示し、“０ｘ３”は「４対１」を示し、“０ｘ４”は「１対２対１」を示す。

「メタデータの具体例」
最初に、図９（ｂ）に示す混合処理された低フレームレート互換モードの画像データを受信側に送信する場合におけるメタデータの具体例について説明する。図１９（ａ）は、Ｑ１，Ｑ２，Ｑ４のフレームの画像データに関連付けて送信されるメタデータ（メタデータＡ）の具体例を示している。この場合、リファレンスシャッター速度は１/２４０sec、リファレンスフレームレートは２４０fps、現在のフレームレートは２４０fpsであり、ブレンド・フラグは“０”、である。

この場合、受信側においては、リファレンスシャッター速度とリファレンスフレームレートからオリジナルのシャッターアングルが３６０ degree（１００％）であることが分かる。また、現在のフレームレートがリファレンスフレームレートと同じであることから、当該フレームのシャッターアングルは３６０ degree（１００％）であることが分かる。また、ブレンド・フラグにより、当該フレームの画像データは、混合処理されていないことが分かる。

図１９（ｂ）は、Ｑ３のフレームの画像データに関連付けて送信されるメタデータ（メタデータＡ）の具体例を示している。この場合、リファレンスシャッター速度は１/２４０sec、リファレンスフレームレートは２４０fps、現在のフレームレートは２４０fpsであり、ブレンド・フラグは“１”、混合処理対象が前後両方、ブレンド比は１対２対１、である。

この場合、受信側においては、リファレンスシャッター速度とリファレンスフレームレートからオリジナルのシャッターアングルが３６０ degree（１００％）であることが分かる。また、混合処理対象から、当該フレームの画像データは、前後両方のピクチャを混合処理対象として、３つのピクチャが１対２対１の比率で混合されたものであることが分かる。この混合処理によるシャッターアングルの換算は３６０＊３＝１０８０ degree（３００％）になる。現在のフレームレートがリファレンスフレームレートと同じであることから、当該フレームのシャッターアングルは３６０ degree（１００％）となることが分かる。

次に、図１０（ｂ）に示す混合処理された低フレームレート互換モードの画像データを受信側に送信する場合におけるメタデータの具体例について説明する。図２０（ａ）は、Ｓ１のフレームの画像データに関連付けて送信されるメタデータ（メタデータＡ）の具体例を示している。この場合、リファレンスシャッター速度は１/２４０sec、リファレンスフレームレートは２４０fps、現在のフレームレートは１２０fpsであり、ブレンド・フラグは“０”、である。

この場合、受信側においては、リファレンスシャッター速度とリファレンスフレームレートからオリジナルのシャッターアングルが３６０ degree（１００％）であることが分かる。また、現在のフレームレートの時間軸がリファレンスフレームレートの時間軸に対して２倍になるので、当該フレームのシャッターアングルは１８０ degree（５０％）であることが分かる。また、ブレンド・フラグにより、当該フレームの画像データは、混合処理されていないことが分かる。

図２０（ｂ）は、Ｓ３のフレームの画像データに関連付けて送信されるメタデータ（メタデータＡ）の具体例を示している。この場合、リファレンスシャッター速度は１/２４０sec、リファレンスフレームレートは２４０fps、現在のフレームレートは１２０fpsであり、ブレンド・フラグは“１”、混合処理対象が前後両方、ブレンド比は１対２対１、である。

この場合、受信側においては、リファレンスシャッター速度とリファレンスフレームレートからオリジナルのシャッターアングルが３６０ degree（１００％）であることが分かる。また、混合処理対象から、当該フレームの画像データは、前後両方のピクチャを混合処理対象として、３つのピクチャが１対２対１の比率で混合されたものであることが分かる。この混合処理によるシャッターアングルの換算は３６０＊３＝１０８０ degree（３００％）になる。現在のフレームレートの時間軸がリファレンスフレームレートの時間軸に対して２倍になるので、当該フレームのシャッターアングルは５４０ degree（１５０％）となることが分かる。

次に、図１１（ｃ）に示す２段混合処理された低フレームレート互換モードの画像データを受信側に送信する場合におけるメタデータの具体例について説明する。図２１（ａ），（ｂ）は、図１１（ｂ）のＳ１，Ｓ３のフレームの画像データに関連付けて送信されるメタデータ（メタデータＡ）の具体例を示している。詳細説明は省略するが、これらのメタデータ（メタデータＡ）に関しては、上述した図２０（ａ），（ｂ）の説明と同様である。

図２１（ｃ）は、Ｕ１のフレームの画像データに関連付けて送信されるメタデータ（メタデータＢ）の具体例を示している。このメタデータ（メタデータＢ）には、図２１（ａ）に示す１段目の混合処理に関する情報が含まれると共に、２段目の混合処理に関する情報が含まれる。２段目の混合処理に関して、リファレンスフレームレートは１２０fps、現在のフレームレートは１２０fpsであり、ブレンド・フラグは“０”、である。

この場合、受信側においては、現在のフレームレートがリファレンスフレームレートと同じであることから、Ｓ１フレームのシャッターアングルと同様に、当該フレームのシャッターアングルは３６０ degree（１００％）であることが分かる。また、ブレンド・フラグにより、当該フレームの画像データは、混合処理されていないことが分かる。

図２１（ｄ）は、Ｕ３のフレームの画像データに関連付けて送信されるメタデータ（メタデータＢ）の具体例を示している。このメタデータ（メタデータＢ）には、図２１（ｂ）に示す１段目の混合処理に関する情報が含まれると共に、２段目の混合処理に関する情報が含まれる。２段目の混合処理に関して、リファレンスフレームレートは１２０fps、現在のフレームレートは１２０fpsであり、ブレンド・フラグは“１”、混合処理対象が前、ブレンド比は４対１、である。

この場合、混合処理対象から、当該フレームの画像データは、前のピクチャを混合処理対象として、２つのピクチャが４対１の比率で混合されたものであることが分かる。この混合処理により、当該フレームのシャッターアングルは、５４０＋１８０＝７２０ degree（２００％）
となることが分かる。

図２２は、ＲＴＰ伝送でピクチャが複数パケット（メディアパケット）で伝送される例を示している。この例では、ピクチャが２つのＲＴＰパケットに分割される様子を示しているが、これに限定されるものではなく、例えば、ピクチャの複数ラインが１パケットで送られ、一つのピクチャが複数のパケットで伝送されてもよい。また、この例では、全てのパケットのペイロードヘッダにメタデータが挿入される例を示しているが、少なくとも各フレームの画像データの先頭を含むパケットのペイロードヘッダに挿入されてあればよい。なお、この例では、ビデオのみを描いているが、実際は、ＳＴ２０２２−６はビデオ、オーディオが混在することを許している。

「第２の方法」
第２の方法は、メタデータを、各フレームの画像データを含むパケットに対応付けられたメタデータ専用パケットで送信するものである。

図２３は、図２２と同様に、ＲＴＰ伝送でピクチャが複数パケット（メディアパケット）で伝送される例を示している。なお、この例では、図面の簡単化のために、ＵＤＰヘッダおよびＯＰヘッダの図示は省略している。

図２３の例では、メディアパケットの他に、メタデータパケットが存在する。第２の方法においては、メタデータパケットを新規定義し、このメタデータパケットを利用して、各フレームにそれぞれ対応付けて混合処理に関する情報を含むメタデータを送信する。この場合、メタデータの対象ビデオパケットは、「video_stream_id」によって紐づけられる。また、対象ピクチャは、「Video_timestamp」で同期される。

図２４は、この場合におけるペイロードヘッダの構造例（Syntax）を示している。このペイロードヘッダに、リザーブ領域、例えば「EMT-RESERVE」を利用して、「video_stream_id」を新規定義する。この「video_stream_id」は、番組配信においてユニークに決まる値を持つ。
そして、別の配信パケットと連携させることができる（図２３参照）。

なお、詳細説明は省略するが、このペイロードヘッダのその他の構造は、図１５に示す構造例と同様である。ただし、この場合、このペイロードヘッダにメタデータの挿入はない。なお、このペイロードヘッダには、「Video_timestamp」が存在する。

メタデータは、ビデオとは別のＲＴＰパケットのペイロードで配信される。そして、「video_stream_id」と「Video_timestamp」により、対象となるビデオの各ピクチャに同期・関連付けることができる。この場合、ＲＴＰヘッダのＰＴ（ペイロードタイプ）には、「New_value2」が入り、ペイロードヘッダの「F」には“０”が入り、ペイロードはビデオではないことを示す。「shutter_blending()」のフォーマットデータが、ペイロードの領域にそのまま挿入され伝送される。

図２５は、メタデータパケットのペイロードヘッダおよびペイロードの構造例（Syntax）を示している。ペイロードヘッダ領域に、メタデータパケットの識別情報である「metadata start word」の３２ビットフィールドと、「Video_timestamp」の３２ビットフィールドが存在する。そして、ペイロード領域に、混合処理に関する情報を含むメタデータとしての“shutter_blending()”（図１７参照）が挿入される。この“shutter_blending()”には、「video_stream_id」が存在する。

以上説明したように、図２、図３に示す送受信システム１０の送信側（撮影・制作・送出）において、混合処理された所定フレーム周波数の画像データをパケット化して次段に送信する際に、各フレームの画像データに関連付けて、混合処理に関する情報を含むメタデータの送信も行われる。そのため、混合処理された画像データの例えば素材伝送に当たって受信側での取り扱いを良好に行い得るようになる。

＜２．変形例＞
なお、上述実施の形態においては、画像データ（ビデオデータ）をコンテナするパケットとして「ST 2022-6」規格のパケットを例にして説明をした。しかし、画像データをコンテナするパケットがその他のパケット、例えば「ST 2110-20」規格のパケットである場合にも、本技術を同様に適用できる。この「ST 2110-20」規格のパケットの場合には、ペイロードにビデオのみが挿入される。

また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、本技術は、以下のような構成を取ることもできる。
（１）所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを送信する送信部を備え、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
上記送信部は、各フレームの画像データにそれぞれ関連付けて、上記混合処理に関する情報を含むメタデータをさらに送信する
送信装置。
（２）上記送信部は、上記メタデータを、上記各フレームの画像データの少なくとも先頭を含む上記パケットのペイロードヘッダに挿入して送信する
前記（１）に記載の送信装置。
（３）上記送信部は、上記メタデータを、上記各フレームの画像データを含む上記パケットに対応付けられたメタデータ専用パケットで送信する
前記（１）に記載の送信装置。
（４）上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含む
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記混合処理に関する情報は、キャプチャ時のカメラシャッター速度の情報を含む
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記混合処理に関する情報は、混合処理対象ピクチャのフレームレートの情報を含む
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記混合処理に関する情報は、混合処理後のフレームレートの情報を含む
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記混合処理に関する情報は、混合処理対象ピクチャを示す情報を含む
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記混合処理に関する情報は、混合する際のフィルタ演算係数の比率を示す情報を含む
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記混合処理は、所定段の混合処理を含む
前記（１）から（９）のいずれかに記載の送信装置。
（１１）上記パケットは、ＩＰ（Internet Protocol）ネットワークを利用した映像信号伝送に関する規格により規定されるフォーマットに準拠する
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）上記規格は、ＳＭＰＴＥ ＳＴ２０２２-６である
前記（１１）に記載の送信装置。
（１３）上記規格は、ＳＭＰＴＥ ＳＴ２１１０-２０である
前記（１１）に記載の送信装置。
（１４）上記混合処理を行う混合処理部をさらに備える
前記（１）から（１３）のいずれかに記載の送信装置。
（１５）所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを送信する手順を有し、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
各フレームの画像データにそれぞれ関連付けて、上記混合処理に関する情報を含むメタデータを送信する手順をさらに有する
送信方法。
（１６）所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する受信部を備え、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
上記受信部は、各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータをさらに受信し、
上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含み、
上記混合処理に関する情報に基づいて、上記所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、上記所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する符号化部をさらに備える
符号化装置。
（１７）所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する手順を有し、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータを受信する手順を有し、
上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含み、
上記混合処理に関する情報に基づいて、上記所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、上記所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する手順をさらに有する
符号化方法。
（１８）所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する受信部を備え、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
上記受信部は、各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータをさらに受信し、
上記混合処理に関する情報に基づいて上記所定フレーム周波数の画像データに対して逆混合処理を施して表示用画像データを得る処理部をさらに備える
受信装置。
（１９）所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する手順を有し、
上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータを受信する手順と、
上記混合処理に関する情報に基づいて上記所定フレーム周波数の画像データに対して逆混合処理を施して表示用画像データを得る手順をさらに有する
受信方法。

１０・・・送受信システム
１０１・・・カメラ
１０１ａ・・・プリプロセッサ
１０２・・・放送局
１０２ａ・・・ＨＬＰ部
１０２ｂ・・・エンコーダ
１０３・・・編集装置
１０３ａ・・・ＨＬＰ部
１０３ｂ・・・プリプロセッサ
２１１，２２１，２３１・・・セットトップボックス
２１１ａ，２２１ａ・・・ＨＬＰ部
２１１ｂ，２２１ｂ，２３１ａ・・・デコーダ
２１２，２２２，２３２・・・ディスプレイ
２１２ａ，２２２ａ・・・ポストプロセッサ
２１２ｂ，２２２ｂ，２３２ａ・・・ＭＣＦＩ部

Claims (19)

1. 所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを送信する送信部を備え、
   上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
   上記送信部は、各フレームの画像データにそれぞれ関連付けて、上記混合処理に関する情報を含むメタデータをさらに送信する
   送信装置。
2. 上記送信部は、上記メタデータを、上記各フレームの画像データの少なくとも先頭を含む上記パケットのペイロードヘッダに挿入して送信する
   請求項１に記載の送信装置。
3. 上記送信部は、上記メタデータを、上記各フレームの画像データを含む上記パケットに対応付けられたメタデータ専用パケットで送信する
   請求項１に記載の送信装置。
4. 上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含む
   請求項１に記載の送信装置。
5. 上記混合処理に関する情報は、キャプチャ時のカメラシャッター速度の情報を含む
   請求項１に記載の送信装置。
6. 上記混合処理に関する情報は、混合処理対象ピクチャのフレームレートの情報を含む
   請求項１に記載の送信装置。
7. 上記混合処理に関する情報は、混合処理後のフレームレートの情報を含む
   請求項１に記載の送信装置。
8. 上記混合処理に関する情報は、混合処理対象ピクチャを示す情報を含む
   請求項１に記載の送信装置。
9. 上記混合処理に関する情報は、混合する際のフィルタ演算係数の比率を示す情報を含む
   請求項１に記載の送信装置。
10. 上記混合処理は、所定段の混合処理を含む
    請求項１に記載の送信装置。
11. 上記パケットは、ＩＰ（Internet Protocol）ネットワークを利用した映像信号伝送に関する規格により規定されるフォーマットに準拠する
    請求項１に記載の送信装置。
12. 上記規格は、ＳＭＰＴＥ ＳＴ２０２２-６である
    請求項１１に記載の送信装置。
13. 上記規格は、ＳＭＰＴＥ ＳＴ２１１０-２０である
    請求項１１に記載の送信装置。
14. 上記混合処理を行う混合処理部をさらに備える
    請求項１に記載の送信装置。
15. 所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを送信する手順を有し、
    上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
    各フレームの画像データにそれぞれ関連付けて、上記混合処理に関する情報を含むメタデータを送信する手順をさらに有する
    送信方法。
16. 所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する受信部を備え、
    上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
    上記受信部は、各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータをさらに受信し、
    上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含み、
    上記混合処理に関する情報に基づいて、上記所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、上記所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する符号化部をさらに備える
    符号化装置。
17. 所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する手順を有し、
    上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
    各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータを受信する手順を有し、
    上記混合処理に関する情報は、対応するフレームの画像データが混合処理されているか否かを示す情報を含み、
    上記混合処理に関する情報に基づいて、上記所定フレーム周波数の画像データのうち混合処理されているフレームの画像データを基本レイヤの画像データとして符号化し、上記所定フレーム周波数の画像データのうち混合処理されていないフレームの画像データを拡張レイヤの画像データとして符号化する手順をさらに有する
    符号化方法。
18. 所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する受信部を備え、
    上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
    上記受信部は、各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータをさらに受信し、
    上記混合処理に関する情報に基づいて上記所定フレーム周波数の画像データに対して逆混合処理を施して表示用画像データを得る処理部をさらに備える
    受信装置。
19. 所定フレーム周波数の画像データをフレーム毎に所定数に分割して得られた分割画像データをペイロードデータとして含むパケットを受信する手順を有し、
    上記所定フレーム周波数の画像データは、フレーム毎に選択的に前および/または後のフレームの画像データを用いた混合処理がされており、
    各フレームの画像データにそれぞれ関連付けされた、上記混合処理に関する情報を含むメタデータを受信する手順と、
    上記混合処理に関する情報に基づいて上記所定フレーム周波数の画像データに対して逆混合処理を施して表示用画像データを得る手順をさらに有する
    受信方法。

Images