JP6592864B2 - 映像送信装置、映像受信装置、映像配信システム、映像送信装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、映像送信装置、映像受信装置、映像配信システム、映像送信装置の制御方法、及び、プログラムに関する。

ネットワークを介して映像データを配信することで映像配信を行うシステムがある。このようなシステムでは、映像データを符号化してネットワークを介して送信する際に、ネットワークでの通信状態によっては、データの一部が正常に受信装置に受信されない可能性がある。例えば、ネットワークにおける通信の際のデータの欠落又は遅延により、受信装置がデータの一部を正常に受信することができないことが生ずる。受信装置は、データの一部を正常に受信することができない場合、映像データを正しく復号することができないので、再生する映像の遅延又は画質の劣化が生ずる。

また、データの転送量を削減するためにＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の画像符号化技術が用いられている。これらの画像符号化技術では、画質の維持とデータの転送量の削減との両立のため、フレーム内符号化とフレーム間符号化とを利用して符号化フレームを生成する。

特許文献１は、ネットワーク帯域の低下によって通信遅延が生じる場合においても、動画像データを正常に再生させることができるストリーミング配信システムを開示している。特許文献１が開示する技術では、ストリーミングデータを７〜１０秒程度に相当する分割単位（セグメント）に分割して配信するシステムを想定しており、この分割単位内でのデータの配置位置の組替えによって通信遅延の問題を回避する。

特開２０１４−１８７５１０号公報

特許文献１が開示する技術は、上記のとおりストリーミングデータを７〜１０秒程度に相当する分割単位に分割して配信するシステムを想定したものである。このシステムでは、送信装置がストリーミングデータを生成してから受信装置が上記映像データを再生するまでに、上記７〜１０秒を超える時間を要する。よって、特許文献１が開示する技術を、リアルタイム性がより高い通信に適用することはできない。

すなわち、データ配信にリアルタイム性が求められるシステムにおいて、ネットワークにおける通信遅延により、映像の遅延又は乱れを引き起こすという問題がある。

本発明は、上記問題を解決するためになされたものであり、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制する映像送信装置等を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る映像送信装置（送信装置）は、映像信号を符号化することで符号化フレームを生成する符号化部と、前記符号化部が生成した前記符号化フレームをネットワークを介して送信する通信部と、前記通信部による前記符号化フレームの送信の遅延を検出する検出部と、前記検出部が前記遅延を検出した場合に、フレーム内符号化及びフレーム間符号化のうちのフレーム内符号化によって、前記符号化部に新たな映像信号を符号化させることで、新たな符号化フレームを生成させる符号化制御部とを備える。

これによれば、映像送信装置は、符号化フレームの送信の遅延を検出したことを契機として、フレーム内符号化フレームを生成して送信する。符号化フレームの送信の遅延が生じているときには、映像受信装置において再生される映像に遅延または欠落が生じており、正常に映像信号が再生されていない可能性がある。そこで、符号化フレームの送信の遅延を検出したことを契機として動的にフレーム内符号化フレームを送信することで、受信装置において再生される映像の遅延又は欠落をリアルタイムに解消することができる。このように、映像送信装置は、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制することができる。

また、前記符号化制御部は、前記検出部が前記遅延を検出した場合に、前記符号化部が生成した前記符号化フレームであって、前記通信部により未だ送信されていない前記符号化フレームを前記通信部に送信させることなく、前記符号化部が生成した前記新たな符号化フレームを前記通信部に送信させてもよい。

これによれば、映像送信装置は、符号化フレームの送信の遅延を検出した時点において未だ送信されていない、つまり映像送信装置内に格納されている符号化フレームのうち、送信タイミングを逸したことで適切に送信することができなかった符号化フレームの送信を取りやめ、適切な符号化フレームからの送信を行うことができる。これにより、リアルタイム性を向上させた映像配信を実現することができる。

また、前記検出部は、前記映像送信装置の外部の装置から情報を得ることなく、前記遅延を検出してもよい。

これによれば、映像送信装置は、ネットワークに遅延が生じている状況においても正常に遅延を検出することができる。仮に外部の装置から得られる遅延に関する情報に基づいて遅延を検出する方法を採用するとすれば、送信装置は、ネットワークに遅延が生じている状況で遅延に関する情報を得る必要があるが、この遅延の影響により上記遅延に関する情報を適切に得られない可能性がある。そこで、外部の装置から遅延に関する情報を得ることなく遅延を検出する方法を採用することで、ネットワークに遅延が生じている状況においても適切に遅延を検出することができる。

また、前記符号化部は、前記符号化フレームを生成したときに、第一カウンタ値をインクリメントし、前記通信部は、前記符号化フレームを送信したときに、第二カウンタ値をインクリメントし、前記検出部は、前記第一カウンタ値と前記第二カウンタ値との差分が所定の閾値以上であるか否かを判定し、前記差分が前記所定の閾値以上であると判定したことに基づいて前記遅延を検出してもよい。

これによれば、映像送信装置は、２つのカウンタ値に基づいて、符号化フレームの送信の遅延をより簡易な方法で実現することができる。

また、前記通信部は、前記符号化フレームを１以上の通信パケットにより送信し、前記検出部は、前記１以上の通信パケットのうちの最初の通信パケットの送信処理の開始時点から、前記１以上の通信パケットのうちの最後のパケットの送信処理の終了時点までの時間が所定の閾値以上であるか否かを判定し、前記時間が前記所定の閾値以上であると判定したことに基づいて前記遅延を検出してもよい。

これによれば、映像送信装置は、フレームの送信に要する時間に基づいて、符号化フレームの送信の遅延をより簡易な方法で実現することができる。

また、前記通信部は、再送制御を有する通信方式により前記符号化フレームを含む通信パケットにより送信し、前記検出部は、前記通信パケットの再送回数が所定の閾値以上であるか否かを判定し、前記再送回数が前記所定の閾値以上であると判定したことに基づいて前記遅延を検出してもよい。

これによれば、映像送信装置は、再送制御を有する通信方式における再送回数に基づいて、符号化フレームの送信の遅延をより簡易な方法で実現することができる。

また、前記符号化制御部は、さらに、周期的に、前記符号化部にフレーム内符号化によって新たな符号化フレームを生成させてもよい。

これによれば、映像送信装置は、周期的にフレーム内符号化により符号化フレームを生成して送信する。ネットワークに遅延が生じていない場合であっても、例えば符号化フレームの欠落又は受信装置における処理負荷等により、受信装置が再生する映像に遅延又は欠落が生ずることがある。送信装置が周期的にフレーム内符号化により符号化フレームを送信することで、上記のような映像の遅延又は欠落を回避することができる。

また、前記通信部は、さらに、前記符号化フレームの宛先である映像受信装置からの、フレーム内符号化フレームの送信要求を受信し、前記符号化制御部は、さらに、前記通信部が前記送信要求を受信した場合に、前記符号化部にフレーム内符号化によって新たな符号化フレームを生成させてもよい。

これによれば、映像送信装置は、受信装置による要求に応じてフレーム内符号化により符号化フレームを生成して送信する。これにより、受信装置が再生する映像に遅延又は欠落を、受信装置による要求に応じて解消することができる。

また、本発明の一態様に係る映像受信装置（受信装置）は、映像信号を符号化することで生成される符号化フレームを映像送信装置から受信する通信部と、受信した符号化フレームを復号することで映像信号を生成する復号部とを備え、前記通信部は、さらに、フレーム内符号化フレーム及びフレーム間符号化フレームのうちのフレーム内符号化フレームの送信要求を前記映像送信装置へ送信する。

これによれば、映像受信装置は、フレーム内符号化フレームを生成して送信するための要求を映像送信装置に対して送信することができる。これにより、映像受信装置は、例えば、受信装置が再生する映像に遅延又は欠落が生じていることを検出した場合に能動的にフレーム内符号化フレームを得るための処理を行うことができる。

また、本発明の一態様に係る映像配信システムは、上記の映像送信装置と、前記映像送信装置の通信部が送信する前記符号化フレームを受信する、上記の映像受信装置とを備え、前記映像受信装置の通信部は、前記送信要求を前記映像送信装置へ送信する。

これによれば、上記映像送信装置及び上記映像受信装置と同様の効果を奏する。

また、本発明の一態様に係る映像送信装置の制御方法は、映像信号を符号化することで符号化フレームを生成する符号化ステップと、前記符号化ステップで生成した前記符号化フレームをネットワークを介して送信する通信ステップと、前記通信ステップでの前記符号化フレームの送信の遅延を検出する検出ステップと、前記検出ステップで前記遅延を検出した場合に、フレーム内符号化及びフレーム間符号化のうちのフレーム内符号化によって、前記符号化ステップで新たな映像信号を符号化させることで、新たな符号化フレームを生成させる符号化制御ステップとを含む。

これによれば、上記再生装置と同様の効果を奏する。

また、本発明の一態様に係るプログラムは、上記の映像送信装置の制御方法をコンピュータに実行させるためのプログラムである。

これによれば、上記再生指示装置と同様の効果を奏する。

本発明にかかる映像送信装置等は、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制することができる。

図１は、実施の形態に係る映像配信システムの構成、及び、基本的な通信シーケンスの説明図である。 図２は、実施の形態に係る送信装置の機能ブロックを示すブロック図である。 図３は、実施の形態に係る送信装置の符号化処理を示すフロー図である。 図４は、実施の形態の変形例に係る送信装置の符号化処理の詳細を示す第一のフロー図である。 図５は、実施の形態の変形例に係る送信装置の遅延検出処理を含む符号化処理の詳細を示す第二のフロー図である。 図６は、実施の形態の変形例１に係る送信装置での符号化フレームの生成、格納及び送信の各処理のタイミング、並びに、遅延の検出方法を示す説明図である。 図７は、実施の形態の変形例１に係る送信装置による遅延の検出方法の別の例を示す説明図である。 図８は、実施の形態の変形例２に係る送信装置の符号化処理の詳細を示す第一のフロー図である。 図９は、実施の形態の変形例２に係る送信装置の符号化処理の詳細を示す第二のフロー図である。 図１０は、実施の形態の変形例３に係る送信装置及び受信装置の機能ブロックを示すブロック図である。 図１１は、実施の形態の変形例３に係る送信装置の符号化処理の詳細を示すフロー図である。 図１２は、実施の形態の変形例３に係る映像配信システムの通信シーケンスの説明図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。

（実施の形態）
本実施の形態において、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制する映像送信装置などについて説明する。

図１は、実施の形態に係る映像配信システム１の構成、及び、基本的な通信シーケンスの説明図である。

図１に示されるように、映像配信システム１は、送信装置１０と、受信装置３０とを備える。送信装置１０と受信装置３０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４０により互いに通信可能に接続されている。

映像配信システム１では、送信装置１０が映像コンテンツをＬＡＮ４０を通じて送信し、その送信した映像コンテンツを受信装置３０が受信して再生する。

ＬＡＮ４０は、例えば、ＩＥＥＥ８０２．３規格等に適合する有線ＬＡＮ、又は、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格等に適合する無線ＬＡＮ、若しくは、これらが接続されたネットワークにより実現され得る。ＬＡＮ４０をネットワークともいう。

映像コンテンツは、例えば、ＷｅｂＳｏｃｋｅｔ、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、又は、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）のデータフィールドに含められて送信されることが想定されるが、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のデータフィールドに含められて送信されてもよいし、上記有線ＬＡＮ又は無線ＬＡＮのフレームのデータフィールドに含められて送信されてもよい。

送信装置１０は、映像信号を符号化することで符号化フレームを生成し、生成した符号化フレームをＬＡＮ４０を通じて受信装置３０に送信する送信装置である。送信装置１０は、映像送信装置に相当する。なお、上記フレームは、ピクチャを指す概念であり、ピクチャとはフレーム構造とフィールド構造とを含むものとする。

受信装置３０は、送信装置１０が送信した符号化フレームを受信し、受信した符号化フレームを復号することで映像信号を復元し、映像信号を再生する受信装置である。受信装置３０は、映像受信装置に相当する。なお、受信装置３０は、特に説明する場合を除き、従来技術における受信装置により実現される。

映像配信システム１は、リアルタイム性が比較的高い映像配信に用いられることで効果が発揮される。リアルタイム性が比較的高い映像配信とは、例えば、送信装置１０が映像信号を符号化してから受信装置３０が再生するまでの時間が１秒〜５秒程度以内に収まる映像配信を意味し、例えば、ライブ映像の配信又は監視カメラの映像の配信などが該当する。ただし、映像配信システム１を、上記時間が１秒〜５秒を超える映像配信に用いることももちろん可能である。

次に、映像配信システム１での基本的な通信シーケンスについて説明する。基本的な通信シーケンスは、接続フェイズと配信フェイズとをこの順に含む。

接続フェイズにおいて、送信装置１０と受信装置３０とは、互いに相手を認識する。例えば、受信装置３０は、受信装置３０の識別情報を含む接続要求を送信装置１０に送信する。この接続要求を受信した送信装置１０は、自装置が映像コンテンツを送信する宛先として受信装置３０を認識する。また、送信装置１０は、接続要求に応じて、送信装置１０の識別情報を含む接続応答を受信装置３０に送信する。この接続応答を受信した受信装置３０は、自装置に映像コンテンツを送信する送信元として送信装置１０を認識する。なお、識別情報は、例えば、アドレス及び機器種別などを含む情報である。また、接続フェイズにおける情報のやりとりは、上記に限定されず、例えば送信装置１０から受信装置３０に先に接続要求を送信してもよい。また、送信装置１０と受信装置３０との間で既に互いを接続相手として認識しているのであれば省略してもよい。

配信フェイズにおいて、送信装置１０と受信装置３０とは、映像信号が符号化された映像データ（符号化フレーム）の送受信（配信）を行う。映像データの送受信には、例えば、受信装置３０が送信装置１０に対して、受信することを要求するデータを示す情報（例えば、ファイル名又は番組名など）を含むデータ要求を送信する。送信装置１０がデータ要求に応じて、要求されたデータを受信装置３０に送信する。ここで、送信装置１０が送信するデータは、映像信号が符号化された符号化フレームを含んでいる。

映像配信システム１において、ネットワークにおける通信遅延が発生すると、受信装置３０が再生する映像に遅延又は乱れが生ずるという問題がある。すなわち、図１の配信フェイズにおけるデータの送信においてＬＡＮ４０に通信遅延が生ずると、受信装置３０が受信するデータに遅延が生ずる、又は、受信装置３０が再生すべき時点までにデータが受信できないことになり、受信装置３０が再生する映像に遅延又は乱れが生ずる。

映像配信システム１がネットワークにおける通信遅延による映像の遅延又は乱れを抑制する技術について、以降で詳しく説明する。

図２は、実施の形態に係る送信装置１０の機能ブロックを示すブロック図である。

図２に示されるように、送信装置１０は、符号化部１２と、記憶部１４と、通信部１６と、検出部１８と、符号化制御部２０とを備える。

符号化部１２は、映像信号を符号化することで符号化フレームを生成する処理部である。符号化の方法には、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の画像符号化技術などの公知の従来技術を採用し得る。符号化部１２が生成する符号化フレームは、フレーム内符号化フレーム、及び、フレーム間符号化フレームを含む。フレーム内符号化フレームは、当該フレーム内の画素の相関等に基づいて符号化されたフレームである。フレーム間符号化フレームは、当該フレームの画素と、当該フレームとは異なるフレームの画素との相関等に基づいて符号化されたフレームである。符号化部１２は、符号化フレームを生成すると、生成した符号化フレームを記憶部１４に格納する。

記憶部１４は、符号化部１２が生成した符号化フレームを記憶する記憶装置である。記憶部１４は、一の符号化フレームが格納され得る格納領域を複数有する。格納領域の個数は、例えば３０個であり、順に番号が付されている。記憶部１４には、符号化部１２によって符号化フレームが格納される。符号化フレームが格納される際には、例えば、格納領域に付された番号の順に格納領域に符号化フレームが格納される。最後の番号を有する格納領域に符号化フレームが格納された後には、その次の符号化フレームは、最初の番号を有する格納領域に格納される。また、記憶部１４に格納された符号化フレームは、通信部１６によって読み出される。

通信部１６は、符号化部１２が生成した符号化フレームをＬＡＮ４０を介して送信する処理部である。通信部１６は、記憶部１４から符号化フレームを読み出し、読み出した符号化フレームを含む１以上の通信パケットを生成してＬＡＮ４０に送信する。なお、読み出した符号化フレームのデータサイズが１個の通信パケットに含められるデータサイズを超えている場合には、通信部１６は、読み出した符号化フレームを分割して複数の通信パケットに含めて送信する。なお、通信部１６は、通信部１６が送信する符号化フレームを受信する受信装置３０との間で所定のプロトコルに従う通信を行う。所定のプロトコルは、任意のものを採用し得るが、例えば、ＷｅｂＳｏｃｋｅｔ、ＴＣＰ、ＵＤＰなどが該当する。

検出部１８は、通信部１６による符号化フレームの送信の遅延を検出する処理部である。遅延の検出方法には、さまざまな方法があり、詳細は後述する。ここで、遅延とは、ＬＡＮ４０における通信より送信される符号化フレームの遅れのことである。遅延は、ＬＡＮ４０により符号化フレームが送信されるのに要する時間の基準値からの差分として検出可能である。基準値とは、仮に他の通信トラフィックがない場合にＬＡＮ４０により符号化フレームが送信されるのに要する時間である。なお、遅延は、ＬＡＮ４０において他の通信端末が通信中である場合、又は、ＬＡＮ４０にノイズが発生しておりＬＡＮ４０に通信パケットを送出できない場合などに生じ得る。また、通信部１６のトランスポート層にＴＣＰを採用する場合には、送信装置１０が送信した通信パケットに対する受信装置３０からのＡＣＫが返信されないことによっても生じ得る。

符号化制御部２０は、検出部１８が遅延を検出した場合に、フレーム内符号化及びフレーム間符号化のうちのフレーム内符号化によって、符号化部１２に新たな映像信号を符号化させることで、新たな符号化フレームを生成させる処理部である。

以上のように構成された送信装置１０の処理について説明する。

図３は、本実施の形態に係る送信装置１０の符号化処理を示すフロー図である。なお、図３に示される一連の処理は、符号化部１２が映像信号を符号化することで符号化フレームを生成した後で行われる処理である。

ステップＳ１１において、検出部１８は、符号化部１２が生成した符号化フレームの送信の遅延を検出する処理を行う。この処理は、符号化部１２が生成した符号化フレームを通信部１６が送信した後に、送信した符号化フレームの遅延を検出する処理であってもよいし、符号化部１２が生成して未だ通信部１６により送信されていない符号化フレームに基づいて遅延を検出する処理であってもよい。

ステップＳ１２において、検出部１８は、ステップＳ１１の処理において遅延が検出されたか否かを判定する。遅延が検出された場合（ステップＳ１２でＹｅｓ）には、ステップＳ１３に進み、そうでない場合（ステップＳ１２でＮｏ）は、ステップＳ１４に進む。

ステップＳ１３において、符号化制御部２０は、符号化部１２に対してフレーム内符号化により新たな映像信号を符号化させる。符号化部１２は、符号化制御部２０による制御に従って、フレーム内符号化フレームを生成する。

ステップＳ１４において、符号化制御部２０は、符号化部１２に新たな映像信号をフレーム間符号化により符号化させる。符号化部１２は、符号化制御部２０による制御に従って、フレーム間符号化フレームを生成する。

以上の一連の処理により、送信装置１０は、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制することができる。

このように、本実施の形態の送信装置は、符号化フレームの送信の遅延を検出したことを契機として、フレーム内符号化フレームを生成して送信する。符号化フレームの送信の遅延が生じているときには、映像受信装置において再生される映像に遅延または欠落が生じており、正常に映像信号が再生されていない可能性がある。そこで、符号化フレームの送信の遅延を検出したことを契機として動的にフレーム内符号化フレームを送信することで、受信装置において再生される映像の遅延又は欠落をリアルタイムに解消することができる。このように、映像送信装置は、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制することができる。

（実施の形態の変形例１）
本変形例では、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制する映像送信装置などについて、遅延の検出方法についてさらに詳細に説明する。

本変形例に係る映像配信システム１の構成は、実施の形態で説明したものと同じである。本変形例は、実施の形態で説明した送信装置１０と、機能ブロックの処理が一部異なる。以降では、本変形例に係る送信装置１０について、実施の形態の送信装置１０と異なる部分について説明する。

図４及び図５は、本変形例に係る送信装置１０による遅延検出処理を含む符号化処理の詳細を示すフロー図である。図６は、本変形例に係る送信装置１０でのフレームの生成、格納及び送信の各処理のタイミング、並びに、遅延の検出方法を示す説明図である。本変形例では、符号化部１２が実行する処理（図４参照）と、通信部１６、検出部１８及び符号化制御部２０が実行する処理（図５参照）とのそれぞれが、並行して進められる構成について説明する。なお、図６において、図４及び図５における処理ステップに対応する箇所に、その処理ステップの符号を示している。また、図６の記憶部１４の欄の複数の矩形は、記憶部１４が有する複数の格納領域を示しており、複数の矩形の内部に括弧書きで記載された数値は、複数の格納領域それぞれに付された番号を示している。

符号化部１２は、実施の形態において説明した符号化部１２の機能に加えて、生成したフレーム数を示すカウンタ値（生成カウンタ値ともいう）を有する生成カウンタを備える。符号化部１２は、符号化フレームを生成した場合に生成カウンタ値をインクリメントする。なお、生成カウンタ値は、第一カウンタ値に相当する。

通信部１６は、実施の形態において説明した通信部１６の機能に加えて、送信したフレーム数を示すカウンタ値（送信カウンタ値ともいう）を有する送信カウンタを有する。通信部１６は、符号化フレームを送信した場合に送信カウンタ値をインクリメントする。なお、送信カウンタ値は、第二カウンタ値に相当する。

検出部１８は、通信部１６により送信される符号化フレームの遅延を検出する。検出部１８は、符号化部１２が符号化フレームを記憶部１４に格納してから、通信部１６が符号化フレームを取り出して送信するまでの時間、つまり、符号化フレームが記憶部１４に格納されている時間の長さに基づいて遅延を検出する。

この遅延の検出は、生成カウンタ値と送信カウンタ値とを用いて実現される。すなわち、検出部１８は、生成カウンタ値と送信カウンタ値との差分が所定の閾値以上であるか否かを判定し、上記差分が所定の閾値以上であると判定したことに基づいて遅延を検出する。上記閾値は、記憶部１４が有する複数の格納領域の個数に関連して定められてよく、例えば、複数の格納領域の個数の１／２又は２／３程度とすることができる。以降では、記憶部１４が３０個の格納領域を有しており、閾値が２０である場合を説明する。

符号化制御部２０は、フレーム内符号化フラグを有する。フレーム内符号化フラグは、符号化部１２が映像信号をフレーム内符号化により符号化すべきか否かを示す情報である。フレーム内符号化フラグは、符号化部１２により参照される。符号化部１２は、フレーム内符号化フラグがＯＮ（Ｔｒｕｅ）であるときにはフレーム内符号化により映像信号を符号化し、フレーム内符号化フラグがＯＦＦ（Ｆａｌｓｅ）であるときにはフレーム間符号化により映像信号を符号化する。

図４のステップＳ１０１において、符号化部１２は、符号化対象の映像信号がコンテンツの最初のフレームであるか否かを判定する。また、符号化部１２は、符号化制御部２０が有するフレーム内符号化フラグを参照し、フレーム内符号化フラグがＯＮであるか否かを判定する。符号化対象の映像信号がコンテンツの最初のフレームである、又は、フレーム内符号化フラグがＯＮである場合（ステップＳ１０１でＹｅｓ）にはステップＳ１０２に進み、そうでない場合（ステップＳ１０１でＮｏ）にはステップＳ１０３に進む。なお、フレーム内符号化フラグは、後述するステップＳ２０２及びＳ２０４（図５）で設定される。

なお、上記複数の判定条件は、論理和（ＯＲ）の関係を有しているので、上記複数の判定条件のうちの１つが成立したと判定した時点で、他の判定を省略してもよい。以降でも同様である。

ステップＳ１０２において、符号化部１２は、フレーム内符号化により新たな映像信号を符号化する。

ステップＳ１０３において、符号化部１２は、フレーム間符号化により新たな映像信号を符号化する。

ステップＳ１０４において、符号化部１２は、生成カウンタ値をインクリメントする。ステップＳ１０４を終えたら、再びステップＳ１０１を実行する。

図４に示される一連の処理により、符号化部１２は、フレーム内符号化フラグを参照し、フレーム内符号化フラグに従ってフレーム内符号化又はフレーム間符号化のいずれかにより新たな映像信号を符号化する。フレーム内符号化フラグのＯＮ又はＯＦＦの設定処理について図５を参照しながら説明する。

図５のステップＳ２０１において、検出部１８は、生成カウンタ値が、送信カウンタ値に所定の閾値を加えた値以上であるか否かを判定する。生成カウンタ値が送信カウンタ値に上記閾値を加えた値以上であると判定した場合（ステップＳ２０１でＹｅｓ）にはステップＳ２０２に進み、そうでない場合（ステップＳ２０１でＮｏ）には、ステップＳ２１１に進む。生成カウンタ値が送信カウンタ値に上記閾値を加えた値以上であるとの判定は、通信部１６が符号化フレームの送信をすることができない状態が継続している、つまり、符号化フレームのＬＡＮ４０への送信に遅延が生じているときになされる。よって、検出部１８は、生成カウンタ値と送信カウンタ値とに基づく上記の判定により、通信部１６により送信される符号化フレームの遅延を検出することができる。

ステップＳ２０２において、符号化制御部２０は、フレーム内符号化フラグをＯＮにする。

ステップＳ２０３において、符号化制御部２０は、符号化部１２がフレーム内符号化フレームを生成する（図４のステップＳ１０２）まで待機する。

ステップＳ２０４において、符号化制御部２０は、フレーム内符号化フラグをＯＦＦにする。

ステップＳ２０５において、通信部１６は、送信カウンタに、生成カウンタ値を設定する。記憶部１４に格納されている符号化フレームのうち、送信タイミングを逸したことで適切に送信をすることができなかった符号化フレームの送信を取りやめ、適切な符号化フレームからの送信を行うためである。

ステップＳ２０６において、通信部１６は、送信カウンタ値が示す格納領域から符号化フレームを取得する。

ステップＳ２０７において、通信部１６は、ステップＳ２０６で取得したフレームを送信する。

ステップＳ２０８において、通信部１６は、送信カウンタ値をインクリメントする。ステップＳ２０８を終えたら、再びステップＳ２０１を実行する。

ステップＳ２１１において、通信部１６は、送信カウンタ値が生成カウンタ値より小さいか否かを判定する。送信カウンタ値が生成カウンタ値より小さいと判定した場合（ステップＳ２１１でＹｅｓ）にはステップＳ２０６に進み、そうでない場合（ステップＳ２１１でＮｏ）には、ステップＳ２１２に進む。

ステップＳ２１２において、符号化制御部２０は、符号化部１２がフレーム間符号化フレームを生成する（図４のステップＳ１０３）まで待機する。ステップＳ２１２を終えたらステップＳ２０６に進む。

以上の一連の処理において、符号化制御部２０は、検出部１８が遅延を検出した場合に、符号化部１２が生成した符号化フレームであって、通信部１６により未だ送信されていない符号化フレームを通信部１６に送信させることを抑制し（ステップＳ２０５）、符号化部１２が生成した新たな符号化フレームを通信部１６に送信させる（ステップＳ２０６〜Ｓ２０７）。仮に記憶部１４に格納されている符号化フレームのうち、送信タイミングを逸したことで適切に送信をすることができなかった符号化フレームの送信を取りやめないとすれば、通信部１６が送信する符号化フレームの遅延を解消することがない。送信装置１０は、上記のとおり上記符号化フレームの送信をとりやめることにより、通信部１６が送信する符号化フレームの遅延を解消することができる。

なお、検出部１８による遅延の検出方法は、上記に限られず、代わりに以下の（１）及び（２）の方法を採用することも可能である。

（１）検出部１８は、例えば、通信部１６が符号化フレームを送信するのに要する時間に基づいて遅延を検出することが可能である。この方法について図７を参照しながら説明する。

図７は、送信装置１０による遅延の検出方法の別の例を示す説明図である。図７には、送信装置１０と受信装置３０との間での配信フェイズにおけるデータのやりとりが示されている。

通信部１６は、上記のとおり、一の符号化フレームを含む１以上の通信パケットを生成して、ＬＡＮ４０に送信する。検出部１８は、上記１以上の通信パケットのうちの最初の通信パケットの送信処理の開始時点から、上記１以上の通信パケットのうちの最後の通信パケットの送信処理の終了時点までの時間（以降、符号化フレームの送信時間ともいう）を計測する。検出部１８は、符号化フレームの送信時間の実測値Ｔ３が、符号化フレームの送信時間の基準値Ｔ１より所定の閾値以上大きいことを判定した場合に、通信部１６により送信される符号化フレームの遅延を検出することができる。ここで、送信時間の基準値Ｔ１は、例えば、他の通信トラフィックがないと仮定した場合にＬＡＮ４０により符号化フレームが送信されるのに要する時間を採用することができる。また、所定の閾値は、例えば、１秒〜５秒程度とすることができる。なお、所定の閾値は、符号化フレームのフレームレート、及び、生成カウンタ値と送信カウンタ値との差分の閾値（例えば２０）に基づいて設定される値としてもよい。例えば、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で、カウンタ値の差分の閾値が２０であるときには２０／３０≒０．６６秒としてもよい。また、フレームレートが５ｆｐｓで、カウンタ値の差分の閾値が２０であるときには２０／５＝４秒としてもよい。また、フレームレートが６０ｆｐｓで、カウンタ値の差分の閾値が１０であるときには１０／６０≒０．１６秒としてもよい。

なお、通信部１６が、データの送信に対してＡＣＫ（Ａｃｋｎｏｗｌｅｄｇｅｍｅｎｔ、肯定応答）を受信することによってデータの送信が成功したことを確認することができる送信方法（例えばＴＣＰ）によってデータを送信する場合には、データを送信してからＡＣＫを受信するまでの時間を利用することも可能である。具体的には、通信部１６は、上記１以上の通信パケットのうちの最初の通信パケットの送信処理の開始時点から、上記１以上の通信パケットのうちの最後の通信パケットに対するＡＣＫの受信処理の終了時点までの時間を計測する。検出部１８は、符号化フレームの送信時間の実測値Ｔ４が、符号化フレームの送信時間の基準値Ｔ２より所定の閾値以上大きいことを判定した場合に、通信部１６により送信される符号化フレームの遅延を検出することができる。

なお、この方法により検出される遅延は、受信装置３０におけるＡＣＫの送信の遅延も含んだものであり、受信装置３０における処理負荷の高さが反映されているといえる。よって、受信装置３０の処理負荷が高くなっていることを間接的に検出することができる利点もある。

（２）検出部１８は、例えば、通信部１６による通信パケットの再送回数に基づいて遅延を検出することが可能である。

この方法は、通信部１６が再送制御を有する通信方式（例えば、ＴＣＰ、又は、ＩＥＥＥ８０２．１１ａ等の無線通信）により符号化フレームを含む通信パケットを送信する場合に有効である。検出部１８は、通信パケットの再送回数が所定の閾値以上であるか否かを判定し、再送回数が所定の閾値以上であると判定したことに基づいて遅延を検出することができる。なお、所定の閾値は、その通信方式に定められた最大再送回数の１／２又は２／３程度と定められてもよいし、３回又は５回というように固定値として定められてもよい。

なお、上記３つの遅延の検出方法は、いずれも、送信装置１０の外部の装置から遅延に関する情報を得ることなく、遅延を検出する方法である。仮に外部の装置から得られる遅延に関する情報に基づいて遅延を検出する方法を採用するとすれば、送信装置１０は、ネットワークに遅延が生じている状況で遅延に関する情報を得る必要がある。しかしながら、ネットワークに遅延が生じている状況であれば、この遅延に関する情報にも遅延又は欠落が生ずる可能性がある。よって、外部の装置から得られる遅延に関する情報に基づいて遅延を検出する方法では、適切に遅延を検出できない可能性がある。この点、外部の装置から遅延に関する情報を得ることなく遅延を検出する方法であれば、ネットワークに遅延が生じている状況においても適切に遅延を検出することができる。送信装置１０の外部の装置から遅延に関する情報を得ることなく遅延を検出する方法にはこのような利点もある。

なお、上記（１）の中でＡＣＫが遅延することを利用して遅延を検出する方法を説明したが、ここでいうＡＣＫは、あくまでＴＣＰに規定されているパケットの確認応答に用いられる情報であり、「遅延に関する情報」には含めないものとする。つまり、上記（１）の方法は、送信装置１０の外部の装置から遅延に関する情報を得ることなく、遅延を検出する方法の１つである。

以上のように、本変形例における映像送信装置は、符号化フレームの送信の遅延を検出した時点において未だ送信されていない、つまり映像送信装置内に格納されている符号化フレームのうち、送信タイミングを逸したことで適切に送信をすることができなかった符号化フレームの送信を取りやめ、適切な符号化フレームからの送信を行うことができる。これにより、リアルタイム性を向上させた映像配信を実現することができる。

また、ネットワークに遅延が生じている状況においても正常に遅延を検出することができる。仮に外部の装置から得られる遅延に関する情報に基づいて遅延を検出する方法を採用するとすれば、送信装置は、ネットワークに遅延が生じている状況で遅延に関する情報を得る必要があるが、この遅延の影響により上記遅延に関する情報を適切に得られない可能性がある。そこで、外部の装置から遅延に関する情報を得ることなく遅延を検出する方法を採用すれば、ネットワークに遅延が生じている状況においても適切に遅延を検出することができる。

また、２つのカウンタ値に基づいて、符号化フレームの送信の遅延をより簡易な方法で実現することができる。

また、フレームの送信に要する時間に基づいて、符号化フレームの送信の遅延をより簡易な方法で実現することができる。

また、再送制御を有する通信方式における再送回数に基づいて、符号化フレームの送信の遅延をより簡易な方法で実現することができる。

（実施の形態の変形例２）
本変形例では、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制する映像送信装置などについて、さらに別のタイミングにもフレーム内符号化フレームを送信する技術について説明する。

本変形例に係る映像配信システム１の構成は、実施の形態で説明したものと同じである。本変形例は、実施の形態で説明した送信装置１０と、機能ブロックの処理が一部異なる。以降では、本変形例に係る送信装置１０について、実施の形態の送信装置１０と異なる部分について主に説明する。

本変形例でも、変形例１と同様、符号化部１２が実行する処理（図８参照）と、通信部１６、検出部１８及び符号化制御部２０が実行する処理（図９参照）とのそれぞれが、並行して進められる。

符号化部１２は、実施の形態の符号化部１２がフレーム内符号化を行う場合に加えて、所定のフレーム内符号化タイミングにもフレーム内符号化により符号化を行う。所定のフレーム内符号化タイミングは、例えば、一定時間（例えば１秒、又は、１０秒など）ごとのタイミングである。つまり、符号化部１２は、実施の形態の符号化部１２がフレーム内符号化を行う場合に加えて、さらに、一定周期ごとに（周期的に）フレーム内符号化を行う。

図８及び図９は、本変形例に係る送信装置１０の符号化処理の詳細を示すフロー図である。

図８のステップＳ３０１において、符号化部１２は、符号化対象の映像信号がコンテンツの最初のフレームであるか否かを判定する。また、符号化部１２は、符号化制御部２０が有するフレーム内符号化フラグを参照し、フレーム内符号化フラグがＯＮであるか否かを判定する。さらに、符号化部１２は、現時点がフレーム内符号化タイミングであるか否かを判定する。そして、符号化部１２は、符号化対象の映像信号がコンテンツの最初のフレームである、又は、フレーム内符号化フラグがＯＮである、又は、現時点がフレーム内符号化タイミングである場合（ステップＳ３０１でＹｅｓ）にはステップＳ１０２に進み、そうでない場合（ステップＳ３０１でＮｏ）にはステップＳ１０３に進む。

ここで、フレーム内符号化タイミングとは、符号化部１２が新たな映像信号をフレーム内符号化により符号化するタイミングとして定められたタイミングを意味し、例えば、数秒周期の周期的なタイミング、時分秒形式で表わされる所定の時刻のタイミングなどがある。

図８のステップＳ１０２〜Ｓ１０４は、図４における同名の処理ステップと同じであるので詳細な説明を省略する。

図９のステップＳ４０１において、通信部１６は、符号化部１２が直前に生成したフレームがフレーム内符号化フレームであるか否かを判定する。フレーム内符号化フレームである場合（ステップＳ４０１でＹｅｓ）には、ステップＳ２０５に進み、そうでない場合（ステップＳ４０１でＮｏ）には、ステップＳ２１１に進む。

図９のステップＳ２０５〜Ｓ２１２は、図５における同名の処理ステップと同じであるので詳細な説明を省略する。

以上の一連の処理により、送信装置１０は、実施の形態の符号化部１２がフレーム内符号化を行う場合に加えて、別のタイミング（例えば周期的なタイミング又は所定の時刻）にフレーム内符号化により符号化フレームを生成し送信する。

以上のように、本変形例における映像送信装置は、周期的にフレーム内符号化により符号化フレームを生成して送信する。ネットワークに遅延が生じていない場合であっても、例えば符号化フレームの欠落又は受信装置における処理負荷等により、受信装置が再生する映像に遅延又は欠落が生ずることがある。送信装置が周期的にフレーム内符号化により符号化フレームを送信することで、上記のような映像の遅延又は欠落を回避することができる。

（実施の形態の変形例３）
本変形例では、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制する映像送信装置などについて、さらに、受信装置からの要求に応じてフレーム内符号化フレームを送信する技術について説明する。

図１０は、本変形例に係る送信装置１０Ａ及び受信装置３０Ａの機能ブロックを示すブロック図である。

図１０に示されるように、送信装置１０Ａは、符号化部１２と、記憶部１４と、通信部１６と、検出部１８と、符号化制御部２０と、要求受付部２２とを備える。ここで、要求受付部２２を除く機能ブロックは、実施の形態におけるものと同じ機能を有するので説明を省略する。

要求受付部２２は、受信装置３０Ａからのフレーム内符号化フレームの生成要求を、通信部１６を介して受信する処理部である。ここで、フレーム内符号化フレームの生成要求とは、受信装置３０Ａから送信装置１０Ａに対して、フレーム内符号化フレームを生成する明示的な要求を示す信号である。

受信装置３０Ａは、通信部５０と、復号部５２と、要求送信部５４とを備える。

通信部５０は、ＬＡＮ４０から符号化フレームを受信する処理部である。通信部５０が受信する符号化フレームは、送信装置１０Ａの通信部１６が送信したものである。なお、符号化フレームが複数の通信パケットに分割して含まれている場合には、受信装置３０Ａは、これらを結合して符号化フレームを復元する。

復号部５２は、通信部５０が受信した符号化フレームを復号することで映像信号を生成する処理部である。復号部５２が生成した映像信号が再生されることで、ユーザは、映像を視聴することができる。

要求送信部５４は、フレーム内符号化フレームの送信要求を送信装置１０Ａへ送信する処理部である。要求送信部５４は、例えば、ユーザによる所定の操作、又は、他の装置からの所定の情報の入力等を契機としてフレーム内符号化フレームの送信要求を生成し、生成したフレーム内符号化フレームの送信要求を通信部５０及びＬＡＮ４０を通じて送信装置１０Ａに送信する。

以上のように構成された送信装置１０Ａの処理を以下で説明する。

本変形例でも、変形例１と同様、符号化部１２が実行する処理（図１１参照）と、通信部１６、検出部１８及び符号化制御部２０が実行する処理（図９参照）とのそれぞれが、並行して進められる。なお、通信部１６等が実行する処理は、変形例２における同様の処理と同じであるので説明を省略する。

図１１は、本変形例に係る送信装置１０Ａの符号化処理の詳細を示すフロー図である。図１２は、本変形例に係る映像配信システム１の通信シーケンスの説明図である。

図１１のステップＳ５０１において、符号化部１２は、符号化対象の映像信号がコンテンツの最初のフレームであるか否かを判定する。また、符号化部１２は、符号化制御部２０が有するフレーム内符号化フラグを参照し、フレーム内符号化フラグがＯＮであるか否かを判定する。さらに、符号化部１２は、フレーム内符号化フレームの送信要求６０（図１２参照）を受信装置３０Ａから受信したか否かを判定する。そして、符号化部１２は、符号化対象の映像信号がコンテンツの最初のフレームである、又は、フレーム内符号化フラグがＯＮである、又は、フレーム内符号化フレームの送信要求６０を受信した場合（ステップＳ５０１でＹｅｓ）にはステップＳ１０２に進み、そうでない場合（ステップＳ３０１でＮｏ）にはステップＳ１０３に進む。

図１１のステップＳ１０２〜Ｓ１０４は、図４における同名の処理ステップと同じである。図１２に示される送信要求６０が受信装置３０Ａにより送信された場合には、ステップＳ１０３で、送信装置１０Ａがフレーム内符号化フレームを含むデータ６２を受信装置３０Ａに送信する。

以上の一連の処理により、送信装置１０Ａは、実施の形態の符号化部１２がフレーム内符号化を行う場合に加えて、フレーム内符号化フレームの送信要求６０を受信したことに応じて、フレーム内符号化フレームを含むデータ６２を生成して送信する。

以上のように、本変形例における映像送信装置は、受信装置による要求に応じてフレーム内符号化により符号化フレームを生成して送信する。これにより、受信装置が再生する映像に遅延又は欠落を、受信装置による要求に応じて解消することができる。

また、本変形例における映像受信装置は、フレーム内符号化フレームを生成して送信するための要求を映像送信装置に対して送信することができる。これにより、映像受信装置は、例えば、受信装置が再生する映像に遅延又は欠落が生じていることを検出した場合に能動的にフレーム内符号化フレームを得るための処理を行うことができる。

以上、本発明の映像送信装置、映像受信装置、及び、映像配信システム等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、ネットワークにおける通信遅延による映像の遅延又は乱れを抑制する映像送信装置、映像受信装置、及び、映像配信システム等に利用可能である。具体的には、公共スペース又は商業施設などにおいて設置され、画像等を再生する映像配信システムなどに利用可能である。

１ 映像配信システム
１０、１０Ａ 送信装置
１２ 符号化部
１４ 記憶部
１６、５０ 通信部
１８ 検出部
２０ 符号化制御部
２２ 要求受付部
３０、３０Ａ 受信装置
４０ ＬＡＮ
５２ 復号部
５４ 要求送信部
６０ 送信要求
６２ データ

Claims (10)

1. 映像信号を符号化することで符号化フレームを生成する符号化部と、
   前記符号化部が生成した前記符号化フレームをネットワークを介して送信する通信部と、
   前記通信部による前記符号化フレームの送信に要する時間の基準値に基づいて遅延を検出したか否かを判定する検出部と、
   前記検出部が前記遅延を検出したと判定した場合に、フレーム内符号化及びフレーム間符号化のうちのフレーム内符号化によって、前記符号化部に新たな映像信号を符号化させることで、新たな符号化フレームを生成させる符号化制御部とを備える
   映像送信装置。
2. 前記符号化制御部は、前記検出部が前記遅延を検出した場合に、
   前記符号化部が生成した前記符号化フレームであって、前記通信部により未だ送信されていない前記符号化フレームを前記通信部に送信させることなく、前記符号化部が生成した前記新たな符号化フレームを前記通信部に送信させる
   請求項１に記載の映像送信装置。
3. 前記検出部は、前記映像送信装置の外部の装置から遅延に関する情報を得ることなく、前記遅延を検出する
   請求項１又は２に記載の映像送信装置。
4. 前記符号化部は、前記符号化フレームを生成したときに、第一カウンタ値をインクリメントし、
   前記通信部は、前記符号化フレームを送信したときに、第二カウンタ値をインクリメントし、
   前記検出部は、前記第一カウンタ値と前記第二カウンタ値との差分が所定の閾値以上であるか否かを判定し、前記差分が前記所定の閾値以上であると判定したことに基づいて前記遅延を検出する
   請求項１〜３のいずれか１項に記載の映像送信装置。
5. 前記通信部は、前記符号化フレームを１以上の通信パケットにより送信し、
   前記検出部は、前記１以上の通信パケットのうちの最初の通信パケットの送信処理の開始時点から、前記１以上の通信パケットのうちの最後のパケットの送信処理の終了時点までの時間が所定の閾値以上であるか否かを判定し、前記時間が前記所定の閾値以上であると判定したことに基づいて前記遅延を検出する
   請求項１〜３のいずれか１項に記載の映像送信装置。
6. 前記符号化制御部は、さらに、
   周期的に、前記符号化部にフレーム内符号化によって新たな符号化フレームを生成させる
   請求項１〜５のいずれか１項に記載の映像送信装置。
7. 前記通信部は、さらに、
   前記符号化フレームの宛先である映像受信装置からの、フレーム内符号化フレームの送信要求を受信し、
   前記符号化制御部は、さらに、
   前記通信部が前記送信要求を受信した場合に、前記符号化部にフレーム内符号化によって新たな符号化フレームを生成させる
   請求項１〜６のいずれか１項に記載の映像送信装置。
8. 請求項７に記載の映像送信装置と、
   前記映像送信装置の通信部が送信する前記符号化フレームを受信する映像受信装置とを備え、
   前記映像受信装置は、
   映像信号を符号化することで生成される符号化フレームを前記映像送信装置から受信する通信部と、
   受信した符号化フレームを復号することで映像信号を生成する復号部とを備え、
   前記通信部は、さらに、
   フレーム内符号化フレーム及びフレーム間符号化フレームのうちのフレーム内符号化フレームの送信要求を前記映像送信装置へ送信する
   映像配信システム。
9. 映像送信装置の制御方法であって、
   映像信号を符号化することで符号化フレームを生成する符号化ステップと、
   前記符号化ステップで生成した前記符号化フレームをネットワークを介して送信する通信ステップと、
   前記通信ステップでの前記符号化フレームの送信に要する時間の基準値に基づいて遅延を検出したか否かを判定する検出ステップと、
   前記検出ステップで前記遅延を検出したと判定した場合に、フレーム内符号化及びフレーム間符号化のうちのフレーム内符号化によって、前記符号化ステップで新たな映像信号を符号化させることで、新たな符号化フレームを生成させる符号化制御ステップとを含む
   制御方法。
10. 請求項９に記載の映像送信装置の制御方法をコンピュータに実行させるためのプログラム。

Images