JP5812028B2 - 映像処理装置および映像処理方法 - Google Patents

映像処理装置および映像処理方法 Download PDF

Info

Publication number
JP5812028B2
JP5812028B2 JP2013046836A JP2013046836A JP5812028B2 JP 5812028 B2 JP5812028 B2 JP 5812028B2 JP 2013046836 A JP2013046836 A JP 2013046836A JP 2013046836 A JP2013046836 A JP 2013046836A JP 5812028 B2 JP5812028 B2 JP 5812028B2
Authority
JP
Japan
Prior art keywords
video
stream
slice
display area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013046836A
Other languages
English (en)
Other versions
JP2014175857A (ja
Inventor
幸司 矢野
幸司 矢野
勇司 藤本
勇司 藤本
潤一郎 榎
潤一郎 榎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013046836A priority Critical patent/JP5812028B2/ja
Priority to US14/187,647 priority patent/US8817881B1/en
Priority to CN201410071948.6A priority patent/CN104038776B/zh
Publication of JP2014175857A publication Critical patent/JP2014175857A/ja
Application granted granted Critical
Publication of JP5812028B2 publication Critical patent/JP5812028B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Description

本開示は、映像処理装置および映像処理方法に関し、特に、マルチ映像の表示領域を移動する場合の処理負荷を軽減することができるようにした映像処理装置および映像処理方法に関する。
コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される映像をテレビジョン受像機で見ることもできるようになってきている。また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、図１に示すような、複数の映像を同時に視聴して、見たい映像を簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。
図１のマルチ映像再生システムにおいて、画面に表示されるマルチ映像は、複数の映像で構成される。表示される複数の映像のうち、主として視聴される映像である主映像が、最大サイズで画面中央に配置されている。そして、主映像の周辺に、選択（切り替え）可能な他の映像が、主映像よりも小さいサイズで配置されている。選択可能な映像は、例えば、TV放送のチャンネル、Web画面、映画などのビデオコンテンツ、TVチャット画面などであり、例えば、クラウド（ネットワーク）内から取得される。
このようなマルチ映像の表示を実現する第１の方法として、クラウド内のサーバから複数の映像それぞれに対応する複数の符号化ストリームを配信してもらう方法がある。クライアント側の装置は、複数の符号化ストリームを受信して復号し、合成処理を行うことによって、マルチ映像を生成する。例えば、特許文献１には、複数のES(Elementary Stream)を受信し、表示優先度に基づいて優先度の高いESに広い面積の表示領域を割り当てるようにしたマルチ映像が開示されている。
しかしながら、複数の符号化ストリームを配信するためには、かなり広い伝送帯域が必要になる。また、クライアント側の装置に、複数の符号化ストリームを同時に復号し、合成処理する能力が要求されるため、クライアント側の装置が高価になる。
その他のマルチ映像の表示を実現する第２の方法として、図２に示すように、サーバ側が１本の符号化ストリームとしてマルチ映像を生成し、配信を行う方法がある。この場合、サーバは、合成する複数の映像を一旦復号（Decode）し、サイズ変更（Resize）し、映像合成後に再度符号化（Encode）することによって、マルチ映像の符号化ストリームを生成する。従って、サーバの処理負荷はかなり大きくなる。
特開２００２−０６４８１８号公報
また、スクロール操作等により、マルチ映像の表示領域が移動される場合、サーバは、マルチ映像の符号化ストリームを復号して、動きベクトルを変更し、再符号化する必要がある。従って、サーバの処理負荷は大きい。
本開示は、このような状況に鑑みてなされたものであり、マルチ映像の表示領域を移動する場合の処理負荷を軽減することができるようにするものである。
本開示の一側面の映像処理装置は、複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像全体の表示領域の符号化ストリームを生成する合成部と、前記表示領域が前記マルチ映像間で移動した場合、前記合成部により生成される前記マルチ映像の前記表示領域の符号化ストリームの間に、前記マルチ映像の前記表示領域の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部とを備える映像処理装置である。
本開示の一側面の映像処理方法は、本開示の一側面の映像処理装置に対応する。
本開示の一側面においては、複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームが合成されて、前記複数の映像からなるマルチ映像全体の表示領域の符号化ストリームが生成され、前記表示領域が前記マルチ映像間で移動した場合、前記合成部により生成される前記マルチ映像の前記表示領域の符号化ストリームの間に、前記マルチ映像の前記表示領域の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームが挿入ストリームとして挿入される。
本開示の一側面によれば、マルチ映像の表示領域を移動する場合の処理負荷を軽減することができる。
マルチ映像再生システムを説明する図である。 マルチ映像の符号化ストリームの配信方法の一例を示す図である。 本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示す図である。 図３の配信サーバの構成例を示すブロック図である。 マルチ映像のフレーム単位の符号化ストリームの生成について説明する図である。 表示領域が移動した場合のマルチ映像を説明する図である。 挿入ストリームを説明する図である。 挿入ストリームのスライスデータを更新しない場合の挿入映像を説明する図である。 挿入ストリームのスライスデータを更新する場合の挿入映像を説明する図である。 挿入ストリームの挿入を説明する図である。 マルチ映像のフレーム単位の符号化ストリームの更新を説明する図である。 図４の配信サーバの生成処理を説明するフローチャートである。 図１２のマルチ映像更新処理の詳細を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
＜一実施の形態＞
（マルチ映像再生システムの一実施の形態の構成例）
図３は、本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示している。
マルチ映像再生システム１は、映像処理装置として機能し、映像を配信する配信サーバ１１と、それとネットワーク１２を介して接続されている受信装置１３により構成される。マルチ映像再生システム１は、複数の映像からなるマルチ映像の符号化ストリームを配信し、マルチ映像を表示させる。
具体的には、マルチ映像再生システム１の配信サーバ１１には、外部から複数の映像のフレーム単位の符号化ストリームが入力される。配信サーバ１１は、受信装置１３から送信されてくる表示領域の移動方向と移動量を示す移動情報の履歴に基づいて、入力された複数の映像の符号化ストリームから、表示すべき複数の映像の符号化ストリームを選択する。配信サーバ１１は、選択された複数の映像の符号化ストリームをフレーム単位で合成し、マルチ映像のフレーム単位の符号化ストリームを生成する。
移動情報が示す移動量が０である場合、配信サーバ１１は、マルチ映像のフレーム単位の符号化ストリームを、そのまま合成ストリームとして受信装置１３に送信する。
一方、移動情報が示す移動量が０以外である場合、配信サーバ１１は、移動情報に基づいて、マルチ映像のフレーム単位の符号化ストリームに対応するマルチ映像のフレーム間に挿入する１フレームのマルチ映像である挿入映像の符号化ストリームを、挿入ストリームとして生成する。そして、配信サーバ１１は、マルチ映像のフレーム単位の符号化ストリームの間に挿入ストリームを挿入し、合成ストリームとして受信装置１３に送信する。
受信装置１３は、配信サーバ１１が送信する合成ストリームを、インターネットなどのネットワーク１２を介して受信する。そして、受信装置１３は、受信した合成ストリームを復号し、その結果得られるマルチ映像や挿入映像を、内蔵する液晶ディスプレイなどに表示させる。
また、受信装置１３は、マルチ映像の表示開始後、ユーザのスクロール操作、カーソル操作等に応じて移動情報を生成し、配信サーバ１１に送信する。これにより、移動量が０以外である場合、表示すべき複数の映像の符号化ストリームが変更され、表示領域が移動する。
なお、受信装置１３は、液晶ディスプレイなどを有さず、マルチ映像を、自身に接続されている表示装置に表示させるようにしてもよい。また、受信装置１３は、例えば、ネットワーク接続機能を有するテレビジョン受像機やSTB(Set Top Box)、パーソナルコンピュータ、携帯端末装置等で構成することができる。
また、ネットワーク１２には、複数の受信装置１３が接続されるようにすることもできる。この場合、配信サーバ１１は、合成ストリームを、複数の受信装置１３にマルチキャスト送信する。
（配信サーバの構成例）
図４は、図３の配信サーバ１１の構成例を示すブロック図である。
図４に示すように、配信サーバ１１は、受信部３１、記憶部３２、読み出し部３３、合成部３４、挿入部３５、および送信部３６により構成される。
配信サーバ１１の受信部３１は、図３の受信装置１３からネットワーク１２を介して送信されてくる移動情報を受信し、読み出し部３３、合成部３４、および挿入部３５に供給する。記憶部３２は、移動量が０以外を示す移動情報に対応して挿入ストリームが記憶されている。
読み出し部３３は、受信部３１から供給される移動情報に基づいて、その移動情報に対応する挿入ストリームを記憶部３２から読み出し、挿入部３５に供給する。
合成部３４は、受信部３１から供給される移動情報の履歴に基づいて、外部から入力される複数の映像の符号化ストリームから、表示すべき複数の映像の符号化ストリームを選択する。合成部３４は、選択された複数の映像の符号化ストリームをフレーム単位で合成し、その結果得られるマルチ映像のフレーム単位の符号化ストリームを挿入部３５に供給する。
挿入部３５は、読み出し部３３から挿入ストリームが供給される場合、即ち移動量が０以外である場合、移動情報に応じて、外部から入力された所定の映像のフレーム単位の符号化ストリームを用いて、挿入ストリームのスライスデータを更新する。挿入部３５は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームの間に、挿入ストリームを挿入する。
このとき、挿入部３５は、挿入ストリームのスライスヘッダを、その挿入ストリームの直後に配置されるマルチ映像のフレーム単位の符号化ストリームのスライスヘッダに基づいて変更（生成）する。また、挿入部３５は、挿入ストリーム以降のマルチ映像の符号化ストリームのスライスヘッダを変更する。
また、挿入部３５は、挿入ストリームが挿入されたマルチ映像のフレーム単位の符号化ストリームを、合成ストリームとして送信部３６に供給する。
一方、読み出し部３３から挿入ストリームが供給されない場合、即ち、移動量が０である場合、挿入部３５は、マルチ映像のフレーム単位の符号化ストリームを、合成ストリームとして送信部３６に供給する。
送信部３６は、挿入部３５から供給される合成ストリームを、図３のネットワーク１２を介して受信装置１３に送信する。
（マルチ映像のフレーム単位の符号化ストリームの生成の説明）
図５は、図４の合成部３４によるマルチ映像のフレーム単位の符号化ストリームの生成について説明する図である。
なお、図５の例では、合成部３４が、第０乃至第３の映像（View０乃至３）がそれぞれ左上、右上、左下、右下に配置されたマルチ映像のフレーム単位の符号化ストリームを生成するものとする。
図５に示すように、合成部３４に入力される符号化ストリームに対応する映像は、周囲の１画素以上の画素値が、所定値（ここでは０）となっている。また、合成部３４に入力される符号化ストリームは、各水平ラインの符号化単位であるマクロブロックを同一のスライスとし、画面外を参照せず、かつ、イントラ符号化における参照フレームを符号化順で１フレーム前のフレームとしたAVC（Advanced Video Coding）方式の符号化ストリームである。図５の例では、各映像の垂直方向のマクロブロック数が４であるため、各映像のスライス数は４である。
合成部３４は、入力された符号化ストリームのうちの、表示すべき第０乃至第３の映像の符号化ストリームの各スライスを並び替えることにより、第０乃至第３の映像の符号化ストリームを合成し、マルチ映像のフレーム単位の符号化ストリームを生成する。
具体的には、合成部３４は、第０の映像の０番目のスライスを、合成後の符号化ストリームの０番目のスライスとし、第１の映像の０番目のスライスを、合成後の符号化ストリームの１番目のスライスとする。そして、以降も、第０の映像のスライスと第１の映像のスライスが交互に並べられ、第１の映像の最後のスライスが、合成後の符号化ストリームの７番目のスライスとされる。
その後、合成部３４は、第２の映像の０番目のスライスを、合成後の符号化ストリームの８番目のスライスとし、第３の映像の０番目のスライスを、合成後の符号化ストリームの９番目のスライスとする。そして、以降も、第２の映像のスライスと第３の映像のスライスが交互に並べられ、第３の映像の最後のスライスが、合成後の符号化ストリームの１５番目のスライスとされる。
以上のように、合成部３４に入力される符号化ストリームは、各水平ラインのマクロブロックを同一のスライスとして符号化された符号化ストリームであるので、垂直方向の位置が異なるマクロブロック間の依存関係がない。従って、スライスの復号順が異なっても、正確に復号を行うことができる。よって、合成部３４は、各映像の符号化ストリームのスライスを並び替えるだけで、マルチ映像のフレーム単位の符号化ストリームを生成することができる。
（挿入ストリームの説明）
図６は、表示領域が移動した場合のマルチ映像を説明する図である。
なお、図６において、横軸は、時刻（Ｔ）を表している。このことは、後述する図７においても同様である。
図６に示すように、符号化順で０番目のフレーム（Ｆｒａｍｅ０）の表示領域に対して、１番目のフレーム（Ｆｒａｍｅ１）の表示領域が左下方向である場合、即ち表示領域が左下方向へ移動した場合、マルチ映像内の映像の画面上の位置は右上方向に移動する。即ち、０番目のフレームのマルチ映像４１に対応する１番目のフレームのマルチ映像内の映像４３の画面上の位置は、マルチ映像４１の右上である。
従って、この場合、マルチ映像４１を参照してインター符号化された映像４３内のマクロブロック（ＩｎｔｅｒＭＢ）５２の動きベクトル（ＭＶ）を変更しないと、マクロブロック５２の参照ブロックは、参照すべきブロック５３より右上のブロックになる。
即ち、マクロブロック５２は、表示領域が移動しない場合の１番目のフレームのマルチ映像４２のマクロブロック５１である。従って、マクロブロック５２の動きベクトルは、マクロブロック５１の参照ブロックであるブロック５３を指す必要がある。しかしながら、マクロブロック５２の動きベクトルとして、マクロブロック５１の動きベクトルが用いられる場合、マクロブロック５２の画面上の位置は、マクロブロック５１より右上の位置であるため、マクロブロック５２の参照ブロックは、マルチ映像４１内のブロック５３より右上のブロック５４となる。その結果、マクロブロック５２は、正しく復号されない。
従って、表示領域が移動する場合、インター符号化されたマクロブロックの動きベクトルの指す位置を、表示領域の移動方向に移動量だけ移動させる必要がある。しかしながら、マルチ映像の動きベクトルを変更するために、マルチ映像を一旦復号し、再符号化すると、処理負荷が大きくなり、リアルタイムで合成ストリームを配信することが困難になる。また、再符号化により画質劣化が発生する場合がある。
よって、配信サーバ１１は、挿入ストリームを挿入することにより、インター符号化されたマクロブロックの動きベクトルが指す位置を、表示領域の移動方向に移動量だけ移動させる。
具体的には、配信サーバ１１は、挿入映像の全てのマクロブロックを、表示領域の移動方向と移動量を示す動きベクトルのスキップマクロブロックとした挿入ストリームを生成し、表示領域が移動されたマルチ映像の符号化ストリームの前に挿入する。
例えば、図６に示したように表示領域が左下方向へ移動した場合、図７に示すように、配信サーバ１１は、全てのマクロブロックを、左下方向を示す動きベクトルのスキップマクロブロックとした挿入ストリームを生成する。これにより、挿入映像７１は、自分より画面上の位置が左下であるマルチ映像４１になる。即ち、挿入映像７１は、表示領域が左下方向へ移動した場合のマルチ映像４１である。
そして、このような挿入ストリームが、表示領域が移動された１番目のフレームのマルチ映像の符号化ストリームの前に、０´番目のフレーム（Ｆｒａｍｅ０´）の符号化ストリームとして挿入される。その結果、１番目のフレームのマルチ映像は、１つ前のフレームのマルチ映像として、マルチ映像４１ではなく、挿入映像７１を参照して復号される。
以上により、例えば、マクロブロック５２は、マクロブロック５１の参照ブロックであるブロック５３の右上のブロック５４の画面上の位置における挿入映像７１のブロック７２を参照して復号される。また、ブロック７２は、自分より画面上の位置が左下であるブロック５３である。従って、マクロブロック５２は、対応するマクロブロック５１の参照ブロックであるブロック５３を参照して復号されることになる。
このように、配信サーバ１１は、挿入ストリームを挿入することにより、再符号化を行うことなく、マクロブロック５２の動きベクトルの指す位置を、表示領域の移動方向に移動量だけ移動させる。
次に、図８と図９を参照して、挿入ストリームのスライスデータの更新について説明する。
図８は、挿入ストリームのスライスデータを更新しない場合の挿入映像を説明する図である。
なお、図８の例では、図５で生成されたマルチ映像のフレーム単位の符号化ストリームが、０番目のフレームのマルチ映像の符号化ストリームとなっている。また、そのフレームの次の０´番目のフレームの符号化ストリームとして挿入された挿入ストリームの全てのマクロブロックが、下方向と１マクロブロックサイズの移動量を示す動きベクトルのスキップマクロブロックからなっている。これらのことは、後述する図９においても同様である。
図８に示すように、挿入ストリームのスライスデータを更新しない場合、挿入ストリームの挿入映像は、０番目のフレームのマルチ映像内の映像の位置が１スライス分だけ上に移動したマルチ映像である。即ち、挿入ストリームのマクロブロックは、１スライス分だけ下方向を指す動きベクトルのスキップマクロブロックである。
従って、挿入ストリームの各スライスの復号時、自分のスライスの画面上の位置より１マクロブロック分下の０番目のフレームのマルチ映像のスライスが参照される。そのため、挿入ストリームの復号映像の上部は、０番目のフレームのマルチ映像の２番目乃至１５番目のスライスからなる。
一方、挿入映像の最下部のスライスにおいては、自分のスライスの画面上の位置より１マクロブロック分下の０番目のフレームのマルチ映像のスライスが存在しない。従って、参照先に最も近い画面内の画素である、０番目のフレームのマルチ映像の最下部のスライスである１４番目および１５番目のスライスの最下部の画素、即ち画素値が所定値（ここでは０）である画素が参照される。その結果、挿入ストリームの復号映像の最下部のスライスの画素は、画素値が所定値（ここでは０）である画素となる。
このように、マルチ映像を構成する映像の周囲の１画素以上の画素値が所定値であるので、参照先が画面外となる挿入ストリームの復号映像の画素値を所定値とすることができる。
これに対して、マルチ映像を構成する映像の周囲の１画素以上の画素値が所定値ではない場合、参照先が画面外となる挿入ストリームの復号映像は、参照先に最も近い画面内の画素となり、挿入ストリームの復号映像が乱れる。
図８に示したように、配信サーバ１１が、挿入ストリームのスライスデータを更新しない場合であっても、挿入ストリームの復号映像の乱れは抑制され、高画質な復号映像が表示される。
しかしながら、本実施の形態では、表示領域の移動量がｎ（ｎは整数）スライス分（例えば、１６×ｎ画素）であり、移動方向が上下方向である場合、固定色（ここでは黒）の映像ではなく、表示すべき映像が表示されるようにする。これにより、挿入ストリームの復号映像の画質をさらに向上させることができる。
図９は、挿入ストリームのスライスデータを更新する場合の挿入映像を説明する図である。
移動量がｎスライス分であり、移動方向が上下方向である場合、挿入映像の移動方向からｎスライスのスライスデータが、そのｎスライスの位置に表示すべき映像の、移動方向と反対方向からｎスライスのイントラ符号化されたスライスデータに更新される。即ち、この場合、挿入映像のスライスの参照先がマルチ映像内に存在しないスライスが、そのスライスの表示位置に表示すべき映像のイントラスライスに置換される。
例えば、図９に示すように、表示領域の移動量が１スライス分であり、移動方向が下方向である場合、挿入映像の下から１スライスのスライスデータが、その１スライスの位置に表示すべき映像の上から１スライスのイントラ符号化されたスライスデータ（SliceA,SliceB）に更新される。
これにより、挿入映像の最下部のスライスの復号時に０番目のフレームのマルチ映像が参照されず、そのスライスの復号映像は、そのスライスの位置に表示すべき映像となる。その結果、挿入ストリームの復号映像の画質が向上する。
（挿入ストリームの挿入の説明）
図１０は、図４の挿入部３５による挿入ストリームの挿入を説明する図である。
図１０に示すように、記憶部３２には、移動情報に対応して挿入ストリーム（のビット列）が記憶されている。具体的には、記憶部３２には、移動情報に対応して、全てのマクロブロックを、その移動情報を示す動きベクトルのスキップマクロブロックとした挿入ストリーム（のビット列）が記憶される。
読み出し部３３は、受信部３１から供給される移動情報に対応する挿入ストリーム（のビット列）を読み出す。そして、挿入部３５は、読み出された挿入ストリーム（のビット列）のスライスデータを移動情報に応じて更新し、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリーム（のビット列）の間に挿入する。
例えば、図１０に示すように、受信部３１から供給される移動情報が移動情報Ａであり、移動情報がｎスライス分の移動量と上下方向を示さない場合、挿入ストリーム（のビット列）Ａが、そのまま０番目と１番目のフレームのマルチ映像の符号化ストリーム（のビット列）の間に挿入される。
以上のように、記憶部３２が移動情報に対応して挿入ストリームを記憶するので、配信サーバ１１は、移動情報を受信するたびに移動情報に対応した挿入ストリームを生成する場合に比べて、非常に軽い処理で挿入ストリームを挿入することができる。
なお、挿入ストリームの挿入時、挿入ストリームのスライスヘッダが変更される。具体的には、挿入ストリームのスライスヘッダに含まれる、frame_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]が、挿入ストリームのフレームの符号化順で直後のフレームのスライスヘッダと同一にされる。
frame_numは、フレームの識別子であり、pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0]、およびdelta_pic_order_cnt[1]は、POC（Picture Order Count）の計算に用いられる情報である。
また、挿入ストリームの挿入時、挿入ストリームのフレーム以降のIDRピクチャまでの全てのフレームのframe_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]の値は、フレーム０´分だけ増加される。
さらに、挿入ストリームのスライスデータが更新される場合、更新に用いられるイントラ符号化されたスライスデータがIDRピクチャのスライスデータであるとき、挿入ストリームのスライスデータ以外のデータも変更される。
具体的には、更新に用いられるスライスデータのNAL(Network Abstraction Layer)ユニットの種類を示すnal_unit_typeが、IDRピクチャのスライスデータであることを示す５から、IDRピクチャ以外のピクチャのスライスデータであることを示す１に変更される。また、更新に用いられるスライスデータのスライスヘッダに含まれる、IDRピクチャの識別子であるidr_pic_idが削除される。
また、更新に用いられるスライスデータのnal_unit_typeが５であり、かつ、nal_ref_idcが０ではないとき、スライスヘッダに含まれるno_output_of_prior_pics_flagとlong_term_reference_flagが削除され、adaptive_ref_pic_marking_mode_flagが０にされる。
即ち、更新に用いられるスライスデータが参照ピクチャのスライスデータ等であるとき、no_output_of_prior_pics_flagとlong_term_reference_flagが削除され、adaptive_ref_pic_marking_mode_flagが０にされる。
no_output_of_prior_pics_flagとは、IDRピクチャが復号された後のIDRピクチャより前に復号されたピクチャの扱いを示すフラグである。long_term_reference_flagとは、IDRピクチャがlong term参照ピクチャとして用いられるかどうかを示すフラグである。また、adaptive_ref_pic_marking_mode_flagとは、MMCO（memory management control operation）使用時に設定されるフラグであり、MMCOを使用しない場合０に設定される。
（マルチ映像のフレーム単位の符号化ストリームの更新の説明）
図１１は、図４の合成部３４によるマルチ映像のフレーム単位の符号化ストリームの更新を説明する図である。
図１１の例では、図１１Ａに示すように、０番目のフレームのマルチ映像の符号化ストリームが、図５に示したマルチ映像のフレーム単位の符号化ストリームとなっている。また、図１１Ａに示すように、１番目のフレームのマルチ映像の２番目のスライスの参照先が、１つ前の０番目のフレームの０番目のスライスとなっている。
このようなマルチ映像において、０番目と１番目のフレーム間で、表示領域が下方向に１スライス分だけ移動されると、図１１Ｂに示すように、図９で説明した挿入ストリームが生成され、０´番目のフレームの符号化ストリームとして挿入される。
また、１番目のフレームのマルチ映像の上部が０番目のフレームのマルチ映像の２乃至１５番目のスライスに対応するスライスからなるように、１番目のフレームのマルチ映像の符号化ストリームが生成される。
具体的には、第１および第２の映像の１番目乃至３番目のスライスと、第３および第４の映像の０番目乃至３番目のスライスからなるマルチ映像の符号化ストリームが、１番目のフレームのマルチ映像の符号化ストリームとして生成される。
しかしながら、１番目のフレームのマルチ映像の０番目のスライス（０番目のフレームのマルチ映像の２番目のスライスに対応するスライス）の参照先は、そのスライスより１スライス分上の０´フレームのスライスとなるため、画面外となる。その結果、正常に復号を行うことができない。
そこで、合成部３４は、図１１Ｃに示すように、１番目のフレームのマルチ映像内の参照先が画面外となる第１の映像のスライスのマクロブロックを全て動きベクトルが０であるスキップマクロブロックにする。これにより、１番目のフレームのマルチ映像内の第１の映像が正常に復号され、０´番目のフレームのマルチ映像内の第１の映像と同一となる。その結果、第１の映像の表示が停止される。
なお、図１１の例では、第１の映像と同様に、第２の映像にも参照先が画面外となるスライスが含まれており、第２の映像の表示も停止される。
また、合成部３４は、１番目のフレームのマルチ映像内の第１乃至第４の映像以外の領域が、表示すべき映像の全てのスライスの領域ではない場合、図１１Ｃに示すように、その領域の全てのマクロブロックを、動きベクトルが０であるスキップマクロブロックとする。その結果、１番目のフレームのマルチ映像内の第１乃至第４の映像以外の領域の表示が停止される。
＜配信サーバの処理の説明＞
図１２は、図４の配信サーバ１１の生成処理を説明するフローチャートである。
図１２のステップＳ１１において、合成部３４は、外部から入力される複数の映像の符号化ストリームから、表示すべき複数の映像の１フレーム分の符号化ストリームを選択して合成し、マルチ映像の０番目のフレームの符号化ストリームを生成する。合成部３４は、マルチ映像の０番目のフレームの符号化ストリームを、挿入部３５を介して送信部３６に供給する。
ステップＳ１２において、送信部３６は、挿入部３５から供給されるマルチ映像の０番目のフレームの符号化ストリームを合成ストリームとして、ネットワーク１２を介して図３の受信装置１３に送信する。
ステップＳ１３において、受信部３１は、受信装置１３からネットワーク１２を介して送信されてくる移動情報を受信し、読み出し部３３、合成部３４、および挿入部３５に供給する。
ステップＳ１４において、合成部３４は、移動情報の履歴に基づいて、外部から入力される複数の映像の符号化ストリームから、表示すべき複数の映像の１フレーム分の符号化ストリームを選択して合成し、マルチ映像のフレーム単位の符号化ストリームを生成する。合成部３４は、その符号化ストリームを挿入部３５に供給する。
ステップＳ１５において、読み出し部３３は、受信部３１から供給される移動情報が示す移動量が０であるかどうかを判定する。ステップＳ１５で移動量が０であると判定された場合、挿入部３５は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームを送信部３６に供給する。
ステップＳ１６において、送信部３６は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームを合成ストリームとして、ネットワーク１２を介して受信装置１３に送信し、処理をステップＳ２５に進める。
一方、ステップＳ１５で移動量が０ではないと判定された場合、ステップＳ１７において、合成部３４は、ステップＳ１４で生成されたマルチ映像のフレーム単位の符号化ストリームを更新するマルチ映像更新処理を行う。このマルチ映像更新処理の詳細は、後述する図１３を参照して説明する。
ステップＳ１８において、読み出し部３３は、受信部３１から供給される移動情報に基づいて、その移動情報に対応する挿入ストリームを記憶部３２から読み出し、挿入部３５に供給する。
ステップＳ１９において、挿入部３５は、合成部３４から供給されるマルチ映像のフレーム単位の符号化ストリームのスライスヘッダを用いて、挿入ストリームのスライスヘッダを更新する。具体的には、挿入部３５は、挿入ストリームのスライスヘッダに含まれるframe_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]を、合成部３４からの符号化ストリームのスライスヘッダと同一にする。
ステップＳ２０において、挿入部３５は、受信部３１から供給される移動情報が示す移動方向が上下方向であり、かつ、移動量がｎスライスであるかどうかを判定する。
ステップＳ２０で、移動方向が上下方向であり、かつ、移動量がｎスライスであると判定された場合、処理はステップＳ２１に進む。ステップＳ２１において、挿入部３５は、挿入映像の移動方向からｎスライスのスライスデータを、そのnスライスの位置に表示すべき映像の、移動方向と反対方向からｎスライスのイントラ符号化されたスライスデータに更新する。
なお、更新に用いられるスライスデータは、外部から入力される複数の映像の符号化ストリームのスライスデータから選択される。また、更新に用いられるスライスデータがIDRピクチャのスライスデータである場合、挿入部３５は、挿入ストリームのnal_unit_typeとidr_pic_idを変更する。さらに、nal_ref_idcが0ではないとき、挿入部３５は、no_output_of_prior_pics_flag,long_term_reference_flag、およびadaptive_ref_pic_marking_mode_flagも変更する。ステップＳ２１の処理後、処理はステップＳ２２に進む。
一方、ステップＳ２０で、移動方向が上下方向ではないか、または、移動量がｎスライスではないと判定された場合、ステップＳ２１の処理はスキップされ、処理はステップＳ２２に進む。
ステップＳ２２において、挿入部３５は、合成部３４から供給されるマルチ映像の符号化ストリームのスライスヘッダを更新する。具体的には、挿入部３５は、マルチ映像の符号化ストリームのスライスヘッダに含まれるframe_num,pic_order_cnt_lsb,delta_pic_order_cnt_bottom,delta_pic_order_cnt[0] ,delta_pic_order_cnt[1]の値を、IDRピクチャから自分のピクチャまでに挿入される挿入ストリームのフレーム分だけ増加させる。
ステップＳ２３において、挿入部３５は、ステップＳ２２でスライスヘッダが更新されたマルチ映像のフレーム単位の符号化ストリームの前に、挿入ストリームを挿入する。これにより、マルチ映像のフレーム単位の符号化ストリームの間に、挿入ストリームが挿入される。また、挿入部３５は、挿入ストリームが挿入されたマルチ映像のフレーム単位の符号化ストリームを、送信部３６に供給する。
ステップＳ２４において、送信部３６は、挿入部３５から供給される挿入ストリームが挿入されたマルチ映像のフレーム単位の符号化ストリームを、合成ストリームとしてネットワーク１２を介して受信装置１３に送信し、処理をステップＳ２５に進める。
ステップＳ２５において、配信サーバ１１は、例えばユーザの指令などに応じて、生成処理を終了するかどうかを判定する。ステップＳ２５で生成処理を終了しないと判定された場合、処理はステップＳ１３に戻り、生成処理を終了するまで、ステップＳ１３乃至Ｓ２５の処理が繰り返される。
一方、ステップＳ２５で生成処理を終了すると判定された場合、処理は終了する。
図１３は、図１２のステップＳ１７のマルチ映像更新処理の詳細を説明するフローチャートである。
図１３のステップＳ４１において、合成部３４は、マルチ映像を構成する映像のうちのまだ処理対象となされていない映像を、処理対象の映像に決定する。ステップＳ４２において、マルチ映像内に処理対象の映像の全てのスライスが存在するかどうかを判定する。
ステップＳ４２でマルチ映像内に処理対象の映像の全てのスライスが存在すると判定された場合、ステップＳ４３において、処理対象の映像のスライスの参照先が挿入映像の画面外に存在するかどうかを判定する。
ステップＳ４３で処理対象の映像のスライスの参照先が挿入映像の画面外に存在すると判定された場合、処理はステップＳ４４に進む。
一方、ステップＳ４２でマルチ映像内に処理対象の映像の全てのスライスが存在しないと判定された場合、処理はステップＳ４４に進む。
ステップＳ４４において、合成部３４は、図１２のステップＳ１４で生成されたマルチ映像のフレーム単位の符号化ストリームのうちの、処理対象の映像の全てのマクロブロックを、動きベクトルが０であるスキップマクロブロックに変更する。そして、処理はステップＳ４５に進む。
一方、ステップＳ４３で処理対象の映像のスライスの参照先が挿入映像の画面外に存在しないと判定された場合、ステップＳ４４の処理はスキップされ、処理はステップＳ４５に進む。
ステップＳ４５において、合成部３４は、マルチ映像を構成する全ての映像を処理対象の映像としたかどうかを判定する。ステップＳ４５でマルチ映像を構成する全ての映像をまだ処理対象の映像としてないと判定された場合、処理はステップＳ４１に戻り、全ての映像を処理対象の映像とするまで、ステップＳ４１乃至Ｓ４５の処理が繰り返される。
ステップＳ４５でマルチ映像を構成する全ての映像を処理対象の映像としたと判定された場合、処理は図１２のステップＳ１７に戻り、ステップＳ１８に進む。
以上のように、配信サーバ１１は、マルチ映像の表示領域が移動した場合、マルチ映像の符号化ストリームの間に挿入ストリームを挿入するので、マルチ映像の符号化ストリームの動きベクトルを変更する必要がない。従って、配信サーバ１１は、マルチ映像の表示領域を移動する場合に再符号化せずに合成ストリームを生成することができる。
よって、マルチ映像の表示領域を移動する場合の処理負荷が軽減される。その結果、配信サーバ１１の処理能力が低い場合であっても、配信サーバ１１は、マルチ映像の表示領域の移動後の合成ストリームを生成することができる。また、再符号化によるマルチ映像の画質劣化を防止することができる。
（本開示を適用したコンピュータの説明）
上述した配信サーバ１１の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１４は、上述した配信サーバ１１の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、表示領域の移動情報によらず、挿入ストリームの全てのマクロブロックを、動きベクトルが移動情報を示すスキップマクロブロックにするようにしてもよい。さらに、映像の符号化ストリームの符号化方式は、HEVC（High Efficiency Video Coding）方式であってもよい。この場合、符号化単位はCU（Coding Unit）である。
なお、本開示は、以下のような構成もとることができる。
（１）
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成部と、
前記マルチ映像の表示領域が移動した場合、前記合成部により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部と
を備える映像処理装置。
（２）
前記映像内の周囲の１以上の画素の画素値は所定値である
前記（１）に記載の映像処理装置。
（３）
前記挿入部は、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
前記（１）または（２）に記載の映像処理装置。
（４）
前記挿入部は、前記表示領域の移動方向が上下方向であり、かつ、移動量がスライスの整数倍である場合、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
前記（３）に記載の映像処理装置。
（５）
前記挿入部は、前記挿入ストリームのスライスヘッダを、前記挿入ストリームの直後の前記マルチ映像の符号化ストリームのスライスヘッダに基づいて生成する
前記（１）乃至（４）のいずれかに記載の映像処理装置。
（６）
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内の前記映像のスライスの参照先が、前記挿入ストリームに対応するマルチ映像の画面外に存在する場合、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
前記（１）乃至（５）のいずれかに記載の映像処理装置。
（７）
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内に前記映像の全てのスライスが存在しない場合、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
前記（１）乃至（６）のいずれかに記載の映像処理装置。
（８）
映像処理装置が、
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成ステップと、
前記マルチ映像の表示領域が移動した場合、前記合成ステップの処理により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入ステップと
を含む映像処理方法。
１１ 配信サーバ， ３４ 合成部， ３５ 挿入部

Claims (8)

  1. 複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像全体の表示領域の符号化ストリームを生成する合成部と、
    前記表示領域が前記マルチ映像間で移動した場合、前記合成部により生成される前記マルチ映像の前記表示領域の符号化ストリームの間に、前記マルチ映像の前記表示領域の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部と
    を備える映像処理装置。
  2. 前記映像内の周囲の１以上の画素の画素値は所定値である
    請求項１に記載の映像処理装置。
  3. 前記挿入部は、復号時の参照先が前記表示領域内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
    請求項１に記載の映像処理装置。
  4. 前記挿入部は、前記表示領域の移動方向が上下方向であり、かつ、移動量がスライスの整数倍である場合、復号時の参照先が前記表示領域内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
    請求項３に記載の映像処理装置。
  5. 前記挿入部は、前記挿入ストリームのスライスヘッダを、前記挿入ストリームの直後の前記マルチ映像の前記表示領域の符号化ストリームのスライスヘッダに基づいて生成する
    請求項１に記載の映像処理装置。
  6. 前記合成部は、前記マルチ映像の前記表示領域の符号化ストリームの前記映像のスライスの復号時の参照先が、前記挿入ストリームに対応するマルチ映像の表示領域外に存在する場合、前記マルチ映像の前記表示領域の符号化ストリームのうちの、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
    請求項１に記載の映像処理装置。
  7. 前記合成部は、前記表示領域に前記映像の全てが含まれない場合、前記マルチ映像の前記表示領域の符号化ストリームのうちの、その映像の全ての符号化単位を、動きベクトルが０であるスキップマクロブロックに置換する
    請求項１に記載の映像処理装置。
  8. 映像処理装置が、
    複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像全体の表示領域の符号化ストリームを生成する合成ステップと、
    前記表示領域が前記マルチ映像間で移動した場合、前記合成ステップの処理により生成される前記マルチ映像の前記表示領域の符号化ストリームの間に、前記マルチ映像の前記表示領域の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入ステップと
    を含む映像処理方法。
JP2013046836A 2013-03-08 2013-03-08 映像処理装置および映像処理方法 Expired - Fee Related JP5812028B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013046836A JP5812028B2 (ja) 2013-03-08 2013-03-08 映像処理装置および映像処理方法
US14/187,647 US8817881B1 (en) 2013-03-08 2014-02-24 Video processing apparatus and video processing method
CN201410071948.6A CN104038776B (zh) 2013-03-08 2014-02-28 视频处理装置和视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013046836A JP5812028B2 (ja) 2013-03-08 2013-03-08 映像処理装置および映像処理方法

Publications (2)

Publication Number Publication Date
JP2014175857A JP2014175857A (ja) 2014-09-22
JP5812028B2 true JP5812028B2 (ja) 2015-11-11

Family

ID=51469347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013046836A Expired - Fee Related JP5812028B2 (ja) 2013-03-08 2013-03-08 映像処理装置および映像処理方法

Country Status (3)

Country Link
US (1) US8817881B1 (ja)
JP (1) JP5812028B2 (ja)
CN (1) CN104038776B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669617B2 (ja) * 2016-09-12 2020-03-18 ルネサスエレクトロニクス株式会社 動画像処理システム
JP7052732B2 (ja) * 2016-12-27 2022-04-12 ソニーグループ株式会社 画像処理装置および方法
EP4017001A1 (en) * 2020-12-17 2022-06-22 Axis AB Method and digital video camera for forming a combined image frame of a combined video stream
CN116095340A (zh) * 2022-03-18 2023-05-09 杭州海康威视数字技术股份有限公司 一种编码、解码方法、装置及其设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5812791A (en) * 1995-05-10 1998-09-22 Cagent Technologies, Inc. Multiple sequence MPEG decoder
US5764277A (en) * 1995-11-08 1998-06-09 Bell Communications Research, Inc. Group-of-block based video signal combining for multipoint continuous presence video conferencing
JP2962348B2 (ja) * 1996-02-08 1999-10-12 日本電気株式会社 画像符号変換方式
US6147695A (en) * 1996-03-22 2000-11-14 Silicon Graphics, Inc. System and method for combining multiple video streams
US5867208A (en) * 1997-10-28 1999-02-02 Sun Microsystems, Inc. Encoding system and method for scrolling encoded MPEG stills in an interactive television application
US6141062A (en) * 1998-06-01 2000-10-31 Ati Technologies, Inc. Method and apparatus for combining video streams
JP2000341587A (ja) * 1999-05-25 2000-12-08 Sony Corp 画像処理装置及び方法
CN1173570C (zh) * 2000-01-28 2004-10-27 开放电视公司 同时发送和再现多个编码视频流的交互式电视系统和方法
JP4552290B2 (ja) * 2000-08-21 2010-09-29 ソニー株式会社 データ伝送装置及び方法、データ処理装置及び方法
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
US8473628B2 (en) * 2008-08-29 2013-06-25 Adobe Systems Incorporated Dynamically altering playlists

Also Published As

Publication number Publication date
CN104038776B (zh) 2017-09-08
US8817881B1 (en) 2014-08-26
CN104038776A (zh) 2014-09-10
US20140253806A1 (en) 2014-09-11
JP2014175857A (ja) 2014-09-22

Similar Documents

Publication Publication Date Title
EP2568709B1 (en) Image processing apparatus, image processing method, and image processing system
KR102090344B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
US7899115B2 (en) Method for scalably encoding and decoding video signal
JP6305279B2 (ja) 映像圧縮装置および映像再生装置
JP6648783B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5811097B2 (ja) 動画像配信システム、動画像配信方法および動画像配信用プログラム
JP2018519723A (ja) ビデオストリーミング装置、ビデオストリーム、ビデオストリーミング方法、及び、コンピュータプログラム
US20150103901A1 (en) Image processing apparatus and image processing method
US20120106643A1 (en) Image processing device, image processing method, and image processing system
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
JP5979406B2 (ja) 画像処理装置、画像処理方法、および画像処理システム
Omori et al. A 120 fps high frame rate real-time HEVC video encoder with parallel configuration scalable to 4K
JP5812028B2 (ja) 映像処理装置および映像処理方法
TW201143443A (en) Method and system for 3D video decoding using a tier system framework
JP2007266748A (ja) 符号化方法
WO2009136681A1 (en) Method for encoding and decoding image, and apparatus for displaying image
KR20080077430A (ko) 공간임의접근을 지원하는 영상 코덱 시스템과 이를구성하는 영상 부호화/복호화 장치 및 방법
KR20090103414A (ko) 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치
KR100734141B1 (ko) 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
WO2024018905A1 (ja) 画像処理装置および方法
WO2021199374A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质
JP2011250358A (ja) 映像処理装置
JP2012004660A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150907

R151 Written notification of patent or utility model registration

Ref document number: 5812028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees