JP5979406B2 - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

画像処理装置、画像処理方法、および画像処理システム Download PDF

Info

Publication number
JP5979406B2
JP5979406B2 JP2012035992A JP2012035992A JP5979406B2 JP 5979406 B2 JP5979406 B2 JP 5979406B2 JP 2012035992 A JP2012035992 A JP 2012035992A JP 2012035992 A JP2012035992 A JP 2012035992A JP 5979406 B2 JP5979406 B2 JP 5979406B2
Authority
JP
Japan
Prior art keywords
stream
unit
video
encoded
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012035992A
Other languages
English (en)
Other versions
JP2013172374A (ja
JP2013172374A5 (ja
Inventor
勇司 藤本
勇司 藤本
潤一郎 榎
潤一郎 榎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012035992A priority Critical patent/JP5979406B2/ja
Priority to CN2013100508739A priority patent/CN103297806A/zh
Priority to US13/767,279 priority patent/US9560356B2/en
Publication of JP2013172374A publication Critical patent/JP2013172374A/ja
Publication of JP2013172374A5 publication Critical patent/JP2013172374A5/ja
Application granted granted Critical
Publication of JP5979406B2 publication Critical patent/JP5979406B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Description

本技術は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、マルチ映像再生画像を生成する際の処理負荷を軽減することができるようにした画像処理装置、画像処理方法、および画像処理システムに関する。
コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される映像コンテンツをテレビジョン受像機で見ることもできるようになってきている。また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、図１に示すような、複数の映像コンテンツを同時に視聴して、見たい映像コンテンツを簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。
図１のマルチ映像再生システムにおいて、画面に表示されるマルチ映像再生画像は、複数の映像コンテンツで構成される。表示される複数の映像コンテンツのうち、主として視聴される映像コンテンツである主映像コンテンツが、最大サイズで画面中央に配置されている。そして、主映像コンテンツの周辺に、選択（切り替え）可能な他の映像コンテンツが、主映像コンテンツよりも小さいサイズで配置されている。選択可能な映像コンテンツは、例えば、TV放送のチャンネル、Web画面、映画などのビデオコンテンツ、TVチャット画面などであり、例えば、クラウド（ネットワーク）内から取得される。
このようなマルチ映像再生画像の表示を実現する第１の方法として、クラウド内のサーバから複数の映像コンテンツそれぞれに対応する複数の符号化ストリームを配信してもらう方法がある。クライアント側の装置は、複数の符号化ストリームを受信して復号し、合成処理を行うことによって、マルチ映像再生画像を生成する。例えば、特許文献１には、複数のES(Elementary Stream)を受信し、表示優先度に基づいて優先度の高いESに広い面積の表示領域を割り当てるようにしたマルチ映像再生画像が開示されている。
特開２００２−０６４８１８号公報
しかしながら、複数の符号化ストリームを配信するためには、かなり広い伝送帯域が必要になる。また、クライアント側の装置に、複数の符号化ストリームを同時に復号し、合成処理する能力が要求されるため、クライアント側の装置が高価になる。
その他のマルチ映像再生画像の表示を実現する第２の方法として、図２に示すように、サーバ側が１本の符号化ストリームとしてマルチ映像再生画像を生成し、配信を行う方法がある。この場合、サーバは、合成する複数の映像コンテンツを一旦復号（Decode）し、サイズ変更（Resize）し、画像合成後に再度符号化（Encode）することによって、マルチ映像再生画像の符号化ストリームを生成する。従って、サーバの処理負荷はかなり大きくなる。
本技術は、このような状況に鑑みてなされたものであり、マルチ映像再生画像を生成する際の処理負荷を軽減することができるようにするものである。
本技術の第１の側面の画像処理装置は、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部とを備え、前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する画像処理装置である。
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。
本技術の第１の側面においては、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームが生成される。前記マルチ映像再生画像の符号化ストリームの生成に用いられる前記複数の映像コンテンツそれぞれの符号化ストリームは、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから選択された、所定のビットレートの符号化ストリームである。
本技術の第２の側面の画像処理システムは、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、前記ストリーム合成部により生成された前記マルチ映像再生画像の符号化ストリームを送信する送信部と、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部とを有し、前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成するサーバ装置と、前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、前記受信部により受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部とを有するクライアント装置とを備える画像処理システムである。
本技術の第２の側面においては、サーバ装置が、複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成し、前記マルチ映像再生画像の符号化ストリームを送信する。また、クライアント装置が、前記サーバ装置により送信された前記マルチ映像再生画像の符号化ストリームを受信し、前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる。なお、前記マルチ映像再生画像の符号化ストリームの生成に用いられる前記複数の映像コンテンツそれぞれの符号化ストリームは、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから選択された、所定のビットレートの符号化ストリームである。
なお、第１の側面の画像処理装置および第２の側面の画像処理システムは、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の画像処理装置および第２の側面の画像処理システムを実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、マルチ映像再生画像を生成する際の処理負荷を軽減することができる。
マルチ映像再生システムを説明する図である。 マルチ映像再生画像の符号化ストリームを配信する一例を示す図である。 本技術を適用したマルチ映像再生システムの第１実施の形態の構成例を示す図である。 図３のコンテンツ配信サーバの構成例を示すブロック図である。 図４の符号化処理部の再符号化を説明する図である。 図４の符号化処理部の再符号化を説明する図である。 図４のストリーム合成部の構成例を示すブロック図である。 スライスのNALユニットの構成例を示すブロック図である。 スライスヘッダの構成例を示すブロック図である。 図７のストリーム合成部の合成処理を説明するフローチャートである。 図１０のスライスヘッダ書き換え処理の詳細を説明するフローチャートである。 図１１のCABACのスライスデータ処理の詳細を説明するフローチャートである。 図１１のCAVLCのスライスデータ処理の詳細を説明するフローチャートである。 本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第２実施の形態の構成例を示すブロック図である。 図１４のコンテンツ配信サーバの処理の概要を説明する図である。 図１４のパラメータトランスコード処理部の構成例を示すブロック図である。 図１４の制御部の選択処理を説明するフローチャートである。 本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第３実施の形態の構成例を示すブロック図である。 図１８の制御部の選択処理を説明するフローチャートである。 本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第４実施の形態の構成例を示すブロック図である。 図２０の制御部の選択処理を説明するフローチャートである。 本技術を適用したマルチ映像再生システムのコンテンツ配信サーバの第５実施の形態の構成例を示すブロック図である。 図２２のコンテンツ配信サーバの処理の概要を説明する図である。 図２２の制御部のストリーム選択処理を説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
＜第１実施の形態＞
［マルチ映像再生システムの第１実施の形態の構成例］
図３は、本技術を適用したマルチ映像再生システムの第１実施の形態の構成例を示している。
画像処理システムとしてのマルチ映像再生システム１は、映像コンテンツを配信するコンテンツ配信サーバ１１と、それとネットワーク１２を介して接続されているコンテンツ受信装置１３により構成される。
コンテンツ配信サーバ１１は、複数の映像コンテンツの符号化ストリームを１画面のマルチ映像再生画像の符号化ストリームに合成し、クライアントであるコンテンツ受信装置１３に配信する。
コンテンツ受信装置１３は、受信部２１、表示制御部２２、および表示部２３により構成される。コンテンツ受信装置１３の受信部２１は、コンテンツ配信サーバ１１が配信する符号化ストリームを、インターネットなどのネットワーク１２を介して受信する。そして、表示制御部２２は、受信した符号化ストリームに基づくマルチ映像再生画像を、液晶ディスプレイなどの表示部２３に表示させる。
なお、コンテンツ受信装置１３は、表示部２３を有さず、マルチ映像再生画像を、自身に接続されている表示装置に表示させるようにしてもよい。また、コンテンツ受信装置１３は、例えば、ネットワーク接続機能を有するテレビジョン受像機やSTB(Set Top Box)、パーソナルコンピュータ等で構成することができる。
また、図３では、１台のコンテンツ受信装置１３しか示していないが、ネットワーク１２には複数（多数）のコンテンツ受信装置１３が接続されており、コンテンツ配信サーバ１１は、符号化ストリームを、複数のコンテンツ受信装置１３にマルチキャスト送信する。
［コンテンツ配信サーバの構成例］
図４は、図３のコンテンツ配信サーバ１１の構成例を示すブロック図である。
図４に示すように、コンテンツ配信サーバ１１は、符号化処理部３１、ストリーム合成部３２、および送信部３３により構成される。
コンテンツ配信サーバ１１の符号化処理部３１は、複数の映像コンテンツのH.264/AVC（Advanced Video Coding）方式等の符号化ストリームを受信し、復号する。符号化処理部３１は、復号の結果得られる複数の映像コンテンツのそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして再符号化する。このとき、同時刻に再生される各映像コンテンツの符号化ストリームのピクチャタイプは同一にされる。即ち、各映像コンテンツの符号化ストリームのGOP（Group Of Picture）構造は、同一である。符号化処理部３１は、再符号化の結果得られる複数の映像コンテンツの符号化ストリームをストリーム合成部３２に供給する。
ストリーム合成部３２は、符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームのスライスヘッダを書き換え、合成することにより、マルチ映像再生画像の符号化ストリームを生成し、送信部３３に供給する。
送信部３３は、マルチ映像再生画像の符号化ストリームを図３のコンテンツ受信装置１３に送信する。
［符号化処理部の再符号化の説明］
図５と図６は、図４の符号化処理部３１の再符号化を説明する図である。
H.264/AVC方式の符号化ストリームは、CABAC(Context-based Adaptive Binary Arithmetic Coding), Intra MB（Macro Block） Prediction, Motion Vector Prediction などにおいて、同一スライス内で依存関係を有する。また、符号化は、上から水平ラインごとに行われ、各水平ラインにおいては左から行われる。
従って、例えば、図５に示すように、１画面を１スライスとした４つの映像コンテンツＡ乃至ＤのH.264/AVC方式の符号化ストリームを用いて、映像コンテンツＡ乃至Ｄが、それぞれ、画面内の左上、右上、左下、右下に配置されたマルチ映像再生画像の符号化ストリームを生成する場合、単に、映像コンテンツＡ乃至Ｄの符号化ストリームを合成して、マルチ映像再生画像の符号化ストリームを生成すると、復号後のマルチ映像再生画像は、元の映像コンテンツＡ乃至Ｄとは異なる。
具体的には、映像コンテンツＡの上から２番目の水平ラインの１番左側のマクロブロックａ2は、元の映像コンテンツＡでは、同一スライス内のマクロブロックａ2より前に符号化された、映像コンテンツＡの上から１番目の水平ラインの１番右側のマクロブロックａ1等を参照して符号化される。
しかしながら、マルチ映像再生画像の符号化ストリームの復号時には、マクロブロックａ2は、同一スライス内のマクロブロックａ2より前に復号された、映像コンテンツＢの上から１番目の１番右側のマクロブロックb等を参照して復号される。従って、マクロブロックａ2の符号化時と復号時で参照されるマクロブロックが異なるため、マルチ映像再生画像内の映像コンテンツＡと、元の映像コンテンツＡのマクロブロックａ2のバイト列は異なる。
そして、マクロブロックａ2以降に復号されるマクロブロックは、マクロブロックａ2、または、マクロブロックａ2を参照したマクロブロックを参照して、復号される。そのため、マルチ映像再生画像内の映像コンテンツＡおよびＢの、マクロブロックａ2以降に復号されるマクロブロックのバイト列は、元の映像コンテンツＡおよびＢとは異なる。これらのことは、映像コンテンツＣおよびＤにおいても同様である。
また、マルチ映像再生画像の符号化ストリームが、AVC規定であるHRD(Hypothetical Reference Decoder)規格に準拠しない場合もある。
そこで、符号化処理部３１は、図６に示すように、映像コンテンツＡ乃至Ｄのそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして再符号化する。これにより、各映像コンテンツにおいて、垂直方向の位置が異なるマクロブロック間の依存関係がなくなる。そのため、映像コンテンツＡ乃至Ｄの符号化ストリームを合成することにより、マクロブロックの符号化順が異なる場合であっても、復号後のマルチ映像再生画像は、元の映像コンテンツＡ乃至Ｄと同一となる。
具体的には、映像コンテンツＡのマクロブロックa2は、スライスの先頭のマクロブロックであるため、元の映像コンテンツＡでは、他のマクロブロックを参照せずに符号化される。また、マルチ映像再生画像の符号化ストリームの復号時においても、マクロブロックａ2は、スライスの先頭のマクロブロックであるため、他のマクロブロックを参照せずに復号される。従って、マクロブロックa2の符号化時と復号時の両方で他のマクロブロックが参照されないため、マルチ映像再生画像内の映像コンテンツＡと、元の映像コンテンツＡにおいて、マクロブロックa2のバイト列は同一である。
また、マクロブロックa2の次に符号化および復号されるマクロブロックa2'は、元の映像コンテンツＡでは、同一スライス内の前に復号されたマクロブロックa2を参照して、符号化される。そして、マルチ映像再生画像の符号化ストリームの復号時にも、同一スライス内の前に復号されたマクロブロックa2を参照して、符号化される。従って、マルチ映像再生画像内の映像コンテンツＡと、元の映像コンテンツＡにおいて、マクロブロックa2'のバイト列は同一である。これらのことは、マクロブロックa2'以降のマクロブロックにおいても同様である。
また、符号化処理部３１は、同時刻に再生される各映像コンテンツの符号化ストリームのピクチャタイプを同一にするので、マルチ映像再生画像におけるスライスのタイプは、H.264/AVC方式に準拠する。
［ストリーム合成部の構成例］
図７は、図４のストリーム合成部３２の構成例を示すブロック図である。
図７に示すように、ストリーム合成部３２は、認識部４１と書き換え部４２により構成される。
認識部４１は、図４の符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームから、スライスのNAL(Network Abstraction Layer)ユニットのデータ長Iとスライスのマクロブロック数sxを認識し、書き換え部４２に供給する。
書き換え部４２は、認識部４１から供給されるデータ長Iおよびマクロブロック数sx、並びに、マルチ映像再生画像内の複数の映像コンテンツの配置に基づいて、符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームのスライスヘッダを書き換える。
また、書き換え部４２は、符号化処理部３１から供給される複数の映像コンテンツそれぞれの符号化ストリームに含まれるPPS（Picture Parameter Set）のNALユニットから、可逆符号化の方式を表す可逆符号化方式フラグを取得する。ここで、可逆符号化の方式としては、CAVLC（Context-Adaptive Variable Length Coding）、または、CABAC（Context-Adaptive Binary Arithmetic Coding）がある。そして、可逆符号化方式フラグは、CABACを表す場合1であり、CAVLCを表す場合0である。
書き換え部４２は、可逆符号化方式フラグに基づいて、スライスヘッダが書き換えられた複数の映像コンテンツそれぞれの符号化ストリームのスライスデータに対して所定の処理を施す。そして、書き換え部４２は、マルチ映像再生画像内の複数の映像コンテンツの配置に基づいて、所定の処理が施されたスライスデータと書き換え後のスライスヘッダを含む映像コンテンツの符号化ストリームを合成することにより、マルチ映像再生画像の符号化ストリームを生成し、送信部３３（図４）に供給する。
［符号化ストリームの構成例］
図８は、符号化ストリームに含まれるスライスのNALユニットの構成例を示すブロック図である。
図８に示すように、スライスのNALユニットには、先頭から順に、NALヘッダ（NAL header）、スライスヘッダ（slice header）、スライスデータ（slice data）、スライストレイリングビット（slice trailing bits）が配置される。
NALヘッダは、NALユニットに含まれるデータが、スライス単位の符号化データであることを表す情報などにより構成される。スライスヘッダは、スライスの符号化データに関する情報などにより構成される。スライスデータは、スライス単位の符号化データである。スライストレイリングビットは、スライス単位の符号化データの終端を表す情報である。
図９は、スライスヘッダの構成例を示すブロック図である。
図９に示すように、スライスヘッダには、スライス内の先頭のマクロブロックのアドレスを規定する先頭マクロブロック情報（first_mb_in_slice）、IDRピクチャの識別子であるIDRピクチャ情報（idr_pic_idc）、マクロブロックで指定されるまで設定される輝度信号に対する量子化パラメータを指定する量子化パラメータ情報（slice_qp_delta）などが含まれている。なお、IDRピクチャ情報は、IDRピクチャのスライスヘッダにのみ含まれる。
ストリーム合成部３２が、映像コンテンツの符号化ストリームを合成してマルチ映像再生画像の符号化ストリームを生成する場合、図６に示したように、元の映像コンテンツとマルチ映像再生画像内の映像コンテンツとの間で、符号化順が異なる。従って、ストリーム合成部３２は、スライスヘッダ内のマクロブロック情報を書き換える。
また、同一のIDRピクチャのスライスヘッダに含まれるIDRピクチャ情報は同一である必要があるため、ストリーム合成部３２は、マルチ映像再生画像のIDRピクチャを構成する各映像コンテンツのスライスヘッダに含まれるIDRピクチャ情報を、同一となるように書き換える。
さらに、各スライスの量子化パラメータ（QP）の初期値SliceQPYは、以下の式（１）に示すように、量子化パラメータだけでなく、PPSに含まれるpic_init_qp_minus26にも依存する。
SliceQPY=26+pic_init_qp_minus26+slice_qp_delta
・・・（１）
従って、ストリーム合成部３２は、各映像コンテンツのPPSに含まれるpic_init_qp_minus26から、マルチ映像再生画像のPPSに含まれるpic_init_qp_minus26を減算した値だけ、スライスヘッダ内の量子化パラメータを増加させる。これにより、ストリーム合成部３２は、各スライスの量子化パラメータ（QP）の初期値SliceQPYを、元の映像コンテンツとマルチ映像再生画像の間で同一にする。なお、マルチ映像再生画像のPPSとしては、例えば、各映像コンテンツのPPSのいずれかのPPSが採用される。
［ストリーム合成部の処理の説明］
図１０は、図７のストリーム合成部３２の合成処理を説明するフローチャートである。
図１０のステップＳ１１において、ストリーム合成部３２は、マルチ映像再生画像の画面内の水平方向のマクロブロック数Xと垂直方向のマクロブロック数Yを設定する。ステップＳ１２において、ストリーム合成部３２は、マルチ映像再生画像内の処理対象とするスライス（以下、対象スライスという）の先頭のマクロブロックの水平方向のマクロブロック番号xと、垂直方向のマクロブロック番号yを0に設定する。
なお、水平方向のマクロブロック番号xとは、マルチ映像再生画像を構成するマクロブロックに対して、左から右へ0から順に付された番号である。垂直方向のマクロブロック番号yとは、マルチ映像再生画像を構成するマクロブロックに対して、上から下へ0から順に付された番号である。
ステップＳ１３において、認識部４１は、マルチ映像再生画像内の複数の映像コンテンツの配置に基づいて、符号化処理部３１から供給される複数の映像コンテンツの符号化ストリームから、対象スライスとして配置される映像コンテンツのスライスのデータ長Iとマクロブロック数sxを認識する。そして、認識部４１は、データ長Iとマクロブロック数sxを書き換え部４２に供給する。
ステップＳ１４において、ストリーム合成部３２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダを書き換えるスライスヘッダ書き換え処理を行う。このスライスヘッダ書き換え処理の詳細は、後述する図１１を参照して説明する。
ステップＳ１５において、ストリーム合成部３２は、マクロブロック番号xをマクロブロック数sxだけインクリメントする。
ステップＳ１６において、ストリーム合成部３２は、マクロブロック番号xがマクロブロック数Ｘであるかどうかを判定する。ステップＳ１６で、マクロブロック番号xがマクロブロック数Ｘではないと判定された場合、処理はステップＳ１３に戻り、マクロブロック番号xがマクロブロック数Ｘとなるまで、ステップＳ１３乃至Ｓ１６の処理が繰り返される。
一方、ステップＳ１６で、マクロブロック番号xがマクロブロック数Ｘであると判定された場合、ステップＳ１７において、ストリーム合成部３２は、マクロブロック番号xを0に設定する。ステップＳ１８において、ストリーム合成部３２は、マクロブロック番号yを1だけインクリメントする。
ステップＳ１９において、ストリーム合成部３２は、マクロブロック番号yがマクロブロック数Ｙであるかどうかを判定する。ステップＳ１９で、マクロブロック番号yがマクロブロック数Ｙではないと判定された場合、処理はステップＳ１３に戻り、マクロブロック番号yがマクロブロック数Ｙとなるまで、ステップＳ１３乃至Ｓ１９の処理が繰り返される。
一方、ステップＳ１９で、マクロブロック番号yがマクロブロック数Ｙであると判定された場合、処理はステップＳ２０に進む。ステップＳ２０において、書き換え部４２は、スライスヘッダ書き換え処理後の映像コンテンツの符号化ストリームを、処理順に合成することにより、マルチ映像再生画像の符号化ストリームを生成し、送信部３３（図４）に供給する。
図１１は、図１０のステップＳ１４のスライスヘッダ書き換え処理の詳細を説明するフローチャートである。
図１１のステップＳ４１において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスの先頭マクロブロック情報、IDRピクチャ情報、および量子化パラメータ情報を決定する。具体的には、書き換え部４２は、例えば、対象スライスの先頭マクロブロックとして配置される、映像コンテンツのマクロブロックのアドレスを規定する情報を、先頭マクロブロック情報に決定する。
ステップＳ４２において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダに含まれる先頭マクロブロック情報を、ステップＳ４１で決定された先頭マクロブロック情報に書き換える。
ステップＳ４３において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのNALヘッダに含まれているNALユニットタイプ（nal_unit_type）は5であるかどうかを判定する。
ステップＳ４３で、NALユニットタイプは5であると判定された場合、ステップＳ４４において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダに含まれるIDRピクチャ情報を、ステップＳ４１で決定されたIDRピクチャ情報に書き換える。そして、処理はステップＳ４５に進む。
ステップＳ４３でNALユニットタイプは5ではないと判定された場合、ステップＳ４４の処理はスキップし、処理はステップＳ４５に進む。
ステップＳ４５において、書き換え部４２は、対象スライスとして配置される映像コンテンツのスライスのスライスヘッダに含まれる量子化パラメータ情報を、ステップＳ４１で決定された量子化パラメータ情報に書き換える。
ステップＳ４６において、可逆符号化方式フラグ（entropy_coding_mode_flag）が1であるかどうかを判定する。ステップＳ４６で可逆符号化方式フラグが1であると判定された場合、ステップＳ４７において、書き換え部４２は、CABACのスライスデータ処理を行う。このCABACのスライスデータ処理の詳細は、後述する図１２を参照して説明する。
一方、ステップＳ４６で可逆符号化方式フラグが0であると判定された場合、ステップＳ４８において、書き換え部４２は、CAVLCのスライスデータ処理を行う。このCAVLCのスライスデータ処理の詳細は、後述する図１３を参照して説明する。
ステップＳ４７またはステップＳ４８の処理後、処理は図１０のステップＳ１４に戻り、処理は、ステップＳ１５に進む。
図１２は、図１１のステップＳ４７のCABACのスライスデータ処理の詳細を説明するフローチャートである。
図１２のステップＳ６１において、書き換え部４２は、書き換え後のスライスヘッダのデータ量（ビット量）に基づいて、スライスデータのバイトアライメント用のcabac_alignment_one_bitの数を書き換える。具体的には、書き換え部４２は、スライスヘッダのデータ量を8で除算した余りを8から減算した値を、新たなcabac_alignment_one_bitの数とする。
なお、書き換え後のスライスヘッダのデータ量は、認識部４１から供給されるデータ長Iと、スライスヘッダの書き換え後のスライスのNALユニットのデータ長I'の差分である。
ステップＳ６１の処理後、処理は、図１１のステップＳ４７に戻り、図１０のステップＳ１４に戻り、ステップＳ１５に進む。
図１３は、図１１のステップＳ４８のCAVLCのスライスデータ処理の詳細を説明するフローチャートである。
図１３のステップＳ８１において、書き換え部４２は、書き換え後のスライスヘッダのデータ量に基づいて、スライスデータのビットシフト量を決定する。具体的には、書き換え部４２は、スライスヘッダのデータ量を8で除算した余りを8から減算した値を、スライスデータのビットシフト量に決定する。
ステップＳ８２において、書き換え部４２は、スライスデータの各バイトデータを、ステップＳ８１で決定されたビットシフト量でシフトする。
ステップＳ８３において、書き換え部４２は、書き換え後のスライスヘッダのデータ量に基づいて、rbsp_slice_trailing_bitsの数を書き換える。ステップＳ８４において、書き換え部４２は、emulation_prevention_three_byte処理を行う。そして、処理は、図１１のステップＳ４８に戻り、図１０のステップＳ１４に戻り、ステップＳ１５に進む。
以上のように、ストリーム合成部３２は、複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、マルチ映像再生画像の符号化ストリームを生成する。従って、複数の映像コンテンツの符号化ストリームを合成するだけで、マルチ映像再生画像の符号化ストリームを生成することができる。
よって、映像コンテンツの符号化ストリームを復号し、再度符号化することによりマルチ映像再生画像の符号化ストリームを生成する従来手法に比べて、マルチ映像再生画像を生成する際の処理負荷を軽減することができる。また、従来手法のように復号および再符号化を行わないため、画質の劣化を防止することができる。
なお、以下では、従来手法と区別するために、ストリーム合成部３２によるマルチ映像再生画像の符号化ストリームを生成する手法を、直接コピー手法という。
＜第２実施の形態＞
［コンテンツ配信サーバの第２実施の形態の構成例］
図１４は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第２実施の形態の構成例を示すブロック図である。
図１４に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４のコンテンツ配信サーバ１１の構成は、新たに、制御部５１、選択部５２、パラメータトランスコード処理部５３、および合成部５４が設けられている点が図４の構成と異なる。図１４のコンテンツ配信サーバ１１は、自己が許容できる処理量（以下、処理許容量という）に基づいて、直接コピー手法とパラメータトランスコード手法（詳細は後述する）を選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
具体的には、コンテンツ配信サーバ１１の制御部５１は、処理許容量SL、トランスコード処理量R、直接コピー処理量Q、コンテンツ受信装置１３の数である接続クライアント数N等に基づいて、トランスコード数npと直接コピー数nqを算出する。
なお、トランスコード処理量Rとは、パラメータトランスコード手法を用いてマルチ映像再生画像の符号化ストリームを生成したときの単位面積当たりの想定処理量である。直接コピー処理量Qとは、直接コピー手法を用いてマルチ映像再生画像の符号化ストリームを生成したときの単位面積当たりの想定処理量である。また、トランスコード数npは、パラメータトランスコード手法を用いる映像コンテンツの符号化ストリームの数であり、直接コピー数nqは、直接コピー手法を用いる映像コンテンツの符号化ストリームの数である。
制御部５１は、直接コピー数nqに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちの、直接コピー数nqの映像コンテンツの符号化ストリーム（以下、直接コピーストリームという）を決定する。また、制御部５１は、トランスコード数npに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちの、トランスコード数npの映像コンテンツの符号化ストリーム（以下、トランスコードストリームという）を決定する。
そして、制御部５１は、符号化処理部３１から出力される直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給するように、選択部５２を制御する。
選択部５２は、制御部５１の制御にしたがって、符号化処理部３１から供給される符号化ストリームのうちの直接コピーストリームをストリーム合成部３２に供給することにより、ストリーム合成部３２に、マルチ映像再生画像の符号化ストリームの一部を生成させる。また、選択部５２は、制御部５１の制御にしたがって、トランスコードストリームをパラメータトランスコード処理部５３に供給することにより、パラメータトランスコード処理部５３に、マルチ映像再生画像の符号化ストリームの一部を生成させる。
パラメータトランスコード処理部５３は、選択部５２から供給されるトランスコードストリームに対して、パラメータトランスコード手法を用いてマルチ映像再生画像の符号化ストリームの一部を生成する。
なお、パラメータトランスコード手法とは、映像コンテンツの符号化ストリームを復号し、その符号化ストリームに含まれる符号化パラメータをそのまま用いて再符号化を行うパラメータトランスコードにより、マルチ映像再生画像の符号化ストリームを生成する手法である。符号化パラメータは、例えば、マクロブロックのタイプ情報(イントラタイプ、インタータイプ)、予測ブロックのサイズ情報、動きベクトル情報、イントラ予測モードなどである。
パラメータトランスコード手法では、再度符号化が行われるため、量子化精度を変更することにより、符号量を削減することができる。また、パラメータトランスコード手法では、符号化パラメータを用いて再符号化が行われるため、従来手法に比べて処理負荷が小さいが、復号と符号化パラメータを用いた再符号化が行われるため、直接コピー手法に比べて処理負荷が大きい。
例えば、従来手法の処理量を１としたとき、ある実験では、直接コピー手法による処理量は、1/75であるが、パラメータトランスコード手法による処理量は1/2であった。なお、処理量は、処理を実行するプロセッサの能力やメモリのアクセス速度に依存する。
パラメータトランスコード処理部５３は、マルチ映像再生画像内の映像コンテンツの配置に基づいて、パラメータトランスコードの結果得られる符号化ストリームの一部を合成し、合成部５４に供給する。
合成部５４は、ストリーム合成部３２から出力されるマルチ映像再生画像の符号化ストリームの一部と、パラメータトランスコード処理部５３から供給されるマルチ映像再生画像の符号化ストリームの一部を合成する。合成部５４は、その結果得られるマルチ映像再生画像の符号化ストリームを送信部３３に供給する。
［コンテンツ配信サーバの処理の概要の説明］
図１５は、図１４のコンテンツ配信サーバ１１の処理の概要を説明する図である。
図１５の例では、９個の映像コンテンツＡ乃至Ｉからマルチ映像再生画像が構成される。
図１５に示すように、制御部５１は、選択部５２を制御し、映像コンテンツＡ乃至Ｉの符号化ストリームのうちの、直接コピー数nqの直接コピーストリームをストリーム合成部３２に供給させる。また、制御部５１は、選択部５２を制御し、映像コンテンツＡ乃至Ｉの符号化ストリームのうちの、トランスコード数npのトランスコードストリームをパラメータトランスコード処理部５３に供給させる。
図１５の例では、直接コピー数nqは6であり、トランスコード数npは3である。従って、映像コンテンツＡと映像コンテンツＣ乃至Ｇの6個の映像コンテンツの符号化ストリームが、直接コピーストリームとしてストリーム合成部３２に供給される。また、映像コンテンツＢ、映像コンテンツＨ、および映像コンテンツＩの3個の映像コンテンツの符号化ストリームが、トランスコードストリームとしてパラメータトランスコード処理部５３に供給される。
［パラメータトランスコード処理部の構成例］
図１６は、図１４のパラメータトランスコード処理部５３の構成例を示すブロック図である。
図１６に示すように、パラメータトランスコード処理部５３は、パラメータデコーダ６１、パラメータ決定部６３を有するパラメータコントローラ６２、イントラ予測/動き補償部６４、直交変換/量子化部６５、ストリーム生成部６６、および逆量子化/逆直交変換部６７により構成される。
パラメータデコーダ６１には、図１４の選択部５２から供給されるトランスコードストリームを復号し、その結果得られる符号化パラメータと画像データをパラメータコントローラ６２に供給する。
パラメータコントローラ６２は、符号化パラメータと画像データを取得し、通常のH.264/AVC方式の符号化処理が必要か否かを判断して、内部のスイッチSW１及びSW２を切り替える。より具体的には、パラメータコントローラ６２は、通常の符号化処理が必要ではないと判断した場合、スイッチSW１及びSW２を、ａ側に接続し、取得した符号化パラメータと画像データをそのまま後段のイントラ予測／動き補償部６４に供給する。一方、通常の符号化処理が必要であると判断した場合、パラメータコントローラ６２は、スイッチSW１及びSW２を、ｂ側に接続し、取得した符号化パラメータと画像データをパラメータ決定部６３に供給する。
パラメータ決定部６３は、通常のH.264/AVC方式の符号化処理と同様に、イントラ/インタータイプ決定処理、ブロックサイズ決定処理、動きベクトル算出処理、イントラ予測モード決定処理を実行し、符号化パラメータを決定する。決定された符号化パラメータと画像データは、イントラ予測／動き補償部６４に供給される。
イントラ予測／動き補償部６４は、符号化パラメータに含まれるマクロブロックのタイプ情報がイントラタイプを表している場合、符号化パラメータに基づいてイントラ予測を行う。一方、イントラ予測／動き補償部６４は、符号化パラメータに含まれるマクロブロックのタイプ情報がインタータイプを表している場合、符号化パラメータに基づいて動き補償を行う。
また、イントラ予測／動き補償部６４は、イントラ予測または動き補償の結果得られる予測画像の画像データを、パラメータコントローラ６２から供給される画像データから減算し、差分画像データを生成する。イントラ予測／動き補償部６４は、差分画像データを直交変換/量子化部６５に供給する。
さらに、イントラ予測／動き補償部６４は、逆量子化/逆直交変換部６７から供給される差分画像データと、イントラ予測または動き補償の結果得られる予測画像の画像データとを加算する。イントラ予測／動き補償部６４は、その結果得られる画像データを、イントラ予測または動き補償時に参照する。
直交変換／量子化部６５は、イントラ予測／動き補償部６４から供給される差分画像データに対して直交変換を施し、変換係数を求める。直交変換／量子化部６５は、求めた変換係数を量子化し、量子化された変換係数をストリーム生成部６６と逆量子化／逆直交変換部６７に供給する。
ストリーム生成部６６は、直交変換/量子化部６５から供給される量子化された変換係数と、イントラ予測/動き補償部６４から供給される符号化パラメータに対し、CABACまたはCAVLCを可逆符号化として行う。ストリーム生成部６６は、その結果得られる符号化ストリームを、マルチ映像再生画像内の映像コンテンツの配置に基づいて合成し、マルチ映像再生画像の符号化ストリームの一部として出力する。
逆量子化／逆直交変換部６７は、直交変換／量子化部６５から供給される量子化された変換係数を逆量子化し、得られた変換係数を、さらに逆直交変換する。換言すれば、逆量子化／逆直交変換部６７は、直交変換／量子化部６５が行う直交変換及び量子化に対応する方法で、逆量子化及び逆直交変換を行う。逆量子化／逆直交変換部６７は、逆直交変換の結果得られる差分画像データをイントラ予測/動き補償部６４に供給する。
［制御部の処理の説明］
図１７は、コンテンツ配信サーバ１１の制御部５１（図１４）の選択処理を説明するフローチャートである。
図１７のステップＳ１０１において、制御部５１は、処理許容量SL、トランスコード処理量R、および直接コピー処理量Qを設定する。ステップＳ１０２において、制御部５１は、コンテンツ受信装置１３と通信を行うなどして、接続クライアント数Nを取得する。
ステップＳ１０３において、制御部５１は、処理許容量SLを接続クライアント数Nで除算し、その結果得られる除算値を、コンテンツ受信装置１３当たりの処理許容量として算出する。
ステップＳ１０４において、制御部５１は、コンテンツ受信装置１３当たりの処理許容量、マルチ映像再生画像の画面の面積、トランスコード処理量R、および直接コピー処理量Qに基づいて、トランスコード面積Spと直接コピー面積Sqを算出する。具体的には、制御部５１は、トランスコード面積Spとトランスコード処理量Rの乗算値と、直接コピー面積Sqと直接コピー処理量Qの乗算値の和が、コンテンツ受信装置１３当たりの処理許容量を超えない最大値となるように、トランスコード面積Spと直接コピー面積Sqを算出する。
なお、トランスコード面積Spとは、マルチ映像再生画像内の、トランスコードストリームの映像コンテンツの面積であり、直接コピー面積Sqとは、マルチ映像再生画像内の、直接コピーストリームの映像コンテンツの面積である。
ステップＳ１０５において、制御部５１は、マルチ映像再生画像内の映像コンテンツ当たりの面積、トランスコード面積Sp、および直接コピー面積Sqに基づいて、トランスコード数npと直接コピー数nqを算出する。なお、ここでは、マルチ映像再生画像内の各映像コンテンツの面積は全て同一であるものとするが、その面積は複数種類あってもよい。この場合、面積の種類ごとに、トランスコード数npと直接コピー数nqが算出される。
制御部５１は、以上のようにして算出されたトランスコード数npと直接コピー数nqに基づいて、トランスコードストリームと直接コピーストリームを決定する。そして、制御部５１は、選択部５２を制御し、直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給する。
以上のように、図１４のコンテンツ配信サーバ１１は、処理許容量SLに基づいて、ストリーム合成部３２とパラメータトランスコード処理部５３に、マルチ映像再生画像の符号化ストリームを生成させる。従って、図１４のコンテンツ配信サーバ１１は、処理許容量SL以内の処理量で、ビットレートを抑制しつつ、マルチ映像再生画像の符号化ストリームを生成することができる。
即ち、上述したように、パラメータトランスコード手法では、量子化精度を変更することにより、符号量を削減することができるが、直接コピー手法に比べて処理量が多い。従って、図１４のコンテンツ配信サーバ１１は、処理量が処理許容量SLを越えない最大値となるように、トランスコード面積Spと直接コピー面積Sqを算出することにより、処理量が処理許容量SLを越えない範囲でトランスコード面積Spを大きくし、ビットレートを抑制することができる。
また、図１４のコンテンツ配信サーバ１１は、接続クライアント数Nにも基づいて、トランスコード数npと直接コピー数nqを算出するので、接続クライアント数Nの変化に対応して、最適なトランスコード数npと直接コピー数nqを設定することができる。
なお、トランスコード数npと直接コピー数nqは、コンテンツ受信装置１３ごとに異なるようにしてもよい。この場合、マルチ映像再生画像が使用される、コンテンツ受信装置１３におけるアプリケーション等ごとに、そのコンテンツ受信装置１３に対する処理許容量が算出され、トランスコード数npと直接コピー数nqが算出される。
＜第３実施の形態＞
［コンテンツ配信サーバの第３実施の形態の構成例］
図１８は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第３実施の形態の構成例を示すブロック図である。
図１８に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１８のコンテンツ配信サーバ１１の構成は、制御部５１の代わりに制御部８１が設けられている点が図１４の構成と異なる。図１８のコンテンツ配信サーバ１１は、処理許容量ではなく、ユーザにより指定されたビットレート（以下、指定レートという）TRに基づいて、直接コピー手法とパラメータトランスコード手法を選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
具体的には、コンテンツ配信サーバ１１の制御部８１は、指定レートTRに基づいて、トランスコード数npと直接コピー数nqを算出する。制御部８１は、図１４の制御部５１と同様に、直接コピー数nqに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちの直接コピーストリームを決定する。また、制御部８１は、制御部５１と同様に、トランスコード数npに基づいて、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームのうちのトランスコードストリームを決定する。
そして、制御部８１は、制御部５１と同様に、符号化処理部３１から出力される直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給するように、選択部５２を制御する。
［制御部の処理の説明］
図１９は、コンテンツ配信サーバ１１の制御部８１（図１８）の選択処理を説明するフローチャートである。
図１８のステップＳ１２１において、制御部８１は、トランスコード数npを0に設定する。また、制御部８１は、直接コピー数nqを、マルチ映像再生画像を構成する映像コンテンツの数Nに設定する。
ステップＳ１２２において、制御部８１は、直接コピー数nqの映像コンテンツの符号化ストリームを直接コピーストリームとしたときの、マルチ映像再生画像の符号化ストリームの推定ビットレートERを計算する。
具体的には、制御部８１は、選択部５２を制御し、直接コピー数nq個の映像コンテンツの符号化ストリームを直接コピーストリームとしてストリーム合成部３２に供給させ、トランスコード数npの映像コンテンツの符号化ストリームをトランスコードストリームとしてパラメータトランスコード処理部５３に供給させる。このとき、パラメータトランスコード処理部５３は、パラメータトランスコード時の量子化精度を、予め指定された許容可能な最低の量子化精度に設定する。そして、制御部８１は、その結果合成部５４から出力されるマルチ映像再生画像の符号化ストリームのビットレートを検出し、推定ビットレートERとする。
または、制御部８１は、映像コンテンツの符号化ストリームのデータ長I等に基づいて、パラメータトランスコード時の量子化精度が、予め指定された許容可能な最低の量子化精度であるとして、マルチ映像再生画像の符号化ストリームのビットレートを推定し、推定ビットレートERとする。
ステップＳ１２３において、制御部８１は、推定ビットレートERが指定レートTRより小さいかどうかを判定する。ステップＳ１２３で推定ビットレートERが指定レートTRより小さくはないと判定された場合、処理はステップＳ１２４に進む。
ステップＳ１２４において、制御部８１は、トランスコード数npを、調整値dだけインクリメントする。なお、調整値dとしては、推定ビットレートERと指定レートTRの差分が大きいほど大きい値が設定される。また、制御部８１は、マルチ映像再生画像を構成する映像コンテンツの数Nから、インクリメント後のトランスコード数npを減算した値を、直接コピー数nqとする。そして、処理はステップＳ１２２に戻り、推定ビットレートERが指定レートTRより小さくなるまで、ステップＳ１２２乃至Ｓ１２４の処理が繰り返される。
ステップＳ１２３で、推定ビットレートERが指定レートTRより小さいと判定された場合、ステップＳ１２５において、制御部８１は、現在のトランスコード数npと直接コピー数nqを最終的な値とする。
制御部８１は、以上のようにして算出されたトランスコード数npと直接コピー数nqに基づいて、トランスコードストリームと直接コピーストリームを決定する。そして、制御部８１は、選択部５２を制御し、直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給する。
以上のように、図１８のコンテンツ配信サーバ１１は、指定レートTRに基づいて、ストリーム合成部３２とパラメータトランスコード処理部５３に、マルチ映像再生画像の符号化ストリームを生成させる。従って、図１８のコンテンツ配信サーバ１１は、処理負荷を軽減しつつ、指定レートTRより小さいビットレートのマルチ映像再生画像の符号化ストリームを生成することができる。
即ち、上述したように、パラメータトランスコード手法では、直接コピー手法に比べて処理量が多いが、量子化精度を変更することにより、符号量を削減することができる。従って、全ての映像コンテンツの符号化ストリームに対して直接コピー手法を用いることで処理負荷を軽減すると、ビットレートが指定レートTR以上となる場合、図１８のコンテンツ配信サーバ１１は、一部の映像コンテンツの符号化ストリームに対してパラメータトランスコード手法を用いることで、ビットレートを指定レートTRより小さくする。
なお、直接コピー数nqがNである場合に、推定ビットレートERが、指定レートTRより小さい場合には、図１８のコンテンツ配信サーバ１１は、マルチ映像再生画像の符号化ストリームにFillerデータを追加して、出力する。
また、図１８のコンテンツ配信サーバ１１では、パラメータトランスコード時に量子化精度が予め指定された許容可能な最低の量子化精度とされるので、パラメータトランスコード手法が用いられた映像コンテンツの符号化ストリームの画質が劣化する。従って、パラメータトランスコード手法が用いられる映像コンテンツの、マルチ映像再生画像内の位置や内容が、マルチ映像再生画像の主観的な印象に大きく影響する。
よって、図１８のコンテンツ配信サーバ１１は、各映像コンテンツの重要度を設定し、重要度の高い順に直接コピー手法を割り当てることで、マルチ映像再生画像の主観的な印象を向上させるようにすることができる。
重要度の設定方法としては、マルチ映像再生画像内のユーザが注目している領域や中央領域に配置される映像コンテンツの重要度を高く設定する方法、閲覧した人数が多いなど、過去のユーザの人気度の高い映像コンテンツの重要度を高く設定する方法、複雑な映像コンテンツの重要度を高く設定する方法などがある。
また、第２の実施の形態と第３の実施の形態は、組み合わせることができる。即ち、コンテンツ配信サーバ１１は、処理許容量SLと指定レートTRの両方に基づいて、トランスコード数npと直接コピー数nqを算出するようにしてもよい。この場合、処理許容量SLが小さいことにより、マルチ映像再生画像の符号化ストリームのビットレートが指定レートTRより小さくならない可能性がある。このときには、コンテンツ配信サーバ１１は、例えば、マルチ映像再生画像の符号化ストリームの一部のマクロブロックを、スキップマクロブロックとすることにより、ビットレートを指定レートTRより小さくする。
＜第４実施の形態＞
［コンテンツ配信サーバの第４実施の形態の構成例］
図２０は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第４実施の形態の構成例を示すブロック図である。
図２０に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２０のコンテンツ配信サーバ１１の構成は、制御部５１の代わりに制御部９１が設けられている点が図１４の構成と異なる。図２０のコンテンツ配信サーバ１１は、処理許容量ではなく、上述した方法で設定された各映像コンテンツの重要度に基づいて、直接コピー手法とパラメータトランスコード手法を選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
具体的には、コンテンツ配信サーバ１１の制御部９１は、符号化処理部３１から出力される複数の映像コンテンツの符号化ストリームの重要度に基づいて、その符号化ストリームを直接コピーストリームまたはトランスコードストリームに決定する。
そして、制御部９１は、制御部５１と同様に、符号化処理部３１から出力される直接コピーストリームをストリーム合成部３２に供給し、トランスコードストリームをパラメータトランスコード処理部５３に供給するように、選択部５２を制御する。
［制御部の処理の説明］
図２１は、コンテンツ配信サーバ１１の制御部９１（図２０）の選択処理を説明するフローチャートである。この選択処理は、符号化処理部３１から供給される映像コンテンツの符号化ストリームごとに行われる。
図２１のステップＳ１３１において、制御部９１は、処理対象の映像コンテンツの符号化ストリームの重要度が高いかどうか、即ち、その重要度が閾値以上であるかどうかを判定する。ステップＳ１３１で、処理対象の映像コンテンツの符号化ストリームの重要度が高いと判定された場合、ステップＳ１３２において、制御部９１は、選択部５２に、処理対象の符号化ストリームを直接コピーストリームとして、ストリーム合成部３２に供給させる。そして、処理は終了する。
一方、ステップＳ１３１で、処理対象の映像コンテンツの符号化ストリームの重要度が低いと判定された場合、ステップＳ１３３において、制御部９１は、選択部５２に、処理対象の符号化ストリームをトランスコードストリームとして、パラメータトランスコード処理部５３に供給させる。そして、処理は終了する。
以上のように、図２０のコンテンツ配信サーバ１１は、映像コンテンツの重要度に基づいて、ストリーム合成部３２とパラメータトランスコード処理部５３にマルチ映像再生画像の符号化ストリームを生成させる。従って、処理負荷とビットレートを抑制しつつ、マルチ映像再生画像内の重要度の高い映像コンテンツの画質劣化を防止することができる。
＜第５実施の形態＞
［コンテンツ配信サーバの第５実施の形態の構成例］
図２２は、本技術を適用したマルチ映像再生システムのコンテンツ配信サーバ１１の第５実施の形態の構成例を示すブロック図である。
図２２に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２２のコンテンツ配信サーバ１１の構成は、符号化処理部３１の代わりに符号化処理部１０１乃至１０３が設けられている点、および、制御部１０４とストリーム選択部１０５が新たに設けられている点が図１４の構成と異なる。図２２のコンテンツ配信サーバ１１は、複数の映像コンテンツそれぞれについての、ビットレートの異なる３種類の符号化ストリームを生成し、その３種類の符号化ストリームを選択的に用いて、マルチ映像再生画像の符号化ストリームを生成する。
具体的には、コンテンツ配信サーバ１１の符号化処理部１０１は、図４の符号化処理部３１と同様に、複数の映像コンテンツのH.264/AVC方式等の符号化ストリームを受信し、復号する。符号化処理部１０１は、復号の結果得られる複数の映像コンテンツのそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして再符号化する。このとき、同時刻に再生される各映像コンテンツの符号化ストリームのピクチャタイプは同一にされ、再符号化の結果得られる複数の映像コンテンツの符号化ストリームのビットレートが所定のビットレートにされる。符号化処理部１０１は、再符号化の結果得られる複数の映像コンテンツの符号化ストリームをストリーム選択部１０５に供給する。
符号化処理部１０２と符号化処理部１０３は、符号化処理部１０１と同様に構成され、符号化処理部１０１と同様の処理を行う。但し、符号化処理部１０２による再符号化の結果得られる複数の映像コンテンツの符号化ストリームのビットレートは、符号化処理部１０１の場合に比べて低い。また、符号化処理部１０３による再符号化の結果得られる複数の映像コンテンツの符号化ストリームのビットレートは、符号化処理部１０２の場合に比べてさらに低い。即ち、符号化処理部１０１乃至１０３は、それぞれ、同一の複数の映像コンテンツの符号化ストリームであって、ビットレートの異なる符号化ストリームを生成する。
制御部１０４は、指定レートTRに基づいて、符号化処理部１０１乃至１０３のいずれかから供給される複数の映像コンテンツの符号化ストリームを、選択部５２に供給するように、ストリーム選択部１０５を制御する。
ストリーム選択部１０５は、制御部１０４の制御により、符号化処理部１０１乃至１０３のいずれかから供給される複数の映像コンテンツの符号化ストリームを選択し、選択部５２に供給する。
［コンテンツ配信サーバの処理の概要の説明］
図２３は、図２２のコンテンツ配信サーバ１１の処理の概要を説明する図である。
図２３の例では、９個の映像コンテンツＡ乃至Ｉからマルチ映像再生画像が構成される。
図２３に示すように、符号化処理部１０１乃至符号化処理部１０３は、映像コンテンツＡ乃至Ｉのビットレートの異なる３種類の符号化ストリームを生成する。図２３の例では、符号化処理部１０１乃至１０３により生成される符号化ストリームのビットレートは、それぞれ、2Mbps,1Mbps,512kbpsである。
制御部１０４は、ストリーム選択部１０５を制御し、３種類のビットレートのうちのいずれか１種類のビットレートの映像コンテンツＡ乃至Ｉの符号化ストリームを選択し、選択部５２に供給する。
制御部５１、選択部５２、ストリーム合成部３２、およびパラメータトランスコード処理部５３の処理は、図１５で説明した処理と同様であるので、説明は省略する。但し、図２３の例では、指定レートRTに基づいて、マルチ映像再生画像の符号化ストリームの生成に用いられる映像コンテンツの符号化ストリームのビットレートが選択されるので、全ての映像コンテンツＡ乃至Ｉの符号化ストリームが直接コピーストリームとなっている。
［制御部の処理の説明］
図２４は、コンテンツ配信サーバ１１の制御部１０４（図２２）のストリーム選択処理を説明するフローチャートである。
図２４のステップＳ１４１において、制御部１０４は、指定レートTRが閾値TH1より小さいかどうかを判定する。ステップＳ１４１で指定レートTRが閾値TH1より小さいと判定された場合、ステップＳ１４２において、制御部１０４は、符号化処理部１０３から供給される複数の映像コンテンツの符号化ストリームを選択する。そして、制御部は、選択された符号化ストリームを選択部５２に供給し、処理を終了する。
一方、ステップＳ１４１で指定レートTRが閾値TH1より小さくはないと判定された場合、ステップＳ１４３において、指定レートTRが閾値TH2(TH2>TH1)より小さいかどうかを判定する。
ステップＳ１４３で、指定レートTRが閾値TH2より小さいと判定された場合、ステップＳ１４４において、制御部１０４は、符号化処理部１０２から供給される複数の映像コンテンツの符号化ストリームを選択する。そして、制御部は、選択された符号化ストリームを選択部５２に供給し、処理を終了する。
また、ステップＳ１４３で指定レートTRが閾値TH2より小さくはないと判定された場合、ステップＳ１４５において、制御部１０４は、符号化処理部１０１から供給される複数の映像コンテンツの符号化ストリームを選択する。そして、制御部は、選択された符号化ストリームを選択部５２に供給し、処理を終了する。
以上のように、図２２のコンテンツ配信サーバ１１は、指定レートTRに基づいて、複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択し、マルチ映像再生画像の符号化ストリームの生成に用いる。従って、図２２のコンテンツ配信サーバ１１は、指定レートTRが小さいほど小さいビットレートの符号化ストリームを選択することにより、トランスコード数npを削減し、処理負荷を軽減することができる。
また、パラメータトランスコード時の量子化精度を元の量子化精度に近くすることができる。その結果、元の映像コンテンツの量子化値Qorgと、マルチ映像再生画像内の映像コンテンツの再量子化値Qcurの差が小さくて済む。これに対して、量子化値Qorgと再量子化値Qcurの差が大きい場合、画質を考慮すると、パラメータトランスコード時に通常の符号化を行い、予測モードを変更する必要がある。従って、図２２のコンテンツ配信サーバ１１では、パラメータトランスコード時に、通常の符号化を行う必要がないので、処理負荷を軽減し、高速に処理を行うことができる。
なお、第５実施の形態では、選択される各映像コンテンツのビットレートは、同一であったが、異なっていてもよい。この場合、図２２のコンテンツ配信サーバ１１は、上述した方法で各映像コンテンツの重要度を設定し、重要度の高い順に大きいビットレートの符号化ストリームを選択することができる。また、ビットレートの種類は、３つに限定されない。
また、第５実施の形態では、指定レートTRに基づいて映像コンテンツの符号化ストリームのビットレートが選択されたが、映像コンテンツの重要度等に基づいて選択されるようにしてもよい。
さらに、第５実施の形態では、直接コピー手法とトランスコード手法の両方が選択的に用いられたが、第１実施の形態と同様に、直接コピー手法だけが用いられるようにしてもよい。この場合、図２２の制御部５１、選択部５２、パラメータトランスコード処理部５３、および合成部５４は設けられず、ストリーム選択部１０５により選択された符号化ストリームが、全て、ストリーム合成部３２に供給される。
本技術は、H.264/AVC方式以外のMPEG2（Moving Picture Experts Group phase 2）やHEVC（High Efficiency Video Coding）方式などの符号化方式で符号化された符号化ストリームの画像処理システムにも適用することができる。
＜本技術を適用したコンピュータの説明＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成もとることができる。
（１）
複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部
を備える画像処理装置。
（２）
前記ストリーム合成部は、前記複数の映像コンテンツそれぞれの符号化ストリームに含まれるスライスヘッダを変更して合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
前記（１）に記載の画像処理装置。
（３）
前記ストリーム合成部は、前記スライスヘッダに含まれる前記スライスの先頭のマクロブロックを示す情報を変更する
前記（２）に記載の画像処理装置。
（４）
前記ストリーム合成部は、前記スライスヘッダに含まれるIDRピクチャの識別子を示す情報を変更する
前記（２）または（３）に記載の画像処理装置。
（５）
前記ストリーム合成部は、前記スライスヘッダに含まれる量子化パラメータを示す情報を変更する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記複数の映像コンテンツそれぞれの符号化ストリームのピクチャタイプは同一である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記ストリーム合成部は、自己の画像処理装置の処理許容量、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツのうちの一部の映像コンテンツの符号化ストリームに対して、その符号化ストリームに含まれるスライスヘッダを変更し、残りの映像コンテンツの符号化ストリームに対してパラメータトランスコードを行って、合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部
をさらに備え、
前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
前記（１）に記載の画像処理装置。
（９）
画像処理装置が、
複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成ステップ
を含む画像処理方法。
（１０）
複数の映像コンテンツそれぞれについて、水平方向に並ぶマクロブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、
前記ストリーム合成部により生成された前記マルチ映像再生画像の符号化ストリームを送信する送信部と
を有する
サーバ装置と、
前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、
前記受信部により受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部と
を有する
クライアント装置と
を備える画像処理システム。
１１ コンテンツ配信サーバ， １３ コンテンツ受信装置， ２１ 受信部， ２２ 表示制御部， ２３ 表示部， ３２ ストリーム合成部， ３３ 送信部， ５３ パラメータトランスコード処理部， １０５ ストリーム選択部

Claims (9)

  1. 複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、
    前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部と
    を備え、
    前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
    画像処理装置。
  2. 前記ストリーム合成部は、前記複数の映像コンテンツそれぞれの符号化ストリームに含まれるスライスヘッダを変更して合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
    請求項１に記載の画像処理装置。
  3. 前記ストリーム合成部は、前記スライスヘッダに含まれる前記スライスの先頭のブロックを示す情報を変更する
    請求項２に記載の画像処理装置。
  4. 前記ストリーム合成部は、前記スライスヘッダに含まれるIDRピクチャの識別子を示す情報を変更する
    請求項２に記載の画像処理装置。
  5. 前記ストリーム合成部は、前記スライスヘッダに含まれる量子化パラメータを示す情報を変更する
    請求項２に記載の画像処理装置。
  6. 前記複数の映像コンテンツそれぞれの符号化ストリームのピクチャタイプは同一である
    請求項１に記載の画像処理装置。
  7. 前記ストリーム合成部は、自己の画像処理装置の処理許容量、前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツのうちの一部の映像コンテンツの符号化ストリームに対して、その符号化ストリームに含まれるスライスヘッダを変更し、残りの映像コンテンツの符号化ストリームに対してパラメータトランスコードを行って、合成することにより、前記マルチ映像再生画像の符号化ストリームを生成する
    請求項１に記載の画像処理装置。
  8. 画像処理装置が、
    複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成ステップと、
    前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択ステップと
    を含み、
    前記ストリーム合成ステップの処理では、前記ストリーム選択ステップの処理により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
    画像処理方法。
  9. 複数の映像コンテンツそれぞれについて、水平方向に並ぶブロックを同一のスライスとして符号化された符号化ストリームを用いて、前記複数の映像コンテンツを同時に表示するマルチ映像再生画像の符号化ストリームを生成するストリーム合成部と、
    前記ストリーム合成部により生成された前記マルチ映像再生画像の符号化ストリームを送信する送信部と、
    前記マルチ映像再生画像の所望のビットレート、または前記複数の映像コンテンツそれぞれの重要度に基づいて、前記複数の映像コンテンツそれぞれについての、ビットレートの異なる複数の符号化ストリームから、所定のビットレートの符号化ストリームを選択するストリーム選択部と
    を有し、
    前記ストリーム合成部は、前記ストリーム選択部により選択された前記複数の映像コンテンツそれぞれの符号化ストリームを用いて、前記マルチ映像再生画像の符号化ストリームを生成する
    サーバ装置と、
    前記送信部により送信された前記マルチ映像再生画像の符号化ストリームを受信する受信部と、
    前記受信部により受信された前記マルチ映像再生画像の符号化ストリームに基づいて、前記マルチ映像再生画像を所定の表示部に表示させる表示制御部と
    を有する
    クライアント装置と
    を備える画像処理システム。
JP2012035992A 2012-02-22 2012-02-22 画像処理装置、画像処理方法、および画像処理システム Expired - Fee Related JP5979406B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012035992A JP5979406B2 (ja) 2012-02-22 2012-02-22 画像処理装置、画像処理方法、および画像処理システム
CN2013100508739A CN103297806A (zh) 2012-02-22 2013-02-08 图像处理设备、图像处理方法和图像处理系统
US13/767,279 US9560356B2 (en) 2012-02-22 2013-02-14 Image processing apparatus, image processing method, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012035992A JP5979406B2 (ja) 2012-02-22 2012-02-22 画像処理装置、画像処理方法、および画像処理システム

Publications (3)

Publication Number Publication Date
JP2013172374A JP2013172374A (ja) 2013-09-02
JP2013172374A5 JP2013172374A5 (ja) 2015-03-05
JP5979406B2 true JP5979406B2 (ja) 2016-08-24

Family

ID=48982244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012035992A Expired - Fee Related JP5979406B2 (ja) 2012-02-22 2012-02-22 画像処理装置、画像処理方法、および画像処理システム

Country Status (3)

Country Link
US (1) US9560356B2 (ja)
JP (1) JP5979406B2 (ja)
CN (1) CN103297806A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015087332A2 (en) * 2013-12-11 2015-06-18 Given Imaging Ltd. System and method for controlling the display of an image stream
JP2016171525A (ja) * 2015-03-13 2016-09-23 株式会社ドワンゴ 画像処理装置、制御方法、及びプログラム
CN106941598A (zh) * 2016-01-04 2017-07-11 中兴通讯股份有限公司 多画面码流合成方法、多画面码流合成控制方法及装置
GB2555840A (en) * 2016-11-11 2018-05-16 Sony Corp A device, computer program and method
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
WO2019004073A1 (ja) 2017-06-28 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US11694655B2 (en) * 2021-05-20 2023-07-04 Tcl China Star Optoelectronics Technology Co., Ltd. Video play system, video play device, and video play method

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US5956088A (en) * 1995-11-21 1999-09-21 Imedia Corporation Method and apparatus for modifying encoded digital video for improved channel utilization
WO1998034407A1 (en) * 1997-01-30 1998-08-06 Matsushita Electric Industrial Co., Ltd. Digital image replenishment method, image processing device and data recording medium
JPH11231849A (ja) * 1997-11-04 1999-08-27 Matsushita Electric Ind Co Ltd 画像合成装置
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
EP0987897A3 (en) * 1998-08-25 2005-07-13 Matsushita Electric Industrial Co., Ltd. Moving picture synthesizing device
FR2786353B1 (fr) * 1998-11-25 2001-02-09 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes
US6651252B1 (en) * 1999-10-27 2003-11-18 Diva Systems Corporation Method and apparatus for transmitting video and graphics in a compressed form
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
US6275536B1 (en) * 1999-06-23 2001-08-14 General Instrument Corporation Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors
JP4274653B2 (ja) * 1999-11-12 2009-06-10 パナソニック株式会社 動画像合成装置および動画像合成方法
US7292772B2 (en) * 2000-05-29 2007-11-06 Sony Corporation Method and apparatus for decoding and recording medium for a coded video stream
JP4552290B2 (ja) 2000-08-21 2010-09-29 ソニー株式会社 データ伝送装置及び方法、データ処理装置及び方法
EP1422944B8 (en) * 2001-08-31 2010-02-17 Panasonic Corporation Picture decoding method and apparatus thereof
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US7936818B2 (en) * 2002-07-01 2011-05-03 Arris Group, Inc. Efficient compression and transport of video over a network
US7634776B2 (en) * 2004-05-13 2009-12-15 Ittiam Systems (P) Ltd. Multi-threaded processing design in architecture with multiple co-processors
DE602005020218D1 (de) * 2004-07-29 2010-05-12 St Microelectronics Pvt Ltd Videodekoder mit Parallelprozessoren für die Dekodierung von Makroblocks
US20060146734A1 (en) * 2005-01-04 2006-07-06 Nokia Corporation Method and system for low-delay video mixing
JP4374548B2 (ja) * 2005-04-15 2009-12-02 ソニー株式会社 復号装置および方法、記録媒体、並びに、プログラム
KR101224256B1 (ko) * 2005-10-14 2013-01-18 한양대학교 산학협력단 레이저 기반의 이동 단말을 위한 다중채널의 장면구성 제어방법 및 장치
KR100773507B1 (ko) * 2005-10-21 2007-11-06 엘지전자 주식회사 이동 통신 단말기를 이용한 자동 광고 시스템 및 그 방법
US9071844B2 (en) * 2005-12-16 2015-06-30 Texas Instruments Incorporated Motion estimation with motion vector penalty
US8036517B2 (en) * 2006-01-25 2011-10-11 Qualcomm Incorporated Parallel decoding of intra-encoded video
US8605780B2 (en) * 2006-06-02 2013-12-10 Panasonic Corporation Coding device and editing device
JP4569968B2 (ja) * 2006-06-13 2010-10-27 Ｋｄｄｉ株式会社 動画像合成装置及びプログラム
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8269763B2 (en) * 2006-11-03 2012-09-18 Apple Inc. Continuous random access points
US7746778B2 (en) * 2006-12-12 2010-06-29 Intel Corporation Resource based data rate control
US8156364B2 (en) * 2007-06-12 2012-04-10 International Business Machines Corporation Synchronized parallel processing of rows of data with dependencies by determining start time for processors
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR101590633B1 (ko) * 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
WO2010118019A1 (en) * 2009-04-06 2010-10-14 Nokia Corporation Methods and systems for using multipart messaging with preset constraints
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
JP2011259361A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
JP2012019448A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置および方法
CN101977305A (zh) * 2010-10-27 2011-02-16 北京中星微电子有限公司 一种视频处理方法及装置和系统
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation

Also Published As

Publication number Publication date
CN103297806A (zh) 2013-09-11
US9560356B2 (en) 2017-01-31
US20130215973A1 (en) 2013-08-22
JP2013172374A (ja) 2013-09-02

Similar Documents

Publication Publication Date Title
JP5979406B2 (ja) 画像処理装置、画像処理方法、および画像処理システム
KR100323489B1 (ko) 비디오데이타를가지는비트스트림의트랜스코딩방법및장치
JP4109113B2 (ja) ビデオ伝送におけるビットストリーム間の切換
US10341660B2 (en) Video compression apparatus and video playback apparatus
US9288498B2 (en) Image processing apparatus, image processing method, and image processing system
EP1725042A1 (en) Fade frame generating for MPEG compressed video data
US20070009039A1 (en) Video encoding and decoding methods and apparatuses
US8218619B2 (en) Transcoding apparatus and method between two codecs each including a deblocking filter
US20050094726A1 (en) System for encoding video data and system for decoding video data
CA2943647C (en) Method and apparatus for encoding rate control in advanced coding schemes
US20120106643A1 (en) Image processing device, image processing method, and image processing system
US20060072667A1 (en) Transcoder for a variable length coded data stream
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
JP2009544176A (ja) スケーラブルビデオコーデックと非スケーラブルビデオコーデックとの間でトランスコードを行うためのシステム及び方法
JP2007507927A (ja) アドバンスドデータパーティショニングと効率的な空間−時間−ｓｎｒスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法
JP5812028B2 (ja) 映像処理装置および映像処理方法
US20230300346A1 (en) Supporting view direction based random access of bitsteam
JP6677230B2 (ja) 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム
WO2021199374A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム
KR100932727B1 (ko) 비디오 스트림 전환 장치 및 방법
JP2003244694A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
Pereira Advanced Video Coding
JP2016116069A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム
JP2000197045A (ja) デジタル放送再生システム
JP2012004660A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160713

R151 Written notification of patent or utility model registration

Ref document number: 5979406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees