JP6977422B2 - トランスコード装置、トランスコード方法及びトランスコードプログラム - Google Patents

トランスコード装置、トランスコード方法及びトランスコードプログラム Download PDF

Info

Publication number
JP6977422B2
JP6977422B2 JP2017175700A JP2017175700A JP6977422B2 JP 6977422 B2 JP6977422 B2 JP 6977422B2 JP 2017175700 A JP2017175700 A JP 2017175700A JP 2017175700 A JP2017175700 A JP 2017175700A JP 6977422 B2 JP6977422 B2 JP 6977422B2
Authority
JP
Japan
Prior art keywords
stream
coded
basic information
coded stream
decoded image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017175700A
Other languages
English (en)
Other versions
JP2019054335A (ja
Inventor
英樹 竹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017175700A priority Critical patent/JP6977422B2/ja
Priority to PCT/JP2018/014547 priority patent/WO2019053932A1/ja
Publication of JP2019054335A publication Critical patent/JP2019054335A/ja
Priority to US16/817,664 priority patent/US11375216B2/en
Application granted granted Critical
Publication of JP6977422B2 publication Critical patent/JP6977422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Description

本発明は、映像符号化データのトランスコード技術に関し、特に複数回トランスコードする場合に好適である映像符号化データのトランスコード装置、トランスコード方法及びトランスコードプログラムに関する。
近年、MPEG−DASH(MPEG Dynamic Adaptive Streaming over HTTP)に代表される適応ストリーミング技術をクラウド上で運用するサービスが盛んになっている。
適応ストリーミング技術ではクラウド上に複数のビットレートの映像符号化データが所定期間で切り替えられるようにあらかじめ用意されている。そのため、ユーザーは視聴環境、たとえばビットレートの影響を受ける視聴条件等の動的な変化に応じて、所定期間の単位で最適なビットレートを選択し、当該ビットレートに対応する映像符号化データをストリーミングして視聴することができる。
ところが、適応ストリーミング技術では1つの映像データに対して複数のビットレートの映像符号化データを用意する必要があり、複数の映像符号化データの生成に要するコストが大きくなる課題があった。
また、最新の映像符号化技術であるHEVC(High Efficiency Video Coding)では、インター予測サイズが4×8画素から64×64画素まで適応的に利用することができることから映像符号化データの生成に要するコストは更に大きくなる課題があった。
1つの映像データに対して複数のビットレートの映像符号化データを生成する技術として第1の符号化ストリームを復号して第2の符号化ストリームに符号化するトランスコードが知られている。
例えば、特許文献1には、第1の符号化ストリームのブロックの動きベクトルを用いて第2の符号化ストリームにトランスコードすることで処理量を削減する技術が記載されている。特許文献2には、第1の符号化ストリームの一部を利用して複数回のトランスコードの処理効率を向上させる構成が記載されている。
特開2003−309851号公報 特表2004−533748号公報
特許文献1に記載の技術では復号画像を入力画像として利用するため、繰り返し再符号化を行う場合に画質が低下する課題がある。特許文献2に記載の技術では全てのビットレートで第1の符号化ストリームの一部を利用して複数回のトランスコードを行うため、符号化効率が低下する課題がある。
本発明はこうした状況に鑑みてなされたものであり、その目的は、画質の低下を抑制しながら符号化効率の低下も抑制することのできる処理効率の良いトランスコード技術を提供することにある。
上記課題を解決するために、本発明のある態様のトランスコード装置は、1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置であって、第1の符号化ストリームを復号して第1の復号画像を出力する復号部(100)と、前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化部(200)とを備え、前記第2の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化部(201)をさらに備え、前記第i(ここでi=1または2)の再符号化部(200、201)は、前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成部(500)と、前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換部(600)と、前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化部(800)とを備え、前記ストリーム基本情報変換部(600)は、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定する。
本発明の別の態様も、トランスコード装置である。この装置は、1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置であって、第1の符号化ストリームを復号して第1の復号画像を出力する復号部(100)と、前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化部(200)とを備え、前記復号部(100)は、前記第2の符号化ストリームを復号して第2の復号画像を出力し、前記第2の符号化ストリームに基づいて前記第2の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化部(201)をさらに備え、前記第i(ここでi=1または2)の再符号化部(200、201)は、前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成部(500)と、前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換部(600)と、前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化部(800)とを備え、前記ストリーム基本情報変換部(600)は、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定する。
本発明の別の態様は、トランスコード方法である。この方法は、1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード方法であって、第1の符号化ストリームを復号して第1の復号画像を出力する復号ステップと、前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化ステップとを備え、前記第2の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化ステップをさらに備え、前記第i(ここでi=1または2)の再符号化ステップは、前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成ステップと、前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換ステップと、前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化ステップとを備え、前記ストリーム基本情報変換ステップは、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定する。
本発明の別の態様も、トランスコード方法である。この方法は、1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード方法であって、第1の符号化ストリームを復号して第1の復号画像を出力する復号ステップと、前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化ステップとを備え、前記復号ステップは、前記第2の符号化ストリームを復号して第2の復号画像を出力し、前記第2の符号化ストリームに基づいて前記第2の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化ステップをさらに備え、前記第i(ここでi=1または2)の再符号化ステップは、前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成ステップと、前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換ステップと、前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化ステップとを備え、前記ストリーム基本情報変換ステップは、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画質の低下を抑制しながら符号化効率の低下も抑制することのできる処理効率の良いトランスコード技術を提供することができる。
実施の形態1に係るトランスコードシステムを説明する図である。 図1の多出力再符号化装置の構成を説明する図である。 図2の再符号化部の構成を説明する図である。 ストリーム基本情報の変換処理を説明するフローチャートである。 CUサイズの変更処理を説明するフローチャートである。 図6(A)はストリーム基本情報Nの中のある符号化四分木CQTのCU分割例を示し、図6(B)は図6(A)のCQTを変換した後のCQTのCU分割例を示す図である。図6(C)は図6(A)のCQTのCUをPUに分割した例を示し、図6(D)は図6(B)のCQTのCUをPUに分割した例を示す図である。 予測情報の変換処理を説明するフローチャートである。 実施の形態2に係る多出力再符号化装置の構成を説明する図である。 図8の再符号化部の構成を説明する図である。
[実施の形態1]
以下、図面とともに本発明の好適な実施の形態に係るトランスコード装置、トランスコード方法、及びトランスコードプログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
図1は、実施の形態1に係るトランスコードシステムを説明する図である。実施の形態1に係るトランスコードシステムは、映像符号化装置1000、多出力再符号化装置2000、及び復号装置3000、3001、3002、3003を含む。映像符号化装置1000は、例えばCPU、RAM、ROM又はこれらが協調してなる装置である。映像符号化装置1000は、一例としてコンピュータに設置される。多出力再符号化装置2000は、例えばCPU、RAM、ROM又はこれらが協調してなる装置である。多出力再符号化装置2000は一例としてクラウドサーバに設置され、映像符号化装置1000及び復号装置3000、3001、3002、3003はネットワークを介して多出力再符号化装置2000に接続される。ここでは、多出力再符号化装置2000はクラウドサーバに設置されるとしたが、ゲートウェイ等の機器内に設置してもよく、映像符号化装置1000及び復号装置3000、3001、3002、3003はネットワークを介して多出力再符号化装置2000に接続されていれば形態を問わない。
映像符号化装置1000は、端子10より入力された映像データを一例としてHEVCで符号化してビットレートRAで符号化ストリームAを出力する。
多出力再符号化装置2000は、映像符号化装置1000より入力された符号化ストリームAを複数のビットレートのHEVCストリームにトランスコードして、符号化ストリームA、ビットレートRBの符号化ストリームB、ビットレートRCの符号化ストリームC、及びビットレートRDの符号化ストリームDを出力する。
復号装置3000は、多出力再符号化装置2000より入力された符号化ストリームAを復号して端子20に復号映像データAを出力する。
復号装置3001は、多出力再符号化装置2000より入力された符号化ストリームBを復号して端子21に復号映像データBを出力する。
復号装置3002は、多出力再符号化装置2000より入力された符号化ストリームCを復号して端子22に復号映像データCを出力する。
復号装置3003は、多出力再符号化装置2000より入力された符号化ストリームDを復号して端子23に復号映像データDを出力する。
ここで、ビットレート(bps)RA、RB、RC、RDの関係は式1である。
RA>RB>RC>RD (式1)
ここでは、符号化ストリームA、符号化ストリームB、符号化ストリームC、及び符号化ストリームDは、表1に記載の画像サイズとビット数で符号化されるものとして説明する。符号化ストリームA、符号化ストリームB、符号化ストリームC、及び符号化ストリームDの画像サイズ(ピクセル)、色差形式、フレームレート(fps)、及びビット数の組み合わせは、それぞれ上位の符号化ストリームの画像サイズ、色差形式、フレームレート、及びビット数が下位の符号化ストリームの画像サイズ、色差形式、フレームレート、及びビット数以上であれば、この組み合わせに限定されない。
Figure 0006977422
一例として、復号映像データAが出力される端子20には高解像度ビデオモニタが接続され、復号映像データBが出力される端子21にはパーソナルコンピュータが接続され、復号映像データCが出力される端子22にはタブレットコンピュータが接続され、復号映像データDが出力される端子23にはスマートフォンが接続される。つまり、端子20に接続される機器から順に、映像データの処理能力が低くなる。
上記の説明では復号装置3000〜3003を別個の装置として説明したが、復号装置3000〜3003の機能ブロックを備えた一つの装置を設けてもよい。その場合、一つの復号装置がネットワークの輻輳度やプロセッサの使用率に応じて複数の符号化ストリームA〜Dから適切なビットストリームの符号化ストリームを選択して復号する。また、一つの復号装置の中に10ビット対応の復号ブロックと、8ビット対応の復号ブロックが設けられ、10ビット対応の復号ブロックが10ビットの符号化ストリームAを復号し、8ビット対応の復号ブロックが8ビットの符号化ストリームB〜Dを復号するように構成してもよい。
図2は、多出力再符号化装置2000の構成を説明する図である。多出力再符号化装置2000は、復号部100、再符号化部200、再符号化部201、及び再符号化部202を含む。
図2を参照しながら、多出力再符号化装置2000の動作の概要について説明する。ここでは、多出力再符号化装置2000は、端子30より入力された符号化ストリームAをアクセスユニット単位で処理するものとして説明するが、複数のアクセスユニット単位やGOP単位で処理してもよい。また、アクセスユニットより小さい単位のスライスやCTU(Coding Tree Unit)などの単位で処理することで、遅延を小さくすることもできる。
端子30より入力されたビットレートRAの符号化ストリームAは端子40に出力される。
復号部100は、端子30より入力された符号化ストリームAを復号して復号画像を出力する。
再符号化部200は、端子30より入力された符号化ストリームAに基づいて復号部100より入力された復号画像を再符号化してビットレートRBの符号化ストリームBを生成し、端子41に出力する。
再符号化部201は、再符号化部200より入力された符号化ストリームBに基づいて復号部100より入力された復号画像を再符号化してビットレートRCの符号化ストリームCを生成し、端子42に出力する。
再符号化部202は、再符号化部201より入力された符号化ストリームCに基づいて復号部100より入力された復号画像を再符号化してビットレートRDの符号化ストリームDを生成し、端子43に出力する。
このように再符号化部200、201、202はそれぞれ復号画像を再符号化して符号化ストリームB、C、Dを生成する際、符号化条件の近い一つだけ上位の符号化ストリームA、B、Cの情報に基づいて符号化するため、符号化効率の低下を抑えることができる。また、再符号化部200、201、202は最も品質の良い符号化ストリームAを復号した復号画像を再符号化するため、画質の低下を抑えることができる。
上記の説明では、再符号化部200、201、202を別個のブロックとして説明したが、再符号化部200、201、202を一つのブロックで構成してもよい。その場合、一つの再符号化部が符号化ストリームAに基づいて復号画像を再符号化して符号化ストリームBを生成し、次に、符号化ストリームBに基づいて復号画像を再符号化して符号化ストリームCを生成し、さらに、符号化ストリームCに基づいて復号画像を再符号化して符号化ストリームDを生成すればよい。
図3は、再符号化部200、201、202の構成を説明する図である。再符号化部200、201、202は、ストリーム基本情報生成部500、ストリーム基本情報変換部600、復号画像変換部700、及び符号化部800を含む。再符号化部200、再符号化部201及び再符号化部202は同じ構成である。
図3を参照しながら、再符号化部200、201、202の動作の概要について説明する。
ストリーム基本情報生成部500は、端子50より入力された符号化ストリームNからストリーム基本情報SNを生成してストリーム基本情報SNを出力する。ここでN=A、BまたはCである。再符号化部200の場合、ストリーム基本情報生成部500は符号化ストリームAからストリーム基本情報SAを生成し、再符号化部201の場合、ストリーム基本情報生成部500は符号化ストリームBからストリーム基本情報SBを生成し、再符号化部202の場合、ストリーム基本情報生成部500は符号化ストリームCからストリーム基本情報SCを生成する。
ここで、ストリーム基本情報SNについて説明する。ストリーム基本情報SNは、符号化ストリームNを復号して得られる情報であり、ここでは、符号化ブロックサイズ(CU(Coding Unit)サイズ)、予測ブロックサイズ(PU(Prediction Unit)サイズ)、予測情報を含むものとする。予測情報には、イントラ予測モード、動きベクトル、動きベクトルが参照する参照画像情報が含まれる。PUサイズは、符号化ブロック(CU)内の予測ブロック(PU)の分割パターンを示すパーティションモードで定まる。なお、符号化ブロックサイズとは、符号化ツリーユニットを繰り返して分割する際のブロックのサイズを意味する。また、予測ブロックサイズとは、予測処理する際に符号化ブロックを分割するブロックのサイズを意味する。また、符号化ツリーユニットとは、ピクチャを分割するユニット(単位)を意味する。
ストリーム基本情報変換部600は、ストリーム基本情報生成部500より入力された符号化ストリームNのストリーム基本情報SNを符号化ストリームMのストリーム基本情報SMに変換してストリーム基本情報SMを出力する。ここでM=B、CまたはDである。再符号化部200の場合、ストリーム基本情報変換部600はストリーム基本情報SAをストリーム基本情報SBに変換し、再符号化部201の場合、ストリーム基本情報変換部600はストリーム基本情報SBをストリーム基本情報SCに変換し、再符号化部202の場合、ストリーム基本情報変換部600はストリーム基本情報SCをストリーム基本情報SDに変換する。ストリーム基本情報の変換の詳細については後述する。
復号画像変換部700は、表1に示した符号化ストリームMの各種符号化条件を格納したメモリ(図示せず)を参照して、端子51より入力された復号画像IAを表1に示した符号化ストリームMの画像サイズ、色差形式とビット数の組み合わせに適合するように変換して復号画像IMを出力する。例えば、再符号化部200の場合に符号化ストリームBを出力するので、再符号化部200は、再符号化部200に入力された復号画像IAを、表1に記載した符号化ストリームBの画面サイズW×Hピクセル、色差形式4:2:0、フレームレート30fps、ビット数8ビットに適合するように変換した復号画像IMを出力する。
符号化部800は、復号画像変換部700より入力された復号画像IMをストリーム基本情報変換部600より入力されたストリーム基本情報SMに基づいて符号化して符号化ストリームMを端子60に出力する。符号化部800は、符号化ストリームMのストリーム基本情報SMに基づいて復号画像IMを符号化するため、符号化処理の処理量の中で比較的重い処理であるCUサイズの決定、パーティションモードの決定、イントラ予測モードの決定、及び動きベクトルと動きベクトルが参照する参照画像情報の決定に係る処理を削減することができる。
再符号化部200、201、202は、復号画像の中で符号化による画質劣化が最小である符号化ストリームAの復号画像を入力画像とすることで、画質劣化を最小限に抑制することができる。また、再符号化部200、201、202は、ストリーム基本情報として、画像サイズ、色差形式及びビット数が最も近似している符号化済みストリームのストリーム基本情報を用いることで、符号化効率の低下を最小限に抑制することができる。一般的にビットレートと、画像サイズ、色差形式及びビット数とは相関関係があるため、再符号化部200、201、202は、ストリーム基本情報として最も近似のビットレートを有する符号化済みストリームのストリーム基本情報を用いることもできる。
図4は、ストリーム基本情報の変換処理を説明するフローチャートである。以下、図4を参照して、ストリーム基本情報の変換の動作について説明する。
最初に、符号化ストリームNの画像サイズと符号化ストリームMの画像サイズが同じであるか検査する(S100)。
符号化ストリームNの画像サイズと符号化ストリームMの画像サイズが同じであれば(S100のYES)、符号化ストリームMのストリーム基本情報SMは符号化ストリームNのストリーム基本情報SNと同じものとして(S110)、処理を終了する。符号化ストリームNの画像サイズと符号化ストリームMの画像サイズが同じでなければ(S100のNO)、CUサイズを変更する(S120)。次に、パーティションモードを変更する必要があるか検査する(S130)。パーティションモードを変更する必要がなければ(S130のNO)、ステップS150に進む。パーティションモードを変更する必要があれば(S130のYES)、パーティションモードを変更する(S140)。次に、予測情報を変更して(S150)、処理を終了する。
図5は、ステップS120のCUサイズの変更処理を説明するフローチャートである。以下、図5を参照して、CUサイズの変更について説明する。
まず、ストリーム基本情報SNのブロック分割後の各CUサイズが所定サイズ以下であるか検査する(S200)。ストリーム基本情報SNのブロック分割後の各CUサイズが所定サイズ以下であれば(S200のYES)、ストリーム基本情報SNにおいて当該CUサイズをもつCUと符号化順で連続する複数のCUをストリーム基本情報SMでは1つのCUに変換する(S210)。ストリーム基本情報SMのCUは1つのPUを含むようにパーティションモードを設定する(S220)。ストリーム基本情報SNのブロック分割後の各CUサイズが所定サイズ以下でなければ(S200のNO)、ストリーム基本情報SNのCUサイズを、符号化ストリームNの画像サイズと符号化ストリームMの画像サイズの比に応じて、ストリーム基本情報SMのCUサイズに変更する(S230)。
ここで、再符号化部210におけるCUサイズの変更を伴うストリーム基本情報の変換の例を説明する。図6(A)はストリーム基本情報SNの中のある符号化四分木CQT(Coding Quad Tree)のCU分割例である。図6(B)は図6(A)のCQTを変換した後のストリーム基本情SMのCQTのCU分割例である。以下、図6(A)と図6(B)に基づいて説明する。
再符号化部210は、画像サイズがW×H、色差形式が420、ビット数が8ビットである符号化ストリームBを復号して、画像サイズがW/2×H/2、色差形式が420、ビット数が8ビットである符号化ストリームCを生成する。以下、符号化ストリームBの最大CUサイズは32×32、最小CUサイズは8×8であるとして説明する。
符号化ストリームBの画像サイズと符号化ストリームCの画像サイズの比に応じて、ストリーム基本情報SBのCUサイズをストリーム基本情報SCのCUサイズに変更する。ここでは、符号化ストリームBと符号化ストリームCの画像サイズの比が2:1であるため、ストリーム基本情報SBのCUサイズを水平方向と垂直方向にそれぞれ1/2のサイズに変更してストリーム基本情報SCのCUサイズとする。例えば、CUサイズが32×32のCU(A0)はCUサイズが16×16のCU(B0)に変更される。ここで、CQTについては、ストリーム基本情報SBの32×32からストリーム基本情報SCでは16×16に変更されるものとする。
ここで、CU(A4)、CU(A5)、CU(A6)、及びCU(A7)のサイズはHEVCの最小CUサイズである8×8であるため、水平方向と垂直方向にそれぞれ1/2にサイズを変更すると4×4となり、HEVCに存在しないCUサイズとなる。そのため、ストリーム基本情報SBのブロック分割後の各CUサイズが所定サイズ(ここでは8×8)以下である場合、ストリーム基本情報SBにおいて当該CUサイズをもつCUと符号化順で連続する複数のCUをストリーム基本情報SCでは1つのCUに変換する。すなわち、4つのCU(A4)、CU(A5)、CU(A6)、及びCU(A7)は1つのCU(B4)に変換される。このように、ストリーム基本情報SBにおいて当該CUサイズをもつCUと符号化順で連続する複数のCUをストリーム基本情報SCでは1つのCUに変換することで、符号化ストリームCをHEVCに準拠した符号化ストリームとすることができる。
続いて、ステップS130とステップS140のパーティションモードの変更について詳細に説明する。
ステップS130においてパーティションモードを変更する必要があるか検査することは、ストリーム基本情報SNのあるCU内の複数のPUサイズの組み合わせが所定サイズの組み合わせであるか検査することである。ステップ140においてパーティションモードを変更することは、ストリーム基本情報SNの複数のPUの組み合わせをストリーム基本情報SMでは1つのPUからなるパーティションモードに変更することである。
ここでは、パーティションモードによってストリーム基本情報SMのPUサイズを決定したが、符号化ストリームNの画像サイズと符号化ストリームMの画像サイズの比率と同じ比率になるように、ストリーム基本情報SNのPUサイズをストリーム基本情報SMのPUサイズに変換してもよい。
図6(C)は、図6(A)のCQTのCUをPUに分割した例である。例えば、CU(A0)はPU(X0)で構成され、CU(A1)はPU(X1)とPU(X2)で構成され、CU(A6)はPU(X8)とPU(X9)で構成されている。図6(D)は、ストリーム基本情報を変換した結果得られた図6(B)のCQTのCUをPUに分割した例である。以下、図6(C)と図6(D)に基づいて説明する。
符号化ストリームBの画像サイズと符号化ストリームCの画像サイズの比に応じて、ストリーム基本情報SBのPUサイズをストリーム基本情報SCのPUサイズに変更する。ここでは、符号化ストリームBと符号化ストリームCの画像サイズの比が2:1であるため、ストリーム基本情報SBのPUサイズを水平方向と垂直方向にそれぞれ1/2のサイズに変更してストリーム基本情報SCのPUサイズとする。例えば、PUサイズが32×32のPU(X0)はPUサイズが16×16のPU(Y0)に変更され、PUサイズが16×32のPU(X1)はPUサイズが8×16のPU(Y1)に変更される。
ここで、PU(X4)のサイズは16×4、PU(X5)のサイズは16×12であるため、水平方向と垂直方向にそれぞれ1/2にサイズを変更すると8×2、8×6となり、HEVCに存在しないPUサイズとなる。そのため、ストリーム基本情報SBのCU内の複数のPUサイズの組み合わせが所定サイズの組み合わせ(ここでは16×4と16×12、または4×16と12×16)であれば、ストリーム基本情報SBのCU内の複数のPUをストリーム基本情報SCでは1つのPUに変換する。すなわち、2つのPU(X4)とPU(X5)は1つのPU(Y4)に変換される。ここで、「CU内の複数のPUサイズの組み合わせが所定サイズの組み合わせである」とは、たとえば、あるCU内の複数のPUについてサイズ変更すると規格外になる組み合わせ、あるいは、規格内ではあるがデコーダで対応することができないPUサイズの組み合わせであることを言う。
また、ストリーム基本情報SBにおいて同一階層の符号化順で連続する複数のCUがストリーム基本情報SCでは1つのCUに変換される場合、ストリーム基本情報SBにおいて同一階層の符号化順で連続する複数のCUに含まれるPUはストリーム基本情報SCでは1つのPUに変換される。すなわち、ストリーム基本情報SBの4つのCU(A4)からCU(A7)はストリーム基本情報SCでは1つのCU(B4)に変換されたので、ストリーム基本情報SBの5つのPU(X6)からPU(X10)はストリーム基本情報SCでは1つのPU(Y5)に変換される。このように、ストリーム基本情報SBのCU内の複数のPUをストリーム基本情報SCでは1つのPUに変換することで、符号化ストリームCをHEVCに準拠した符号化ストリームとすることができる。
ここでは、ストリーム基本情報SNの同一階層の複数のPUサイズの組み合わせが所定サイズの組み合わせであれば、ストリーム基本情報SNの同一階層の複数のPUをストリーム基本情報SMでは1つのPUに変換するとしたが、ストリーム基本情報SNの所定サイズ以下のCUサイズのCUのパーティションモードが所定のパーティションモードであれば、ストリーム基本情報SMのパーティションモードをストリーム基本情報SNのCUのパーティションモードとは異なる同じ分割方向を有するパーティションモードに変更することもできる。例えば、PU(Y4)は、CU(A3)が水平方向に分割されていたことを考慮して、水平方向に分割可能なパーティションモードである8×4の2つのPUに変換することもできる。
また、ストリーム基本情報SNのCQT内の同一階層のPUの数が所定数以上であれば、ストリーム基本情報SNのCQT内のPUの分割方向が多くなる方向に分割するパーティションモードをストリーム基本情報SMのCUのパーティションモードに設定することもできる。例えば、CU(A4)〜CU(A7)がPUに分割されたとき水平方向に2分割、垂直方向に1分割され、水平方向により多く分割されていたことを考慮して、PU(Y5)を、水平方向に分割可能なパーティションモードである8×4の2つのPUに変換することもできる。
また、ストリーム基本情報SNのCQT内の同一階層のPUの数が所定数以上であれば、インター予測の効率は低い可能性があるため、そのCQTをイントラモードのCUとすることもできる。例えば、CU(A4)からCU(A7)を含むCQTは、PU(X6)からPU(X10)の5つのPUを含むため、CU(B4)をイントラモードとする。
また、同様に、ストリーム基本情報SNのCQT内にイントラモードのCUが所定数以上であれば、インター予測の効率は低い可能性があるため、そのCQTをイントラモードのCUとすることもできる。例えば、CU(A4)からCU(A7)を含むCQTの中でCU(A5)がイントラモードであれば、CU(B4)をイントラモードとする。
また、ステップS120で変更されたCUサイズと同一になるように、ステップS140でパーティンションモードを決定してもよい。つまり、変換した後のストリーム基本情報SMのCQTのCU分割(図6(B))と、変換した結果得られたPU分割(図6(D))とが同一になるようにしてもよい。
図7は、ステップS150の予測情報の変換処理を説明するフローチャートである。以下、図7を参照して、予測情報の変換について説明する。
まず、予測ブロックがイントラモードであるか検査する(S400)。予測ブロックがイントラモードであれば(S400のYES)、ステップS420に進む。予測ブロックがイントラモードでなければ(S400のNO)、符号化ストリームNと符号化ストリームMの画像サイズの比に応じて動きベクトルをスケーリングする(S410)。次に、ストリーム基本情報SNのCU内の複数のPUがストリーム基本情報SMで1つのPUに変換されたか検査する(S420)。ストリーム基本情報SNのCU内の複数のPUがストリーム基本情報SMで1つのPUに変換されていれば(S420のYES)、ストリーム基本情報SNの複数のPUの予測情報を予測情報候補として評価し(S430)、最も符号化効率の良い予測情報候補をストリーム基本情報SMの予測情報として選択する(S440)。ストリーム基本情報SNのCU内の複数のPUがストリーム基本情報SMで1つのPUに変換されていなければ(S420のNO)、ストリーム基本情報SNの予測情報をストリーム基本情報SMの予測情報とする(S450)。
最も符号化効率の良い予測情報候補を予測情報として選択する手法としては、例えばレート歪評価法を用いればよい。レート歪評価法とは、符号化した際に発生する歪みと符号量とを用いて、歪みが少なくかつ符号量が少ない予測情報候補を評価する手法である。なお、複数のPUの予測情報を予測情報候補として評価する予測情報評価部は符号化部800の中に設置する。ここでは、レート歪評価法を用いて評価精度を向上させるために予測情報評価部は符号化部800の中に設置したが、処理量削減のためにストリーム基本情報変換部600の中に設置してもよい。また、予測情報候補の単方向の動き情報(動きベクトルと動きベクトルが参照する参照画像情報)をそれぞれ相互に組み合わせて新たな予測情報を生成して予測情報候補に追加して評価することもできる。例えば、2つのPU(X4)とPU(X5)が1つのPU(Y4)に変換される場合、表2のような予測情報候補となる。MVL0はL0方向の動きベクトル、RefIdxL0はL0方向の参照画像、MVL1はL1方向の動きベクトル、RefIdxL1はL1方向の参照画像を示す。
Figure 0006977422
また、ストリーム基本情報SNのフレームレートの方がストリーム基本情報SMのフレームレートより大きいような場合に、動きベクトルが参照する参照画像情報が存在しない可能性があり、予測情報をスケーリングして変換する。このように、動きベクトルが参照する参照画像情報が存在しない場合は予測情報をスケーリングして変換する。
ここでは、複数のPUの予測情報を予測情報候補として評価し、最も符号化効率の良い予測情報候補を選択するとしたが、例えば、評価する処理を削減するために、最も面積の広いPUの予測情報を利用することもできる。
また、インターモードの予測情報よりもビットレートの影響を受けやすいイントラモードの予測情報の特性を考慮して、符号化ストリームNのビットレートと符号化ストリームMのビットレートの比が所定値以上であれば、イントラモードの予測情報がインターモードの予測情報よりも変更されやすくすることもできる。
例えば、ステップS110やステップS450の後に予測ブロックがイントラモードであるか否か検査し(S900)、予測ブロックがイントラモードであれば(S900のYES)、イントラモードの予測情報を変更し(S910)、予測ブロックがイントラモードでなければ(S900のNO)、終了するステップを追加することもできる。
たとえば、イントラ予測モード特定角度情報を有さないDCモードやPLANARモードでなければ予測モードを変更し、イントラ予測モード特定角度情報を有さないDCモードやPLANARモードであれば予測モードを変更しないようなステップを同様に追加することもできる。なお、イントラ予測モード特定角度情報とは、イントラ予測の予測方向を示す角度の情報である。さらに、パーティションモードがN×Nであれば予測モードを変更し、パーティションモードがN×Nでなければ予測モードを変更しないようなステップを同様に追加することもできる。さらに、パーティションモードがN×Nである場合の符号化対象ブロックが符号化済みブロックに隣接していなければ予測モードを変更し、パーティションモードがN×Nである場合の符号化対象ブロックが符号化済みの隣接ブロックに隣接していれば予測モードを変更しないようなステップを同様に追加することもできる。
上述したように、ストリーム基本情報の変換の動作は様々な形態が考えられるため、ストリーム基本情報の変換の動作であるCUサイズの変換規則やPUサイズの変換規則などをメタデータで定義して、ストリーム基本情報変換部600に通知することもできる。このようにストリーム基本情報の変換の動作をメタデータで指定することで、用途に応じた好適なトランスコードを提供することができる。
[実施の形態2]
以下、実施の形態2に係るトランスコードシステムについて説明する。実施の形態2は、実施の形態1とは多出力再符号化装置と再符号化部の構成と動作が異なる。
図8は実施の形態2に係る多出力再符号化装置2000の構成を説明する図である。実施の形態2に係る多出力再符号化装置2000は、再符号化部210、再符号化部211、及び再符号化部212を含む。再符号化部210、再符号化部211、及び再符号化部212はそれぞれが相互にネットワークで接続される。
次に、多出力再符号化装置2000の動作の概要について実施の形態1と異なる動作を説明する。
再符号化部210は、端子30より入力された符号化ストリームAの情報に基づいてビットレートRBの符号化ストリームBを生成し、端子41に出力する。
再符号化部211は、再符号化部210より入力された符号化ストリームBの情報に基づいてビットレートRCの符号化ストリームCを生成し、端子42に出力する。
再符号化部212は、再符号化部211より入力された符号化ストリームCの情報に基づいてビットレートRDの符号化ストリームDを生成し、端子43に出力する。
図9は、再符号化部210、211、212の構成を説明する図である。再符号化部210、211、212は、ストリーム基本情報生成部500、ストリーム基本情報変換部600、復号画像変換部700、符号化部800、及び復号部100を含む。再符号化部210、再符号化部211及び再符号化部212は同じ構成である。
ストリーム基本情報生成部500、ストリーム基本情報変換部600、及び符号化部800の動作は実施の形態1と同じである。
復号部100は、端子50より入力された符号化ストリームNを復号して復号画像INを出力する。ここでN=A、BまたはCである。復号画像変換部700は、表1に示した符号化ストリームMの各種符号化条件を格納したメモリ(図示せず)を参照して、復号部100より入力された復号画像INを表1に示した符号化ストリームMの画像サイズ、色差形式とビット数の組み合わせに適合するように変換して復号画像IMを出力する。ここでM=B、CまたはDである。
再符号化部210の場合、復号部100は符号化ストリームAを復号して復号画像IAを出力し、復号画像変換部700は復号画像IAを符号化ストリームBの符号化条件に適合するように変換して復号画像IBを出力する。
再符号化部211の場合、復号部100は符号化ストリームBを復号して復号画像IBを出力し、復号画像変換部700は復号画像IBを符号化ストリームCの符号化条件に適合するように変換して復号画像ICを出力する。
再符号化部212の場合、復号部100は符号化ストリームCを復号して復号画像ICを出力し、復号画像変換部700は復号画像ICを符号化ストリームDの符号化条件に適合するように変換して復号画像IDを出力する。
以上の映像符号化データトランスコードに関する処理は、CPUやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
1000 映像符号化装置、 2000 多出力再符号化装置、 3000、3001、3002、3003 復号装置、 100 復号部、 200、201、202 再符号化部、 210、211、212 再符号化部、 500 ストリーム基本情報生成部、 600 ストリーム基本情報変換部、 700 復号画像変換部、 800 符号化部。

Claims (6)

  1. 1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置であって、
    第1の符号化ストリームを復号して第1の復号画像を出力する復号部と、
    前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化部とを備え
    前記第2の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化部をさらに備え、
    前記第i(ここでi=1または2)の再符号化部は、
    前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成部と、
    前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換部と、
    前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化部とを備え、
    前記ストリーム基本情報変換部は、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とするトランスコード装置。
  2. 1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード装置であって、
    第1の符号化ストリームを復号して第1の復号画像を出力する復号部と、
    前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化部とを備え、
    前記復号部は、前記第2の符号化ストリームを復号して第2の復号画像を出力し、
    前記第2の符号化ストリームに基づいて前記第2の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化部をさらに備え、
    前記第i(ここでi=1または2)の再符号化部は、
    前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成部と、
    前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換部と、
    前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化部とを備え、
    前記ストリーム基本情報変換部は、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とするトランスコード装置。
  3. 1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード方法であって、
    第1の符号化ストリームを復号して第1の復号画像を出力する復号ステップと、
    前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化ステップとを備え
    前記第2の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化ステップをさらに備え、
    前記第i(ここでi=1または2)の再符号化ステップは、
    前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成ステップと、
    前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換ステップと、
    前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化ステップとを備え、
    前記ストリーム基本情報変換ステップは、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とするトランスコード方法。
  4. 1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコード方法であって、
    第1の符号化ストリームを復号して第1の復号画像を出力する復号ステップと、
    前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化ステップとを備え、
    前記復号ステップは、前記第2の符号化ストリームを復号して第2の復号画像を出力し、
    前記第2の符号化ストリームに基づいて前記第2の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化ステップをさらに備え、
    前記第i(ここでi=1または2)の再符号化ステップは、
    前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成ステップと、
    前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換ステップと、
    前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化ステップとを備え、
    前記ストリーム基本情報変換ステップは、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とするトランスコード方法。
  5. 1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコードプログラムであって、
    第1の符号化ストリームを復号して第1の復号画像を出力する復号ステップと、
    前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化ステップとをコンピュータに実行させ
    前記第2の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化ステップをさらに備え、
    前記第i(ここでi=1または2)の再符号化ステップは、
    前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成ステップと、
    前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換ステップと、
    前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化ステップとを備え、
    前記ストリーム基本情報変換ステップは、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とするトランスコードプログラム。
  6. 1つの符号化ストリームを複数の符号化ストリームにトランスコードするトランスコードプログラムであって、
    第1の符号化ストリームを復号して第1の復号画像を出力する復号ステップと、
    前記第1の符号化ストリームに基づいて前記第1の復号画像を再符号化して、前記第1の符号化ストリームよりもビットレートが小さい第2の符号化ストリームを生成する第1の再符号化ステップとをコンピュータに実行させ、
    前記復号ステップは、前記第2の符号化ストリームを復号して第2の復号画像を出力し、
    前記第2の符号化ストリームに基づいて前記第2の復号画像を再符号化して、前記第2の符号化ストリームよりもビットレートが小さい第3の符号化ストリームを出力する第2の再符号化ステップをさらに備え、
    前記第i(ここでi=1または2)の再符号化ステップは、
    前記第iの符号化ストリームから符号化ブロックサイズ、予測ブロックサイズ、及び予測情報を含む第iのストリーム基本情報を生成するストリーム基本情報生成ステップと、
    前記第iの符号化ストリームと前記第(i+1)の符号化ストリームの画像サイズの比に応じて、前記第iのストリーム基本情報を第(i+1)のストリーム基本情報に変換するストリーム基本情報変換ステップと、
    前記第(i+1)のストリーム基本情報を用いて前記第iの復号画像を符号化して第(i+1)の符号化ストリームを生成する符号化ステップとを備え、
    前記ストリーム基本情報変換ステップは、前記第iのストリーム基本情報の符号化四分木内の予測ブロックの分割数が所定数以上であれば、前記第(i+1)のストリーム基本情報の符号化ブロックをイントラモードに設定することを特徴とするトランスコードプログラム。
JP2017175700A 2017-09-13 2017-09-13 トランスコード装置、トランスコード方法及びトランスコードプログラム Active JP6977422B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017175700A JP6977422B2 (ja) 2017-09-13 2017-09-13 トランスコード装置、トランスコード方法及びトランスコードプログラム
PCT/JP2018/014547 WO2019053932A1 (ja) 2017-09-13 2018-04-05 トランスコード装置、トランスコード方法及びトランスコードプログラム
US16/817,664 US11375216B2 (en) 2017-09-13 2020-03-13 Transcoding apparatus, transcoding method, and transcoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017175700A JP6977422B2 (ja) 2017-09-13 2017-09-13 トランスコード装置、トランスコード方法及びトランスコードプログラム

Publications (2)

Publication Number Publication Date
JP2019054335A JP2019054335A (ja) 2019-04-04
JP6977422B2 true JP6977422B2 (ja) 2021-12-08

Family

ID=65723579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017175700A Active JP6977422B2 (ja) 2017-09-13 2017-09-13 トランスコード装置、トランスコード方法及びトランスコードプログラム

Country Status (3)

Country Link
US (1) US11375216B2 (ja)
JP (1) JP6977422B2 (ja)
WO (1) WO2019053932A1 (ja)

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271496A (ja) * 1997-03-21 1998-10-09 Nippon Telegr & Teleph Corp <Ntt> 符号化復号化画像の処理方法
ES2569491T3 (es) * 1999-02-09 2016-05-11 Sony Corporation Sistema de codificación y método asociado
JP4139983B2 (ja) * 1999-02-09 2008-08-27 ソニー株式会社 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、ストリーム出力装置、および、ストリーム出力方法
JP2000287213A (ja) * 1999-03-31 2000-10-13 Victor Co Of Japan Ltd 動画像符号化装置
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
DE60143927D1 (de) * 2000-03-13 2011-03-10 Sony Corp Verfahren und vorrichtung zur erzeugung von kompakten metadateien für transcodierungshinweise
RU2284671C2 (ru) * 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
US6748020B1 (en) * 2000-10-25 2004-06-08 General Instrument Corporation Transcoder-multiplexer (transmux) software architecture
US6925501B2 (en) * 2001-04-17 2005-08-02 General Instrument Corporation Multi-rate transcoder for digital streams
US6868124B2 (en) * 2001-06-18 2005-03-15 Webtv Networks Inc. (Microsoft) Method and systems for compressing a video stream with minimal loss after subsampled decoding
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
JP4193406B2 (ja) 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
US7469012B2 (en) * 2002-05-14 2008-12-23 Broadcom Corporation System and method for transcoding entropy-coded bitstreams
US20040057521A1 (en) * 2002-07-17 2004-03-25 Macchina Pty Ltd. Method and apparatus for transcoding between hybrid video CODEC bitstreams
US7266132B1 (en) * 2002-10-24 2007-09-04 Cisco Technology, Inc. Flexible memory allocation for data transmission
JP4104066B2 (ja) * 2003-02-26 2008-06-18 Kddi株式会社 ビデオ情報複数同時符号化装置
JP4301495B2 (ja) * 2003-08-13 2009-07-22 Kddi株式会社 動画像圧縮符号化装置
US7933336B2 (en) * 2004-11-30 2011-04-26 Humax Co., Ltd. Image down-sampling transcoding method and device
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7782955B2 (en) * 2005-09-28 2010-08-24 Avisonic Technology Corporation Transcoder and transcoding method operating in a transform domain for video coding schemes possessing different transform kernels
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
WO2009045636A2 (en) * 2007-09-28 2009-04-09 Dolby Laboratories Licensing Corporation Multimedia coding and decoding with additional information capability
US8767838B1 (en) * 2008-09-05 2014-07-01 Zenverge, Inc. Cascading multiple video transcoders in a video processing system
US9083976B2 (en) * 2008-09-05 2015-07-14 Freescale Semiconductor, Inc. Processing a video stream in real time based on binary information of the video stream
US8352992B1 (en) * 2008-10-09 2013-01-08 Hewlett-Packard Development Company, L.P. Wireless media streaming
WO2010079797A1 (ja) * 2009-01-08 2010-07-15 日本電気株式会社 画像変換装置と方法及びプログラム
JP5353532B2 (ja) * 2009-07-29 2013-11-27 ソニー株式会社 画像処理装置及び画像処理方法
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法
US20120179833A1 (en) * 2010-06-02 2012-07-12 Onmobile Global Limited Method and apparatus for adapting media
RU2010140334A (ru) * 2010-10-01 2012-04-10 ЭлЭсАй Корпорейшн (US) Внутрикадровое режимное предсказание для видеотранскодера
US8902973B2 (en) * 2011-04-05 2014-12-02 Dialogic Corporation Perceptual processing techniques for video transcoding
US8804820B2 (en) * 2011-04-21 2014-08-12 Dialogic Corporation Rate control with look-ahead for video transcoding
US9014279B2 (en) * 2011-12-10 2015-04-21 Avigdor Steinberg Method, system and apparatus for enhanced video transcoding
CA2791935A1 (en) * 2012-03-30 2013-09-30 Disternet Technology, Inc. Transcoding system and method
US10863184B2 (en) * 2012-08-15 2020-12-08 Texas Instruments Incorporated Fast intra-prediction mode selection in video coding
MX340603B (es) * 2012-09-03 2016-07-15 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
US10341673B2 (en) * 2013-05-08 2019-07-02 Integrated Device Technology, Inc. Apparatuses, methods, and content distribution system for transcoding bitstreams using first and second transcoders
US10326805B2 (en) * 2013-05-31 2019-06-18 Avago Technologies International Sales Pte. Limited Distributed adaptive bit rate proxy system
US9445060B2 (en) * 2013-07-03 2016-09-13 Broadcom Corporation Layered locally cached content transcoding system
US20150271491A1 (en) * 2014-03-24 2015-09-24 Ati Technologies Ulc Enhanced intra prediction mode selection for use in video transcoding
US9414100B2 (en) * 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US10027989B2 (en) * 2015-05-06 2018-07-17 Integrated Device Technology, Inc. Method and apparatus for parallel decoding
EP3345385A1 (en) * 2015-09-04 2018-07-11 Telefonaktiebolaget LM Ericsson (PUBL) Improved cloud dvr storage
US10531135B2 (en) * 2016-01-04 2020-01-07 Telefonaktiebolaget Lm Ericsson (Publ) Network recording apparatus
US10482917B2 (en) * 2016-02-16 2019-11-19 Arris Enterprises Llc Efficient just-in-time transcoding by parameter extraction
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
US10812558B1 (en) * 2016-06-27 2020-10-20 Amazon Technologies, Inc. Controller to synchronize encoding of streaming content
US10938687B2 (en) * 2017-03-29 2021-03-02 Accenture Global Solutions Limited Enabling device under test conferencing via a collaboration platform

Also Published As

Publication number Publication date
WO2019053932A1 (ja) 2019-03-21
US11375216B2 (en) 2022-06-28
US20200213602A1 (en) 2020-07-02
JP2019054335A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6636122B2 (ja) 復号装置および復号方法
JP2022043032A (ja) 映像復号化方法、映像符号化方法およびビットストリーム送信方法
JP2017216698A (ja) ビデオビットストリームをトランスコーディングする方法及び構成
US10432950B2 (en) Image encoding/decoding method and device
JP6305279B2 (ja) 映像圧縮装置および映像再生装置
KR102435739B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
JP2013545372A (ja) 映像情報符号化方法及び復号化方法
US9560356B2 (en) Image processing apparatus, image processing method, and image processing system
WO2014106878A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
JP2022526304A (ja) イントラ予測のための方法および装置
TWI530166B (zh) Image coding apparatus, video coding method, and image coding program recording medium, transmission apparatus, transmission method and transmission program recording medium, video decoding apparatus, image decoding method, and image decoding program recording medium, and receiving apparatus, receiving method And receiving program recording media
KR101596085B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR102110230B1 (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용한 장치
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
JP6977422B2 (ja) トランスコード装置、トランスコード方法及びトランスコードプログラム
JP2013077899A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
KR102356481B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
JP2018107692A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
JP6566864B2 (ja) ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
KR102418524B1 (ko) 영상 부호화/복호화 방법 및 장치
JP5873290B2 (ja) 符号化装置
KR102334374B1 (ko) 영상 부호화/복호화 방법 및 장치
JP6574148B2 (ja) トランスコードシステム、トランスコード方法、コンピュータ可読記録媒体および符号化装置
KR20130105554A (ko) 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211025

R150 Certificate of patent or registration of utility model

Ref document number: 6977422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150