JP6642573B2 - 符号化装置、復号装置及び伝送制御方法 - Google Patents

符号化装置、復号装置及び伝送制御方法 Download PDF

Info

Publication number
JP6642573B2
JP6642573B2 JP2017524670A JP2017524670A JP6642573B2 JP 6642573 B2 JP6642573 B2 JP 6642573B2 JP 2017524670 A JP2017524670 A JP 2017524670A JP 2017524670 A JP2017524670 A JP 2017524670A JP 6642573 B2 JP6642573 B2 JP 6642573B2
Authority
JP
Japan
Prior art keywords
tile
transmission
unit
video
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524670A
Other languages
English (en)
Other versions
JPWO2016208241A1 (ja
Inventor
勇司 藤本
勇司 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016208241A1 publication Critical patent/JPWO2016208241A1/ja
Application granted granted Critical
Publication of JP6642573B2 publication Critical patent/JP6642573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、符号化装置、復号装置及び伝送制御方法に関する。
高性能な端末の普及と有線及び無線ネットワークの広がりとによって、ネットワーク経由で映像を伝送し又は視聴する機会がますます増加している。限られたネットワーク帯域幅を用いて映像をリアルタイムで又は少なくとも低遅延で伝送しようとする場合、映像は、通常、伝送に先立って圧縮符号化され、帯域幅に合わせてレート制御される。そのような映像伝送の用途は、例えば、ビデオ会議、ビデオチャット、セキュリティカメラを通じた監視、及びライブ映像（スポーツ、コンサートなど）の配信を含み得る。
ＭＰＥＧ−２及びＨ．２６４／ＡＶＣといった従来の圧縮符号化技術は、フレーム内予測（イントラ予測）に加えて、フレーム間予測に基づく動き補償（インター予測）をサポートすることにより、高い符号化効率を達成している。しかし、伝送されるはずであった符号化情報がパケット欠損などの理由に起因して利用不能となった場合、フレーム間予測は機能せず、コンテンツの復号は失敗する。こうした失敗の後、イントラ予測のみを用いて符号化された画像（ここではＩ（Intra）ピクチャという）を一旦伝送することで、コンテンツの正常な復号／再生をリカバリすることができる。こうした伝送は、リフレッシュと呼ばれる。しかし、Ｉピクチャの符号量は、一般的に他のタイプのピクチャ（例えば、動き補償が利用可能なＰピクチャ又はＢピクチャ）と比較して格段に多いため、リカバリの期間中に伝送の遅延又は再度の復号失敗が発生することがある。
特許文献１は、上述したリフレッシュを部分領域ごとに複数フレームにわたって分散的に行うことで、リフレッシュの最中の符号量の増加を抑制する技術を開示している。特許文献２は、複数フレームにわたる分散的なリフレッシュの際にリカバリ済みでない領域へのフレーム間参照が行われないように動き補償の探索範囲を動的に制御する技術を開示している。
Ｈ．２６５／ＨＥＶＣ（以下、ＨＥＶＣという）は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により標準化された、Ｈ．２６４／ＡＶＣの後継の圧縮符号化技術である（非特許文献１参照）。
特開平７−９５５６４号公報 特開平７−９５５８８号公報
ITU-T， "H.265: High efficiency video coding", Recommendation ITU-T H.265， 2014年10月
従来の複数フレームにわたる分散的なリフレッシュは、特許文献２で説明されているようなフレーム間参照の複雑な制御を必要とするため、デバイスの簡易な実装を妨げていた。
よって、より簡易な実装を可能にする技術が依然として望まれている。
本開示によれば、符号化すべき映像に含まれる画像の各々を複数のタイルへと分割し、前記複数のタイルのうちの１つ以上を含む部分領域を前記画像へ設定する設定部と、各画像をタイルごとに符号化して符号化ストリームを生成する符号化部と、前記映像を復号する復号装置への前記符号化ストリームの伝送を制御する伝送制御部と、を備え、前記設定部は、前記部分領域に含まれるタイルについて動き補償のためのタイル外参照を禁止に設定し、前記伝送制御部は、前記復号装置における符号化情報の欠損又は不在の検出後に、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送を制限する、符号化装置が提供される。
また、本開示によれば、符号化装置において復号装置への映像の伝送を制御する伝送制御方法であって、符号化すべき映像に含まれる画像の各々を複数のタイルへと分割することと、前記複数のタイルのうちの１つ以上を含む部分領域を前記画像へ設定することと、各画像をタイルごとに符号化して符号化ストリームを生成することと、前記復号装置への前記符号化ストリームの伝送を制御することと、を含み、前記部分領域に含まれるタイルについて動き補償のためのタイル外参照は禁止に設定され、前記復号装置における符号化情報の欠損又は不在の検出後に、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送が制限される、伝送制御方法が提供される。
また、本開示によれば、復号すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域に関する領域情報を、前記映像の伝送元である符号化装置へ提供する伝送制御部と、前記符号化装置から受信される前記映像の符号化ストリームから前記映像を復号する復号部と、を備え、通常時には、前記複数のタイルの全てに対応する前記符号化ストリームが受信され、必要とされる符号化情報の欠損又は不在の検出後には、前記領域情報に基づいて設定される、動き補償のためのタイル外参照が禁止される前記部分領域に含まれるタイルに対応する前記符号化ストリームのみが受信される、復号装置が提供される。
また、本開示によれば、復号装置において符号化装置からの映像の伝送を制御する伝送制御方法であって、復号すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域に関する領域情報を、前記映像の伝送元である符号化装置へ提供することと、
前記符号化装置から前記映像の符号化ストリームを受信することと、受信される前記符号化ストリームから前記映像を復号することと、を含み、通常時には、前記複数のタイルの全てに対応する前記符号化ストリームが受信され、必要とされる符号化情報の欠損又は不在の検出後には、前記領域情報に基づいて設定される、動き補償のためのタイル外参照が禁止される前記部分領域に含まれるタイルに対応する前記符号化ストリームのみが受信される、伝送制御方法が提供される。
本開示に係る技術は、映像を復号するための符号化情報が欠損し又は不在となった状況から適切な復号映像を得るための仕組みを、簡易に実装することを可能とする。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
スライス分割を用いた分散リフレッシュについて説明するための説明図である。 スライス分割を用いた分散リフレッシュにおけるフレーム間参照の制御について説明するための説明図である。 スライス分割とタイル分割とを対比して示す説明図である。 ＨＥＶＣにおけるタイル外参照の禁止の設定について説明するための説明図である。 一実施形態に係る映像伝送システムの構成の一例を示すブロック図である。 符号化装置の構成の一例を示すブロック図である。 リカバリ用伝送領域の基本的なアイディアについて説明するための説明図である。 リカバリ用伝送領域を決定する手法の第１の例について説明するための説明図である。 リカバリ用伝送領域を決定する手法の第２の例について説明するための説明図である。 リカバリ用伝送領域を決定する手法の第３の例について説明するための説明図である。 領域内リカバリの一例について説明するための説明図である。 伝送領域拡大の第１の例について説明するための説明図である。 伝送領域拡大の第２の例について説明するための説明図である。 中途再生時のリカバリの一例について説明するための説明図である。 シーン変化時のリカバリの一例について説明するための説明図である。 一実施形態に係る符号化側の伝送制御処理の流れの一例を示すフローチャートである。 図１２に示した領域設定処理の詳細な流れの第１の例を示すフローチャートである。 図１２に示した領域設定処理の詳細な流れの第２の例を示すフローチャートである。 図１２に示した領域リフレッシュ処理の詳細な流れの一例を示すフローチャートである。 図１２に示したタイルリフレッシュ処理の詳細な流れの一例を示すフローチャートである。 図１２に示した領域拡大処理の詳細な流れの第１の例を示すフローチャートである。 図１２に示した領域拡大処理の詳細な流れの第２の例を示すフローチャートである。 復号装置の構成の一例を示すブロック図である。 部分画像のスケーリングの一例について説明するための説明図である。 部分画像の矩形表示の一例について説明するための説明図である。 一実施形態に係る復号側の伝送制御処理の流れの一例を示すフローチャートである。 装置のハードウェア構成の一例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．導入
１−１．関連技術の説明
１−２．ＨＥＶＣにおけるタイル分割
２．システムの概要
３．符号化装置の構成
３−１．基本的な構成
３−２．リカバリ用伝送領域の設定
３−３．パケット欠損時のリカバリ
３−４．他の事象によりトリガされるリカバリ
４．符号化時の処理の流れ
５．復号装置の構成
６．復号時の処理の流れ
７．ハードウェア構成例
８．応用例
９．まとめ
＜１．導入＞
［１−１．関連技術の説明］
上述したように、従来の圧縮符号化技術の多くは、イントラ予測及びインター予測という２種類の予測符号化モードをサポートする。インター予測は、フレーム間予測に基づく動き補償を包含し、高い符号化効率の達成に寄与する。しかし、参照すべき符号化情報の欠損又は不在に起因して、フレーム間予測が機能せず、コンテンツの復号が失敗することがある。復号失敗が発生した後、イントラ予測のみを用いて符号化されたＩピクチャを一旦伝送することで、コンテンツの正常な復号／再生をリカバリすることができる。しかし、このリフレッシュの最中に、Ｉピクチャの符号化のための符号量の増加が、伝送の遅延又は再度の復号失敗を招来する恐れがある。特許文献１及び２により開示されている分散リフレッシュは、こうしたリカバリ期間中の符号量の増加を抑制する。
分散リフレッシュは、例えば、Ｈ．２６４／ＡＶＣ及びＨＥＶＣにおいてサポートされているスライス分割を用いて実装されることができる。スライスは、水平方向に沿ったストライプ状にピクチャを分割することにより形成される、符号化処理の単位の１タイプである。図１Ａは、スライス分割を用いた分散リフレッシュについて説明するための説明図である。図１Ａを参照すると、ピクチャＰ００、Ｐ０１、Ｐ０２、Ｐ０３及びＰ０４が復号順に並べられている。これらピクチャの各々は、一例として、４つのスライスＳＬ１、ＳＬ２、ＳＬ３及びＳＬ４に分割されている。ここで、ピクチャＰ００において、符号化情報の欠損又は不在に起因する復号失敗が発生したものとする。復号失敗を認識したエンコーダは、後続する最初のピクチャＰ０１のスライスＳＬ１を、イントラスライスに設定する。４つのスライスＳＬ１、ＳＬ２、ＳＬ３及びＳＬ４のうちのスライスＳＬ１のみをイントラスライスとして符号化することで、ピクチャＰ０１全体をイントラピクチャに設定するケースと比較して、符号量の増加が抑制される。続いて、エンコーダは、２番目のピクチャＰ０２のスライスＳＬ２、３番目のピクチャＰ０３のスライスＳＬ３及び４番目のピクチャＰ０４のスライスＳＬ４を順にイントラスライスとして符号化する。このように順次イントラスライスに設定された４つのスライスについてデコーダ側で復号が完了すると、ピクチャ全体の正常な復号／再生が再び可能となる。
図１Ａに示したようにイントラスライスの設定を複数のフレームにわたって分散させることで、発生する符号量のピークが伝送帯域幅に収まる可能性が高まる。しかし、コンテンツを適切に復号するためには、次に説明するような追加的な制御をさらに要する。図１Ｂは、スライス分割を用いた分散リフレッシュにおけるフレーム間参照の制御について説明するための説明図である。図１Ｂには、図１Ａに示したピクチャのうちのピクチャＰ０１、Ｐ０２及びＰ０３が再び示されている。ピクチャＰ０１が復号される時点で、スライスＳＬ１は、イントラスライスであることから、新たな情報の欠損が生じない限りは復号可能である。一方、スライスＳＬ２、ＳＬ３及びＳＬ４は、イントラスライスではないことから、過去のピクチャの復号失敗の影響を受けて、復号不能であり得る（即ち、この時点ではリカバリされない）。ピクチャＰ０２が復号される時点で、今度はスライスＳＬ２がイントラスライスであり、よってスライスＳＬ２は復号可能である。スライスＳＬ３及びＳＬ４は、依然としてイントラスライスではないことから、未だリカバリされない。スライスＳＬ１は、リカバリ済みであるものの、イントラスライスではないことから、例えば参照ピクチャＰ０１の（未リカバリの）スライスＳＬ２、ＳＬ３又はＳＬ４を参照しようとすると、再び復号不能となる。そのため、エンコーダは、Ｐスライス又はＢスライスであるはずのピクチャＰ０２のスライスＳＬ１のフレーム間予測を、ピクチャＰ０１のスライスＳＬ２、ＳＬ３及びＳＬ４が参照されないように制御する。同様に、ピクチャＰ０３について、エンコーダは、Ｐスライス又はＢスライスであるはずのスライスＳＬ１及びＳＬ２のフレーム間予測を、ピクチャＰ０２のスライスＳＬ３及びＳＬ４（並びに、より以前のピクチャの復号不能スライス）が参照されないように制御する。
このように、従来の分散リフレッシュの手法は、これをＨ．２６４／ＡＶＣのスライス分割と組み合わせて活用することができるものの、比較的複雑なフレーム間参照の制御を追加的に実装することをデバイスの開発者に要求する。よって、リアルタイムで又は少なくとも低遅延での伝送を前提として、伝送帯域幅が限られている状況での安定的な映像の伝送を、より簡易な実装で実現することを可能にする技術が依然として望まれている。本開示に係る技術の発明者は、ＨＥＶＣにおいて採用されたタイル分割がこうした簡易な実装に適したフレームワークであることを見出した。
［１−２．ＨＥＶＣにおけるタイル分割］
図２Ａは、Ｈ．２６４／ＡＶＣ又はＨＥＶＣにおけるスライス分割と、ＨＥＶＣにおけるタイル分割とを対比的に示している。スライスは、上述したように、水平方向に沿ったストライプ状にピクチャを分割することにより形成される。あるスライスと次のスライスとの間の境界は必ずしもピクチャの端部に無くてもよく、ピクチャ内でラスタスキャン順に並ぶＬＣＵの中の任意の連続する２つのＬＣＵの間の境界がスライス境界になり得る（図２Ａの左にその一例が示されている）。一方、タイルは、ピクチャを格子状に分割することにより形成される。図２Ａの右の例では、２行及び２列で合計４つのタイルＴ１〜Ｔ４が形成されている。ピクチャを符号化し又は復号する際に、ＬＣＵは各タイル内でラスタスキャン順に処理される（図中の矢印参照）。同じピクチャ内で、ループフィルタなどの一部の例外を除いてタイル間に依存関係が存在しないため、タイルごとの並列処理が可能である。なお、図２Ａの例に限定されず、１つのピクチャ内でタイルのサイズは均等でなくてもよい。
ＨＥＶＣでは、拡張的な補足情報を指定するＳＥＩ（Supplemental Enhancement Information）メッセージの１つであるtemporal motion-constrained tile sets SEI messageのシンタックスに、タイル外参照が行われるか否かを定義するパラメータが含まれる。非特許文献１において仕様化されているこのメッセージのシンタックスを、下表に示す。
Figure 0006642573
表の第１行のフラグmc_all_tiles_exact_sample_value_match_flagがTrue（＝“１”）である場合、タイルセット内の各タイルは他のタイルを参照することなく符号化され、タイル境界はピクチャ境界と同様に扱われる。即ち、この場合、タイル外参照は、タイルセット内で共通的に禁止される。第１６行のフラグmc_exact_sample_value_match_flag[i]がTrueである場合、タイルセット内のｉ番目のタイルは他のタイルを参照することなく符号化され、ｉ番目のタイルのタイル境界はピクチャ境界と同様に扱われる。即ち、フラグmc_exact_sample_value_match_flag[i]を利用することで、個別のタイルについてタイル外参照を禁止し又は許可することができる。本明細書では、これらフラグのうちの少なくとも１つをタイル外参照禁止フラグという。第４行のフラグlimited_tile_set_display_flagがTrueである場合、ｉ個のタイルについてそれぞれ第９行のフラグdisplay_tile_set_flag[i]が符号化される。フラグdisplay_tile_set_flag[i]がTrueである場合、ｉ番目のタイルが表示されることが意図される。よって、フラグdisplay_tile_set_flag[i]を、デコーダ側でのタイル別の表示／非表示をエンコーダから指示するために活用することができる。
図２Ｂは、ＨＥＶＣにおけるタイル外参照の禁止の設定について説明するための説明図である。図２Ｂには、タイルＴ１〜Ｔ４へと分割されるピクチャＰ１１及びＰ１２が示されている。ピクチャＰ１２は、ピクチャＰ１１に後続するピクチャである。一例として、タイルＴ１についてタイル外参照禁止フラグがTrueに設定されると、ピクチャＰ１２が復号される際、タイルＴ１と他のタイルとの間のタイル境界は、ピクチャ境界と同様に扱われる。タイルＴ１の動き補償において、ピクチャＰ１１（又はその他の参照ピクチャ）のタイルＴ２、Ｔ３及びＴ４を参照することは禁止される。一方、ピクチャＰ１２のタイルＴ１からピクチャＰ１１のタイルＴ１を参照すること（即ち、タイル内参照）は禁止されない。このように、ＨＥＶＣにおいて採用されたタイル分割のフレームワークは、画像の部分領域ごとの参照関係の制御に適した形で設計されている。このフレームワークの設計の主な狙いは、デコーダでの高度な並列処理の実現であった。しかし、次節以降で本開示に係る技術の実施形態として詳しく説明するように、タイル分割のフレームワークを分散リフレッシュの実装のために活用することが可能である。
＜２．システムの概要＞
図３は、本開示に係る技術の一実施形態に係る映像伝送システム１の構成の一例を示している。映像伝送システム１は、少なくとも１つの符号化装置１０ａ、１０ｂと、少なくとも１つの復号装置６０ａ、６０ｂ、６０ｃとを含む。これら装置は、ネットワーク５を介して互いに接続される。
図３の例において、符号化装置１０ａは、タブレットＰＣ（Personal Computer）又はスマートフォンなどの携帯端末である。符号化装置１０ｂは、ビデオカメラである。本明細書において、符号化装置１０ａ及び１０ｂを互いに区別する必要の無い場合には、これらを符号化装置１０と総称する。符号化装置１０は、自ら撮像し又は他の装置により撮像された映像を符号化するためのエンコーダを有し、エンコーダにより生成される符号化ストリームをネットワーク５を介して復号装置６０へとストリーミングする。ネットワーク通信用の通信インタフェースは、符号化装置１０の内部に設けられてもよく、又は外部に設けられてもよい。
図３の例において、復号装置６０ａは、ノートブックＰＣである。復号装置６０ｂは、タブレットＰＣ又はスマートフォンなどの携帯端末である。復号装置６０ｃは、テレビジョン受像機である。本明細書において、復号装置６０ａ、６０ｂ及び６０ｃを互いに区別する必要の無い場合には、これらを復号装置６０と総称する。復号装置６０は、ネットワーク５を介して受信される符号化ストリームから映像を復号するためのデコーダを有する。復号装置６０は、デコーダにより復号される映像を再生するためのディスプレイをさらに有していてもよい。通信インタフェース及びディスプレイは、復号装置６０の内部に設けられてもよく、又は外部に設けられてもよい。
ネットワーク５は、ＧＳＭ、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａｄｖａｎｃｅｄ、ＷｉＭＡＸ若しくは無線ＬＡＮ（Local Area Network）などの無線ネットワークであってもよく、又は有線ネットワークであってもよい。ネットワーク５は、少なくとも一部に帯域幅の狭いリンクを包含し得る。符号化装置１０及び復号装置６０は、送受信される符号化ストリームの符号量のピークがネットワーク５の帯域幅を超過しないように、上述したタイル分割のフレームワークを活用する。
＜３．符号化装置の構成＞
［３−１．基本的な構成］
図４は、符号化装置１０の構成の一例を示すブロック図である。図４を参照すると、符号化装置１０は、並び替えバッファ１１、タイル設定部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、伝送制御部１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、ＳＡＯフィルタ２５、フレームメモリ２６、スイッチ２７、モード設定部２８、イントラ予測部３０及びインター予測部４０を備える。
並び替えバッファ１１は、符号化すべき映像を構成する一連の画像の画像データを、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて並び替える。並び替えバッファ１１は、並び替え後の画像データをタイル設定部１２、イントラ予測部３０及びインター予測部４０へ出力する。
タイル設定部１２は、ピクチャに相当する画像の各々を複数のタイルへと分割する。各ピクチャに含まれるタイルの数はいくつであってもよく、各タイルはいかなるサイズを有していてもよい。タイル分割の態様（タイルの数及び各タイルのサイズ）は、典型的には複数のフレームわたって維持され、但し何らかのタイミングでタイル分割の態様は変化してもよい。
本実施形態において、タイル設定部１２は、複数のタイルのうちの１つ以上を含む部分領域であるリカバリ用伝送領域を、符号化すべき画像へ設定する。リカバリ用伝送領域は、復号側での符号化情報の欠損又は不在が符号化装置１０又は復号装置６０において検出された後、リカバリが完了するまでの期間中に伝送の対象とされる領域である。リカバリ用伝送領域を設定するための手法のいくつかの例について、後にさらに説明する。また、タイル設定部１２は、リカバリ期間中のタイルごとの予測符号化モードの設定を制御する。例えば、後にさらに説明するように、リカバリ用伝送領域内のタイルのうち符号化情報の欠損又は不在に起因して復号不能となったタイルは、リカバリ期間中に少なくとも一度、イントラタイルに設定される。イントラタイルとは、タイル内の全てのブロックについて予測符号化のためにイントラ予測のみが使用されるタイルである。一方、符号化ストリームが正常に伝送されている通常の期間中の伝送の対象は、ピクチャ全体であってよい。
後述する減算部１３からインター予測部４０までの典型的なエンコーダの処理は、タイル設定部１２によるタイル分割に従って、タイル単位で実行される。タイル設定部１２は、リカバリ用伝送領域に含まれるタイルについて、動き補償のためのタイル外参照を禁止に設定する。そして、タイル設定部１２は、タイル分割の態様を示すタイルパラメータと、上述したタイル外参照禁止フラグとを含み得るタイル情報を生成し、生成したタイル情報を可逆符号化部１６へ出力する。
減算部１３は、タイル設定部１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
直交変換部１４は、各タイル内のＣＴＵに設定される１つ以上のＴＵの各々について直交変換処理を実行する。ここでの直交変換は例えば、離散コサイン変換又は離散サイン変換などであってよい。より具体的には、直交変換部１４は、減算部１３から入力される予測誤差データを、ＴＵごとに、空間領域の画像信号から周波数領域の変換係数データに変換する。そして、直交変換部１４は、変換係数データを量子化部１５へ出力する。
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。量子化部１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。
可逆符号化部１６は、各タイルについて量子化部１５から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、デコーダにより参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームへ挿入する。可逆符号化部１６により符号化されるパラメータは、上述したタイル情報、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆符号化部１６は、生成した符号化ストリームを伝送制御部１７へ出力する。
伝送制御部１７は、可逆符号化部１６から入力される符号化ストリームのネットワーク５を介する復号装置６０への伝送を制御する。伝送制御部１７は、例えば、復号装置６０から伝送要求が受信されると、映像コンテンツの符号化ストリームの伝送を開始する。伝送制御部１７により伝送される符号化ストリームは、伝送領域に含まれるタイルに対応する符号化ストリームである。典型的には、通常の期間中の伝送領域は、ピクチャ全体に相当する。また、伝送制御部１７は、リカバリを開始すべき事象の発生を監視する。リカバリを開始すべき事象は、例えば、映像を復号する装置における符号化情報の欠損又は不在を含む。必要とされる符号化情報の欠損は、例えば、伝送経路の輻輳又は一時的な伝送品質の低下などに起因するパケット欠損の結果として生じ得る。必要とされる符号化情報の不在は、例えば、映像コンテンツの中途からの再生が要求された場合に生じ得る（再生開始時点よりも前の参照ピクチャの情報が伝送されていない）。伝送制御部１７は、こうした事象を検出すると、伝送領域をタイル設定部１２により予め設定されたリカバリ用伝送領域へと縮小し、リカバリ用伝送領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように伝送を制限する。リカバリ期間中は、伝送領域はリカバリ用伝送領域に等しい。リカバリが完了すると、伝送領域はピクチャ全体へと、リカバリ用伝送領域は部分領域へと再設定される。
レート制御部１８は、伝送制御部１７により判定される所望の伝送レートに応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、所望の伝送レートが相対的に低い時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、所望の伝送レートが相対的に高い時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから原画像を再構築（リコンストラクト）する役割を有する。
逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を実行することにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部４０により生成される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２６へ出力する。
デブロックフィルタ２４及びＳＡＯフィルタ２５は、それぞれ、リコンストラクト画像の画質の向上を目的とするインループフィルタである。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをＳＡＯフィルタ２５へ出力する。ＳＡＯフィルタ２５は、デブロックフィルタ２４から入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データをフレームメモリ２６へ出力する。
フレームメモリ２６は、加算部２３から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ２５から入力されるインループフィルタの適用後の復号画像データを記憶媒体を用いて記憶する。
スイッチ２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、スイッチ２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０に供給する。
モード設定部２８は、イントラ予測部３０及びインター予測部４０から入力されるコストの比較に基づいて、ＣＴＵごとに予測符号化モードを設定する。但し、モード設定部２８は、イントラタイルとして設定されるタイルについては、当該タイル内の全てのＣＴＵの予測符号化モードをイントラ予測モードに設定する。モード設定部２８は、イントラ予測モードを設定したＣＴＵについては、イントラ予測部３０により生成される予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部２８は、インター予測モードを設定したＣＴＵについては、インター予測部４０により生成される予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
イントラ予測部３０は、原画像データ及び復号画像データに基づいて、各タイル内のＣＴＵに設定される１つ以上のＰＵの各々についてイントラ予測処理を実行する。例えば、イントラ予測部３０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部３０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、イントラ予測部３０は、選択した最適な予測モードに従って予測画像データを生成する。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
インター予測部４０は、原画像データ及び復号画像データに基づいて、各タイル内のＣＴＵに設定される１つ以上のＰＵの各々についてインター予測処理（動き補償）を実行する。例えば、インター予測部４０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。動き補償のための動きベクトルの探索の際に、インター予測部４０は、タイル外参照禁止フラグがTrueに設定されているタイルについては、全ての参照ピクチャにわたって、同じ位置のタイルのみを探索範囲に含める。次に、インター予測部４０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、インター予測部４０は、選択した最適な予測モードに従って予測画像データを生成する。そして、インター予測部４０は、インター予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
［３−２．リカバリ用伝送領域の設定］
本項では、タイル設定部１２により設定されるリカバリ用伝送領域について、より詳しく説明する。
（１）基本的なアイディア
図５は、リカバリ用伝送領域の基本的なアイディアについて説明するための説明図である。図５には、水平方向に沿って時間軸が示されており、時刻ｔ１から時刻ｔ１０までのいくつかのタイミングがプロットされている。時間軸の下には、各タイミングにおいて符号化されるピクチャと、復号装置へと伝送されるピクチャとが示されている。ここでは、各ピクチャは、４行４列で１６個のタイルへと分割されるものとする。時刻ｔ１では、通常の伝送が行われており、伝送領域Ｒ１はピクチャ全体に相当する。タイル設定部１２により設定されたリカバリ用伝送領域Ｒ２は、ピクチャの中央の２行２列で４個のタイルを占める。リカバリ用伝送領域Ｒ２外のタイルも、この時点では伝送される。
時刻ｔ２において伝送領域は変化しないが、伝送の結果として符号化情報が欠損し、一部のタイルが復号不能となる。伝送制御部１７は、時刻ｔ３において、こうした欠損を、例えば復号装置６０（又はネットワーク５内のいずれかのノード）からのシグナリングに基づいて検出し、復号不能となったタイルを判定する。時刻ｔ４において、伝送制御部１７は、伝送領域Ｒ１をリカバリ用伝送領域Ｒ２に一致するように縮小し、リカバリ用伝送領域Ｒ２内の４個のタイルに対応する符号化ストリームのみが伝送される。こうした伝送の制限は、時刻ｔ５においても継続され、この間に、イントラタイルの符号化、伝送及び復号を通じて、リカバリ用伝送領域Ｒ２内の画像の正常な復号／再生へのリカバリが行われる。
時刻ｔ６を含むリカバリ期間の後半において、タイル設定部１２は、リカバリ用伝送領域Ｒ２（＝伝送領域Ｒ１）を、タイル単位で漸進的に拡大する。新たな拡大部分に対応するタイルは、イントラタイルとして符号化される。リカバリ用伝送領域Ｒ２外のタイルが復号不能となった場合、こうした領域の漸進的な拡大を通じて、一旦復号不能となったタイルの画像の正常な復号／再生へのリカバリが行われる。
全てのタイルの画像の正常な復号／再生が完了すると、時刻ｔ１０において、リカバリ用伝送領域Ｒ２が再設定される。ここでのリカバリ用伝送領域Ｒ２は、時刻ｔ１において設定されていた領域と等しくてもよく、又は異なってもよい。伝送領域Ｒ１は、ピクチャ全体に相当する。
（２）リカバリ用伝送領域の決定
図６Ａは、リカバリ用伝送領域を決定する手法の第１の例について説明するための説明図である。図６Ａの例において、ピクチャＰ３ａは、セキュリティカメラにより撮像される映像に含まれる１つのフレームである。ピクチャＰ３ａは、監視される街路の一角を映している。リカバリ用伝送領域Ｒ２ａは、安定的な監視が望まれる、ピクチャＰ３ａの中央の矩形の領域である。例えば、セキュリティカメラをセットアップする運用者であるユーザが、こうしたリカバリ用伝送領域を定義する。リカバリ用伝送領域を定義する領域情報は、予め生成され、符号化装置１０のメモリにより記憶され得る。タイル設定部１２は、こうした領域情報をメモリから読み出し、ピクチャＰ３ａ（及び後続のピクチャ群）にリカバリ用伝送領域Ｒ２ａを設定し得る。
図６Ｂは、リカバリ用伝送領域を決定する手法の第２の例について説明するための説明図である。図６Ｂの例において、ピクチャＰ３ｂは、ビデオ会議システムを通じて伝送される映像に含まれる１つのフレームである。タイル設定部１２は、例えば、映像コンテンツを解析することにより会議への参加者が主に映っている領域（人体領域又は顔領域など）を認識し、認識した領域をリカバリ用伝送領域Ｒ２ｂとしてピクチャＰ３ｂに設定し得る。
図６Ａ及び図６Ｂの例のように、リカバリ用伝送領域は、限定ではないものの、ユーザレベル又はアプリケーションレベルの要件に依存する、注目すべき（安定的な映像が提供されるべき）重要な注目領域であってよい。その代わりに、リカバリ用伝送領域は、そうした要件とは関係無く定義される固定的な領域であってもよい。他の例として、スポーツ映像の配信の用途では、試合が行われているフィールドが映る領域がリカバリ用伝送領域として決定されてもよい。また、コンサート映像の配信の用途では、アーティスト又はステージが映る領域がリカバリ用伝送領域として決定されてもよい。
図６Ｃは、リカバリ用伝送領域を決定する手法の第３の例について説明するための説明図である。図６Ｃの例では、復号装置６０ａにより復号されディスプレイに表示される映像を視聴するユーザが、安定的な映像の再生が求められる部分領域として、リカバリ用伝送領域Ｒ２ｃを決定する。復号装置６０ａは、ユーザインタフェースを介して取得されるユーザ入力に基づいてリカバリ用伝送領域Ｒ２ｃに関する領域情報を生成し、生成した領域情報を映像の伝送元である符号化装置１０ｂへ提供する。符号化装置１０ｂのタイル設定部１２は、このように復号装置６０ａから受信される領域情報に基づいて、リカバリ用伝送領域Ｒ２ｃを画像へ設定する。
［３−３．パケット欠損時のリカバリ］
本項では、リカバリ用伝送領域への伝送領域の縮小とタイルベースの分散リフレッシュとを通じて、映像コンテンツの正常な復号／再生へのリカバリがどのように行われ得るのかを、より詳細に説明する。本実施形態において、リカバリ期間は、例えば図５の時刻ｔ ４及びｔ５を含み得る領域内リカバリのための期間と、図６の時刻ｔ６を含み得る伝送領域拡大のための期間とに分けられる。但し、復号不能となったタイルがリカバリ用伝送領域の外にのみ存在する場合には、領域内リカバリは行われなくてよい。
（１）領域内リカバリ
図７は、領域内リカバリの一例について説明するための説明図である。図７の例では、リカバリ用伝送領域Ｒ３は、ピクチャの右上の３行３列で９個のタイルを占める。符号化情報の欠損が検出される前に、リカバリ用伝送領域Ｒ３に含まれるタイルのタイル外参照は禁止に設定される（図中左上）。リカバリ用伝送領域Ｒ３に含まれないタイルのタイル外参照は、許可されてもよく又は禁止されてもよい。そして、例えばリカバリ用伝送領域Ｒ３に含まれるタイルＴ１５が符号化情報の欠損に起因して復号不能となる（図中左下）と、伝送制御部１７は伝送領域をリカバリ用伝送領域Ｒ３へと縮小し、可逆符号化部１６はタイルＴ１５をイントラタイルとして符号化する（図中右上）。そして、イントラタイルであるタイルＴ１５に対応する符号化ストリームは、伝送制御部１７により伝送が制限されている期間中に復号側へと伝送される。
上述したように、タイルＴ１５をイントラタイルとして符号化した場合、そうでない場合（即ち、インター予測が許容される場合）と比較してタイルＴ１５について発生する符号量は増加する。しかし、イントラタイルはピクチャの一部分に限られる。また、伝送領域がリカバリ用伝送領域Ｒ３へと縮小され、同領域外のタイルに対応する符号化ストリームはリカバリ期間中に伝送されないため、イントラタイルに対応する符号化ストリームが消費可能な帯域幅が一時的に増大する。こうしたアプローチを通じて、リカバリ期間中に伝送の遅延又は再度の復号失敗が発生するリスクが低減される。また、帯域幅のオーバフローを防止するために画質を劣化させるような望ましくない処理（例えば、過度の量子化など）を行うことも不要となる。リカバリ用伝送領域Ｒ３内のタイルの各々においてタイル外参照が予め禁止に設定されているため、符号化情報の欠損の影響は、情報が直接的に失われたタイルのみに局所化される。即ち、図７の例では、タイルＴ１５は、一旦復号不能となった後にイントラタイルでの符号化／復号を通じてリカバリされる一方、リカバリ用伝送領域Ｒ３内の他のタイル（例えば、タイルＴ１２、Ｔ１３及びＴ１４）は、欠損の影響を受けることなく、引き続きインター予測可能である。よって、リカバリ期間中にこれらタイルをイントラタイルで符号化／復号する必要性もまた回避される。リカバリ期間中に、タイル外参照が許可されたタイルに対応する符号化ストリームは伝送されないため、伝送対象の全てのタイルについてフレーム間予測の参照エラーは発生しないはずである。
なお、図７の例では１つのタイルＴ１５のみがイントラタイルに設定されているが、符号化情報の欠損の影響の度合いに応じて、イントラタイルに設定すべきタイルの数は異なる。影響が複数のタイルにわたる場合、タイル設定部１２は、１ピクチャ当たりいくつのタイルをイントラタイルに設定するかを、利用可能な伝送帯域幅に依存して決定してもよい。
（２）伝送領域拡大−第１の例
図８は、伝送領域拡大の第１の例について説明するための説明図である。図８には、図７を用いて説明した領域内リカバリに続いて復号側へ伝送されるピクチャの例が、順に示されている。タイルＴ１５がイントラタイルでの符号化／復号を通じてリカバリされると、リカバリ用伝送領域Ｒ３内の全てのタイルが復号可能となる。その後、タイル設定部１２は、伝送領域拡大期間中に、リカバリ用伝送領域Ｒ３をタイル単位で漸進的に拡大する。図８の例では、１ピクチャ当たり１タイルずつ、リカバリ用伝送領域Ｒ３が拡大されている（Ｔ２１→Ｔ２２→Ｔ２３…）。この間、符号化部１６は、リカバリ用伝送領域Ｒ３の新たな拡大部分に対応するタイルを、イントラタイルとして符号化する。ここでも、イントラタイルはピクチャの一部分に限られるため、符号量のピークは抑制される。また、タイル外参照が許可されたタイルに対応する符号化ストリームは伝送されないため、伝送対象の全てのタイルについてフレーム間予測の参照エラーが新たに発生することを回避しつつ、復号可能な領域を拡大していくことができる。リカバリ用伝送領域Ｒ３外のタイルが符号化情報の欠損に起因して復号不能となった場合、そのタイルは、こうしたリカバリ用伝送領域Ｒ３の漸進的な拡大を通じて、伝送領域拡大の期間中に復号可能となる。
タイル設定部１２は、リカバリ用伝送領域の上述した漸進的な拡大を通じて全てのタイルが復号可能となった後に、リカバリ用伝送領域を部分領域に再設定する。この再設定の一例は、図５に示されている。リカバリ用伝送領域が再設定されると、リカバリ期間は終了し、通常の伝送が再開される。
（３）伝送領域拡大−第２の例
図９は、伝送領域拡大の第２の例について説明するための説明図である。図９には、図８と同様に、図７を用いて説明した領域内リカバリに続いて復号側へ伝送されるピクチャの例が、順に示されている。第２の例において、タイル設定部１２は、伝送制御部１７により伝送が制限されている期間中に、伝送帯域幅の利用可能性に基づいて動的に決定されるタイミングで、リカバリ用伝送領域を拡大する。図９の例では、タイルＴ２１がリカバリ用伝送領域Ｒ３に組み入れられた次のピクチャでは、利用可能な伝送帯域幅が小さいことから（例えば、注目領域の絵柄の変動が大きい場合、注目領域のために多くの帯域幅が消費される）、リカバリ用伝送領域Ｒ３は拡大されない。その後、十分な伝送帯域幅が得られるタイミングで、タイルＴ２２、タイルＴ２３といった順に、リカバリ用伝送領域Ｒ３が漸進的に拡大される。本実施形態によれば、タイル外参照の禁止によってリカバリ期間中のタイル間でのエラーの伝播が防止されるため、ネットワーク帯域幅が限られている状況において、このように動的に決定される任意のタイミングで、安全にイントラタイルを追加することができる。当初設定したリカバリ用伝送領域内の映像は、リカバリ期間中であっても継続的かつ安定的に復号／再生される。
図８及び図９に示した例から理解されるように、伝送領域拡大の期間中には、伝送領域は一時的に非矩形の形状をとり得る。タイル設定部１２は、このように伝送領域（リカバリ用伝送領域に等しい）が矩形ではない場合に、復号装置６０により復号される画像が矩形で表示されるように、タイルごとの表示又は非表示を設定してもよい。例えば、矩形の部分から外れるタイルについて表１を用いて説明したフラグdisplay_tile_set_flag[i]をFalse（＝“０”）に設定し、他のタイルについて同フラグをTrueに設定することにより、デコーダ側での追加的な実装を要することなく、表示される画像を矩形にすることができる。
［３−４．他の事象によりトリガされるリカバリ］
本実施形態において、リカバリをトリガする事象の一例は、上述したパケットの欠損である。リカバリをトリガする事象の他の例は、映像コンテンツの中途再生及びシーン変化を含み得る。
（１）中途再生
図１０は、中途再生時のリカバリの一例について説明するための説明図である。図１０を参照すると、図５と同様の時間軸が再び示されており、時刻ｔ２から時刻ｔ１０までのいくつかのタイミングがプロットされている。但し、図５の例では時刻ｔ１からｔ２にかけて通常の伝送が行われていたのに対し、ここでは符号化装置１０により映像は符号化されるものの、符号化ストリームは復号装置６０へ伝送されない。そして、伝送制御部１７は、時刻ｔ３において、映像コンテンツを視聴しようとするユーザから、ピクチャＰ４からの中途再生を求める要求を受信する。この時点で、復号側では、ピクチャＰ４の復号のために参照されるはずであった参照フレームの符号化情報が不在である。時刻ｔ４において、伝送制御部１７は、伝送領域Ｒ１をリカバリ用伝送領域Ｒ４に一致するように縮小し、リカバリ用伝送領域Ｒ４内の２個のタイルに対応する符号化ストリームのみが伝送される。タイル設定部１２は、リカバリ用伝送領域Ｒ４内のタイルをイントラタイルに設定するため、これらタイルは中途再生に関わらず復号可能である。また、伝送領域を縮小することにより、イントラタイルから生じる符号化ストリームのためにより多くの帯域幅を割り当てることが可能となるため、中途再生の開始によりトリガされるリカバリの期間中に伝送の遅延又は復号失敗が発生するリスクが低減される。
時刻ｔ５から時刻ｔ８にかけて、タイル設定部１２は、リカバリ用伝送領域Ｒ４（＝伝送領域Ｒ１）を、タイル単位で（図１０の例ではタイル２つずつ）漸進的に拡大する。新たな拡大部分に対応するタイルは、イントラタイルとして符号化される。時刻ｔ１０において、タイル設定部１２は、ピクチャ内の全てのタイルが復号可能となったために、リカバリ用伝送領域Ｒ４を再設定する。伝送領域Ｒ１は、ピクチャ全体に相当する。こうした領域の漸進的な拡大を通じて、伝送帯域幅を圧迫することなく、映像の途中から、全てのタイルの画像の正常な復号／再生を開始することができる。
中途再生のケースでは、パケット欠損のケースと異なり、一部のタイルではなくピクチャ内の全てのタイルが一旦復号不能と同様の状態になり得る。そこで、一変形例において、タイル設定部１２は、パケット欠損からのリカバリのための第１のリカバリ用伝送領域と、中途再生時のリカバリのための第２のリカバリ用伝送領域とを画像へ設定してもよい。この場合の第２のリカバリ用伝送領域は、第１のリカバリ用伝送領域よりも小さい。
伝送制御部１７は、復号装置６０へ伝送されるパケットが欠損した場合には、第１のリカバリ用伝送領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように伝送を制限する。第１のリカバリ用伝送領域に含まれるタイルのうち符号化情報の欠損に起因して復号不能となった一部のタイルは、リカバリ期間中にイントラタイルとして符号化される。また、伝送制御部１７は、映像の中途再生が要求された場合には、第２のリカバリ用伝送領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように伝送を制限する。第２のリカバリ用伝送領域に含まれるタイルは、符号化情報の不在に起因してその全てが復号不能となるはずであり、それらタイルの全てがリカバリ期間中に少なくとも一度イントラタイルとして符号化される。こうした複数のリカバリ用伝送領域を併用することで、リカバリをトリガする事象の種類に依存する柔軟な符号量の制御が可能となり、リカバリ期間中に伝送の遅延又は再度の復号失敗が発生するリスクを一層低減することができる。
（２）シーン変化
図１１は、シーン変化時のリカバリの一例について説明するための説明図である。図１１の例では、時刻ｔ２の時点では通常の伝送が行われている。そして、伝送制御部１７は、時刻ｔ３において、動的な映像の解析に基づいて、シーン変化が生じたと判定する。シーン変化が生じた場合、その後のピクチャにおいてフレーム間予測による符号化利得は得られないため、ピクチャ内の全てのタイルを少なくとも一度イントラタイルとして符号化することが望ましい。そこで、時刻ｔ４において、伝送制御部１７は、伝送領域Ｒ１をリカバリ用伝送領域Ｒ５に一致するように縮小し、リカバリ用伝送領域Ｒ５内の２個のタイルに対応する符号化ストリームのみが伝送される。タイル設定部１２は、リカバリ用伝送領域Ｒ５内のタイルをイントラタイルに設定する。伝送領域を縮小することにより、イントラタイルから生じる符号化ストリームのためにより多くの帯域幅を割り当てることが可能となるため、シーン変化によりトリガされるリカバリの期間中に伝送の遅延又は復号失敗が発生するリスクが低減される。
時刻ｔ５から時刻ｔ８にかけて、タイル設定部１２は、リカバリ用伝送領域Ｒ５（＝伝送領域Ｒ１）を、タイル単位で漸進的に拡大する。新たな拡大部分に対応するタイルは、イントラタイルとして符号化される。時刻ｔ１０において、タイル設定部１２は、ピクチャ内の全てのタイルが復号可能となったために、リカバリ用伝送領域Ｒ５を再設定する。伝送領域Ｒ１は、ピクチャ全体に相当する。
＜４．符号化時の処理の流れ＞
（１）伝送制御処理
図１２は、一実施形態に係る符号化側の伝送制御処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、符号化装置１０により実行される処理ステップのうち本開示に係る技術の要旨に直接的に関連しないものは、図から省略されている。
まず、タイル設定部１２は、画像をどのように複数のタイルへと分割するか、即ちタイル分割の態様を決定する（ステップＳ５）。次に、タイル設定部１２は、後に詳細に説明する領域設定処理を実行することにより、複数のタイルのうちの１つ以上を含む部分領域であるリカバリ用伝送領域を画像へ設定する（ステップＳ１０）。なお、図１２ではタイル分割の決定の後に、リカバリ用伝送領域が画像に設定される例が示されている。しかしながら、かかる例に限定されず、所望のリカバリ用伝送領域を示す領域情報が取得された後に、その所望の領域にフィットするようにタイル分割が決定されてもよい。
次に、可逆符号化部１６は、ピクチャ内のタイルの各々について量子化データを符号化することにより符号化ストリームを生成し、さらに少なくともタイル情報を含む符号化パラメータを符号化ストリームへ挿入する（ステップＳ２０）。復号装置６０から符号化ストリームの伝送が未だ要求されていない場合、符号化ストリームは伝送されない。伝送が既に開始済みであり、又は新たな伝送要求が受信された場合には（ステップＳ２５）、フローチャートはステップＳ３０へと進む。
ステップＳ３０において、伝送制御部１７は、中途再生の開始が要求されたか否かを判定する（ステップＳ３０）。中途再生の開始が要求された場合、フローチャートは、後に詳細に説明するステップＳ５０での領域リフレッシュ処理へと進む。中途再生の開始が要求されていない場合、伝送制御部１７は、伝送領域内の１つ以上のタイルに対応する符号化ストリームを復号装置６０へと伝送する（ステップＳ３５）。次に、伝送制御部１７は、例えば解析に基づいて、次に符号化しようとするピクチャにおいてシーン変化が生じたかを判定する（ステップＳ４０）。シーン変化が生じたと判定される場合にも、フローチャートは、領域リフレッシュ処理へと進む。シーン変化が生じていない場合、伝送制御部１７は、パケット欠損の発生を監視する（ステップＳ５５）。ここでパケット欠損が検出された場合、フローチャートは、後に詳細に説明するステップＳ６０でのタイルリフレッシュ処理へと進む。パケット欠損が検出されなかった場合であって、リカバリ期間中ではないときは、フローチャートはステップＳ２０へ戻り、次のピクチャについてタイルごとの符号化及び伝送が繰り返される。一方、リカバリ期間中である場合、フローチャートは、後に詳細に説明するステップＳ８０での領域拡大処理へと進む。
領域リフレッシュ処理（ステップＳ５０）、タイルリフレッシュ処理（ステップＳ６０）又は領域拡大処理（ステップＳ８０）が終了すると、フローチャートはステップＳ２０へ戻り、次のピクチャについてタイルごとの符号化及び伝送が繰り返される。図１２には示していないものの、タイル分割又はリカバリ用伝送領域を変更しようとする場合には、ステップＳ５又はステップＳ１０が再度実行されてもよい。
（２）領域設定処理
図１３Ａは、図１２に示した領域設定処理の詳細な流れの第１の例を示すフローチャートである。第１の例において、まず、タイル設定部１２は、予め定義され若しくはユーザにより入力される領域情報に基づいて、又は映像の解析に基づいて、リカバリ用伝送領域を設定する（ステップＳ１２）。次に、タイル設定部１２は、伝送領域をピクチャ全体に設定する（ステップＳ１６）。次に、タイル設定部１２は、リカバリ用伝送領域に含まれる全てのタイルについて、動き補償のためのタイル外参照を禁止に設定する（ステップＳ１８）。リカバリ用伝送領域外のタイルについては、タイル設定部１２は、タイル外参照を許可してもよく、又は禁止してもよい。
図１３Ｂは、図１２に示した領域設定処理の詳細な流れの第２の例を示すフローチャートである。第２の例において、まず、伝送制御部１７は、復号装置６０から領域情報を受信する（ステップＳ１３）。次に、タイル設定部１２は、伝送制御部１７により受信された領域情報に基づいて、リカバリ用伝送領域を設定する（ステップＳ１４）。次に、タイル設定部１２は、伝送領域をピクチャ全体に設定する（ステップＳ１６）。次に、タイル設定部１２は、リカバリ用伝送領域に含まれる全てのタイルについて、動き補償のためのタイル外参照を禁止に設定する（ステップＳ１８）。
（３）領域リフレッシュ処理
図１４は、図１２に示した領域リフレッシュ処理の詳細な流れの一例を示すフローチャートである。領域リフレッシュ処理において、まず、伝送制御部１７は、伝送領域をリカバリ用伝送領域へと設定（即ち、縮小）する（ステップＳ５２）。タイル設定部１２は、縮小された伝送領域内の全てのタイルの次ピクチャでの予測符号化モードを、イントラ予測に設定する（ステップＳ５４）。それにより、リカバリ用伝送領域に等しい伝送領域内の全てのタイルがイントラタイルとして符号化されることになる。
（４）タイルリフレッシュ処理
図１５は、図１２に示したタイルリフレッシュ処理の詳細な流れの一例を示すフローチャートである。タイルリフレッシュ処理において、まず、伝送制御部１７は、伝送領域をリカバリ用伝送領域へと設定（即ち、縮小）する（ステップＳ６２）。また、タイル設定部１２は、パケット欠損に起因してどのタイルが復号不能となったかを判定する（ステップＳ６４）。そして、タイル設定部１２は、伝送領域内に復号不能となったタイルが存在するか否かを判定する（ステップＳ６６）。伝送領域内に復号不能となったタイルが存在する場合、タイル設定部１２は、その復号不能タイルの次ピクチャでの予測符号化モードを、イントラ予測に設定する（ステップＳ６８）。それにより、復号不能タイルがイントラタイルとして符号化されることになる。
（５）領域拡大処理
図１６Ａは、図１２に示した領域拡大処理の詳細な流れの第１の例を示すフローチャートである。第１の例において、まず、タイル設定部１２は、伝送領域がピクチャ全体に等しいか否かを判定する（ステップＳ８２）。この判定はリカバリ期間中に行われるため、ここでの伝送領域はリカバリ用伝送領域に等しい。前のピクチャまでの領域拡大処理を通じて伝送領域がピクチャ全体にまで拡大された場合、ステップＳ８２において肯定的な判定結果が得られる。リカバリ期間中であって、伝送領域がピクチャ全体にまで未だ拡大されていない場合には、否定的な判定結果が得られる。
伝送領域がピクチャ全体に等しくない場合、タイル設定部１２は、リカバリ用伝送領域に追加する１つ以上のタイルを選択する（ステップＳ８４）。次に、タイル設定部１２は、選択したタイルをリカバリ用伝送領域に追加する（ステップＳ８６）。また、タイル設定部１２は、伝送領域を拡大後のリカバリ用伝送領域に設定する（ステップＳ８８）。また、タイル設定部１２は、追加したタイルの次ピクチャでの予測符号化モードを、イントラ予測に設定する（ステップＳ９０）。
伝送領域がピクチャ全体に等しい場合、タイル設定部１２は、リカバリ用伝送領域を再設定する（ステップＳ９２）。ここで再設定されるリカバリ用伝送領域は、リカバリ期間の前に設定されていたリカバリ用伝送領域と同じであってもよく又は異なってもよい。また、タイル設定部１２は、伝送領域をピクチャ全体に設定する（ステップＳ９４）。
最後に、タイル設定部１２は、（拡大後又は再設定後の）リカバリ用伝送領域内のタイルのタイル外参照を禁止に設定する（ステップＳ９６）。
図１６Ｂは、図１２に示した領域拡大処理の詳細な流れの第２の例を示すフローチャートである。第２の例においても、まず、タイル設定部１２は、伝送領域がピクチャ全体に等しいか否かを判定する（ステップＳ８２）。
伝送領域がピクチャ全体に等しくない場合、タイル設定部１２は、伝送帯域幅の利用可能性を判定する（ステップＳ８３）。ここで、新たにイントラタイルを符号化するために十分な伝送帯域幅が残されていないと判定される場合には、その後のステップＳ８５からステップＳ９６までの処理ステップはスキップされ、このタイミングで伝送領域は拡大されない。新たにイントラタイルを符号化するために十分な伝送帯域幅が利用可能である場合、タイル設定部１２は、利用可能な帯域幅に基づいて、リカバリ用伝送領域に追加する１つ以上のタイルを選択する（ステップＳ８５）。次に、タイル設定部１２は、選択したタイルをリカバリ用伝送領域に追加する（ステップＳ８６）。また、タイル設定部１２は、伝送領域を拡大後のリカバリ用伝送領域に設定する（ステップＳ８８）。また、タイル設定部１２は、追加したタイルの次ピクチャでの予測符号化モードを、イントラ予測に設定する（ステップＳ９０）。
伝送領域がピクチャ全体に等しい場合、タイル設定部１２は、リカバリ用伝送領域を再設定する（ステップＳ９２）。ここで再設定されるリカバリ用伝送領域は、リカバリ期間の前に設定されていたリカバリ用伝送領域と同じであってもよく又は異なってもよい。また、タイル設定部１２は、伝送領域をピクチャ全体に設定する（ステップＳ９４）。
最後に、タイル設定部１２は、リカバリ用伝送領域が拡大され又は再設定された場合、リカバリ用伝送領域内のタイルのタイル外参照を禁止に設定する（ステップＳ９６）。
＜５．復号装置の構成＞
図１７は、復号装置６０の構成の一例を示すブロック図である。図１７を参照すると、復号装置６０は、伝送制御部６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、ＳＡＯフィルタ６７、並び替えバッファ６８、再生制御部６９、フレームメモリ７０、セレクタ７１ａ及び７１ｂ、イントラ予測部８０並びにインター予測部９０を備える。
伝送制御部６１は、ネットワーク５を介する符号化装置１０からの符号化ストリームの受信を制御する。伝送制御部６１は、例えば、再生制御部６９へのユーザ入力に応じて、映像コンテンツの符号化ストリームの伝送を求める伝送要求を符号化装置１０へ送信する。そして、伝送が開始されると、伝送制御部６１は、符号化装置１０から順次受信される符号化ストリームを、可逆復号部６２へ出力する。伝送制御部６１は、受信されるパケットについて、例えばシーケンス番号の検証又は誤り検出といった何らかの欠損検出を実行し、パケットの欠損に起因して必要とされる符号化情報が欠損したことを検出した場合には、欠損したパケットを特定するメッセージを符号化装置１０へシグナリングする。伝送制御部６１は、パケットを特定するメッセージの代わりに、復号不能となったタイルを特定するメッセージをシグナリングしてもよい。映像の符号化ストリームは、通常時には、ピクチャ内の複数のタイルの全てに対応するストリームを含むが、上述したメッセージの送信後のリカバリ期間中には、リカバリ用伝送領域に含まれるタイルに対応するストリームのみを含む。
リカバリ用伝送領域は図６Ａ及び図６Ｂを用いて説明したように符号化装置１０において決定されてもよく、又は図６Ｃを用いて説明したように復号装置６０において決定されてもよい。後者の場合、例えば、映像を視聴するユーザが、安定的な映像の再生が求められる部分領域をユーザインタフェースを介して指定する。伝送制御部６１は、ユーザにより指定された部分領域に関する領域情報を生成し、生成した領域情報を映像の伝送元である符号化装置１０へ提供する。そして、符号化装置１０において、当該領域情報に基づいてリカバリ用伝送領域が設定される。リカバリ用伝送領域に含まれるタイルについては、上述したように、動き補償のためのタイル外参照が禁止される。
伝送要求は、映像コンテンツの冒頭からの再生のための通常の要求であってもよく、又は映像コンテンツの中途からの再生のための中途再生要求であってもよい。映像コンテンツの中途からの再生のための中途再生要求を伝送制御部６１が送信した場合、当該要求に応じて開始される伝送は通常の伝送ではなくリカバリのための伝送となり、受信される符号化ストリームは、リカバリ期間が終了するまで、リカバリ用伝送領域に含まれるタイルに対応するストリームのみを含む。
可逆復号部６２は、映像コンテンツの復号のために、伝送制御部６１から入力される各タイルに対応する符号化ストリームから、各タイルの量子化データを復号する。また、可逆復号部６２は、符号化ストリームに挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、タイル情報、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、タイル情報を再生制御部６９へ、イントラ予測に関する情報をイントラ予測部８０へ、インター予測に関する情報をインター予測部９０へそれぞれ出力する。
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、変換係数データを復元する。逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１ｂから入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ７０へ出力する。
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをＳＡＯフィルタ６７へ出力する。
ＳＡＯフィルタ６７は、デブロックフィルタ６６から入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データを並び替えバッファ６８及びフレームメモリ７０へ出力する。
並び替えバッファ６８は、ＳＡＯフィルタ６７から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６８は、生成した画像データを再生制御部６９へ出力する。
再生制御部６９は、並び替えバッファ６８から入力される画像データに基づく映像の再生を制御する。再生制御部６９は、例えば、画像データを映像出力用の画像信号に変換し、変換した画像信号をディスプレイ（図示せず）へ出力する。
再生制御部６９は、符号化情報の欠損又は不在の検出後のリカバリ期間中において、部分的に復号されるリカバリ用伝送領域の画像を、フレームサイズに適合するようにスケーリングした後にディスプレイに表示させてもよい。図１８の例では、ピクチャＰ５のリカバリ用伝送領域Ｒ２ａの画像がフレームサイズに適合するように拡大された様子が、図中の右に示されている。
復号されるタイルのうちのどのタイルを表示すべきかは、符号化側で決定され、表１を用いて説明したフラグdisplay_tile_set_flag[i]を用いて復号側へとシグナリングされてもよい。その代わりに、再生制御部６９が、復号された画像の形状を判定し、表示画像が矩形となるように一部のタイルの表示をスキップしてもよい。また、再生制御部６９は、リカバリ期間中であることをユーザに通知するための表示オブジェクトを、映像が表示されない部分に重畳してもよい。図１９の例では、非矩形のリカバリ用伝送領域Ｒ２ｂを有するピクチャＰ６のうちの矩形部分のみの再生画像と、リカバリ期間中であることをユーザに通知するためのメッセージとを含む表示画像が、図中の右に示されている。
フレームメモリ７０は、加算部６５から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ６７から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ７１ａは、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ａは、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部９０へ出力する。
セレクタ７１ｂは、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ｂは、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１ｂは、インター予測モードが指定された場合には、インター予測部９０から出力される予測画像データを加算部６５へ供給する。
リカバリ用伝送領域内のタイルであって、符号化情報の欠損又は不在に起因して復号不能となった当該タイルは、リカバリ期間中に少なくとも一度イントラタイルとして符号化され、その対応する符号化ストリームが符号化装置１０から受信される。イントラタイルにおいてはフレーム間予測は行われず、イントラ予測部８０により予測画像データが生成される。
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１ｂへ出力する。
インター予測部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測処理を行い、予測画像データを生成する。そして、インター予測部９０は、生成した予測画像データをセレクタ７１ｂへ出力する。
＜６．復号時の処理の流れ＞
図２０は、一実施形態に係る復号側の伝送制御処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、復号装置６０により実行される処理ステップのうち本開示に係る技術の要旨に直接的に関連しないものは、図から省略されている。
まず、伝送制御部６１は、例えばユーザにより指定されたリカバリ用伝送領域に関する領域情報を、映像の伝送元である符号化装置１０へ送信する（ステップＳ１１０）。本ステップは、符号化側でリカバリ用伝送領域が決定される場合には省略されてよい。
次に、伝送制御部６１は、映像コンテンツの符号化ストリームの伝送を求める伝送要求を符号化装置１０へ送信する（ステップＳ１２０）。ここでは、典型的には、リアルタイムで又は少なくとも低遅延での映像コンテンツの伝送が要求される。ここで送信される伝送要求に応じて符号化ストリームの伝送が開始されると、その後のステップＳ１３０からステップＳ１７０までの処理ステップはピクチャごとに繰り返される。
ピクチャごとの各繰り返しにおいて、伝送制御部６１は、その時点で設定されている伝送領域に含まれる１つ以上のタイルに対応する符号化ストリームを受信する（ステップＳ１３０）。
次に、可逆復号部６２での量子化データの復号、逆量子化部６３での変換係数データの逆量子化、逆直交変換部６４での予測誤差データの生成、及び予測画像データと予測誤差データとの加算などを通じて、符号化ストリームからタイルの各々の画像が復号される（ステップＳ１４０）。
次に、再生制御部６９は、画像全体が復号されたか又は部分画像のみが復号されたかを判定する（ステップＳ１５０）。再生制御部６９は、部分画像のみが復号された場合には、部分画像を表示サイズに合わせてスケーリングする（ステップＳ１６０）。そして、再生制御部６９は、画像信号をディスプレイへ出力することにより、映像を再生する（ステップＳ１７０）。
＜７．ハードウェア構成例＞
上述した実施形態は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。符号化装置１０又は復号装置６０がソフトウェアを使用する場合、ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
図２１は、上述した実施形態を適用可能な装置のハードウェア構成の一例を示すブロック図である。図２１を参照すると、画像処理装置８００は、システムバス８１０、画像処理チップ８２０及びオフチップメモリ８９０を備える。画像処理チップ８２０は、ｎ個（ｎは１以上）の処理回路８３０−１、８３０−２、…、８３０−ｎ、参照バッファ８４０、システムバスインタフェース８５０及びローカルバスインタフェース８６０を含む。
システムバス８１０は、画像処理チップ８２０と外部モジュール（例えば、中央制御機能、アプリケーション機能、通信インタフェース又はユーザインタフェースなど）との間の通信路を提供する。処理回路８３０−１、８３０−２、…、８３０−ｎは、システムバスインタフェース８５０を介してシステムバス８１０と接続され、及びローカルバスインタフェース８６０を介してオフチップメモリ８９０と接続される。処理回路８３０−１、８３０−２、…、８３０−ｎは、オンチップメモリ（例えば、ＳＲＡＭ）に相当し得る参照バッファ８４０にもアクセスすることができる。オフチップメモリ８９０は、例えば、画像処理チップ８２０により処理される画像データを記憶するフレームメモリであってよい。一例として、処理回路８３０−１及び８３０−２は、タイルごとに並列的に実行される符号化処理又は復号処理のために利用され得る。なお、これら処理回路は、同一の画像処理チップ８２０ではなく、別個のチップ上に形成されてもよい。画像処理装置８００は、符号化装置１０若しくは復号装置６０自体であってもよく、これら装置に搭載される一モジュールであってもよい。
＜８．応用例＞
上述した実施形態に係る符号化装置１０及び復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
（１）第１の応用例
図２２は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る復号装置６０の機能を有する。従って、テレビジョン装置９００において、映像を復号するために必要とされる符号化情報の欠損又は不在の後のリカバリ期間中に伝送の遅延又は再度の復号失敗が発生するリスクは低減される。
（２）第２の応用例
図２３は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る符号化装置１０及び復号装置６０の機能を有する。従って、携帯電話機９２０は、符号化情報の欠損又は不在の後のリカバリ期間中に伝送の遅延又は再度の復号失敗が発生するリスクを低減することができる。
（３）第３の応用例
図２４は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る復号装置６０の機能を有する。従って、記録再生装置９４０は、符号化情報の欠損又は不在の後のリカバリ期間中に伝送の遅延又は再度の復号失敗が発生するリスクを低減することができる。
（４）第４の応用例
図２５は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る符号化装置１０及び復号装置６０の機能を有する。従って、撮像装置９６０は、符号化情報の欠損又は不在の後のリカバリ期間中に伝送の遅延又は再度の復号失敗が発生するリスクを低減することができる。
＜９．まとめ＞
ここまで、図１〜図２５を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、符号化すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域が画像へ設定され、当該部分領域に含まれるタイルについて動き補償のためのタイル外参照が禁止に設定される。そして、復号装置へ映像の符号化ストリームが伝送される場合に、復号側での符号化情報の欠損又は不在の検出後に、上記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように伝送が制限される。即ち、リカバリを要する状況において伝送領域が一時的に画像全体ではなく上記部分領域に縮小されるため、イントラタイルを用いたリフレッシュのために利用可能な帯域幅を増やして、伝送の遅延又は再度の復号失敗が発生するリスクを低減することができる。また、上記部分領域内ではタイル間でエラーが伝播しないため、リカバリ期間中の継続的かつ安定的な映像コンテンツの復号及び再生が保証される。さらに、こうした仕組みを実装するにあたって、タイル単位の並列処理の目的で設計された参照関係の制御のためのパラメータ群を活用することができるため、そうしたパラメータ群の用意されていないスライスを用いる手法と比較して、簡易な実装が可能である。
また、上述した実施形態によれば、上記部分領域内のタイルであって、符号化情報の欠損又は不在に起因して復号不能となった当該タイルはイントラタイルとして符号化され、そのイントラタイルに対応する符号化ストリームがリカバリ期間中に伝送される。符号化情報の欠損又は不在の影響は、タイル外参照の禁止の帰結として、情報が直接的に失われたタイルのみに局所化される。イントラタイルとして符号化すべき領域がこのように小さい領域であれば、イントラタイルを用いたリフレッシュにより生じる符号量の増加も抑制される。
また、上述した実施形態によれば、伝送が部分的な伝送領域に制限されているリカバリ期間中に、その伝送領域がタイル単位で漸進的に拡大し、部分領域の新たな拡大部分に対応するタイルがイントラタイルとして符号化される。従って、ネットワーク帯域幅が限られているとしても、当初の部分領域内の安定的な映像コンテンツの再生を確保しながら、時間の経過と共に画像全体のリカバリを達成することができる。また、伝送が制限されている期間中に、伝送帯域幅の利用可能性に基づいて決定される任意のタイミングで上記部分領域を拡大することが可能である。そのため、例えば絵柄の変動に起因する符号量の増加とイントラタイルの使用に起因する符号量の増加とが同時に発生して、リアルタイム性が失われ又は画質が低下するような事態も避けられる。
また、一例として、リカバリ期間中に復号可能な部分領域が矩形ではない場合に、標準的なパラメータを用いて、復号側で画像が矩形で表示されるようにエンコーダにおいてタイルごとの表示又は非表示を設定することができる。この場合、デコーダは、標準仕様において規定された通りに動作するだけで、矩形の自然な映像を再生することができる。
また、上述した実施形態によれば、上記部分領域は、ユーザレベル又はアプリケーションレベルで注目すべき領域として、予め定義され、（符号化側若しくは復号側のいずれかで）ユーザにより入力され、又は映像の解析に基づいて設定され得る。従って、ネットワーク帯域幅が限られている状況において、パケット欠損等の事象が生じたとしても、注目すべき領域を優先して安定的な映像を提供することができる。
なお、本明細書では、ＨＥＶＣにおいて使用されている標準的な用語に従って「タイル」との語を用いたが、本開示に係る技術の範囲は、その要旨に関係しない語の意味によっては限定されない。将来的な標準化又はその他の取り決めに依存して、「タイル」の代わりに、ピクチャよりも小さい小領域であって、領域間の参照関係の制御の可能な小領域を意味する他の語が使用されてもよい。
また、本明細書では、タイル情報が、符号化ストリームへ挿入されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化すべき映像に含まれる画像の各々を複数のタイルへと分割し、前記複数のタイルのうちの１つ以上を含む部分領域を前記画像へ設定する設定部と、
各画像をタイルごとに符号化して符号化ストリームを生成する符号化部と、
前記映像を復号する復号装置への前記符号化ストリームの伝送を制御する伝送制御部と、
を備え、
前記設定部は、前記部分領域に含まれるタイルについて動き補償のためのタイル外参照を禁止に設定し、
前記伝送制御部は、前記復号装置における符号化情報の欠損又は不在の検出後に、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送を制限する、
符号化装置。
（２）
前記符号化部は、前記部分領域内のタイルであって、符号化情報の前記欠損又は前記不在に起因して復号不能となった当該タイルをイントラタイルとして符号化し、
前記イントラタイルに対応する符号化ストリームは、前記伝送制御部により前記伝送が制限されている期間中に前記復号装置へ伝送される、
前記（１）に記載の符号化装置。
（３）
前記設定部は、前記伝送制御部により前記伝送が制限されている期間中に、前記部分領域をタイル単位で漸進的に拡大し、
前記符号化部は、前記部分領域の新たな拡大部分に対応するタイルをイントラタイルとして符号化する、
前記（１）又は前記（２）に記載の符号化装置。
（４）
符号化情報の前記欠損又は前記不在に起因して復号不能となった前記部分領域外のタイルは、前記部分領域の前記漸進的な拡大を通じて復号可能となる、前記（３）に記載の符号化装置。
（５）
前記設定部は、前記部分領域の前記漸進的な拡大を通じて全てのタイルが復号可能となった後に、前記部分領域を再設定する、前記（３）又は前記（４）に記載の符号化装置。（６）
前記設定部は、前記伝送制御部により前記伝送が制限されている期間中に、伝送帯域幅の利用可能性に基づいて動的に決定されるタイミングで、前記部分領域を拡大する、前記（３）〜（５）のいずれか１項に記載の符号化装置。
（７）
前記設定部は、前記部分領域が矩形ではない場合に、前記復号装置により復号される画像が矩形で表示されるように、タイルごとの表示又は非表示を設定する、前記（３）〜（６）のいずれか１項に記載の符号化装置。
（８）
前記設定部は、予め定義され若しくはユーザにより入力される領域情報に基づいて、又は前記映像の解析に基づいて、前記部分領域を前記画像へ設定する、前記（１）〜（７）のいずれか１項に記載の符号化装置。
（９）
前記設定部は、前記復号装置から受信される領域情報に基づいて、前記部分領域を前記画像へ設定する、前記（１）〜（７）のいずれか１項に記載の符号化装置。
（１０）
前記伝送制御部は、前記復号装置へ伝送されるパケットが欠損した場合に、必要とされる符号化情報の前記欠損を検出する、前記（１）〜（９）のいずれか１項に記載の符号化装置。
（１１）
前記伝送制御部は、前記映像の中途再生が要求された場合に、必要とされる符号化情報の前記不在を検出する、前記（１）〜（９）のいずれか１項に記載の符号化装置。
（１２）
前記伝送制御部は、前記映像の解析に基づいてシーン変化が生じたと判定された場合にも、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送を制限する、前記（１）〜（１１）のいずれか１項に記載の符号化装置。
（１３）
前記設定部は、第１の部分領域及び当該第１の部分領域よりも小さい第２の部分領域を前記画像へ設定し、
前記伝送制御部は、前記復号装置へ伝送されるパケットが欠損した場合に、前記第１の部分領域に含まれるタイルに対応する符号化ストリームのみが伝送され、前記映像の中途再生が要求された場合に、前記第２の部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように、前記伝送を制限する、
前記（１）〜（１２）のいずれか１項に記載の符号化装置。
（１４）
前記符号化部は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って各画像を符号化し、
前記部分領域に含まれるタイルについて動き補償のためのタイル外参照が禁止に設定されることを示すパラメータがＳＥＩ（Supplemental Enhancement Information）メッセージに含まれる、
前記（１）〜（１３）のいずれか１項に記載の符号化装置。
（１５）
符号化装置において復号装置への映像の伝送を制御する伝送制御方法であって、
符号化すべき映像に含まれる画像の各々を複数のタイルへと分割することと、
前記複数のタイルのうちの１つ以上を含む部分領域を前記画像へ設定することと、
各画像をタイルごとに符号化して符号化ストリームを生成することと、
前記復号装置への前記符号化ストリームの伝送を制御することと、
を含み、
前記部分領域に含まれるタイルについて動き補償のためのタイル外参照は禁止に設定され、
前記復号装置における符号化情報の欠損又は不在の検出後に、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送が制限される、
伝送制御方法。
（１６）
復号すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域に関する領域情報を、前記映像の伝送元である符号化装置へ提供する伝送制御部と、
前記符号化装置から受信される前記映像の符号化ストリームから前記映像を復号する復号部と、
を備え、
通常時には、前記複数のタイルの全てに対応する前記符号化ストリームが受信され、必要とされる符号化情報の欠損又は不在の検出後には、前記領域情報に基づいて設定される、動き補償のためのタイル外参照が禁止される前記部分領域に含まれるタイルに対応する前記符号化ストリームのみが受信される、
復号装置。
（１７）
前記部分領域内のタイルであって、前記符号化情報の前記欠損又は前記不在に起因して復号不能となった当該タイルは、イントラタイルとして符号化され、
前記イントラタイルに対応するストリームは、前記符号化ストリームの伝送の対象が前記部分領域に制限されている期間中に、前記符号化装置から受信される、
前記（１６）に記載の復号装置。
（１８）
前記復号装置は、前記復号部により復号される前記映像の再生を制御する再生制御部、をさらに備え、
前記再生制御部は、前記符号化情報の前記欠損又は前記不在の検出後に部分的に復号される前記部分領域の画像を、フレームサイズに適合するようにスケーリングする、
前記（１６）又は前記（１７）に記載の復号装置。
（１９）
復号装置において符号化装置からの映像の伝送を制御する伝送制御方法であって、
復号すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域に関する領域情報を、前記映像の伝送元である符号化装置へ提供することと、
前記符号化装置から前記映像の符号化ストリームを受信することと、
受信される前記符号化ストリームから前記映像を復号することと、
を含み、
通常時には、前記複数のタイルの全てに対応する前記符号化ストリームが受信され、必要とされる符号化情報の欠損又は不在の検出後には、前記領域情報に基づいて設定される、動き補償のためのタイル外参照が禁止される前記部分領域に含まれるタイルに対応する前記符号化ストリームのみが受信される、
伝送制御方法。
１ 画像処理システム
１０ 符号化装置
１２ タイル設定部
１６ 可逆符号化部
１７ 伝送制御部
６０ 復号装置
６１ 伝送制御部
６２ 可逆復号部
６９ 再生制御部

Claims (19)

  1. 符号化すべき映像に含まれる画像の各々を複数のタイルへと分割し、前記複数のタイルのうちの１つ以上を含む部分領域を前記画像へ設定する設定部と、
    各画像をタイルごとに符号化して符号化ストリームを生成する符号化部と、
    前記映像を復号する復号装置への前記符号化ストリームの伝送を制御する伝送制御部と、
    を備え、
    前記設定部は、前記部分領域に含まれるタイルについて動き補償のためのタイル外参照を禁止に設定し、
    前記伝送制御部は、前記復号装置における符号化情報の欠損又は不在の検出後に、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送を制限する、
    符号化装置。
  2. 前記符号化部は、前記部分領域内のタイルであって、符号化情報の前記欠損又は前記不在に起因して復号不能となった当該タイルをイントラタイルとして符号化し、
    前記イントラタイルに対応する符号化ストリームは、前記伝送制御部により前記伝送が制限されている期間中に前記復号装置へ伝送される、
    請求項１に記載の符号化装置。
  3. 前記設定部は、前記伝送制御部により前記伝送が制限されている期間中に、前記部分領域をタイル単位で漸進的に拡大し、
    前記符号化部は、前記部分領域の新たな拡大部分に対応するタイルをイントラタイルとして符号化する、
    請求項１に記載の符号化装置。
  4. 符号化情報の前記欠損又は前記不在に起因して復号不能となった前記部分領域外のタイルは、前記部分領域の前記漸進的な拡大を通じて復号可能となる、請求項３に記載の符号化装置。
  5. 前記設定部は、前記部分領域の前記漸進的な拡大を通じて全てのタイルが復号可能となった後に、前記部分領域を再設定する、請求項３に記載の符号化装置。
  6. 前記設定部は、前記伝送制御部により前記伝送が制限されている期間中に、伝送帯域幅の利用可能性に基づいて動的に決定されるタイミングで、前記部分領域を拡大する、請求項３に記載の符号化装置。
  7. 前記設定部は、前記部分領域が矩形ではない場合に、前記復号装置により復号される画像が矩形で表示されるように、タイルごとの表示又は非表示を設定する、請求項３に記載の符号化装置。
  8. 前記設定部は、予め定義され若しくはユーザにより入力される領域情報に基づいて、又は前記映像の解析に基づいて、前記部分領域を前記画像へ設定する、請求項１に記載の符号化装置。
  9. 前記設定部は、前記復号装置から受信される領域情報に基づいて、前記部分領域を前記画像へ設定する、請求項１に記載の符号化装置。
  10. 前記伝送制御部は、前記復号装置へ伝送されるパケットが欠損した場合に、必要とされる符号化情報の前記欠損を検出する、請求項１に記載の符号化装置。
  11. 前記伝送制御部は、前記映像の中途再生が要求された場合に、必要とされる符号化情報の前記不在を検出する、請求項１に記載の符号化装置。
  12. 前記伝送制御部は、前記映像の解析に基づいてシーン変化が生じたと判定された場合にも、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送を制限する、請求項１に記載の符号化装置。
  13. 前記設定部は、第１の部分領域及び当該第１の部分領域よりも小さい第２の部分領域を前記画像へ設定し、
    前記伝送制御部は、前記復号装置へ伝送されるパケットが欠損した場合に、前記第１の部分領域に含まれるタイルに対応する符号化ストリームのみが伝送され、前記映像の中途再生が要求された場合に、前記第２の部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように、前記伝送を制限する、
    請求項１に記載の符号化装置。
  14. 前記符号化部は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って各画像を符号化し、
    前記部分領域に含まれるタイルについて動き補償のためのタイル外参照が禁止に設定されることを示すパラメータがＳＥＩ（Supplemental Enhancement Information）メッセージに含まれる、
    請求項１に記載の符号化装置。
  15. 符号化装置において復号装置への映像の伝送を制御する伝送制御方法であって、
    符号化すべき映像に含まれる画像の各々を複数のタイルへと分割することと、
    前記複数のタイルのうちの１つ以上を含む部分領域を前記画像へ設定することと、
    各画像をタイルごとに符号化して符号化ストリームを生成することと、
    前記復号装置への前記符号化ストリームの伝送を制御することと、
    を含み、
    前記部分領域に含まれるタイルについて動き補償のためのタイル外参照は禁止に設定され、
    前記復号装置における符号化情報の欠損又は不在の検出後に、前記部分領域に含まれるタイルに対応する符号化ストリームのみが伝送されるように前記伝送が制限される、
    伝送制御方法。
  16. 復号すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域に関する領域情報を、前記映像の伝送元である符号化装置へ提供する伝送制御部と、
    前記符号化装置から受信される前記映像の符号化ストリームから前記映像を復号する復号部と、
    を備え、
    通常時には、前記複数のタイルの全てに対応する前記符号化ストリームが受信され、必要とされる符号化情報の欠損又は不在の検出後には、前記領域情報に基づいて設定される、動き補償のためのタイル外参照が禁止される前記部分領域に含まれるタイルに対応する前記符号化ストリームのみが受信される、
    復号装置。
  17. 前記部分領域内のタイルであって、前記符号化情報の前記欠損又は前記不在に起因して復号不能となった当該タイルは、イントラタイルとして符号化され、
    前記イントラタイルに対応するストリームは、前記符号化ストリームの伝送の対象が前記部分領域に制限されている期間中に、前記符号化装置から受信される、
    請求項１６に記載の復号装置。
  18. 前記復号装置は、前記復号部により復号される前記映像の再生を制御する再生制御部、をさらに備え、
    前記再生制御部は、前記符号化情報の前記欠損又は前記不在の検出後に部分的に復号される前記部分領域の画像を、フレームサイズに適合するようにスケーリングする、
    請求項１６に記載の復号装置。
  19. 復号装置において符号化装置からの映像の伝送を制御する伝送制御方法であって、
    復号すべき映像に含まれる画像の複数のタイルのうちの１つ以上を含む部分領域に関する領域情報を、前記映像の伝送元である符号化装置へ提供することと、
    前記符号化装置から前記映像の符号化ストリームを受信することと、
    受信される前記符号化ストリームから前記映像を復号することと、
    を含み、
    通常時には、前記複数のタイルの全てに対応する前記符号化ストリームが受信され、必要とされる符号化情報の欠損又は不在の検出後には、前記領域情報に基づいて設定される、動き補償のためのタイル外参照が禁止される前記部分領域に含まれるタイルに対応する前記符号化ストリームのみが受信される、
    伝送制御方法。
JP2017524670A 2015-06-24 2016-03-22 符号化装置、復号装置及び伝送制御方法 Active JP6642573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015126486 2015-06-24
JP2015126486 2015-06-24
PCT/JP2016/058940 WO2016208241A1 (ja) 2015-06-24 2016-03-22 符号化装置、復号装置及び伝送制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019237263A Division JP6860061B2 (ja) 2015-06-24 2019-12-26 復号装置及び復号方法

Publications (2)

Publication Number Publication Date
JPWO2016208241A1 JPWO2016208241A1 (ja) 2018-04-19
JP6642573B2 true JP6642573B2 (ja) 2020-02-05

Family

ID=57585466

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017524670A Active JP6642573B2 (ja) 2015-06-24 2016-03-22 符号化装置、復号装置及び伝送制御方法
JP2019237263A Active JP6860061B2 (ja) 2015-06-24 2019-12-26 復号装置及び復号方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019237263A Active JP6860061B2 (ja) 2015-06-24 2019-12-26 復号装置及び復号方法

Country Status (4)

Country Link
US (2) US10609419B2 (ja)
JP (2) JP6642573B2 (ja)
CN (1) CN107683605B (ja)
WO (1) WO2016208241A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10897612B2 (en) 2017-03-03 2021-01-19 Qualcomm Incorporated Coding identifiers for motion constrained tile sets
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
TW201944778A (zh) * 2018-04-09 2019-11-16 晨星半導體股份有限公司 幀內預測模式決定裝置與幀內預測模式決定方法
US11758132B2 (en) 2018-12-28 2023-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with complexity handling for flexibly sized picture partitions
TW202147850A (zh) * 2020-05-01 2021-12-16 美商Ｏｐ解決方案公司 用於組合無損和有損寫碼之方法和系統
EP4300957A1 (en) * 2022-06-30 2024-01-03 Nokia Technologies Oy A method, an apparatus and a computer program product for implementing gradual decoding refresh

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795588A (ja) 1993-09-20 1995-04-07 Toshiba Corp 動画像符号化装置
JP3450384B2 (ja) 1993-09-20 2003-09-22 株式会社東芝 動画像符号化装置
JP3630474B2 (ja) 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
JP3927422B2 (ja) 2002-02-27 2007-06-06 株式会社メガチップス 動画像送受信システム、動画像送受信方法及びそれらのプログラム
US8098261B2 (en) * 2006-09-05 2012-01-17 Apple Inc. Pillarboxing correction
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
EP2608547B1 (en) * 2010-08-17 2018-03-21 LG Electronics Inc. Apparatus and method for receiving digital broadcasting signal
EP2451151B1 (en) * 2010-11-08 2014-08-13 Deluxe Media Inc. Method and apparatus for use in controlling the playback of contents related with a recorded content.
US8761245B2 (en) * 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US9025672B2 (en) 2011-05-04 2015-05-05 Cavium, Inc. On-demand intra-refresh for end-to end coded video transmission systems
US20120287987A1 (en) * 2011-05-13 2012-11-15 Madhukar Budagavi Coding of Scene Changes Using Picture Dropping
PL2744202T3 (pl) * 2011-08-11 2020-12-28 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
CN102946533B (zh) * 2011-09-02 2016-08-17 斯凯普公司 视频编码
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
KR102030205B1 (ko) * 2012-01-20 2019-10-08 선 페이턴트 트러스트 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
US9838684B2 (en) * 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
JP6295951B2 (ja) * 2012-06-25 2018-03-20 ソニー株式会社 画像復号装置及び画像復号方法
WO2014045507A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 動画像符号化装置
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
WO2015009676A1 (en) 2013-07-15 2015-01-22 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
JP2015106747A (ja) * 2013-11-28 2015-06-08 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6338429B2 (ja) * 2014-04-15 2018-06-06 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US9866789B2 (en) * 2015-02-25 2018-01-09 Echostar Technologies L.L.C. Automatic program formatting for TV displays

Also Published As

Publication number Publication date
US10609419B2 (en) 2020-03-31
CN107683605B (zh) 2021-12-03
US20200204831A1 (en) 2020-06-25
JP2020065285A (ja) 2020-04-23
US20180176603A1 (en) 2018-06-21
US11297354B2 (en) 2022-04-05
WO2016208241A1 (ja) 2016-12-29
CN107683605A (zh) 2018-02-09
JPWO2016208241A1 (ja) 2018-04-19
JP6860061B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6860061B2 (ja) 復号装置及び復号方法
JP6635184B2 (ja) 画像処理装置および方法
US11758139B2 (en) Image processing device and method
US11095879B2 (en) Image encoding device and method, and image decoding device and method
TWI624173B (zh) 圖像處理裝置、圖像處理方法、程式及記錄媒體
US20200020134A1 (en) Image processing apparatus and method
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2017094298A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6747430B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20190020877A1 (en) Image processing apparatus and method
JP6711353B2 (ja) 画像処理装置および画像処理方法
US20150030068A1 (en) Image processing device and method
JP2014207536A (ja) 画像処理装置および方法
WO2016147836A1 (ja) 画像処理装置および方法
US20190132590A1 (en) Image processing device and method
WO2014148070A1 (ja) 画像処理装置及び画像処理方法
WO2015059973A1 (ja) 画像処理装置及び画像処理方法
BR122015004025B1 (pt) dispositivo e método de processamento de imagem

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R151 Written notification of patent or utility model registration

Ref document number: 6642573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151