JP5340172B2 - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
JP5340172B2
JP5340172B2 JP2009546592A JP2009546592A JP5340172B2 JP 5340172 B2 JP5340172 B2 JP 5340172B2 JP 2009546592 A JP2009546592 A JP 2009546592A JP 2009546592 A JP2009546592 A JP 2009546592A JP 5340172 B2 JP5340172 B2 JP 5340172B2
Authority
JP
Japan
Prior art keywords
image
encoding
unit
signal
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009546592A
Other languages
English (en)
Other versions
JPWO2009142003A1 (ja
Inventor
健二 清水
竜司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009546592A priority Critical patent/JP5340172B2/ja
Publication of JPWO2009142003A1 publication Critical patent/JPWO2009142003A1/ja
Application granted granted Critical
Publication of JP5340172B2 publication Critical patent/JP5340172B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像符号化装置及び画像符号化方法に関し、特に、各ピクチャを複数の画像に分割し、分割した画像をそれぞれ複数の符号化部で符号化する画像符号化装置に関する。
従来、ＨＤＴＶ（高精細テレビジョン）画像等の高画素レートの映像信号を符号化する際に、処理速度を緩和させるため、ＨＤＴＶ画像を複数の分割領域に分割したうえで、分割した各画像信号を低画素レートの符号化部（圧縮符号化器）で符号化する技術が知られている。これにより、高画素レートに対応した画像符号化装置が実現できる（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の画像符号化装置１００の構成を示すブロック図である。
図１に示す画像符号化装置１００は、画像信号入力端子１０１と、信号分割部１０２と、符号化部１０８と、信号合成部１０６と、符号化信号出力端子１０７とを備える。また、符号化部１０８は、第１符号化部１０３Ａと、第２符号化部１０３Ｂとを備える。
画像信号入力端子１０１には、高画素レートの入力画像信号（映像信号）１１０が供給される。この高画素レートの入力画像信号１１０は、例えば、上述したようなハイビジョン信号のような順次信号である。
信号分割部１０２は、入力画像信号１１０を、例えば上下に２分割することにより、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂを生成する。例えば、入力画像信号１１０の有効画枠が４８０ラインである場合、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂは、それぞれ２４０ライン分の画像信号である。
第１符号化部１０３Ａ及び第２符号化部１０３Ｂは、低画素レート用の符号化器である。この第１符号化部１０３Ａは、第１分割画像信号１１１Ａを圧縮符号化することにより、第１符号化信号１１２Ａを生成する。第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂを圧縮符号化することにより、第２符号化信号１１２Ｂを生成する。
また、第１符号化部１０３Ａ及び第２符号化部１０３Ｂは、第１分割画像信号１１１Ａ及び第２分割画像信号１１１Ｂの境界部分付近における画像に対して動き検出及び動き補償を行うときには、他方の符号化部で生成された、第１重複領域１１５Ａ又は第２重複領域１１５Ｂに対応したローカルデコード画像を利用する。
図２Ａは、第１分割画像信号１１１Ａと、第１重複領域１１５Ａとを示す図である。図２Ｂは、第２分割画像信号１１１Ｂと、第２重複領域１１５Ｂとを示す図である。
また、第１符号化部１０３Ａは、第１分割画像信号１１１Ａの符号化の際に、当該第１分割画像信号１１１Ａのローカルデコード画像を生成する。また、第１符号化部１０３Ａは、生成したローカルデコード画像のうち、第２符号化部１０３Ｂの第２探索範囲１１６Ｂに含まれる第２重複領域１１５Ｂに対応するローカルデコード画像１１３Ａを、第２符号化部１０３Ｂに出力する。
同様に、第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂの符号化の際に、当該第２分割画像信号１１１Ｂのローカルデコード画像を生成する。また、第２符号化部１０３Ｂは、生成したローカルデコード画像のうち、第１符号化部１０３Ａの第１探索範囲１１６Ａに含まれる第１重複領域１１５Ａに対応するローカルデコード画像１１３Ｂを、第１符号化部１０３Ａに出力する。
また、第１符号化部１０３Ａは、第１分割画像信号１１１Ａの動き検出及び動き補償をするときには、第１探索範囲１１６Ａに対応するローカルデコード画像を用いる。また、第１探索範囲１１６Ａに含まれる第１重複領域１１５Ａに対応するローカルデコード画像として、第２符号化部１０３Ｂにより出力されるローカルデコード画像１１３Ｂを用いる。
また、第２符号化部１０３Ｂは、第２分割画像信号１１１Ｂの動き検出及び動き補償をするときには、第２探索範囲１１６Ｂに対応するローカルデコード画像を用いる。また、第２探索範囲１１６Ｂに含まれる第２重複領域１１５Ｂに対応するローカルデコード画像として、第１符号化部１０３Ａにより出力されるローカルデコード画像１１３Ａを用いる。
信号合成部１０６は、低画素レートに変換された第１符号化信号１１２Ａ及び第２符号化信号１１２Ｂを合成することにより、高画素レートの出力符号化信号１１４を生成し、生成した出力符号化信号１１４を符号化信号出力端子１０７に出力する。このように、特許文献１記載の画像符号化装置１００は、低画素レート用の第１符号化部１０３Ａ及び第２符号化部１０３Ｂを使用して、高画素レート用の画像符号化装置を実現している。
特開平１０−１７８６４３号公報
しかしながら、特許文献１記載の画像符号化装置１００は、隣接する第１符号化部１０３Ａと第２符号化部１０３Ｂとの間で他方から参照されるローカルデコード画像１１３Ａ及び１１３Ｂを共有する必要がある。これにより、特許文献１記載の画像符号化装置１００は、入力画像信号１１０の画素レートが高くなればなるほど、ローカルデコード画像１１３Ａ及び１１３Ｂのデータ転送量が増加し、バンド幅が増加してしまうという課題を有する。
さらに、複数の第１符号化部１０３Ａ及び第２符号化部１０３Ｂを個別の集積回路で実現した場合、集積回路間をつなぐ外部バスの転送は内部の符号化処理に比べ非常に遅く、低速な外部バス経由の転送となる。これにより、従来の画像符号化装置１００は、ローカルデコード画像１１３Ａ及び１１３Ｂのデータ転送のレイテンシの増加が、符号化処理の速度のボトルネックとなるという課題を有する。
本発明は、前記従来の課題を解決するものであり、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる画像符号化装置及び画像符号化方法を提供することを目的とする。
上記目的を達成するために、本発明に係る画像符号化装置は、入力画像信号を符号化することにより出力符号化信号を生成する画像符号化装置であって、前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える。
この構成によれば、本発明に係る画像符号化装置は、例えば、符号化部間のデータ転送量が増加する場合には、重複領域を小さくすることにより、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる。これにより、符号化部間の通信バンド幅を削減できる。さらに、符号化部間のバンド幅削減により、本発明に係る画像符号化装置は、より高画素レートの入力画像信号を処理できる。
また、前記信号分割部は、当該画像符号化装置が単位時間当たりに処理すべき画素数である画素レートが第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさに決定し、前記画素レートが前記第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。
この構成によれば、本発明に係る画像符号化装置は、高画素レート時における、符号化部間で伝送される第２ローカルデコード画像のデータ量を削減できる。これにより、符号化部間の通信バンド幅を削減できる。さらに、符号化部間のバンド幅削減により、本発明に係る画像符号化装置は、より高画素レートの入力画像信号を処理できる。
さらに、画素レートが高い場合、例えば、毎秒３０又は６０フレームより高いフレームレート（例えば毎秒３００フレーム）の場合、ピクチャ間の時間間隔が小さくなるため、撮影される被写体又は撮影部の動きが小さくなる。よって、動き補償処理の探索範囲の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートに対応できる。
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記画像符号化装置は、さらに、前記複数の符号化部にそれぞれ対応し、対応する前記符号化対象画像及び対応する前記重複領域の画像を原画像として記憶する原画像記憶部とを備え、前記動き検出部は、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出してもよい。
この構成によれば、本発明の画像符号化装置は、動き検出部が原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を取得できる。よって、本発明に係る画像符号化装置は、第２ローカルデコード画像を取得するまでの動き検出部の待ち時間を削減できるので、レイテンシを削減できる。これにより、本発明に係る画像符号化装置は、より高画素レートに対応できる。
また、前記画像符号化装置は、さらに、前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶するローカルデコード画像記憶部を備え、前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出し、前記画素レートが前記第２の閾値より小さい場合、前記ローカルデコード画像記憶部に記憶されている前記第１ローカルデコード画像及び前記第２ローカルデコード画像を用いて、前記動きベクトルを検出してもよい。
この構成によれば、本発明の画像符号化装置は、高画素レート時には、原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を取得することにより、レイテンシを削減できる。さらに、本発明の画像符号化装置は、低画素レート時には、ローカルデコード画像を用いて動きベクトルを算出することにより、画質の劣化を抑制できる。
また、前記各符号化部は、他の符号化部に前記第２ローカルデコード画像を要求し、前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記要求に応じて前記他の符号化部により出力される前記第２ローカルデコード画像を当該符号化部が取得する前に、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する処理を開始してもよい。
この構成によれば、本発明の画像符号化装置は、動き検出部が原画像を用いて動きベクトルを算出している間に、第２ローカルデコード画像を他の符号化部から取得できる。よって、本発明に係る画像符号化装置は、第２ローカルデコード画像を取得するまでの動き検出部の待ち時間を削減できるので、レイテンシを削減できる。
また、前記画像符号化装置は、さらに、ユーザの操作により指定される前記画素レートを取得する画素レート取得部を備えてもよい。
また、前記画像符号化装置は、さらに、前記入力画像信号に含まれる情報を用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する第１算出部と、前記第１算出部により算出された前記画像サイズ及びフレームレートのうち少なくとも一方を用いて前記画素レートを算出する第２算出部とを備えてもよい。
この構成によれば、本発明に係る画像符号化装置は、入力画像信号の画素レートを自動的に判定し、判定した画素レートに応じて、重複領域の大きさを変更できる。
また、前記第１算出部は、前記入力画像信号に含まれる、ピクセルクロック、水平同期信号、及び垂直同期信号のうち少なくとも一つを用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出してもよい。
また、前記画像符号化装置は、さらに、前記複数の符号化部により生成された前記第１ローカルデコード画像を記憶する第１記憶部を備え、前記信号分割部は、前記第１記憶部の空き容量が第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。
この構成によれば、複数の符号化部のリソース及び処理状況に余裕が無くなった場合に、複数の符号化部による処理量を減らすことができる。
また、前記第１記憶部は、前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶する複数の第２記憶部を含み、前記信号分割部は、前記複数の第２記憶部の空き容量のうち最も少ない空き容量が前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も少ない空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定してもよい。
この構成によれば、複数の符号化部のいずれかが、リソース及び処理状況に余裕が無くなった場合に、当該符号化部による処理量を減らすことができる。
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記信号分割部は、前記動きベクトルが第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定してもよい。
この構成によれば、本発明に係る画像符号化装置は、動きベクトルが小さい場合には、重複領域を小さくする。ここで、動きベクトルが小さい場合には、探索範囲の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの符号化処理に対応できる。
また、前記信号分割部は、前記複数の符号化対象画像の境界をまたぐ前記動きベクトルのうち、最も大きい動きベクトルが前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も大きい動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定してもよい。
この構成によれば、本発明に係る画像符号化装置は、重複領域の画像を用いて動き補償処理が行われる符号化対象画像の境界に隣接するブロックの動きベクトルに応じて、重複領域の大きさを変更する。これにより、本発明に係る画像符号化装置は、符号化効率及び画質の悪化を抑制しつつ、符号化部間で転送されるデータ量を削減できる。
また、前記各符号化部は、対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、前記各符号化部は、対応する前記符号化対象画像と対応する前記重複領域との境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測し、予測した動きベクトルが前記境界の方向を示す場合、他の符号化部により生成された前記第２ローカルデコード画像を取得し、前記予測した動きベクトルが前記境界の方向を示さない場合、他の符号化部により生成された前記第２ローカルデコード画像を取得しなくてもよい。
この構成によれば、本発明に係る画像符号化装置は、第２ローカルデコード画像が必要ない場合には、当該第２ローカルデコード画像を取得しない。これにより、画像符号化装置は、符号化部間のデータ転送量をより削減できる。
なお、本発明は、このような画像符号化装置として実現できるだけでなく、画像符号化装置に含まれる特徴的な手段をステップとする画像符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような画像符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像符号化装置を備えるカメラとして実現したりできる。
以上より、本発明は、隣接する符号化部間で転送されるローカルデコード画像のデータ量を削減できる画像符号化装置及び画像符号化方法を提供できる。
図１は、従来の画像符号化装置のブロック図である。 図２Ａは、従来の画像符号化装置における画像例を示す図である。 図２Ｂは、従来の画像符号化装置における画面例を示す図である。 図３は、本発明の実施の形態１に係る画像符号化装置のブロック図である。 図４Ａは、本発明の実施の形態１に係る画像符号化装置による画像分割例を示す図である。 図４Ｂは、本発明の実施の形態１に係る画像符号化装置による画像分割例を示す図である。 図５は、本発明の実施の形態１に係る画像符号化装置による処理のフローチャートである。 図６は、本発明の実施の形態１に係る画像符号化装置による画像分割処理のフローチャートである。 図７Ａは、本発明の実施の形態１に係る画像符号化装置による高画素レート時の画像分割例を示す図である。 図７Ｂは、本発明の実施の形態１に係る画像符号化装置による低画素レート時の画像分割例を示す図である。 図８は、本発明の実施の形態１に係る第１符号化部のブロック図である。 図９は、本発明の実施の形態１に係る画像符号化装置による符号化処理のフローチャートである。 図１０は、本発明の実施の形態１に係る画像符号化装置における原画像とローカルデコードとの利用状況を示す図である。 図１１は、本発明の実施の形態１に係る画像符号化装置による動き検出及び動き補償処理のフローチャートである。 図１２は、本発明の実施の形態１に係る画像符号化装置における信号処理例を示すタイミングチャートである。 図１３は、本発明の実施の形態１に係る画像符号化装置によるローカルデコード画像の要否判定処理のフローチャートである。 図１４は、本発明の実施の形態１に係る画像符号化装置における動きベクトル予測処理を示す図である。 図１５は、本発明の実施の形態２に係る画像符号化装置のブロック図である。 図１６は、本発明の実施の形態２に係る画像符号化装置による処理のフローチャートである。 図１７は、本発明の実施の形態３に係る画像符号化装置のブロック図である。 図１８は、本発明の実施の形態３に係る画像符号化装置による処理のフローチャートである。 図１９は、本発明の実施の形態３に係る画像符号化装置による画像分割処理のフローチャートである。 図２０は、本発明の実施の形態４に係る画像符号化装置のブロック図である。 図２１は、本発明の実施の形態４に係る画像符号化装置による処理のフローチャートである。 図２２は、本発明の実施の形態４に係る画像符号化装置による画像分割処理のフローチャートである。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明の実施の形態１に係る画像符号化装置３００は、動き検出処理及び動き補償処理の探索範囲として用いられる重複領域の大きさを、画素レートが高い場合には小さくする。これにより、高画素レート時に、符号化部間で転送されるローカルデコード画像のデータ量を削減できる。
まず、本発明の実施の形態１に係る画像符号化装置３００の構成を説明する。
図３は、本発明の実施の形態１に係る画像符号化装置３００の構成を示すブロック図である。
図３に示す画像符号化装置３００は、入力画像信号３１０を符号化することにより出力符号化信号３１４を生成する動画像符号化装置である。入力画像信号３１０は、複数のピクチャを含む順次信号であり、例えば、ハイビジョン画像信号、又は高速度撮影された画像信号である。ここで高速度撮影とは、通常のフレームレート（例えば、毎秒３０又は６０フレーム）より高いフレームレート（例えば、毎秒３００フレーム等）で行われる撮影である。
この画像符号化装置３００は、撮影方式切替部３０１と、信号分割部３０２と、第１符号化部３０３Ａと、第２符号化部３０３Ｂと、第１記憶領域連結部３０４Ａと、第２記憶領域連結部３０４Ｂと、第１外部連結部３０５Ａと、第２外部連結部３０５Ｂと、第１記憶部３０６Ａと、第２記憶部３０６Ｂと、信号合成部３０７とを備える。
撮影方式切替部３０１は、本発明の画素レート取得部に相当し、ユーザの操作により指定される画素レートを取得する。具体的には、撮影方式切替部３０１は、ユーザのスイッチ操作に応じて設定された、ｉ段階からなる画素レートのうちいずれかを取得する。また、撮影方式切替部３０１は、設定された画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
ここで、画素レートとは、画像符号化装置３００が、単位時間当たりに符号化処理すべき画素数である。言い換えると、画素レートは、画像符号化装置３００が、単位時間当たりに符号化処理すべき処理量に相当する。具体的には、画素レートは、画像サイズとフレームレートとの積である。
信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを、一部重複領域を含んだ状態で例えば上下に２分割することにより、第１分割画像信号３１２Ａと第２分割画像信号３１２Ｂとを生成する。ここで、ピクチャとは、入力画像信号３１０に含まれる一枚の画像であり、フレーム又はフィールドである。
図４Ａは、第１分割画像信号３１２Ａの構成を示す図である。図４Ｂは、第２分割画像信号３１２Ｂの構成を示す図である。
図４Ａに示すように、第１分割画像信号３１２Ａは、第１符号化対象範囲３１５Ａと、第１重複領域３１６Ａとを含む。また、図４Ｂに示すように、第２分割画像信号３１２Ｂは、第２符号化対象範囲３１５Ｂと、第２重複領域３１６Ｂとを含む。
例えば、入力画像信号３１０の有効画枠が７２０ラインである場合、第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂは、入力画像信号３１０に含まれる各ピクチャを上下に等分した、それぞれ３６０ライン分の画像領域である。また、第１符号化対象範囲３１５Ａは、第１符号化部３０３Ａが符号化を行う画像領域であり、第２符号化対象範囲３１５Ｂは、第２符号化部３０３Ｂが符号化を行う画像領域である。
第１重複領域３１６Ａは、第２符号化対象範囲３１５Ｂに含まれ、かつ、第１符号化対象範囲３１５Ａに隣接するｎ（ｎは１以上の整数）ライン分の画像領域である。第２重複領域３１６Ｂは、第１符号化対象範囲３１５Ａに含まれ、かつ、第２符号化対象範囲３１５Ｂに隣接するｎ（ｎは１以上の整数）ライン分の画像領域である。
つまり、信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂに分割する。
また、第１分割画像信号３１２Ａ及び第２分割画像信号３１２Ｂは、それぞれ、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる動き検出処理及び動き補償処理の際の動きベクトル探索範囲に相当する。つまり、信号分割部３０２は、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる動き検出処理及び動き補償処理の際の動きベクトル探索範囲を決定する。
信号分割部３０２は、この第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを、撮影方式切替部３０１から出力される識別信号３１１に応じてｉ段階で変更する。具体的には、信号分割部３０２は、画素レートが所定の閾値より小さい場合、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを第１の大きさ（例えば３２ライン分）に決定し、画素レートが当該所定の閾値より大きい場合、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを第１の大きさより小さい第２の大きさ（例えば１６ライン分）に決定する。
また、信号分割部３０２は、生成した第１分割画像信号３１２Ａを第１符号化部３０３Ａに出力し、生成した第２分割画像信号３１２Ｂを第２符号化部３０３Ｂに出力する。
第１符号化部３０３Ａは、信号分割部３０２で２分割された第１分割画像信号３１２Ａに含まれる第１符号化対象範囲３１５Ａを符号化することにより、第１符号化信号３１３Ａを生成する。また、第１符号化部３０３Ａは、生成した第１符号化信号３１３Ａを信号合成部３０７に出力する。
第２符号化部３０３Ｂは、信号分割部３０２で２分割された第２分割画像信号３１２Ｂに含まれる第２符号化対象範囲３１５Ｂを符号化することにより、第２符号化信号３１３Ｂを生成する。また、第２符号化部３０３Ｂは、生成した第２符号化信号３１３Ｂを信号合成部３０７に出力する。
また、第１符号化部３０３Ａは、第１符号化対象範囲３１５Ａを符号化した後、復号することにより第１ローカルデコード画像３１７Ａを生成する。また、第２符号化部３０３Ｂは、第２符号化対象範囲３１５Ｂを符号化した後、復号することにより第１ローカルデコード画像３１７Ｂを生成する。つまり、ローカルデコード画像は、出力符号化信号３１４が復号装置により復号されることにより生成される画像と同じ画像である。
第１記憶部３０６Ａは、第１符号化部３０３Ａが符号化を行う際のラインメモリ又はフレームメモリとして使用される。この第１記憶部３０６Ａは、原画像（第１分割画像信号３１２Ａ）と、第１ローカルデコード画像３１７Ａ、及び第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａとを参照画像として記憶する。また、第１符号化部３０３Ａは、この第１記憶部３０６Ａから、過去の第１分割画像信号３１２Ａ、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを参照画像として読み出し、読み出した第１分割画像信号３１２Ａ、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて、現在のピクチャの符号化処理を行う。また、第１符号化部３０３Ａは、第１記憶部３０６Ａに、現在のピクチャの第１分割画像信号３１２Ａ及び第１ローカルデコード画像３１７Ａを、後続のピクチャの符号化処理に用いる参照画像として書き込む。
第２記憶部３０６Ｂは、第２符号化部３０３Ｂが符号化を行う際のラインメモリ又はフレームメモリとして使用される。この第２記憶部３０６Ｂは、原画像（第２分割画像信号３１２Ｂ）と、第１ローカルデコード画像３１７Ｂ、及び第２重複領域３１６Ｂに対応する第２ローカルデコード画像３１８Ｂとを参照画像として記憶する。また、第２符号化部３０３Ｂは、この第２記憶部３０６Ｂから、過去の第２分割画像信号３１２Ｂ、第１ローカルデコード画像３１７Ｂ及び第２ローカルデコード画像３１８Ｂを参照画像として読み出し、読み出した第２分割画像信号３１２Ｂ、第１ローカルデコード画像３１７Ｂ及び第２ローカルデコード画像３１８Ｂを用いて、現在のピクチャの符号化処理を行う。また、第２符号化部３０３Ｂは、第２記憶部３０６Ｂに、現在のピクチャの第２分割画像信号３１２Ｂ及び第１ローカルデコード画像３１７Ｂを、後続のピクチャの符号化処理に用いる参照画像として書き込む。
第１外部連結部３０５Ａは、第２記憶部３０６Ｂに記憶される第１ローカルデコード画像３１７Ｂに含まれる第２ローカルデコード画像３１８Ａを読み出し、読み出した第２ローカルデコード画像３１８Ａを第１記憶部３０６Ａに書き込む。第２外部連結部３０５Ｂは、第１記憶部３０６Ａに記憶される第１ローカルデコード画像３１７Ａに含まれる第２ローカルデコード画像３１８Ｂを読み出し、読み出した第２ローカルデコード画像３１８Ｂを第２記憶部３０６Ｂに書き込む。
第１記憶領域連結部３０４Ａは、第１符号化部３０３Ａと、第１記憶部３０６Ａと、第１外部連結部３０５Ａとの間のデータの受け渡しを行う。第２記憶領域連結部３０４Ｂは、第２符号化部３０３Ｂと、第２記憶部３０６Ｂと、第２外部連結部３０５Ｂとの間のデータの受け渡しを行う。
信号合成部３０７は、第１符号化部３０３Ａにより生成された第１符号化信号３１３Ａと、第２符号化部３０３Ｂにより生成された第２符号化信号３１３Ｂとを合成することにより、１つのビットストリームである出力符号化信号３１４を生成する。
次に、画像符号化装置３００の動作を説明する。まず、画像符号化装置３００による動作の流れの概略を説明する。
図５は、本発明の実施の形態１に係る画像符号化装置３００の動作の流れを示すフローチャートである。
図５に示すように、まず、撮影方式切替部３０１は、ユーザのスイッチ操作等に応じて設定された、ｉ段階からなる画素レートのうちいずれかを取得する（Ｓ１０１）。また、以下では、説明の単純化のために、画素レートが２段階で切り替えられる例を説明する。つまり、ｉ＝０の場合、画素レートが低い低画素レート撮影方式が設定され、ｉ＝１の場合、低画素レート撮影方式より画素レートが高い高画素レート撮影方式が設定される。
また、撮影方式切替部３０１は、設定された画素レートを示す識別信号３１１を生成する。
次に、信号分割部３０２は、入力画像信号３１０に含まれる各ピクチャを、２分割することにより、第１分割画像信号３１２Ａと第２分割画像信号３１２Ｂとを生成する（Ｓ１０２）。
次に、第１符号化部３０３Ａは、第１分割画像信号３１２Ａを符号化することにより、第１符号化信号３１３Ａを生成し、第２符号化部３０３Ｂは、第２分割画像信号３１２Ｂを符号化することにより、第２符号化信号３１３Ｂを生成する（Ｓ１０３）。
次に、信号合成部３０７は、第１符号化信号３１３Ａと第２符号化信号３１３Ｂとを合成することにより、出力符号化信号３１４を生成する（Ｓ１０４）。
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
図６は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。
図６に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、低画素レート撮影方式及び高画素レート撮影方式のうちいずれか設定されているかを判定する（Ｓ１２０）。
高画素レート撮影方式が設定されている場合（Ｓ１２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
一方、低画素レート撮影方式が設定されている場合（Ｓ１２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
図７Ａは、高画素レート撮影方式が設定されている場合の第１分割画像信号３１２Ａの一例を示す図である。また、図７Ｂは、低画素レート撮影方式が設定されている場合の第１分割画像信号３１２Ａの一例を示す図である。
図７Ａに示すように、高画素レート撮影方式が設定されている場合、例えば、第１重複領域３１６Ａのライン数ｎは、「１６」に設定される。また、図７Ｂに示すように、低画素レート撮影方式が設定されている場合、例えば、第１重複領域３１６Ａのライン数ｎは、「３２」に設定される。なお、第２重複領域３１６Ｂのライン数ｎの設定も同様である。
次に、第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる符号化処理について説明する。
なお、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａと、第２符号化部３０３Ｂ、第２記憶領域連結部３０４Ｂ、第２外部連結部３０５Ｂ及び第２記憶部３０６Ｂとは、同一構成であるので、以下において、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａとの構成及び動作のみを説明する。
まず、第１符号化部３０３Ａの詳細な構成について説明する。
図８は、第１符号化部３０３Ａ、第１記憶領域連結部３０４Ａ、第１外部連結部３０５Ａ及び第１記憶部３０６Ａの構成を示すブロック図である。
図８に示すように、第１記憶部３０６Ａは、原画像記憶部７０２と、ローカルデコード画像記憶部７１２とを備える。
原画像記憶部７０２は、原画像（第１分割画像信号３１２Ａ）を記憶する。ローカルデコード画像記憶部７１２は、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを記憶する。
また、第１符号化部３０３Ａは、動き検出部７０１と、減算部７０３と、スイッチ７０４、７１１及び７１３と、変換部７０５と、量子化部７０６と、可変長符号化部７０７と、逆量子化部７０８と、逆変換部７０９と、加算部７１０と、動き補償部７１４とを備える。
スイッチ７１３は、原画像記憶部７０２に記憶される原画像（第１分割画像信号３１２Ａ）と、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａとのうち一方を動き検出部７０１に出力する。具体的には、スイッチ７１３は、識別信号３１１で低画素レート撮影方式が示される場合、第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを動き検出部７０１に出力し、識別信号３１１で高画素レート撮影方式が示される場合、原画像を動き検出部７０１に出力する。
ここで、第１分割画像信号３１２Ａは、Ｉピクチャ（イントラピクチャ）とＰピクチャ（インターピクチャ）とを含む。Ｉピクチャは、当該Ｉピクチャ内のデータを用いた画面内符号化が行われるピクチャであり、Ｐピクチャは、他のピクチャのデータを用いた画面間符号化が行われるピクチャである。
動き検出部７０１は、第１分割画像信号３１２Ａに含まれる処理対象のピクチャ（以下、対象ピクチャ）がＰピクチャである場合、他のピクチャを用いて、当該ピクチャに動き検出処理を行うことにより、動きベクトル７２５を生成する。ここで、他のピクチャとは、スイッチ７１３により出力される原画像又はローカルデコード画像（第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａ）に含まれるピクチャである。
具体的には、動き検出部７０１は、画素レートが所定の閾値より大きい場合、原画像記憶部７０２に記憶されている原画像を用いて、対象ピクチャの動きベクトル７２５を検出する。また、動き検出部７０１は、画素レートが当該所定の閾値より小さい場合、ローカルデコード画像記憶部７１２に記憶されている第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて、対象ピクチャの動きベクトル７２５を検出する。
ここで動き検出処理とは、対象ピクチャに含まれる画像ブロックごとに、当該画像ブロックの画像に近い、過去のピクチャの画像ブロックを探索したうえで、当該画像ブロックに含まれる画像が当該過去のピクチャから動いた動きの量及び方向（動きベクトル７２５）を算出する処理である。
動き補償部７１４は、動き検出部７０１により生成された動きベクトル７２５と、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａに含まれる他のピクチャとを用いて、動き補償処理を行うことにより、予測画像７２６を生成する。
ここで動き補償処理とは、過去のピクチャに含まれる画像を、動きベクトル７２５で示される動き量分、空間的にシフトさせることにより、対象ピクチャの画像に相当する予測画像７２６を生成する処理である。
減算部７０３は、第１分割画像信号３１２Ａに含まれる対象ピクチャから、予測画像７２６を減算することにより、予測誤差信号７２１を生成する。
スイッチ７０４は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、減算部７０３により生成された予測誤差信号７２１を変換部７０５に出力し、対象ピクチャがＩピクチャである場合、第１分割画像信号３１２Ａを変換部７０５に出力する。
変換部７０５は、スイッチ７０４により出力された予測誤差信号７２１又は第１分割画像信号３１２ＡにＤＣＴ変換（直交変換）を行うことにより、ＤＣＴ係数７２２を生成する。ここでＤＣＴ変換とは、入力された信号を空間面から周波数面への変換する処理である。
量子化部７０６は、変換部７０５により生成されたＤＣＴ係数７２２を量子化することにより、量子化係数７２３を生成する。具体的には、量子化部７０６は、ＤＣＴ係数７２２を、量子化値Ｑによって除算することにより、量子化係数７２３を生成する。
可変長符号化部７０７は、量子化部７０６により生成された量子化係数７２３を、可逆な可変長符号化することにより、第１分割画像信号３１２Ａより情報量が圧縮された第１符号化信号３１３Ａを生成する。
逆量子化部７０８は、量子化部７０６により生成された量子化係数７２３を逆量子化することにより、ＤＣＴ係数７２４を生成する。具体的には、逆量子化部７０８は、量子化係数７２３に量子化部７０６が使用した量子化値Ｑを乗算することにより、ＤＣＴ係数７２４を生成する。ここで、ＤＣＴ係数７２２を量子化すると必ず量子化誤差が発生する。これに対して、逆量子化部７０８において、逆量子化を行うことにより、ＤＣＴ係数７２２に量子化誤差を加えた信号、つまり、復号装置で復号される際のＤＣＴ係数と同じＤＣＴ係数７２４を生成できる。
逆変換部７０９は、逆量子化部７０８により生成されたＤＣＴ係数７２４を逆ＤＣＴ変換することにより、元の第１分割画像信号３１２Ａに量子化歪みを加えたローカルデコード信号７２７を生成する。
スイッチ７１１は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、動き補償部７１４により生成された予測画像７２６を加算部７１０に供給し、対象ピクチャがＩピクチャである場合、当該スイッチ７１１は開放される。
加算部７１０は、第１分割画像信号３１２Ａに含まれる対象ピクチャがＰピクチャである場合、逆変換部７０９により生成されたローカルデコード信号７２７と、スイッチ７１１により出力される予測画像７２６とを加算することにより、第１ローカルデコード画像３１７Ａを生成する。また、加算部７１０は、対象ピクチャがＩピクチャである場合、逆変換部７０９により生成されたローカルデコード信号７２７を第１ローカルデコード画像３１７Ａとして出力する。また、加算部７１０により生成された第１ローカルデコード画像３１７Ａは、ローカルデコード画像記憶部７１２に記憶される。
次に、第１符号化部３０３Ａによる符号化処理（Ｓ１０３）の動作の流れについて説明する。
図９は、第１分割画像信号３１２Ａに含まれる１枚の対象ピクチャに対する第１符号化部３０３Ａによる符号化処理（Ｓ１０３）の動作の流れを示すフローチャートである。
図９に示すように、第１符号化部３０３Ａは、第１分割画像信号３１２Ａに含まれる対象ピクチャを、以降のピクチャで動きベクトル検出をするために用いる参照画像として、第１記憶領域連結部３０４Ａを介して、原画像のまま原画像記憶部７０２に書き込む（Ｓ１３１）。なお、対象ピクチャを原画像記憶部７０２に書き込むタイミングは、図９に示すタイミングに限定されず、任意のタイミングで行ってよい。
次に、第１符号化部３０３Ａは、第１分割画像信号３１２Ａに含まれる対象ピクチャが、ＩピクチャであるかＰピクチャであるかを判定する（Ｓ１３２）。
対象ピクチャがＩピクチャの場合（Ｓ１３２でＮｏ）、第１分割画像信号３１２Ａは、動き検出部７０１に供給される。このとき、動き検出部７０１は、処理対象のピクチャに対してベクトル演算処理は行わない。
また、Ｉピクチャの処理ではスイッチ７０４は、第１分割画像信号３１２Ａを変換部７０５に出力する。変換部７０５は、第１分割画像信号３１２Ａに含まれる対象ピクチャの第１符号化対象範囲３１５ＡをＤＣＴ係数７２２に変換する（Ｓ１３５）。
次に、量子化部７０６は、ＤＣＴ係数７２２を量子化することにより量子化係数７２３を生成する（Ｓ１３６）。次に、可変長符号化部７０７は、量子化係数７２３を可変長符号化することにより第１符号化信号３１３Ａを生成する（Ｓ１３７）。
以上の処理により、対象ピクチャの第１符号化対象範囲３１５Ａのデータ量が圧縮された第１符号化信号３１３Ａが生成される。
一方で、逆量子化部７０８は、ステップＳ１３６で生成された量子化係数７２３を逆量子化することによりＤＣＴ係数７２４を生成する。次に、逆変換部７０９は、ＤＣＴ係数７２４を逆ＤＣＴ変換することによりローカルデコード信号７２７を生成する。
Ｉピクチャの処理の場合には、スイッチ７１１が開放されているので、逆ＤＣＴ変換されたローカルデコード信号７２７は、加算部７１０で加算処理されること無く、そのまま第１ローカルデコード画像３１７Ａとして、ローカルデコード画像記憶部７１２に、第１記憶領域連結部３０４Ａを介して書き込まれる（Ｓ１３８）。
図１０は、原画像及びローカルデコード画像の関係を示す図である。図１０に示すように、第１符号化部３０３Ａにより、対象ピクチャの原画像に含まれる第１符号化対象範囲３１５Ａに対応する第１ローカルデコード画像３１７Ａが生成され、第１符号化部３０３Ａのローカルデコード画像記憶部７１２に記憶される。また、第１ローカルデコード画像３１７Ａは、第２符号化部３０３Ｂで用いられる第２重複領域３１６Ｂに対応する第２ローカルデコード画像３１８Ｂを含む。
なお、この第１ローカルデコード画像３１７Ａの作成処理（Ｓ１３８）と、可変長符号化処理（Ｓ１３７）との順序は任意でよい。また、第１ローカルデコード画像３１７Ａの作成処理（Ｓ１３８）と、可変長符号化処理（Ｓ１３７）とに含まれる少なくとも一部の処理を同時に行ってもよい。
次にＰピクチャの符号化処理について説明する。
ステップＳ１３２において、対象ピクチャがＰピクチャの場合（Ｓ１３２でＹｅｓ）、次に、動き検出部７０１は、対象ピクチャの動き検出処理及び動き補償処理を行う（Ｓ１３３）。
図１１は、第１符号化部３０３Ａによる動き検出処理及び動き補償処理（Ｓ１３３）の流れを示すフローチャートである。
まず、第１符号化部３０３Ａは、第１重複領域３１６Ａに対応するローカルデコード画像が必要か否かを判定する（Ｓ１５１）。なお、ステップＳ１５１の詳細については後述する。
第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要な場合（Ｓ１５１でＹｅｓ）、第１符号化部３０３Ａは、第１外部連結部３０５Ａ及び第２外部連結部３０５Ｂを介して、第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２へ、当該ローカルデコード画像記憶部７１２が記憶している第１重複領域３１６Ａに相当する第２ローカルデコード画像３１８Ａの転送要求を出力する（Ｓ１５２）。
次に、識別信号３１１で高画素レート撮影方式が示される場合（Ｓ１５３でＹｅｓ）、スイッチ７１３は、原画像記憶部７０２に記憶される原画像を動き検出部７０１に出力する。次に、動き検出部７０１は、スイッチ７１３により出力される原画像を用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５４）。また、この動き検出処理に用いられる探索範囲は、図１０に示すように、原画像の第１符号化対象範囲３１５Ａ（３６０ライン）と第１重複領域３１６Ａ（１６ライン）とを含む。
一方で、第１符号化部３０３Ａは、ステップＳ１５２の転送要求に応じて第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２から出力された第２ローカルデコード画像３１８Ａを取得し、取得した第２ローカルデコード画像３１８Ａを参照画像としてローカルデコード画像記憶部７１２に記憶する（Ｓ１５５）。
次に、動き補償部７１４は、図１０に示すように、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
一方、識別信号３１１で低画素レート撮影方式が示される場合（Ｓ１５３でＮｏ）、まず、第１符号化部３０３Ａは、ステップＳ１５２の転送要求に応じて第２記憶部３０６Ｂが備えるローカルデコード画像記憶部７１２から出力された第２ローカルデコード画像３１８Ａを取得し、取得した第２ローカルデコード画像３１８Ａを参照画像としてローカルデコード画像記憶部７１２に記憶する（Ｓ１５７）。
ここで、スイッチ７１３は、原画像記憶部７０２に記憶される原画像を動き検出部７０１に出力する。なお、動き検出部７０１は、第１分割画像信号３１２Ａから直接原画像を取得してもよい。次に、動き検出部７０１は、スイッチ７１３により出力される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５８）。また、この動き検出処理に用いられる探索範囲は、図１０に示すように、第１符号化対象範囲３１５Ａ（３６０ライン）と第１重複領域３１６Ａ（３２ライン）とに対応する第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを含む。
次に、動き補償部７１４は、図１０に示すように、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａ及び第２ローカルデコード画像３１８Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
一方、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要でない場合（Ｓ１５１でＮｏ）、動き検出部７０１は、スイッチ７１３により出力される第１ローカルデコード画像３１７Ａを用いて動き検出処理を行うことにより、動きベクトル７２５を算出する（Ｓ１５８）。
次に、動き補償部７１４は、ローカルデコード画像記憶部７１２に記憶される第１ローカルデコード画像３１７Ａを用いて動き補償処理を行うことにより予測画像７２６を生成する（Ｓ１５６）。
また、ステップＳ１５６の後、図９に示すように、次に、減算部７０３は、原画像から予測画像７２６を減算することにより予測誤差信号７２１を生成する（Ｓ１３４）。
次に、量子化部７０６は、ＤＣＴ係数７２２を量子化することにより量子化係数７２３を生成する（Ｓ１３６）。次に、可変長符号化部７０７は、量子化係数７２３を可変長符号化することにより第１符号化信号３１３Ａを生成する（Ｓ１３７）。
以上の処理により、対象ピクチャの第１符号化対象範囲３１５Ａのデータ量が圧縮された第１符号化信号３１３Ａが生成される。
一方で、逆量子化部７０８は、ステップＳ１３６で生成された量子化係数７２３を逆量子化することによりＤＣＴ係数７２４を生成する。次に、逆変換部７０９は、ＤＣＴ係数７２４を逆ＤＣＴ変換することによりローカルデコード信号７２７を生成する。
Ｐピクチャの処理の場合には、スイッチ７１１は予測画像７２６を加算部７１０に出力する。加算部７１０は、ローカルデコード信号７２７と予測画像７２６とを加算することにより第１ローカルデコード画像３１７Ａを生成し、生成した第１ローカルデコード画像３１７Ａをローカルデコード画像記憶部７１２に、第１記憶領域連結部３０４Ａを介して書き込む（Ｓ１３８）。
図１２は、低画素レート時及び高画素レート時の処理時間を示す図である。
図１２に示すように、高画素レート時には、動き検出部７０１は、ステップＳ１５２の要求に応じて第２符号化部３０３Ｂにより出力される第２ローカルデコード画像３１８Ａを第１符号化部３０３Ａが取得する前（Ｓ１５５の前）に、原画像記憶部７０２に記憶されている原画像を用いて、動きベクトルを検出する処理（Ｓ１５４）を開始する。このように、画像符号化装置３００は、第２ローカルデコード画像３１８Ａの取得を待たずに、第１記憶部３０６Ａに記憶されている原画像を用いて動き検出を行うことにより、処理速度を向上できる。
次に、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要か否かを判定する処理（Ｓ１５１）について説明する。
図１３は、第１重複領域３１６Ａに対応する第２ローカルデコード画像３１８Ａが必要か否かを判定する処理の流れを示すフローチャートである。なお、図１３に示す処理は、第１符号化対象範囲３１５Ａに含まれる処理ブロックごとに行われる。
まず、第１符号化部３０３Ａは、処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれるか否かを判定する（Ｓ１６１）。
処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれない場合（Ｓ１６１でＮｏ）、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが不要であると判定する（Ｓ１６４）。
一方、処理対象のブロックの探索範囲に第１重複領域３１６Ａが含まれる場合（Ｓ１６１でＹｅｓ）、次に、第１符号化部３０３Ａは、算出済みの周囲の複数のブロック間の動きベクトルの相関が大きいか否かを判定する（Ｓ１６２）。具体的には、第１符号化部３０３Ａは、周囲の複数のブロック間の動きベクトルの相関が所定の閾値以上であるか否かを判定する。
周囲の複数のブロック間の動きベクトルの相関が大きい場合（Ｓ１６２でＹｅｓ）、次に、第１符号化部３０３Ａは、第１符号化対象範囲３１５Ａと第１重複領域３１６Ａとの境界である分割境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測する。次に、第１符号化部３０３Ａは、予測した動きベクトルが上向き（第１重複領域３１６Ａと逆方向）であるか否かを判定する（Ｓ１６３）。
図１４は、第１符号化対象範囲３１５Ａと第１重複領域３１６Ａとの分割境界付近の動きベクトルの一例を示す図である。
ここで、あるブロックの動きベクトルは、周囲のブロックの動きベクトルと強い相関があるため、周囲のブロックの動きベクトルを用いて、あるブロックの動きベクトルを予測することができる。例えば、図１４に示すように、処理対象の符号化ブロック９０１の動きベクトル９０２は、符号化ブロック９０１に隣接する隣接ブロック９０３、９０５及び９０７の動きベクトル９０４、９０６及び９０８を用いて予測できる。この場合は、第１符号化部３０３Ａは、隣接ブロックの動きベクトル９０４、９０６及び９０８の水平垂直成分の平均値を算出することにより、動きベクトル９０２の方向は上向きと予測する。
予測した動きベクトルが上向きの場合（Ｓ１６３でＹｅｓ）、動き補償における動き先は、第１重複領域３１６Ａにならないため、自らが生成した第１ローカルデコード画像３１７Ａのみで動き補償処理を行える。よって、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが不要であると判定する（Ｓ１６４）。
一方、周囲の複数のブロック間の動きベクトルの相関が小さい場合（Ｓ１６２でＮｏ）、又は、予測した動きベクトルが下向きの場合（Ｓ１６３でＮｏ）、動き補償における動き先は、第１重複領域３１６Ａ内になる可能性があるので、第１符号化部３０３Ａは、第１重複領域３１６Ａの第２ローカルデコード画像３１８Ａが必要であると判定する（Ｓ１６５）。
このように、第１符号化部３０３Ａは、予測した動きベクトルが分割境界の方向を示す場合、第２符号化部３０３Ｂにより生成された第２ローカルデコード画像３１８Ａを取得し、予測した動きベクトルが分割境界の方向を示さない場合、第２符号化部３０３Ｂにより生成された第２ローカルデコード画像３１８Ａを取得しない。
以上より、本発明の実施の形態１に係る画像符号化装置３００は、入力画像信号３１０の画素レートが低い場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを大きくし、入力画像信号３１０の画素レートが高い場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを小さくする。
これにより、画像符号化装置３００は、高画素レート時における、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間で伝送される第２ローカルデコード画像３１８Ａ及び３１８Ｂのデータ量を削減できる。これにより、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間の通信バンド幅を削減できる。さらに、取得した第２ローカルデコード画像３１８Ａ及び３１８Ｂを記憶するローカルデコード画像記憶部７１２の記憶容量を削減できる。さらに、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のバンド幅削減により、画像符号化装置３００は、より高画素レートの入力画像信号３１０を処理できる。
ここで、画素レートが高い場合、例えば、毎秒３０又は６０フレームより高いフレームレート（例えば毎秒３００フレーム）の場合、ピクチャ間の時間間隔が小さくなるため、撮影される被写体又は撮影部の動きが小さくなる。これにより、入力画像信号３１０の動きベクトルも小さくなると想定される。よって、動き補償処理の探索範囲（第１重複領域３１６Ａ及び第２重複領域３１６Ｂ）の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明の実施の形態１に係る画像符号化装置３００は、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの入力画像信号３１０に対応できる。
また、画像符号化装置３００は、高画素レート時よりも処理速度が要求されない低画素レート時には、動き補償処理の探索範囲を広げることにより、符号化効率及び画質を向上できる。
また、画像符号化装置３００は、高画素レート時には、原画像を用いて動きベクトルを算出する。
これにより、画像符号化装置３００は、一方の符号化部の動き検出部７０１が原画像を探索範囲として動きベクトルを算出している間に、他方の符号化部のローカルデコード画像記憶部７１２から、第１重複領域３１６Ａ又は第２重複領域３１６Ｂに相当する第２ローカルデコード画像３１８Ａ又は３１８Ｂを転送できる。よって、画像符号化装置３００は、相手側の第２ローカルデコード画像３１８Ａ又は３１８Ｂを取得するまでの動き検出部７０１の待ち時間を削減できるので、レイテンシを削減できる。
また、画像符号化装置３００は、動きベクトル予測を行うことにより、第１重複領域３１６Ａ又は第２重複領域３１６Ｂの第２ローカルデコード画像３１８Ａ又は３１８Ｂが必要か否かを判定する。これにより、画像符号化装置３００は、第２ローカルデコード画像３１８Ａ又は３１８Ｂの転送量を削減できるので、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のバンド幅を削減できる。
なお、上記説明では、ユーザのスイッチ操作により画素レートが設定されるとしたが、ユーザのスイッチ操作により画像サイズとフレームレートとが設定され、撮影方式切替部３０１は、当該画像サイズ及びフレームレートを用いて、画素レートを算出してもよい。
さらに、ユーザのスイッチ操作により、画像サイズとフレームレートとのうち一方のみが設定されてもよい。この場合、上記説明における画素レートを、画像サイズ又はフレームレートと置き換えればよい。
（実施の形態２）
本発明の実施の形態２では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態２に係る画像符号化装置３００Ａは、入力画像信号３１０に含まれる情報を用いて入力画像信号３１０の画素レートを判定し、判定した画素レートに応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
まず、本発明の実施の形態２に係る画像符号化装置３００Ａの構成を説明する。
図１５は、本発明の実施の形態２に係る画像符号化装置３００Ａの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
図１５に示す画像符号化装置３００Ａは、図３に示す画像符号化装置３００の構成に加え、画素レート監視部３０８を備える。また、撮影方式切替部３０１Ａの構成が異なる。
画素レート監視部３０８は、本発明の第１算出部に相当し、撮像素子が出力する入力画像信号３１０に含まれる、ピクセルクロックと水平同期信号と垂直同期信号とを用いて、入力画像信号３１０の画像サイズ及びフレームレートを算出する。また、画素レート監視部３０８は、算出した画像サイズ及びフレームレートを含む監視結果３２０を撮影方式切替部３０１Ａに出力する。
撮影方式切替部３０１Ａは、本発明の第２算出部に相当し、画素レート監視部３０８により生成された監視結果３２０を取得し、この監視結果３２０を用いて、ｉ段階からなる画素レートのうちいずれかを設定する。具体的には、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズとフレームレートとを乗算することにより、推定画素レートを算出する。撮影方式切替部３０１Ａは、算出した推定画素レートが大きいほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ａは、推定画素レートが所定の値より大きい場合に高フレームレート撮影方式を設定し、推定画素レートが当該所定の値より小さい場合に低フレームレート撮影方式を設定する。また、撮影方式切替部３０１Ａは、設定された画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ及び第２符号化部３０３Ｂに出力する。
なお、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズ及びフレームレートのうち一方のみを用いて、ｉ段階からなる画素レートのうちいずれかを設定してもよい。具体的には、撮影方式切替部３０１Ａは、監視結果３２０に含まれる画像サイズが大きいほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。また、撮影方式切替部３０１Ａは、監視結果３２０に含まれるフレームレートが高いほど、ｉ段階からなる画素レートのうち高い画素レートを設定する。
次に、画像符号化装置３００Ａの動作を説明する。
図１６は、本発明の実施の形態２に係る画像符号化装置３００Ａの動作の流れを示すフローチャートである。なお、図５と同様の処理については同じ符号を用い、説明を省略する。
まず、画素レート監視部３０８は、撮像素子から出力される入力画像信号３１０に含まれる情報から、入力画像信号３１０の画像サイズ及びフレームレートを取得する（Ｓ２０１）。具体的には、画素レート監視部３０８は、入力画像信号３１０に含まれるピクセルクロックと水平同期信号と垂直同期信号とを用いて監視結果３２０である画像サイズ及びフレームレートを算出する。
次に、撮影方式切替部３０１Ａは、画素レート監視部３０８により生成された監視結果３２０を取得し、この監視結果３２０に含まれる画像サイズとフレームレートとに対応する画素レートを算出する（Ｓ２０２）。次に、撮影方式切替部３０１Ａは、算出した画素レートに基づき、撮影方式を決定する（Ｓ２０３）。また、撮影方式切替部３０１Ａは、決定した撮影方式を示す識別信号３１１を、信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
以上により、本発明の実施の形態２に係る画像符号化装置３００Ａは、上述した実施の形態１と同様の効果を得ることができる。
さらに、本発明の実施の形態２に係る画像符号化装置３００Ａは、画素レート監視部３０８が、撮像素子から出力される入力画像信号３１０を直接監視することで、特定の撮像素子に依存せずに、動的又は適応的に撮像素子から出力される入力画像信号３１０の画像サイズ、及びフレームレートを識別できる。また、撮像素子は、制御マイコン等から出力されるコマンド等に従い、画像サイズ及びフレームレートが変更される。画像符号化装置３００Ａは、画素レート監視部３０８を備えることで、これらの変更に適応的に対応できる。
このように、本発明の実施の形態２に係る画像符号化装置３００Ａは、撮像素子又は制御用マイコンの構成に依存せずに、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態３に係る画像符号化装置３００Ｂは、第１記憶部３０６Ａ及び第２記憶部３０６Ｂの残りバッファ容量に応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
まず、本発明の実施の形態３に係る画像符号化装置３００Ｂの構成を説明する。
図１７は、本発明の実施の形態３に係る画像符号化装置３００Ｂの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
図１７に示す画像符号化装置３００Ｂは、図３に示す画像符号化装置３００の構成に加え、さらに、残りバッファ容量監視部３０９を備える。また、撮影方式切替部３０１Ｂの構成が異なる。
残りバッファ容量監視部３０９は、所定の時間ごとに、第１符号化部３０３Ａがフレームバッファ又はラインバッファとして使用する第１記憶部３０６Ａの記憶領域のうち空いている領域である残りバッファ容量３２１Ａを取得する。また、残りバッファ容量監視部３０９は、第２符号化部３０３Ｂがフレームバッファ又はラインバッファとして使用する第２記憶部３０６Ｂの残りバッファ容量３２１Ｂを取得する。また、残りバッファ容量監視部３０９は、残りバッファ容量３２１Ａ及び３２１Ｂのうち少ない方の容量を示す残りバッファ容量３２２を生成し、生成した残りバッファ容量３２２を撮影方式切替部３０１Ｂに出力する。
撮影方式切替部３０１Ｂは、残りバッファ容量監視部３０９により出力された残りバッファ容量３２２を取得する。また、撮影方式切替部３０１Ｂは、取得した残りバッファ容量３２２に応じて、ｉ段階からなる画素レートのうちいずれかを設定する。
ここで、高画素レートの符号化処理時には、第１符号化部３０３Ａ及び第２符号化部３０３Ｂのリソース及び処理状況に余裕が無くなり、一般的に、残りバッファ容量３２１Ａ及び３２１Ｂが低画素レートの符号化処理時に比べ少なくなる。
よって、撮影方式切替部３０１Ｂは、この残りバッファ容量３２１Ａ及び３２１Ｂを用いて画素レートを判別できる。
具体的には、撮影方式切替部３０１Ｂは、残りバッファ容量３２２が大きいほど、画素レートを高く設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ｂは、残りバッファ容量３２２が所定の値より大きい場合に高画素レート撮影方式を設定し、残りバッファ容量が当該所定の値より小さい場合に低画素レート撮影方式を設定する。また、撮影方式切替部３０１Ｂは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
なお、撮影方式切替部３０１Ｂは、残りバッファ容量３２２から画素レートを推定するのではなく、残りバッファ容量３２２が所定の値より大きいか否かを示す識別信号３１１を出力してもよい。
また、この識別信号３１１は、第１重複領域３１６Ａ、第２重複領域３１６Ｂ、第２ローカルデコード画像３１８Ａ及び３１８Ｂの幅ｎの設定に使用される。具体的には、信号分割部３０２は、この識別信号３１１を用いて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの幅ｎを設定する。また、第１符号化部３０３Ａ及び第２符号化部３０３Ｂは、この識別信号３１１を用いて、動き探索範囲を決定する。
次に、画像符号化装置３００Ｂの動作を説明する。
図１８は、本発明の実施の形態３に係る画像符号化装置３００Ｂの動作の流れを示すフローチャートである。なお、図５と同様の処理については同じ符号を用い、説明を省略する。
まず、残りバッファ容量監視部３０９は、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂがラインバッファ又はフレームバッファとして使用する第１記憶部３０６Ａ、及び第２記憶部３０６Ｂの残りバッファ容量３２１Ａ及び３２１Ｂを取得する（Ｓ３０１）。そして、残りバッファ容量監視部３０９は、残りバッファ容量３２１Ａ及び３２１Ｂのうち少ない方の容量を示す残りバッファ容量３２２を生成する。
次に、撮影方式切替部３０１Ｂは、残りバッファ容量監視部３０９から出力された残りバッファ容量３２２を取得する。次に、撮影方式切替部３０１Ｂは、取得した残りバッファ容量３２２に応じて、画素レートを決定する。また、撮影方式切替部３０１Ｂは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
図１９は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。
図１９に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、残りバッファ容量３２２（画素レート）が所定の値以下であるか否かを判定する（Ｓ３２０）。
残りバッファ容量３２２が所定の値以下の場合（Ｓ３２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
一方、残りバッファ容量３２２が所定の値より大きい場合（Ｓ３２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
以上により、本発明の実施の形態３に係る画像符号化装置３００Ｂは、残りバッファ容量監視部３０９が、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂによって、ラインバッファ又はフレームバッファとして使用される第１記憶部３０６Ａ及び第２記憶部３０６Ｂの残りバッファ容量３２１Ａ及び３２１Ｂの監視を行う。さらに、画像符号化装置３００Ｂは、その残りバッファ容量３２１Ａ及び３２１Ｂを用いて第１符号化部３０３Ａ及び第２符号化部３０３Ｂにおけるリソースの余裕度、及び符号化処理の状況の進捗を判断し、判断結果に応じて識別信号３１１を生成できる。
このように、本発明の実施の形態３に係る画像符号化装置３００Ｂは、上述した実施の形態１と同様の効果を得ることができる。
さらに、本発明の実施の形態３に係る画像符号化装置３００Ｂでは、残りバッファ容量３２１Ａ及び３２１Ｂが少なくなった際には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを、減少させることができる。こうすることで、画素レートの高低によらず、第１符号化部３０３Ａ及び第２符号化部３０３Ｂのリソース及び処理状況に余裕が無くなった場合に、当該第１符号化部３０３Ａ及び第２符号化部３０３Ｂによる処理量を減らすことができる。
このように、本発明の実施の形態３に係る画像符号化装置３００Ｂは、第１符号化部３０３Ａ及び第２符号化部３０３Ｂが備えるラインバッファ又はフレームバッファのリソース状況に合わせて記憶領域の削減を行いながら、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
（実施の形態４）
本発明の実施の形態４では、上述した実施の形態１に係る画像符号化装置３００の変形例について説明する。本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトルに応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。
まず、本発明の実施の形態４に係る画像符号化装置３００Ｃの構成を説明する。
図２０は、本発明の実施の形態４に係る画像符号化装置３００Ｃの構成を示すブロック図である。なお、図３と同じ構成要素については同じ符号を用い、説明を省略する。
図２０に示す画像符号化装置３００Ｃは、図３に示す画像符号化装置３００の構成に加え、さらに、動きベクトル監視部３３０を備える。また、撮影方式切替部３０１Ｃの構成が異なる。
動きベクトル監視部３３０は、第１符号化部３０３Ａにより生成された動きベクトル３３１Ａ、及び第２符号化部３０３Ｂにより生成された動きベクトル３３１Ｂを取得する。そして、動きベクトル監視部３３０は、動きベクトル３３１Ａ及び３３１Ｂのうち最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。具体的には、動きベクトル監視部３３０は、動きベクトル３３１Ａ及び３３１Ｂに含まれる複数の動きベクトルのうち、例えば、分割境界（第１符号化対象範囲３１５Ａと第２符号化対象範囲３１５Ｂの境界）をまたぐ最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。
また、例えば、動きベクトル３３１Ａ及び３３１Ｂは、動き検出部７０１により生成された１ピクチャ分の複数の動きベクトル７２５である。言い換えると、動きベクトル監視部３３０は、入力画像信号３１０に含まれるピクチャごとに最も大きい動きベクトル３３２を選択する。
撮影方式切替部３０１Ｃは、動きベクトル監視部３３０により出力される動きベクトル３３２を取得する。また、撮影方式切替部３０１Ｃは、取得した動きベクトル３３２に応じて、ｉ段階からなる画素レートのうちいずれかを設定する。
ここで、例えば、高画素レートである高速度撮影された画像信号の符号化処理時には、撮影される被写体又は撮影部の動きが小さくなる。よって、撮影方式切替部３０１Ｃは、動きベクトル３３２を用いて画素レートを判別できる。
具体的には、撮影方式切替部３０１Ｃは、動きベクトル３３２が大きいほど、画素レートを低く設定する。例えば、ｉが２の場合、撮影方式切替部３０１Ｃは、動きベクトル３３２が所定の値より大きい場合に低画素レート撮影方式を設定し、動きベクトル３３２が当該所定の値より小さい場合に高画素レート撮影方式を設定する。また、撮影方式切替部３０１Ｃは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂに出力する。
次に、画像符号化装置３００Ｃの動作を説明する。
図２１は、本発明の実施の形態４に係る画像符号化装置３００Ｃの動作の流れを示すフローチャートである。なお、図６と同様の処理については同じ符号を用い、説明を省略する。
図２１に示すように、まず、動きベクトル監視部３３０は、第１符号化部３０３Ａ、及び第２符号化部３０３Ｂにより生成された動きベクトル３３１Ａ及び３３１Ｂを取得する（Ｓ４０１）。そして動きベクトル監視部３３０は、取得した動きベクトル３３１Ａ及び３３１Ｂに含まれる複数の動きベクトルのうち、分割境界をまたぐ最も大きい動きベクトル３３２を、撮影方式切替部３０１Ｃに出力する。
次に、撮影方式切替部３０１Ｃは、動きベクトル監視部３３０により出力された動きベクトル３３２を取得する。次に、撮影方式切替部３０１Ｃは、取得した動きベクトル３３２に応じて画素レートを決定する。また、撮影方式切替部３０１Ｃは、設定した画素レートを示す識別信号３１１を信号分割部３０２、第１符号化部３０３Ａ及び第２符号化部３０３Ｂに出力する。
なお、ステップＳ１０２以降の処理は、実施の形態１と同様なので、説明は省略する。
次に、信号分割処理（Ｓ１０２）の詳細な動作を説明する。
図２２は、信号分割部３０２による信号分割処理の流れを示すフローチャートである。
図２２に示すように、まず、信号分割部３０２は、識別信号３１１を参照し、動きベクトル３３２（画素レート）が所定の値以下であるか否かを判定する（Ｓ４２０）。
動きベクトル３３２が所定の値以下の場合（Ｓ４２０でＹｅｓ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭く設定する（Ｓ１２１）。
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２１で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
一方、動きベクトル３３２が所定の値より大きい場合（Ｓ４２０でＮｏ）、信号分割部３０２は、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広く設定する（Ｓ１２２）。
次に、信号分割部３０２は、入力画像信号３１０を分割することにより、ステップＳ１２２で設定した大きさの第１重複領域３１６Ａを含む第１分割画像信号３１２Ａと、設定した大きさの第２重複領域３１６Ｂを含む第２分割画像信号３１２Ｂとを生成する（Ｓ１２３）。
以上により、本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトル３３１Ａ及び３３１Ｂの最大値を監視する。また、画像符号化装置３００Ｃは、動きベクトル３３１Ａ及び３３１Ｂの最大値に応じて、符号化処理の予測信号の状況を判断し、判定結果に応じた識別信号３１１を生成できる。
このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、上述した実施の形態１と同様の効果を得ることができる。
さらに、本発明の実施の形態４に係る画像符号化装置３００Ｃは、動きベクトルが小さい場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂのライン数ｎを減少させる。動きベクトルが小さい場合には、動き補償処理の探索範囲（第１重複領域３１６Ａ及び第２重複領域３１６Ｂ）の大きさを小さくしても、符号化効率及び画質が悪化する可能性は低い。このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、符号化効率及び画質の悪化を抑制しつつ、より高画素レートの符号化処理に対応できる。
また、本発明の実施の形態４に係る画像符号化装置３００Ｃは、画素レートの高低によらず、動きベクトルが小さい場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭くする。これにより、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のデータ転送量をより削減できる。
このように、本発明の実施の形態４に係る画像符号化装置３００Ｃは、第１符号化部３０３Ａ及び第２符号化部３０３Ｂで生成される動きベクトル３３１Ａ及び３３１Ｂに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更することにより、符号化部間のバンド幅削減と、さらなる高画素レートの符号化処理とを実現できる。
また、画像符号化装置３００Ｃは、分割境界（第１符号化対象範囲３１５Ａと第２符号化対象範囲３１５Ｂの境界）をまたぐ最も大きい動きベクトル３３２に応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する。これにより、より適切な第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを設定できる。
具体的には、ピクチャ全体での動きが大きい場合でも、分割境界付近において動きが小さい場合が想定される。このような場合には、分割境界付近において動きが小さいので、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさが小さくても、符号化効率及び画質が悪化する可能性は低い。これに対して、画像符号化装置３００Ｃは、このような場合には、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを小さく設定できる。これにより、画像符号化装置３００Ｃは、符号化効率及び画質の悪化を抑制しつつ、第１符号化部３０３Ａと第２符号化部３０３Ｂとの間のデータ転送量をより削減できる。
以上、本発明の実施の形態１〜４に係る画像符号化装置３００〜３００Ｃについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記実施の形態１〜４の説明では、画像符号化装置３００〜３００Ｃが、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを２段階で変更する例を述べたが、３段階以上で変更してもよい。この場合、画像符号化装置３００〜３００Ｃは、画素レートが高いほど、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを小さくすればよい。
また、上記実施の形態１〜４の説明では、画像符号化装置３００〜３００Ｃが、入力画像信号３１０を上下に２分割する例を述べたが、左右に２分割してもよい。さらに、画像符号化装置３００〜３００Ｃは、入力画像信号３１０を３以上の画像に分割し、分割した画像をそれぞれ符号化する３以上の符号化部を備えてもよい。また、分割された画像（第１符号化対象範囲３１５Ａ及び第２符号化対象範囲３１５Ｂ）の大きさは異なってもよい。また、第１重複領域３１６Ａと第２重複領域３１６Ｂとの大きさは異なってもよい。
また、上記実施の形態１〜４の説明では、各画像符号化装置３００〜３００Ｃは、それぞれ、ユーザのスイッチ操作、入力画像信号３１０に含まれる情報、残りバッファ容量３２２及び動きベクトル３３２のいずれか一つに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更しているが、上記の４つのうちの２つ以上に応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更してもよい。
例えば、画像符号化装置３００〜３００Ｃが残りバッファ容量３２２及び動きベクトル３３２に応じて第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更する場合、当該画像符号化装置３００〜３００Ｃは、残りバッファ容量３２２が所定の値より大きく、かつ、動きベクトル３３２が所定の値より大きい場合に、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを広くし、（１）残りバッファ容量３２２が所定の値より小さい、及び、（２）動きベクトル３３２が所定の値より小さい、のうち少なくとも一方を満たす場合に、第１重複領域３１６Ａ及び第２重複領域３１６Ｂを狭くする。なお、当該画像符号化装置は、残りバッファ容量３２２の大小と、動きベクトル３３２の大小の各組み合わせに応じて、３段階以上で、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを変更してもよい。
また、上記実施の形態１の説明では、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを決定する画素レートの基準と、原画像とローカルデコード画像とのうちいずれを用いて動き検出処理を行うかを決定する画素レートの基準が同じであるが異なってもよい。言い換えると、画像符号化装置３００は、画素レートが第１の閾値より大きいか否かに応じて、第１重複領域３１６Ａ及び第２重複領域３１６Ｂの大きさを決定し、画素レートが、第１閾値と異なる第２の閾値より大きいか否かに応じて、原画像とローカルデコード画像とのうちいずれを用いて動き検出処理を行うかを決定してもよい。
また、上記実施の形態１〜４に係る画像符号化装置３００〜３００Ｃに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
典型的には図３に示す処理部のうち、第１記憶部３０６Ａ及び第２記憶部３０６Ｂを除く、全ての処理部が１チップのＬＳＩとして実現される。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態１〜４に係る画像符号化装置３００〜３００Ｃの機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態１〜４に係る画像符号化装置３００〜３００Ｃ、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
本発明は、符号化装置に適用できる。また、本発明は、高画素レートの符号化処理を必要とする高速度撮影、又は高精細な画像撮影を行うデジタルスチルカメラ及びデジタルビデオカメラに有用である。
１００、３００、３００Ａ、３００Ｂ、３００Ｃ 画像符号化装置
１０１ 画像信号入力端子
１０２、３０２ 信号分割部
１０３Ａ、３０３Ａ 第１符号化部
１０３Ｂ、３０３Ｂ 第２符号化部
１０６、３０７ 信号合成部
１０７ 符号化信号出力端子
１０８ 符号化部
１１０、３１０ 入力画像信号
１１１Ａ、３１２Ａ 第１分割画像信号
１１１Ｂ、３１２Ｂ 第２分割画像信号
１１２Ａ、３１３Ａ 第１符号化信号
１１２Ｂ、３１３Ｂ 第２符号化信号
１１３Ａ、１１３Ｂ ローカルデコード画像
１１４、３１４ 出力符号化信号
１１５Ａ、３１６Ａ 第１重複領域
１１５Ｂ、３１６Ｂ 第２重複領域
１１６Ａ 第１探索範囲
１１６Ｂ 第２探索範囲
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ 撮影方式切替部
３０４Ａ 第１記憶領域連結部
３０４Ｂ 第２記憶領域連結部
３０５Ａ 第１外部連結部
３０５Ｂ 第２外部連結部
３０６Ａ 第１記憶部
３０６Ｂ 第２記憶部
３０８ 画素レート監視部
３０９ 残りバッファ容量監視部
３１１ 識別信号
３１５Ａ 第１符号化対象範囲
３１５Ｂ 第２符号化対象範囲
３１７Ａ、３１７Ｂ 第１ローカルデコード画像
３１８Ａ、３１８Ｂ 第２ローカルデコード画像
３２０ 監視結果
３２１Ａ、３２１Ｂ、３２２ 残りバッファ容量
３３０ 動きベクトル監視部
３３１Ａ、３３１Ｂ、３３２ 動きベクトル
７０１ 動き検出部
７０２ 原画像記憶部
７０３ 減算部
７０４、７１１、７１３ スイッチ
７０５ 変換部
７０６ 量子化部
７０７ 可変長符号化部
７０８ 逆量子化部
７０９ 逆変換部
７１０ 加算部
７１２ ローカルデコード画像記憶部
７１４ 動き補償部
７２１ 予測誤差信号
７２２、７２４ ＤＣＴ係数
７２３ 量子化係数
７２５ 動きベクトル
７２６ 予測画像
７２７ ローカルデコード信号
９０１ 符号化ブロック
９０２、９０４、９０６、９０８ 動きベクトル
９０３、９０５、９０７ 隣接ブロック

Claims (16)

  1. 入力画像信号を符号化することにより出力符号化信号を生成する画像符号化装置であって、
    前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、
    前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、
    前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、
    前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
    前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
    前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える
    画像符号化装置。
  2. 前記信号分割部は、当該画像符号化装置が単位時間当たりに処理すべき画素数である画素レートが第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさに決定し、前記画素レートが前記第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
    請求項１記載の画像符号化装置。
  3. 前記各符号化部は、
    対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
    前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
    前記画像符号化装置は、さらに、
    前記複数の符号化部にそれぞれ対応し、対応する前記符号化対象画像及び対応する前記重複領域の画像を原画像として記憶する原画像記憶部とを備え、
    前記動き検出部は、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する
    請求項２記載の画像符号化装置。
  4. 前記画像符号化装置は、さらに、
    前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶するローカルデコード画像記憶部を備え、
    前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出し、前記画素レートが前記第２の閾値より小さい場合、前記ローカルデコード画像記憶部に記憶されている前記第１ローカルデコード画像及び前記第２ローカルデコード画像を用いて、前記動きベクトルを検出する
    請求項３記載の画像符号化装置。
  5. 前記各符号化部は、他の符号化部に前記第２ローカルデコード画像を要求し、
    前記動き検出部は、前記画素レートが第２の閾値より大きい場合、前記要求に応じて前記他の符号化部により出力される前記第２ローカルデコード画像を当該符号化部が取得する前に、前記原画像記憶部に記憶されている前記原画像を用いて、前記動きベクトルを検出する処理を開始する
    請求項４記載の画像符号化装置。
  6. 前記画像符号化装置は、さらに、
    ユーザの操作により指定される前記画素レートを取得する画素レート取得部を備える
    請求項２記載の画像符号化装置。
  7. 前記画像符号化装置は、さらに、
    前記入力画像信号に含まれる情報を用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する第１算出部と、
    前記第１算出部により算出された前記画像サイズ及びフレームレートのうち少なくとも一方を用いて前記画素レートを算出する第２算出部とを備える
    請求項２記載の画像符号化装置。
  8. 前記第１算出部は、前記入力画像信号に含まれる、ピクセルクロック、水平同期信号、及び垂直同期信号のうち少なくとも一つを用いて、当該入力画像信号の画像サイズ及びフレームレートのうち少なくとも一方を算出する
    請求項７記載の画像符号化装置。
  9. 前記画像符号化装置は、さらに、
    前記複数の符号化部により生成された前記第１ローカルデコード画像を記憶する第１記憶部を備え、
    前記信号分割部は、前記第１記憶部の空き容量が第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
    請求項１記載の画像符号化装置。
  10. 前記第１記憶部は、
    前記複数の符号化部にそれぞれ対応し、対応する符号化部が前記動き補償処理に用いる前記第１ローカルデコード画像及び前記第２ローカルデコード画像を記憶する複数の第２記憶部を含み、
    前記信号分割部は、前記複数の第２記憶部の空き容量のうち最も少ない空き容量が前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も少ない空き容量が前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定する
    請求項９記載の画像符号化装置。
  11. 前記各符号化部は、
    対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
    前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
    前記信号分割部は、前記動きベクトルが第１の閾値より大きい場合、前記重複領域の大きさを第１の大きさに決定し、前記動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを第１の大きさより小さい第２の大きさに決定する
    請求項１記載の画像符号化装置。
  12. 前記信号分割部は、前記複数の符号化対象画像の境界をまたぐ前記動きベクトルのうち、最も大きい動きベクトルが前記第１の閾値より大きい場合、前記重複領域の大きさを前記第１の大きさに決定し、前記最も大きい動きベクトルが前記第１の閾値より小さい場合、前記重複領域の大きさを前記第２の大きさに決定する
    請求項１１記載の画像符号化装置。
  13. 前記各符号化部は、
    対応する前記符号化対象画像に含まれる複数のブロックそれぞれの動きベクトルを検出する動き検出部と、
    前記動き検出部により検出された動きベクトルを用いて前記動き補償処理を行う動き補償部とを備え、
    前記各符号化部は、対応する前記符号化対象画像と対応する前記重複領域との境界に隣接するブロックの動きベクトルを、当該ブロックの周辺のブロックの動きベクトルを用いて予測し、予測した動きベクトルが前記境界の方向を示す場合、他の符号化部により生成された前記第２ローカルデコード画像を取得し、前記予測した動きベクトルが前記境界の方向を示さない場合、他の符号化部により生成された前記第２ローカルデコード画像を取得しない
    請求項２記載の画像符号化装置。
  14. 入力画像信号を符号化することにより出力符号化信号を生成する画像符号化方法であって、
    前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割ステップと、
    前記複数の符号化対象画像にそれぞれ対応する複数の符号化部が、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する符号化ステップと、
    前記符号化ステップで生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成ステップとを含み、
    前記信号分割ステップでは、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
    前記符号化ステップでは、前記各符号化部が、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
    前記信号分割ステップでは、前記重複領域の大きさを所定の条件に応じて切り替える
    画像符号化方法。
  15. 請求項１４記載の画像符号化方法をコンピュータに実行させる
    プログラム。
  16. 入力画像信号を符号化することにより出力符号化信号を生成する集積回路であって、
    前記入力画像信号に含まれる各ピクチャを複数の符号化対象画像に分割する信号分割部と、
    前記複数の符号化対象画像にそれぞれ対応し、対応する前記符号化対象画像に動き補償処理を含む符号化処理を行うことにより符号化信号を生成するとともに、対応する前記符号化対象画像を符号化及び復号することによりローカルデコード画像を生成する複数の符号化部と、
    前記複数の符号化部により生成された複数の符号化信号を合成することにより前記出力符号化信号を生成する信号合成部とを備え、
    前記信号分割部は、前記各符号化部による前記動き補償処理の際の探索範囲を、当該符号化部に対応する符号化対象画像と、当該符号化対象画像に隣接し、かつ当該符号化対象画像に隣接する他の符号化対象画像に含まれる重複領域とを含む範囲に決定し、
    前記各符号化部は、前記探索範囲に含まれる、自身が生成した前記符号化対象画像の第１ローカルデコード画像と、他の符号化部により生成された前記重複領域の第２ローカルデコード画像とを用いて、前記動き補償処理を行い、
    前記信号分割部は、前記重複領域の大きさを所定の条件に応じて切り替える
    集積回路。
JP2009546592A 2008-05-20 2009-05-19 画像符号化装置及び画像符号化方法 Expired - Fee Related JP5340172B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009546592A JP5340172B2 (ja) 2008-05-20 2009-05-19 画像符号化装置及び画像符号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008131508 2008-05-20
JP2008131508 2008-05-20
PCT/JP2009/002207 WO2009142003A1 (ja) 2008-05-20 2009-05-19 画像符号化装置及び画像符号化方法
JP2009546592A JP5340172B2 (ja) 2008-05-20 2009-05-19 画像符号化装置及び画像符号化方法

Publications (2)

Publication Number Publication Date
JPWO2009142003A1 JPWO2009142003A1 (ja) 2011-09-29
JP5340172B2 true JP5340172B2 (ja) 2013-11-13

Family

ID=41339943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009546592A Expired - Fee Related JP5340172B2 (ja) 2008-05-20 2009-05-19 画像符号化装置及び画像符号化方法

Country Status (4)

Country Link
US (1) US8654850B2 (ja)
JP (1) JP5340172B2 (ja)
CN (1) CN101755462A (ja)
WO (1) WO2009142003A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754343A (zh) * 2013-12-27 2015-07-01 财团法人工业技术研究院 图像处理方法与系统、解码方法、编码器与解码器

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116731A1 (ja) * 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
WO2011125211A1 (ja) * 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
JP6242064B2 (ja) * 2013-03-28 2017-12-06 オリンパス株式会社 画像処理装置
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
CN103729824B (zh) * 2013-12-17 2018-02-02 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互系统
WO2015090038A1 (en) 2013-12-17 2015-06-25 Beijing Zhigu Rui Tuo Tech Co., Ltd Information exchange
US9832338B2 (en) * 2015-03-06 2017-11-28 Intel Corporation Conveyance of hidden image data between output panel and digital camera
JP7020782B2 (ja) * 2017-01-20 2022-02-16 キヤノン株式会社 再生装置及びその制御方法
EP3664451B1 (en) * 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
JP7401246B2 (ja) 2019-10-08 2023-12-19 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05183891A (ja) * 1991-12-27 1993-07-23 Sony Corp 動画像符号化装置
JPH0622297A (ja) * 1992-06-29 1994-01-28 Canon Inc 動き補償符号化装置
JPH06303590A (ja) * 1993-04-13 1994-10-28 Matsushita Electric Ind Co Ltd 並列処理画像符号化方法及び復号化方法
JPH06351000A (ja) * 1993-06-07 1994-12-22 Matsushita Electric Ind Co Ltd 画像信号符号化装置と画像信号復号装置
JPH10178643A (ja) * 1996-12-17 1998-06-30 Sony Corp 信号圧縮装置
JPH11275586A (ja) * 1998-03-18 1999-10-08 Nec Corp 符号化装置および符号化方法、並びに記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351083A (en) * 1991-10-17 1994-09-27 Sony Corporation Picture encoding and/or decoding system
EP0577310B1 (en) * 1992-06-29 2001-11-21 Canon Kabushiki Kaisha Image processing device
JPH0918878A (ja) 1995-06-30 1997-01-17 Sony Corp 画像符号化装置および画像符号化方法
JPH10327416A (ja) 1997-05-22 1998-12-08 Toshiba Corp 動画像符号化装置
JP2000278688A (ja) 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
TWI257817B (en) * 2005-03-08 2006-07-01 Realtek Semiconductor Corp Method and apparatus for loading image data
JP2007124408A (ja) * 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
JP5295233B2 (ja) * 2007-06-29 2013-09-18 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
JP2010028221A (ja) * 2008-07-15 2010-02-04 Sony Corp 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05183891A (ja) * 1991-12-27 1993-07-23 Sony Corp 動画像符号化装置
JPH0622297A (ja) * 1992-06-29 1994-01-28 Canon Inc 動き補償符号化装置
JPH06303590A (ja) * 1993-04-13 1994-10-28 Matsushita Electric Ind Co Ltd 並列処理画像符号化方法及び復号化方法
JPH06351000A (ja) * 1993-06-07 1994-12-22 Matsushita Electric Ind Co Ltd 画像信号符号化装置と画像信号復号装置
JPH10178643A (ja) * 1996-12-17 1998-06-30 Sony Corp 信号圧縮装置
JPH11275586A (ja) * 1998-03-18 1999-10-08 Nec Corp 符号化装置および符号化方法、並びに記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754343A (zh) * 2013-12-27 2015-07-01 财团法人工业技术研究院 图像处理方法与系统、解码方法、编码器与解码器

Also Published As

Publication number Publication date
WO2009142003A1 (ja) 2009-11-26
US20100296582A1 (en) 2010-11-25
US8654850B2 (en) 2014-02-18
CN101755462A (zh) 2010-06-23
JPWO2009142003A1 (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5340172B2 (ja) 画像符号化装置及び画像符号化方法
RU2512130C2 (ru) Устройство и способ получения изображений с более высоким разрешением во встроенном устройстве
JP6286718B2 (ja) 高効率な次世代ビデオコーディングのためのフレーム階層応答型量子化を使用する、コンテンツ適応ビットレートおよび品質管理
CN107241605B (zh) 视频编码器以及视频编码方法
JP4606311B2 (ja) 画像符号化装置および画像符号化方法
TWI736557B (zh) 資料編碼設備以及資料編碼方法
JP2009147807A (ja) 画像処理装置
JP4814380B2 (ja) 撮像装置、集積回路及び撮像方法
US9832468B2 (en) Electronic device for storing image and image storage method thereof
JPWO2010052837A1 (ja) 画像復号装置、画像復号方法、集積回路及びプログラム
US20120027091A1 (en) Method and System for Encoding Video Frames Using a Plurality of Processors
JP2010057166A (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP2010063092A (ja) 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
US20080212719A1 (en) Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same
JP6137302B2 (ja) 符号化装置、符号化方法、および符号化プログラム
US10666970B2 (en) Encoding apparatus, encoding method, and storage medium
JP6114990B2 (ja) 動画像符号化処理装置、プログラムおよび集積回路
JP5580541B2 (ja) 画像復号化装置および画像復号化方法
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
JP2008294669A (ja) 画像符号化装置
JP2019004439A (ja) 符号化装置、撮像装置および符号化方法
US8897368B2 (en) Image coding device, image coding method, image coding integrated circuit and image coding program
JP6610115B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2012147073A (ja) 画像符号化装置、画像符号化方法、及び撮像システム
JP2009153227A (ja) 画像処理装置およびそれを用いた撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130806

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees