JP4623650B2 - 動画像符号化装置，動画像符号化方法 - Google Patents

動画像符号化装置，動画像符号化方法 Download PDF

Info

Publication number
JP4623650B2
JP4623650B2 JP2005257192A JP2005257192A JP4623650B2 JP 4623650 B2 JP4623650 B2 JP 4623650B2 JP 2005257192 A JP2005257192 A JP 2005257192A JP 2005257192 A JP2005257192 A JP 2005257192A JP 4623650 B2 JP4623650 B2 JP 4623650B2
Authority
JP
Japan
Prior art keywords
encoding
moving image
image data
picture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005257192A
Other languages
English (en)
Other versions
JP2007074173A (ja
Inventor
佳宏 中原
圭亮 依岡
学 黒田
正和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2005257192A priority Critical patent/JP4623650B2/ja
Priority to US11/516,055 priority patent/US8094725B2/en
Publication of JP2007074173A publication Critical patent/JP2007074173A/ja
Application granted granted Critical
Publication of JP4623650B2 publication Critical patent/JP4623650B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、動画像データを符号化する装置および方法に関し、さらに詳しくは動画像データの符号化する時間が所定時間を超過した場合の異常系回避に関する。
従来の動画像符号化装置は、フレームメモリに蓄積された動画像データを符号化する際、動画像データの符号化に必要な処理量（符号化処理量）を算出して、その算出した処理量が削減されるような処理を施している。具体的には、前方参照画像符号化や双方向参照符号化においてスライス層もしくはマクロブロック層以下の動き予測を簡易化することによって、符号化処理量を削減している。これにより、動画像データの符号化がフレームレートより算出される時間内に完了するように、符号化処理量が削減されている（例えば、特開２００５−５７７５０号公報参照）。
特開２００５−５７７５０号公報
しかしながら、従来の動画像符号化装置では、符号化を実行する前に、予め動画像データの符号化処理量を削減しているが、実際の符号化時間が所定時間（例えば、フレームレートより算出される時間）を超過してしまった場合、フレームメモリに新たな動画像データが上書きされてしまって、画像乱れが生じてしまう。また、符号化処理量が溢れることによってエラー通知が出力されると、処理が中断することにより符号化処理が時間的に不連続になってしまう。このように、符号化システムが破綻してしまうおそれがある。
この発明の１つの局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成する。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、基準時間選択部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、前記制御部は、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、符号化部における符号化時間の超過の度合いに応じて後に符号化される予定である動画像データに対する符号化方法を変更することによって、過剰な画質劣化や時間的連続性の低下を抑制しつつ、符号化時間の超過を解消することができる。さらに、後に符号化される予定である動画像データのピクチャタイプに応じて、符号化時間の超過の度合いを判断するための基準時間を変更することによって、過剰な画質劣化や時間的連続性の低下をさらに抑制しつつ、符号化時間の超過を解消することができる。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、ピクチャタイプ検出部と、計測部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、前記制御部は、前記計測部によって計測された合計時間が前記動画像データのフレームレートに基づく所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成し、かつ、その第２の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成する。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、上記動画像符号化装置では、被参照画像と参照画像との集合を１つの単位として短縮符号化処理を実行することにより、時間的連続性を保持しつつ、かつ、画質劣化を抑制した符号化を実現することができる。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他のピクチャの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の予測符号化方式と第２の予測符号化方式とを有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記所定ビットストリームが生成されていない方に基づいてフレーム間予測符号化する。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理が実行された動画像データを参照しないように動画像データの符号化を実行することによって、画像乱れを起こすピクチャを削減することができる。
なお、前記複数の動画像データは、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記制御部は、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化しても良い。
また、前記所定ビットストリームは、前記符号化部によってすでに符号化された動画像データのコピーストリームであっても良い。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させる。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、基準時間選択部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式と、前記第２の符号化方式よりも符号化に要する時間が短い第３の符号化方式とを有し、前記第１，第２，第３の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、前記制御部は、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第３の符号化方式に従って符号化させ、前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、符号化部における符号化時間の超過の度合いに応じて後に符号化される予定である動画像データに対する符号化方法を変更することによって、過剰な画質劣化や時間的連続性の低下を抑制しつつ、符号化時間の超過を解消することができる。さらに、後に符号化される予定である動画像データのピクチャタイプに応じて、符号化時間の超過の度合いを判断するための基準時間を変更することによって、過剰な画質劣化や時間的連続性の低下をさらに抑制しつつ、符号化時間の超過を解消することができる。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、ピクチャタイプ検出部と、計測部と、制御部とを備え、前記複数の動画像データは、他のピクチャの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、前記制御部は、前記計測部によって計測された合計時間が所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、かつ、その第２のピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に前記第２の符号化方式に従って符号化させる。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、被参照画像と参照画像との集合を１つの単位として短縮符号化処理を実行することにより、時間的連続性を保持しつつ、かつ、画質劣化を抑制した符号化を実現することができる。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、ピクチャタイプ検出部と、制御部とを備え、前記複数の動画像データは、他の動画像データの符号化のときに参照される第１の被参照ピクチャと、前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、前記符号化部は、第１の予測符号化方式と第２の予測符号化方式とをさらに有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、前記符号化部に当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記第２の符号化方式に従って符号化されていない方に基づいてフレーム間予測符号化する。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理が実行された動画像データを参照しないように動画像データの符号化を実行することによって、画像乱れを起こすピクチャを削減することができる。
なお、前記複数の動画像データは、前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化しても良い。
この発明の別の局面に従うと、動画像符号化装置は、複数の動画像データを符号化する装置であって、符号化部と、計測部と、制御部とを備え、前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、前記計測部は、さらに、前記符号化部によって動画像データのうち所定量のデータが符号化されるまでに要した部分符号化時間を計測し、前記制御部は、前記符号化部が前記第２の符号化方式に従って動画像データを符号化しているときに、前記計測部によって計測された部分符号化時間が前記動画像データのフレームレートに基づいた部分所定時間を超過していないと判断すると、前記符号化部によって符号化されている動画像データのうち未だ符号化されていない部分を前記符号化に前記第１の符号化方式に従って符号化させる。
上記動画像符号化装置では、符号化部による動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化部による符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、動画像データの一部分の符号化が完了する毎に、符号化時間が予定時間を超過しているか否かを判断することによって、ピクチャ１枚分の動画像データの符号化が完了する前に、通常符号化処理に復帰することができる。これにより、符号化時間を過剰に短縮することを防ぐことができ、画質低下等を抑制することができる。
この発明の別の局面に従うと、動画像符号化方法は、複数の動画像データを符号化する方法であって、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記方法は、前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、前記ステップ（Ｅ）において選択された動画像データを符号化することなく、当該動画像データの符号化データに代わる所定ビットストリームを生成するステップ（Ｆ）とを備える。
上記動画像符号化方法では、動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
この発明の別の局面に従うと、動画像符号化方法は、複数の動画像データを符号化する方法であって、前記複数の動画像データは、他の動画像データの符号化のときに参照される被参照ピクチャと、前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、前記方法は、第１の符号化方式に従って前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、前記ステップ（Ｅ）において選択された動画像データを前記ステップ（Ａ）における第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式に従って符号化するステップ（Ｆ）とを備える。
上記動画像符号化方法では、動画像データの符号化に要した時間が所定時間を超過した場合に、後に符号化される予定である動画像データの符号化方法を変更することにより、符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。また、短縮符号化処理の対象を被参照画像ではなく参照画像にすることにより、著しい画質の低下を抑制することができる。
以上のように、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。
以下、この発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
（第１の実施形態）
＜全体構成＞
図１は、この発明の第１の実施形態による動画像符号化装置の全体構成を示す。この動画像符号化装置は、フレームメモリ１０１と、符号化部１０２と、処理時間制御部１０と、バッファメモリ１０５とを備える。
フレームメモリ１０１は、外部からの動画像データをフレーム単位（ピクチャ単位）で順次格納する。なお、ここでは、フレームメモリ１０１は、６つの動画像データｆｒｍ１〜ｆｒｍ６を格納する。
符号化部１０２は、通常モードと短縮モードとの２つの符号化モードを有し、符号化処理制御部１０４によっていずれか一方の符号化モードに設定される。通常モードに設定されると、符号化部１０２は、通常モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。一方、短縮モードに設定されると、符号化部１０２は、次に符号化される予定である動画像データを符号化しない。また、符号化部１０２は、ピクチャ１枚分の動画像データを取り込み始めるとデータ格納信号を出力し、取り込んだ動画像データの符号化を開始すると開始信号を出力し、ピクチャ１枚分の動画像データの符号化が完了すると、処理時間制御部１０に終了信号を出力する。
処理時間制御部１０は、符号化部１０２が動画像データの符号化に要した時間（符号化時間）に応じてフレームメモリ１０１，符号化部１０２，およびバッファメモリ１０５を制御する。処理時間制御部１０は、処理時間計測部１０３と、符号化処理制御部１０４とを含む。処理時間計測部１０３は、符号化部１０２から出力された終了信号を参照して、符号化時間を計測する。例えば、処理時間計測部１０３は、符号化部１０２からの開始信号を受けてから終了信号を受けるまでの時間を計測する。符号化処理制御部１０４は、動画像データのフレームレートに基づいて、その動画像データの符号化に要することができる時間（予定時間）を計算する。例えば、符号化処理制御部１０４は、符号化部１０２からのデータ格納信号を受け取ると、フレームレートに基づいて符号化部１０２が動画像データの符号化を完了しなければいけない時刻を求め、符号化部１０２からのデータ格納信号を受け取った時刻からその求めた時刻までの時間を算出する。さらに、符号化処理制御部１０４は、通常モードと短縮モードとの２つの符号化モードを有する。符号化処理制御部１０４は、処理時間計測部１０３によって計測された符号化時間と算出した予定時間とを比較し、その比較の結果に応じて符号化部１０２の符号化モードおよび自己の符号化モードを変更する。短縮モードになると、符号化処理制御部１０４は、符号化部１０２が次に符号化する予定である動画像データをフレームメモリ１０１の中から削除するとともに、その動画像データの符号データに代わるコピーストリームをバッファメモリ１０５に格納する。コピーストリームは、先に符号化された動画像データと同一であることを示す符号語ビットストリームである。
バッファメモリ１０５は、符号化部１０２によって符号化された動画像データ（符号化動画像データ）を順次格納する。なお、ここでは、バッファメモリ１０５は、６つの符号化動画像データｃｏｄｅ１〜ｃｏｄｅ６を格納する。
＜通常符号化処理＞
ここで、図１に示した符号化部１０２および符号化処理制御部１０４による通常モードにおける処理について図２Ａを参照しつつ説明する。
〔ステップＳＴ１０１−１１〕
通常モードに設定されると、符号化部１０２は、次に符号化される予定である動画像データをフレームメモリ１０１の中から選択し、その選択した動画像データを取り込む。このとき、符号化部１０２は、データ格納信号を出力する。次に、符号化処理制御部１０４は、符号化部１０２からのデータ格納信号を受けると、動画像データのフレームレートに基づいて、その動画像データの符号化のために要することができる時間（予定時間）を算出する。
〔ステップＳＴ１０１−１２〕
次に、符号化部１０２は、通常モード用の符号化方式に従って、取り込んだ動画像データを符号化する。これにより、符号化動画像データが生成される。
〔ステップＳＴ１０１−１３〕
また、処理時間計測部１０３は、符号化部１０２からの開始信号，終了信号を受けて、符号化部１０２による動画像データの符号化に要した時間（符号化時間）を計測する。
〔ステップＳＴ１０１−１４〕
次に、符号化部１０２は、ステップＳＴ１０１−１２において生成した符号化動画像データをバッファメモリ１０５に格納する。
＜短縮符号化処理＞
次に、図１に示した符号化部１０２および符号化処理制御部１０４による短縮モードにおける処理について図２Ｂを参照しつつ説明する。
〔ステップＳＴ１０１−２１〕
短縮モードに設定されると、符号化部１０２は、次に符号化される予定である動画像データを符号化しない。また、符号化処理制御部１０４は、符号化部１０２によって符号化される予定である動画像データをフレームメモリ１０１の中から選択し、その選択した動画像データを削除する。これにより、フレームメモリ１０１は、ピクチャ１枚分の動画像データの領域が空になる。したがって、フレームメモリ１０１は、削除された動画像データの代わりに別の動画像データを格納することができる。
〔ステップＳＴ１０１−２２〕
また、符号化処理制御部１０４は、動画像データのフレームレートに基づいて、予定時間を算出する。
〔ステップＳＴ１０１−２３〕
次に、符号化処理制御部１０４は、直前に生成された符号化動画像データをバッファメモリ１０５の中から検出する。符号化処理制御部１０４は、バッファメモリ１０５の中から検出した符号化動画像データのコピーストリームを生成する。
〔ステップＳＴ１０１−２４〕
また、符号化処理制御部１０４は、コピーストリームの生成に要した時間を符号化時間として計測する。
〔ステップＳＴ１０１−２５〕
次に、符号化処理制御部１０４は、ステップＳＴ１０１−２３において生成したコピーストリームをバッファメモリ１０５に格納する。これにより、符号化部１０２によって符号化されなかった動画像データの符号化データに代わるビットストリームがバッファメモリ１０５に格納される。
＜動作＞
次に、図１に示した動画像符号化装置による動作について図３を参照しつつ説明する。
〔ステップＳＴ１０１〕
まず、符号化部１０２および符号化処理制御部１０４は、符号化モードに応じた符号化処理（通常符号化処理または短縮符号化処理）を実行する。
〔ステップＳＴ１０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ１０３へ進む。
〔ステップＳＴ１０３〕
次に、符号化処理制御部１０４は、ステップＳＴ１０１において処理時間計測部１０３によって計測された符号化時間がステップＳＴ１０１において算出した予定時間を超過しているか否かを判断する。符号化時間が予定時間を超過している場合にはステップＳＴ１０４へ進む。一方、そうでない場合にはステップＳＴ１０５へ進む。
〔ステップＳＴ１０４〕
次に、符号化処理制御部１０４は、自己の符号化モードおよび符号化部１０２の符号化モードを「短縮モード」に設定する。次に、ステップＳＴ１０１へ進む。
〔ステップＳＴ１０５〕
一方、ステップＳＴ１０３において符号化時間が予定時間を超過していない場合、符号化処理制御部１０４は、自己の符号化モードおよび符号化部１０２の符号化モードを「通常モード」に設定する。次に、ステップＳＴ１０１へ進む。
＜具体例＞
ここで、図３に示した短縮符号化処理１について図４，図５を参照しつつ具体的に説明する。なお、ここでは、動画像データＩ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４，・・・，Ｐ１０の順番で動画像符号化装置に入力されるものとする。また、図中、「Ｉ」はＩピクチャであり、「Ｐ」はＰピクチャであり、「Ｂ」はＢピクチャである。
〔通常符号化処理〕
まず、符号化部１０２による符号化処理において時間超過が発生していない場合について図４を参照しつつ説明する。なお、ここでは、図１のフレームメモリ１０１は、６つのフレームメモリ１０１−１〜１０１−６から構成されているものとする。また、符号化モードは「通常モード」に設定されているものとする。
時刻ｔ０において、フレームメモリ１０１−１は、動画像データＩ０の取り込みを開始する。また、フレームメモリ１０１−１は、動画像データＩ０の取り込みが完了すると、その動画像データＩ０を保持する。
時刻ｔ１になると、フレームメモリ１０１−２は、動画像データＢ２の取り込みを開始する。また、フレームメモリ１０１−２は、動画像データＢ２の取り込みが完了すると、その動画像データＢ２を保持する。
時刻ｔ２になると、フレームメモリ１０１−３は、動画像データＢ３の取り込みを開始する。また、フレームメモリ１０１−３は、動画像データＢ３の取り込みが完了すると、その動画像データＢ３を保持する。
時刻ｔ３になると、符号化部１０２は、フレームメモリ１０１−１に格納された動画像データＩ０の符号化を開始する。フレームメモリ１０１−４は、動画像データＰ１の取り込みを開始する。また、フレームメモリ１０１−４は、動画像データＰ１の取り込みが完了すると、その動画像データＰ１を保持する。
時刻ｔ４になると、符号化部１０２は、動画像データＩ０の符号化を完了する。処理時間計測部１０３は、符号化部１０２からの開始信号，終了信号を受けて、符号化時間を計測する。符号化処理制御部１０４は、符号化時間が予定時間を超過していないと判断して、符号化部１０２の符号化モードおよび自己の符号化モードを変更しない。よって、符号化部１０２は、フレームメモリ１０１−１に格納された動画像データＩ０に基づいて、フレームメモリ１０１−４に格納された動画像データＰ１の符号化を開始する。一方、フレームメモリ１０１−５は、動画像データＢ５の取り込みを開始する。
時刻ｔ５になると、符号化部１０２は、動画像データＰ１の符号化を完了する。このときも符号化時間が予定時間を超過していないので、符号化部１０２は、フレームメモリ１０１−１，１０１−４に格納された動画像データＩ０，Ｐ１に基づいて、フレームメモリ１０１−２に格納された動画像データＢ２の符号化を開始する。一方、フレームメモリ１０１−６は、動画像データＢ６の取り込みを開始する。
時刻ｔ６になると、符号化部１０２は、動画像データＢ２の符号化を完了する。フレームメモリ１０１−２は、格納していた動画像データＢ２を破棄して、動画像データＰ４の取り込みを開始する。また、符号化部１０２は、フレームメモリ１０１−１，１０１−４に格納された動画像データＩ０，Ｐ１に基づいて、フレームメモリ１０１−３に格納された動画像データＢ３の符号化を開始する。
時刻ｔ７になると、符号化部１０２は、動画像データＢ３の符号化を完了する。フレームメモリ１０１−３は、格納していた動画像データＢ３を破棄する。また、フレームメモリ１０１−１は、格納していた動画像データＩ０を破棄して、動画像データＢ８の取り込みを開始する。
時刻ｔ８以降においても、時刻ｔ１〜ｔ７と同様の処理が実行される。
このような処理が実行されて、図４のように、バッファメモリ１０５には、符号化動画像データＩ０，Ｐ１，・・・，Ｂ１２の順番で格納される。
〔短縮符号化処理〕
次に、符号化処理において時間超過が発生して、短縮符号化処理を実行する場合について図５を参照しつつ説明する。
時刻ｔ０〜ｔ１２では符号化処理の時間超過が発生していないので、通常モードと同様の処理が実行される。
ここで、時刻ｔ１２〜ｔ１３において、符号化部１０２による動画像データＢ８の符号化において時間超過が発生すると、符号化処理制御部１０４は、符号化時間が予定時間を超過していると判断する。符号化処理制御部１０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「短縮モード」にする。よって、符号化処理制御部１０４は、フレームメモリ１０１−３に格納された動画像データＢ９（次に符号化される予定である動画像データ）を破棄する。フレームメモリ１０１−３は、動画像データＢ９の取り込みを中止して、動画像データＰ１０の取り込みを開始する。符号化部１０２は、動画像データＢ８の符号化が完了すると、生成した符号化動画像データＢ８をバッファメモリ１０５に格納する。一方、符号化処理制御部１０４は、バッファメモリ１０５に格納された符号化像画像データＢ８（直前に生成された符号化動画像データ）のコピーストリームを生成し、生成したコピーストリームを動画像データＢ９の符号化データとしてバッファメモリ１０５に格納する。次に、符号化処理制御部１０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「通常モード」にする。
時刻ｔ１３になると、符号化部１０２は、フレームメモリ１０１−１ではなくフレームメモリ１０１−３に格納された動画像データＰ１０の符号化を開始する。
このような処理が実行されて、バッファメモリ１０５には、図５のように、符号化動画像データＩ０，Ｐ１，Ｂ２，・・・，Ｂ８の順番で格納された後、コピーストリームである符号化動画像データＢ９が格納され、符号化動画像データＰ１０，Ｂ１１，Ｂ１２の順番で格納される。
＜効果＞
以上のように、符号化時間が予定時間よりも超過した場合に、次に符号化される予定である動画像データの符号化方法を変更することにより、次に符号化される動画像データの符号化時間を短縮することができる。これにより、フレームメモリに新たな動画像データが上書きされてしまって画像乱れが生じてしまったり、符号化処理量が溢れることによって符号化処理が時間的に不連続になってしまったりすることを抑制することができ、符号化処理を継続することができる。
また、動画像データの符号化に超過時間が発生したときに、コピーストリームを符号化動画像データとしてバッファメモリに格納することにより、符号化部の負荷を軽減することができ、処理溢れの影響を複数フレームにかけて回復することができる。
さらに、フレームメモリは、動画像データが削除されることによって、別の動画像データを新たに格納することができる。これにより、余分なメモリを使用することなく、符号化処理を継続することができる。
なお、本実施形態では、符号化処理制御部は、符号化部によって次に符号化される予定である動画像データを短縮符号化処理の対象として選択しているが、短縮符号化処理の対象は、符号化時間が予定時間を超過してしまった動画像データよりも後に符号化される予定である動画像データのうちのいずれかであっても良い。また、短縮符号化の対象となる動画像データは、１つに限らず、複数であっても良い。
（第１の実施形態の変形例）
＜全体構成＞
この発明の第１の実施形態による動画像符号化装置の変形例を図６に示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部１０２−１および処理時間制御部１０−１を備える。その他の構成は図１と同様である。処理時間制御部１０−１は、図１に示した処理時間計測部１０３と、符号化処理制御部１０４−１とを備える。
符号化部１０２−１は、通常モードに設定されたときは、図１に示した符号化部１０２の動作を実行するが、短縮モードに設定されたときの動作が異なる。短縮モードに設定されると、符号化部１０２−１は、短縮モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。短縮モード用の符号化方式は、通常モード用の符号化方式よりも符号化に要する時間が短い。例えば、符号化部１０２−１は、短縮モード用に設定されると、動きベクトルの探索範囲を狭くしたり、双方向参照に代えて参照方向を前方の画像または後方の画像のみにしたり、フレーム間予測符号化に代えてイントラ符号化を実行したりする。
符号化処理制御部１０４−１は、動画像データのフレームレートに基づいて、その動画像データの符号化に要することができる時間（予定時間）を計算する。また、符号化処理制御部１０４−１は、処理時間計測部１０３によって計測された符号化時間と算出した予定時間とを比較し、その比較の結果に応じて自己の符号化モードおよび符号化部１０２−１の符号化モードを変更する。
＜動作＞
次に、図６に示した動画像符号化装置による動作について説明する。この装置による動作は、図１に示した動画像符号化装置による動作（図３参照）と同様であるが、短縮符号化処理（図２Ｂ）が異なる。
＜短縮符号化処理＞
図６に示した符号化部１０２−１および符号化処理制御部１０４−１による短縮モードにおける処理について図７を参照しつつ説明する。
〔ステップＳＴ１０１−３１〕
短縮モードに設定されると、符号化部１０２−１は、符号化する予定である動画像データをフレームメモリ１０１の中から選択し、その選択した動画像データを取り込む。このとき、符号化部１０２−１は、データ格納信号を出力する。次に、符号化処理制御部１０４−１は、符号化部１０２−１からのデータ格納信号を受けると、動画像データのフレームレートに基づいて、その動画像データの符号化のために要することができる時間（予定時間）を算出する。
〔ステップＳＴ１０１−３２〕
次に、符号化部１０２は、短縮モード用の符号化方式に従って、取り込んだ動画像データを符号化する。これにより、符号化動画像データが生成される。
〔ステップＳＴ１０１−３３，ＳＴ１０１−３４〕
次に、図２Ａに示したステップＳＴ１０１−１３，ＳＴ１０１−１４における処理と同様の処理が実行され、短縮モード用の符号化方式に従って生成された符号化動画像データがバッファメモリ１０５に格納される。
＜具体例＞
次に、符号化処理において時間超過が発生して、短縮符号化処理を実行する場合について図８を参照しつつ説明する。
時刻ｔ０〜ｔ１０では符号化部１０２−１による動画像データの符号化に時間超過が発生していないので、図４に示した通常符号化処理と同様の処理が実行される。
ここで、時刻ｔ１０〜ｔ１１において、符号化部１０２−１による動画像データＢ６の符号化において時間超過が発生すると、符号化処理制御部１０４−１は、処理時間計測部１０３によって計測された符号化時間が予定時間を超過していると判断する。ここで、符号化処理制御部１０４−１は、符号化部１０２−１の符号化モードを「短縮モード」にする。符号化部１０２−１は、動画像データＢ６の符号化が完了すると、符号化方式を短縮モード用の符号化方式に変更する。そして、符号化部１０２−１は、短縮モード用の符号化方式に従って、フレームメモリ１０１−５に格納された動画像データＰ７の符号化を開始する。
次に、時刻ｔ１１になると、符号化部１０２−１は、動画像データＰ７の符号化を完了する。符号化処理制御部１０４−１は、符号化部１０２−１による動画像データＰ７の符号化が完了すると、符号化部１０２−１の符号化方式を「通常モード」にする。符号化部１０２−１は、通常モード用の符号化方式に従って、フレームメモリ１０１−１に格納された動画像データＢ８の符号化を開始する。
このような処理が実行されて、バッファメモリ１０５には、符号化動画像データＩ０，Ｐ１，Ｂ２，・・・，Ｂ６の順番で格納された後、短縮モードの下で生成された符号化動画像データＰ７が格納され、符号化動画像データＢ８，Ｂ９，・・・，Ｂ１２の順番で格納される。
＜効果＞
以上のように、動画像データの符号化に超過時間が発生したときに、通常モードよりも符号化時間が短い短縮モードに切り換えることにより、符号化部の負荷を軽減することができる。これにより、画像乱れやシステム破綻を抑制することができ、符号化処理を継続することができる。
（第２の実施形態）
＜全体構成＞
図９は、この発明の第２の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した処理時間制御部１０に代えて、処理時間制御部２０を備える。その他の構成は図１と同様である。処理時間制御部２０は、ピクチャタイプ検出部２０１および符号化処理制御部２０４と、図１に示した処理時間計測部１０３とを含む。
ピクチャタイプ検出部２０１は、フレームメモリ１０１に格納された動画像データのピクチャタイプを検出する。つまり、ピクチャタイプ検出部２０１は、動画像データが「Ｉピクチャ」，「Ｐピクチャ」，「Ｂピクチャ」のうちいずれであるのかを検出する。
符号化処理制御部２０４は、符号化処理制御部１０４と同様の動作を実行するが、符号化部１０２の符号化モードおよび自己の符号化モードの制御についての処理が異なる。符号化処理制御部２０４は、ピクチャタイプ検出部２０１による検出結果と、処理時間計測部１０３による符号化時間の計測結果とに応じて、符号化部１０２の符号化モードおよび自己の符号化モードを変更する。
＜動作＞
次に、図９に示した動画像符号化装置による動作について図１０を参照しつつ説明する。ここでは、最初、符号化部１０２および符号化処理制御部２０４の符号化モードは「通常モード」に設定されている。
〔ステップＳＴ２０１〕
まず、通常符号化処理（図２Ａ）が実行される。
〔ステップＳＴ２０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ２０３へ進む。
〔ステップＳＴ２０３〕
次に、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードが「短縮モード」であるか否かを判断する。それらの符号化モードが「短縮モード」である場合にはステップＳＴ２０６へ進む。そうでない場合にはステップＳＴ２０４へ進む。
〔ステップＳＴ２０４〕
次に、符号化処理制御部２０４は、ステップＳＴ２０１において処理時間計測部１０３によって計測された符号化時間がステップＳＴ２０１において算出された予定時間を超過しているか否かを判断する。符号化時間が予定時間を超過している場合にはステップＳＴ２０５へ進む。一方、そうでない場合にはステップＳＴ２０１へ進む。
〔ステップＳＴ２０５〕
次に、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「短縮モード」に設定する。次に、ステップＳＴ２０６へ進む。
〔ステップＳＴ２０６〕
次に、ピクチャタイプ検出部２０１は、符号化部１０２が次に符号化する予定である動画像データのピクチャタイプを検出する。次に符号化する予定である動画像データのピクチャタイプが「Ｂピクチャ」である場合にはステップＳＴ２０７へ進む。そうでない場合にはステップＳＴ２０１へ進む。
〔ステップＳＴ２０７〕
次に、ステップＳＴ２０６において「Ｂピクチャ」であると検出された動画像データに対して、短縮符号化処理（図２Ｂ）が実行される。これにより、符号化動画像データが生成される。
〔ステップＳＴ２０８〕
次に、短縮符号化処理が完了すると、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「通常モード」に設定する。次に、ステップＳＴ２０２へ進む。
＜具体例＞
ここで、図１０に示した短縮符号化処理（ステップＳＴ２０７における処理）について図１１を参照しつつ具体的に説明する。なお、ここでは、動画像データＩ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４，・・・，Ｐ１０の順番で入力されるものとする。図中、「Ｉ」はＩピクチャであり、「Ｐ」はＰピクチャであり、「Ｂ」はＢピクチャである。
時刻ｔ０〜ｔ１０では符号化部１０２による動画像データの符号化に時間超過が発生していないので、通常モード（図４参照）と同様の処理が実行される。
ここで、時刻ｔ１０〜ｔ１１において、符号化部１０２による動画像データＢ６の符号化において時間超過が発生すると、符号化処理制御部２０４は、処理時間計測部１０３によって計測された符号化時間が予定時間を超過していると判断する。ここで、符号化処理制御部２０４は、符号化部１０２に符号化モードおよび自己の符号化モードを「通常モード」から「短縮モード」にする。また、符号化部１０２による動画像データＢ６の符号化が完了すると、ピクチャタイプ検出部２０１は、次に符号化される予定である動画像データＰ７のピクチャタイプが「Ｐピクチャ」であると検出する。したがって、符号化部１０２および符号化処理制御部２０４は、動画像データＰ７に対して短縮符号化処理を実行せず通常符号化処理を実行する。
時刻ｔ１１〜ｔ１２において、符号化部１０２による動画像データＰ７の符号化が完了すると、ピクチャタイプ検出部２０１は、符号化部１０２が次に符号化する予定である動画像データＢ８のピクチャタイプが「Ｂピクチャ」であると検出する。したがって、符号化部１０２および符号化処理制御部２０４は、動画像データＢ８に対して通常符号化処理ではなく短縮符号化処理を実行する。つまり、符号化部１０２は動画像データＢ８の符号化を実行しない。また、符号化処理制御部２０４は、フレームメモリ１０１−１に格納された動画像データＢ８を削除し、符号化動画像データＰ７のコピーストリームを符号化動画像データＢ８としてバッファメモリ１０５に格納する。フレームメモリ１０１−１は、動画像データＢ８の取り込みを中止して、動画像データＢ１１の取り込みを開始する。動画像データＢ８に対する短縮符号化処理が完了すると、符号化処理制御部２０４は、符号化部１０２の符号化モードおよび自己の符号化モードを「短縮モード」から「通常モード」にする。
時刻ｔ１２になると、符号化部１０２は、通常モードに従って、フレームメモリ１０１−３に格納された動画像データＢ９の符号化を開始する。
このような処理が実行されて、バッファメモリ１０５には、符号化動画像データＩ０，Ｐ１，Ｂ２，・・・，Ｐ７の順番で格納された後、コピーストリームである符号化動画像データＢ８が格納され、符号化動画像データＢ９，Ｐ１０，Ｂ１１，Ｂ１２の順番で格納される。
＜効果＞
以上のように、短縮符号化処理の対象を被参照画像（ＩピクチャまたはＰピクチャ）ではなく参照画像（Ｂピクチャ）にすることにより、著しい画質の低下を抑制することができる。
なお、図９に示した符号化部１０２に代えて図６に示した符号化部１０２−１を用いても同様の効果を得ることができる。つまり、ステップＳＴ２０７において図７に示した短縮符号化処理が実行されても良い。
(第３の実施形態)
＜全体構成＞
図１２は、この発明の第３の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部３０２および処理時間制御部３０を備える。その他の構成は図１と同様である。処理時間制御部３０は、図１に示した処理時間計測部１０３と、符号化処理制御部３０４とを含む。
符号化部３０２は、図１に示した符号化部１０２と同様の動作を実行するが、自己に有している符号化モードの種類が異なる。符号化部３０２は、通常モード，短縮モード１，短縮モード２，および短縮モード３の４つの符号化モードを有し、符号化処理制御部３０４によっていずれか１つの符号化モードに設定される。符号化部３０２は、符号化処理制御部３０４によって設定された符号化モードに従って、次に符号化される予定である動画像データを符号化する。短縮モード１用の符号化方式は、短縮モード２用の符号化方式よりも符号化に要する時間が短い。短縮モード２用の符号化方式は、短縮モード３用の符号化方式よりも符号化に要する時間が短い。短縮モード３用の符号化方式は、通常モード用の符号化方式よりも符号化に要する時間が短い。
符号化処理制御部３０４は、符号化処理制御部１０４と同様の動作を実行するが、符号化部１０２の符号化モードおよび自己の符号化モードの制御についての処理が異なる。符号化処理制御部３０４は、符号化時間の超過の度合いに応じて、符号化部１０２の符号化モードおよび自己の符号化モードを制御する。詳しくは、符号化処理制御部３０４は、動画像データのフレームレートに基づいて、その動画像データの符号化に要することができる時間（予定時間１，予定時間２，予定時間３）を計算する。予定時間２は、予定時間１よりも短い。予定時間３は、予定時間２よりも短い。例えば、符号化処理制御部３０４は、符号化処理制御部１０４と同様に、動画像データのフレームレートに基づいて予定時間を算出し、予め定められた閾値１，閾値２（閾値１よりも短い），閾値３（閾値２よりも短い）をその算出した予定時間に加算することによって、「予定時間＋閾値１」を「予定時間１」とし、「予定時間＋閾値２」を「予定時間２」とし、「予定時間＋閾値３」を「予定時間３」として算出する。符号化処理制御部３０４は、処理時間計測部１０３によって計測された符号化時間と算出した予定時間１，予定時間２，および予定時間３との比較し、その比較の結果に応じて符号化部３０２の符号化モードおよび自己の符号化モードを変更する。
＜動作＞
次に、図１２に示した動画像符号化装置による動作について図１３を参照しつつ説明する。
〔ステップＳＴ３０１〕
まず、符号化部１０２および符号化処理制御部３０４は、符号化モードに応じた符号化処理（通常符号化処理，短縮符号化処理１〜短縮符号化処理３のいずれか１つ）を実行する。つまり、通常モードの場合、図２Ａに示したステップＳＴ１０１−１１〜ＳＴ１０１−１４における処理が実行され、短縮モード１〜短縮モード３の場合、図７に示したステップＳＴ１０１−３１〜ＳＴ１０１−３４における処理が実行される。なお、ステップＳＴ１０１−１１（図２Ａ）およびステップＳＴ１０１−３１（図７）では予定時間は１つしか求めていないが、ここでは、符号化処理制御部３０４は、予定時間１，予定時間２，予定時間３を算出する。
〔ステップＳＴ３０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ３０３へ進む。
〔ステップＳＴ３０３〕
次に、符号化処理制御部３０４は、処理時間計測部１０３によって計測された符号化時間がステップＳＴ３０１において算出された予定時間１を超過しているか否か判断する。符号化時間が予定時間１を超過していると判断すると、ステップＳＴ３０４へ進む。そうでない場合にはステップＳＴ３０５へ進む。
〔ステップＳＴ３０４〕
次に、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「短縮モード１」に設定する。次に、ステップＳＴ３０１へ進む。
〔ステップＳＴ３０５〕
一方、ステップＳＴ３０３において、符号化時間が予定時間１を超過していないと判断すると、符号化処理制御部３０４は、符号化時間がステップＳＴ３０１において算出された予定時間２を超過しているか否かを判断する。符号化時間が予定時間２を超過している場合にはステップＳＴ３０６へ進む。一方、そうでない場合にはステップＳＴ３０７へ進む。
〔ステップＳＴ３０６〕
次に、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「短縮モード２」に設定する。次に、ステップＳＴ３０１へ進む。
〔ステップＳＴ３０７〕
一方、ステップＳＴ３０５において、符号化時間が予定時間２を超過していないと判断すると、符号化処理制御部３０４は、符号化時間がステップＳＴ３０１において算出された予定時間３を超過しているか否かを判断する。符号化時間が予定時間３を超過している場合にはステップＳＴ３０８へ進む。そうでない場合にはステップＳＴ３０９へ進む。
〔ステップＳＴ３０８〕
次に、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「短縮モード３」に設定する。次に、ステップＳＴ３０１へ進む。
〔ステップＳＴ３０９〕
一方、ステップＳＴ３０７において、符号化時間が予定時間３を超過していないと判断すると、符号化処理制御部３０４は、自己の符号化モードおよび符号化部３０２の符号化モードを「通常モード」に設定する。次に、ステップＳＴ３０１へ進む。
＜効果＞
以上のように、符号化部における符号化時間の超過の度合いに応じて次に符号化される予定である動画像データに対する符号化方法を変更することによって、過剰な画質劣化や時間的連続性の低下を抑制しつつ、符号化時間の超過を解消することができる。
なお、本実施形態では、符号化処理制御部３０４は、処理時間計測部１０３によって計測された符号化時間と３パターンの予定時間の各々と比較しているが、比較に用いる予定時間の個数は３つに限らない。
また、短縮モード１に設定されたときに、符号化部３０２および符号化制御部３０４が、図２Ｂに示した短縮符号化処理を実行しても構わない。
（第４の実施形態）
＜全体構成＞
図１４は、この発明の第４の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１２に示した処理時間制御部３０に代えて、処理時間制御部４０を備える。その他の構成は図１２と同様である。処理時間制御部４０は、図１に示した処理時間計測部１０３と、図９に示したピクチャタイプ検出部２０１と、閾値変更部４０１と、符号化処理制御部４０４とを含む。
閾値変更部４０１は、ピクチャタイプ検出部２０１によるピクチャタイプの検出結果に応じて、符号化処理制御部４０４において符号化時間の超過の度合いを判断するために利用される閾値１，閾値２，閾値３を変更する。
符号化処理制御部４０４は、符号化処理制御部３０４と同様の動作を実行するが、予定時間１，予定時間２，予定時間３の算出処理が異なる。符号化処理制御部３０４は、閾値変更部４０１によって設定された閾値１，閾値２，閾値３を用いて、予定時間１，予定時間２，予定時間３を算出する。
＜動作＞
次に、図１４に示した動画像符号化装置による動作について図１５を参照しつつ説明する。
〔ステップＳＴ４０１〕
まず、ピクチャタイプ検出部２０１は、符号化部３０２によって符号化される予定である動画像データのピクチャタイプを検出する。閾値変更部４０１は、ピクチャタイプ検出部２０１の検出結果に応じて、閾値１，閾値２，閾値３を設定する。例えば、閾値変更部４０１は、Ｉピクチャ用の閾値１，閾値２，閾値３と、Ｐピクチャ用の閾値１，閾値２，閾値３と、Ｂピクチャ用の閾値１，閾値２，閾値３とを予め格納しており、その中からピクチャタイプ検出部２０１によって検出されたピクチャタイプに応じた閾値１，閾値２，閾値３を選択する。なお、閾値２は閾値１よりも短く、閾値３は閾値２よりも短い。
〔ステップＳＴ３０１〕
次に、ステップＳＴ３０１における処理と同様の処理が実行される。なお、ここでは、符号化処理制御部４０４は、閾値変更部４０１によって設定された閾値１，閾値２，閾値３を用いて、予定時間１，予定時間２，予定時間３を算出する。例えば、符号化処理制御部４０４は、動画像データのフレームレートに基づいて算出された予定時間に閾値変更部４０１によって算出された閾値１と加算することによって、予定時間１を算出する。
〔ステップＳＴ３０２〜ＳＴ３０９〕
次に、ステップＳＴ３０２〜ＳＴ３０９における処理と同様の処理が実行される。
＜閾値設定処理＞
次に、閾値変更部４０１による閾値設定処理（ステップＳＴ４０１における処理）について図１６を参照しつつ説明する。
〔ステップＳＴ４０１−１〕
ピクチャタイプ検出部２０１は、符号化部３０２によって符号化されている動画像データのピクチャタイプが「Ｉピクチャ」であるか否かを検出する。その動画像データが「Ｉピクチャ」である場合にはステップＳＴ４０１−２へ進む。一方、そうでない場合にはステップＳＴ４０１−３へ進む。
〔ステップＳＴ４０１−２〕
次に、閾値変更部４０１は、符号化処理制御部４０４において予定時間１，予定時間２，予定時間３の算出のために利用される閾値１，閾値２，閾値３を、Ｉピクチャ用の閾値１，閾値２，閾値３に設定する。次に、ステップＳＴ３０１へ進む。
〔ステップＳＴ４０１−３〕
一方、ステップＳＴ４０１−１において動画像データが「Ｉピクチャ」でない場合には、ピクチャタイプ検出部２０１は、符号化部４０２によって符号化されている動画像データのピクチャタイプが「Ｐピクチャ」であるか否かを検出する。その動画像データが「Ｐピクチャ」である場合にはステップＳＴ４０１−４へ進む。一方、そうでない場合にはステップＳＴ４０１−５へ進む。
〔ステップＳＴ４０１−４〕
次に、閾値変更部４０１は、符号化処理制御部４０４において予定時間１，予定時間２，予定時間３の算出のために利用される閾値１，閾値２，閾値３を、Ｐピクチャ用の閾値１，閾値２，閾値３に設定する。次に、ステップＳＴ３０１へ進む。
〔ステップＳＴ４０１−５〕
一方、ステップＳＴ４０１−３においてピクチャタイプ検出部２０１によって動画像データが「Ｐピクチャ」でないと検出されると、符号化処理制御部４０４において予定時間１，予定時間２，予定時間３の算出のために利用される閾値１，閾値２，閾値３を、Ｂピクチャ用の閾値１，閾値２，閾値３に設定する。次に、ステップＳＴ３０１へ進む。
＜効果＞
以上のように、次に符号化される予定である動画像データのピクチャタイプに応じて、符号化時間の超過の度合いを判断するための基準（予定時間１，予定時間２，予定時間３）を変更することによって、過剰な画質劣化や時間的連続性の低下をさらに抑制しつつ、符号化時間の超過を解消することができる。
なお、本実施形態では、符号化処理制御部４０４は、処理時間計測部１０３によって計測された符号化時間と３パターンの予定時間の各々と比較しているが、比較に用いる予定時間の個数は３つに限らない。
（第５の実施形態）
＜全体構成＞
図１７は、この発明の第５の実施形態による動画像符号化装置の全体構成を示す。この装置は、図６に示した処理時間制御部１０−１に代えて、処理時間制御部５０を備える。その他の構成は図６と同様である。処理時間制御部５０は、図９に示したピクチャタイプ検出部２０１と、処理時間計測部５０３と、符号化処理制御部５０４とを含む。
処理時間計測部５０３は、処理時間計測部１０３と同様に、符号化時間を計測する。また、処理時間計測部５０３は、１つのピクチャグループの符号化に要した時間（合計符号化時間）を計測する。ピクチャグループは、１つの被参照画像と、その被参照画像と次に符号化される被参照画像との間に存在する参照画像との集合を示す。詳しくは、処理時間計測部５０３は、ピクチャタイプ検出部２０１によって被参照画像（「Ｉピクチャ」または「Ｐピクチャ」）であると検出されてから次にピクチャタイプ検出部２０１によって被参照画像であると検出されるまでに計測した符号化時間を合計することによって、合計符号化時間を取得する。
符号化処理制御部５０４は、符号化処理制御部１０４−１と同様の動作を実行するが、符号化部１０２−１の符号化モードの制御についての処理が異なる。符号化処理制御部５０４は、１つのピクチャグループの符号化に要することができる時間（合計予定時間）を算出する。詳しくは、符号化処理制御部５０４は、ピクチャタイプ検出部２０１によって「被参照画像」であると検出されてから次にピクチャタイプ検出部２０１によって被参照画像であると検出されるまでに算出した予定時間を合計することによって、合計予定時間を算出する。また、符号化処理制御部５０４は、処理時間計測部５０３によって計測された合計符号化時間と算出した合計予定時間とを比較し、その比較の結果に応じて符号化部１０２−１の符号化モードを変更する。
＜動作＞
次に、図１７に示した動画像符号化装置による動作について図１８を参照しつつ説明する。
〔ステップＳＴ５０１〕
まず、符号化モードに応じた符号化処理（通常符号化処理（図２Ａ）または短縮符号化処理（図２Ｂ））が実行される。
〔ステップＳＴ５０２〕
次に、処理時間計測部５０３は、ステップＳＴ５０１において計測した符号化時間を合計符号化時間に加算する。一方、符号化処理制御部５０４は、ステップＳＴ５０１において算出した予定時間を合計予定時間に加算する。
〔ステップＳＴ５０３〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ５０４へ進む。
〔ステップＳＴ５０４〕
次に、ピクチャタイプ検出部２０１は、符号化部１０２−１によって次に符号化される予定である動画像データのピクチャタイプを検出する。次に、符号化される予定である動画像データが被参照画像である場合にはステップＳＴ５０５へ進む。一方、そうでない場合にはステップＳＴ５０１へ進む。
〔ステップＳＴ５０５〕
次に、符号化処理制御部５０４は、処理時間計測部５０３によって測定された合計符号化時間がステップＳＴ５０２において算出された合計予定時間を超過しているか否かを判断する。合計符号化時間が合計予定時間を超過している場合にはステップＳＴ５０６へ進む。そうでない場合にはステップＳＴ５０７へ進む。
〔ステップＳＴ５０６〕
次に、符号化処理制御部５０４は、自己の符号化モードおよび符号化部１０２−１の符号化モードを「短縮モード」に設定する。次に、ステップＳＴ５０１へ進む。
〔ステップＳＴ５０７〕
また、ステップＳＴ５０５において、合計符号化時間が合計予定時間を超過していない場合、符号化処理制御部５０４は、自己の符号化モードおよび符号化部１０２−１の符号化モードを「通常モード」に設定する。次に、ステップＳＴ５０１へ進む。
＜具体例＞
ここで、図１８に示した処理について図１９を参照しつつ具体的に説明する。なお、ここでは、動画像データＩ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４，・・・，Ｐ１０の順番で入力されるものとする。図中、「Ｉ」はＩピクチャであり、「Ｐ」はＰピクチャであり、「Ｂ」はＢピクチャである。
時刻ｔ０〜ｔ７では符号化部１０２−１による動画像データの符号化に時間超過が発生していないので、通常符号化処理（図４参照）と同様の処理が実行される。
ここで、時刻ｔ７〜ｔ８において、符号化部１０２−１による動画像データＢ３の符号化において時間超過が発生したとする。ここで、ピクチャタイプ検出部２０１が符号化部１０２−１が次に符号化する予定である動画像データＰ４が「Ｐピクチャ」であると検出し、かつ、処理時間計測部５０３によって計測された合計符号化時間が合計予定時間を超過しているので、符号化処理制御部５０４は、自己の符号化モードおよび符号化部１０２−１の符号化モードを「短縮モード」に設定する。よって、動画像データＢ３の符号化が完了すると、符号化部１０２−１は、短縮モード用の符号化方式に従って、フレームメモリ１０１−２に格納された動画像データＰ４の符号化を開始する。
時刻ｔ８〜ｔ１０において、符号化部１０２−１は、動画像データＰ４の符号化が完了する。これにより、短縮符号化処理によって生成された符号化動画像データＰ４がバッファメモリ１０５に格納される。また、符号化部１０２−１は、動画像データＰ４と同様に、短縮モード用の符号化方式に従って、フレームメモリ１０１−５に格納された動画像データＢ５の符号化を開始する。符号化部１０２−１による動画像データＢ５の符号化が完了すると、短縮符号化処理によって生成された符号化動画像データＢ５がバッファメモリ１０５に格納される。また、符号化部１０２−１は、フレームメモリ１０１−６に格納された動画像データＢ６の符号化を開始する。符号化部１０２−１による動画像データＢ６の符号化が完了すると、短縮符号化処理によって生成された符号化動画像データＢ６がバッファメモリ１０５に格納される。ここで、ピクチャタイプ検出部２０１は、符号化部１０２−１が次に符号化する予定である動画像データＰ７が「Ｐピクチャ」であると検出する。一方、符号化処理制御部５０４は、合計符号化時間が合計予定時間を超過していないと判断するので、自己の符号化モードおよび符号化部１０２−１の符号化モードを「通常モード」に設定する。
時刻ｔ１０になると、符号化部１０２−１は、通常モード用の符号化方式に従って、フレームメモリ１０１−５に格納された動画像データＰ７の符号化を開始する。
時刻ｔ１１になると、符号化部１０２−１は、動画像データＰ７の符号化を完了する。これにより、通常符号化処理に従って生成された符号化動画像データＰ７がバッファメモリ１０５に格納される。
このような処理が実行されて、図２０Ａのように、ピクチャグループ単位で符号化時間が超過しているか否かが判断されて、ピクチャグループ単位で、短縮符号化処理が実行される。
＜効果＞
以上のように、ピクチャグループ単位で短縮符号化処理を実行することにより、時間的連続性を保持しつつ、かつ、画質劣化を抑制した符号化を実現することができる。
なお、本発明を適用するにあたって、処理時間が超過したときに画像取り込み用のフレームメモリが不足するため、補助フレームメモリが必要となる可能性がある。しかしながら、図２０Ｂのように、画像取り込みは画像の上部から順に行われるのに対し、符号化未完了の領域は画像の下部に集中しているため、未符号化領域に対して画像取り込みを行わない制御をすれば補助フレームメモリは必要ない。
なお、図１７に示した符号化部１０２−１に代えて図１に示した符号化部１０２を用いても同様の効果を得ることができる。つまり、ステップＳＴ５０１において図２Ｂに示した短縮符号化処理が実行されても良い。
（第６の実施形態）
＜全体構成＞
図２１は、この発明の第６の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部６０２および処理時間制御部６０を備える。その他の構成は図１と同様である。
符号化部６０２は、図１に示した符号化部１０２と同様であるが、前方参照モードおよび後方参照モードの２つの符号化モードをさらに有する。符号化部６０２は、符号化処理制御部６０４によって前方参照モードになると、次に符号化される予定である動画像データを、その動画像データの前方に位置する被参照画像に基づいて、符号化する。また、符号化部６０２は、後方参照モードになると、次に符号化される予定である動画像データを、その動画像データの後方に位置する被参照画像に基づいて、符号化する。
符号化処理制御部６０４は、符号化処理制御部１０４と同様の動作を実行するが、画像の乱れを抑制する抑制処理をさらに実行する。符号化処理制御部６０４は、ピクチャタイプ検出部２０１による検出結果に基づいて、符号化部６０２の符号化モードおよび自己の符号化モードを制御する。
＜動作＞
次に、図２１に示した動画像符号化装置による動作について図２２を参照しつつ説明する。この動画像符号化装置は、図３に示した処理に加えて次の処理を実行する。
〔ステップＳＴ６０１〕
ステップＳＴ１０１における処理が完了すると、符号化処理制御部６０４は、ステップＳＴ１０１において短縮符号化処理を実行したか否かを判断する。短縮符号化処理を実行した場合にはステップＳＴ６０２へ進む。一方、そうでない場合にはステップＳＴ１０２へ進む。
〔ステップＳＴ６０２〕
次に、ピクチャタイプ検出部２０１は、ステップＳＴ１０１において短縮符号化処理が実行された動画像データのピクチャタイプを検出する。その動画像データが被参照画像（「Ｉピクチャ」または「Ｐピクチャ」）である場合にはステップＳＴ６０３へ進む。一方、そうでない場合にはステップＳＴ１０２へ進む。
〔ステップＳＴ６０３〕
次に、抑制処理が実行される。抑制処理では、符号化処理制御部６０４は、符号化部６０２における動画像データの符号化の際にステップＳＴ１０１において短縮符号化処理が実行された動画像データ（フレームメモリ１０１から削除された動画像データ）が参照されないように、符号化部６０２の符号化モードおよび自己の符号化モードを制御する。抑制処理が完了すると、ステップＳＴ１０１へ進む。
＜抑制処理＞
ここで、図２２に示した抑制処理（ステップＳＴ６０３における処理）について図２３，図２４を参照しつつ説明する。
〔ステップＳＴ６０３−１〕
符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「通常モード」から「前方参照モード」に変更する。符号化部６０２は、前方参照モードになると、次に符号化される予定である動画像データを、ステップＳＴ１０８において短縮符号化処理が実行された動画像データを参照せず、次に符号化される予定である動画像データの前方に位置する被参照画像に基づいて、符号化する。例えば、図２５のように、符号化部６０２は、動画像データＩ０，Ｐ１の間に存在する動画像データＢ２，Ｂ３を符号化する際、短縮符号化処理が実行された動画像データＰ１を参照することなく動画像データＩ０を参照する。
〔ステップＳＴ６０３−２〕
次に、符号化部６０２は、前方参照モードに従って、次に符号化される予定である動画像データを符号化する。符号化された動画像データは、バッファメモリ１０５に格納される。
〔ステップＳＴ６０３−３〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ６０３−４へ進む。
〔ステップＳＴ６０３−４〕
次に、ピクチャタイプ検出部２０１は、符号化部６０２によって次に符号化される予定である動画像データのピクチャタイプを検出する。次に符号化される予定である動画像データが被参照画像である場合にはステップＳＴ６０３−５へ進む。一方、そうでない場合にはステップＳＴ６０３−２へ進む。
〔ステップＳＴ６０３−５〕
次に、符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「前方参照モード」から「通常モード」に変更する。
〔ステップＳＴ６０３−６〕
次に、符号化部６０２は、通常モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。符号化された動画像データは、バッファメモリ１０５に格納される。
〔ステップＳＴ６０３−７〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ６０３−８（図２４）へ進む。
〔ステップＳＴ６０３−８〕
次に、符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「通常モード」から「後方参照モード」に変更する。符号化部６０２は、後方参照モードになると、次に符号化される予定である動画像データを、ステップＳＴ１０８（図３）において短縮符号化処理が実行された動画像データを参照せず、次に符号化される予定である動画像データの後方に位置する被参照画像に基づいて、符号化する。例えば、図２５のように、符号化部６０２は、動画像データＰ１，Ｐ４の間に存在する動画像データＢ５，Ｂ６を符号化する際、短縮符号化処理が実行された動画像データＰ１を参照することなく動画像データＰ４を参照する。
〔ステップＳＴ６０３−９〕
次に、符号化部６０２は、後方参照モードに従って、次に符号化される予定である動画像データを符号化する。符号化された動画像データは、バッファメモリ１０５に格納される。
〔ステップＳＴ６０３−１０〕
次に、フレームメモリに格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ６０３−１１へ進む。
〔ステップＳＴ６０３−１１〕
次に、ピクチャタイプ検出部２０１は、符号化部６０２によって次に符号化される予定である動画像データのピクチャタイプを検出する。次に符号化される予定である動画像データが被参照画像である場合にはステップＳＴ６０３−１２へ進む。一方、そうでない場合にはステップＳＴ６０３−９へ進む。
〔ステップＳＴ６０３−１２〕
次に、符号化処理制御部６０４は、自己の符号化モードおよび符号化部６０２の符号化モードを「後方参照モード」から「通常モード」に変更する。次に、ステップＳＴ１０１へ進む。
＜効果＞
以上のように、短縮符号化処理が実行された動画像データ（ここでは、フレームメモリから削除された動画像データ）を参照しないように動画像データの符号化を実行することによって、画像乱れを起こすピクチャを削減することができる。
また、短縮符号化が実行された動画像データを参照して符号化される予定である動画像データにおいて、レート制御による発生符号量の増加を抑制することができ、符号化時間を短縮することができる。また、短縮符号化が実行された動画像データを参照して符号化される予定である動画像データにおいて、双方向参照符号化ではなく前方参照符号化または後方参照符号化のみを実行することによって符号化時間を短縮することができる。
なお、図２１に示した符号化部６０２に代えて、図６に示した符号化部１０２−１を用いても同様の効果を得ることができる。つまり、ステップＳＴ１０１において図７に示した短縮符号化処理が実行されても良い。
（第７の実施形態）
＜全体構成＞
図２６は、この発明の第７の実施形態による動画像符号化装置の全体構成を示す。この装置は、図１に示した符号化部１０２および処理時間制御部１０に代えて、符号化部７０２および処理時間制御部７０を備える。その他の構成は図１と同様である。
符号化部７０２は、ピクチャ１枚分の動画像データを取り込み始めるとデータ格納信号を出力し、その取り込んだ動画像データの符号化を開始すると開始信号を出力し、そのピクチャ１枚分の動画像データの符号化が完了すると終了信号を出力し、１つの動画像データのうち一部分の動画像データ（例えば、スライス単位のデータ）を取り込み始めると部分データ格納信号を出力し、その取り込んだ動画像データの一部分の符号化を開始すると部分開始信号を出力し、その動画像データの一部分の符号化が完了すると部分終了信号を出力する。また、符号化部７０２は、通常モードと部分短縮モードとの２つの符号化モードを有し、符号化処理制御部７０４によっていずれか一方の符号化モードに設定される。通常モードに設定されると、符号化部７０２は、通常モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。一方、部分短縮モードに設定されると、符号化部７０２は、部分短縮モード用の符号化方式に従って、次に符号化される予定である動画像データを符号化する。部分短縮モード用の符号化方式は、通常モード用の符号化方式よりも符号化に要する時間が短い。
処理時間計測部７０３は、符号化部７０２から出力された開始信号，終了信号を参照して、符号化時間を計測する。また、処理時間計測部７０３は、符号化部７０２から出力された部分開始信号，部分終了信号を参照して、動画像データの一部分の符号化に要した時間（部分符号化時間）を算出する。例えば、処理時間計測部７０３は、スライスラインの先頭の動画像データを格納したタイミング（符号化部７０２からの部分開始信号を受けたとき）から符号化部７０２からの部分終了信号を受けるまでの時間を計測する。
符号化処理制御部７０４は、動画像データのフレームレートに基づいて、動画像データの符号化に要することができる時間（予定時間）を計算する。また、符号化処理制御部７０４は、動画像データのフレームレートに基づいて、動画像データの一部分の符号化に要することができる時間（部分予定時間）を算出する。例えば、符号化処理制御部７０４は、符号化部７０２からの部分データ格納信号を受け取ると、フレームレートに基づいて符号化部７０２が動画像データの一部分の符号化を完了しなければいけない時刻を求め、符号化部７０２からの部分終了信号を受け取った時刻からその求めた時刻までの時間を算出する。さらに、符号化処理制御部７０４は、処理時間計測部７０３によって計測された符号化時間と算出された予定時間との比較，および処理時間計測部７０３によって計測された部分符号化時間と算出された部分予定時間との比較を実行し、それらの比較の結果に応じて符号化部７０２の符号化モードを変更する。
＜部分短縮符号化処理＞
ここで、図２６に示した符号化部７０２および符号化処理制御部７０４による部分短縮モードにおける処理について図２７を参照しつつ説明する。
〔ステップＳＴ７０２−１〕
部分短縮モードに設定されるとき、符号化処理制御部７０４は、符号化部７０２からのデータ格納信号を受けると、動画像データのフレームレートに基づいて予定時間を算出する。
〔ステップＳＴ７０２−２〕
次に、符号化部７０２は、符号化する予定である動画像データの一部分を取り込む。このとき、符号化部７０２は、部分データ格納信号を出力する。また、符号化処理制御部７０４は、動画像データのフレームレートに基づいて、その動画像データの一部分の符号化のために要することができる時間（部分予定時間）を算出する。
〔ステップＳＴ７０２−３〕
次に、符号化部７０２は、部分短縮モード用の符号化方式に従って、取り込んだ動画像データの一部分の符号化を開始する。このとき、符号化部７０２は部分開始信号を出力する。
〔ステップＳＴ７０２−４〕
次に、符号化部７０２は、動画像データの一部分の符号化を完了すると、部分終了信号を出力する。処理時間計測部７０３は、符号化部７０２からの部分終了信号を受けて、符号化部７０２による動画像データの一部分の符号化に要した時間（部分符号化時間）を計測する。
〔ステップＳＴ７０２−５〕
次に、符号化処理制御部７０４は、符号化部７０２によってピクチャ１枚分の動画像データの符号化が完了したか否かを判断する。例えば、符号化処理制御部７０４は、符号化部７０４から終了信号が出力されたか否かを判断する。ピクチャ１枚分の符号化が完了している場合にはステップＳＴ７０２−８へ進む。一方、そうでない場合にはステップＳＴ７０２−６へ進む。
〔ステップＳＴ７０２−６〕
次に、符号化処理制御部７０４は、符号化部７０２における符号化時間が予定時間内に収まっているか否かを判断する。つまり、符号化処理制御部７０４は、処理時間計測部７０３によって計測された部分符号化時間がステップＳＴ７０２−２において算出した部分予定時間を超過しているか否かを判断する。部分符号化時間が部分予定時間を超過している場合にはステップＳＴ７０２−２へ進む。そうでない場合にはステップＳＴ７０２−７へ進む。
〔ステップＳＴ７０２−７〕
次に、符号化処理制御部７０４は、自己の符号化モードおよび符号化部７０２の符号化モードを「部分短縮モード」から「通常モード」に変更する。符号化部７０２は、通常モード用の符号化方式に従って、動画像データのうち残りの部分を符号化する。
〔ステップＳＴ７０２−８〕
次に、符号化部７０２は、ピクチャ１枚分の動画像データの符号化を完了すると、終了信号を出力する。符号化処理制御部７０４は、符号化部７０２から出力された開始信号，完了信号に基づいて、符号化時間を計測する。
このようにして、図２９のように、部分符号化時間が部分予定時間内に収まるまでは部分短縮モード用の符号化方式に従って符号化され、部分符号化時間が部分予定時間内に収まった後は通常モード用の符号化方式に従って符号化される。
＜動作＞
次に、図２６に示した動画像符号化装置による動作について図２８を参照しつつ説明する。
〔ステップＳＴ７０１〕
まず、符号化部７０２および符号化処理制御部７０４は、符号化モードに応じた符号化処理（通常符号化処理または部分短縮符号化処理）を実行する。
〔ステップＳＴ１０２〕
次に、フレームメモリ１０１に格納されたすべての動画像データに対して符号化処理が実行されている場合には、処理を終了する。一方、そうでない場合にはステップＳＴ１０３へ進む。
〔ステップＳＴ１０３〕
次に、符号化処理制御部７０４は、処理時間計測部７０３によって計測された符号化時間が、算出した予定時間を超過しているか否かを判断する。符号化時間が予定時間を超過している場合にはステップＳＴ７０２へ進む。一方、そうでない場合にはステップＳＴ１０５へ進む。
〔ステップＳＴ７０２〕
次に、符号化処理制御部７０４は、自己の符号化モードおよび符号化部７０２の符号化モードを「部分短縮モード」に設定する。次に、ステップＳＴ７０１へ進む。
〔ステップＳＴ１０５〕
一方、ステップＳＴ１０３において、符号化時間が予定時間を超過していないと判断されると、符号化処理制御部７０４は、自己の符号化モードおよび符号化部７０２の符号化モードを「通常モード」に設定する。次に、ステップＳＴ７０１へ進む。
＜効果＞
以上のように、動画像データの一部分の符号化が完了する毎に、符号化時間が予定時間を超過しているか否かを判断することによって、ピクチャ１枚分の動画像データの符号化が完了する前に、通常符号化処理に復帰することができる。これにより、符号化時間を過剰に短縮することを防ぐことができ、画質低下等を抑制することができる。
本発明にかかる動画像符号化装置は、符号化時間を短縮することができるので、外部要因での稀な処理量増加による画像乱れやシステム破綻を防ぐことができ、低周波数な演算装置における画像符号化で異常が発生した際のシステム保証等としても有用である。
この発明の第１の実施形態による動画像符号化装置の全体構成を示すブロック図である。 通常符号化処理について説明するためのフローチャートである。 短縮符号化処理について説明するためのフローチャートである。 図１に示した動画像符号化装置による動作について説明するためのフローチャートである。 通常符号化処理について説明するためのタイミングチャートである。 短縮符号化処理について説明するためのタイミングチャートである。 この発明の第１の実施形態による動画像符号化装置の変形例を示すブロック図である。 図６に示した動画像符号化装置による動作（短縮符号化処理）について説明するためのフローチャートである。 図７に示した短縮符号化処理について説明するためのタイミングチャートである。 この発明の第２の実施形態による動画像符号化装置の全体構成を示すブロック図である。 図９に示した動画像符号化装置による動作について説明するためのフローチャートである。 図１０に示した短縮符号化処理について説明するためのタイミングチャートである。 この発明の第３の実施形態による動画像符号化装置の全体構成を示すブロック図である。 図１２に示した動画像符号化装置による動作について説明するためのフローチャートである。 この発明の第４の実施形態による動画像符号化装置の全体構成を示すブロック図である。 図１４に示した動画像符号化装置による動作について説明するためのフローチャートである。 図１５に示したステップＳＴ４０１における処理について説明するためのフローチャートである。 この発明の第５の実施形態による動画像符号化装置の全体構成を示すブロック図である。 図１７に示した動画像符号化装置による動作を説明するためのフローチャートである。 図１８に示した短縮符号化処理について説明するためのタイミングチャートである。 ピクチャグループ単位で実行される短縮符号化処理について説明するための図である。 動画像データの取り込みについて説明するための図である。 この発明の第６の実施形態による動画像符号化装置の全体構成を示すブロック図である。 図２１に示した動画像符号化装置による動作について説明するためのフローチャートである。 図２２に示した抑制処理について説明するためのフローチャートである。 図２２に示した抑制処理について説明するためのフローチャートである。 抑制処理において参照される動画像データについて説明するための図である。 この発明の第７の実施形態による動画像符号化装置の全体構成を示すブロック図である。 図２６に示した動画像符号化装置による動作について説明するためのフローチャートである。 図２７に示した部分短縮符号化処理について説明するためのフローチャートである。 図２７に示した処理を説明するための図である。
１０１ フレームメモリ
１０２，１０２−１，３０２，６０２，７０２ 符号化部
１０３，５０３，７０３ 処理時間計測部
１０４，１０４−１，２０４，３０４，４０４，５０４，６０４，７０４ 符号化処理制御部
１０５ バッファメモリ
２０１ ピクチャタイプ検出部
１０〜７０ 処理時間制御部
４０１ 閾値変更部
１０〜７０ 処理時間制御部

Claims (14)

  1. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    ピクチャタイプ検出部と、
    制御部とを備え、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される被参照ピクチャと、
    前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成する
    ことを特徴とする動画像符号化装置。
  2. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    ピクチャタイプ検出部と、
    基準時間選択部と、
    制御部とを備え、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される被参照ピクチャと、
    前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、
    前記制御部は、
    前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、
    前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる
    ことを特徴とする動画像符号化装置。
  3. 複数の動画像データを符号化する装置であって、
    符号化部と、
    ピクチャタイプ検出部と、
    計測部と、
    制御部とを備え、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される第１の被参照ピクチャと、
    前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
    前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
    前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャと、
    前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、
    前記制御部は、前記計測部によって計測された合計時間が前記動画像データのフレームレートに基づく所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成し、かつ、その第２の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に符号化させることなく当該動画像データに代わる所定ビットストリームを生成する
    ことを特徴とする動画像符号化装置。
  4. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    ピクチャタイプ検出部と、
    制御部とを備え、
    前記複数の動画像データは、
    他のピクチャの符号化のときに参照される第１の被参照ピクチャと、
    前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
    前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、前記複数の動画像データのうちいずれか１つを符号化するものであって、第１の予測符号化方式と第２の予測符号化方式とを有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に符号化させることなく、その選択した動画像データの符号化データに代わる所定ビットストリームを生成し、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
    前記符号化部は、前記第２の予測符号化方式では、当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記所定ビットストリームが生成されていない方に基づいてフレーム間予測符号化する
    ことを特徴とする動画像符号化装置。
  5. 請求項４において、
    前記複数の動画像データは、
    前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
    前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、
    前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
    前記制御部は、前記ピクチャタイプ検出部によって前記所定ビットストリームを生成した動画像データが前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
    前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化する
    ことを特徴とする動画像符号化装置。
  6. 請求項１〜請求項５のいずれか１つにおいて、
    前記所定ビットストリームは、前記符号化部によってすでに符号化された動画像データのコピーストリームである
    ことを特徴とする動画像符号化装置。
  7. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    ピクチャタイプ検出部と、
    制御部とを備え、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される被参照ピクチャと、
    前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ピクチャタイプ検出部によって参照ピクチャであると検出された動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させる
    ことを特徴とする動画像符号化装置。
  8. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    ピクチャタイプ検出部と、
    基準時間選択部と、
    制御部とを備え、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される被参照ピクチャと、
    前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、第１の符号化方式と、前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式と、前記第２の符号化方式よりも符号化に要する時間が短い第３の符号化方式とを有し、前記第１，第２，第３の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記基準時間選択部は、前記ピクチャタイプ検出部によるピクチャタイプの検出結果に応じて、前記動画像データのフレームレートに基づく第１の所定時間と、前記第１の所定時間よりも短い第２の所定時間とを設定し、
    前記制御部は、
    前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、その選択した動画像データを前記符号化部に前記第３の符号化方式に従って符号化させ、
    前記計測部によって計測された時間が前記基準時間選択部によって設定された第１の所定時間を超過しておらず前記基準時間選択部によって設定された第２の所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つを選択し、前記符号化部にその選択した動画像データを前記第２の符号化方式に従って符号化させる
    ことを特徴とする動画像符号化装置。
  9. 複数の動画像データを符号化する装置であって、
    符号化部と、
    ピクチャタイプ検出部と、
    計測部と、
    制御部とを備え、
    前記複数の動画像データは、
    他のピクチャの符号化のときに参照される第１の被参照ピクチャと、
    前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
    前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
    前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャと、
    前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記計測部は、前記ピクチャタイプ検出部によって第１の被参照ピクチャであると検出された動画像データが前記符号化部によって符号化されるために要した時間と、その第１の被参照ピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データとの間に存在する動画像データが前記符号化部によって符号化されるために要した時間との合計時間を計測し、
    前記制御部は、前記計測部によって計測された合計時間が所定合計時間を超過していると判断すると、前記ピクチャタイプ検出部によって第２の被参照ピクチャであると検出された動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、かつ、その第２のピクチャであると検出された動画像データと前記ピクチャタイプ検出部によって第３の被参照ピクチャであると検出された動画像データとの間に存在する動画像データ（参照ピクチャ）を前記符号化部に前記第２の符号化方式に従って符号化させる
    ことを特徴とする動画像符号化装置。
  10. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    ピクチャタイプ検出部と、
    制御部とを備え、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される第１の被参照ピクチャと、
    前記第１の被参照ピクチャの後に符号化される第２の被参照ピクチャと、
    前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在し、かつ、当該第１および第２の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、
    前記符号化部は、第１の予測符号化方式と第２の予測符号化方式とをさらに有し、前記第１の予測符号化方式では、前記第１および第２の被参照ピクチャの間に存在する参照ピクチャを、当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
    前記ピクチャタイプ検出部は、前記複数の動画像データの各々のピクチャタイプを検出し、
    前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第１または第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
    前記符号化部は、前記第２の予測符号化方式では、前記符号化部に当該第１および第２の被参照ピクチャの間に存在する参照ピクチャを、双方向フレーム間予測符号化をすることなく、当該第１および第２の被参照ピクチャのうち前記第２の符号化方式に従って符号化されていない方に基づいてフレーム間予測符号化する
    ことを特徴とする動画像符号化装置。
  11. 請求項１０において、
    前記複数の動画像データは、
    前記第２の被参照ピクチャの後に符号化される第３の被参照ピクチャと、
    前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在し、かつ、当該第２および第３の被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとをさらに含み、
    前記符号化部は、前記第１の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを当該第１および第２の被参照ピクチャに基づいて双方向フレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを当該第２および第３の被参照ピクチャに基づいて双方向フレーム間予測符号化し、
    前記制御部は、前記第２の符号化方式に従って符号化された動画像データが前記ピクチャタイプ検出部によって前記第２の被参照ピクチャであると検出されると、前記符号化部の符号化方式を前記第２の予測符号化方式にし、
    前記符号化部は、前記第２の予測符号化方式では、前記第１の被参照ピクチャと前記第２の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第１の被参照ピクチャに基づいてフレーム間予測符号化し、かつ、前記第２の被参照ピクチャと前記第３の被参照ピクチャとの間に存在する参照ピクチャを双方向フレーム間予測符号化することなく当該第３の被参照ピクチャに基づいてフレーム間予測符号化する
    ことを特徴とする動画像符号化装置。
  12. 複数の動画像データを符号化する装置であって、
    符号化部と、
    計測部と、
    制御部とを備え、
    前記符号化部は、第１の符号化方式と前記第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式とを有し、前記第１および第２の符号化方式のうちいずれか一方に従って前記複数の動画像データのうちいずれか１つを符号化し、
    前記計測部は、前記符号化部による動画像データの符号化に要した時間を計測し、
    前記制御部は、前記計測部によって計測された時間が前記動画像データのフレームレートに基づく所定時間を超過していると判断すると、前記複数の動画像データのうち前記符号化部によって符号化された動画像データよりも後に符号化される動画像データの中から少なくとも１つの動画像データを選択し、その選択した動画像データを前記符号化部に前記第２の符号化方式に従って符号化させ、
    前記計測部は、さらに、前記符号化部によって動画像データのうち所定量のデータが符号化されるまでに要した部分符号化時間を計測し、
    前記制御部は、前記符号化部が前記第２の符号化方式に従って動画像データを符号化しているときに、前記計測部によって計測された部分符号化時間が前記動画像データのフレームレートに基づいた部分所定時間を超過していないと判断すると、前記符号化部によって符号化されている動画像データのうち未だ符号化されていない部分を前記符号化に前記第１の符号化方式に従って符号化させる
    ことを特徴とする動画像符号化装置。
  13. 複数の動画像データを符号化する方法であって、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される被参照ピクチャと、
    前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記方法は、
    前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、
    前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、
    前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、
    前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、
    前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、
    前記ステップ（Ｅ）において選択された動画像データを符号化することなく、当該動画像データの符号化データに代わる所定ビットストリームを生成するステップ（Ｆ）とを備える
    ことを特徴とする動画像符号化方法。
  14. 複数の動画像データを符号化する方法であって、
    前記複数の動画像データは、
    他の動画像データの符号化のときに参照される被参照ピクチャと、
    前記被参照ピクチャに基づいてフレーム間予測符号化される参照ピクチャとを含み、
    前記方法は、
    第１の符号化方式に従って前記複数の動画像データのうちいずれか１つを符号化するステップ（Ａ）と、
    前記ステップ（Ａ）において動画像データの符号化に要した時間を計測するステップ（Ｂ）と、
    前記ステップ（Ｂ）において計測された時間が所定時間を超過しているか否かを判断するステップ（Ｃ）と、
    前記複数の動画像データの各々のピクチャタイプを検出するステップ（Ｄ）と、
    前記ステップ（Ｃ）において前記ステップ（Ｂ）にて計測された時間が所定時間を超過していると判断されると、前記複数の動画像データのうち前記ステップ（Ａ）において符号化された動画像データよりも後に符号化される動画像データであり、かつ、前記ステップ（Ｄ）において参照ピクチャであると検出された動画像データの中から少なくとも１つを選択するステップ（Ｅ）と、
    前記ステップ（Ｅ）において選択された動画像データを前記ステップ（Ａ）における第１の符号化方式よりも符号化に要する時間が短い第２の符号化方式に従って符号化するステップ（Ｆ）とを備える
    ことを特徴とする動画像符号化方法。
JP2005257192A 2005-09-06 2005-09-06 動画像符号化装置，動画像符号化方法 Expired - Fee Related JP4623650B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005257192A JP4623650B2 (ja) 2005-09-06 2005-09-06 動画像符号化装置，動画像符号化方法
US11/516,055 US8094725B2 (en) 2005-09-06 2006-09-06 Video coder, coding controller, and video coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005257192A JP4623650B2 (ja) 2005-09-06 2005-09-06 動画像符号化装置，動画像符号化方法

Publications (2)

Publication Number Publication Date
JP2007074173A JP2007074173A (ja) 2007-03-22
JP4623650B2 true JP4623650B2 (ja) 2011-02-02

Family

ID=37855078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005257192A Expired - Fee Related JP4623650B2 (ja) 2005-09-06 2005-09-06 動画像符号化装置，動画像符号化方法

Country Status (2)

Country Link
US (1) US8094725B2 (ja)
JP (1) JP4623650B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998137B (zh) * 2009-08-21 2016-09-07 华为技术有限公司 视频质量参数获取方法和装置及电子设备
KR101638912B1 (ko) * 2010-05-31 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 리코딩 제어 방법
JP5652066B2 (ja) * 2010-09-03 2015-01-14 ヤマハ株式会社 動画圧縮制御装置、動画記録装置及び動画記録再生装置
JP5843631B2 (ja) * 2012-01-26 2016-01-13 日本電信電話株式会社 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
JP2014075736A (ja) * 2012-10-05 2014-04-24 Sony Corp サーバ装置および情報処理方法
TW201429229A (zh) * 2013-01-14 2014-07-16 Hon Hai Prec Ind Co Ltd 影片傳輸系統及方法
CN103402086B (zh) * 2013-07-22 2017-02-15 华为技术有限公司 一种用于视频编码系统的性能控制方法及编码器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042295A (ja) * 1996-07-19 1998-02-13 Sony Corp 映像信号符号化方法および映像信号符号化装置
JP2003284072A (ja) * 2002-03-26 2003-10-03 Matsushita Electric Works Ltd 動画像送信装置及び動画像通信システム
JP2005080123A (ja) * 2003-09-02 2005-03-24 Sony Corp 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828411A (en) * 1992-04-15 1998-10-27 Hitachi, Ltd. Low bit rate coder for still and motion images using sub-sampling
US6567554B1 (en) * 1999-03-12 2003-05-20 Victor Company Of Japan, Limited Data coding method and apparatus therefor
JP3324556B2 (ja) * 1999-04-13 2002-09-17 日本電気株式会社 映像記録方式
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP4369318B2 (ja) 2003-07-24 2009-11-18 パナソニック株式会社 符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042295A (ja) * 1996-07-19 1998-02-13 Sony Corp 映像信号符号化方法および映像信号符号化装置
JP2003284072A (ja) * 2002-03-26 2003-10-03 Matsushita Electric Works Ltd 動画像送信装置及び動画像通信システム
JP2005080123A (ja) * 2003-09-02 2005-03-24 Sony Corp 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム

Also Published As

Publication number Publication date
JP2007074173A (ja) 2007-03-22
US8094725B2 (en) 2012-01-10
US20070058727A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
JP4623650B2 (ja) 動画像符号化装置，動画像符号化方法
JP6207116B2 (ja) 監視ビデオをエンコードするための方法及び装置
KR101239567B1 (ko) 움직임 추정에 대한 검색 범위 선택 방법과 그의 시스템 및 컴퓨터 판독가능 저장 매체
JP5576048B2 (ja) 直接モード符号化及び復号化方法
JP5536174B2 (ja) リファレンスビデオフレーム及びノンリファレンスビデオフレームの検出及び隠蔽の方法及び装置
US20210274208A1 (en) Merge with mvd for affine
JP2671820B2 (ja) 両方向予測方法及び両方向予測装置
JP2005303984A (ja) 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JPWO2008139721A1 (ja) 復号化装置及び復号化方法
JPH07193822A (ja) 動き予測プロセッサ及び動き予測装置
JP3166736B2 (ja) 動画像符号化装置および動画像符号化方法
CN101466042A (zh) 代码量控制方法及装置、照相机系统
JP2007013419A (ja) 画像処理装置、画像処理方法
US20080291062A1 (en) Image coding apparatus and method thereof
TWI493942B (zh) 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
JP2010056600A (ja) 映像信号符号化装置及び映像信号復号化装置
JP4184389B2 (ja) 動きベクトル復号装置および復号方法
JP2897669B2 (ja) 動きベクトル検出装置
JP2006229659A (ja) 動画像圧縮方法及び装置並びにプログラム
JP2019057886A (ja) 符号化装置、符号化方法及びプログラム
JP4796186B2 (ja) 可変長データのメモリ格納方法、および可変長データ記憶装置
JP3933483B2 (ja) 画像符号化方法及び画像復号化方法
JP4555186B2 (ja) ディジタル動画像復号装置およびディジタル動画像復号方法
JP4231097B2 (ja) 動きベクトル復号装置および復号方法
JP2006086684A (ja) 動画像符号化装置及び動画像符号化用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101029

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees