JP6496234B2 - ビデオの符号化方法及びビデオ符号化システム - Google Patents

ビデオの符号化方法及びビデオ符号化システム Download PDF

Info

Publication number
JP6496234B2
JP6496234B2 JP2015209514A JP2015209514A JP6496234B2 JP 6496234 B2 JP6496234 B2 JP 6496234B2 JP 2015209514 A JP2015209514 A JP 2015209514A JP 2015209514 A JP2015209514 A JP 2015209514A JP 6496234 B2 JP6496234 B2 JP 6496234B2
Authority
JP
Japan
Prior art keywords
group
value
frame
accumulation
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015209514A
Other languages
English (en)
Other versions
JP2016096538A5 (ja
JP2016096538A (ja
Inventor
ファン, シン ダニエルソン
ファン, シン ダニエルソン
ヴィクトル エドパルム,
ヴィクトル エドパルム,
フレードリク ピール,
フレードリク ピール,
ラーシュ パーション,
ラーシュ パーション,
アレクサンドル マルティンス,
アレクサンドル マルティンス,
Original Assignee
アクシス アーベー
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー, アクシス アーベー filed Critical アクシス アーベー
Publication of JP2016096538A publication Critical patent/JP2016096538A/ja
Publication of JP2016096538A5 publication Critical patent/JP2016096538A5/ja
Application granted granted Critical
Publication of JP6496234B2 publication Critical patent/JP6496234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はデジタル画像圧縮の分野に関し、より詳細には、ビデオ符号化方法、及びビデオ符号化のための符号化システムに関する。
ネットワークカメラ監視システムなどのデジタルビデオシステムにおいて、ビデオシーケンスは様々なビデオ符号化方法を用いて伝送前に圧縮される。多くのデジタルビデオ符号化システムで、2つの主要なモード(イントラモード及びインターモード)が使用されて、一連のビデオフレームの複数のビデオフレームが圧縮される。イントラモードでは、予測、変換、及びエントロピー符号化を通じて、単一のフレームの所与のチャネル内のピクセルの空間的な冗長性を利用することによって、輝度チャネル及び色度チャネルが符号化される。符号化されたフレームはイントラフレームと称され、Iフレームとも称され得る。一方、インターモードは、別々のフレーム間の一時的な冗長性を利用し、選択されたピクセルブロックについて1つのフレームから別のフレームへのピクセルの動きを符号化することによって、一又は複数の先行のフレームからのフレーム部分を予測する、動き補償予測技術に依存する。符号化されたフレームはインターフレームと称され、デコードの順において先行するフレームを表し得るPフレーム(前方向予測フレーム)、又は2つ以上の先行してデコードされるフレームを表し得るBフレーム(両方向予測フレーム)とも称され、予測に用いられるフレームの任意の表示順序(display−order)関係を有し得る。更に、符号化されたフレームは、ピクチャグループ(groups ofpictures)(GOP)にアレンジされ、ここで各ピクチャグループはIフレームで始まり、後続するフレームはPフレーム又はBフレームである。一般的に、ピクチャグループ中のフレーム数はGOP長と称される。GOP長は、ピクチャグループ中に1つのイントラフレームのみが存在しインターフレームが存在しないことを意味する1から、例えば、ピクチャグループ中に1つのイントラフレームが存在しこれに254のインターフレームが後続することを意味する255まで変化し得る。一般的に、イントラフレームはインターフレームよりも画像表現においてより多くのビットを要求するので、より長いGOP長を有するモーションビデオは一般的に、より短いGOP長を有するモーションビデオよりも低い出力ビットレートを生み出す。
符号化されたビデオシーケンスを受信する場所で、符号化されたフレームがデコードされる。ネットワークカメラ監視システムにおける課題は、符号化されたビデオの送信に利用可能なバンド幅である。このことは、特に多数のカメラを利用したシステムにおいて当てはまる。更に、この課題は、利用可能なバンド幅が小さい場合、例えばビデオシーケンスがモバイルデバイス(例えば、携帯電話、PDA、又はタブレットコンピュータ)に送信される際に特に重要である。画像の記憶に関して、例えばカメラに内蔵されたSDカードに画像を記憶する際に、類似の問題が発生する。高画質なビデオ画像という利益と利用可能なバンド幅又は記憶域とを釣り合わせるよう、妥協が必要となる。カメラからの送信ビットレートを低下させるよう符号化を制御する幾つかの方法及びシステムが用いられてきた。一般的に、これらの既知の方法及びシステムは、ビットレート制限を適用し、カメラからの出力ビットレートが常にビットレート制限未満であるように符号化を制御する。この方式で、システム中のすべてのカメラがそれらカメラのビデオシーケンスを受信場所(例えば、コントロールセンターなど)へ送信するように、利用可能なバンド幅が十分であることを確実にし得、そのような受信場所では作業員がシステムカメラからのビデオを監視し、ビデオは後の利用のために記録され得る。しかしながら、ビットレート制限は、モニタされているシーンで何が起こっているかに関係なく、多くの細部を含む画像の大幅な圧縮を要求するので、すべてのカメラにビットレート制限を適用することにより望ましからぬ低画質がもたらされることがある。一般的に、静止シーンの画像よりも動きを伴うシーンの画像のほうが、作業者の関心は高い。ところが、ビットレート制限を適用すると、動きを伴う画像は制限を超過しないように大きく圧縮される必要があり、これにより低画質となる。上述のように、出力ビットレートを低下させる別の方式は、より長いGOP長の使用である。しかしながら、このことはイントラフレームの頻度が低下することを示唆するので、インターフレームの符号化時に利用される予測によって発生するエラーが更に伝播し、表示された画像中の望ましくない符号化アーティファクト(歪み)が生じ得る。
本発明の目的は、出力ビットレートの低減と共に、捕捉されたシーン中の動きの高画質なビデオ画像を可能にする、ビデオ符号化方法を提供することである。
第1の態様によれば、ビデオ符号化方法によって、この目的が完全に又は少なくとも部分的に達成され、本方法は、ビデオの現在のデジタル画像フレーム中の符号化されるピクセルを表す情報を、受信すること、前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての前記受信した情報に基づいて、隣接するピクセルの各グループのグループ値を算出すること、蓄積されたグループ値の第1の蓄積を形成するために、前記現在のフレームと第1の数の先行する画像フレームとを含むデジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積すること、蓄積されたグループ値の第2の蓄積を形成するために、前記現在のデジタル画像フレームと第2の数の先行するデジタル画像フレームとを含むデジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積することであって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたって捕捉されたデジタル画像フレームを含む、蓄積すること、前記第1の蓄積の蓄積されたグループ値を、前記第2の蓄積中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較すること、グループ値の第1の蓄積と第2の蓄積との比較に基づいて、グローバル変化値を算出すること、前記グローバル変化値に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定すること、並びに、前記GOP長に基づいて、前記現在の画像フレームをイントラフレーム又はインターフレームとして符号化すること、を含む。このような方法により、より低頻度のイントラフレームを用いることによって静止シーンの画像を符号化する際のビットレートの低下が可能となり、一方、動きを伴うシーンの画像はより高頻度のイントラフレームで符号化され得、これにより、符号化アーティファクトが低減される。
グローバル変化値を算出する工程は、前記第1の蓄積及び第2の蓄積の対応する蓄積されたグループ値間の差分に基づいて、隣接するピクセルの各グループの変化値を算出することを含み得る。これにより、グローバル変化値を算出するための実用的且つ信頼性の高い方式がもたらされ得る。
変形例として、本方法は、前記グローバル変化値を高閾値と比較すること、及び、前記グローバル変化値が前記高閾値を上回る場合、前記GOP長を現在のGOP長から減少させることを更に含む。この方式で、捕捉されたシーン中に動きが存在する場合、より短いGOP長が用いられるように、GOP長が適合され得る。
高閾値は、前記現在の画像フレーム中に捕捉されたシーン中の関心対象の物体の動きを表す、グローバル変化値に対応し得る。
本方法は前記グローバル変化値を低閾値と比較すること、及び、前記グローバル変化値が前記低閾値に満たない場合、前記GOP長を現在のGOP長より増加させることを含む。この方式で、捕捉されたシーンが静止シーンである場合、より長いGOP長が用いられるようにGOP長が適合され得、これにより出力ビットレートを低下させる。
低閾値は、前記現在の画像フレーム中で捕捉されたシーン中に動きが実質的に存在しないことを表すグローバル変化値に対応し得る。
変形例として、本方法は更に、許容される最大限のGOP長及び許容される最小限のGOP長によって規定される所定のGOP範囲に、前記GOP長を制限することを含む。これにより、望ましくない符号化アーティファクトというリスクが確実となる長すぎるGOP長、及び、容認できないほど大きすぎる送信ビットレートに繋がる短すぎるGOP長が発生しないことが保証される。
本法は、前記グローバル変化値をグローバル変化制限と比較することであって、グローバル変化制限は前記高閾値よりも高い値の閾値であること、及び、前記グローバル変化値が前記グローバル変化制限を上回る場合、前記現在の画像フレームをGOP長とは独立してイントラフレームとして符号化すること、を更に含む。この方式で、現在の画像フレームがイントラフレームとして符号化され、そうでない場合にはインターフレームとして符号化されるが、マクロブロックの多くがイントラモードで符号化されることが保証され得る。
グローバル変化制限は、前記現在の画像フレーム中の捕捉されたシーン中の大幅なシーン変化を表すグローバル変化値に対応し得る。大幅な変化は、例えば、室内で照明をオンオフすること、動きの素早い雲、又は捕捉されたシーンを横切って動く画像の大部分を占める物体などによって引き起こされ得る。
グループ値を蓄積する工程は、デジタル画像フレームの前記第1のシーケンス中及びデジタル画像フレームの第2のシーケンスにおけるピクセルの対応するグループのグループ値を加算することを含み得る。
隣接するピクセルの各グループは、符号化工程中に用いられるマクロブロック中の幾つかのピクセルに等しい幾つかのピクセルで構成され得る。このことは、グローバル変化値及び/又はローカル変化値の算出に基づく圧縮値の設定を特に便利にし得る。
第2の態様によれば、ビデオを符号化するための符号化システムによって、上述の目的が完全に又は少なくとも部分的に達成され、本システムは、ビデオの現在のデジタル画像フレーム中の符号化されるピクセルを表す情報を受信するように構成された、受信モジュール、前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての前記受信した情報に基づいて、隣接するピクセルの各グループのグループ値を算出するように構成された、グループ値モジュール、蓄積されたグループ値の第1の蓄積を形成するために、前記現在の画像フレームと第1の数の先行する画像フレームとを含むデジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積するように構成され、蓄積されたグループ値の第2の蓄積を形成するために、前記現在の画像フレームと第2の数の先行する画像フレームとを含むデジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積するように構成された、蓄積モジュールであって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたって捕捉されたデジタル画像フレームを含む、蓄積モジュール、前記第1の蓄積の蓄積されたグループ値を、前記第2の蓄積中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較するように構成された、比較モジュール、グループ値の第1の蓄積と第2の蓄積との比較に基づいて、グローバル変化値を算出するように構成された、グローバル変化値モジュール、前記グローバル変化値に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定するように構成された、GOP長モジュール、並びに、前記GOP長に基づいて、前記現在の画像フレームをイントラフレーム又はインターフレームとして符号化するように構成された、符号化モジュールを含む。このような符号化システムにより、ビットレートの低下を実現しつつ、動きを伴うシーンの高画質ビデオ画像が可能となり得る。
第2の態様の符号化システムは、一般的に、第1の態様の方法と同じ方式で実施され得、その利点も付随する。
第3の態様によれば、第2の態様による符号化システムを備えたカメラによって、上述の目的が完全に又は少なくとも部分的に達成される。
第4の態様によれば、プロセッサによって実行されると第1の態様による方法を遂行するように構成された指令を含むコンピュータ可読記憶媒体を含む、コンピュータプログラム製品によって、上述の目的が完全に又は少なくとも部分的に達成される。プロセッサは、処理能力を有する任意のタイプのデバイスであり得、例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)、集積回路中に実装されるカスタム仕様の処理デバイス、ASIC、FPGA又はディスクリート素子を含む論理回路であり得る。
本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。
したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定の構成要素部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞(「a」、「an」、「the」、及び「said」)は、文脈によって他のことが明らかに示されない限り、1つ又は複数の要素があることを意味していると意図されることに留意するべきである。それ故、例えば、「an object」又は「the object」に対する言及は、幾つかのobjectなどを含み得る。更に、「compizing(備える、含む)」という言葉は、他の要素又はステップを排除しない。
本発明を、実施例を用い且つ添付の概略図を参照しながら、より詳細に説明する。
モニタされているシーンを示すデジタル画像の図である。 図1の画像の主要構造を示す図である。 図2の画像の部分の詳細な図である。 デジタル画像のビデオシーケンスの図である。 図2に示す画像のピクセルのグループを示す。 本発明による方法の変形例を示すフロー図である。 ピクセルグループの、そのピクセルグループに対応して配置されたグループ値を示す。 異なるタイムスケール上のグループ値の蓄積を示す。 ピクセルグループの、そのピクセルグループに対応して配置されたローカル変化値を示す。 本発明の方法の別の変形例を示すフロー図である。 一実施形態による符号化システムの図である。 符号化システムが統合されたカメラを示す。 ピクセルグループの、そのピクセルグループに対応して配置された圧縮値を示す。
図1で、モニタされているシーンを表すデジタル画像1が示されている。画像1は、図2で示されているような幾つかのピクセル2で構成されている。例えば、画像1は、幅1280ピクセル、高さ960ピクセルであり得る。この画像1はYCbCr色空間で表現されており、ピクセル2の各々が輝度値Y、青の色度値Cb、及び赤の色度値Crを有する。図3で、画像1の(図2のボックス3で概略的に示された)小さい部分が示されている。画像1のこの小さな部分は、幅4ピクセル、高さ4ピクセルである。図3のピクセル2の各々において、左上の角の数字はこのピクセルのCb値を表し、右上の角の数字はCr値を表し、底部の数字はY値を表す。
画像1が、記憶されるか、又は表示されている監視対象シーンの画像を例えば作業者もしくは警備員が監視しているコントロールセンターへ送信される場合、画像は符号化されねばならない。この実施例で、H.264圧縮形式で動作するコーデックが用いられる。画像1を符号化する際、符号化された画像の記憶又は送信に要するデータ量を制御するために、即ち出力ビットレートを制御するために、GOP長及び圧縮値などのパラメータが制御され得る。H.264圧縮形式で、圧縮値は量子化パラメータ(QP)である。符号化される画像は、マクロブロック又はピクセルブロックと称される独立したブロックへと区分けされ、これらは個別に符号化される。画像中のすべてのマクロブロックは一般的に同じサイズを有し、例えば、8×8ピクセル、16×16ピクセル、又は32×32ピクセルであり得る。同一の画像中の種々のマクロブロックが、異なる圧縮値を割り当てられ得る。画像が符号化されるフレームレートもまた、出力ビットレートの制御のために制御され得る。送信に利用可能なバンド幅は、一般的に、許容可能なビットレートを制限する。複数のカメラを用いるシステムでは、及び、画像をユーザの携帯電話に送信する場合のようなバンド幅の小さいシステムでは、個別のカメラそれぞれからの許容可能なビットレート出力はかなり制限される。背景技術の段落で既に示したように、ビットレート制限の適用には大幅な圧縮及び/又は長いGOP長が要求され、結果として、画像の低下及び望ましくない量の符号化アーティファクトが生じ得る。
図4は、6つの連続する画像フレーム1a‐fのビデオシーケンスを示す。図示のように、第1の画像1は、家屋、2本の樹、及び家屋に繋がる道を含むシーンを示す。第2の画像1bは、変化を伴わない同じシーンを示す。第3の画像1cは、同じ、静止したシーンを示す。これらの3つの画像1a‐cは、モニタされているシーンの表示画像を見ている作業者にとって、特に関心の対象とならないであろう。第4の画像1dは同じシーンを示すが、ここで画像1dの下方端から人物がシーンに入って来ている。第5の画像1eで、この人物が道に沿って家屋の方に進んだことが見て取れ得る。第6の画像1fは、この人物が家屋の真正面にいることが示されている。モニタ中のシーンで何事かが起こっていること、より詳細には、潜在的な侵入者が家屋の方へと進んでいることを示すので、これらの3つの後半の画像1d‐fのほうが作業者の関心は高い。
下記で、図2‐9を参照して、本発明の方法の変形例がより詳細に説明される。図4の第1の画像1aから開始して、この画像は、複数のピクセルグループへと分割される(図6の工程S01)。これらのピクセルグループは、符号化に使用するマクロブロックに対応してもよく、対応しなくてもよい。この実施例で、画像1aは16×16ピクセルのグループ、即ち、256ピクセルへと分割される。そのようなグループの1つであるグループ10を図5に示す。グループ10中のピクセル2の各々について、ピクセル2を表す情報が受信される(工程S02)。この実施例で、表されている情報は輝度Yである。下記の式により、グループ10中のすべてのピクセル2の輝度値の合計が算出され、グループ値Vを形成する(工程S03):
Figure 0006496234
式中、Yはn番目のピクセルの輝度値であり、Nはグループ10中のピクセルの総数である。従って、この実施例ではN=256である。輝度値の合計は、グループ値Vの算出に用いられ得る多くの可能な統計上の測定値のうちの1つにすぎない。グループ値Vを算出するその他の方式は、グループのピクセルの輝度値の平均値、中央値、四分位範囲、標準偏差、分散、歪度、又は尖度などの統計的測定値を算出することである。
同じ方式で、画像1a中の各ピクセルグループのグループ値が算出される。例示的な画像1aでは、80×60グループ、即ち4800グループが存在する。
算出されたグループ値Vは、画像中のピクセルグループの位置に対応するマトリクスに配置され、図7に示すようなマップを形成する。ここで、VR,Cは、マップ中の行R、列Cにあるピクセルグループのグループ値を示す。
幾つかの連続する画像にわたり、グループ値が蓄積される。短時間にわたり捕捉された幾つかの画像のグループ値を加算することにより、短期蓄積(AS)と称され得る第1の蓄積が形成される(工程S04)。これは、下記の式による無限インパルス応答フィルタの原理を用いてを用いて実行され得る:
AS=(1−α)・ASm−1+α・V
式中、mはビデオシーケンス中の現在の画像フレーム数であり、ASm−1は先行する画像フレームの蓄積であり、αは重み付け係数である。重み付け係数αは、蓄積に望まれる時間長に応じて選ばれる。この実施例で、短期蓄積は、現在の画像フレームのグループ値における0.25の重みαでの重み付けによって形成され、即ち原則として、現在の画像フレームのグループ値と3つの先行する画像フレームのグループ値とを蓄積する。短期蓄積されたグループ値は、図8aに示すような、画像中のピクセルグループの位置に対応するマトリクス又はマップに記憶され得る。ここで、ASR,Cは、マップ中の行R、列Cにある短期蓄積されたピクセルグループのグループ値を表す。
付加的に、長時間にわたり捕捉された幾つかの画像のグループ値を加算することにより、長期蓄積(AL)と称され得る第2の蓄積が形成される(工程S05)。短期蓄積についての説明と同様に、下記の式が用いられ得る:
AL=(1−β)・ALm−1+β・V
上記と同様、mはビデオシーケンス中の現在の画像フレーム数であり、ALm−1は先行する画像フレームの蓄積であり、βは重み付け係数である。この実施例で、現在の画像フレームのグループ値は0.01の重み付け係数βを用いて加重される。従って、長期蓄積ALは、原則として、現在の画像フレームのグループ値と99個の先行する画像フレームのグループ値とを加算することにより形成される。短期蓄積ASの場合と同等、長期蓄積されたグループ値は、図8cに示すマトリクス又はマップに記憶され得る。画像中のピクセルグループの位置に対応してこのマップにおいて、ALR,Cは、行R、列Cにある長期蓄積されたピクセルグループのグループ値を表す。
シーン中に有意な変化があると、それぞれの蓄積はリセット又はリスタートされることが必要となり得る。従って、蓄積は、PTZカメラが動いたとき又は新しいビデオストリームが符号化されたときなど、外部からのトリガに基づいてリセットされ得る。更に、蓄積は、後述するグローバル変化値CGに基づいてリセットされ得る。
次いで、短期蓄積ASの蓄積されたグループ値ASR,Cが、対応する長期蓄積ALの長期蓄積されたグループ値ALR,Cと比較される(工程S06)。この比較に基づいて、現在の画像フレームが先行する画像フレームと異なるかどうかを示すグローバル変化値CGが算出される。グローバル変化値CGは、モニタ中のシーン内の動き又はその他の変化(光線の変化もしくは動く陰影など)を示し得る。
グローバル変化値CGは、短期蓄積ASの短期蓄積されたグループ値と対応する長期蓄積ALの長期蓄積されたグループ値との間の差を計算することによって、算出され得る。各ピクセルグループについて、算出された蓄積されたグループ値の差分が、ノイズレベルに基づき得る閾値Tと比較される。この差分が、隣接するピクセルの各グループの変化値CLを形成する。ピクセルグループの短期蓄積されたグループ値と長期蓄積されたグループ値との間の差分が、ノイズに基づく閾値Tよりも大きい場合、そのピクセルグループは変化したと見なされ、そのピクセルグループのローカル変化値CLは1に設定される。反対に、差分がノイズレベルに基づく閾値Tよりも小さい場合、そのピクセルグループは変化しなかったと見なされ、ローカル変化値CLは0に設定される。例えば、0〜10などに亘るより微細なローカル変化値のスケールを用いてもよい。ローカル変化値は、図9に示すマトリクス又はマップ内に配置され得、ここで、CLR,Cは行R、列Cにあるピクセルグループのローカル変化値を示す。
次いで、画像1a中のすべてのピクセルグループのローカル変化値の平均を計算することにより、グローバル変化値CGが算出される(工程S08)。従って、16×16ピクセルグループについて、最小グローバル変化値は0であり、ピクセルのうちノイズレベルに基づく閾値Tよりも変化したものがないことを意味する。最大グローバル変化値は256であり、すべてのピクセルがノイズレベルに基づく閾値Tよりも変化したことを意味する。
グローバル変化値CGが高閾値Tと比較される。高閾値Tは、グローバル変化値CGが高閾値Tを上回ると、画像中の変化がモニタ中のシーン内での関心対象の物体の動きを表すように、設定される。従って、監視の目的に応じて、即ち関心対象のタイプに応じて、高閾値Tは様々な値に設定され得る。
グローバル変化値CGが高閾値Tを上回らない場合、グローバル変化値CGは低閾値Tと比較される。低閾値Tは、グローバル変化値CGが低閾値Tを下回ると、モニタ中のシーン内で実質的に動きがないことを表すように、設定される。シーン及び監視の目的に応じて、動きがないことは、そのシーンが完全に静止していること(動くものがなく一定の照明を伴う屋内シーンなど)を意味し得るか、又は、揺れる樹木もしくは旗竿もしくは小物体(例えば、ウサギ)などの関心対象でない物体のみが動いていることを意味し得る。
グローバル変化値CGが高閾値Tを上回る場合、グローバル変化値CGは高閾値Tよりも高い値であるグローバル変化制限Lとも比較される。グローバル変化制限Lは、グローバル変化値CGがグローバル変化制限Lを上回る場合、画像中の変化が捕捉されたシーン中の大幅なシーン変化を表すように、設定される。大幅な変化とは、室内で照明がオンオフされたときなどの照明の変化であり得るか、又は、カメラの視覚のすべてもしくはほとんどを遮るようにカメラの前を物体が通過したこと(例えば、カメラ近くを鳥が通過したこと、もしくはモニタ中のシーンにおいてトラックが横切ったことなど)であり得る。大幅な変化はまた、PTZカメラのパンニングなどカメラの動きによっても生じ得る。上述のように、グローバル変化値CGがグローバル変化制限を上回ると決定された場合、グループ値の蓄積はリセットされ得る。
グローバル変化値CGは、GOP長(即ち、各ピクチャグループ中の符号化される画像フレーム数)を設定するために用いられる(工程S08)。符号化が開始されるとき、初期GOP長が設定される。これはデフォルト値として設定されるか、又はユーザの入力によって設定され得る。例えば、120フレームの初期GOP長が設定され得る。図3aの第1の画像フレーム1aなどの画像が符号化されるとき、その画像フレーム1aについてのグローバル変化値CGが算出され、高閾値Tと比較される。グローバル変化値CGが高閾値Tを上回る場合、符号化されるビデオシーケンス中の各イントラフレームに後続するインターフレーム数が減少するように、GOP長は減少される。これにより、インターフレームの符号化時に予測から生じるエラーが、より長いGOP長が用いられる場合よりも、ビデオシーケンスに沿ってそれほど遠くまで伝播せず、従って符号化アーティファクトが低減され得る。一般的に、出力ビットレートの増加を確実にすることは、動きを含むシーンの高画質性という利益に対してバランスがとれるので、容認可能である。
一方、グローバル変化値CGが低閾値Tを下回る場合、GOP長が増加され、即ち、符号化されるビデオシーケンス中の各イントラフレームに後続するインターフレーム数が増加される。より長いGOP長が符号化アーティファクトの増加という結果を招くとしても、このリスクは、動きのレベルが低いことによってある程度は低減され、更に、静止シーンを表す画像中のアーティファクトの増加は、いずれにせよ作業者にとってそのようなシーンは関心が低いので、一般的に容認可能である。この方式で、出力ビットレートが減少される。
この実施例で、グローバル変化値CGが高閾値Tを上回る場合、GOP長は素早く減少され、例えば、GOP長をピクチャグループ毎に60フレームまで即座に減少させる。GOP長の増加はより低速で行われ得、例えば、低閾値Tを下回るグローバル変化値CGを有する各画像フレームについて10フレーム、GOP長を増加させる。
グローバル変化値CGが低閾値Tと高閾値Tとの間にある場合、GOP長は変更されずに維持される。
グローバル変化値CGがグローバル変化制限Lを上回る場合、以前用いられたGOP長に関わらず、現在の画像フレーム1aはイントラフレームとして符号化される。グローバル変化制限は、シーンが有意に変化したことを示唆するので、画像フレーム1aをインターフレームとして符号化することは、多くのマクロブロックがイントラモードで符号化される必要があることを示唆し得る。イントラフレームがこの方式で符号化されたビデオシーケンスに挿入されると、次いで、GOP長は初期又はデフォルトのGOP長(例えば120フレーム)に戻される。
グローバル変化値CGに基づいて設定されるGOP長は、現在の画像フレーム1aがイントラフレームとして符号化されるか、又はインターフレームとして符号化されるかを決定するために用いられる。現在のピクチャグループが終了していない場合、新しいGOP長は、新しいピクチャグループの開始をもたらさず、現在の画像フレーム1aはインターフレームとして符号化される。先行の画像フレームがピクチャグループ中の最後の1つであった場合、又は、新しいピクチャグループが開始されたことを新しいGOP長が意味する場合、現在の画像フレーム1aはイントラフレームとして符号化される。グローバル変化値CGはグローバル変化制限を上回る場合、現在のピクチャグループが未だ終了していなくとも、現在の画像フレーム1aはイントラフレームとして符号化され、即ち、現在の画像フレーム1aは強制的にイントラフレームとして符号化される。従って、イントラモード又はインターモードの何れの符号化モードを使用するかが決定されると、現在の画像フレーム1aは符号化される(工程S09)。
GOP長が、許容される最小限のGOP長未満又は許容される最大限のGOP長を上回って設定を許容されないように、許容可能なGOP長範囲が使用される。従って、現在のGOP長が許容される最小限のGOP長に等しい場合、及び、現在の画像フレームについて算出されたグローバル変化値がGOP長の減少をもたらす場合、そのGOP長は変更されずに維持される。同様に、現在のGOP長が許容される最大限のGOP長に等しい場合、及び、現在の画像フレームについて算出されるグローバル変化値がGOP長の増加をもたらす場合、そのGOP長は現在の値で保持される。許容可能なGOP長範囲はノイズレベル及びビデオのフレームレートに基づいてよく、例えば、60‐600フレームに設定され得る。許容可能なGOP長はデフォルト値として事前に設定されるか、又はユーザ入力によって設定され得る。更に、GOP長は画像が符号化されるフレームレートに基づいて、例えば、各ピクチャグループが1‐10秒の長さであるように制御され得、従って、30fpsで30‐300フレーム、及び60fpsで60‐600フレームのGOP長範囲に対応する。
次いで、本符号化方法は、後続の画像フレーム1b‐fについても同じ方式で進行する(図3)。上述のように、第2のフレーム1b及び第3のフレーム1cは静止シーンを示す。従って、第2のフレーム1b及び第3のフレーム1cについて算出されるグローバル変化値CGは、そのGOP長がこれらのフレームの各々について増加されることを示唆する。第1の画像フレーム1aがピクチャグループの最後ではないと仮定すると、第2のフレーム及び第3の画像フレームは、インターフレームとして符号化される可能性が高い。しかしながら、第4の画像フレーム1d中、人物がシーンに現れ、高閾値Tが動く人物によって生じるグローバル変化値を表すように設定されているとすると、第4の画像フレーム1dについて算出されるグローバル変化値CGは、そのGOP長が減少されることを示唆する。同様に、第5の画像フレーム1e及び第6の画像フレーム1fのグローバル変化値CGもまた、GOP長が減少されるべきであることを示唆する。現在のピクチャグループが終了したかどうかに応じて、第4、第5、及び第6の画像フレーム1d‐fは、インターフレーム又はイントラフレームとして符号化される。
図10を参照して、本発明の方法の別の変化形を説明する。この変化形の工程の大部分は上述のものと同一であり、従ってそれらはここでは詳説しない。異なる工程のみをより詳細に説明する。図6に関連して上述したことと同様、図4aの第1の画像フレーム1aなどの現在の画像フレームは、複数のピクセルグループに分割される(工程S101)。現在の画像フレーム中のピクセルを表す情報が受信される(工程S102)。ここでも、表される情報は輝度である。各ピクセルグループについて、輝度値の合計としてグループ値が算出される(工程S103)。図6に関連して説明した方式と同様に、グループ値Vは、第1の蓄積即ち短期蓄積AS(S104)中に、及び第2の蓄積即ち長期蓄積AL中に蓄積される(S106)。先述した本発明の変化形とは異なり。グループ値は、第3の蓄積即ち中期蓄積(AM)中にも蓄積される(工程S105)。以下の式が使用される:
AM=(1−γ)・AMm−1+γ・V
短期蓄積及び長期蓄積と同様、式中、mはビデオシーケンス中の現在の画像フレーム数であり、AMm−1は先行する画像フレームの蓄積であり、γは重み付け係数である。この実施例で、0.1の重み付け係数γが用いられる。従って、中期蓄積AMは、原則として、現在の画像フレームのグループ値と9個の先行する画像フレームのグループ値とを加算することにより形成される。短期蓄積されたグループ値(ASR,C)及び長期蓄積されたグループ値(ALR,C)と同様、中期蓄積されたグループ値(AMR,C)は、図8bに示すマトリクス又はマップ内に配置される。
蓄積は、上述とはやや異なる方式で比較される(工程S107)。まず、長期蓄積ALの蓄積されたグループ値が中期蓄積AMの蓄積されたグループ値と比較される。ノイズレベルに基づく閾値Tよりも大きい、長期蓄積されたグループ値と中期蓄積されたグループ値との間の差分を有するピクセルグループは、変化の候補と見なされる。これらのピクセルグループについて、中期蓄積AMの蓄積されたグループ値と短期蓄積ASの蓄積されたグループ値との間で、更なる比較がなされる。これらの蓄積されたグループ値がノイズレベルに基づく閾値Tよりも大きく異なる場合、対応するピクセルグループは変化したと見なされ、そのピクセルグループのローカル変化値はローカル変化値1を割り当てられる。そうでない場合、0のローカル変化値が割り当てられる。上述のように、グローバル変化値CGは、現在の画像フレーム中のピクセルグループのすべてのローカル変化値CLを加算することによって算出される(工程S108)。
短期蓄積AS及び長期蓄積ALに加えて中期蓄積AMを用いることにより、シーン中に大きな変化があり、次いでそのシーンが静止状態に戻る場合などに有益であり得る。そのような場合、中期蓄積AMは長期蓄積ALよりも素早く定常値に戻る。更に、中期蓄積AMは、低フレームレートにおける信頼性を高め得る。
上述と同様に、GOP長はグローバル変化値に基づいて設定され、即ちグローバル変化値CGを、高閾値T、低閾値T、及びグローバル変化制限Lと比較することにより設定される(工程S109)。次いで、算出されたGOP長及び現在のピクチャグループ中の位置に応じて、現在の画像フレーム1aがイントラフレーム又はインターフレームとして符号化される(工程S110)。グローバル変化値CGがグローバル変化制限Lを上回る場合、現在のピクチャグループ中の位置に関わらず、現在の画像フレームはイントラフレームとして符号化される。後続する画像フレーム1b‐fの符号化にも同じ手順が用いられる。
本発明の別の変化形によれば、画像フレームが符号化されるフレームレートを用いて、蓄積されたグループ値の何れの比較を使用するかが決定される。フレームレートはユーザ入力によって設定されるか、又は例えば、グローバル変化値に基づいて設定され得る。フレームレートが約5‐60fpsである場合、短期蓄積ASの蓄積されたグループ値と中期蓄積AMの蓄積されたグループ値とが比較されて、グローバル変化値CGが決定され得る。フレームレートが低い(例えば、60fps未満である)場合、グローバル変化値CGを決定するために、中期蓄積AMの蓄積されたグループ値と長期蓄積ALの蓄積されたグループ値とが比較される。非常に低いフレームレート(例えば、0.1fps未満)の場合、画像は動きを含まないと見なされ得、従って、蓄積されたグループ値間の比較を行う必要もなく、GOP長が増加されるように、グローバル変化値は低閾値T未満であると推定され得る。
グローバル変化値の算出に使用されることに加えて、画像フレームについて算出されたローカル変化値CLは、符号化される各マクロブロックの圧縮値の設定に利用され得る。この実施例で、圧縮値はH.264圧縮形式で用いられる量子化パラメータ(QP)である。
符号化が開始されるとき、初期圧縮値QPは、第1の画像フレームのすべてのマクロブロックについて設定される。上述のように、マクロブロックは、グループ値Vの算出に用いられるピクセルグループと同一であり得る。代替的に、各マクロブロックは、グループ値の算出に用いられるピクセルグループのサブグループであり得る。圧縮値QPが変更されない限り、初期圧縮値QPは、後続するすべての画像に使用される。しかしながら、画像フレームの圧縮がモニタ中のシーン内の変化に適応するように、圧縮値QPをローカル変化値に基づいて補正することが有益であり得る。従って、画像フレームの静止部分は、より極度に圧縮され、一方、画像のうち動きを表す部分は圧縮がより少なく、これにより、モニタ中のシーンの動く部分に高画質がもたらされる。この方式で、出力ビットレートが全体として低減されながらも、モニタ中のシーンの関心対象部分の高画質が可能となる。低減されたビットレートはまた、符号化システムの過負荷により生じ得るフレームドロップを防止し得る。
現在の画像フレーム中の隣接するピクセルの各グループについて、上述のようにローカル変化値CLが算出される。各マクロブロックについて、圧縮値QPが算出される。マクロブロックがピクセルグループと同一である場合、対応するピクセルグループのローカル変化値が用いられる。各ピクセルグループが1よりも多いマクロブロックを含む場合、例えば、ピクセルグループの各々が32×32ピクセルでありマクロブロックが16×16ピクセルである場合、それぞれのマクロブロックを構成するピクセルグループのローカル変化値が用いられる。各マクロブロックについて、ローカル変化値CLの関数として圧縮値QPが算出される。累乗関係が使用され、これにより、ローカル変化値CLが累乗スケール上で表現される場合に圧縮値QPはローカル変化値CLの一次関数として算出され、ローカル変化値CLが線形スケールで表現される場合に圧縮値QPはローカル変化値CLの指数関数として算出される、圧縮値QPを設定するかわりに、圧縮値の変化ΔQPが設定され得る。例えば、初期圧縮値(例えば、QP=28)がすべてのマクロブロックについて設定され得る。ローカル変化値に基づいて、この初期又はデフォルトの圧縮値からの変化は、上述と同じ原理を用いて各マクロブロックについて設定され得る。算出された圧縮値QP又は変化ΔQPが、図13に示すマトリクス又はマップ中に配置され得る。
符号化の前に、画像フレームは変換モジュール(例えばスケーラと称されることもある、ハードウェア支援変換モジュール)において処理され得、ここで、回転、切取り、モザイクの付加、又は電子画像安定化が実施され得る。ローカル変化値CLは、圧縮値QPに正しく対応するマクロブロックをもたらすために、圧縮値QPの算出前に同じスケーラで処理され得る。代替的に、算出された圧縮値QPが同じ結果を得るためにスケーラにおいて処理され得る。
図11で、符号化システム20の実施形態を示す。この符号化システムは、上述した方法に従って使用され得る。符号化システムは、圧縮形式を用いて、及び圧縮値を用いて、入力画像フレームをピクチャグループ(GOP)構造を利用して処理するように構成された符号化モジュール21を有する。更に、符号化システム20は、画像フレーム1a‐fなどの画像中のピクセルを表す情報を受信するように構成された、受信モジュール22、及び、符号化される各画像フレーム中の隣接するピクセルのグループについての受信した情報に基づいて、隣接するピクセルの各グループのグループ値を算出するように構成された、グループ値モジュール23を有する。符号化システム20はまた、画像フレームの第1のシーケンス中の隣接するピクセルの対応するグループのグループ値を短期的に蓄積して第1の蓄積即ち短期蓄積を形成するように構成され、且つ、画像フレームの第2のシーケンス中の隣接するピクセルの対応するグループのグループ値を長期的に蓄積して第2の蓄積即ち長期蓄積を形成するように構成された、蓄積モジュール24を有する。画像フレームの第2のシーケンスは、第1のシーケンスの画像フレームよりも長い期間にわたり捕捉された画像フレームを含む。更に、符号化システム20は、第1の蓄積の蓄積されたグループ値と第2の蓄積の蓄積されたグループ値とを比較するように構成された、比較モジュール25を有する。符号化システム20のグローバル変化値モジュール26は、第1の蓄積及び第2の蓄積の蓄積されたグループ値の比較に基づいて、各画像フレームについての変化値を算出するように構成される。更に、符号化システム20は、グローバル変化値に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定するように構成された、GOP長モジュール27を有する。
任意選択的に、符号化システム20は、第1の蓄積及び第2の蓄積の対応する蓄積されたグループ値の差に基づいて、画像フレーム中の隣接するピクセルの各グループのローカル変化値を算出するように構成された、ローカル変化値モジュール28、並びに、ローカル変化値に基づいて、符号化される画像フレーム中のマクロブロックの圧縮値を設定するように構成された、圧縮値モジュール29を有してもよい。
符号化システム20は、ソフトウェア、ファームウェア、もしくはハードウェア、又はそれらの組み合わせとして実装され得る。
更に、図10に示すように、符号化システム20がカメラ30に統合され得る。代替的に、符号化システム20は、カメラとは別個であってカメラに動作可能に接続され得る。カメラ30は、例えば、デジタル式監視カメラであり得る。
上述の実施形態が多くの方式で修正されてもなお、上述の実施形態中に示される本発明の利点が利用可能であることを、当業者は理解されよう。一例として、上述の記載において本発明はH.264コーデックとの関連で説明された。しかしながら、ピクチャグループ構造を用いた任意の他のブロックベースのハイブリットコーデック(例えば、H.265、MPEG−4Part2、又はVP9コーデックなど)が用いられてもよい。
上述の実施例で、グループ値の算出にピクセルの輝度Yが用いられている。しかしながら、かわりに色度値Cb及びCrのうちの一方が用いられてもよい。
更に、YCbCr色空間で表現される画像を参照して本発明を説明してきたが、例えば、RGB又はCMYなどの他の色空間が用いられてもよく、その場合、色チャネルのうちの1つが用いられてグループ値が算出される。画像センサからのBayerフィルタリング前のダイレクトな画像データが用いられ得ることに留意されたい。ここで、画像はピクセル毎の1つの階調として表現され、これらを用いてグループ値が算出され得る。階調が光強度値と見なされてもよい。
このように、ピクセル情報は、画像パイプライン又はビデオパイプラインの任意の段階から受信され得、具体的な情報のタイプは、その情報がパイプライン中のどこから来ているかに依存することが理解されるべきである。
グループ値を合計として算出する代わりに、ピクセルを表す情報の平均値、中央値、四分位範囲、標準偏差、分散、歪度又は、尖度など、他の空間統計上の測定値が用いられ得る。
蓄積には他のタイムスパンが用いられてもよい。例えば、短期蓄積は、1/4〜1の重み付け係数αを用いたグループ値における重み付けによって形成され得る。中期蓄積は、1/15〜1/5の重み付け係数γを用いたグループ値における重み付けによって形成され得る。長期蓄積は、1/150〜1/50の重み付け係数βを用いたグループ値における重み付けによって形成され得る。
蓄積は、選ばれたタイムスパンにわたり捕捉されたすべての画像フレームを必ずしも含まない。例えば、1つおきに捕捉された画像フレームが蓄積に用いられてもよい。
符号化の際に使用する圧縮値の設定にローカル変化値CLが用いられない場合、グローバル変化値CGは、ローカル変化値をまず算出することなしに算出され得る。これは、一時的なフィルタリングによって、又はビデオモーション検知アルゴリズムを用いて、コーデックにより算出されたグローバルモーションベクトルを使用することによってなされ得る。
本発明の方法及び符号化システムは、例えば、可視光を利用するカメラ、IRカメラ、又はサーマルカメラなどの任意のタイプのカメラとの接続で使用され得る。
更に、本発明をデジタルカメラとの関連で説明したが、アナログカメラと共に使用されてもよい。そのような場合、アナログカメラからの画像がデジタル化装置を用いてデジタル形式に変換され得る。
デジタル画像は、イントラフレーム及びインターフレーム符号化技術を用いて符号化されるピクセルを表す情報の生成が可能な、可視光センサ、サーマルセンサ、TOF(time−of−flight)センサ、又は他のタイプの画像生成センサによって生成され得る。
説明を簡略化するために、ピクセル情報、グループ値、蓄積されたグループ値、及び圧縮値は、マトリクスの形態で説明された。しかしながら、それらデータはすべて他の形式で記憶されてもよい。
即ち、本発明は示された実施形態に限定されるのではなく、添付の特許請求の範囲によってのみ定義されるべきである。

Claims (11)

  1. 符号化されるビデオの現在のデジタル画像フレーム(1;1a‐f)中のピクセル(2)を表す情報を受信する工程(S02;S102)、
    前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての受信した前記情報に基づいて、隣接するピクセルの各グループのグループ値(V)を算出する工程(S03;S103)、
    蓄積されたグループ値の第1の蓄積(AS)を形成するために、前記現在のデジタル画像フレームと第1の数の先行する画像フレームとを含む、デジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積する工程(S04;S104)、
    蓄積されたグループ値の第2の蓄積(AL)を形成するために、前記現在のデジタル画像フレームと第2の数の先行するデジタル画像フレームとを含む、デジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値を蓄積する工程(S05;S106)であって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたり捕捉されたデジタル画像フレームを含む、蓄積する工程(S05;S106)、
    前記第1の蓄積(AS)の蓄積されたグループ値を、前記第2の蓄積中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較する工程(S06;S106)、
    グループ値の第1の蓄積(AS)及び第2の蓄積(AL)の比較に基づいて、グローバル変化値(CG)を算出する工程(S07;S108)、
    現在のGOP長を増加させるか減少させるか変更せずに維持するかの選択を行うことを含み、前記グローバル変化値(CG)に基づいて、GOP長を、ピクチャグループ中の符号化されるフレーム数として設定する工程(S08;S109)、並びに
    前記GOP長に基づいて、前記現在のデジタル画像フレームを、イントラフレーム又はインターフレームとして符号化する工程(S09;S110)を含む、ビデオ符号化方法。
  2. 前記グローバル変化値(CG)を算出する工程が、前記第1の蓄積及び前記第2の蓄積(AS,AL)の対応する蓄積されたグループ値の差に基づいて、隣接するピクセルの各グループの変化値(CL)を算出することを含む、請求項1に記載の方法。
  3. 前記グローバル変化値(CG)を高閾値(T)と比較する工程、及び
    前記グローバル変化値(CG)が前記高閾値(T)を上回る場合、前記GOP長を現在のGOP長から減少させる工程
    を更に含む、請求項1又は2に記載の方法。
  4. 前記グローバル変化値(CG)を低閾値(T)と比較する工程、及び
    前記グローバル変化値(CG)が前記低閾値(T)を下回る場合、前記GOP長を現在のGOP長から増加させる工程
    を更に含む、請求項1からの何れか一項に記載の方法。
  5. 前記GOP長を、許容される最大限のGOP長及び許容される最小限のGOP長によって規定される、所定のGOP範囲に制限する工程
    を更に含む、請求項1からの何れか一項に記載の方法。
  6. 前記グローバル変化値(CG)をグローバル変化制限(L)と比較する工程であって、前記グローバル変化制限(L)は前記高閾値(T)よりも高い値の閾値である、比較する工程、及び
    前記グローバル変化値(CG)が前記グローバル変化制限(L)を上回る場合、前記現在のデジタル画像フレームをGOP長に関わらずイントラフレームとして符号化する工程
    を更に含む、請求項3に従属する場合の、請求項1からの何れか一項に記載の方法。
  7. グループ値の前記蓄積(S04,S05;S104,S106)は、それぞれ、デジタル画像フレームの前記第1のシーケンス中の対応するピクセルのグループのグループ値と、デジタル画像フレームの前記第2のシーケンス中の対応するピクセルのグループのグループ値との加算を含む、請求項1からの何れか一項に記載の方法。
  8. 隣接するピクセルの各グループは、前記符号化する工程(S09;S110)中に用いられるマクロブロック中のピクセル数に等しい数のピクセル(2)からなる、請求項1からの何れか一項に記載の方法。
  9. ビデオを符号化するための符号化システムであって、
    符号化されるビデオの現在のデジタル画像フレーム(1;1a‐f)中のピクセル(2)を表す情報を受信するように構成された、受信モジュール(22)、
    前記現在のデジタル画像フレーム中の隣接するピクセルのグループについての受信した前記情報に基づいて、隣接するピクセルの各グループのグループ値(V)を算出するように構成された、グループ値モジュール(23)、
    蓄積されたグループ値の第1の蓄積(AS)を形成するために、前記現在のデジタル画像フレーム(1;1a‐f)と第1の数の先行する画像フレームとを含むデジタル画像フレームの第1のシーケンス中の、隣接するピクセルの対応するグループのグループ値(V)を蓄積するように構成され、蓄積されたグループ値の第2の蓄積(AL)を形成するために、前記現在のデジタル画像フレーム(1;1a‐f)と第2の数の先行する画像フレームとを含むデジタル画像フレームの第2のシーケンス中の、隣接するピクセルの対応するグループのグループ値(V)を蓄積するように構成された、蓄積モジュール(24)であって、デジタル画像フレームの前記第2のシーケンスは、前記第1のシーケンスの画像フレームよりも長い期間にわたって捕捉されたデジタル画像フレームを含む、蓄積モジュール(24)、
    前記第1の蓄積(AS)の蓄積されたグループ値を、前記第2の蓄積(AL)中の隣接するピクセルの対応するグループの蓄積されたグループ値と比較するように構成された、比較モジュール(25)、
    グループ値の第1の蓄積(AS)と第2の蓄積(AL)との比較に基づいて、グローバル変化値(CG)を算出するように構成された、グローバル変化値モジュール(26)、
    現在のGOP長を増加させるか減少させるか変更せずに維持するかの選択を行うことを含み、前記グローバル変化値(GC)に基づいて、ピクチャグループ中の符号化されるフレーム数としてGOP長を設定するように構成された、GOP長モジュール(27)、並びに
    前記GOP長に基づいて、前記現在のデジタル画像フレーム(1;1a‐f)をイントラフレーム又はインターフレームとして符号化するように構成された、符号化モジュール(21)
    を含む、符号化システム。
  10. 請求項に記載の符号化システム(20)を含むカメラ。
  11. コンピュータによって実行されると、請求項1からの何れか一項に記載の方法を実行するように適合される命令を有するコンピュータ可読記憶媒体。
JP2015209514A 2014-11-14 2015-10-26 ビデオの符号化方法及びビデオ符号化システム Active JP6496234B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14193291.3 2014-11-14
EP14193291.3A EP3021579B1 (en) 2014-11-14 2014-11-14 Method and encoder system for encoding video

Publications (3)

Publication Number Publication Date
JP2016096538A JP2016096538A (ja) 2016-05-26
JP2016096538A5 JP2016096538A5 (ja) 2018-12-06
JP6496234B2 true JP6496234B2 (ja) 2019-04-03

Family

ID=51900277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015209514A Active JP6496234B2 (ja) 2014-11-14 2015-10-26 ビデオの符号化方法及びビデオ符号化システム

Country Status (6)

Country Link
US (1) US9866831B2 (ja)
EP (1) EP3021579B1 (ja)
JP (1) JP6496234B2 (ja)
KR (1) KR102067199B1 (ja)
CN (1) CN105611306B (ja)
TW (1) TWI673996B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536702B1 (en) * 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement
EP3324628B1 (en) * 2016-11-18 2021-12-29 Axis AB Method and encoder system for encoding video
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
KR20180089939A (ko) * 2017-02-01 2018-08-10 삼성전자주식회사 비디오 코딩 모듈 및 그것의 동작 방법
EP3376766B1 (en) 2017-03-14 2019-01-30 Axis AB Method and encoder system for determining gop length for encoding video
EP3396952B1 (en) * 2017-04-25 2019-04-17 Axis AB Method and image processing unit for forming a video stream
US10277901B2 (en) 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay
US10623692B2 (en) * 2018-07-13 2020-04-14 Analog Devices Global Unlimited Company High definition analog video and control link for automotive applications
EP3881306A4 (en) * 2018-11-14 2022-08-03 Saab Ab VIDEO DATA BURST CONTROL FOR REMOTE TOWERS
EP3809700B1 (en) * 2019-10-16 2022-02-16 Axis AB Periodic intra refresh pattern for video encoding
CN114549958B (zh) * 2022-02-24 2023-08-04 四川大学 基于上下文信息感知机理的夜间和伪装目标检测方法
CN115190309B (zh) * 2022-06-30 2023-05-30 北京百度网讯科技有限公司 视频帧处理方法、训练方法、装置、设备及存储介质
US12010332B2 (en) * 2022-07-08 2024-06-11 Synaptics Incorporated Video compression based on spatial-temporal features
CN117201798B (zh) * 2023-11-06 2024-03-15 深圳市翔洲宏科技有限公司 一种远程视频监控摄像头信息传输方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0128245B1 (ko) * 1992-10-07 1998-04-02 배순훈 화면 분할 기능을 갖는 디지탈 방식 고선명 텔레비젼
JP3755155B2 (ja) * 1994-09-30 2006-03-15 ソニー株式会社 画像符号化装置
KR100357089B1 (ko) * 1995-08-25 2003-01-14 엘지전자 주식회사 엠펙비디오부호화기의프레임재구성장치
JP2000261809A (ja) * 1999-03-05 2000-09-22 Kdd Corp 画像特徴に応じた画像符号化装置
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
US20040146108A1 (en) * 2003-01-23 2004-07-29 Shih-Chang Hsia MPEG-II video encoder chip design
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
US8260002B2 (en) * 2008-09-26 2012-09-04 Axis Ab Video analytics system, computer program product, and associated methodology for efficiently using SIMD operations
US9124913B2 (en) * 2010-04-02 2015-09-01 Panasonic Intellectual Property Corporation Of America Wireless communication device and wireless communication method
EP2536143B1 (en) 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
US9813732B2 (en) * 2012-06-28 2017-11-07 Axis Ab System and method for encoding video content using virtual intra-frames
US9100636B2 (en) 2012-09-07 2015-08-04 Intel Corporation Motion and quality adaptive rolling intra refresh
KR20140110221A (ko) * 2013-03-06 2014-09-17 삼성전자주식회사 비디오 인코더, 장면 전환 검출 방법 및 비디오 인코더의 제어 방법
WO2015148875A1 (en) * 2014-03-27 2015-10-01 Arris Enterprises, Inc. Method and apparatus for encoding rate control in advanced coding schemes

Also Published As

Publication number Publication date
CN105611306B (zh) 2019-11-08
EP3021579B1 (en) 2016-10-12
US9866831B2 (en) 2018-01-09
TWI673996B (zh) 2019-10-01
KR102067199B1 (ko) 2020-01-17
EP3021579A1 (en) 2016-05-18
KR20160058023A (ko) 2016-05-24
US20160142705A1 (en) 2016-05-19
TW201628406A (zh) 2016-08-01
JP2016096538A (ja) 2016-05-26
CN105611306A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
JP6496234B2 (ja) ビデオの符号化方法及びビデオ符号化システム
KR101960006B1 (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
KR101823537B1 (ko) 디지털 이미지들에서 관련된 영역들을 식별하는 방법, 디지털 이미지들을 인코딩하는 방법 및 인코더 시스템
CN105991976B (zh) 生成事件视频序列的方法和系统以及包括此系统的摄像机
US20170223369A1 (en) Video encoding method and video encoder system
US10979711B2 (en) Method and encoder system for encoding video
CN105681792B (zh) 一种用于编码视频流的方法、装置、系统、计算机可读存储介质和数字视频相机

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181026

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181026

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190308

R150 Certificate of patent or registration of utility model

Ref document number: 6496234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250