JP4898589B2 - 画像圧縮方法、および、画像処理装置 - Google Patents

画像圧縮方法、および、画像処理装置 Download PDF

Info

Publication number
JP4898589B2
JP4898589B2 JP2007194606A JP2007194606A JP4898589B2 JP 4898589 B2 JP4898589 B2 JP 4898589B2 JP 2007194606 A JP2007194606 A JP 2007194606A JP 2007194606 A JP2007194606 A JP 2007194606A JP 4898589 B2 JP4898589 B2 JP 4898589B2
Authority
JP
Japan
Prior art keywords
image
divided
encoding
picture
importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007194606A
Other languages
English (en)
Other versions
JP2009033423A (ja
Inventor
祐介 谷田部
寛知 齋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007194606A priority Critical patent/JP4898589B2/ja
Priority to US12/059,005 priority patent/US8254702B2/en
Publication of JP2009033423A publication Critical patent/JP2009033423A/ja
Application granted granted Critical
Publication of JP4898589B2 publication Critical patent/JP4898589B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像圧縮方法、および、画像処理装置に係り、特に、静止画像と動画像の両方を記録・再生できるカメラやレコーダ等のデジタル機器の静止画のデータの圧縮に用いて好適な画像圧縮方法、および、画像処理装置に関する。
特許文献1には、動画記録中に静止画をキャプチャする場合に、動画像のフレームレートを落とすことなく、動画像と静止画を並行処理できる撮像処理装置が開示されている。
特許文献2には、動画/静止画両対応カメラにおいて、動画と静止画を符号化する際に、動画と静止画の別に応じて、分割タイル数を変えて符号化する技術が開示されている。
特開2006−311347号公報 特開2003−264834号公報
近年、動画像と静止画像の両方を記録できるビデオカメラ等が普及している。静止画像は、より高精細化され動画像で圧縮する画像サイズよりも大きな画像サイズとなっている。このようなビデオカメラにおいては、動画像エンコーダと静止画像エンコーダを搭載する必要があるが、動画像のエンコーダは、高精細静止画像の画像サイズには対応していないのが一般的である。
一方、動画像符号化の圧縮技術としてH.264符号化が注目されている。これは、従来の動画像符号化と比較しても約3倍の圧縮を実現でき、今後のビデオカメラの標準となる。しかし、静止画に関しては依然としてJPEGが一般的に普及しており、動画像圧縮に比べて画像圧縮能力は低い。
そこで、画像圧縮能力の低いエンコーダで符号化する場合に、静止画を分割して、圧縮する方法が発表されている。例えば、特許文献1には、動画像は、VGAサイズを基準にしてモーションJPEGとして符号化され、静止画像は、適宜分割されて、JPEG画像として圧縮することが述べられている(段落番号0123〜0125)。
また、特許文献2では、図12に示されるように、動画の場合には、分割タイル数を少なくし、静止画の場合には、分割タイル数を少なくする。これにより、静止画の場合には、画像の劣化なく画像処理し(段落番号0057)、動画の場合には、高速で画像を伝送でき、なめらかな動画が実現できるものとしている(段落番号0058)。
静止画と動画を共に扱うことのできるビデオカメラ装置で、符号化のためのエンコーダを動画と静止画の両方を持つのは、装置の構成が複雑になり、高価になるために避けたいという要請がある。また、動画と静止画の圧縮した際の画像フォーマットが違う場合には、装置でのファイル管理が複雑になるという問題点がある。
そのために、符号化のためのエンコーダは、一種類にしたいが、例えば、H.264符号化やMPEGなどの動画圧縮を採用する場合には、上記特許文献1および特許文献2のように、静止画を分割して、動画圧縮する技術が考えられる。
しかしながら、これらの動画圧縮の符号化技術では、静止画を符号化して、能率の高い圧縮をすることについては、対応していないという問題点がある。これらの動画圧縮の符号化技術では、フレーム間の時間予測の観点があり、フレーム毎に異なったピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)を持つことにより圧縮率を高めているが、静止画圧縮の場合には、時間という観点はなく、上記従来技術では、静止画内の重要な部分の画質の劣化を防ぎつつ、画像全体としては、圧縮率を高めることについては、考慮されてこなかったからである。
本発明は、上記問題点を解決するためになされたもので、動画像と静止画の双方を扱える装置において、静止画像圧縮をする場合に動画像圧縮の技術を用いて、静止画内の重要な部分の画質の劣化を防ぎつつ、画像全体としては、圧縮効率が高い画像圧縮方法を提供することにある。
本発明の画像圧縮方法では、高精細の静止画を、分割して分割画像を作成する。そして、各々の分割画像に対して動画像エンコードにより圧縮する手法を用いる。
その際に、各々の画像の重要度を演算する。例えば、画面の中央部に位置する分割画像は、重要度が高いものとする。
また、各々の分割画像に対して他の分割画像との相関性を求める。例えば、分割画像毎の分散値や差分を比較することにより、相関性が求められる。
そして、重要度順に分割画像を整列させて、相関性に基づいて、動画像エンコードをおこなう際のピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)の別を決定する。また、重要度の高い分割画像に対して、動画像エンコードのレートコントロールのビット割当てを大きくする。
また、相関性の高いもの同士をグループ分けして、そのグループの中で参照関係を定義し、ピクチャタイプを決定してもよい。
本発明によれば、動画像と静止画の双方を扱える画像処理装置において、静止画像圧縮をする場合に動画像圧縮の技術を用いて、静止画内の重要な部分の画質の劣化を防ぎつつ、画像全体としては、圧縮効率が高い画像圧縮方法を提供することができる。
以下、本発明に係る各実施形態を、図1ないし図12を用いて説明する。
〔実施形態1〕
以下、本発明に係る第一の実施形態を、図1ないし図7を用いて説明する。
先ず、図1を用いて本発明の第一の実施形態に係る画像圧縮をおこなう画像処理装置の一例の構成について説明する。
図1は、本発明の第一の実施形態に係る画像圧縮をおこなうビデオカメラ装置の構成図である。
本発明の第一の実施形態に係る画像圧縮をおこなうビデオカメラ装置は、図1に示されるように、撮像部401と、画像解析部402と、静止画像バッファ部403と、動画像エンコード部404と、記録媒体部405と、記録媒体制御部406と、制御部407とからなる。
撮像部401は、静止画と動画の両方を撮影する機能を有する。特に、この撮像部401は、高精細静止画像を取り込むことができるものとする。
画像解析部402は、撮像部の取り込んだ高精細静止画像の画像解析をおこなう。
静止画像バッファ部403は、高精細静止画像を一時的にバッファする記憶領域である。
動画像エンコード部404は、後の処理で説明するように、静止画像が分割された各々の分割画像に対して動画像エンコードをおこなう。
記録媒体部405は、動画像ストリームを記録する記憶領域である。これらは、メモリカード、ハードディスクドライブ(HDD)、DVDなどの光ディスクで実現される。
記録媒体制御406は、記録媒体部405の制御をおこなう。、
制御部407は、画像解析部402からの解析結果に基づき、動画像エンコーダ部の制御と記録媒体制御部405の制御をおこなう。
本実施形態の画像圧縮処理の詳細は、後に詳説するが、このビデオカメラの処理の流れは、以下のようになる。
画像解析部402は、撮像部401により取り込んだ高精細静止画を分割して、各々の分割画像の重要度、相関性の解析をおこなう。
制御部407は、解析結果を画像解析部402より読み出し、分割画像のエンコーダ順番の並び替えとピクチャタイプの決定、レートコントロールのビット割り当てを決定する。
そして、制御部407は、その情報を動画像エンコード部404に設定し、動画像エンコード部404は、その情報に基づいてエンコードをおこなう。そしてその記録ストリームを記録媒体部405に保存する。
なお、以上の説明は、画像処理装置の例として、ビデオカメラ装置を採り上げたが、本実施形態の画像圧縮方法は、静止画と動画の双方を扱える他の装置、例えば、デジタルテレビジョン受信機、動画のエンコーダを備えたデジタルスチルカメラなどの機器にも適用することができる。
また、パーソナルコンピュータなどにより、専用のハードウェアを持たなくても、CPUが画像圧縮プログラムを実行することにより、画像圧縮をおこなうようにしてもよい。
次に、図2ないし図8を用いて本発明に係る第一の実施形態の画像圧縮方法の処理を説明する。
図2は、本発明の第一の実施形態の画像圧縮方法の概念を説明する図である。
図3は、本発明の第一の実施形態の画像圧縮方法の処理を示すフローチャートである。
図4は、画像を9分割した場合の分割画像を表した図である。
図5は、本発明の第一の実施形態の各分割画像の重要度の一例を表す図である。
図6は、本発明の第一の実施形態の分割画像毎の相関性の一例を表す図である。
図7は、本発明の第一の実施形態の並び順とピクチャタイプの決定を説明する図である。
図8は、量子化値の決定を説明する図である。
この例では、図1に示されるように1枚の高精細静止画を9分割し、それらを動画像エンコーダでエンコードするものとする。また、この例では、動画像エンコーダとして、H.264エンコーダを用い、分割は、静止画像内を全て同サイズで矩形の領域に分割することとする。
以下、図2のフローチャートに従って、画像圧縮方法の処理手順を説明する。
本実施形態では、静止画像を9分割するが、それらに図4に示されるように名称をつけて、具体例をあげながら説明する。
先ず、圧縮の対象となる静止画像を分割し(S01)、各分割画像の重要度を決定する(S02)。
重要度は、より高画質に圧縮するための指標であり、重要度の高いところはピクチャタイプをIピクチャにしたり、レートコントロールの際に多くのビットを割り振るようにする。
この重要度の決定に関しては、下記のいずれか、または、それらを併用して用いることができる。
(I1)画面中央の分割画像の重要度を上げる。
(I2)静止画像の画像認識をおこなって人物の特定をして、その部分の重要度を上げる。
(I3)ユーザに重要度を指定するためのツールを提供し、ユーザが指定した領域の重要度を上げる。
(I4)連続的に静止画画像の動き解析をおこない、動きのあった分割画像の重要度を上げる。
(I1)については、画面中央がユーザの注目している領域であるということを仮定したものである。(I4)については、例えば、監視カメラなどで人物の監視をおこなう場合に、動いている人物の写っている部分の重要度をあげるものである。また、デジタルスチルカメラであっても、ユーザに動いているものを撮像するモードを指定させて、動きのある被写体の重要度を上げる例が考えられる。
例えば、図4の分割画像で、重要度が図5に示されるものになったとする。この図5の重要度の例は、数値の小さいものが重要度が高いものとする。
そして、重要度を決定した後は、その重要度の高い順に画像の並び替えをおこなう(S02)。
図4の分割画像では、図7に示されるように、S、S、S、S、S、S、S、S、Sの順に並べられる。
次に、ピクチャタイプの決定をおこなうために、各分割画像に対して、他の分割画像との相関性を決定する(S04)。
相関性を決定するためには、下記のいずれか、または、それらを併用して用いる。
(R1)分割画像毎のデータ(輝度値、色差値)の分散値を算出して、値の似ているものを相関性が高いとする。
(R2)分割画像毎のデータ同士の差分を算出して、差分値が小さい画像同士を相関性が高いとする。
(R3)分割画像内の符号化対象ブロック毎にDCT(Discrete Cosine Transformation:離散コサイン変換)の値をマップ化して、そのマップ同士の周波数変換係数が似ている分割画像同士を相関性が高いとする。
上記の(R1)〜(R3)の評価をおこなって、図4に示されるような分割画像同士の相関性が得られたとする。
この図6に示されている相関性は、数値が小さいほど相関性が低いものとする。他の分割画像の相関性の和を取って、低くなるのは、Sの23、Sの48、Sの57である。
次に、S03で重要度順に並べられた各分割画像に対して、上記の相関性に基づき、エンコードする際のピクチャタイプの決定をおこなう(S05)。
エンコードする際のピクチャタイプの決定には、例えば、以下のようにおこなう。
(P1)他のどの分割画像とも相関性が低い場合には、その分割画像をIピクチャとする。
(P2)他の分割画像と相関性が高かった場合には、(P1)のIピクチャから数えて、2枚目はPピクチャとし、3枚目以降はBピクチャとする。その際に、P、Bピクチャの動き補償の参照ピクチャは、Pであれば始めのIピクチャ、Bであれば始めのIピクチャと、直前のPピクチャとする。
この例では、図6に示されるように、S、S、Sの相関性が他の画像と低いために、(P1)のルールにより、これらをIピクチャとし、それ以降に並ぶ分割画像を、(P2)のルールにより、PピクチャとBピクチャとする。Sの動き補償の参照ピクチャは、Sであり、SとSの動き補償の参照ピクチャは、SとSになる。
次のS〜Sの参照関係も同様に定義される。
なお、ピクチャタイプは、MPEGやH.264の動画像のフレーム間予測に用いられている技術である。Iピクチャ(Intra-Picture)は、フレーム間予測をおこなわず画像の全てが符号化されるフレームであり、Pピクチャ(Predictive-Picture)は、フレーム間の順方向の予測をおこなって差分が符号化されるフレームであり、Bピクチャ(Bidirectionally-Picture)は、時間的に過去と未来の双方向の予測の差分が符号化されるフレームである。
ただし、本実施形態では、静止画を分割画像しているために、各々のピクチャ間は、時間的な関係はないことに注意する。
また、H.264は、参照フレーム関係を自由に定義できるので、上記で定めたルールによらず、ピクチャタイプの決定後に、PピクチャとBピクチャのフレーム参照を決定する際に、その画像と相関性の高くなるような分割画像のピクチャ探して、参照するようにしてもよい。すなわち、PピクチャとBピクチャが、分割画像のIピクチャで相関性が高いものがあるときには、重要度順の並びで二つ前や三つ前にある場合でも、それを参照するような参照関係の定義も可能である。
次に、各分割画像をエンコードする際のレートコントロールのビット割当てを決定する(S06)。
エンコードのする際には、静止画像の全体の圧縮データ量が、所望のデータ量になる様に各ピクチャのビット割り当てをおこなう。この際には、S03で重要度に基づき並べられた分割画像の上位の分割画像ほど、圧縮した際のビットの割り当てが多くなる様にする。すなわち、重要度の高い分割画像ほど、圧縮した際のビットの割り当てが多いため画像の劣化は少なくなる。
そして、このように決定された圧縮した際のビット量とピクチャタイプに基づき、各分割画像のエンコードをおこなう(S07)。
分割画像毎にエンコードをおこなう際には、以下のように、量子化値の調整をおこなう。すなわち、分割画像のエンコードをおこなう際に、その分割画像に隣する上下左右の符号化単位ブロック(MB:マクロブロック)において、量子化をおこなう量子化値を周辺分割画像の上下左右で隣接するMBがすでに符号化済みであればその値と同じ値かそれに近い値とする。これは、分割画像で量子化値が違いが大きいと、ある分割画像と比較して、隣の画像での、画質の劣化が目立ち、特に、その境界にあたる部分でブロック歪が発生することを考慮したものである。
上記のように、量子化値を同じ値かそれに近い値にすると、圧縮後の静止画像情報を伸張して、それを表示する際の分割境界での歪を低減させることができる。また、隣接していないMBについては、上記の周辺の分割画像と隣接するブロックの量子化値と大幅に値が変わらないようにMBごとの量子化値を制御する。MBごとの量子化値は、全体のエンコードの目標量とも合わせて決定する必要がある。
例えば、図8に示されるように、分割画像のエンコードについて中央の分割画像Aが既にエンコード済みであるとする。そして、分割画像Bのエンコードをおこなうときには、他の分割画像については、まだエンコードはおこなわれていないものとする(未エンコード分割画像領域)。
分割画像Bのエンコードをおこなう際には、右の分割画像値が既にエンコードが終わっているので、分割画像内の右端のMBについて量子化値を既にエンコード済み分割画像AのMBの量子化値と同じ値かそれに近い値とする。
〔実施形態2〕
以下、本発明に係る第二の実施形態を、図9ないし図12を用いて説明する。
図9は、本発明の第二の実施形態の分割画像毎の相関性の一例を表す図である。
図10は、本発明の第二の実施形態の重要度と相関性の例を示す図である。
図11は、グループ毎の分割画像の重要度による並び順とピクチャタイプの決定の例を示す図である。
図12は、本発明の第二の実施形態の画像圧縮方法の処理を示すフローチャートである。
第一の実施形態では、重要度に従って分割した画像を並べて、相関性の低いものをIピクチャとして、他の分割画像は、Pピクチャ、Bピクチャとして定義し、その順番でフレームの参照関係を定義した。また、H.264では、Pピクチャ、Bピクチャの参照関係は、自由に調整できるので、場合によっては、相関性の高いものに対して、重要度順に並べられたピクチャを飛び越えて、フレームの参照関係を定義してもよいことを説明した。
一方、MPEG2などの圧縮規格では、Pピクチャ、Bピクチャの参照関係は、規格により決まっており、Pピクチャは、直前のIピクチャであり、Bピクチャは、直前および直後のIピクチャ、Pピクチャである。
したがって、MPEG2でエンコードする場合には、重要度の順による並び方によっては、相関関係が比較的低いフレームに対しても、Pピクチャ、Bピクチャが参照しなければならないような場合もあり得る。
本実施形態では、分割画像ごとの相関性に基づく、「グループ」という概念を導入して、グループ内で、ピクチャタイプを決定することにより、この問題を解決することができる。したがって、この実施形態は、MPEG2などの動画圧縮規格でエンコードする場合に有効な方法である。ただし、本実施形態の圧縮方法は、H.264でエンコードする場合にも同様に用いることができる。
本実施形態での分割画像の例も、第一の実施形態の図3で示したものと同様のものを用いるものとする。また、各々の分割画像の重要度も第一の実施形態の図4で示したものと同様であるとする。
先ず、圧縮の対象となる静止画像を分割する(S11)。
次に、各分割画像の相関性を決定する(S12)。相関性の決定の仕方は、第一の実施形態と同様である。
本実施形態の各分割画像の相関性は、図9に示されるようになるとする。
次に、各分割画像を相関性の高いもの同士でグループ分けをおこなう(S13)。
本実施形態の分割画像の相関性で、特に高に相関性を示すものは、図10(b)に示されるようになる。これは、S、S、S、Sが、第1のグループを成し、S、S、Sが、第2のグループを成し、S、Sが、第3のグループを成していることを示している。そして、他のグループの分割画像との相関性は、全て10以下になっていて小さくなっている。
このような分析に基づき、S、S、S、Sを、第1のグループGとし、 S、S、Sを、第2のグループGとし、S、Sを、第3のグループGとしてグループ分けする。
次に、分割画像毎の重要度の決定をおこない(S14)、グループの重要度に従って、グループの並び替えと、グループの内部でその重要度に従って、分割画像の並び替えをおこなう(S15)。
グループとしての重要度は、そのグループに含まれる分割画像の中の一番高い重要度を、そのグループの重要度とする。この例では、グループGでは、Sの重要度、グループGでは、Sの重要度、グループGでは、Sの重要度が、それぞれのグループの重要度となる。したがって、グループとしての重要度に従い、図11に示されように、G、G、Gの順に並び替える。
グループ内での分割画像毎の重要度は、図11に示されるように、グループGでの順番は、S、S、S、Sに示される順になり、グループGでの順番は、S、S、Sに示される順になり、グループGでの順番は、S、Sに示される順になる。
そして、グループの内部で並び替えた分割画像のエンコードする際のピクチャタイプの決定をおこなう(S16)。
本実施形態では、エンコードする際のピクチャタイプの割当てに関して、グループ内部で重要度の高い順の始めの1枚目の分割画像をIピクチャとし、2枚目はPピクチャとし、3枚目以降はBピクチャとする。
この際に、フレーム間予測は、MPEG2の規格に適合するように、Pピクチャは、始めのIピクチャとし、Bピクチャは、始めのIピクチャと、直前のPピクチャとする。この様にすることで、グループ内部でMPEG2での参照関係を保ったフレームの参照が可能であり、各々相関性の高いものをグループとしてまとめて、その中で参照関係を定義するので、圧縮効率を高く保つことができる。
次に、各分割画像をエンコードする際のレートコントロールのビット割当てを決定する(S17)。
レートコントロールのビット割当ては、第一の実施形態と同じように、各々の分割画像毎の重要度に従って割り当てる方法でもよいし、グループの重要度と、そのグループに含まれる分割画像の枚数に応じて、そのグループに含まれる分割画像に対してレートコントロールのビット割当てをおこなうようにしてもよい。
最後に、このように決定された圧縮した際のビット量とピクチャタイプに基づき、各分割画像のエンコードをおこなう(S18)。符号化の順は、グループの重要度の高いグループから、グループ内では、各々の分割画像の重要度の高いものからおこなう。
本発明の第一の実施形態に係る画像圧縮をおこなうビデオカメラ装置の構成図である。 本発明の第一の実施形態の画像圧縮方法の概念を説明する図である。 本発明の第一の実施形態の画像圧縮方法の処理を示すフローチャートである。 画像を9分割した場合の分割画像を表した図である。 本発明の第一の実施形態の各分割画像の重要度の一例を表す図である。 本発明の第一の実施形態の分割画像毎の相関性の一例を表す図である。 本発明の第一の実施形態の並び順とピクチャタイプの決定を説明する図である。 量子化値の決定を説明する図である。 本発明の第一の実施形態の分割画像毎の相関性の一例を表す図である。 本発明の第二の実施形態の重要度と相関性の例を示す図である。 グループ毎の分割画像の重要度による並び順とピクチャタイプの決定の例を示す図である。 本発明の第二の実施形態の画像圧縮方法の処理を示すフローチャートである。
符号の説明
401…撮像部、402…画像解析部、403…静止画像バッファ部、404…動画像エンコード部、405…記録媒体部、406…記録媒体制御部、407…制御部。

Claims (8)

  1. デジタルデータの静止画像および動画像を画像処理装置により同一のフォーマットにする静止画の画像圧縮方法において、
    前記画像処理装置は、画像解析部と、制御部と、動画像エンコード部と、記録媒体とを有し、
    前記画像解析部は、前記静止画像を分割して、各々の分割画像を解析して画像情報を演算し、前記各々の分割画像に対して重要度と、各々の分割画像に対して他の分割画像との相関性とを決定し、
    前記制御部は、前記重要度に基いて各々の分割画像の符号化順序を決定し、前記相関性に従って他の画像と相関性が低い画像に、動画像のエンコードの仕様において参照関係のないピクチャタイプを割り当てるようにピクチャタイプを決定し、
    前記動画像エンコード部は、各々の分割画像に対して、前記制御部により決定された符号化順序とピクチャタイプとに基づいて、動画像のエンコードをおこなって前記動画像と同一のフォーマットにし、前記記録媒体に記録することを特徴とする画像圧縮方法。
  2. 前記重要度に基づいて、前記動画像エンコード部が、各々の分割画像に対して動画像のエンコードをおこなう際のレートコントロールにおけるビットの割り当てを変化させることを特徴とする請求項1記載の画像圧縮方法。
  3. 前記ピクチャタイプは、MPEG規格におけるIピクチャ、Pピクチャ、Bピクチャのいずれかであることを特徴とする請求項1記載の画像圧縮方法。
  4. 前記重要度は、分割画像の位置、分割画像の人物が表示される領域の位置、ユーザ指定、複数の静止画像間での動き解析の結果のいずれかにより決定されることを特徴とする請求項1記載の画像圧縮方法。
  5. 前記相関性は、分割画像毎の分散値、分割画像毎の差分値、分割画像毎の周波数変換係数の比較結果のいずれかにより決定されることを特徴とする請求項1記載の画像圧縮方法。
  6. 前記動画像エンコード部が、各々の分割画像に対して動画像のエンコードをおこなうときに、
    符号化ブロックにおいてエンコードに用いる量子化の値を、その符号化ブロックに隣接する符号化ブロックの値と同じか近い値を用いることを特徴とする請求項1記載の画像圧縮方法。
  7. 前記制御部は、前記相関性が高い分割画像を、同じグループに属するものとして分類し、
    前記グループの各々に属する分割画像に基づいて、グループの重要度を決定し、
    前記グループに属する各々の分割画像ごとに、前記制御部は、前記符号化順序と前記ピクチャタイプとを決定することを特徴とする請求項1記載の画像圧縮方法。
  8. デジタルデータの静止画像および動画像を同一のフォーマットに圧縮する画像処理装置において、
    前記静止画像を分割して、各々の分割画像を解析して画像情報を演算し、前記各々の分割画像に対して重要度と、各々の分割画像に対して他の分割画像との相関性とを決定する前記画像解析部と、
    前記重要度に基いて各々の分割画像の符号化順序を決定し、前記相関性に従って他の画像と相関性が低い画像に、動画像のエンコードの仕様において参照関係のないピクチャタイプを割り当てるようにピクチャタイプを決定する制御部と、
    記録媒体と、
    各々の分割画像に対して、前記制御部により決定された符号化順序とピクチャタイプとに基づいて、動画像のエンコードをおこなって前記動画像と同一のフォーマットにし、前記記録媒体に記録する動画像エンコード部とを有することを特徴とする画像処理装置。
JP2007194606A 2007-07-26 2007-07-26 画像圧縮方法、および、画像処理装置 Active JP4898589B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007194606A JP4898589B2 (ja) 2007-07-26 2007-07-26 画像圧縮方法、および、画像処理装置
US12/059,005 US8254702B2 (en) 2007-07-26 2008-03-31 Image compression method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007194606A JP4898589B2 (ja) 2007-07-26 2007-07-26 画像圧縮方法、および、画像処理装置

Publications (2)

Publication Number Publication Date
JP2009033423A JP2009033423A (ja) 2009-02-12
JP4898589B2 true JP4898589B2 (ja) 2012-03-14

Family

ID=40295415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007194606A Active JP4898589B2 (ja) 2007-07-26 2007-07-26 画像圧縮方法、および、画像処理装置

Country Status (2)

Country Link
US (1) US8254702B2 (ja)
JP (1) JP4898589B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180546A1 (en) 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
US8019167B2 (en) 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) * 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
WO2010056842A1 (en) * 2008-11-12 2010-05-20 Cisco Technology, Inc. Processing of a video [aar] program having plural processed representations of a [aar] single video signal for reconstruction and output
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
JP6034010B2 (ja) 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
CN103366384B (zh) * 2013-07-08 2016-03-30 浙江工业大学 重要度驱动的面向全局冗余图像压缩方法
US9306597B1 (en) * 2015-03-30 2016-04-05 Microsoft Technology Licensing, Llc Data compression
JP6341973B2 (ja) * 2016-10-27 2018-06-13 ソニー株式会社 符号化装置、符号化方法、およびプログラム
WO2021095245A1 (ja) * 2019-11-15 2021-05-20 日本電信電話株式会社 画像処理方法、データ処理方法、画像処理装置、およびプログラム
WO2021199205A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像データ転送方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748860B2 (ja) * 1989-12-14 1995-05-24 松下電器産業株式会社 動画像符号化装置
US5107345A (en) * 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
US5144424A (en) * 1991-10-15 1992-09-01 Thomson Consumer Electronics, Inc. Apparatus for video data quantization control
JP2788714B2 (ja) * 1993-10-01 1998-08-20 東光株式会社 画像伝送装置
JPH07131657A (ja) * 1993-10-29 1995-05-19 Olympus Optical Co Ltd 画像処理装置
JP3200517B2 (ja) * 1994-06-27 2001-08-20 日本電信電話株式会社 画像信号符号化方法および画像信号符号化装置
US5793892A (en) * 1995-06-27 1998-08-11 Motorola, Inc. Method and system for compressing a pixel map signal using dynamic quantization
US5838833A (en) 1995-06-30 1998-11-17 Minolta Co., Ltd. Fractal image compression method and device and fractal image restoration method and device
JPH0918877A (ja) 1995-06-30 1997-01-17 Minolta Co Ltd フラクタル画像圧縮装置
US6292589B1 (en) * 1996-06-21 2001-09-18 Compaq Computer Corporation Method for choosing rate control parameters in motion-compensated transform-based picture coding scheme using non-parametric technique
US6721952B1 (en) * 1996-08-06 2004-04-13 Roxio, Inc. Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
JPH10271501A (ja) * 1997-03-27 1998-10-09 Mitsubishi Heavy Ind Ltd 画像処理装置
JPH11355773A (ja) * 1998-06-11 1999-12-24 Matsushita Electric Ind Co Ltd 画像圧縮装置および画像再生装置
JP2001045494A (ja) * 2000-01-01 2001-02-16 Mitsubishi Electric Corp 画像符号化装置
EP1273180B1 (en) * 2000-03-24 2006-02-22 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
US7039241B1 (en) * 2000-08-11 2006-05-02 Ati Technologies, Inc. Method and apparatus for compression and decompression of color data
JP4164268B2 (ja) 2002-03-08 2008-10-15 キヤノン株式会社 符号化装置、符号化方法、プログラム、記憶媒体
US6853318B1 (en) * 2003-12-30 2005-02-08 Eastman Kodak Company Digital image compression utilizing shrinkage of subband coefficients
JP4415186B2 (ja) * 2004-05-17 2010-02-17 カシオ計算機株式会社 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム
FR2872665A1 (fr) * 2004-07-01 2006-01-06 Thomson Licensing Sa Dispositif et procede de compression video
JP4902136B2 (ja) 2005-04-28 2012-03-21 キヤノン株式会社 撮像装置、撮像方法及びプログラム
US8019167B2 (en) * 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video

Also Published As

Publication number Publication date
JP2009033423A (ja) 2009-02-12
US20090028447A1 (en) 2009-01-29
US8254702B2 (en) 2012-08-28

Similar Documents

Publication Publication Date Title
JP4898589B2 (ja) 画像圧縮方法、および、画像処理装置
JP6280144B2 (ja) デジタルビデオレコーダのための動画像編集および再フォーマット
JP3244629B2 (ja) シーン変化点検出方法
US8050328B2 (en) Image decoding method
EP2031593A1 (en) Selective copying of video scenes with human faces from a first to a second recording medium
US20070258009A1 (en) Image Processing Device, Image Processing Method, and Image Processing Program
US20090257736A1 (en) Information processing apparatus and information processing method
US7889934B2 (en) Image processing apparatus and processing method thereof
JP4440863B2 (ja) 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム
EP0982952A2 (en) Moving picture recording/regenerating system
JP2007142809A (ja) 映像記録装置
JP4372137B2 (ja) 映像情報記録方法、および映像情報記録媒体
JP4594163B2 (ja) 画像符号化方法、及び画像符号化装置
KR100593352B1 (ko) 영상 데이터 기록 장치 및 방법과 기록 매체
JP4596975B2 (ja) 画像符号化方法、及び画像処理装置
KR100256648B1 (ko) 영상 부호화 시스템의 압축 정보 포맷
JP5576728B2 (ja) 動画像符号化装置
JP2008004980A (ja) 符号化装置、符号化方法、プログラム記録媒体、プログラム、シーン変化検知装置、およびシーン変化検知方法
JP2004222142A (ja) 映像信号の圧縮方法および復号方法
JP4409517B2 (ja) 光ディスク記録方法、光ディスク、光ディスク再生方法及び光ディスク再生装置
JP2009017062A (ja) 高精細動画像記録再生方法および高精細動画像記録再生装置
JP2006166255A (ja) 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置
JP2006304103A (ja) 動画記録装置、および動画記録再生装置
JP2005057345A (ja) 画像データの保存管理方法とその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111226

R150 Certificate of patent or registration of utility model

Ref document number: 4898589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250