JP4963681B2

JP4963681B2 - 画像処理装置

Info

Publication number: JP4963681B2
Application number: JP2008084157A
Authority: JP
Inventors: 雄介水野; 敬森
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2012-06-27
Anticipated expiration: 2028-03-27
Also published as: JP2009239702A; US8306344B2; US20090245669A1

Description

本発明は、画像処理装置に関し、特に、予測符号化方式のエンコーダに関する。

図８は、予測符号化方式のエンコーダ１０１の構成を示すブロック図である。エンコーダ１０１は、量子化部１０２、予測部１０３、及び符号化部１０４を備えて構成されている。量子化部１０２には、図示しない前段の処理ブロックから、データＤ１００が入力される。量子化部１０２は、データＤ１００を量子化することにより、データＤ１０１を出力する。予測部１０３には、量子化部１０２から、データＤ１０１が入力される。また、予測部１０３には、過去に処理したデータが、予測データＤ１０２として入力されている。予測部１０３は、データＤ１０１と予測データＤ１０２との差分値を、データＤ１０３として出力する。符号化部１０４には、予測部１０３から、データＤ１０３が入力される。符号化部１０４は、データＤ１０３をエントロピー符号化することにより、符号化データＤ１０４を出力する。

また、近年、ＪＰＥＧよりも高画質で、ＪＰＥＧ２０００よりも回路構成及び演算処理が簡素化された静止画ファイルフォーマットとして、マイクロソフト社よりＨＤＰｈｏｔｏ（又はＪＰＥＧＸＲ）が提案されている。

図９は、ＨＤＰｈｏｔｏにおけるエンコーダ２０１の構成を示すブロック図である。エンコーダ２０１は、色変換部２０２、プレフィルタ２０３、周波数変換部２０４、量子化部２０５、予測部２０６、及び符号化部２０７を備えて構成されている。

色変換部２０２には、ＣＣＤ又はＣＭＯＳイメージセンサ等の撮像素子から、ＲＧＢ色空間の画素信号Ｄ２００が入力される。色変換部２０２は、画素信号Ｄ２００を、例えばＹＵＶ色空間の画素信号Ｄ２０１に変換して出力する。プレフィルタ２０３には、色変換部２０２から、画素信号Ｄ２０１が入力される。プレフィルタ２０３は、画素信号Ｄ２０１に対して、ブロック歪みを低減するためのプレフィルタ処理を実行し、画素信号Ｄ２０２を出力する。周波数変換部２０４には、プレフィルタ２０３から、画素信号Ｄ２０２が入力される。周波数変換部２０４は、画素信号Ｄ２０２に対して所定の周波数変換処理（ＰＣＴ：HD Photo Core Transform）を実行し、周波数変換処理後のデータＤ２０３を出力する。ＨＤＰｈｏｔｏでは、データＤ２０３に、ハイパス成分、ローパス成分、及び直流成分が含まれる。

量子化部２０５には、周波数変換部２０４から、データＤ２０３が入力される。量子化部２０５は、データＤ２０３を量子化することにより、データＤ２０４を出力する。予測部２０６には、量子化部２０５から、データＤ２０４が入力される。また、予測部２０６には、過去に処理したデータが、予測データとして入力されている。予測部２０６は、データＤ２０４と予測データとの差分値を、データＤ２０５として出力する。符号化部２０７には、予測部２０６から、データＤ２０５が入力される。符号化部２０７は、データＤ２０５をエントロピー符号化することにより、符号化データＤ２０６を出力する。

なお、ＨＤＰｈｏｔｏの詳細については、例えば下記非特許文献１に開示されており、ＪＰＥＧＸＲの詳細については、例えば下記非特許文献２に開示されている。

"HD Photo -Photographic Still Image File Format", [online], ２００６年１１月７日, Microsoft Corporation, [２００７年１０月１０日検索], インターネット＜URL: http://www.microsoft.com/whdc/xps/hdphotodpk.mspx＞ "Coding of Still Pictures -JBIG JPEG", [online], 19 December 2007, ISO/IEC JTC 1/SC 29/WG1 N 4392, [２００８年３月４日検索], インターネット＜URL: http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc＞

図８，９に示したエンコーダ１０１，２０１において、符号化部１０４，２０７から出力される符号化データＤ１０４，Ｄ２０６の符号量を削減するためには、符号化部１０４，２０７に入力される予測後データ（データＤ１０３，Ｄ２０５）の値が、なるべく小さな値になっていることが望ましい。

本発明はかかる事情に鑑みて成されたものであり、符号化部に入力される予測後データの値を小さくすることにより、符号化データの符号量を削減することが可能な画像処理装置を得ることを目的とする。

本発明の第１の態様に係る画像処理装置は、入力されたデータを符号化する符号化部を備え、前記符号化部は、前記データを、上位側の第１の桁範囲内の第１の部分データと、下位側の第２の桁範囲内の第２の部分データとに分割する第１の処理部と、前記第１の部分データ及び前記第２の部分データのうちの前記第１の部分データのみを符号化する第２の処理部と、前記第１の部分データの値を「０」に設定する補正処理を実行する第３の処理部とを有する。

本発明の第１の態様に係る画像処理装置によれば、第３の処理部が実行する補正処理によって、第１の部分データの値が「０」に設定される。その結果、第２の処理部によって符号化される第１の部分データの値が小さくなるため、符号化後のデータの符号量を削減することが可能となる。しかも、符号化部に入力されたデータの全体が符号化されるのではなく、上位側の第１の部分データのみが符号化され、この上位側の第１の部分データに対して符号量の削減効果が得られる。従って、符号化部に入力されたデータの全体が符号化される場合と比較すると、符号量の削減効果が顕著となる。

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記第１の部分データは、上位側の桁範囲内の第３の部分データと、下位側の桁範囲内の第４の部分データとを有しており、前記第３の処理部は、前記第３の部分データの値が「０」であることを条件として、前記第４の部分データに対して前記補正処理を実行することを特徴とするものである。

本発明の第２の態様に係る画像処理装置によれば、第３の処理部は、上位側の第３の部分データの値が「０」であることを条件として、下位側の第４の部分データに対して補正処理を実行する。換言すれば、第３の部分データの値が「０」でない場合には、第３の処理部は、第４の部分データに対して補正処理を実行しない。従って、第１の部分データの値が比較的大きい場合に補正処理が実行されて画質が極端に低下してしまうことを、回避することができる。

本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、前記第３の処理部が前記補正処理を実行する場合に、前記第２の桁範囲内の各桁の値を全て「１」に設定する、第４の処理部をさらに備えることを特徴とするものである。

本発明の第３の態様に係る画像処理装置によれば、第４の処理部は、第３の処理部が補正処理を実行する場合に、第２の桁範囲内の各桁の値を全て「１」に設定する。上位側の第１の部分データの値が「０」に補正される場合に、下位側の第２の部分データの値を最大値に設定することにより、画質が極端に低下してしまうことを回避することができる。

本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、前記第３の処理部は、ＨＤＰｈｏｔｏにおける、ハイパス成分のデータ、ローパス成分のデータ、及び直流成分のデータのうち、ハイパス成分のデータに対してのみ、前記補正処理を実行することを特徴とするものである。

本発明の第４の態様に係る画像処理装置によれば、第３の処理部は、ＨＤＰｈｏｔｏにおける、ハイパス成分のデータ、ローパス成分のデータ、及び直流成分のデータのうち、ハイパス成分のデータに対してのみ、補正処理を実行する。換言すれば、第３の処理部は、ローパス成分及び直流成分の各データに対しては、補正処理を実行しない。ＨＤＰｈｏｔｏにおいては、ハイパス成分に関しては、現在の処理対象のマクロブロック内で、予測データが求められる。一方、ローパス成分及び直流成分に関しては、過去に処理したマクロブロックに基づいて、予測データが求められる。従って、ローパス成分及び直流成分の各データに対して補正処理を実行すると、補正処理によって生じた誤差が連鎖的に蓄積され、画質の低下が大きくなる可能性がある。本発明の第４の態様に係る画像処理装置によれば、第３の処理部は、ローパス成分及び直流成分の各データに対しては補正処理を実行しないため、画質の低下が大きくなることを回避することができる。

本発明の第５の態様に係る画像処理装置は、第１〜第４のいずれか一つの態様に係る画像処理装置において特に、前記第１の桁範囲は、ＨＤＰｈｏｔｏにおけるＮｏｒｍａｌＢｉｔであり、前記第２の桁範囲は、ＨＤＰｈｏｔｏにおけるＦｌｅｘＢｉｔであることを特徴とするものである。

本発明の第５の態様に係る画像処理装置によれば、ＨＤＰｈｏｔｏにおいてエントロピー符号化が実行されるＮｏｒｍａｌＢｉｔに関して、エントロピー符号化後のデータの符号量を削減することが可能となる。

本発明によれば、符号化データの符号量を削減することが可能となる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、本発明の実施の形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、符号化される部分と符号化されない部分とを有するデータを符号化対象とするエンコーダ、例えば、ＨＤＰｈｏｔｏにおけるエンコーダに適用することができる。

画像処理装置１は、量子化部２、予測部３、及び符号化部４を備えて構成されている。量子化部２には、図示しない前段の処理ブロック（例えば周波数変換部）から、量子化前のデータＤ１が入力される。量子化部２は、データＤ１を量子化することにより、データＤ２を出力する。予測部３には、量子化部２から、データＤ２が入力される。また、予測部３には、過去に処理したデータ（例えば前回処理したデータ）が、予測データＤ３として入力されている。予測部３は、データＤ２と予測データＤ３との差分値を、データＤ４として出力する。但し、条件によっては予測部３は予測処理を実行せず、この場合、データ値が「０」のデータが予測データＤ３として用いられる。符号化部４には、予測部３から、データＤ４が入力される。符号化部４からは、符号化データＤ１１と、符号化されていないデータＤ１２とが出力される。

図２は、図１に示した符号化部４の構成を示すブロック図である。符号化部４は、処理部７〜９，２０，２１を備えて構成されている。処理部７には、図１に示した予測部３から、データＤ４が入力される。

図３は、データＤ４を示す図である。処理部７は、データＤ４を、上位側の桁範囲Ｒ１内の部分データＤ４Ｕと、下位側の桁範囲Ｒ２内の部分データＤ４Ｌとに分割する。桁範囲Ｒ１は、ＨＤＰｈｏｔｏにおけるＮｏｒｍａｌＢｉｔに相当し、桁範囲Ｒ２は、ＨＤＰｈｏｔｏにおけるＦｌｅｘＢｉｔに相当する。桁範囲Ｒ１のビット幅をＮとし、桁範囲Ｒ２のビット幅（ＭｏｄｅｌＢｉｔｓ）をＭとし、桁範囲Ｒ２の最下位桁を第０桁とすると、桁範囲Ｒ２の最上位桁は第（Ｍ−１）桁となり、桁範囲Ｒ１の最下位桁は第Ｍ桁となり、桁範囲Ｒ１の最上位桁は第（Ｎ＋Ｍ−１）桁となる。ＨＤＰｈｏｔｏにおいては、ビット幅Ｍは適応的に可変である。

図２を参照して、処理部２０には、処理部７から、部分データＤ４Ｕが入力される。処理部２０からは、部分データＤ２０が出力される。処理部８には、処理部２０から、部分データＤ２０が入力される。処理部８は、部分データＤ２０をエントロピー符号化することにより、符号化データＤ１１を出力する。処理部２１には、処理部７から、部分データＤ４Ｌが入力される。処理部２１からは、部分データＤ２１が出力される。処理部９には、処理部２１から、部分データＤ２１が入力される。処理部９は、データＤ２１に基づいてデータＤ１２を生成して出力する。

図４は、部分データＤ４Ｕを示す図である。部分データＤ４Ｕは、上位側の桁範囲Ｒ１Ｕ内の部分データＤ４ＵＵと、下位側の桁範囲Ｒ１Ｌ内の部分データＤ４ＵＬとを有している。桁範囲Ｒ１Ｌのビット幅をＳとすると、桁範囲Ｒ１Ｌの最上位桁は第（Ｍ＋Ｓ−１）桁となり、桁範囲Ｒ１Ｕの最下位桁は第（Ｍ＋Ｓ）桁となる。ビット幅Ｓは任意に設定することができる。

図５は、図２に示した処理部８，９，２０，２１の処理内容の第１の例を説明するための図である。図５では一例として、部分データＤ４Ｕ，Ｄ４Ｌのビット幅がいずれも８ビットであり、部分データＤ４ＵＬ（桁範囲Ｒ１Ｌ）のビット幅Ｓが４ビットである場合を想定している。

図５の（Ａ）に示すように、処理部２０には、例えば「１１０１０１１１」なる部分データＤ４Ｕが入力される。この場合、部分データＤ４ＵＵは「１１０１」となり、部分データＤ４ＵＬは「０１１１」となる。また、図５の（Ｂ）に示すように、処理部２１には、例えば「０１０１００１１」なる部分データＤ４Ｌが入力される。

処理部２０は、部分データＤ４ＵＵの各桁の値を検証する。この第１の例の場合、部分データＤ４ＵＵの複数の桁の中に、「１」である桁が含まれている。つまり、部分データＤ４ＵＵの値は全体として「０」ではない。この場合、図１５の（Ｃ）及び（Ｄ）に示すように、処理部２０，２１は、部分データＤ４Ｕ，Ｄ４Ｌをそのまま部分データＤ２０，Ｄ２１としてそれぞれ出力する。

図６は、図２に示した処理部８，９，２０，２１の処理内容の第２の例を説明するための図である。図５と同様に、図６では一例として、部分データＤ４Ｕ，Ｄ４Ｌのビット幅がいずれも８ビットであり、部分データＤ４ＵＬ（桁範囲Ｒ１Ｌ）のビット幅Ｓが４ビットである場合を想定している。

図６の（Ａ）に示すように、処理部２０には、例えば「０００００１１１」なる部分データＤ４Ｕが入力される。この場合、部分データＤ４ＵＵは「００００」となり、部分データＤ４ＵＬは「０１１１」となる。また、図６の（Ｂ）に示すように、処理部２１には、例えば「０１０１００１１」なる部分データＤ４Ｌが入力される。

処理部２０は、部分データＤ４ＵＵの各桁の値を検証する。この第２の例の場合、部分データＤ４ＵＵの複数の桁の中に、「１」である桁が含まれていない。つまり、部分データＤ４ＵＵの値は全体として「０」である。この場合、図６の（Ｃ）に示すように、処理部２０は、部分データＤ４ＵＬの全ての桁を「０」に設定する補正処理を実行して、全体として値が「０」の部分データＤ２０を出力する。また、この場合、図６の（Ｄ）に示すように、処理部２１は、部分データＤ４Ｌの全ての桁を「１」に設定して、部分データＤ２１として出力する。

このように本実施の形態に係る画像処理装置１によれば、図６に示したように、処理部２０は、補正処理によって、部分データＤ４Ｕの値を「０」に設定し、部分データＤ２０として出力する。その結果、処理部８によって符号化される部分データＤ２０の値が小さくなるため、符号化データＤ１１の符号量を削減することが可能となる。しかも、符号化部４に入力されたデータＤ４の全体が符号化されるのではなく、上位側の部分データＤ４Ｕ（部分データＤ２０）のみが符号化され、この上位側の部分データＤ４Ｕ（部分データＤ２０）に対して符号量の削減効果が得られる。従って、符号化部４に入力されたデータＤ４の全体が符号化される場合と比較すると、符号量の削減効果が顕著となる。

また、本実施の形態に係る画像処理装置１によれば、処理部２０は、上位側の部分データＤ４ＵＵの値が「０」であることを条件として、下位側の部分データＤ４ＵＬに対して補正処理を実行する。換言すれば、図５に示したように、部分データＤ４ＵＵの値が「０」でない場合には、処理部２０は、部分データＤ４ＵＬに対して補正処理を実行しない。従って、部分データＤ４Ｕの値が比較的大きい場合に補正処理が実行されて画質が極端に低下してしまうことを、回避することができる。

さらに、本実施の形態に係る画像処理装置１によれば、図６に示したように、処理部２１は、処理部２０が補正処理を実行する場合に、桁範囲Ｒ２内の各桁の値を全て「１」に設定する。上位側の部分データＤ４Ｕの値が「０」に補正される場合に、下位側の部分データＤ４Ｌの値を最大値に設定することにより、画質が極端に低下してしまうことを回避することができる。

図７は、ＨＤＰｈｏｔｏのエンコーダにおけるプレフィルタ５１，５２及び周波数変換部５３，５４の構成を示すブロック図である。図７に示すように、ＨＤＰｈｏｔｏにおけるエンコーダは、第１階層のプレフィルタ５１及び周波数変換部５３と、第２階層のプレフィルタ５２及び周波数変換部５４とを備えている。

プレフィルタ５１には、画素信号Ｄ５０が入力される。プレフィルタ５１は、画素信号Ｄ５０に対してプレフィルタ処理を実行し、プレフィルタ処理後の画素信号Ｄ５１を出力する。画素信号Ｄ５１は、周波数変換部５３に入力される。周波数変換部５３は、画素信号Ｄ５１に対して周波数変換処理（ＰＣＴ）を実行し、ハイパス成分のデータＤ１ＨＰと、第１階層における直流成分のデータＤ５２とを出力する。データＤ５２は、プレフィルタ５２に入力される。プレフィルタ５２は、データＤ５２に対してプレフィルタ処理を実行し、プレフィルタ処理後のデータＤ５３を出力する。データＤ５３は、周波数変換部５４に入力される。周波数変換部５４は、データＤ５３に対して周波数変換処理（ＰＣＴ）を実行し、ローパス成分のデータＤ１ＬＰと、直流成分のデータＤ１ＤＣとを出力する。

周波数変換部５３，５４から出力されたデータＤ１ＨＰ，Ｄ１ＬＰ，Ｄ１ＤＣは、図１に示したデータＤ１として、量子化部２に入力される。同様に、符号化部４に入力されるデータＤ４には、ハイパス成分のデータ、ローパス成分のデータ、及び直流成分のデータが含まれている。

本実施の形態に係る画像処理装置１において、図２に示した処理部２０は、ハイパス成分のデータ、ローパス成分のデータ、及び直流成分のデータのうち、ハイパス成分のデータに対してのみ、上記の補正処理を実行する。換言すれば、処理部２０は、ローパス成分及び直流成分の各データに対しては、補正処理を実行しない。ＨＤＰｈｏｔｏにおいては、ハイパス成分に関しては、現在の処理対象のマクロブロック内で、予測データが求められる。一方、ローパス成分及び直流成分に関しては、過去に処理したマクロブロックに基づいて、予測データが求められる。従って、ローパス成分及び直流成分の各データに対して補正処理を実行すると、補正処理によって生じた誤差が連鎖的に蓄積され、画質の低下が大きくなる可能性がある。これに対し、本実施の形態に係る画像処理装置１によれば、処理部２０は、ローパス成分及び直流成分の各データに対しては補正処理を実行しないため、画質の低下が大きくなることを回避することができる。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示した符号化部の構成を示すブロック図である。データを示す図である。部分データを示す図である。図２に示した処理部の処理内容の第１の例を説明するための図である。図２に示した処理部の処理内容の第２の例を説明するための図である。ＨＤＰｈｏｔｏのエンコーダにおけるプレフィルタ及び周波数変換部の構成を示すブロック図である。予測符号化方式のエンコーダの構成を示すブロック図である。ＨＤＰｈｏｔｏにおけるエンコーダの構成を示すブロック図である。

符号の説明

１画像処理装置
２量子化部
３予測部
４符号化部
７〜９，２０，２１処理部

Claims

入力されたデータを符号化する符号化部を備え、
前記符号化部は、
前記データを、上位側の第１の桁範囲内の第１の部分データと、下位側の第２の桁範囲内の第２の部分データとに分割する第１の処理部と、
前記第１の部分データ及び前記第２の部分データのうちの前記第１の部分データのみを符号化する第２の処理部と、
前記第１の部分データの値を「０」に設定する補正処理を実行する第３の処理部と
を有する、画像処理装置。
前記第１の部分データは、上位側の桁範囲内の第３の部分データと、下位側の桁範囲内の第４の部分データとを有しており、
前記第３の処理部は、前記第３の部分データの値が「０」であることを条件として、前記第４の部分データに対して前記補正処理を実行する、請求項１に記載の画像処理装置。
前記第３の処理部が前記補正処理を実行する場合に、前記第２の桁範囲内の各桁の値を全て「１」に設定する、第４の処理部をさらに備える、請求項１又は２に記載の画像処理装置。
前記第３の処理部は、ＨＤＰｈｏｔｏにおける、ハイパス成分のデータ、ローパス成分のデータ、及び直流成分のデータのうち、ハイパス成分のデータに対してのみ、前記補正処理を実行する、請求項１〜３のいずれか一つに記載の画像処理装置。
前記第１の桁範囲は、ＨＤＰｈｏｔｏにおけるＮｏｒｍａｌＢｉｔであり、
前記第２の桁範囲は、ＨＤＰｈｏｔｏにおけるＦｌｅｘＢｉｔである、請求項１〜４のいずれか一つに記載の画像処理装置。