JP3915652B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3915652B2 JP3915652B2 JP2002295978A JP2002295978A JP3915652B2 JP 3915652 B2 JP3915652 B2 JP 3915652B2 JP 2002295978 A JP2002295978 A JP 2002295978A JP 2002295978 A JP2002295978 A JP 2002295978A JP 3915652 B2 JP3915652 B2 JP 3915652B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- interest
- tile
- roi
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば複写機，プリンタ，スキャナ等の画像データを扱う画像処理装置に関する。
【０００２】
【従来の技術】
現在、静止画圧縮符号方式としては、画像データを離散コサイン変換して圧縮するＪＰＥＧ方式が広く普及しているが、更なる圧縮性能の改善と機能拡張を図り、画像データをウェーブレット変換して圧縮するＪＰＥＧ２０００方式の開発及び普及が進められている。このＪＰＥＧ２０００方式の特徴の１つに、画像データ中の特定の領域を、初期伝送段階でその概要を認識可能とすべく他領域より優先的に符号化する、若しくは、他の領域よりも高画質に符号化することにより、関心領域（以下、ＲＯＩと表記）として任意に設定し得ることが知られている（例えば特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−２１８０６２号公報 （第５頁，第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、一般的には、ＲＯＩを含むＪＰＥＧ２０００ファイルを例えばプリント出力する場合、画像データが、ＲＯＩの境界が不明瞭になりやすいデータであったり、その中に複数のＲＯＩが設定されているデータであったり、あるいは、ＲＯＩが比較的小さな領域であったりすると、プリント結果としての画像からＲＯＩを識別することが難しくなる傾向がある。
【０００５】
これに対処すべく、ＲＯＩに輪郭を付加してこの領域を目立たせる手法として、周波数成分変換（ウェーブレット変換係数）の量子化値からＲＯＩに指定されている画素の位置を示すマスク情報を生成し、ビットマップ展開を行なうことが知られているが、この手法は、ＲＯＩマスク情報を記憶するために非常に多くのメモリ容量を要するという欠点を有するものである。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特に多くのメモリ容量を要することなく、画像データ中のＲＯＩを正確に且つもれなく認識可能である出力を実現し得る画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、該検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、該判別手段により判別された関心領域タイル及び非関心領域タイルについて、各タイル内に設定された関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、上記判別手段により判別された関心領域境界タイルについては、各タイル内に設定された関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なう処理手段と、を備えたことを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、上記請求項１に係る発明において、上記処理手段が、上記判別手段により判別された非関心領域タイルのうちの上記関心領域境界タイルに隣接するタイルについて、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行なうことを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、該検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、該判別手段により判別された各タイルの輝度成分及び色差成分について、それぞれ、各タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行なう処理手段と、を備えたことを特徴としたものである。
【００１０】
また、更に、本願の請求項４に係る発明は、上記請求項３に係る発明において、上記処理手段が、上記判別手段により判別された関心領域タイルの輝度成分及び色差成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行ない、上記判別手段により判別された非関心領域タイルの輝度成分について、ビットシフト処理を行わない一方、該非関心領域タイルの色差成分について、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行ない、上記判別手段により判別された関心領域境界タイルの輝度成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、色差成分については、関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうことを特徴としたものである。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。この図では、ＪＰＥＧ２０００ファイルが、インターネット若しくは他のコンピュータからネットワーク経由で画像処理装置１に対して直接に供給され、処理された上でプリント出力される、所謂ダイレクトプリントが行なわれる例が示されている。なお、ダイレクトプリントにおけるＪＰＥＧ２０００ファイルの供給源としては、これに限定されることなく、例えばデジタルカメラ，スキャナ等の外部機器、又は、コンパクトフラッシュ（ＴＭ），スマートメディア（ＴＭ）等の記録媒体を用いてもよい。
【００１２】
この画像処理装置１は、共通のバス８に接続されるＣＰＵ２，メモリブロック３，ＪＰＥＧ２０００ファイル用のコーデック４，プリンタＩ／Ｆ５，プリンタ部６，ネットワークＩ／Ｆ７を有している。この装置１では、ＣＰＵ２を除く各構成とメモリブロック３との間におけるデータ転送が、ダイレクトメモリアクセス（ＤＭＡ）で行なわれ、ＣＰＵ２が、ＤＭＡ起動の制御を行うことで、ファイル入力からプリントデータの出力までを制御する。
【００１３】
画像処理装置１では、ネットワーク経由で外部よりＪＰＥＧ２０００ファイルが入力されると、そのファイルは、まず、ネットワークＩ／Ｆ７から経路ａを通過してメモリブロック３へ転送される。メモリブロック３では、ＪＰＥＧ２０００ファイルを構成する符号データが格納され、この符号データは、順次、経路ｂを通過してコーデック４へ転送される。
【００１４】
コーデック４では、符号データが復号化される。詳しくは後述するが、このコーデック４では、ＲＯＩを含むＪＰＥＧ２０００ファイルを扱う場合に、必要に応じて、ＲＯＩを強調する処理を実行することが可能である。復号化後のデータは、経路ｃを通過してメモリブロック３へ転送される。
【００１５】
メモリブロック３では、転送されてきた復号化後のデータに基づき、所定の領域に、ビットマップデータが作成される。このビットマップデータは、それが１ページ分作成された時点で、経由ｄを通過してプリンタＩ／Ｆ５へ転送され、その後、プリントデータとしてプリンタ部６へ出力される。
【００１６】
図２は、画像処理装置１内のコーデック４によるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。ここでは、画像データを各々ウェーブレット変換の基本処理単位となる複数の矩形タイルに分割し、各タイル毎に、ＲＯＩのみからなるタイル（以下、ＲＯＩタイルという），非関心領域（以下、非ＲＯＩと表記）のみからなるタイル（以下、非ＲＯＩタイルという）、若しくは、ＲＯＩの境界に存在し、ＲＯＩ及び非ＲＯＩが混在するタイル（以下、ＲＯＩ境界タイルという）のいずれであるかを判定しつつ処理を行なう場合について説明する。
【００１７】
コーデック４に入力されたＪＰＥＧ２０００ファイルは、まず、フォーマッティング解除される。このフォーマッティング解除では、ＪＰＥＧ２０００ファイルの符号化列が解析され、符号化列に含まれるヘッダに記述されるＲＯＩ情報が読み取られる。図３を参照して後述するが、通常、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応するウェーブレット変換係数の量子化値が非ＲＯＩのそれに比べて最上位ビット（ＭＳＢ）側にＳビット分だけシフトされた状態で符号化されている。上記のＲＯＩ情報とは、ＲＯＩに対応する変換係数がシフトされているビットシフト量Ｓをあらわす情報である。
【００１８】
フォーマッティング解除後の符号データは、エントロピー復号化される。復号化されたデータは、互いに並列する複数のビットプレーン，サブビットプレーンに分けられた状態にある。この状態から、係数ビットモデリングが解除され、これにより、変換係数が取得される。
【００１９】
このように取得された変換係数に基づき、ＲＯＩを解析する。詳しくは図８を参照して後述するが、ここでは、まず、取得された変換係数から、現在処理中のタイル内におけるＲＯＩの存在状況を検出し、更に、その検出結果に基づいて、そのタイルが、ＲＯＩタイル，非ＲＯＩタイル、若しくは、ＲＯＩ境界タイルのいずれであるかを判別する。そして、この判別結果及びファイル入力に際して読み取られたＲＯＩ情報に基づき、係数ビットモデリング解除後の変換係数が所定のビットシフト量（例えばビットシフト量Ｓ）だけシフトさせられてなる変換係数が取得される。
【００２０】
ＪＰＥＧ２０００ファイルが予め量子化されているものであれば、引き続き、上記の変換係数が逆量子化される。その後、データが逆ウェーブレット変換（ＩＤＷＴ）されることにより、各色成分が生成される。
【００２１】
前述したように、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応するウェーブレット変換係数の量子化値が非ＲＯＩのそれに比べてＭＳＢ側にＳビット分だけシフトされた状態で符号化されているが、これは、ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩとを区別する方式としては典型的なｍａｘ−ｓｈｉｆｔ方式を採用する結果である。図３は、かかるｍａｘ−ｓｈｉｆｔ方式の概念図である。
【００２２】
通常、ＪＰＥＧ２０００ファイルにＲＯＩが設定される場合には、まず、ＲＯＩに指定される画素の位置を示すマスク情報が生成され、次に、ビットシフト量Ｓが決定され、全画素に対応するウェーブレット変換係数の量子化値がＭＳＢ側へＳビット分だけシフトさせられる。その後、予め生成されたマスク情報に基づき、ＲＯＩに指定される画素を除く画素について、ウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分だけシフトさせられる。結果的に、図３の左側に示すように、ＲＯＩに指定された画素のみについて、そのウェーブレット変換係数の量子化値がＭＳＢ側にＳビット分だけシフトさせられた状態になる。そして、この状態のまま符号化が行なわれる。
【００２３】
かかるＪＰＥＧ２０００ファイルの復号化に際しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらの変換係数の量子化値が、図３の右側に示すように、最下位ビット（ＬＳＢ）側にＳビット分だけシフトさせられて、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除されるようになっている。
【００２４】
図４に、ＲＯＩ１０を含む画像データの一例を示す。この図では、任意の形状で設定されるＲＯＩ１０を除く領域が、非ＲＯＩとして符号１２で示される。
【００２５】
また、図５は、図４中にてＲＯＩ１０及び非ＲＯＩ１２を含む領域を囲むフレームＸを拡大して示す図である。この図５から分かるように、画像データは、各々ウェーブレット変換の基本処理単位となる複数のタイルに分割されている。このタイルサイズは、その処理系によって異なるが、画像処理装置１として例えばＭＦＰ（Multifunction Peripherals）が採用される場合には、メモリ容量の制約から、このサイズとして約１２８×１２８が適切である。
【００２６】
更に、図５では、各タイルの左上に、タイルの種類をあらわす記号Ａ，Ｂ，Ｃのいずれかが付されている。具体的には、タイルＡが、ＲＯＩ１０及び非ＲＯＩ１２を含むＲＯＩ境界タイルであり、タイルＢが、ＲＯＩ１０のみからなるＲＯＩタイルであり、タイルＣが、非ＲＯＩ１２のみからなる非ＲＯＩタイルである。
【００２７】
この実施の形態１では、必要に応じて、ＲＯＩタイルＢ及び非ＲＯＩタイルＣに対して、図３に示すような通常のビットシフト処理を施し、他方、ＲＯＩ境界タイルＡに対しては、図６に示すようなビットシフト処理を施すことにより、ＲＯＩ１０を強調することができる。
【００２８】
図６は、ＲＯＩ境界タイルＡに対して実行されるビットシフト処理を概念的に示す図である。この図から分かるように、ここでは、ＲＯＩ境界タイルＡに対し、ＲＯＩに対応するかしないかにかかわらず、全ウェーブレット変換係数の量子化値が、Ｓビット分だけシフトさせられる。
【００２９】
かかる処理を行なうことにより、非ＲＯＩに対応するウェーブレット変換係数の量子化値は０となり、図５に示すＲＯＩ境界タイルＡに含まれるＲＯＩ１０（塗りつぶし部分）を黒色に設定することができる。その結果、図７に示すように、ＲＯＩ１０の輪郭に縁取り線１５を付加することが可能である。
【００３０】
なお、ここでは、ＲＯＩ境界タイルＡのみをビットシフト処理の対象としているが、これに限定されることなく、例えばＲＯＩ境界タイルＡに隣接する非ＲＯＩタイルＣに対しても同様に図６に示すような処理を適用してもよい。これにより、ＲＯＩ１０の輪郭に付加される縁取り線１５の太さを変更することができる。また、ここでは、ＲＯＩ境界タイルＡを構成する全ての画素について、その変換係数の量子化値をＳビット分だけシフトさせたが、これに限定されることなく、非ＲＯＩに対応する変換係数の量子化値については、所定値に置き換えるようにしてもよい。
【００３１】
図８は、各タイルのＲＯＩ解析処理についてのフローチャートである。この処理では、まず、Ｓ１１で、係数ビットモデリングが解除された変換係数が生成される。次に、Ｓ１２では、生成された変換係数のダイナミックレンジ（下限〜上限）が解析される。すなわち、各変換係数が何ビットであるかが検出される。続いて、Ｓ１３では、検出されたダイナミックレンジが、ＪＰＥＧ２０００ファイルの符号化列に含まれるヘッダから読み取られた上記のｍａｘ−ｓｈｉｆｔ方式によるビットシフト量Ｓ以上であるか否かが判定される。
【００３２】
Ｓ１３での結果、ダイナミックレンジがＳ以上でないと判定された場合には、Ｓ１７へ進み、現在処理中のタイルを非ＲＯＩタイルＣとして、通常の処理が行なわれる。以上で処理を終了する。
【００３３】
他方、Ｓ１３での結果、ダイナミックレンジがＳ以上であると判定された場合には、Ｓ１４へ進み、引き続き、タイル内にＳビット未満の変換係数が存在するか否かが判定される。その結果、Ｓビット未満の変換係数が存在しないと判定された場合には、Ｓ１６へ進み、現在処理中のタイルをＲＯＩタイルＢとして、通常の処理が行なわれ、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００３４】
他方、Ｓ１４での結果、Ｓビット未満の変換係数が存在すると判定された場合には、Ｓ１５へ進み、現在処理中のタイルをＲＯＩ境界タイルＡとして、所定の処理が行なわれ、タイル内の全変換係数がＬＳＢ側にＳビット分シフトさせられる。これにより、ＲＯＩ境界タイルＡ内の非ＲＯＩに対応するウェーブレット変換係数は０となり、また、ＲＯＩに対応する変換係数の量子化値に対して通常のビットシフト処理が施されることにより、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００３５】
以上のように、実施の形態１では、ＲＯＩ境界タイルＡに対して特定の処理を施すことにより、画像データ中のＲＯＩの輪郭を縁取るようにして、ＲＯＩを正確に且つもれなく認識可能である出力を実現することができる。
【００３６】
実施の形態２．
前述した実施の形態１では、画像データに含まれるＲＯＩ１０を強調するために、ＲＯＩ１０の輪郭に縁取り線を追加する処理が行なわれたが、この実施の形態２では、ＲＯＩ１０をフルカラーで、非ＲＯＩ１２をモノクロであらわす処理が提案されている。具体的には、ファイルの復号化に際し、各タイルを輝度（Ｙ）成分，色差（Ｃｂ，Ｃｒ）成分に分解した上で、各成分毎に、そのウェーブレット変換係数に対して、画像データ中に設定されたＲＯＩ１０のみがフルカラーであらわされるように、適切なビットシフト処理を施す。
【００３７】
以下、図９，１０及び図１１を参照して、それぞれ、ＲＯＩタイルＢ，ＲＯＩ境界タイルＡ，非ＲＯＩタイルＣに対して施されるビットシフト処理について説明する。
【００３８】
まず、図９は、ＲＯＩタイルＢに対するＹ，Ｃｂ，Ｃｒ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、ＲＯＩタイルＢに対しては、Ｙ成分，Ｃｂ，Ｃｒ成分の全てについて、２Ｓ以上のウェーブレット変換係数の量子化値（ここでは全ての値）が、ＲＯＩに対応するものとして認識され、これらの変換係数の量子化値にＬＳＢ側へのＳビット分のシフト処理が施される。
【００３９】
これにより、ＲＯＩタイルＢは、色情報が欠落させられることなく、フルカラーであらわされることになる。
【００４０】
図１０の（ａ）は、ＲＯＩ境界タイルＡに対するＹ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、ＲＯＩ境界タイルＡに対し、Ｙ成分については、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらの変換係数の量子化値のみにＬＳＢ側へのＳビット分のシフト処理が施される。
【００４１】
また、一方、図１０の（ｂ）は、ＲＯＩ境界タイルＡに対するＣｂ，Ｃｒ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、ＲＯＩ境界タイルＡのＣｂ，Ｃｒ成分については、全ての変換係数の量子化値に対して、ＬＳＢ側へのＳビット分のシフト処理が施される。
【００４２】
これにより、ＲＯＩ境界タイルＡは、ＲＯＩにてフルカラーで、非ＲＯＩにてモノクロであらわされることになる。
【００４３】
図１１の（ａ）は、非ＲＯＩタイルＣに対するＹ成分についてのビットシフト処理を概念的に示す図である。非ＲＯＩタイルＣでは、２Ｓ以上のウェーブレット変換係数の量子化値が認識されないことから、この図に示すように、Ｙ成分については、実質的にシフト処理が施されない。
【００４４】
また、一方、図１１の（ｂ）は、非ＲＯＩタイルＣに対するＣｂ，Ｃｒ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、非ＲＯＩタイルＣのＣｂ，Ｃｒ成分については、全ての変換係数の量子化値（すなわち２Ｓ未満のウェーブレット変換係数の量子化値）に対して、ＬＳＢ側へのＳビット分のシフト処理が施される。
【００４５】
これにより、非ＲＯＩタイルＣは、色情報が欠落させられることにより、モノクロであらわされることになる。
【００４６】
図１２は、実施の形態２に係る、各タイルのＲＯＩ解析処理についてのフローチャートである。まず、Ｓ４１で、係数ビットモデリングの解除された変換係数が生成される。次に、Ｓ４２では、生成された変換係数のダイナミックレンジ（下限〜上限）が解析される。すなわち、各変換係数が何ビットであるかが検出される。続いて、Ｓ４３では、検出されたダイナミックレンジが、ＪＰＥＧ２０００ファイルの符号化列に含まれるヘッダから読み取られた上記のｍａｘ−ｓｈｉｆｔ方式によるビットシフト量Ｓ以上であるか否かが判定される。
【００４７】
Ｓ４３での結果、ダイナミックレンジがＳ以上でないと判定された場合には、Ｓ４７へ進み、現在処理中のタイルを非ＲＯＩタイルＣとして、Ｙ成分について通常の処理が行なわれ、Ｃｂ，Ｃｒ成分については、タイル内の全変換係数がＬＳＢ側へＳビット分シフトさせられる。これにより、非ＲＯＩに対応する色成分の変換係数が０となる。以上で処理を終了する。
【００４８】
他方、Ｓ４３での結果、ダイナミックレンジがＳ以上であると判定された場合には、Ｓ４４へ進み、引き続き、タイル内にＳビット未満の変換係数が存在するか否かが判定される。その結果、Ｓビット未満の変換係数が存在しないと判定された場合には、Ｓ４６へ進み、現在処理中のタイルをＲＯＩタイルＢとして、Ｙ，Ｃｂ，Ｃｒ成分について通常の処理が行なわれ、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００４９】
他方、Ｓ４４での結果、タイル内にＳビット未満の変換係数が存在すると判定された場合には、Ｓ４５へ進み、ＲＯＩ境界タイルとして、Ｙ成分について通常の処理が行なわれ、また、Ｃｂ，Ｃｒ成分については全変換係数がＬＳＢ側にＳビット分シフトさせられる。これにより、非ＲＯＩに対応する色成分の変換係数が０となり、また、ＲＯＩに対応する変換係数には通常の処理が施されて、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００５０】
以上のように、実施の形態２では、ＲＯＩタイルＢ，ＲＯＩ境界タイルＡ，非ＲＯＩタイルＣに対し、それぞれ、輝度成分及び色差成分について特定の処理を施すことにより、画像データ中のＲＯＩのみをフルカラーであらわすようにして、ＲＯＩを正確に且つもれなく認識可能である出力を実現することができる。
【００５１】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。
【００５２】
【発明の効果】
以上の説明から明らかなように、本願の請求項１に係る発明によれば、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出し、検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別し、判別された関心領域タイル及び非関心領域タイルについて、各タイル内に設定された関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、判別された関心領域境界タイルについては、各タイル内に設定された関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうので、例えば非関心領域に対応する周波数成分変換係数の量子化値を０として、関心領域境界タイル内の関心領域を黒色に設定することができ、関心領域の輪郭に縁取り線を付加することが可能である。これにより、画像データ中の関心領域を正確に且つもれなく認識可能である出力を実現することができる。
【００５３】
また、本願の請求項２に係る発明によれば、シフト処理に際して、上記判別手段により判別された非関心領域タイルのうちの上記関心領域境界タイルに隣接するタイルについて、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行なうので、関心領域境界タイルに隣接する非関心領域タイルを黒色に設定することができ、結果的に、関心領域の輪郭に付加される縁取り線の太さを変更することができる。これにより、関心領域を一層正確に且つもれなく認識可能である出力を実現することができる。
【００５４】
更に、本願の請求項３に係る発明によれば、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出し、検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別し、判別された各タイルの輝度成分及び色差成分について、それぞれ、各タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行なうので、関心領域及び非関心領域別に異なるカラー形態であらわすことが可能であり、関心領域を正確に且つもれなく認識可能である出力を実現することができる。
【００５５】
また、更に、本願の請求項４に係る発明によれば、上記所定の処理に際して、関心領域タイルの輝度成分及び色差成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行ない、また、非関心領域タイルの輝度成分について、ビットシフト処理を行わない一方、該非関心領域タイルの色差成分について、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行ない、更に、関心領域境界タイルの輝度成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、色差成分については、関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうので、画像データ中の関心領域をフルカラーで、また、非関心領域をモノクロであらわすことができ、関心領域を正確に且つもれなく認識可能である出力を実現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。
【図２】 上記画像処理装置内のコーデックによるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。
【図３】 ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩを区別する方式として典型的なｍａｘ−ｓｈｉｆｔ方式の概念図である。
【図４】 ＲＯＩを含む画像データを示す図である。
【図５】 図４中のフレームＸ内の拡大図である。
【図６】 図５中のＲＯＩ境界タイルＡに対して実行されるビットシフト処理を概念的に示す図である。
【図７】 強調処理後のＲＯＩを含む画像データを示す図である。
【図８】 上記実施の形態１に係る、各タイルのＲＯＩ解析処理についてのフローチャートである。
【図９】 本発明の実施の形態２に係る、ＲＯＩタイルＢに対する輝度成分及び色差成分についてのビットシフト処理を概念的に示す図である。
【図１０】 （ａ）上記実施の形態２に係る、ＲＯＩ境界タイルＡに対する輝度成分についてのビットシフト処理を概念的に示す図である。
（ｂ）上記実施の形態２に係る、ＲＯＩ境界タイルＡに対する色差成分についてのビットシフト処理を概念的に示す図である。
【図１１】 （ａ）上記実施の形態２に係る、非ＲＯＩタイルＣに対する輝度成分についてのビットシフト処理を概念的に示す図である。
（ｂ）上記実施の形態２に係る、非ＲＯＩタイルＣに対する色差成分についてのビットシフト処理を概念的に示す図である。
【図１２】 上記実施の形態２に係る、各タイルのＲＯＩ解析処理についてのフローチャートである。
【符号の説明】
１…画像処理装置
２…ＣＰＵ
３…メモリブロック
４…コーデック
５…プリンタＩ／Ｆ
６…プリンタ部
７…ネットワークＩ／Ｆ
８…バス
１０…ＲＯＩ
１２…非ＲＯＩ
１５…輪郭縁取り線
【発明の属する技術分野】
本発明は、例えば複写機，プリンタ，スキャナ等の画像データを扱う画像処理装置に関する。
【０００２】
【従来の技術】
現在、静止画圧縮符号方式としては、画像データを離散コサイン変換して圧縮するＪＰＥＧ方式が広く普及しているが、更なる圧縮性能の改善と機能拡張を図り、画像データをウェーブレット変換して圧縮するＪＰＥＧ２０００方式の開発及び普及が進められている。このＪＰＥＧ２０００方式の特徴の１つに、画像データ中の特定の領域を、初期伝送段階でその概要を認識可能とすべく他領域より優先的に符号化する、若しくは、他の領域よりも高画質に符号化することにより、関心領域（以下、ＲＯＩと表記）として任意に設定し得ることが知られている（例えば特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−２１８０６２号公報 （第５頁，第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、一般的には、ＲＯＩを含むＪＰＥＧ２０００ファイルを例えばプリント出力する場合、画像データが、ＲＯＩの境界が不明瞭になりやすいデータであったり、その中に複数のＲＯＩが設定されているデータであったり、あるいは、ＲＯＩが比較的小さな領域であったりすると、プリント結果としての画像からＲＯＩを識別することが難しくなる傾向がある。
【０００５】
これに対処すべく、ＲＯＩに輪郭を付加してこの領域を目立たせる手法として、周波数成分変換（ウェーブレット変換係数）の量子化値からＲＯＩに指定されている画素の位置を示すマスク情報を生成し、ビットマップ展開を行なうことが知られているが、この手法は、ＲＯＩマスク情報を記憶するために非常に多くのメモリ容量を要するという欠点を有するものである。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特に多くのメモリ容量を要することなく、画像データ中のＲＯＩを正確に且つもれなく認識可能である出力を実現し得る画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、該検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、該判別手段により判別された関心領域タイル及び非関心領域タイルについて、各タイル内に設定された関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、上記判別手段により判別された関心領域境界タイルについては、各タイル内に設定された関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なう処理手段と、を備えたことを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、上記請求項１に係る発明において、上記処理手段が、上記判別手段により判別された非関心領域タイルのうちの上記関心領域境界タイルに隣接するタイルについて、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行なうことを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、該検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、該判別手段により判別された各タイルの輝度成分及び色差成分について、それぞれ、各タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行なう処理手段と、を備えたことを特徴としたものである。
【００１０】
また、更に、本願の請求項４に係る発明は、上記請求項３に係る発明において、上記処理手段が、上記判別手段により判別された関心領域タイルの輝度成分及び色差成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行ない、上記判別手段により判別された非関心領域タイルの輝度成分について、ビットシフト処理を行わない一方、該非関心領域タイルの色差成分について、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行ない、上記判別手段により判別された関心領域境界タイルの輝度成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、色差成分については、関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうことを特徴としたものである。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。この図では、ＪＰＥＧ２０００ファイルが、インターネット若しくは他のコンピュータからネットワーク経由で画像処理装置１に対して直接に供給され、処理された上でプリント出力される、所謂ダイレクトプリントが行なわれる例が示されている。なお、ダイレクトプリントにおけるＪＰＥＧ２０００ファイルの供給源としては、これに限定されることなく、例えばデジタルカメラ，スキャナ等の外部機器、又は、コンパクトフラッシュ（ＴＭ），スマートメディア（ＴＭ）等の記録媒体を用いてもよい。
【００１２】
この画像処理装置１は、共通のバス８に接続されるＣＰＵ２，メモリブロック３，ＪＰＥＧ２０００ファイル用のコーデック４，プリンタＩ／Ｆ５，プリンタ部６，ネットワークＩ／Ｆ７を有している。この装置１では、ＣＰＵ２を除く各構成とメモリブロック３との間におけるデータ転送が、ダイレクトメモリアクセス（ＤＭＡ）で行なわれ、ＣＰＵ２が、ＤＭＡ起動の制御を行うことで、ファイル入力からプリントデータの出力までを制御する。
【００１３】
画像処理装置１では、ネットワーク経由で外部よりＪＰＥＧ２０００ファイルが入力されると、そのファイルは、まず、ネットワークＩ／Ｆ７から経路ａを通過してメモリブロック３へ転送される。メモリブロック３では、ＪＰＥＧ２０００ファイルを構成する符号データが格納され、この符号データは、順次、経路ｂを通過してコーデック４へ転送される。
【００１４】
コーデック４では、符号データが復号化される。詳しくは後述するが、このコーデック４では、ＲＯＩを含むＪＰＥＧ２０００ファイルを扱う場合に、必要に応じて、ＲＯＩを強調する処理を実行することが可能である。復号化後のデータは、経路ｃを通過してメモリブロック３へ転送される。
【００１５】
メモリブロック３では、転送されてきた復号化後のデータに基づき、所定の領域に、ビットマップデータが作成される。このビットマップデータは、それが１ページ分作成された時点で、経由ｄを通過してプリンタＩ／Ｆ５へ転送され、その後、プリントデータとしてプリンタ部６へ出力される。
【００１６】
図２は、画像処理装置１内のコーデック４によるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。ここでは、画像データを各々ウェーブレット変換の基本処理単位となる複数の矩形タイルに分割し、各タイル毎に、ＲＯＩのみからなるタイル（以下、ＲＯＩタイルという），非関心領域（以下、非ＲＯＩと表記）のみからなるタイル（以下、非ＲＯＩタイルという）、若しくは、ＲＯＩの境界に存在し、ＲＯＩ及び非ＲＯＩが混在するタイル（以下、ＲＯＩ境界タイルという）のいずれであるかを判定しつつ処理を行なう場合について説明する。
【００１７】
コーデック４に入力されたＪＰＥＧ２０００ファイルは、まず、フォーマッティング解除される。このフォーマッティング解除では、ＪＰＥＧ２０００ファイルの符号化列が解析され、符号化列に含まれるヘッダに記述されるＲＯＩ情報が読み取られる。図３を参照して後述するが、通常、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応するウェーブレット変換係数の量子化値が非ＲＯＩのそれに比べて最上位ビット（ＭＳＢ）側にＳビット分だけシフトされた状態で符号化されている。上記のＲＯＩ情報とは、ＲＯＩに対応する変換係数がシフトされているビットシフト量Ｓをあらわす情報である。
【００１８】
フォーマッティング解除後の符号データは、エントロピー復号化される。復号化されたデータは、互いに並列する複数のビットプレーン，サブビットプレーンに分けられた状態にある。この状態から、係数ビットモデリングが解除され、これにより、変換係数が取得される。
【００１９】
このように取得された変換係数に基づき、ＲＯＩを解析する。詳しくは図８を参照して後述するが、ここでは、まず、取得された変換係数から、現在処理中のタイル内におけるＲＯＩの存在状況を検出し、更に、その検出結果に基づいて、そのタイルが、ＲＯＩタイル，非ＲＯＩタイル、若しくは、ＲＯＩ境界タイルのいずれであるかを判別する。そして、この判別結果及びファイル入力に際して読み取られたＲＯＩ情報に基づき、係数ビットモデリング解除後の変換係数が所定のビットシフト量（例えばビットシフト量Ｓ）だけシフトさせられてなる変換係数が取得される。
【００２０】
ＪＰＥＧ２０００ファイルが予め量子化されているものであれば、引き続き、上記の変換係数が逆量子化される。その後、データが逆ウェーブレット変換（ＩＤＷＴ）されることにより、各色成分が生成される。
【００２１】
前述したように、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応するウェーブレット変換係数の量子化値が非ＲＯＩのそれに比べてＭＳＢ側にＳビット分だけシフトされた状態で符号化されているが、これは、ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩとを区別する方式としては典型的なｍａｘ−ｓｈｉｆｔ方式を採用する結果である。図３は、かかるｍａｘ−ｓｈｉｆｔ方式の概念図である。
【００２２】
通常、ＪＰＥＧ２０００ファイルにＲＯＩが設定される場合には、まず、ＲＯＩに指定される画素の位置を示すマスク情報が生成され、次に、ビットシフト量Ｓが決定され、全画素に対応するウェーブレット変換係数の量子化値がＭＳＢ側へＳビット分だけシフトさせられる。その後、予め生成されたマスク情報に基づき、ＲＯＩに指定される画素を除く画素について、ウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分だけシフトさせられる。結果的に、図３の左側に示すように、ＲＯＩに指定された画素のみについて、そのウェーブレット変換係数の量子化値がＭＳＢ側にＳビット分だけシフトさせられた状態になる。そして、この状態のまま符号化が行なわれる。
【００２３】
かかるＪＰＥＧ２０００ファイルの復号化に際しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらの変換係数の量子化値が、図３の右側に示すように、最下位ビット（ＬＳＢ）側にＳビット分だけシフトさせられて、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除されるようになっている。
【００２４】
図４に、ＲＯＩ１０を含む画像データの一例を示す。この図では、任意の形状で設定されるＲＯＩ１０を除く領域が、非ＲＯＩとして符号１２で示される。
【００２５】
また、図５は、図４中にてＲＯＩ１０及び非ＲＯＩ１２を含む領域を囲むフレームＸを拡大して示す図である。この図５から分かるように、画像データは、各々ウェーブレット変換の基本処理単位となる複数のタイルに分割されている。このタイルサイズは、その処理系によって異なるが、画像処理装置１として例えばＭＦＰ（Multifunction Peripherals）が採用される場合には、メモリ容量の制約から、このサイズとして約１２８×１２８が適切である。
【００２６】
更に、図５では、各タイルの左上に、タイルの種類をあらわす記号Ａ，Ｂ，Ｃのいずれかが付されている。具体的には、タイルＡが、ＲＯＩ１０及び非ＲＯＩ１２を含むＲＯＩ境界タイルであり、タイルＢが、ＲＯＩ１０のみからなるＲＯＩタイルであり、タイルＣが、非ＲＯＩ１２のみからなる非ＲＯＩタイルである。
【００２７】
この実施の形態１では、必要に応じて、ＲＯＩタイルＢ及び非ＲＯＩタイルＣに対して、図３に示すような通常のビットシフト処理を施し、他方、ＲＯＩ境界タイルＡに対しては、図６に示すようなビットシフト処理を施すことにより、ＲＯＩ１０を強調することができる。
【００２８】
図６は、ＲＯＩ境界タイルＡに対して実行されるビットシフト処理を概念的に示す図である。この図から分かるように、ここでは、ＲＯＩ境界タイルＡに対し、ＲＯＩに対応するかしないかにかかわらず、全ウェーブレット変換係数の量子化値が、Ｓビット分だけシフトさせられる。
【００２９】
かかる処理を行なうことにより、非ＲＯＩに対応するウェーブレット変換係数の量子化値は０となり、図５に示すＲＯＩ境界タイルＡに含まれるＲＯＩ１０（塗りつぶし部分）を黒色に設定することができる。その結果、図７に示すように、ＲＯＩ１０の輪郭に縁取り線１５を付加することが可能である。
【００３０】
なお、ここでは、ＲＯＩ境界タイルＡのみをビットシフト処理の対象としているが、これに限定されることなく、例えばＲＯＩ境界タイルＡに隣接する非ＲＯＩタイルＣに対しても同様に図６に示すような処理を適用してもよい。これにより、ＲＯＩ１０の輪郭に付加される縁取り線１５の太さを変更することができる。また、ここでは、ＲＯＩ境界タイルＡを構成する全ての画素について、その変換係数の量子化値をＳビット分だけシフトさせたが、これに限定されることなく、非ＲＯＩに対応する変換係数の量子化値については、所定値に置き換えるようにしてもよい。
【００３１】
図８は、各タイルのＲＯＩ解析処理についてのフローチャートである。この処理では、まず、Ｓ１１で、係数ビットモデリングが解除された変換係数が生成される。次に、Ｓ１２では、生成された変換係数のダイナミックレンジ（下限〜上限）が解析される。すなわち、各変換係数が何ビットであるかが検出される。続いて、Ｓ１３では、検出されたダイナミックレンジが、ＪＰＥＧ２０００ファイルの符号化列に含まれるヘッダから読み取られた上記のｍａｘ−ｓｈｉｆｔ方式によるビットシフト量Ｓ以上であるか否かが判定される。
【００３２】
Ｓ１３での結果、ダイナミックレンジがＳ以上でないと判定された場合には、Ｓ１７へ進み、現在処理中のタイルを非ＲＯＩタイルＣとして、通常の処理が行なわれる。以上で処理を終了する。
【００３３】
他方、Ｓ１３での結果、ダイナミックレンジがＳ以上であると判定された場合には、Ｓ１４へ進み、引き続き、タイル内にＳビット未満の変換係数が存在するか否かが判定される。その結果、Ｓビット未満の変換係数が存在しないと判定された場合には、Ｓ１６へ進み、現在処理中のタイルをＲＯＩタイルＢとして、通常の処理が行なわれ、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００３４】
他方、Ｓ１４での結果、Ｓビット未満の変換係数が存在すると判定された場合には、Ｓ１５へ進み、現在処理中のタイルをＲＯＩ境界タイルＡとして、所定の処理が行なわれ、タイル内の全変換係数がＬＳＢ側にＳビット分シフトさせられる。これにより、ＲＯＩ境界タイルＡ内の非ＲＯＩに対応するウェーブレット変換係数は０となり、また、ＲＯＩに対応する変換係数の量子化値に対して通常のビットシフト処理が施されることにより、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００３５】
以上のように、実施の形態１では、ＲＯＩ境界タイルＡに対して特定の処理を施すことにより、画像データ中のＲＯＩの輪郭を縁取るようにして、ＲＯＩを正確に且つもれなく認識可能である出力を実現することができる。
【００３６】
実施の形態２．
前述した実施の形態１では、画像データに含まれるＲＯＩ１０を強調するために、ＲＯＩ１０の輪郭に縁取り線を追加する処理が行なわれたが、この実施の形態２では、ＲＯＩ１０をフルカラーで、非ＲＯＩ１２をモノクロであらわす処理が提案されている。具体的には、ファイルの復号化に際し、各タイルを輝度（Ｙ）成分，色差（Ｃｂ，Ｃｒ）成分に分解した上で、各成分毎に、そのウェーブレット変換係数に対して、画像データ中に設定されたＲＯＩ１０のみがフルカラーであらわされるように、適切なビットシフト処理を施す。
【００３７】
以下、図９，１０及び図１１を参照して、それぞれ、ＲＯＩタイルＢ，ＲＯＩ境界タイルＡ，非ＲＯＩタイルＣに対して施されるビットシフト処理について説明する。
【００３８】
まず、図９は、ＲＯＩタイルＢに対するＹ，Ｃｂ，Ｃｒ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、ＲＯＩタイルＢに対しては、Ｙ成分，Ｃｂ，Ｃｒ成分の全てについて、２Ｓ以上のウェーブレット変換係数の量子化値（ここでは全ての値）が、ＲＯＩに対応するものとして認識され、これらの変換係数の量子化値にＬＳＢ側へのＳビット分のシフト処理が施される。
【００３９】
これにより、ＲＯＩタイルＢは、色情報が欠落させられることなく、フルカラーであらわされることになる。
【００４０】
図１０の（ａ）は、ＲＯＩ境界タイルＡに対するＹ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、ＲＯＩ境界タイルＡに対し、Ｙ成分については、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらの変換係数の量子化値のみにＬＳＢ側へのＳビット分のシフト処理が施される。
【００４１】
また、一方、図１０の（ｂ）は、ＲＯＩ境界タイルＡに対するＣｂ，Ｃｒ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、ＲＯＩ境界タイルＡのＣｂ，Ｃｒ成分については、全ての変換係数の量子化値に対して、ＬＳＢ側へのＳビット分のシフト処理が施される。
【００４２】
これにより、ＲＯＩ境界タイルＡは、ＲＯＩにてフルカラーで、非ＲＯＩにてモノクロであらわされることになる。
【００４３】
図１１の（ａ）は、非ＲＯＩタイルＣに対するＹ成分についてのビットシフト処理を概念的に示す図である。非ＲＯＩタイルＣでは、２Ｓ以上のウェーブレット変換係数の量子化値が認識されないことから、この図に示すように、Ｙ成分については、実質的にシフト処理が施されない。
【００４４】
また、一方、図１１の（ｂ）は、非ＲＯＩタイルＣに対するＣｂ，Ｃｒ成分についてのビットシフト処理を概念的に示す図である。この図に示すように、非ＲＯＩタイルＣのＣｂ，Ｃｒ成分については、全ての変換係数の量子化値（すなわち２Ｓ未満のウェーブレット変換係数の量子化値）に対して、ＬＳＢ側へのＳビット分のシフト処理が施される。
【００４５】
これにより、非ＲＯＩタイルＣは、色情報が欠落させられることにより、モノクロであらわされることになる。
【００４６】
図１２は、実施の形態２に係る、各タイルのＲＯＩ解析処理についてのフローチャートである。まず、Ｓ４１で、係数ビットモデリングの解除された変換係数が生成される。次に、Ｓ４２では、生成された変換係数のダイナミックレンジ（下限〜上限）が解析される。すなわち、各変換係数が何ビットであるかが検出される。続いて、Ｓ４３では、検出されたダイナミックレンジが、ＪＰＥＧ２０００ファイルの符号化列に含まれるヘッダから読み取られた上記のｍａｘ−ｓｈｉｆｔ方式によるビットシフト量Ｓ以上であるか否かが判定される。
【００４７】
Ｓ４３での結果、ダイナミックレンジがＳ以上でないと判定された場合には、Ｓ４７へ進み、現在処理中のタイルを非ＲＯＩタイルＣとして、Ｙ成分について通常の処理が行なわれ、Ｃｂ，Ｃｒ成分については、タイル内の全変換係数がＬＳＢ側へＳビット分シフトさせられる。これにより、非ＲＯＩに対応する色成分の変換係数が０となる。以上で処理を終了する。
【００４８】
他方、Ｓ４３での結果、ダイナミックレンジがＳ以上であると判定された場合には、Ｓ４４へ進み、引き続き、タイル内にＳビット未満の変換係数が存在するか否かが判定される。その結果、Ｓビット未満の変換係数が存在しないと判定された場合には、Ｓ４６へ進み、現在処理中のタイルをＲＯＩタイルＢとして、Ｙ，Ｃｂ，Ｃｒ成分について通常の処理が行なわれ、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００４９】
他方、Ｓ４４での結果、タイル内にＳビット未満の変換係数が存在すると判定された場合には、Ｓ４５へ進み、ＲＯＩ境界タイルとして、Ｙ成分について通常の処理が行なわれ、また、Ｃｂ，Ｃｒ成分については全変換係数がＬＳＢ側にＳビット分シフトさせられる。これにより、非ＲＯＩに対応する色成分の変換係数が０となり、また、ＲＯＩに対応する変換係数には通常の処理が施されて、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除された変換係数が取得される。以上で処理を終了する。
【００５０】
以上のように、実施の形態２では、ＲＯＩタイルＢ，ＲＯＩ境界タイルＡ，非ＲＯＩタイルＣに対し、それぞれ、輝度成分及び色差成分について特定の処理を施すことにより、画像データ中のＲＯＩのみをフルカラーであらわすようにして、ＲＯＩを正確に且つもれなく認識可能である出力を実現することができる。
【００５１】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。
【００５２】
【発明の効果】
以上の説明から明らかなように、本願の請求項１に係る発明によれば、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出し、検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別し、判別された関心領域タイル及び非関心領域タイルについて、各タイル内に設定された関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、判別された関心領域境界タイルについては、各タイル内に設定された関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうので、例えば非関心領域に対応する周波数成分変換係数の量子化値を０として、関心領域境界タイル内の関心領域を黒色に設定することができ、関心領域の輪郭に縁取り線を付加することが可能である。これにより、画像データ中の関心領域を正確に且つもれなく認識可能である出力を実現することができる。
【００５３】
また、本願の請求項２に係る発明によれば、シフト処理に際して、上記判別手段により判別された非関心領域タイルのうちの上記関心領域境界タイルに隣接するタイルについて、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行なうので、関心領域境界タイルに隣接する非関心領域タイルを黒色に設定することができ、結果的に、関心領域の輪郭に付加される縁取り線の太さを変更することができる。これにより、関心領域を一層正確に且つもれなく認識可能である出力を実現することができる。
【００５４】
更に、本願の請求項３に係る発明によれば、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出し、検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別し、判別された各タイルの輝度成分及び色差成分について、それぞれ、各タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行なうので、関心領域及び非関心領域別に異なるカラー形態であらわすことが可能であり、関心領域を正確に且つもれなく認識可能である出力を実現することができる。
【００５５】
また、更に、本願の請求項４に係る発明によれば、上記所定の処理に際して、関心領域タイルの輝度成分及び色差成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行ない、また、非関心領域タイルの輝度成分について、ビットシフト処理を行わない一方、該非関心領域タイルの色差成分について、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行ない、更に、関心領域境界タイルの輝度成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、色差成分については、関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうので、画像データ中の関心領域をフルカラーで、また、非関心領域をモノクロであらわすことができ、関心領域を正確に且つもれなく認識可能である出力を実現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。
【図２】 上記画像処理装置内のコーデックによるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。
【図３】 ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩを区別する方式として典型的なｍａｘ−ｓｈｉｆｔ方式の概念図である。
【図４】 ＲＯＩを含む画像データを示す図である。
【図５】 図４中のフレームＸ内の拡大図である。
【図６】 図５中のＲＯＩ境界タイルＡに対して実行されるビットシフト処理を概念的に示す図である。
【図７】 強調処理後のＲＯＩを含む画像データを示す図である。
【図８】 上記実施の形態１に係る、各タイルのＲＯＩ解析処理についてのフローチャートである。
【図９】 本発明の実施の形態２に係る、ＲＯＩタイルＢに対する輝度成分及び色差成分についてのビットシフト処理を概念的に示す図である。
【図１０】 （ａ）上記実施の形態２に係る、ＲＯＩ境界タイルＡに対する輝度成分についてのビットシフト処理を概念的に示す図である。
（ｂ）上記実施の形態２に係る、ＲＯＩ境界タイルＡに対する色差成分についてのビットシフト処理を概念的に示す図である。
【図１１】 （ａ）上記実施の形態２に係る、非ＲＯＩタイルＣに対する輝度成分についてのビットシフト処理を概念的に示す図である。
（ｂ）上記実施の形態２に係る、非ＲＯＩタイルＣに対する色差成分についてのビットシフト処理を概念的に示す図である。
【図１２】 上記実施の形態２に係る、各タイルのＲＯＩ解析処理についてのフローチャートである。
【符号の説明】
１…画像処理装置
２…ＣＰＵ
３…メモリブロック
４…コーデック
５…プリンタＩ／Ｆ
６…プリンタ部
７…ネットワークＩ／Ｆ
８…バス
１０…ＲＯＩ
１２…非ＲＯＩ
１５…輪郭縁取り線
Claims (4)
- 符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、
上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、
上記検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、
上記判別手段により判別された関心領域タイル及び非関心領域タイルについて、各タイル内に設定された関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、上記判別手段により判別された関心領域境界タイルについては、各タイル内に設定された関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なう処理手段と、を備えたことを特徴とする画像処理装置。 - 上記処理手段が、更に、上記判別手段により判別された非関心領域タイルのうちの上記関心領域境界タイルに隣接するタイルについて、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行なうことを特徴とする請求項１記載の画像処理装置。
- 符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、
上記各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、
上記検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、
上記判別手段により判別された各タイルの輝度成分及び色差成分について、それぞれ、各タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行なう処理手段と、を備えたことを特徴とする画像処理装置。 - 上記処理手段が、
上記判別手段により判別された関心領域タイルの輝度成分及び色差成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行ない、
上記判別手段により判別された非関心領域タイルの輝度成分について、ビットシフト処理を行わない一方、該非関心領域タイルの色差成分について、非関心領域に対応する周波数成分変換係数に対し、下位ビット側へのシフト処理を行ない、
上記判別手段により判別された関心領域境界タイルの輝度成分について、関心領域に対応する周波数成分変換係数のみに対し、下位ビット側へのシフト処理を行なう一方、色差成分については、関心領域及びそれ以外の非関心領域に対応する周波数成分変換係数の両方に対し、下位ビット側へのシフト処理を行なうことを特徴とする請求項３記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295978A JP3915652B2 (ja) | 2002-10-09 | 2002-10-09 | 画像処理装置 |
| US10/669,259 US7315652B2 (en) | 2002-10-09 | 2003-09-25 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295978A JP3915652B2 (ja) | 2002-10-09 | 2002-10-09 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004134937A JP2004134937A (ja) | 2004-04-30 |
| JP3915652B2 true JP3915652B2 (ja) | 2007-05-16 |
Family
ID=32286078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002295978A Expired - Fee Related JP3915652B2 (ja) | 2002-10-09 | 2002-10-09 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7315652B2 (ja) |
| JP (1) | JP3915652B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004297321A (ja) * | 2003-03-26 | 2004-10-21 | Minolta Co Ltd | 画像処理システム |
| JP2006081152A (ja) * | 2004-08-12 | 2006-03-23 | Seiko Epson Corp | デジタル画像符号化装置、デジタル画像符号化プログラム、デジタル画像符号化方法、及びデジタル画像復号化装置、デジタル画像復号化プログラム、並びにデジタル画像復号化方法 |
| KR101035762B1 (ko) * | 2005-01-07 | 2011-05-20 | 삼성전자주식회사 | 개선된 패턴 데이터의 인식 장치 및 방법 |
| US7612783B2 (en) * | 2006-05-08 | 2009-11-03 | Ati Technologies Inc. | Advanced anti-aliasing with multiple graphics processing units |
| US8315466B2 (en) | 2006-12-22 | 2012-11-20 | Qualcomm Incorporated | Decoder-side region of interest video processing |
| EP2179589A4 (en) * | 2007-07-20 | 2010-12-01 | Fujifilm Corp | IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM |
| US20090196529A1 (en) * | 2008-02-06 | 2009-08-06 | William Su | System and method for content sensitive document processing |
| US9113169B2 (en) * | 2009-05-07 | 2015-08-18 | Qualcomm Incorporated | Video encoding with temporally constrained spatial dependency for localized decoding |
| US8724707B2 (en) | 2009-05-07 | 2014-05-13 | Qualcomm Incorporated | Video decoding using temporally constrained spatial dependency |
| FR2959636B1 (fr) * | 2010-04-28 | 2012-07-13 | Canon Kk | Procede d'acces a une partie spatio-temporelle d'une sequence video d'images |
| WO2012139275A1 (en) | 2011-04-11 | 2012-10-18 | Intel Corporation | Object of interest based image processing |
| US9363522B2 (en) * | 2011-04-28 | 2016-06-07 | Warner Bros. Entertainment, Inc. | Region-of-interest encoding enhancements for variable-bitrate mezzanine compression |
| JP2015141370A (ja) * | 2014-01-30 | 2015-08-03 | セイコーエプソン株式会社 | 画像表示装置、および画像表示装置の制御方法 |
| TWI812680B (zh) * | 2018-05-15 | 2023-08-21 | 日商索尼半導體解決方案公司 | 攝像裝置及攝像系統 |
| US10798389B2 (en) * | 2018-10-02 | 2020-10-06 | Tencent America LLC | Method and apparatus for content-aware point cloud compression using HEVC tiles |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3502165B2 (ja) | 1994-08-22 | 2004-03-02 | 富士写真フイルム株式会社 | デジタル画像ファイルシステム |
| US6404919B1 (en) * | 1997-08-14 | 2002-06-11 | Minolta Co., Ltd. | Image processor for encoding image data |
| JPH11103388A (ja) | 1997-09-26 | 1999-04-13 | Ricoh Co Ltd | 画像出力装置 |
| US6801665B1 (en) * | 1998-09-15 | 2004-10-05 | University Of Maryland | Method and apparatus for compressing and decompressing images |
| JP2000050268A (ja) | 1998-07-31 | 2000-02-18 | Minolta Co Ltd | 画像符号化装置 |
| SE9803454L (sv) * | 1998-10-09 | 2000-04-10 | Ericsson Telefon Ab L M | Förfarande och system för kodning av ROI |
| JP2000197050A (ja) * | 1998-12-25 | 2000-07-14 | Canon Inc | 画像処理装置及び方法 |
| JP2001218062A (ja) | 1999-11-11 | 2001-08-10 | Canon Inc | 画像処理装置及び方法と記憶媒体 |
| US6968088B2 (en) * | 2000-03-28 | 2005-11-22 | Canon Kabushiki Kaisha | Modification of detected quantization step size from the encoded bitstream based on a region of interest (ROI) bitmask |
| US6985632B2 (en) * | 2000-04-17 | 2006-01-10 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, and image processing method |
-
2002
- 2002-10-09 JP JP2002295978A patent/JP3915652B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-25 US US10/669,259 patent/US7315652B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004134937A (ja) | 2004-04-30 |
| US20040179609A1 (en) | 2004-09-16 |
| US7315652B2 (en) | 2008-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3915652B2 (ja) | 画像処理装置 | |
| JP3848443B2 (ja) | 圧縮デジタルデータ処理方法 | |
| US6975742B2 (en) | Rate-distortion optimization system and method for image compression | |
| JP5132517B2 (ja) | 画像処理装置および画像処理方法 | |
| CN100456802C (zh) | 图像的压缩、输出、扩展、印刷、复印、处理装置及方法 | |
| US6381371B1 (en) | Method and apparatus for processing image files | |
| US20120294524A1 (en) | Enhanced Multilayer Compression of Image Files Using OCR Systems | |
| US6741746B2 (en) | Method and apparatus for processing image files | |
| JP4805747B2 (ja) | 画像処理方法、画像出力方法、画像処理システム及び画像出力装置。 | |
| KR20120065394A (ko) | 화상처리장치 및 그 처리 방법 | |
| US6744919B2 (en) | Classification of blocks for compression based on number of distinct colors | |
| US8218911B2 (en) | Image processing apparatus and image processing method | |
| JP2008527809A (ja) | 画像圧縮および伸張加速化のためのプロセス | |
| US20040150840A1 (en) | Methods and systems for structuring a raster image file for parallel streaming rendering by multiple processors | |
| EP2302896A2 (en) | Data processing apparatus and data processing method for compressing image data | |
| US7373000B2 (en) | Image processing apparatus | |
| JP4013721B2 (ja) | 画像処理装置 | |
| JP3952981B2 (ja) | 画像処理装置 | |
| JPH0832781A (ja) | 画像処理装置 | |
| JPH05181961A (ja) | ファイリング装置の文書検索装置および連続文書表示装置 | |
| JP2000307867A (ja) | 画像処理装置及び方法並びに画像処理プログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP2004236230A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JPH0440075A (ja) | 画像符号化装置 | |
| JPH0440074A (ja) | 画像符号化装置 | |
| JP2005039316A (ja) | 画像符号化装置、画像処理装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050622 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070129 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |