JPH11215498A - 画像処理装置および画像処理方法およびプログラム記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 所望する部分の画像情報に対して画像劣化を
防止して、着目しない部分は圧縮率のよい圧縮符号化を
行うことを課題とする。 【解決手段】 画像情報を複数の領域に分割し、その領
域ごとに最適な圧縮方法を割り当て、それぞれの領域の
画像情報を圧縮する。また着目されている領域を検知す
る手段を有し、検出結果に基づいて制御させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を適応圧縮す
る画像処理装置および画像処理方法およびプログラムの
格納された記憶媒体に関するものである。

【０００２】

【従来の技術】従来、撮影装置で得た画像を格納する際
には、画像全体が一様な解像度・画質であると仮定し
て、画像全体に対して同一の量子化テーブルを用いて画
像圧縮処理を行い格納していた。

【０００３】しかし、撮影装置の光学的な特性により画
像中心部に比べ画像周辺部の解像度・画質は低く、また
撮影画像を表示するディスプレイに関しても近年の液晶
のように画像中心部に画質の差や歪みがないものはとも
かく、ブラウン管を用いる限りにおいては画像中心部に
対し画像周辺部はピントの精度も甘く、画像全体に対し
て同じような画像圧縮を行っても実際にはそれに見合っ
た画像表示結果を得ておらず、真に効率のよい圧縮とは
言えなかった。

【０００４】

【発明が解決しようとする課題】このように従来の技術
では、画像全体を一様な圧縮方法を使用しているにもか
かわらず、画像周辺部の画質は落ちているという問題が
あった。

【０００５】上述したような背景から本願発明の一つの
目的は、ユーザが所望する部分の画像データに対して画
像劣化を防止して圧縮符号化を行うことができる画像処
理装置および方法およびプログラムの格納された記憶媒
体を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は、画像情報を複数の領域に
分割し、その領域毎に圧縮する画像処理装置であって、
複数の領域に分割された画像情報の中で、着目されてい
る領域を検出する検出手段と、前記検出手段で検出され
た着目されている領域に基づいて、複数の領域を圧縮す
る圧縮手段として複数の圧縮手段の中からある圧縮手段
を割り当てるよう制御する制御手段とを有することを特
徴とする。

【０００７】また、本発明の画像処理方法は、画像情報
を複数の領域に分割し、その領域毎に圧縮する画像処理
方法であって、複数の領域に分割された画像情報の中
で、着目されている領域を検出させる検出工程と、前記
検出工程で検出された着目されている領域に基づいて、
複数の領域を圧縮する圧縮方法として複数の圧縮方法の
中からある圧縮方法を割り当てさせる制御する制御工程
とを含むことを特徴とする。

【０００８】また、本発明のプログラム記憶媒体は、画
像情報を複数の領域に分割し、その領域毎に圧縮する画
像処理装置を制御するプログラムが格納された記憶媒体
であって、複数の領域に分割された画像情報の中で、着
目されている領域を検出させる検出工程と、前記検出工
程で検出された着目されている領域に基づいて、複数の
領域を圧縮する圧縮方法として複数の圧縮方法の中から
ある圧縮方法を割り当てさせる制御する制御工程とを含
むことを特徴とする。

【０００９】

【発明の実施の形態】〔第一実施例〕図１は、本発明に
おける画像処理装置の第１実施例であるデジタルカメラ
の構成ブロックである。

【００１０】図１において、１はレンズ群、２はＣＣＤ
等の撮像素子、３は撮像素子２からの信号をテレビジョ
ン信号に変換するカメラ信号処理回路、４は撮影画像を
ＬＣＤ（液晶）モニターに表示させるためのＬＣＤ表示
回路、５はファインダーとして使用されるＬＣＤモニタ
ー、６は１画面のテレビジョン信号を複数のブロックに
分割するブロック分割回路である。

【００１１】１３は撮影者の眼球であり、ファインダー
内のＬＣＤモニター５に映し出される画像をモニターし
ている。

【００１２】１５は眼球１３の視線位置を検出するため
に赤外線を照射する赤外線発光ダイオード（ＩＲＥ
Ｄ）、１６は眼球１３で反射した赤外線を受光するＣＣ
Ｄセンサ、１４は赤外線発光ダイオード１５をドライブ
し、ＣＣＤセンサ１６からの情報で視線位置を解析する
視線検出回路、１７は視線検出回路１４の動作のＯＮ／
ＯＦＦを行う視線検出スイッチ、１８は視線検出回路１
４で作られた視線位置情報を元に画面上の座標群からな
るエリア情報を作り出す優先エリア生成回路である。

【００１３】７は優先エリア生成回路１８で作られた優
先エリアに含まれるマクロブロックがその他のマクロブ
ロックより画像劣化の低い圧縮方法をになるように、ブ
ロック毎に圧縮方法を割り当てる圧縮推定回路である。
８は圧縮推定回路７の結果を受けてブロック毎に画像劣
化の少ない圧縮を行う第一圧縮回路、９は第一圧縮回路
８で圧縮されなかったブロックのデータを画像劣化の大
きい、つまり画像圧縮率のよい圧縮を行う第二圧縮回
路、１０は誤り訂正符号等記録に必要な信号を付加する
記録処理回路、１１は記録部、１２はＦＤ等の記憶媒体
である。

【００１４】以上のように構成されたデジタルカメラの
動作を説明する。

【００１５】まず被写体の画像はレンズ群１により撮像
素子２上に結像され、電気信号に変換され、処理されて
ＬＣＤモニター５に画像を表示する。

【００１６】視線検出スイッチ１７がＯＮであれば、撮
影者の眼球１３がＬＣＤモニター５の画像をモニターし
ている間、視線検出回路１４は赤外線発光ダイオード１
５をドライブし、眼球１３に赤外線を照射し、反射した
赤外線をＣＣＤセンサ１６で受光し、ＣＣＤセンサ１６
からの情報で視線位置情報をつくる。尚、視線位置検出
方法は例えば、特願平３−２２０１４０号公報で出願さ
れているような方法を用いる。

【００１７】視線検出回路１４からの視線位置情報を基
に優先エリア生成回路１８では画面上の座標群からなる
エリア情報を作出す。一方、カメラ信号処理回路３から
の画像信号は、ブロック分割回路６で処理されて第一圧
縮回路８及び第二圧縮回路９に画像データが送られる。

【００１８】圧縮推定回路１０では、優先エリア生成回
路１８で作られた優先エリアに含まれるマクロブロック
が固定長化単位内のその他のブロックより画像劣化の低
い圧縮方法をになるように、ブロック毎に最適な圧縮方
法を割り当てる。

【００１９】この動作を図面をもちいて説明する。

【００２０】図２はＬＣＤモニター５の画像を示してお
り、例として中央に男女がおり右上に太陽、右下にヨッ
トがある場面になっている。

【００２１】ブロック分割回路６は、図２の画像を図３
に示されるように、左上の画素から順に（６４×６４）
画素のブロックに分ける。図３の例では、ちょうど（６
４×６４）画素のブロックに分割できる例を示してい
る。右端に余りがでる場合は、一番右のブロック（図３
の４、９、１４、１９）は一番右の画素と同じ画素を残
りの画素に埋め込み、下端に余りがでる場合は、一番下
のブロック（図３の１５、１６、１７、１８、１９）は
一番下の画素と同じ画素を残りの画素に埋め込むようブ
ロック分割回路６は制御する。尚、このように画像をブ
ロックに分割する処理は、視線検出回路１４でも行われ
る。予めＬＣＤ５に表示されている画面を前述したよう
なブロックに分割し、視線位置を検出するのである。

【００２２】撮影者は中央左の男性の頭部（×の位置）
を注視している。視線検出スイッチ１７がＯＮであれば
注視点は視線検出回路１４で画面内の座標が求められ、
視線位置情報となる。視線位置情報を基に優先エリア生
成回路１８では、図４の斜線部で示されるような座標群
からなる優先エリア情報を作り出す。

【００２３】図４で示されているように、両方の斜線部
で示されるブロックは、視線検出回路１４で視線位置と
して検出された図３のブロック６である。このブロック
は画面の男性の顔の部分にあたり、使用者が注視してい
るため、もっとも優先度が高いブロックである。優先エ
リア生成回路１８は、視線検出回路１４で得られた注視
点の座標からそれぞれのブロックまでの距離を求める。
視線検出回路１４で得られた注視点からの距離がもっと
も近いブロックである図２の５、７、１１のブロック
は、図３で片方の実践の斜線で示されており、第一優先
ブロックとして優先エリア生成回路１８により割り当て
られる。つぎに注視点から近い距離にある図２の１０、
１２のブロックが、図３で片方の破線の斜線で示されて
おり、第二優先ブロックとなる。それ以外のブロックは
非着目ブロックとなる。それぞれの優先エリア情報は、
非画像情報としてこの画像データの画像フォーマットに
優先エリア生成回路１８によって記憶される。

【００２４】このように優先エリア生成回路１８によっ
て付加された優先エリア情報と、ブロック分割回路６に
よってブロック分割された画像データは圧縮推定回路７
に送られる。圧縮推定回路７では、ブロック分割された
画像データと優先エリア情報に基づいて、それぞれのブ
ロックの画像データを圧縮する圧縮方法を割り当てる。
例えば、図４のように優先エリア情報が生成されている
場合は、注視点のブロックであるブロック６と第一優先
ブロックであるブロック５、７、１１は、ユーザが着目
していることが視線検出回路１４により検出されている
ので、画像劣化のない可逆圧縮で圧縮されるように割り
当てる。また、比較的優先度の高い第二優先ブロックで
あるブロック１０、１２は、画像劣化の少ない非可逆圧
縮で圧縮されるように割り当てられ、ユーザの着目点か
ら遠いブロックである残りの非着目ブロックは、画像劣
化の大きい非可逆圧縮で圧縮されるように割り当てられ
る。

【００２５】続いて第一圧縮回路８は、圧縮推定回路７
によって可逆圧縮として割り当てられたブロックを可逆
圧縮する。

【００２６】続いて第二圧縮回路９は、圧縮推定回路７
によって非可逆圧縮として割り当てられたブロックをＪ
ＰＥＧなどの非可逆圧縮する。ここで比較的優先度の高
い第二優先ブロックとして圧縮推定回路７で指定された
ブロックは、圧縮率を低めに設定されて圧縮される。更
に、圧縮推定回路７で非着目ブロックと指定されたブロ
ックは圧縮率を高くして第二圧縮回路９によって非可逆
圧縮される。

【００２７】次に、第一圧縮回路８及び第二圧縮回路９
により圧縮された画像データは記録処理回路１４で誤り
訂正符号等記録に必要な信号を付加され、適当な画像フ
ォーマット例えばフラッシュピックスフォーマット（Fl
ashPix）に編集され、記録部１１によりメモリカード等
の記憶媒体１２に記録される。

【００２８】本発明の画像処理装置で用いられる画像フ
ォーマットについて説明する。

【００２９】〔FlashPix^TMファイルフォーマットの説
明〕以後説明するFlashPixTM(FlashPixは米国Eastman K
odak社の登録商標)ファイルフォーマットでは、上記画
像ヘッダ部に格納されていた画像属性情報および画像デ
ータをさらに構造化してファイル内に格納する。この構
造化した画像ファイルを図１１、図１２に示す。

【００３０】ファイル内の各プロパティやデータにはMS
-DOSのディレクトリとファイルに相当する、ストレージ
とストリームによってアクセスする。図１１、図１２に
おいて、影付き部分がストレージで影なし部分がストリ
ームである。画像データや画像属性情報はストリーム部
分に格納される。画像データは異なる解像度で階層化さ
れておりそれぞれの解像度の画像をSubimageと呼び、Re
solution 0, 1,...nで示してある。各解像度画像に対し
て、その画像を読み出すために必要な情報がSubimage h
eaderに、また画像データがSbuimage dataに格納され
る。

【００３１】プロパティセットとは属性情報をその使用
目的、内容に応じて分類して定義したもので、Summary
Info. Property Set, Image Info. Property Set, Imag
e Content Property Set、Extension list property Se
tがある。

【００３２】〔各プロパティセットの説明〕Summary In
fo. Property SetはFlashPix特有のものではなく、Micr
osoft社のストラクチャードストレージでは必須のプロ
パティセットで、そのファイルのタイトル・題名・著者
・サムネール画像等を格納する。

【００３３】Image Contents Property Setは画像デー
タの格納方法を記述する属性である(図１５)。この属性
には画像データの階層数、最大解像度の画像の幅、高さ
や、それぞれの解像度の画像についての幅、高さ、色の
構成、あるいはJPEG圧縮を用いる際の量子化テーブル・
ハフマンテーブルの定義を記述する。

【００３４】Image Info. Property Setは画像を使用す
る際に利用できるさまざまな情報、例えば、その画像が
どのようにして取り込まれ、どのように利用可能である
かの情報を格納する。

【００３５】・デジタルデータの取り込み方法／あるい
は生成方法に関する情報（File Source） ・著作権に関する情報（Intellectual property） ・画像の内容（画像中の人物、場所など）に関する情報
（Content description） ・撮影に使われたカメラに関する情報（Camera informa
tion） ・撮影時のカメラのセッティング（露出、シャッタース
ピード、焦点距離、フラッシュ使用の有無など）の情報
（Per Picture camera settings） ・デジタルカメラ特有解像度やモザイクフィルタに関す
る情報（ Digital camera characterization ） ・フィルムのメーカ名、製品名、種類（ネガ／ポジ、カ
ラー／白黒）などの情報（Film description） ・オリジナルが書物や印刷物である場合の種類やサイズ
に関する情報（Original document scan description） ・スキャン画像の場合、使用したスキャナやソフト、操
作した人に関する情報（Scan device）

【００３６】Extension list property Setは上記Flash
Pixの基本仕様に含まれない情報を追加するさいに使用
する領域である。本発明で使用される視線入力された着
目ブロックを示す優先位置情報は、ここに記憶される。

【００３７】図１２のFlashPix Image View Objectは画
像を表示する際に用いるビューイングパラメータと画像
データをあわせて格納する、画像ファイルである。ビュ
ーイングパラメータとは画像の回転、拡大／縮小、移
動、色変換、フィルタリングの処理を画像表示の際に適
応するために記憶しておく処理係数のセットである。

【００３８】Source/Result FlashPix Image ObjectはF
lashPix画像データの実体であり、Source FlashPix Ima
ge Objectは必須、Result FlashPix Image Objectはオ
プションである。Source FlashPix Image Objectはオリ
ジナルの画像データを、Result FlashPix Image Object
はビューイングパラメータ使ってを画像処理した結果の
画像を格納する。

【００３９】Source/Result desc. Property setは上
記、画像データの識別のためのプロパティセットであ
り、画像ＩＤ、変更禁止のプロパティセット、最終更新
日時等を格納する。

【００４０】Transform property setは回転、拡大／縮
小、移動のためのAffine変換係数、色変換マトリクス、
コントラスト調整値、フィルタリング係数を格納してい
る。

【００４１】次に画像データの取り扱いについて説明す
る。

【００４２】〔タイルに分割された複数の解像度の画像
を含む画像フォーマットの説明〕図に解像度の異なる複
数の画像から構成される画像ファイルの例を示す。図１
３で最大解像度の画像は列×行がＸ０×Ｙ０で構成され
ており、その次に大きい画像はＸ０／2×Ｙ０／2であ
り、それ以降順次、列・行ともに１／２づつ縮小し、列
・行ともに６４画素以下あるいは等しくなるまで繰り返
す。

【００４３】このように階層化した結果、画像の属性情
報として「１つの画像ファイル中の階層数」やそれぞれ
の階層の画像に対して、従来の画像フォーマットの項で
説明したヘッダ情報と画像データが必要となる。１つの
画像ファイル中の階層の数や最大解像度の画像の幅、高
さ、あるいはそれぞれの解像度の画像の幅、高さ、色構
成、圧縮方式等に関する情報は前記Image Contents Pro
perty Set図１５中に記述される。

【００４４】さらに各解像度のレイヤの画像は図１４に
示すように６４×６４のタイルに分割されている。画像
の左上部から順次６４×６４のタイルに分割をすると、
画像によっては右端および下端のタイルの一部に空白が
生ずる場合がある。この場合はそれぞれ最右端画像また
は最下端画像を繰り返し挿入することで、６４×６４画
素を構築する。FlashPix^TMではそれぞれのタイル中の画
像をJPEG圧縮、シングルカラー、非圧縮のいずれかの方
法で格納する。JPEG圧縮はISO/IEC JTC1/SC29により国
際標準化された画像圧縮方式であり、方式自体の説明は
ここでは割愛する。このようにタイル分割された画像デ
ータはSubimage dataストリーム中に格納され、タイル
の総数、個々のタイルのサイズ、データの開始位置、圧
縮方法はすべてSubimage header(図１６)に格納されて
いる。

【００４５】シングルカラーとは、前記１つのタイルが
すべて同じ色で構成されている場合にのみ、個々の画素
の値を記録することなく、そのタイルの色を１色で表現
する方式である。この方法は特に、コンピュータグラフ
ィックスにより生成された画像で有効である。

【００４６】このようなフラッシュピックスの画像フォ
ーマットは、記録処理回路１０で作成される。

【００４７】以上説明したように、本発明の装置は以下
の構成からなる。

【００４８】画像情報を複数の領域（図３）に分割し、
その領域毎に圧縮する画像処理装置であって、複数の領
域に分割された画像情報の中で、着目されている領域を
検出する検出手段（視線検出回路１４）と、前記検出手
段で検出された着目されている領域に基づいて、複数の
領域を圧縮する圧縮手段として複数の圧縮手段の中から
ある圧縮手段を割り当てるよう制御する制御手段（圧縮
推定回路７）とを有することを特徴とする画像処理装置
である。

【００４９】また前記制御手段は、前記検出手段の検出
された着目領域と前記各領域との距離に基づいて、前記
各領域に対して重み付けを行う重み付け手段（優先エリ
ア生成回路１８）を含み、該重み付け手段の結果に基づ
いて前記各領域に圧縮手段（第一圧縮手段と第二圧縮手
段）を割り当てることを特徴とするものである。

【００５０】また、本発明の画像処理装置は、複数の領
域に分割された画像の中で、着目する領域を指定させる
指定手段（ＣＣＤセンサ１６と赤外線発光ダイオード１
５）を更に有することを特徴とするものである。

【００５１】また、本発明の画像処理装置は、画像情報
をそれぞれが所定の大きさ（実施例では、６４×６４画
素）の複数の領域に分割する分割手段（ブロック分割回
路６）を更に有することを特徴とする請求項１記載の画
像処理装置。

【００５２】また、本発明の画像処理装置は、画像情報
を入力する入力手段（ＣＣＤなどの撮像素子２）を更に
有することを特徴とするものである。

【００５３】また、本発明の画像処理装置は、制御手段
により領域毎に圧縮された画像情報を外部装置へ出力す
る出力手段（記録部１１）を更に有するものである。

【００５４】また、画像情報は、非画像情報（実施例で
いうProperty set）を含んでおり、該非画像情報に着目
領域を識別する（情報実施例でいう優先位置情報）が存
在することを特徴とする請求項１記載の画像処理装置。

【００５５】このように画像処理装置を構成することに
より、第一実施例では、撮影入力機器内で、画像情報を
複数の領域に分割し、それぞれの領域に適した圧縮方法
を割り当てられるので、ユーザが所望する部分の画像情
報に対して画質劣化を防止でき、更に所望していない部
分の画像情報には別の圧縮方法を用いるので圧縮効率の
よい圧縮符号化を行うことができる。

【００５６】〔第二実施例〕図５は、本発明における画
像処理装置の第二実施例であるホストコンピュータの構
成ブロックである。

【００５７】５００は制御手段であるＣＰＵであり、Ｈ
Ｄ（ハードディスク）５０５に格納されているアプリケ
ーションプログラム、プリンタドライバプログラム、Ｏ
Ｓや本願発明の画像処理プログラム等を実行し、ＲＡＭ
５０２にプログラムの実行に必要な情報、ファイル等を
一時的に格納する制御を行う。

【００５８】５０１は記憶媒体であるＲＯＭであり、内
部には、基本Ｉ／Ｏプログラム等のプログラム、文書処
理の際に使用するフォントデータ、テンプレート用デー
タ等の各種データを記憶する。

【００５９】５０２は記憶媒体であるＲＡＭであり、Ｃ
ＰＵ５００の主メモリ、ワークエリア等として機能す
る。

【００６０】５０３はＦＤ（フロッピーディスク）ドラ
イブであり、図８に示すようにＦＤドライブ５０３を通
じてＦＤ５０４に記憶されたプログラム等を本コンピュ
ータシステムにロードすることができる。５０４はＦＤ
であり、本実施例で説明する画像処理プログラムおよび
関連データを格納しており、その記憶されている内容の
構成を図７に示す。

【００６１】図７において、７００はＦＤ５０４のデー
タ内容であり、７０１はデータの情報を示すボリューム
情報であり、７０２はディレクトリ情報、７０３は本実
施例で説明する画像処理プログラム、７０４はその関連
データである。

【００６２】７０３の画像処理プログラムは、図９に示
される画像処理手順のフローチャートに基づいてプログ
ラムコード化されたものである。

【００６３】５０５はスプール手段（記憶手段）である
ＨＤ（ハードディスク）であり、アプリケーションプロ
グラム、プリンタドライバプログラム、ＯＳ、画像処理
プログラム、関連プログラム等を格納している。また、
後述するが外部装置から入力した画像データはここに格
納される。

【００６４】５０６は入力手段であるキーボードであ
り、ユーザがクライアントコンピュータに対して、デバ
イスの制御コマンドの命令等を入力指示するものであ
る。

【００６５】５０７は表示手段であるディスプレイであ
り、キーボード５０６から入力したコマンドや、プリン
タの状態等を表示したりするものである。５０８はシス
テムバスであり、ホストコンピュータ内のデータの流れ
を司るものである。

【００６６】また、本実施例で説明するホストコンピュ
ータは、送信手段であるインタフェース５０９を有して
おり、デジタルカメラやスキャナやプリンタ等の外部機
器とのデータの入出力を行うことが可能となっている。
また、インタフェース５０９がネットワークボードを使
用していても本発明を実施することは可能である。

【００６７】図６は、本画像処理プログラムがＲＡＭ５
０２にロードされ実行可能となった状態のメモリマップ
を表すものである。

【００６８】本実施例では、ＦＤ５０４から画像処理プ
ログラム及び関連データを直接ＲＡＭ５０２にロードし
て実行させる例を示すが、この以外にも、ＦＤ５０４か
ら画像処理プログラムを動作させる度に、ＨＤ５０５か
らＲＡＭ５０２にロードするようにしてもよい。また、
本画像処理プログラムを記録する媒体は、ＦＤ以外にＣ
Ｄ−ＲＯＭ、ＩＣメモリーカード等であっても良い。更
に、画像処理プログラムをＲＯＭ５０１に記録してお
き、これをメモリマッップの一部となすように構成し、
直接ＣＰＵ５００で実行することも可能である。

【００６９】６０１は基本Ｉ／Ｏプログラムであり、本
制御装置の電源がＯＮされたときに、ＨＤ５０５からＯ
ＳがＲＡＭ５０２に読み込まれ、ＯＳの動作を開始させ
るＩＰＬ（イニシャルプログラムローティング）機能等
を有しているプログラムが入っている領域である。６０
２はＯＳであり、６０３には画像処理プログラム、６０
４には関連データがそれぞれ展開され、６０５にはＣＰ
Ｕ５００が本画像処理プログラムを実行するワークエリ
アがとられている。

【００７０】上記のように構成されたホストコンピュー
タの画像処理の流れを図９のフローチャートを用いて説
明する。図９のフローチャートは、ＣＰＵ５００の機能
であり、記憶媒体に格納された本画像処理プログラムの
プログラムコードに基づいてＣＰＵ５００が各部を制御
することにより実現される。

【００７１】まずステップＳ９０１において、ホストコ
ンピュータは外部機器からインタフェース５０９を介し
て画像情報を入力し、ＨＤ５０５に画像情報を格納す
る。続いてステップＳ９０２では、ＣＰＵ５００はＨＤ
５０５に格納されている画像情報の画像を第一実施例で
説明したように、（６４×６４）画素のブロック単位に
分割する。

【００７２】ステップＳ９０３では、ステップ９０２で
分割された画像情報から着目されている領域（ブロッ
ク）を検出する。ここで着目領域の検出は、第一実施例
で説明したように、読み込まれた画像情報に含まれる非
画像情報内に格納されている優先位置情報もしくは視線
入力位置の座標を検出することにより実現する。

【００７３】ＣＰＵ５００はステップＳ９０３で画像情
報に着目領域が検出されたか判断し（ステップＳ９０
４）、着目領域があると判断されるとステップＳ９０７
に処理を進め、第一実施例で説明したように各ブロック
毎に優先度の重み付けを行う。この場合も視線入力位置
の座標からの距離もしくは優先位置情報に基づいて、画
像情報をブロック単位で圧縮する際の優先度をＣＰＵ５
００が決定する。

【００７４】ステップＳ９０４において着目領域がない
と判断されると、ステップＳ９０５に処理を進め、着目
領域を指定するか否か判断する。これは、ディスプレイ
５０７に「着目領域を指定しますか？」という図示省略
したダイアログを表示し、ユーザにキーボード５０６な
どの指示入力手段によってユーザの意志を入力させるこ
とにより、ＣＰＵ５００が判断する。ユーザが着目領域
を指定すると入力し、ＣＰＵ５００がそれを判断した場
合は、ステップＳ９０６に処理を進め領域を指定させ
る。これは、ディスプレイ５０７に画像情報の画面を表
示させ、ユーザにマウスなどの図示省略した指示手段か
ら着目座標を指定してもらいそれをＣＰＵ５００が判断
し、実際の画像情報との位置を照らし合わせることによ
り実現する。ステップＳ９０６で領域指定が行われる
と、ステップＳ９０７で前述したような重み付けを行
う。

【００７５】ステップＳ９０５で、ユーザが着目領域を
指定しないことをＣＰＵ５００が判断するとステップＳ
９０８では、ブロック毎に圧縮方法を割り当てる。この
流れの場合は、中央のブロックに画像劣化の低い圧縮方
法を割り当て、中央から離れるに従って画像劣化の大き
く圧縮率のいい圧縮方法を割り当てる。

【００７６】ステップＳ９０７で重み付けを行われた画
像情報は、ステップＳ９０８において、優先度情報に基
づいて第一実施例で説明したように圧縮方法を割り当て
られる。つまり、優先度の一番高いブロックは画像圧縮
率よりも画質優先つまり画像劣化のない可逆圧縮方法を
割り当て、次に優先度の高いブロックは画像圧縮率もほ
どほどよく画像劣化が少ない非可逆圧縮方法を割り当
て、優先度の低いブロックは画像劣化は大きいが圧縮率
を優先させた非可逆圧縮方法を割り当てる。ステップＳ
９０８で割り当てられた圧縮方法は、ブロック毎の非画
像情報であるSubimage header（図１６）にどの圧縮方
法で圧縮されるべきが記憶される。

【００７７】次にステップＳ９０９において、ステップ
Ｓ９０８で割り当てられた圧縮方法に従って各ブロック
毎に圧縮される。本実施例での圧縮方法は、可逆圧縮と
非可逆圧縮を含んでおり、非可逆圧縮には更に圧縮率違
う２種類の圧縮方法を用いている。これらの圧縮方法は
画像処理プログラムと一緒にＨＤ５０５に格納されてい
る。

【００７８】ステップＳ９１０では、ステップＳ９０９
で圧縮された各ブロックの画像データを含む画像情報を
ＨＤ５０５に格納する。ステップＳ９１１では、必要に
応じて画像情報をインタフェース５０９から外部装置
に、もしくはディスプレイ５０７に出力する。

【００７９】以下に図１０を用いて圧縮方法の割り当て
を更に詳細に説明する。

【００８０】図１０における図表の横方向は、視線によ
るビットレートであり、縦方向は光学的なビットレート
を表している。この図には、非可逆圧縮におけるビット
レートを決定する図面である。

【００８１】図１０に示しているように、この決定方法
は、前述したような視線入力が為されている着目ブロッ
クだけでなく、光学的に優先されるべきブロックを考慮
したものである。なぜなら、カメラ等の撮影入力機器か
ら入力された画像情報は、中央が一番光学的に鮮明に情
報があり、中央から遠ざかるにつれて光の量が減りレン
ズの歪みなどにより解像度が低く画質が悪いからであ
る。

【００８２】この図におけるアルファベットＡ、Ｂ、Ｃ
は、この順で優先度がつけられていることを示してい
る。前述したように視線入力されている着目領域は、視
線の優先度がＡであり、距離が離れるに従って、Ｂ、Ｃ
となる。更に光学的な優先領域も考慮し、光学的には、
中央の優先度がＡとなり、中央から離れるに従って解像
度や画質が低下するので優先度がＢ、Ｃとなる。これを
組み合わせて、図１０のように最終的な優先度が決めら
れ、非可逆圧縮方法で用いられるビットレートが決めら
れる。

【００８３】上記説明したような処理が画像情報の画像
データに対して行われる。またこの処理は第一実施例で
説明したフラッシュピックスフォーマットのような複数
解像度を持つ画像フォーマットの場合は、すべての階層
のレイヤーでこのような圧縮処理を行う。

【００８４】以上説明したように、本第二実施例で説明
した装置は以下の構成からなる。

【００８５】画像情報を複数の領域（図３）に分割し、
その領域毎に圧縮する画像処理装置であって、複数の領
域に分割された画像情報の中で、着目されている領域を
検出する検出手段（ＣＰＵ５００の機能、Ｓ９０３）
と、前記検出手段で検出された着目されている領域に基
づいて、複数の領域を圧縮する圧縮手段として複数の圧
縮手段の中からある圧縮手段を割り当てるよう制御する
制御手段（ＣＰＵ５００の機能、Ｓ９０８）とを有する
ことを特徴とする画像処理装置である。

【００８６】また、本発明の画像処理方法は、以下の工
程からなる。

【００８７】画像情報を複数の領域に分割し、その領域
毎に圧縮する画像処理方法であって、複数の領域に分割
された画像情報の中で、着目されている領域を検出させ
る検出工程（Ｓ９０３）と、前記検出工程で検出された
着目されている領域に基づいて、複数の領域を圧縮する
圧縮方法として複数の圧縮方法の中からある圧縮方法を
割り当てさせるよう制御する制御工程（Ｓ９０８）とを
含むものである。

【００８８】このように本第二実施例では、ホストコン
ピュータ内で、画像情報を複数の領域に分割されたそれ
ぞれの領域に適した圧縮方法を割り当てられるので、ユ
ーザが所望する部分の画像情報に対して画質劣化を防止
でき、更に所望していない部分の画像情報には別の圧縮
方法を用いるので圧縮効率のよい圧縮符号化を行うこと
ができる。

【００８９】

【発明の効果】以上説明したように本願発明によれば、
画像情報を複数の領域に分割されたそれぞれの領域に適
した圧縮率で圧縮できるので、従来のように画像全体を
ある圧縮方法で均等にデータ圧縮する場合よりも、ユー
ザが所望する部分の画像情報に対して画質劣化を防止で
き、更に所望していない部分の画像情報には圧縮率を優
先した圧縮を用いるので圧縮効率のよい圧縮符号化を行
うことができる。

【００９０】また、ユーザの注視点位置を入力指示でき
るので、画像劣化を少なくする領域をユーザが指示でき
る。

【００９１】また、画像情報に非画像情報を含んでいる
ので、着目領域を識別する情報を非画像情報に記憶する
ことができるので、その情報を用いて圧縮方法を領域毎
に割り当てることができる。

【図面の簡単な説明】

【図１】本発明にかかる第一実施例であるデジタルカメ
ラの構成ブロック図である。

【図２】ＬＣＤ５に表示される画像を示した図である。

【図３】図２の画像をブロックに分割する説明図であ
る。

【図４】優先エリア生成回路１８によりブロックごとに
優先度が生成されることを説明する説明図である。

【図５】本発明にかかる第二実施例であるホストコンピ
ュータの構成ブロック図である。

【図６】本発明の画像処理プログラムをＲＡＭに展開し
た時のメモリマップである。

【図７】本発明の画像処理プログラムを記憶した記憶媒
体のメモリマップである。

【図８】本発明の画像処理プログラムをホストコンピュ
ータに供給するときの説明図である。

【図９】本発明の画像処理方法の処理の流れを示すフロ
ーチャートである。

【図１０】本発明にかかる圧縮方法を決定する際のビッ
トレート決定図である。

【図１１】本発明の実施例で使用される画像フォーマッ
トの構造を説明する図である。

【図１２】本発明の実施例で使用される画像フォーマッ
トの構造を説明する図である。

【図１３】本発明の実施例で使用される画像フォーマッ
トの構造を説明する図である。

【図１４】本発明の実施例で使用される画像フォーマッ
トの構造を説明する図である。

【図１５】本発明の実施例で使用される画像フォーマッ
トの構造を説明する図である。

【図１６】本発明の実施例で使用される画像フォーマッ
トの構造を説明する図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 5/92 Ｈ０４Ｎ 5/91 Ｊ // Ｈ０３Ｍ 7/30 5/92 Ｈ

Claims (21)

【特許請求の範囲】
1. 【請求項１】 画像情報を複数の領域に分割し、その領
   域毎に圧縮する画像処理装置であって、複数の領域に分
   割された画像情報の中で、着目されている領域を検出す
   る検出手段と、前記検出手段で検出された検出結果に基
   づいて、各領域を圧縮する圧縮レベルを切り替えるよう
   制御する制御手段とを有することを特徴とする画像処理
   装置。
2. 【請求項２】 前記制御手段は、前記検出手段の検出さ
   れた着目領域と前記各領域との距離に基づいて、前記各
   領域に対して重み付けを行う重み付け手段を含み、該重
   み付け手段の結果に基づいて前記各領域に対し複数の圧
   縮手段の中から圧縮手段を割り当てることを特徴とする
   請求項１記載の画像処理装置。
3. 【請求項３】 前記複数の圧縮手段は、非可逆圧縮と可
   逆圧縮とを含むことを特徴とする請求項２記載の画像処
   理装置。
4. 【請求項４】 複数の領域に分割された画像の中で、着
   目する領域を指定させる指定手段を更に有することを特
   徴とする請求項１記載の画像処理装置。
5. 【請求項５】 前記画像情報をそれぞれが所定の大きさ
   の複数の領域に分割する分割手段を更に有することを特
   徴とする請求項１記載の画像処理装置。
6. 【請求項６】 画像情報を入力する入力手段を更に有す
   ることを特徴とする請求項１記載の画像処理装置。
7. 【請求項７】 前記制御手段により領域毎に圧縮された
   画像情報を外部装置へ出力する出力手段を更に有するこ
   とを特徴とする請求項１記載の画像処理装置。
8. 【請求項８】 前記画像処理装置は、デジタルカメラで
   あることを特徴とする請求項１記載の画像処理装置。
9. 【請求項９】 前記画像処理装置は、ホストコンピュー
   タであることを特徴とする請求項１記載の画像処理装
   置。
10. 【請求項１０】 前記画像情報は、非画像情報を含んで
    おり、該非画像情報に着目領域を識別する情報が存在す
    ることを特徴とする請求項１記載の画像処理装置。
11. 【請求項１１】 前記画像情報は、縦横６４画素の正方
    形の領域に分割され、残りの画素は画像情報の最後の画
    素と同じ情報で占められていることを特徴とする請求項
    １記載の画像処理装置。
12. 【請求項１２】 画像情報を複数の領域に分割し、その
    領域毎に圧縮する画像処理方法であって、複数の領域に
    分割された画像情報の中で、着目されている領域を検出
    させる検出工程と、前記検出工程で検出された検出結果
    に基づいて、各領域を圧縮する圧縮方法を切り替えるよ
    う制御させる制御工程とを含むことを特徴とする画像処
    理方法。
13. 【請求項１３】 前記制御工程は、前記検出工程の検出
    された着目領域と前記各領域との距離に基づいて、前記
    各領域に対して重み付けを行う工程を含み、重み付け工
    程の結果に基づいて各領域に複数の圧縮方法の中から圧
    縮方法を割り当てさせることを特徴とする請求項１２記
    載の画像処理方法。
14. 【請求項１４】 前記複数の圧縮方法は、非可逆圧縮と
    可逆圧縮とを含むことを特徴とする請求項１３記載の画
    像処理方法。
15. 【請求項１５】 複数の領域に分割された画像の中で、
    着目する領域を指定させる指定工程を更に含むことを特
    徴とする請求項１２記載の画像処理方法。
16. 【請求項１６】 前記画像情報をそれぞれが所定の大き
    さの複数の領域に分割する分割工程を更に含んでいるこ
    とを特徴とする請求項１２記載の画像処理方法。
17. 【請求項１７】 画像情報を入力させる入力工程を更に
    含むことを特徴とする請求項１２記載の画像処理方法。
18. 【請求項１８】 前記制御工程で領域毎に圧縮された画
    像情報を外部装置へ出力させる出力工程を更に含むこと
    を特徴とする請求項１２記載の画像処理方法。
19. 【請求項１９】 前記画像情報は、非画像情報を含んで
    おり、該非画像情報に着目領域を識別する情報が存在す
    ることを特徴とする請求項１２記載の画像処理方法。
20. 【請求項２０】 前記画像情報は、縦横６４画素の正方
    形の領域に分割され、残りの画素は画像情報の最後の画
    素と同じ情報で占められていることを特徴とする請求項
    １２記載の画像処理方法。
21. 【請求項２１】 画像情報を複数の領域に分割し、その
    領域毎に圧縮するプログラムが格納された記憶媒体であ
    って、複数の領域に分割された画像情報の中で、着目さ
    れている領域を検出させる検出工程と、前記検出工程で
    検出された検出結果に基づいて、各領域を圧縮する圧縮
    方法を切り替えるよう制御させる制御工程とを含むこと
    を特徴とするコンピュータ読み取り可能なプログラムが
    格納された記憶媒体。