JPWO2005029863A1 - 画像処理表示装置および画像処理表示方法 - Google Patents

Abstract

撮影した画像に対するリアルタイムの加工処理を少ないメモリ容量で実現できるようにする。画像圧縮装置（３）は、入力された原画像（９０）を単位画像（９１），（９２），・・・毎に圧縮し、単位画像（９２），・・・に対し、所定の基準データを変換することで原画像（９０）の圧縮データ（９０ａ）を生成する。参照情報生成装置（４）は、基準データの変換が行われた単位画像（９２），・・・それぞれの変換前の基準データを画像圧縮装置（３）から取得する。画像伸張装置（５）は、圧縮された単位画像（９１），（９２ａ），・・・を、画像処理内容に応じた順番で取得し、変換前の基準データを用いて伸張する。画像処理装置（６）は、伸張された単位画像に対し、予め指定された画像処理内容に応じた加工を施して出力する。

Description

本発明は画像処理表示装置および画像処理表示方法に関し、特に撮影したデジタル画像をリアルタイムに加工して表示する画像処理表示装置および画像処理表示方法に関する。

一般に、デジタルカメラでは、撮影した画像をリアルタイムに液晶ディスプレイ等の表示装置に表示する。これにより、表示装置がファインダとして機能する。また、デジタルカメラには、入力画像になんらかの加工処理を施して出力する機能を有するものがある。入力画像に対する加工処理としては、たとえば、画像を回転して表示させたり、左右を反転して表示させたりする処理がある。
撮影した画像をリアルタイムに加工する場合、画像を一旦メモリに格納し、このメモリ上で画像の変換処理を施す。そして、加工後の画像を表示装置に表示させることで、加工された画像が表示される。
ところで、近年、デジタルカメラに求められる画像品質が高くなっており、デジタルカメラで撮影される画像の画素数は増加の一途を辿っている。しかも、携帯電話機等の電子機器の付加機能としてデジタルカメラが搭載される場合でも、高解像度化が進んでいる。たとえば、携帯電話機の付属機能として搭載されるデジタルカメラでも、１００万画素以上の画素数を有しているものが多数ある。ところが、画像の画素数が増加すれば、その画像を加工するために必要なメモリ容量も増加し、装置全体のコストアップを招く。
たとえば、画像を圧縮してメモリに格納し、その圧縮データを全てデコードした後で画像全体に処理を施す方法も考えられる。しかしこの方法では大容量のメモリを必要とするだけでなく、処理のレイテンシ（カメラで画像を捉えてから、その画像が表示されるまでにかかる遅延時間）も増大する。これは、上記ファインダ動作にとっては大変不都合である。
このように、元の画像を復元した後でその画像を加工するのでは、復元された画像を保存するメモリが必須となる。したがって、圧縮データを伸張させながら、復元した画像を保存せずに、加工処理を施せるような機能が望まれる。その場合、ブロック等の単位画像で構成される圧縮データを、任意のブロックから伸張できる必要がある。
ただし、圧縮データには、ブロック毎に符号化した符号化成分を有し、且つ符号化成分に他のブロックとの差分に関する情報が含まれている場合がある。たとえば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式では、ブロック毎に符号化されるが、符号化されたデータの一部がＤＣ（直流）成分となる。このＤＣ成分は、他のブロックとの差分値に符号化される。このように、差分値に符号化された値を有している場合、ある特定の領域のデータのみをデコードする場合にも、一番始めのブロックの画像データから順番にデコードしていかないとその情報は得られない。
そこで、圧縮データの任意のブロックから復元可能とする技術が考えられている。具体的には、圧縮された画像ファイルを途中から復元するために「起点ブロック」を予め定めておく。起点ブロックは、加工後（たとえば９０度回転後）に上端の行に並べられるブロックである。そして、圧縮された画像ファイルを復元しながら、起点ブロックのファイルポインタとＤＣ成分（符号化前の値）とを格納する。その後、圧縮データの起点ブロックから画像の復元を行う。起点ブロックはＤＣ成分が既に格納されているため、他のブロックとの差分を採らずに復元できる（たとえば、特許文献１参照）。
特開２００１−８６３１８号公報

しかし、特許文献１に示した技術では、起点ブロックのＤＣ成分を格納するために、圧縮データを一旦復元しなければならない。したがって、必要なメモリ容量を減らすことはできる一方、処理レイテンシの増大を招いてしまう。そのため、リアルタイムでの処理には不向きである。

本発明はこのような点に鑑みてなされたものであり、撮影した画像に対するリアルタイムの加工処理を少ないメモリ容量で実現することができる画像処理表示装置および画像処理表示方法を提供することを目的とする。
本発明では上記課題を解決するために、図１に示すような画像処理表示装置が提供される。本発明に係る画像処理表示装置は、画像の圧縮、伸張および加工をリアルタイムに行うためのものである。図１に示す各要素は、以下の機能を有する。
圧縮データバッファ１は、圧縮されたデータを格納するためバッファである。参照画像バッファ２は、データを伸張する際に参照する情報を格納するためのバッファである。画像圧縮装置３は、入力された原画像９０を単位画像９１，９２，・・・毎に圧縮し、圧縮された１以上の単位画像９２，・・・に対し、所定の基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで原画像９０の圧縮データ９０ａを生成し、圧縮データ９０ａを圧縮データバッファ１に格納する。参照情報生成装置４は、基準データの変換が行われた単位画像９２，・・・それぞれの変換前の基準データを画像圧縮装置３から取得し、取得した基準データを、対応する単位画像９２，・・・に関連付けて参照画像バッファ２に格納する。画像伸張装置５は、圧縮データバッファ１に格納された圧縮済の複数の単位画像９１，９２ａ，・・・を、予め指定された画像処理内容に応じた順番で取得するとともに、取得した単位画像に対応する変換前の基準データを参照画像バッファ２から取得し、取得した基準データを用いて取得した圧縮済の単位画像９１，９２ａ，・・・を伸張する。画像処理装置６は、画像伸張装置５で伸張された単位画像に対し、予め指定された画像処理内容に応じた加工を施して出力する。
このような画像処理表示装置によれば、原画像９０が入力されると、画像圧縮装置３により、単位画像９１，９２，・・・毎に圧縮される。また、画像圧縮装置３により、圧縮された１以上の単位画像９２，・・・に対し、所定の基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで原画像９０の圧縮データ９０ａが生成される。圧縮データ９０ａは、圧縮データバッファ１に格納される。基準データの変換が行われた単位画像９２，・・・それぞれの基準データは、参照情報生成装置４により、対応する単位画像９２，・・・に関連付けて参照画像バッファ２に格納される。すると、画像伸張装置５により、圧縮データバッファ１に格納された圧縮済の複数の単位画像９１，９２ａ，・・・が、予め指定された画像処理内容に応じた順番で取得される。取得した単位画像は、対応する変換前の基準データを用いて伸張される。そして、画像処理装置６により、画像伸張装置５で伸張された単位画像に対し、予め指定された画像処理内容に応じた加工が施され、出力される。
以上説明したように本発明では、原画像９０の圧縮時に単位画像の変換前の基準データを格納しておき、その基準データを用いて各単位画像を伸張するようにしたため、単位画像を任意の順番で伸張できる。その結果、予め指定された画像処理内容で加工を施す際にも画像処理内容に応じた順番で単位画像を伸張することで、画像全体を記憶するメモリ等を設けることなくリアルタイムに画像を加工することができる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

図１は、実施の形態に適用される発明の概念図である。
図２は、画像処理表示装置の内部構成を示すブロック図である。
図３は、画像圧縮装置と参照情報生成装置との内部構成を示す図である。
図４は、原画像を構成するブロックを示す図である。
図５は、原画像を構成する成分を示す図である。
図６は、ＤＣＴ処理後の画像を示す図である。
図７は、圧縮データバッファのデータ構造例を示す図である。
図８は、参照画像バッファのデータ構造例を示す図である。
図９は、画像伸張装置と画像処理装置との内部構成を示す図である。
図１０は、９０度回転させるときのＭＣＵカウンタの出力順を説明する図である。
図１１は、ＭＣＵ画像の回転処理を示す図である。
図１２は、第２の実施の形態に係る画像処理表示装置の内部ブロック図である。
図１３は、第３の実施の形態に係る画像処理表示装置の内部ブロック図である。

以下、本発明の実施の形態を図面を参照して説明する。
まず、実施の形態に適用される発明の概要について説明し、その後、実施の形態の具体的な内容を説明する。
図１は、実施の形態に適用される発明の概念図である。本発明に係る画像処理表示装置は、画像の圧縮、伸張および加工をリアルタイムに行うためのものであり、圧縮データバッファ１、参照画像バッファ２、画像圧縮装置３、参照情報生成装置４、画像伸張装置５、および画像処理装置６を有する。
圧縮データバッファ１は、圧縮されたデータを格納するため記憶装置である。圧縮データバッファ１は、少なくとも、原画像９０を圧縮した際のデータ量を格納できるだけの記憶容量を有していればよい。
参照画像バッファ２は、データを伸張する際に参照する情報を格納するための記憶装置である。参照画像バッファ２は、少なくとも、原画像９０の単位画像９１，９２，・・・に含まれる基準データと、その基準データを単位画像に関連付けるための情報を格納できるだけの記憶容量を有していればよい。基準データは、たとえば、単位画像内の各ピクセルのレベル（画素値）の平均値を表すデータである。
画像圧縮装置３は、入力された原画像９０を単位画像９１，９２，・・・毎に圧縮する。さらに、画像圧縮装置３は、圧縮された１以上の単位画像９２，・・・に対し、所定の基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで原画像９０の圧縮データ９０ａを生成する。単位画像の基準データの変換処理とは、たとえば、単位画像９２の基準データを、他の単位画像９１の基準データとの差分に置き換える処理である。なお、差分に置き換えられた基準データを符号化することもできる。画像圧縮装置３は、圧縮データ９０ａを圧縮データバッファ１に格納する。圧縮データ９０ａは、基準データの変換が不要な単位画像９１と、基準データを変換済の単位画像９２ａ，・・・とで構成される。
参照情報生成装置４は、基準データの変換が行われた単位画像９２，・・・それぞれの変換前の基準データを画像圧縮装置３から取得し、取得した基準データを、対応する単位画像９２，・・・に関連付けて参照画像バッファ２に格納する。なお、基準データの変換が行われていない単位画像９１の基準データも、参照画像バッファ２に格納することができる。圧縮直後の全ての単位画像９１，９２，・・・の基準データを参照画像バッファ２に格納しておけば、伸張の際の処理手順が単純化される。なお、基準データと単位画像９２ａとの関連づけは、たとえば、圧縮データバッファ１内での単位画像９２ａが格納された領域のアドレスを用いることができる。すなわち、単位画像９２ａのアドレスと、単位画像９２ａの変換前の基準データとを組にして参照画像バッファ２に格納すればよい。
画像伸張装置５は、圧縮データバッファ１に格納された圧縮済の複数の単位画像９１，９２ａ，・・・を、予め指定された画像処理内容に応じた順番で取得する。たとえば、画像伸張装置５は、圧縮データバッファ１に１画面分の圧縮データ９０ａが格納される毎に、即座に画像伸張のためのデータ取得を開始する。
また、画像伸張装置５は、取得した単位画像に対応する変換前の基準データを参照画像バッファ２から取得する。そして、画像伸張装置５は、取得した基準データを用いて取得した圧縮済の単位画像９１，９２ａ，・・・を伸張する。なお、基準データの変換が行われていない単位画像９１については、参照画像バッファ２から基準データを取得しなくても伸張することができる。なお、予め指定された画像処理内容とは、たとえば、画像の回転、鏡像画面への変換、縮小画像（サムネイル画像）の生成、モザイク画像の生成などである。
画像処理装置６は、画像伸張装置５で伸張された単位画像に対し、予め指定された画像処理内容に応じた加工を施して出力する。
このような画像処理表示装置によれば、原画像９０が入力されると、画像圧縮装置３により、単位画像９１，９２，・・・毎に圧縮される。また、画像圧縮装置３により、圧縮された１以上の単位画像９２，・・・に対し、所定の基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで原画像９０の圧縮データ９０ａが生成される。圧縮データ９０ａは、圧縮データバッファ１に格納される。基準データの変換が行われた単位画像９２ａ，・・・それぞれの基準データは、参照情報生成装置４により、対応する単位画像９２ａ，・・・に関連付けて参照画像バッファ２に格納される。すると、画像伸張装置５により、圧縮データバッファ１に格納された圧縮済の複数の単位画像９１，９２ａ，・・・が、予め指定された画像処理内容に応じた順番で取得される。取得した単位画像は、対応する変換前の基準データを用いて伸張される。そして、画像処理装置６により、画像伸張装置５で伸張された単位画像に対し、予め指定された画像処理内容に応じた加工が施され、出力される。その結果、加工された画像９０ｂが表示される。
このように、原画像９０の圧縮時に単位画像の変換前の基準データを格納しておき、その基準データを用いて各単位画像を伸張するようにしたことで、単位画像を任意の順番で伸張できる。予め指定された画像処理内容で加工を施す際にも画像処理内容に応じた順番で単位画像を伸張することで、画像全体を記憶するメモリ等を設けることなくリアルタイムに画像を加工することができる。
ところで、本発明はＪＰＥＧの圧縮、伸張を行うデジタルカメラ（デジタルカメラが実装された携帯電話機等の電子機器を含む）に利用することができる。たとえば、デジタルカメラにおけるファインダ動作中に画像を回転させる機能を実現させる場合、「イメージセンサ→画像データ入力→ＪＰＥＧ圧縮→伸張＋回転→回転した画像→表示出力装置」という一連の動作が行われる。
以下、ＪＰＥＧ圧縮、伸張について説明する。
一般に画像データはピクセルごとのレベル（カラーの場合、Ｒ（赤），Ｇ（緑），Ｂ（青）やＹ，Ｃｂ，Ｃｒなどの成分ごとに分けて考える）で表されている。ＪＰＥＧの圧縮動作は、次の手順で行われる。
（ａ）画像データを８×８のピクセルからなるブロックに分ける。そして、１つまたは複数のブロックを１つのＭＣＵ（Ｍｉｎｉｍｕｍ Ｃｏｄｅｄ Ｕｎｉｔ）とする。ＭＣＵは、圧縮データを保存するときの単位データである。ＹＣｂＣｒ４２０形式で圧縮する場合、Ｃｂ成分とＣｒ成分とは４つのピクセルに１つのデータが生成されるため、４つのブロックを１つのＭＣＵとする。ここで、各ブロックに対して離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施す。入力データのサイズが８の倍数でない場合は、ＭＣＵが構成できるように必要に応じて画像の右と下に画素を付け加える。
（ｂ）得られたＤＣＴ係数を量子化し、不要な高次の周波数成分の係数を切り捨てる。
（ｃ）量子化されたデータをジグザグにスキャン（ジグザグシーケンス）し、値が０のデータに関してランレングス（同じ値がいくつ並んでいるか）を用いて符号化する。
（ｄ）ハフマン符号テーブルに従い、エントロピー符号化する。
以上の手順で画像データの圧縮が行われる。伸張動作は以上の（ａ）〜（ｄ）の手順を逆に行う。
また、ＪＰＥＧデータにはＤＣ成分とＡＣ成分とがある。上記（ａ）においてＤＣＴ変換された成分のうち、（０，０）の成分（画像の左上端のＤＣＴ係数）がＤＣ成分である。ＤＣ成分は、ブロック全体のレベルの平均値を表している。残りの６３個の成分をＡＣ成分という。ＤＣ成分に関しては直前のブロックのデータとの差分情報のみが格納されている。ＡＣ成分はＤＣＴ係数そのものが格納されている。
以上から分かる通り、ＪＰＥＧデータは、８×８ピクセルからなるブロック単位で成分ごとに圧縮され、ＭＣＵ毎にまとめて格納されている。画像を回転するには、ＭＣＵの並び方を変えるとともに、各ＭＣＵを構成するブロック内のデータの配列も変える必要がある。
また、従来であれば、出力する順序にしたがって必要なＭＣＵを部分的にデコードしていく場合、個々のＭＣＵのＤＣ成分を得るには最初から全てのＭＣＵを一度デコードしなくてはならない。特定のＭＣＵに対していちいちそれ以前のＭＣＵを全てデコードするのでは非効率なので、以下に説明する実施の形態では、特定のＭＣＵに対して、
１．ＭＣＵの格納領域の先頭を示すアドレスポインタ
２．ＤＣ成分の値
の情報を与えるようなＭＣＵ情報テーブルをＪＰＥＧ圧縮する時点で作成する。
部分デコードの際には、処理の内容に応じて正しい順番で出力画像が得られるように、欲しいＭＣＵをこのＭＣＵ情報テーブルに従い順番にデコードし、ＭＣＵごとに回転した後、出力する。
このようにして、ＪＰＥＧによって画像の圧縮を行う装置に本発明が適用できる。以下、ＪＰＥＧ方式により画像圧縮を行う装置に本発明を適用した場合を例に採り、本発明の実施の形態を具体的に説明する。
［第１の実施の形態］
以下に、本発明の実施の形態に係る画像処理表示装置について具体的に説明する。以下の実施の形態では、リアルタイムに画像を回転させる機能について詳細に説明する。リアルタイムでの画像回転は、携帯電話やデジタルカメラなどでのファインダ用の画像表示機能として有用である。また、以下の実施の形態では、ＪＰＥＧのＹＣｂＣｒ４２０形式での画像圧縮を行うものとする。なお、ＹＣｂＣｒでは、カラー画像が、Ｙ成分、Ｃｒ成分、Ｃｂ成分で表現される。Ｙ成分は輝度成分であり、明るさを表す。Ｃｒ成分は色差成分であり、Ｒ（赤）成分とＹ成分との差を示している。Ｃｂ成分は色差成分であり、Ｂ（青）成分とＹ成分との差を示している。
図２は、画像処理表示装置の内部構成を示すブロック図である。図２に示すように、画像処理表示装置１００には、カメラ１１とディスプレイ１２とが接続されている。カメラ１１は、イメージセンサを有する装置である。すなわち、カメラ１１は、レンズを介して入射する光をＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）で受光し、電気信号に変換する。各ＣＣＤで変換された電気信号に基づいて、画像が生成される。カメラ１１で生成された画像が、画像処理表示装置１００に入力される。ディスプレイ１２は、画像処理表示装置１００から画像データを受け取り、画面表示する。
画像処理表示装置１００は、入力バッファ１１０、画像圧縮装置１２０、圧縮データバッファ１３０、参照情報生成装置１４０、参照画像バッファ１５０、画像伸張装置１６０、画像処理装置１７０、および出力バッファ１８０を有している。
入力バッファ１１０は、カメラ１１で生成された画像のデータを受け取り、一旦格納する記憶装置である。入力バッファ１１０としては、たとえば、半導体メモリが使用される。入力バッファ１１０は、格納したデータを画像圧縮装置１２０に渡す。
画像圧縮装置１２０は、入力バッファ１１０に格納された画像をブロック単位で受け取り、ブロック毎に画像をＪＰＥＧで圧縮する。１ブロックは８×８画素の画像である。圧縮は、ＤＣＴ、量子化、ハフマン符号化という手順で行われる。画像圧縮装置１２０は、圧縮した画像データをＭＣＵという単位で圧縮データバッファ１３０に書き込む。ＭＣＵは、単位画像の再生に必要なデータである。第１の実施の形態では、ＭＣＵは、４Ｙ（４ブロック分のＹ成分）＋１Ｃｂ（１ブロック分のＣｂ成分）＋１Ｃｒ（１ブロック分のＣｒ成分）といった６つの値で構成される。なお、ＹＣｂＣｒ４２２形式で画像圧縮を行うのであれば、ＤＣ成分は４つの値となる。
圧縮データバッファ１３０は、圧縮された画像データを格納する記憶領域である。圧縮データバッファ１３０は、１フレーム分の圧縮画像データを格納することができる。
参照情報生成装置１４０は、画像圧縮装置１２０でＤＣＴが行われた画像からＤＣ成分を取り出し、参照画像バッファ１５０に格納する。また、参照情報生成装置１４０は、圧縮されたＭＣＵを圧縮データバッファ１３０に格納する際の書込領域のアドレスを取得する。そして、参照情報生成装置１４０は、ＭＣＵの書込領域のアドレスを、その画像のＤＣ成分と関連付けて参照画像バッファ１５０に格納する。
参照画像バッファ１５０は、ＭＣＵ毎のＤＣ成分とアドレスとの組を１フレーム分格納するための記憶領域である。
画像伸張装置１６０は、圧縮データバッファ１３０に格納されている圧縮データを、ＭＣＵ毎に伸張する。具体的には、画像伸張装置１６０は、圧縮データバッファ１３０からＭＣＵを所定の順番で読み出す。次に画像伸張装置１６０は、読み出したＭＣＵのアドレスに関連付けられているＤＣ成分を参照画像バッファ１５０から読み出す。そして、画像伸張装置１６０は、読み出したＤＣ成分を用いて、ＭＣＵを伸張する。伸張した画像は、画像処理装置１７０に渡される。
画像処理装置１７０は、画像伸張装置１６０で伸張された画像を、加工内容に応じて加工し、出力バッファ１８０に書き込む。
出力バッファ１８０は、表示される画像データを格納する記憶領域である。出力バッファ１８０としては、たとえば、半導体メモリが使用される。出力バッファ１８０に格納された画像データがディスプレイ１２に渡され、画面表示される。
このような画像処理表示装置１００によれば、カメラ１１で撮影された画像が入力バッファ１１０に格納される。入力バッファ１１０に格納された画像は、画像圧縮装置１２０で読み出され、ＪＰＥＧ形式による圧縮が施される。圧縮された画像データ（圧縮データ）は、圧縮データバッファ１３０に格納される。また、圧縮データのＭＣＵ毎に、ＤＣ成分とＭＣＵ格納先のアドレスとの組が参照情報生成装置１４０によって画像圧縮装置１２０から取り出される。取り出されたＤＣ成分とアドレスとは、互いに関連付けて参照画像バッファ１５０に格納される。
圧縮データバッファ１３０に格納された圧縮データは、画像伸張装置１６０によってＭＣＵ毎に読み出される。このとき、読み出されたＭＣＵのＤＣ成分が、画像伸張装置１６０によって参照画像バッファ１５０から読み出される。そして、画像伸張装置１６０により、ＤＣ成分を用いてＭＣＵが伸張され、伸張後の画像データが画像処理装置１７０に渡される。画像処理装置１７０は、画像の加工内容に応じた配置で、画像データを出力バッファ１８０に書き込む。出力バッファ１８０に書き込まれた画像データに基づいて、ディスプレイ１２に画像が表示される。
次に、画像圧縮処理を詳細に説明する。
図３は、画像圧縮装置と参照情報生成装置との内部構成を示す図である。画像圧縮装置１２０は、ＤＣＴ回路１２１、量子化回路１２２、ハフマン符号化回路１２３、およびＭＣＵ単位画像書込回路１２４を有している。
ＤＣＴ回路１２１は、入力された画像データに対して離散コサイン変換（ＤＣＴ）処理を施す。ＤＣＴ処理により、画像の画素値（画素の明るさを示す数値）からＤＣＴ係数が得られる。ＤＣＴ係数は、画素数と同数得られる。第１の実施の形態では、８×８ピクセルのブロック毎にＤＣＴ処理を行うため、８×８のＤＣＴ係数が得られる。このとき、左上のＤＣＴ係数がＤＣ成分となる。１ブロック分のＤＣＴ係数は、量子化回路１２２に渡される。
量子化回路１２２は、ＤＣＴ回路１２１から１ブロック分のＤＣＴ係数を取得すると、ＤＣＴ係数の量子化を行う。量子化は、ＤＣＴ係数を所定の数で割って、代表値に置き換えることである。たとえば、元の画像が、１画素当たり８ビットで表している場合でも、ＤＣＴ係数は−１０２４〜１０２３の間の値となり、小数点以下を四捨五入すれば１１ビットの整数で表される。１画素当たり８ビットに減らすには、２の３乗（＝８）でＤＣＴ係数を割ればよい。なお、ＤＣＴ係数を除算したときの小数点以下は、四捨五入する。量子化されたＤＣＴ係数（近似ＤＣＴ係数）は、ハフマン符号化回路１２３に渡される。
ハフマン符号化回路１２３は、量子化されたＤＣＴ係数を、予め用意された符号表に基づいて、ハフマン符号（１，０の符号）に置き換える。これは、エントロピー符号化とも呼ばれる。このときブロック左上端のＤＣ成分の符号化も行われる。ＤＣ成分の符号化は、複数のブロック（たとえば、８×８）のＤＣ成分のみを並べ、縮小画像を生成する。そして、その縮小画像を符号化する。たとえば、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ ＰＣＭ）符号化などが行われる。ＤＰＣＭ符号化は、画像の差分（たとえば、左側の画素との差分）で表現する符号化方式である。符号化された画像データ（圧縮データ）は、ＭＣＵ単位画像書込回路１２４に渡される。このとき、その圧縮データを格納すべき領域のアドレス（ポインタ）が、ハフマン符号化回路１２３からＭＣＵ単位画像書込回路１２４に渡される。
ＭＣＵ単位画像書込回路１２４は、ハフマン符号化回路１２３から受け取った圧縮データをＭＣＵ単位で圧縮データバッファ１３０に書き込む。具体的には、ＭＣＵ単位画像書込回路１２４は、４ブロック分の圧縮データ（４ブロック分のＹ成分、１ブロック分のＣｂ成分、１ブロック分のＣｒ成分）を１つのＭＣＵとしてまとめ、ハフマン符号化回路１２３から指定された圧縮データバッファ１３０上のアドレスに書き込む。
参照情報生成装置１４０は、参照データ抽出回路１４１とＭＣＵポインタ抽出回路１４２とを有している。
参照データ抽出回路１４１は、画像圧縮装置１２０内のＤＣＴ回路１２１から量子化回路１２２に渡されるＤＣＴ係数を取得し、その中からＤＣ成分を抽出する。参照データ抽出回路１４１は、抽出したＤＣ成分を参照画像バッファ１５０のＤＣ成分の項目に、上から順に格納する。
ＭＣＵポインタ抽出回路１４２は、画像圧縮装置１２０内のハフマン符号化回路１２３からＭＣＵ単位画像書込回路１２４に渡されるポインタを抽出する。そして、ポインタ抽出は、抽出したポインタを参照画像バッファ１５０のポインタの項目に、上から順に格納する。
このようにして、画像圧縮が行われ圧縮データバッファ１３０にＭＣＵが格納されると共に、参照画像バッファ１５０に参照情報（ＤＣ成分とポインタとの組）が格納される。
以下に、原画像からＭＣＵが生成されると共にＤＣ成分が抽出されるまでの流れを説明する。
図４は、原画像を構成するブロックを示す図である。図４に示すように、原画像２００は複数のブロック２１１〜２１４，２２１〜２２４に分けられる。各ブロック２１１〜２１４，２２１〜２２４は、８×８ピクセルの画素で構成される。この原画像２００を圧縮すると、４つのブロック２１１〜２１４によって１つのＭＣＵ２１０が生成される。同様に、４つのブロック２２１〜２２４によって１つのＭＣＵ２２０が生成される。
なお、原画像２００はカラー画像であり、Ｙ成分、Ｃｂ成分、Ｃｒ成分によって構成される。
図５は、原画像を構成する成分を示す図である。ＭＣＵ２１０を構成するブロック２１１〜２１４は、Ｙ成分３０、Ｃｂ成分４１、Ｃｒ成分４２に分解することができる。Ｙ成分３０は、４つのブロック２１１〜２１４それぞれに対応する４つのブロック３１〜３４で構成される。すなわち、Ｙ成分は、原画像２００の１つのピクセルのデータに対応して１つのデータが存在する。
また、Ｃｂ成分４１は、４つのブロック２１１〜２１４に対して１つのブロックが存在する。同様に、Ｃｒ成分４２は、４つのブロック２１１〜２１４に対して１つのブロックが存在する。すなわち、Ｃｂ成分とＣｒ成分とは、原画像２００の４つのピクセルのデータに対応して１つのデータが存在する。
このような構成のデータが圧縮されるとき、まず、原画像２００に対してＤＣＴ処理が施され、各画素の各成分のデータがＤＣＴ係数に置き換えられる。
図６は、ＤＣＴ処理後の画像を示す図である。なお、図６には、ＤＣＴ処理後のＹ成分５０が示されている。ＤＣＴ処理後のＹ成分５０は、元の画像の各画素の輝度を示す値がＤＣＴ係数に変換されている。Ｙ成分５０を構成する各ブロック内の左上端のＤＣＴ係数が、ブロック内で変化がない直流（ＤＣ）成分である。ＤＣ成分は、ブロック内の各画素値の平均（実際には、レベルシフト分シフトしている）を表している。たとえば、ブロック５１の左上端のＤＣＴ係数５１ａがＤＣ成分である。
ここで、各ブロックのＤＣ成分のみを並べた画像６０を想定する。この画像６０は、原画像に比べて画素数が１／８×１／８の縮小画像（サムネイル画像とも呼ばれる）である。
ＤＣＴ処理後のＹ成分５０内の各ＤＣＴ係数は量子化されるが、その際、ＤＣ成分に関しては符号化処理が行われる。たとえば、あるブロックのＤＣ成分を符号化する場合、隣接するブロックのＤＣ成分からの差分をとる。各ブロックのＤＣ成分を差分値に置き換え、ハフマン符号化等により識別符号を割り当てる。
なお、図６には、Ｙ成分５０のみを示しているが、Ｃｒ成分とＣｂ成分に対しても同様に、ＤＣＴ係数の量子化およびＤＣ成分の符号化が行われる。これらの成分毎に符号化されたデータが、ＭＣＵ単位で圧縮データバッファ１３０に格納される。
図７は、圧縮データバッファのデータ構造例を示す図である。圧縮データバッファ１３０には、ＭＣＵ１３１，１３２，・・・のデータが格納されている。第１の実施の形態では、ＹＣｂＣｒ４２０形式で圧縮されており、６４ＫＢまでの圧縮データが出力できるものとする。したがって、圧縮データバッファ１３０は、６４ＫＢの記憶容量を有している。その場合、ＭＣＵ１３１，１３２，・・・が格納されている領域のアドレス（アドレス＃１，アドレス＃２，・・・）は、１６ビットで表現できる。
ＭＣＵ１３１は、４つのＹ成分ブロック（Ｙ成分ブロック＃１、Ｙ成分ブロック＃２、Ｙ成分ブロック＃３、Ｙ成分ブロック＃４）、１つのＣｂ成分ブロック、１つのＣｒ成分ブロックで構成されている。これらの成分毎のブロックからそれぞれＤＣ成分が抽出され、参照画像バッファ１５０に格納される。
図８は、参照画像バッファのデータ構造例を示す図である。参照画像バッファ１５０は、ＤＣ成分の項目とポインタの項目とが設けられている。最初のＭＣＵ（ＭＣＵ＃１）のＤＣ成分が参照データ抽出回路１４１によって取得されると、ＤＣ成分の項目の先頭に格納される。ＭＣＵ＃１のＤＣ成分としては、４ブロック分のＹ成分、１ブロック分のＣｂ成分、１ブロック分のＣｒ成分それぞれのＤＣ成分が含まれる。その後、後続のＭＣＵ（ＭＣＵ＃２，ＭＣＵ＃３，ＭＣＵ＃４，・・・）のＤＣ成分が取得される毎に、それらのＤＣ成分がＭＣＵ＃１のＤＣ成分に続けて格納される。
また、ＭＣＵポインタ抽出回路１４２によって、最初のＭＣＵ（ＭＣＵ＃１）が圧縮データバッファ１３０に格納されると、ＭＣＵ＃１が格納された領域の先頭のアドレス（アドレス＃１）がポインタの項目に格納される。その後、後続のＭＣＵ（ＭＣＵ＃２，ＭＣＵ＃３，ＭＣＵ＃４，・・・）が圧縮データバッファ１３０に格納される毎に、それらのＭＣＵの格納領域のアドレス（アドレス＃２，アドレス＃３，アドレス＃４，・・・）が、ポインタの項目に格納される。
このように、ＤＣ成分とポインタ（アドレス）とに関して、参照画像バッファ１５０内の記憶領域の上位から順に格納している。これにより、各ＭＣＵに対応するＤＣ成分とアドレスとは参照画像バッファ１５０のＤＣ成分の項目とポインタの項目とにおける同じ順番の領域に格納される。
参照画像バッファ１５０に、差分値に変換される前のＤＣ成分が保存されていることにより、任意のＭＣＵを単独で元の画像に復元することが可能となる。すなわち、ＭＣＵ内に含まれるＤＣ成分は、一部のブロックのＤＣ成分を除き、隣接するブロックとの差分に置き換えられている。そのため、参照画像バッファ１５０を用いない場合、差分値への置き換えが行われていないＤＣ成分を含むＭＣＵから順番に復元することで、差分値に置き換えられたＤＣ成分を元の値に戻し、他のＭＣＵを復元することが可能となる。したがって、参照画像バッファ１５０が無いと、任意のＭＣＵを単独で復元することはできない。
このように任意のＭＣＵを単独で復元できることで、復元後の画像の回転等の加工処理が容易となる。
次に、圧縮データに基づく画像表示処理について説明する。
図９は、画像伸張装置と画像処理装置との内部構成を示す図である。画像処理表示装置１００では、画像伸張装置１６０と画像処理装置１７０とにより、圧縮データに基づく画像表示が行われる。画像表示の際に、どのような加工を施すのかは予め指定されている。第１の実施の形態では、表示データサイズと処理モードとによって指定されている。表示データサイズは、たとえば、表示する画像の縦方向と横方向とのピクセル数で指定される。処理モードは、たとえば、回転、鏡像、サムネイル、モザイク等の加工内容を指定する情報である。回転の処理モードでは、回転角度（たとえば、９０度、１８０度、２７０度等）を指定することができる。
表示データサイズと処理モードとは、画像処理装置１７０に入力される。画像処理装置１７０は、圧縮データバッファ１３０に格納された画像に基づいて、表示データサイズと処理モードで指定された画像データを生成し、出力バッファ１８０に書き込む。具体的には、画像処理装置１７０は、ＭＣＵカウンタ出力回路１７１とＭＣＵ単位画像処理回路１７２とを有している。
ＭＣＵカウンタ出力回路１７１は、表示データサイズと処理モードとに応じて、ＭＣＵの読み出し順を決定し、読み出し順に応じたＭＣＵカウンタを順次出力する。ＭＣＵカウンタは、圧縮データバッファ１３０内にＭＣＵが格納された順番を指定するデータである。ＭＣＵカウンタによって、圧縮データバッファ１３０内のＭＣＵが一意に決定される。
ＭＣＵ単位画像処理回路１７２は、画像伸張装置１６０から渡されるＭＣＵ原画像を、表示データサイズと処理モードに応じて加工し、出力バッファ１８０に対して出力する。
画像伸張装置１６０は、参照データ抽出回路１６１とＭＣＵ単位画像伸張回路１６２を有している。
参照データ抽出回路１６１は、ＭＣＵカウンタ出力回路１７１からＭＣＵカウンタの値を受け取り、ＭＣＵカウンタの値に応じたＤＣ成分とアドレスとを参照画像バッファ１５０から取り出す。具体的には、参照データ抽出回路１６１は、参照画像バッファ１５０の上位から、ＭＣＵカウンタの値に応じた順番に相当するレコード（ＤＣ成分とアドレス）を抽出する。そして、参照データ抽出回路１６１は、抽出したＤＣ成分とアドレスとを読み出し、ＭＣＵ単位画像伸張回路１６２に渡す。
ＭＣＵ単位画像伸張回路１６２は、参照データ抽出回路１６１から受け取ったアドレスに対応するＭＣＵを圧縮データバッファ１３０から取り出す。ＭＣＵ単位画像伸張回路１６２は、読み出したＭＣＵを、参照データ抽出回路１６１から受け取ったＤＣ成分を用いて伸張する。具体的には、ＭＣＵ単位画像伸張回路１６２は、取得したＭＣＵ内に含まれているＤＣ成分（符号化済）を、参照データ抽出回路１６１から受け取ったＤＣ成分（符号化前）に置き換える。そして、ＭＣＵ単位画像伸張回路１６２は、ＭＣＵを伸張してＭＣＵ伸張画像を生成し、画像処理装置１７０に渡す。
このような構成により、圧縮データバッファ１３０に圧縮データが格納される毎に、画像表示処理が行われる。すなわち、圧縮データバッファ１３０に圧縮データが格納されると、ＭＣＵカウンタ出力回路１７１から表示データサイズおよび処理モードに応じたＭＣＵカウンタの値が出力される。出力されるＭＣＵカウンタの値は、ＭＣＵ伸張画像が画像伸張装置１６０から出力される毎に更新され、順次、出力される。
ＭＣＵカウンタ出力回路１７１から出力されたＭＣＵカウンタの値は、参照データ抽出回路１６１で受け取られる。そして、参照データ抽出回路１６１により、ＭＣＵカウンタの値に応じたＤＣ成分とアドレスとが参照画像バッファ１５０から取得され、ＭＣＵ単位画像伸張回路１６２に渡される。
ＭＣＵ単位画像伸張回路１６２により、受け取ったアドレスで示される領域に格納されているＭＣＵが、圧縮データバッファ１３０から取得される。そのＭＣＵは、参照データ抽出回路１６１から渡されたＤＣ成分を用いて伸張され、ＭＣＵ伸張画像が出力される。
ＭＣＵ伸張画像は、ＭＣＵ単位画像処理回路１７２に渡される。すると、ＭＣＵ単位画像処理回路１７２において、ＭＣＵ伸張画像に対し、表示データサイズおよび処理モードに応じた加工が施され、出力バッファ１８０に書き込まれる。
このようにして、圧縮画像データを加工して表示することができる。以下に、画像を９０度回転させる場合の加工例を具体的に説明する。
図１０は、９０度回転させるときのＭＣＵカウンタの出力順を説明する図である。図１０に示すように、画像７０を時計回りに９０度回転させる場合を想定する。
画像７０は複数のＭＣＵで構成されており、横方向のＭＣＵの数がｍ（ｍは、１以上の整数）、縦方向のＭＣＵの数がｎ（ｎは１以上の整数）であるものとする。この画像７０が圧縮される際には、ＭＣＵの位置が画像７０中で上であるほど優先的に圧縮される。また、画像７０内での上下方向の位置が同じであれば、左よりであるほど優先的に圧縮される。
したがって、画像７０の左上端のＭＣＵから圧縮が開始され、圧縮対象のＭＣＵが順次右隣に移る。そして、同じ行（横方向の同じ並び）の右端のＭＣＵが圧縮されると、次に、その下の行の左端のＭＣＵが圧縮される。
図１０では、画像７０内のＭＣＵに対して、圧縮の順番を数字で示している。左上端のＭＣＵが圧縮順が１番、その右側に連なるＭＣＵの圧縮順が順次、２番、３番、・・・となる。左下端のＭＣＵの圧縮順は、「ｍ（ｎ−１）＋１」番である。右下端のＭＣＵの圧縮順は、ｍｎ番である。
圧縮されたＭＣＵは、圧縮された順に圧縮データバッファ１３０に格納される。同様に、ＭＣＵの圧縮順に、そのＭＣＵに対応するＤＣ成分とアドレスが参照画像バッファ１５０に格納される。したがって、任意の順番でＭＣＵを読み出して伸張するには、そのＭＣＵが圧縮して格納された順番（格納順）を指定すればよい。
そこで、ＭＣＵカウンタ出力回路１７１は、伸張すべきＭＣＵの格納順をＭＣＵカウンタによって指定する。処理モード（加工内容）に応じてＭＣＵカウンタの初期値および更新方法を定義しておけば、処理モードに応じた所定の順番でＭＣＵを伸張することができる。
図１０の例では、加工後の画像８０を生成する際には、画像８０の左上端のＭＣＵから順に画像を生成し、出力バッファ１８０に書き込むものとする。この場合、画像７０を９０度回転させるには、画像７０での位置が左下端のＭＣＵから順に、上に向かってＭＣＵ単位画像の伸張を行う必要がある。そこで、ＭＣＵカウンタの初期値は、「ｍ（ｎ−１）＋１」番となる。
ＭＣＵカウンタを更新する際には、直前のＭＣＵカウンタの値からｍを減算する。これにより、元の画像７０において直前に伸張したＭＣＵの上に隣接していたＭＣＵが、次に伸張される。なお、直前のＭＣＵカウンタの値がｍ未満になったときは、画像７０において同じ列（縦方向の同じ並び）の処理が終了しているため、次に、右隣の列の下端のＭＣＵを伸張する必要がある。そこで、直前のＭＣＵカウンタの値が「ｋ」（ｋは、１以上、ｍ未満の整数）であれば、ＭＣＵカウンタの値を「ｍ（ｎ−１）＋（ｋ＋１）」番に更新する。また、ＭＣＵカウンタの値がｍになるとＭＣＵカウンタの更新が終了する。
このようにＭＣＵカウンタの値を更新した結果、出力されるＭＣＵカウンタは、「ｍ（ｎ−１）＋１，ｍ（ｎ−２）＋１，…，１，ｍ（ｎ−１）＋２，ｍ（ｎ−２）＋２，…，ｍｎ，ｍ（ｎ−１），…，ｍ」となる。この順番で順次伸張していくことによって、９０度回転させた画像８０が得られる。
なお、９０度回転させた画像８０を得るには、各ＭＣＵの画像も回転させる必要がある。
図１１は、ＭＣＵ画像の回転処理を示す図である。なお、図１１にはＭＣＵが１つのブロック（８×８ピクセル）で構成されている場合について、９０度回転前のＭＣＵ画像７１と回転後のＭＣＵ画像８１とを示している。回転前の画像７１のサイズは、８×８ピクセルである。図中各ピクセルに１〜６４の番号を振っている。このピクセルの番号によって、画像７１の回転により各ピクセルのデータが画像８１中の何処に移動するのかを示している。たとえば、画像７１中の左上端のピクセルは、画像８１の右上端に移動している。
４つのブロックで１つのＭＣＵが構成されている場合、図１１の縦横のピクセル数を２倍にして考えれば、容易に回転処理が可能となる。なお、１８０度回転画像、２７０度回転画像、鏡像画像などを出力する場合には、９０度回転画像と同様に各ＭＣＵを出力する順番を指定するとともに、各ＭＣＵ内の６４×４（ブロック数）個の画像データについても回転の処理を行い出力する。
このようなピクセルの並べ替えが、ＭＣＵ単位画像処理回路１７２に入力された各ＭＣＵに対して行われる。これにより、出力バッファ１８０に書き込まれた画像データは、圧縮データバッファ１３０に書き込まれた圧縮データを伸張し、９０度回転させた画像となる。
以上説明したように、参照画像バッファ１５０に圧縮データのＭＣＵ毎のＤＣ成分とアドレスとを格納したことで、圧縮データの展開、伸張、処理がブロック毎に順次行うことができる。その結果、少ないメモリ容量で回転等の画像の加工をリアルタイムに実行することが可能となる。すなわち、圧縮データをＭＣＵ単位で展開、伸張、処理を施すので、大容量メモリを必要とせず、また画像の入力から出力までのレイテンシを抑えることができる。
すなわち、従来であれば、ＪＰＥＧデータの全体を復元し、復元された画像を回転することになるが、この従来の方法では復元した画像全体を一時的に保存するメモリが必要になる。しかも、メモリへの画像の書き込みや読み出しは、他の回路の処理速度に比べて時間がかかる。そのため、介在するメモリが増えたことにより、レイテンシも増大する。
一方、第１の実施の形態に示すように、圧縮されたデータの一部をそのまま取り出し、所定の角度だけ回転させて順次出力できるようにしたことで、圧縮データ全体を復元し、復元した画像を記憶するためのメモリが不要となる。また、画像の撮影から表示まで介在するメモリが減ることで、レイテンシを減少させることができる。なお、参照画像バッファ１５０へのＤＣ成分とアドレスとの書き込みは、圧縮データバッファ１３０へのＭＣＵの書き込みと同時並行で行うことができるため、レイテンシに悪影響を与えることはない。
［第２の実施の形態］
第２の実施の形態は、８分の１のサムネイル画像を容易に生成できるようにしたものである。
画像の加工処理として、サムネイル画像の生成処理がある。サムネイル画像を生成する場合、ＭＣＵ内のデータを適当に間引いて表示させればよい。特に、８分の１のサイズのサムネイル画像を出力する場合には、各ＭＣＵのＤＣ成分のみを出力することで画像を生成できる。
図１２は、第２の実施の形態に係る画像処理表示装置の内部ブロック図である。画像処理表示装置１００ａには、第１の実施の形態と同様にカメラ１１およびディスプレイ１２が接続されている。そして、画像処理表示装置１００ａは、入力バッファ１１０ａ、画像圧縮装置１２０ａ、圧縮データバッファ１３０ａ、参照情報生成装置１４０ａ、参照画像バッファ１５０ａ、画像伸張装置１６０ａ、画像処理装置１７０ａ、出力バッファ１８０ａおよびＤＣ成分抽出装置１９１を有している。これらの各要素は、ＤＣ成分抽出装置１９１を除き図２に示した第１の実施の形態における同名の要素と同じ機能を有している。ただし、参照情報生成装置１４０ａは、取得したＤＣ成分をＤＣ成分抽出装置１９１に渡す機能をさらに有している。また、画像処理装置１７０ａは、処理モードが８分の１のサムネイル画像表示のモードの場合に自己の処理機能を停止させる機能をさらに有している。
ＤＣ成分抽出装置１９１は、参照情報生成装置１４０ａから受け取ったＤＣ成分を１つのピクセルのデータとして、出力バッファ１８０ａに書き込む。各ＭＣＵのＤＣ成分のみを並べた画像は、８分の１のサイズの縮小画像となる。そのため、ＤＣ成分抽出装置１９１によって出力バッファ１８０ａに書き込まれた画像をディスプレイ１２に表示することで、サムネイル画像が表示される。
このように、ＤＣ成分抽出装置１９１によってＤＣ成分のみで構成する画像を出力バッファ１８０ａに書き込むことで、サムネイル画像を容易に作成することができる。
また、第２の実施の形態に示す構成を用いて、モザイク画像を表示させることもできる。モザイク画像を表示させるには、ＤＣ成分抽出装置１９１がＭＣＵ内のデータをＤＣ成分で埋めればよい。
なお、図１２の例では処理モードの切り替えによってサムネイル画像を表示する場を想定しているが、サムネイル画像の表示しか行わない場合、圧縮データバッファ１３０ａ、参照画像バッファ１５０ａ、画像伸張装置１６０ａ、および画像処理装置１７０ａは不要となる。
［第３の実施の形態］
また、８分の１サイズのサムネイル画像を回転させることもできる。
図１３は、第３の実施の形態に係る画像処理表示装置の内部ブロック図である。画像処理表示装置１００ｂには、第１の実施の形態と同様にカメラ１１およびディスプレイ１２が接続されている。そして、画像処理表示装置１００ｂは、入力バッファ１１０ｂ、画像圧縮装置１２０ｂ、圧縮データバッファ１３０ｂ、参照情報生成装置１４０ｂ、参照画像バッファ１５０ｂ、画像伸張装置１６０ｂ、画像処理装置１７０ｂ、出力バッファ１８０ｂ、ＤＣ成分抽出装置１９１ｂおよび画像回転回路１９２を有している。これらの各要素は、参照情報生成装置１４０ｂと画像回転回路１９２とを除き図１２に示した第２の実施の形態における同名の要素と同じ機能を有している。参照情報生成装置１４０ｂについては、図２に示した第１の実施の形態における参照情報生成装置１４０と同じ機能を有している。
画像回転回路１９２は、処理モードが８分の１サイズのサムネイル画像の９０度回転表示を行うモードのとき、参照画像バッファ１５０ｂから所定の順番でＤＣ成分を取得し、ＤＣ成分抽出装置１９１ｂに渡す。ＤＣ成分の取得順の決定方法は、図１０に示した方法と同様である。
このように、ＤＣ成分を抽出する際に、データの取り出し順序を変更するだけで、サムネイル画像を回転させることができる。
なお、図１３の例では処理モードの切り替えによってサムネイル画像を回転させて表示する場を想定しているが、サムネイル画像の回転表示しか行わない場合、圧縮データバッファ１３０ｂ、参照画像バッファ１５０ｂ、画像伸張装置１６０ｂ、および画像処理装置１７０ｂは不要となる。
ところで、第１〜第３の実施の形態では、圧縮データをリアルタイムに表示する構成のみを説明したが、デジタルカメラとして機能させる場合、シャッタが押されたタイミングで圧縮データバッファに格納されている圧縮データを他のメモリに格納する機能が付加される。第１〜第３の実施の形態に示す画像処理表示装置をデジタルカメラに適用すれば、画像表示までのレイテンシが少ないため、ディスプレイをファインダとして使用できる。この場合、シャッタを押せば、ディスプレイに表示された画像とほぼ同じ画像が記録される。
すなわち、ディスプレイに表示される画像は、レイテンシの分だけ過去に撮影された画像である。そのため、従来のようにレイテンシが大きいとディスプレイに表示される画像とシャッタが押されたときに撮影している画像との差が大きくなる。一方、上記の実施の形態に示す画像処理表示装置を適用すればレイテンシが少なくて済むため、ディスプレイに表示される画像とシャッタが押されたときに撮影している画像との差が少なくなる。その結果、ユーザの意図通りの画像を撮影することができる。
また、第２および第３の実施の形態のようなサムネイル画像を生成する機能を有する画像処理表示装置に、サムネイル画像出力用の出力バッファを追加することで、通常の大きさの画像とサムネイル画像とを複数のディスプレイに同時にリアルタイムに表示させることができる。すなわち、画像処理装置が書き込む出力バッファと、ＤＣ成分抽出装置が書き込む出力バッファとを分ける。これにより、画像処理装置によって通常のサイズの画像を加工して表示しながら、ＤＣ成分抽出装置によってサムネイル画像を表示させることができる。これは、複数の画面を有する携帯電話機などに有効に利用できる。たとえば、折り畳み式携帯電話機を折り畳んだときに内側になるディスプレイには通像サイズの画面を表示し、折り畳んだときに外側になるディスプレイにはサムネイル画像を表示することができる。
また、上記の各実施の形態では、参照画像バッファ１５０においてＭＣＵ毎のＤＣ成分の組とＭＣＵのポインタを関連付けて格納しているが、ＤＣ成分毎にポインタを関連付けて参照画像バッファ１５０に格納してもよい。この場合、ＤＣ成分に関連付けられたポインタは、そのＤＣ成分に対応するブロックのＡＣ成分の先頭のアドレスを指し示す。即ち、伸張する際には、参照画像バッファ１５０のＤＣ成分を、関連付けられたポインタで示されたＡＣ成分の前に追加する。これにより、ブロック毎の伸張が可能となる。
また、上記の各実施の形態では、圧縮データバッファ１３０には、そのまま伸張可能なＪＰＥＧデータ（符号化されたＤＣ成分を含む）が格納される場合を想定しているが、ＤＣ成分を含まない状態の画像データを圧縮データバッファ１３０に格納してもよい。その場合、画像の回転等の加工を施さないときでも、参照画像バッファ１５０に保存しておいたＤＣ成分を使用してＪＰＥＧデータの伸張を行う。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

Claims (10)

1. 画像の圧縮、伸張および加工をリアルタイムに行う画像処理表示装置において、
   圧縮されたデータを格納するための圧縮データバッファと、
   データを伸張する際に参照する情報を格納するための参照画像バッファと、
   入力された原画像を単位画像毎に圧縮し、圧縮された１以上の前記単位画像に対し、所定の基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで前記原画像の圧縮データを生成し、前記圧縮データを前記圧縮データバッファに格納する画像圧縮装置と、
   前記基準データの変換が行われた前記単位画像それぞれの変換前の前記基準データを前記画像圧縮装置から取得し、取得した前記基準データを、対応する前記単位画像に関連付けて前記参照画像バッファに格納する参照情報生成装置と、
   前記圧縮データバッファに格納された圧縮済の複数の前記単位画像を、予め指定された画像処理内容に応じた順番で取得するとともに、取得した前記単位画像に対応する変換前の前記基準データを前記参照画像バッファから取得し、取得した前記基準データを用いて取得した圧縮済の前記単位画像を伸張する画像伸張装置と、
   前記画像伸張装置で伸張された前記単位画像に対し、前記予め指定された画像処理内容に応じた加工を施して出力する画像処理装置と、
   を有することを特徴とする画像処理表示装置。
2. 前記画像圧縮装置は、圧縮された１以上の前記単位画像に対し、所定の前記基準データを他の単位画像内の前記基準データと差分に応じた値に変換することを特徴とする請求の範囲第１項記載の画像処理表示装置。
3. 前記画像処理内容として、画像の回転処理が指定されていることを特徴とする請求の範囲第１項記載の画像処理表示装置。
4. 前記画像圧縮装置は、前記原画像を構成する前記単位画像を所定の順番で圧縮し、
   前記参照情報生成装置は、前記単位画像の圧縮が行われる毎に、前記基準データを取得することを特徴とする請求の範囲第１項記載の画像処理表示装置。
5. 前記基準データは、前記単位画像内の各画素値の平均を表すデータであることを特徴とする請求の範囲第１項記載の画像処理表示装置。
6. 前記参照情報生成装置は、前記単位画像が格納された前記圧縮データバッファ内の記憶領域のアドレスによって、取得した前記基準データと対応する前記単位画像とを関連付けることを特徴とする請求の範囲第１項記載の画像処理表示装置。
7. 前記画像伸張装置は、前記圧縮データバッファに１画面分のデータが格納される毎に、前記単位画像の伸張処理を開始することを特徴とする請求の範囲第１項記載の画像処理表示装置。
8. 画像の圧縮、伸張および加工をリアルタイムに行う画像処理表示装置において、
   圧縮されたデータを格納するための圧縮データバッファと、
   入力された原画像を単位画像毎に圧縮し、圧縮された１以上の前記単位画像に対し、前記単位画像内の各画素値の平均を表す基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで前記原画像の圧縮データを生成し、前記圧縮データを前記圧縮データバッファに書き込む画像圧縮装置と、
   前記基準データの変換が行われた前記単位画像それぞれの変換前の前記基準データを前記画像圧縮装置から取得する参照情報生成装置と、
   前記参照情報生成装置が取得した前記基準データを並べて縮小画像を生成する縮小画像生成装置と、
   を有することを特徴とする画像処理表示装置。
9. データを伸張する際に参照する情報を格納するための参照画像バッファをさらに有し、
   前記参照情報生成装置は、取得した前記基準データを、対応する前記単位画像に関連付けて前記参照画像バッファに格納し、
   前記縮小画像生成装置は、予め指定された画像処理内容に応じた順番で前記基準データを前記参照画像バッファを介して取得する、
   ことを特徴とする請求の範囲第８項記載の画像処理表示装置。
10. 画像の圧縮、伸張および加工をリアルタイムに行う画像処理表示方法において、
    原画像が入力されると、前記原画像を単位画像毎に圧縮し、
    圧縮された１以上の前記単位画像に対し、所定の基準データを他の単位画像内の所定のデータとの比較結果に応じた値に変換することで前記原画像の圧縮データを生成し、前記圧縮データを圧縮データバッファに格納し、
    前記基準データの変換が行われた前記単位画像の変換前の前記基準データを取得し、
    取得した前記基準データを、対応する前記単位画像に関連付けて参照画像バッファに格納し、
    前記圧縮データバッファに格納された圧縮済の複数の前記単位画像を、予め指定された画像処理内容に応じた順番で取得するとともに、取得した前記単位画像に対応する変換前の前記基準データを前記参照画像バッファから取得し、
    取得した前記基準データを用いて取得した圧縮済の前記単位画像を伸張し、
    伸張された前記単位画像に対し、前記予め指定された画像処理内容に応じた加工を施して出力する、
    ことを特徴とする画像処理表示方法。

Images