JP4268706B2

JP4268706B2 - 画像作成方法

Info

Publication number: JP4268706B2
Application number: JP26284598A
Authority: JP
Inventors: 哲二郎近藤; 健治高橋; 小林　　直樹; 義教渡邊
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-17
Filing date: 1998-09-17
Publication date: 2009-05-27
Anticipated expiration: 2018-09-17
Also published as: JP2000092313A

Description

【０００１】
【発明の属する技術分野】
この発明は、特に画像の伸張処理に適した画像データを作成する画像作成方法に関する。
【０００２】
【従来の技術】
近年、通信ネットワークや、パーソナルコンピュータなどの情報機器の普及、発達に伴い、画像データを圧縮する必要性が高まってきている。画像データは、データサイズが大きいため、保存や、通信ネットワークを介しての転送の際には、所定の方式で以て画像データが圧縮され、データサイズが小さくされる。
【０００３】
圧縮された画像データが例えば通信ネットワークを介して転送された場合、受け手側では、圧縮方式に対応した伸張方式で、圧縮された画像データの伸張を行う。この伸張により画像データが復元され、例えばディスプレイなどに表示できるようになる。
【０００４】
【発明が解決しようとする課題】
例えば画素を間引くことで画像データのサイズを小さくして圧縮を行った場合、圧縮画像データは、各画素値に基づく線型結合により伸張され復元される。線型結合による復元では、計算により、各画素値を用いて各画素間を補間する新たな画素を推測して生成する。そのため、復元された画像の画質が元の画像に対して劣化してしまうことがあるという問題点があった。
【０００５】
また、従来から、伸張後の画質の劣化が少なく、圧縮前の画像をより忠実に再現できるような画像データの圧縮方法が求められていた。
【０００６】
したがって、この発明の目的は、伸張後に、圧縮前の画像をより忠実に再現するのに適した画像データを作成するような画像作成方法を提供することにある。
【０００７】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、大きいサイズの画像を作成するための原画像を作成する画像作成方法において、多値画像の原画像を、該原画像の各画素に基づき新たに画素を作成することで伸張する伸張ステップと、伸張ステップで得られた第１の多値画像の画素値と、原画像の伸張後の画像として正しい画像である第２の多値画像の画素値とを比較する比較ステップと、原画像の画素値を、下記の式（２）および式（３）に基づく演算を行うことにより求められた画素値へ変更するステップとを有することを特徴とする画像作成方法である。
【０００８】
上述したように、この発明は、原画像からより大きいサイズの画像を作成する際に、原画像を、原画像の各画素に基づき新たに画素を作成することで伸張して得られた第１の画像と、原画像の伸張後の画像として正しい画像である第２の画像とを比較し、比較結果に基づき第１の画像が第２の画像により近づくように原画像を変更するようにしているため、原画像を伸張したときに、第２の画像に忠実な伸張画像を得ることができる。
【０００９】
【発明の実施の形態】
以下、この発明の実施の第１の形態を、図面を参照しながら説明する。図１は、この発明による画像作成方法を概略的に示す。この発明では、原画像１を所定の係数を用いて新たな画素を作成することで伸張された作成画像２と、原画像１の正しい伸張画像、すなわち、原画像と同一の内容で且つ作成画像２と同サイズの参照画像３とを比較する。なお、原画像１は、例えば参照画像３の画素を間引きしたものとされる。そして、作成画像２と参照画像３との比較結果に基づき原画像１を変更する。これにより、係数による伸張により適した原画像１を新たに得る。すなわち、この新たに得られた原画像１を、上述の係数を用いて伸張することで、より参照画像３に忠実な作成画像２を得ることができる。
【００１０】
図２は、係数を用いた画像データの伸張処理を概略的に示す。原画像１を伸張して作成画像２を得る。ここで、画像の注目点とその近傍の画素の値を用いて、注目点から複数の画素を作成することを考える。例えば、注目画素とその近傍との９点の画素Ｉ₀〜Ｉ₈から、新たに９点の画素Ｐ₀〜Ｐ₈を作成する場合について説明する。
【００１１】
作成方法は、一例として、それぞれの画素に対して適切な係数ｋ_m,nを作成し、その係数ｋ_m,nと９点の各画素値Ｉ_nとの積ｋ_m,nＩ_nを計算し、範囲内の画素についてその積の和Ｐ_mを求める。係数ｋ_m,nは、例えば注目画素と各画素との距離に基づく重み付け係数を用いることができる。さらに、和Ｐ_mは、係数ｋ_m,nのパターンを変えて複数個（ｍ個）、求められる。
【００１２】
ここで、新たな画素Ｐ₀を作成するために用いる画素の値をＩ_i（ｉ＝０，１，・・・，８）とし、これらに対応する係数ｋ_m,nを、ｋ_0,i（ｉ＝０，１，・・・，８）とする。すると、新しい画素Ｐ₀は、次式（１）として表すことができる。
【００１３】
【数１】

【００１４】
これを、係数ｋ_m,nのパターンを変えて実行することで、係数のパターンの数だけ、画像すなわち画素データを作成することができる。ここでは、係数ｋ_m,nのパターンを、（ｍ＝０，１，・・・，８）として９パターン用意する。これにより、新たな画素が画素Ｐ₀〜Ｐ₈の９画素、作成される。計算に用いる画素を、対象とする原画像１の全画素にわたって変えていくことで、原画像１からそれよりも大きい画像を作成することができ、元の画像が伸張される。図２の例では、原画像１に対して縦横に３倍の大きさの作成画像２が作成される。
【００１５】
図２において、Ｉ₀〜Ｉ₁₁が元の画像を示す。すなわち、図２の上側に示される９画素Ｉ₀〜Ｉ₈の範囲が縦方向に１画素分移動され、下側に示される９画素Ｉ₃〜Ｉ₁₁となる。上側に示される９画素について、各画素と対応する係数との積和をとり、これを係数のパターンを９通り変えていくことで、新しい画素Ｐ₀〜Ｐ₈が作成される。下側に示される９画素についても同様の処理がなされ、新しい画素Ｐ’₀〜Ｐ’₈が作成される。これら画素Ｐ₀〜Ｐ₈および画素Ｐ’₀〜Ｐ’₈から、図２の右側に示されるように、作成画像２が作成される。
【００１６】
次に、上述したような方法で作成画像２を作成するときに、作成された作成画像２の画質を向上させることを考える。この場合、操作可能なパラメータは、原画像１の各画素値と、伸張を行うために用いた係数ｋ_m,nがある。この発明においては、係数ｋ_m,nを固定として、原画像１の各画素値を操作する。
【００１７】
すなわち、この発明では、伸張を行うために必要な係数ｋ_m,nと、伸張後の画像として正しい画像が存在することが前提条件とされる。正しい画像は、例えば原画像１が参照画像３を間引きして得られた画像である場合には、参照画像３が用いられる。そして、原画像１を伸張のための係数ｋ_m,nを用いて伸張した作成画像２と、参照画像３とを比較し、作成画像２を参照画像３にできるだけ近づけるように、原画像１の各画素値を変更する。
【００１８】
作成画像２と参照画像３との比較の際の評価基準としては、例えば参照画像３と作成画像２との差の自乗を用いることができる。この自乗誤差が最小となるものが探索される。これは、次式（２）で表すことができる。なお、Ｇ_jは、参照画像３の画素である。また、Ｉおよびｋは、上述と同様、それぞれ原画像１の画素と原画像１に対する伸張の係数である。
【００１９】
【数２】

【００２０】
式（２）に示されるように、参照画像３と作成画像２について、互いに対応する画素の差を自乗し、全画素についてその自乗の和を求める。ここで、この式は、自乗の誤差を最小にする問題なので、ｆを変数Ｉ_nで偏微分して、その導関数が０になるようにすればよい。つまり、最終的に解く式は、次式（３）である。
【００２１】
【数３】

【００２２】
この式（３）により、原画像１の画素全てで偏微分を行うと、その導関数が０になる式（一次式）が原画像１の画素数分作成できる。つまり、変数Ｉ_nと同じ数の式が作成可能であるので、この一次式は解くことができ、変数Ｉ_nが確定する。変数Ｉ_nは、すなわち原画像１の各画素値であるので、伸張されて作成される作成画像２が最適になるように、原画像１の各画素の値を変更することができる。
【００２３】
図３は、このような処理を行う際の流れを概略的に示す。図３において、点線で示される枠内の処理は、例えば計算機（あるいはＣＰＵ）の内部で行われる処理である。先ず、各画素値を未知数とした多元一次方程式が用意される（ステップＳ１０，Ｓ１１）。また、係数ｋ_m,nが予め用意される（ステップＳ１２）。
【００２４】
ステップＳ１４では、ステップＳ１１で用意された多元一次方程式に対して、ステップＳ１２で用意された係数ｋ_m,nと、ステップＳ１３で用意されている参照画像３のデータがそれぞれ代入される。そして、原画像１の各画素データに基づき、多元一次方程式が数値的に計算される。そして、この計算結果が原画像１の新しい画素値として出力される（ステップＳ１５）。
【００２５】
この発明は、一例として、画像データの圧縮処理、ならびに、圧縮画像データを伸張してオリジナルに対応する画像データを復元する伸張処理に用いて好適なものである。図４は、この発明の実施の第２の形態による画像データ圧縮回路の構成の一例を示す。図４の構成において、圧縮処理を行うための画像データ（オリジナル画像データ）が入力端１０に対して入力される。なお、画像データの圧縮率は、予め決められているものとする。入力されたオリジナル画像データは、メモリ１１に記憶される。メモリ１１から読み出されたオリジナル画像データが比較回路１２の一方の入力端に供給される。
【００２６】
縮小回路１３は、メモリ１１に記憶された画像データを用いて、オリジナル画像データが縮小された縮小画像データを作成する。例えば、縮小回路１３では、予め決められた圧縮率に基づき、メモリ１１から読み出された画像データを所定の規則に従って間引く。間引きにより画像データの画素数が減らされ、画像データが縮小され縮小画像データが作成される。縮小回路１３で作成された縮小画像データは、メモリ１５に記憶されると共に、伸張回路１４に供給される。
【００２７】
伸張回路１４では、係数回路１６から供給される、圧縮率に対応した係数を用いて、供給された縮小画像データの伸張を行う。縮小画像データの伸張は、図２を用いて上述した方法に従いなされる。なお、係数回路１６は、例えば所定の係数が予め記憶されたＲＯＭである。また、これに限らず、所定の規則に従い係数を発生するようにしてもよい。伸張回路１４で縮小画像データが伸張された伸張画像データは、比較回路１２の他方の入力端に供給される。
【００２８】
比較回路１２では、一方の入力端に供給されたオリジナル画像データと、他方の入力端に供給された伸張画像データとが比較される。そして、上述した式（２）および式（３）に従い、多元一次方程式が解かれ、オリジナル画像データと伸張画像データとの差の自乗を最小にするような解が求められる。この解が変更処理回路１７に供給される。
【００２９】
変更処理回路１７では、比較回路１２で求められた解に基づき、メモリ１５に記憶されている縮小画像データが変更される。こうして変更された縮小画像データが最終的な圧縮画像データとして出力端１８から出力される。
【００３０】
出力端１８から出力された圧縮画像データは、例えば圧縮画像データファイルとされ、所定の記録媒体に記録されたり、所定の通信手段によってネットワークなどに送信される。この圧縮画像データファイルに対して、伸張回路１４での伸張処理に用いられた係数を共に格納することができる。係数は、例えば繰り返し成分を冗長成分として削除する方式などにより圧縮して格納すると、ファイルサイズがより小さくなり、好ましい。
【００３１】
なお、図４の構成は、この例に限らず、例えば全体をＣＰＵで構成し、ソフトウェアによって処理を実行することができる。また、メモリ１１および１５は、同一のメモリの異なる領域で構成することが可能である。
【００３２】
図５は、上述の図４の構成によって圧縮された画像データを伸張し、オリジナル画像データに対応した伸張画像データを得るような、画像データ伸張回路の構成の一例を示す。入力端２０から圧縮画像データが供給され、メモリ２１に記憶される。伸張処理回路２２では、係数回路２３から供給される、圧縮率に対応した係数を用いて、メモリ２１に記憶された圧縮画像データの伸張を行う。圧縮画像データの伸張は、図２を用いて上述した方法に従いなされる。
【００３３】
なお、係数回路２３は、例えば所定の係数が予め記憶されたＲＯＭである。また、これに限らず、所定の規則に従い係数を発生するようにしてもよい。係数回路２３から出力される係数は、圧縮率に対応して、上述の図４に示される係数回路１６から出力される係数と同等なものである。圧縮画像データファイルに係数が格納されている場合には、ファイルに格納された係数を用いることで、この係数回路２３を省略することができる。
【００３４】
伸張処理回路２２で圧縮画像データが伸張された伸張画像データは、出力端２４から出力される。出力された伸張画像データは、例えばディスプレイに対して表示される。所定の記憶媒体に記憶するようにしてもよい。圧縮時にオリジナル画像データとの比較に基づき変更された圧縮画像データを伸張して伸張画像データを作成しているので、オリジナル画像データに対して忠実度の高い伸張画像データが得られる。
【００３５】
【発明の効果】
以上説明したように、この発明によれば、原画像を、係数を用いて伸張して作成した作成画像と、原画像の正しい伸張画像である参照画像とを比較して、差の自乗が最小になるように、原画像を変更するようにしているため、係数を用いた伸張に適した原画像を作成することができるという効果がある。
【００３６】
また、この発明の実施の第２の形態によれば、圧縮画像データファイルの作成時に、オリジナル画像データを間引きして縮小した縮小画像データを係数を用いて伸張し、伸張して得られた伸張画像データと、オリジナル画像データとを比較して、差の自乗が最小になるように、縮小画像データを変更して圧縮画像データを作成している。作成された圧縮画像データは、伸張時に、縮小時に用いた係数と同等の係数を用いて伸張されるため、よりオリジナル画像データに忠実な伸張画像データを得ることができるという効果がある。
【図面の簡単な説明】
【図１】この発明による画像作成方法を概略的に示す略線図である。
【図２】係数を用いた画像データの伸張処理を概略的に示す略線図である。
【図３】作成画像と参照画像の比較結果に基づき原画像を変更する処理の流れを概略的に示す略線図である。
【図４】実施の第２の形態による画像データ圧縮回路の構成の一例を示すブロック図である。
【図５】実施の第２の形態による画像データ伸張回路の構成の一例を示すブロック図である。
【符号の説明】
１・・・原画像、２・・・作成画像、３・・・参照画像、１２・・・比較回路、１３・・・縮小回路、１４・・・伸張回路、１６・・・係数回路、１７・・・変更処理回路、２２・・・伸張処理回路、２３・・・係数回路

Claims

大きいサイズの画像を作成するための原画像を作成する画像作成方法において、
多値画像の原画像を、該原画像の各画素に基づき新たに画素を作成することで伸張する伸張ステップと、
上記伸張ステップで得られた第１の多値画像の画素値と、上記原画像の伸張後の画像として正しい画像である第２の多値画像の画素値とを比較する比較ステップと、
上記原画像の画素値を、下記の式（２）および式（３）に基づく演算を行うことにより求められた画素値へ変更するステップと
を有することを特徴とする画像作成方法。

（Ｉ：第１の多値画像の画素値、Ｇ：第２の多値画像の画素値、ｋ：伸張のための係数）