JP4531007B2

JP4531007B2 - 画像処理システム

Info

Publication number: JP4531007B2
Application number: JP2006103634A
Authority: JP
Inventors: 高宏矢野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-04-04
Filing date: 2006-04-04
Publication date: 2010-08-25
Anticipated expiration: 2026-04-04
Also published as: US8036480B2; WO2007119430A1; US20090016632A1; JP2007281720A

Description

本発明は、画素混合処理が行なわれた画素混合画像に対する画像処理技術に係わり、特に画素混合画像の画素の混合処理による解像度の劣化を、高速かつ高精度に復元する画像処理システムに関する。

近年の半導体技術の発展により、撮像素子は多画素化の傾向がある。
素子の小型化高速化が図られてはいるものの、多画素化された撮像素子では、撮像素子のデータ読み出しに多くの時間がかかる。あるいは、高速の読み出しを行おうとしたときに発熱の問題があり実現が難しいとされている。
そのため、多画素化された撮像素子においては高いフレームレートで動画撮影を行うことが困難であるという問題があった。また、同一面積で多画素化を行った場合、相対的に1画素に対する撮像素子の大きさが小さくなる為に、S/N比が劣化する等の問題があった。

以上の様な問題を解決するために、近年、画素混合技術が開発され広く知られている（特開2004-180284号公報、特開2004-312140号公報、特開2005-107252号公報、特開2005-109968号公報、特開2005-117192号公報）。画素混合技術は、撮像素子上で複数の画素を混合して１画素として読み出す技術であり、複数の画素を同時に読み出すことにより、高速にデータ読み出しを行うことができる。また、複数の画素を混合して読み出すことにより、撮像信号の読み出し速度を向上させるのに、単なる間引き読み出しを行うよりもエイリアシングが少なく、１画素あたりのS/Nが大幅に改善される。

また、近年ベイヤー（Ｂａｙｅｒ）配列のデモザイキングの手法として、最小二乗の意味で最適なデモザイキング結果を、繰り返し演算を用いることなしに求める手法が提案されている（H.J Trussell and Robert E. Hartwing, ”Mathematics for Demosaicking”, IEEE Trans. Image Processing, Vol. 11, No. 4, April 2002）。

しかし、画素混合技術は、複数の画素を混合して1画素として読み出すので、画素混合後の画素混合画像は画素混合前の画像に比べ、解像度が劣化する欠点がある。具体的には4画素混合処理を行えば解像度が４分の１に、９画素混合処理を行えば解像度が９分の１になる。
この画素混合処理によって失われた解像度を復元するための方法として、復元前後の画像間のエネルギーを最小化することによって復元処理を行う画像復元方法が提案されている（「反復法を用いた画素混合からの復元」画像センシングシンポジウムB-8,pp75-78,Jun.12,13,2003）。
特開２００４−１８０２８４号公報特開２００４−３１２１４０号公報特開２００５−１０７２５２号公報特開２００５−１０９９６８号公報特開２００５−１１７１９２号公報 H.J Trussell and Robert E. Hartwing, "Mathematics for Demosaicking", IEEE Trans. Image Processing, Vol. 11, No. 4, April 2002 「反復法を用いた画素混合からの復元」画像センシングシンポジウムB-8,pp75-78,Jun.12,13,2003

しかし、「反復法を用いた画素混合からの復元」による画像復元方法は、復元処理に反復演算を用いるため、計算量が多く処理時間を多く要していた。従って、画素混合画像の復元処理を行う場合、従来の手法のように反復演算を行わず高速に解を得たいという要求が有る。
その為に、本発明は上記の問題に鑑み、撮像素子上の複数の画素を混合した画素混合画像の解像度を復元する際に、反復演算を用いることなく、復元処理に行列演算を用いて高速かつ高精度に画素混合復元処理を行うことが可能な画像処理システムを提供することを目的とする。

本発明は、撮像素子における複数の画素の信号が混合して読み出されることにより取得された混合画素信号で表される画素混合画像の解像度を復元する画像処理システムであって、前記混合画素信号が取得されたときの撮影状況を取得する撮影状況取得手段と、前記撮影状況取得手段により取得された撮影状況をもとに画素混合復元行列を生成する復元行列生成手段と、前記混合画素信号と前記画素混合復元行列を用いて前記画素混合画像の解像度を復元する復元処理手段と、を有することを特徴とする。

本発明において、被写体を撮影することで複数の画素の信号を生成する撮像手段と、前記撮像手段により得られた前記複数の画素の信号を混合して読み出す画素混合手段と、を更に備え、前記撮影状況取得手段は、前記撮像手段で前記被写体を撮影したときの状況と、前記画素混合手段により前記複数の画素の信号を混合して読み出したときの状況のうちの少なくともいずれか一方を、前記撮影状況として取得することを特徴とする。

本発明において、前記撮影状況取得手段は、前記撮影状況として、前記被写体を撮影したときの撮影光学系に関する条件を取得することを特徴とする。
本発明において、前記撮影状況取得手段は、前記被写体を撮影したときの撮影光学系に関する条件からＰＳＦデータを生成するＰＳＦデータ生成手段を有し、前記撮影状況として前記ＰＳＦデータを取得することを特徴とする。

本発明において、前記ＰＳＦデータ生成手段は、前記撮影光学系に関する条件によりLUTを検索することで、ＰＳＦデータを生成することを特徴とする。
本発明において、前記撮影状況取得手段は、前記撮影状況として、前記撮像素子における複数の画素の信号が混合して読み出された時の画素混合様式の情報を取得することを特徴とする。

本発明において、前記混合画素信号には前記撮影状況を示す付加情報が付加され、前記撮影状況取得手段は、前記付加情報により前記撮影状況を取得することを特徴とする。
本発明において、前記画素混合復元行列の成分データを予め保持した記憶領域を有することを特徴とする。

本発明において、前記画素混合復元行列の成分データを前記撮影状況に応じて予め保持した記憶領域を有し、前記復元行列生成手段は、前記撮影状況取得手段で取得した前記撮影状況に応じた前記成分データを有する前記画素混合復元行列を生成することを特徴とする。
本発明において、前記画素混合復元行列の成分データを構成するための基礎データを前記撮影状況に応じて予め保持した記憶領域を有し、前記復元行列生成手段は、前記撮影状況取得手段で取得した前記撮影状況に応じた前記基礎データを用いて前記成分データを構成することで画素混合復元行列を生成することを特徴とする。

本発明において、前記復元処理手段は、前記画素混合画像に対し周波数変換を行う周波数変換手段と、周波数変換された前記画素混合画像に対し任意の成分の入れ替えを行う順列変換手段と、前記復元行列生成手段により生成された前記画素混合復元行列を用いて前記画素混合画像に対し復元演算処理を行う復元演算手段と、を有することを特徴とする。
本発明において、前記周波数変換手段は、実対称行列またはエルミート行列に対し、対角化作用を持つ直交行列演算またはユニタリ行列演算を行うことを特徴とする。

本発明において、前記周波数変換手段は、FFT演算処理を行うことを特徴とする。
本発明において、前記復元演算手段は、前記画素混合復元行列の成分データのうち、成分データの冗長性を判別し、冗長性があると判別された成分データを１つにまとめて前記復元演算処理を行うことを特徴とする。
本発明において、前記画素混合画像を記録保持する画素混合記録部を持つことを特徴とする。

本発明によれば、撮像素子上の複数の画素を混合した画素混合画像の解像度を復元する際に、反復演算を用いることなく、復元処理に行列演算を用いて高速かつ高精度に画素混合復元処理を行うことが可能な画像処理システムを提供することができる。

発明の実施形態について図面を参照して説明する。
［第１の実施形態］
図１乃至図７は本発明の第１の実施形態の画像処理システムに係り、図１は第１の実施形態の画像処理システムの構成図、図２はベイヤー型原色フィルタの構成を示す図、図３は色差型フィルタを示す図、図４は９画素混合処理の概念図、図５は４画素混合処理の概念図、図６は図１における画素混合画像復元処理部の構成を示すブロック図、図７は画像列ベクトル化処理の概念図である。

図１に示す画像処理システムにおいて、撮像素子であるＣＣＤ103は、入射される被写体の光像を受光し光電変換して撮像信号として出力する。撮像手段を構成するレンズ系100,絞り101及びCCD103を介して撮影された撮像信号は、利得制御増幅器（以下、Gainと略記）105にて増幅され、A/D変換器（以下、A/Dと略記）106にてデジタル信号へ変換される。
CCD103の前面には、色フィルタアレイ（Color Filter Array、以下CFAと略記）102が備えられている。また、CCD103には、ＣＣＤにおいて撮影されたアナログ信号の画素を混合処理して読み出す画素混合手段である画素混合処理部104が接続されている。

A/D106からの信号は、バッファ107を介して画像記録部115または復元処理手段である画素混合画像復元処理部113へ転送される。バッファ107は、PreWB部108,測光評価部109,合焦点検出部110へも接続されている。
PreWB部108はGain105へ、測光評価部109は絞り101,CCD103,Gain105及び復元行列生成手段である画素混合復元行列生成部114へ、合焦点検出部110はAFモータ116及び画素混合復元行列生成部114へ接続されている。

画素混合復元行列生成部114は、画素混合画像復元処理部113へ接続されている。画像記録部115は、画素混合画像復元処理部113，出力部116へ接続されている。画素混合画像復元処理部113は、画像記録部115及び出力部116へ接続されている。画素混合画像復元処理部113から画像記録部115及び出力部116へ供給されるデータは、後述するフルカラーにされた復元画像である。

マイクロコンピュータなどの制御部111は、Gain105,A/D106,PreWB部108,測光評価部109,合焦点検出部110,画素混合処理部104,画素混合画像復元処理部113,画素混合復元行列生成部114及び画像記録部115と双方向に接続されている。
また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部112も制御部111に双方向に接続されている。

以下に、図１における各部の機能及び作用を説明する。
前面にＣＦＡ102を配した撮像素子である単板のＣＣＤ103によって撮像されたモザイク状の撮像信号は、撮像後に画素混合手段である画素混合処理部104で複数の画素信号が混合されて高速に読み出され、その後に復元処理手段である画素混合画像復元処理部113において画素混合画像の復元処理を行って解像度（即ち画素数）を上げ且つフルカラー化され、出力部116又は画像記録部115へ出力される。

元来、フルカラー化とは、撮像素子から例えばベイヤー配列フィルタを通して得られる１つ１つの色画素（例えばＲ）について、その１つのＲ画素について周りの配列画素から他の２つの色画素（例えばＧ，Ｂ）を補間生成することによって、実際に受光撮像したベイヤー画素に対して画素数を３倍に増やす処理を指しており、ベイヤー画素からフルカラー画素を生成するデモザイキングと同義である。

本願では、撮像素子で撮像された撮像信号の複数の画素を混合して得た画素混合画像から、混合画素の復元処理をして解像度を上げた画像を生成することに特徴を有している。９画素混合の画素混合画像から画素混合復元する場合には、画素混合で１／９になった画素数を９倍にし、またさらにベイヤー画像等の場合で各画素につきフルカラー化を行って３倍とした場合には、画素混合復元を行うと画素数が９画素混時の画素数の２７倍になることになる。
外部I/F部112を介して画素混合撮影モード等外部より指定可能な撮影状況を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,CFA102,CCD103を介して撮影された映像信号は、アナログ信号として出力される。

なお、本実施形態例においてはCFA102として、撮像系にベイヤー型原色フィルタを前面に配置した単板CCDを想定している。図２は、ベイヤー型原色フィルタの構成を示す。ベイヤー型は2×2画素を基本単位とし、赤(R)、青(B)フィルタが１画素ずつ、緑(Gr,Gb)フィルタが２画素配置される。ただし、本構成におけるＣＦＡ102の実施形態は、図２に示すようなベイヤー型原色フィルタを想定しているが、図３に示す色差型フィルタのような構成でも構わず、周期性を持つ色フィルタならどのようなものでも構わない。なお、緑フィルタは同一なものであるが、本例では処理の便宜上これをGr,Gbと区別して表記する。

バッファ107内の映像信号は、PreWB部108,測光評価部109,合焦点検出部110へ転送される。PreWB部108では、所定レベル内の映像信号を色信号ごとに積算することで簡易ホワイトバランス係数を算出する。上記係数はGain105へ転送され、色信号ごとに異なるゲインを設定することで簡易ホワイトバランス処理が行われる。
測光評価部109では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、映像信号中の輝度レベルを求めて適正露光となるよう絞り101やCCD103の電子シャッター速度やGain105の増幅率などを制御する。
また、合焦点検出部110では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ116を制御することで合焦信号を得る。

次に、外部I/F部112を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ107へ転送される。
このとき、制御部１１１は撮影モードの判定を行い、外部I/F部112において設定された撮影モードが画素混合撮影モードの場合は、CCD103で撮影された撮像信号は、画素混合処理部104において画素混合処理が行われ、A/D106を通しバッファ107へ転送される。そして、画素混合処理部104において生成された画素混合画像データはバッファ107へ転送された後、復元処理手段である画素混合画像復元処理部113へ転送される。なお、撮影モードが画素混合撮影モードの場合に、バッファ107へ転送された画素混合画像データ（画素混合して少ない画素数となったデータ）をそのまま、画素混合記録部115へ記録することもできる。

外部I/F部112において設定された撮影モードが画素混合撮影モードではない場合には、CCD103で撮影された撮像信号は、画素混合処理部104における画素混合処理を行わずに、A/D106を通しバッファ107へ転送され、画像記憶部115へ記録される。
画素混合撮影を行った時点で画素混合画像の撮影状況が確定する。確定した撮影状況は、復元行列生成手段である画素混合復元行列生成部114に転送され、その撮影状況により画素混合復元行列が生成され、画素混合画像復元処理部113に画素混合復元行列の内容が転送される。

撮影状況の具体例としては、画素混合画像の撮影時のズーム量、フォーカス位置、絞り等の光学系に関する条件である内部パラメータ、その撮影時の内部パラメータより求まるPSF(Point Spread Function:点拡がり関数)データ、後述の式（3）及び式（4）に例示する画素混合を行う場合の画素混合カーネルの形状、画素混合の混合処理を行った時のサンプリング位置情報等が有る。

画素混合画像復元処理部113にわたされた画素混合画像の映像信号は、画素混合復元処理がなされる。
画素混合復元処理を行う前に画素混合画像復元処理を行うために用いる画素混合復元行列の生成を行う。
画素混合復元行列とは、撮影状況に応じて定まる画素混合画像の撮影過程を、行列表現によってモデル化し、撮影過程の行列表現の擬似逆行列を求めることにより得られる行列である。

以上のようにして、図1のCCD103に備えられた画素混合処理部104において画素混合処理された画素混合画像データは、画素混合画像復元処理部113において画素混合復元処理がなされる。
画素混合画像復元処理部113において画素混合復元処理された画素混合復元画像は画素混合画像復元処理部113より出力され、出力部116または画像記録部115へ伝送される。出力部116において出力された画素混合復元画像データは、ＣＲＴや液晶や有機ＥＬ等のディスプレイによる画像表示、ＵＳＢ、ＩＥＥＥ１３９４、ＴＣＰ/ＩＰ等の各種伝送手段を用いた画像伝送、コンパクトフラシュ（登録商標）、xＤピクチャーカード（登録商標）、ＤＶＤＲ、等の各種記録媒体へのメディア記録などのリソースとして利用される。

［第２の実施形態］
図２乃至図８は本発明の第２の実施形態の画像処理システムに係り、図２はベイヤー型原色フィルタの構成を示す図、図３は色差型フィルタを示す図、図４は９画素混合処理の概念図、図５は４画素混合処理の概念図、図６は図１における画素混合画像復元処理部の構成を示すブロック図、図７は画列列ベクトル化処理の概念図、図８は第２の実施形態の画像処理システムの構成図である。図２乃至図７は第１の実施形態と同様であるので、説明を省略し、主に図８について説明する。

図８に示す画像処理システムにおいて、入力部300は画像記録部303、画素混合画像復元処理部301へと接続されている。画素混合画像復元処理部301は画像記録部303と双方向接続されており、出力部306と接続されている。画像記録部303は前記接続の他に出力部306と接続されている。入力部300は画素混合復元行列生成部302と接続されている。
画素混合復元行列生成部302は画素混合画像復元処理部301と接続されている。外部I/F部305は制御部304へと双方向接続されている。制御部304は外部I/F部305のほかに画素混合画像復元処理部301、画素混合復元行列生成部302、画像記録部303と双方向接続されている。

以下に、図８における各部の機能及び作用を説明する。
入力部300を介して入力された映像信号は、画像記録部303又は画素混合画像復元処理部303へ転送される。入力部300を介して入力された映像信号は、図２又は図３のＣＦＡを通してＣＣＤで撮像され光電変換されて、さらに画素混合手段である画素混合処理部にて例えば９画素混合又は４画素混合され、その後にＡ/Ｄ変換されたデジタルの映像信号であり、付加情報として入力画像が画素混合画像であるか否かを示す情報や撮影状況の情報が付加されている。なお、入力画像の撮影状況の情報は、ＣＣＤ撮像時のズーム量、フォーカス量、絞り等の光学系に関するパラメータである。

入力画像が入力部300より映像信号として入力された時点で、画素混合画像か否かの判別を行い、画素混合画像であれば、画素混合画像復元処理部301へ映像信号を転送する。画素混合画像でなければ、画像記録部303へ映像信号を転送する。

なお、本実施形態では、画素混合画像が入力された場合であっても、画像記録部303の記録スペース削減の為、画素混合画像復元処理部301へと転送を行わず、画像記録部303へと転送するモードを含むものとする。この場合、画像記録部303において記録された画像を適宜、外部I/F部におけるユーザ指定により画素混合画像を画像記録部303より画素混合画像復元処理部301へと転送し、画素混合画像の撮影状況を画素混合復元行列生成部302へと転送するモードを含むものとする。

入力部300へ入力が画素混合であることに関する判別には、画素混合画像内に含まれる付加情報をもとに、入力部300が判別を行う。入力部300で入力された画像が画素混合画像であるならば、入力画像の映像信号を画素混合画像復元処理部301に転送し、画素混合画像に付加情報として含まれる撮影状況を画素混合復元行列生成部302へと転送する。
付加情報の記述法は、画像のヘッダ情報としてその撮影状況を付加する方法等が用いられる。

画素混合復元行列生成部302に転送された画素混合画像の撮影状況をもとに、画素混合復元行列生成部302では、画素混合復元行列の生成を行う。

画素混合画像に付加情報として付加された撮影状況の種類、またその撮影状況より画素混合復元行列の生成を行う手順の実施形態は、第１の実施形態の方法と同様である。
また、画素混合復元行列の画素混合復元行列生成部302おいての記録方法の実施形態は、第1の実施形態の方法と同様である。
画素混合復元行列生成部302において生成された画素混合復元行列は、画素混合画像復元処理部301へと転送される。

画素混合画像復元処理部301へ転送された画素混合画像及び画素混合復元行列を用いて、画素混合画像復元処理部301では、行列の演算処理を行い画素混合復元画像を生成する。画素混合復元画像を生成する行列演算法の実施形態は、第１の実施形態の方法と同様である。
画素混合画像復元処理部301において生成された、画素混合復元画像は、画像記録部303又は出力部306へ転送される。

出力部306において出力された画素混合復元画像データは、ＣＲＴや液晶や有機ＥＬ等のディスプレイによる画像表示、ＵＳＢ、ＩＥＥＥ１３９４、ＴＣＰ/ＩＰ等の各種伝送手段を用いた画像伝送、コンパクトフラシュ（登録商標）、xＤピクチャーカード（登録商標）、ＤＶＤＲ、等の各種記録媒体へのメディア記録などのリソースとして利用される。
なお、画像記録部303において記録された画像も上記同様出力部306において出力され、利用されるものとする。

本発明は、多画素の撮像素子を備えたデジタルカメラのような撮像装置や、撮像装置で得た画像データを処理する画像処理装置において広く応用することができる。

本発明の第１の実施形態の画像処理システムの構成図。ベイヤー型原色フィルタの構成を示す図。色差型フィルタを示す図。９画素混合処理の概念図。４画素混合処理の概念図。図１における画素混合画像復元処理部の構成を示すブロック図。画像列ベクトル化処理の概念図。本発明の第２の実施形態の画像処理システムの構成図。

符号の説明

１０２…色フィルタアレイ
１０３…ＣＣＤ（撮像素子）
１０８…PreWB部
１０９…測光評価部
１１０…合焦点検出部
１１１,３０４…制御部
１１２,３０５…外部I/F部
１１３,３０１…画像混合画像復元処理部（復元処理手段）
１１４,３０２…画素混合復元行列生成部（復元行列生成手段）
１１４ａ…ＰＳＦデータ生成手段
１１４ｂ…記憶領域
１１５,３０３…画像記録部
１１６,３０６…出力部

Claims

撮像素子における複数の画素の信号が混合して読み出されることにより取得された混合画素信号で表される画素混合画像の解像度を復元する画像処理システムであって、
前記混合画素信号が取得されたときの撮影状況を取得する撮影状況取得手段と、
前記撮影状況取得手段により取得された撮影状況をもとに画素混合復元行列を生成する復元行列生成手段と、
前記混合画素信号と前記画素混合復元行列を用いて前記画素混合画像の解像度を復元する復元処理手段と、
を有することを特徴とする画像処理システム。
被写体を撮影することで複数の画素の信号を生成する撮像手段と、
前記撮像手段により得られた前記複数の画素の信号を混合して読み出す画素混合手段と、
を更に備え、
前記撮影状況取得手段は、前記撮像手段で前記被写体を撮影したときの状況と、前記画素混合手段により前記複数の画素の信号を混合して読み出したときの状況のうちの少なくともいずれか一方を、前記撮影状況として取得することを特徴とする請求項１に記載の画像処理システム。
前記撮影状況取得手段は、
前記撮影状況として、前記被写体を撮影したときの撮影光学系に関する条件を取得することを特徴とする請求項１又は２に記載の撮像システム。
前記撮影状況取得手段は、
前記被写体を撮影したときの撮影光学系に関する条件からＰＳＦデータを生成するＰＳＦデータ生成手段を有し、前記撮影状況として前記ＰＳＦデータを取得することを特徴とする請求項１又は２に記載の画像処理システム。
前記ＰＳＦデータ生成手段は、
前記撮影光学系に関する条件によりLUTを検索することで、ＰＳＦデータを生成することを特徴とする請求項４に記載の画像処理システム。
前記撮影状況取得手段は、
前記撮影状況として、前記撮像素子における複数の画素の信号が混合して読み出された時の画素混合様式の情報を取得することを特徴とする、請求項１又は２に記載の画像処理システム。
前記混合画素信号には前記撮影状況を示す付加情報が付加され、
前記撮影状況取得手段は、前記付加情報により前記撮影状況を取得する
ことを特徴とする請求項１又は２に記載の画像処理システム。
前記画素混合復元行列の成分データを予め保持した記憶領域を有する
ことを特徴とする請求項１又は２に記載の画像処理システム。
前記画素混合復元行列の成分データを前記撮影状況に応じて予め保持した記憶領域を有し、
前記復元行列生成手段は、
前記撮影状況取得手段で取得した前記撮影状況に応じた前記成分データを有する前記画素混合復元行列を生成する
ことを特徴とする請求項１又は２に記載の画像処理システム。
前記画素混合復元行列の成分データを構成するための基礎データを前記撮影状況に応じて予め保持した記憶領域を有し、
前記復元行列生成手段は、
前記撮影状況取得手段で取得した前記撮影状況に応じた前記基礎データを用いて前記成分データを構成することで画素混合復元行列を生成する
ことを特徴とする請求項１又は２に記載の画像処理システム。
前記復元処理手段は、
前記画素混合画像に対し周波数変換を行う周波数変換手段と、
周波数変換された前記画素混合画像に対し任意の成分の入れ替えを行う順列変換手段と、
前記復元行列生成手段により生成された前記画素混合復元行列を用いて前記画素混合画像に対し復元演算処理を行う復元演算手段と、
を有することを特徴とする請求項１又は２に記載の画像処理システム。
前記周波数変換手段は、
実対称行列またはエルミート行列に対し、対角化作用を持つ直交行列演算またはユニタリ行列演算を行う
ことを特徴とする、請求項１１に記載の画像処理システム。
前記周波数変換手段は、
FFT演算処理を行う
ことを特徴とする、請求項１１に記載の画像処理システム。
前記復元演算手段は、
前記画素混合復元行列の成分データのうち、成分データの冗長性を判別し、冗長性があると判別された成分データを１つにまとめて前記復元演算処理を行う
ことを特徴とする請求項１1に記載の画像処理システム。
前記画素混合画像を記録保持する画素混合記録部を有する
ことを特徴とする請求項１又は２に記載の画像処理システム。