JPH09214763A - ２値化画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 誤差拡散画像貼り合わせ部のスジの発生を抑
えるようにした２値化画像処理装置において、画像間の
輝度差補正を行い、同時に貼り合わせ部のスジの発生を
抑える。 【解決手段】 イメージセンサ12からの画像信号を入力
するフレームバッファ13と、輝度差検出部20と、誤差拡
散処理部15と、境界バッファ17と、データ変換回路19
と、ＣＰＵ21とを備え、輝度差検出部20において、次に
取り込まれる画像と重複する部分の平均輝度を算出し、
ＣＰＵ21において次に取り込まれる画像を処理する際に
その平均輝度値に基づいて誤差拡散白基準レベルを演算
し、これを用いて誤差拡散処理部15で１枚目の画像との
輝度差を補正しながら２値化処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像を２値化処
理する画像処理装置に関し、特に誤差拡散法を用いた２
値化画像処理装置に関する。

【０００２】

【従来の技術】従来、連続する画像信号から離散的な画
像（以下原画像という）信号に変換した後、２値のデジ
タル画像（以下２値画像という）信号に変換処理する
際、誤差拡散法により擬似階調を得るという手法があ
る。この手法は、1976年に FloidとSteinberg により
“ An Adaptive Algorithm for Spatial Greyscale "
(Proceeding of the S.I.D. Vol.17/2 Second Quater 1
976）という論文により提案されたもので、２値化処理
で発生した原画像に対する誤差を周辺の画素に分散し、
画像濃度を保存することを特徴としている。

【０００３】また、この誤差拡散法を用いた２値化画像
処理装置において、出力画像の輝度を可変するための方
法として、先に本件発明者が特願平６−１０６２２１号
において、誤差を演算する際用いられる誤差拡散白基準
レベル及び黒基準レベルを可変にすることによって、容
易に出力画像の輝度を可変できるようにした手法を提案
している。

【０００４】ところで、この誤差拡散法においては、被
写体となる多値画像を、水平走査方向に分割して取り込
み、各々の分割画像毎に誤差拡散処理した後、合成して
１枚の２値画像にする場合、合成した２値画像の貼り合
わせ部分にスジが発生してしまい、高画質な画像が得ら
れなくなるという問題がある。このスジが発生する原因
は、本来は貼り合わせ部分においても、既に２値化が終
わっている画像（以下被貼り合わせ画像という）からの
誤差を、その後に２値化する画像（以下貼り合わせ画像
という）へ拡散させるべきところを、画像を別々に処理
するためにそれが不可能になるからである。

【０００５】このような貼り合わせ部のスジの発生を抑
える手法としては、従来は、例えば特開昭６３−３０９
４５８号公報に開示されている手法が用いられていた。
通常、誤差拡散処理を行うと、誤差データと２値データ
が出力されるが、上記公報開示の手法は、被貼り合わせ
画像の誤差拡散処理時において、隣接する貼り合わせ画
像との貼り合わせ部分の誤差データをメモリに保持して
おき、貼り合わせ画像の貼り合わせ部分を誤差拡散処理
する際、メモリに保持しておいた誤差データを用いるこ
とにより、誤差拡散画像を合成した際に生じるスジの発
生を抑えるというものである。

【０００６】図４は、従来の誤差拡散画像の貼り合わせ
を行う２値化画像処理装置における誤差拡散の動作原理
を示す図である。図４において、101 は被貼り合わせ画
像、102 は貼り合わせ画像、中央部の縦の線103 は被貼
り合わせ画像と貼り合わせ画像の境界部分、104 ，105
は誤差拡散マトリクス、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆが画素
を示している。いま、Ａで示した画素を誤差拡散処理す
るときを考える。このとき、画素Ａを処理した結果生じ
た誤差はマトリクス104 で示した範囲の画素Ｂ，Ｃ，Ｄ
に拡散される。同様に、画素Ｃを処理した結果生じた誤
差はマトリクス105 で示した範囲の画素Ｄ，Ｅ，Ｆに拡
散される。つまり、貼り合わせ部分を処理する際には、
被貼り合わせ画像で生じた誤差を貼り合わせ画像にも拡
散しなければならないことになる。これを、逆に誤差を
拡散される画素の側から考えると、例えば画素Ｄを処理
する場合、マトリクス104 で示した範囲の誤差が必要と
なり、つまり、貼り合わせ画像の処理に被貼り合わせ画
像の画素Ａ，Ｃで生じた誤差データが必要ということに
なる。

【０００７】よって、上記公報開示の従来例において
は、被貼り合わせ画像で発生した誤差の内、貼り合わせ
画像に拡散させるべき誤差をメモリに保持しておき、貼
り合わせ画像を処理する際に用いるという方法を用いて
いる。

【０００８】また、スジの発生を抑える他の方法とし
て、本件出願人が特願平６−２８０２９９号において、
被貼り合わせ画像貼り合わせ部の誤差拡散処理後の２値
データを保存しておき、貼り合わせ画像の処理時に、そ
の２値データから仮想誤差データを生成し、用いるとい
う手法を提案している。この手法は保存するデータを２
値データとすることにより、少ないメモリ構成で誤差拡
散合成画像のスジを抑えようとするものである。

【０００９】この方法が前述の公報開示の従来例と異な
る点は、保持するものが誤差データではなく、２値デー
タであるということである。貼り合わせ画像を処理する
際には、保持しておいた２値データから誤差データを生
成し直して、これを仮想誤差データとして用いることに
なる。例えば、メモリに保存しておいた２値データが０
（黒）であった場合、仮想誤差データとしてある固定値
を、２値データが１（白）であった場合、仮想誤差デー
タとして負の固定値を生成し直して用いることになる。

【００１０】

【発明が解決しようとする課題】ところで、画像を分割
して取り込む場合、取り込んだ画像間に輝度差が発生す
ることがある。画像を分割して取り込む方法としては、
例えば、１つの固体撮像素子をスキャンさせて時分割で
画像を取り込む方法、複数の固体撮像素子を組み合わ
せ、画像を取り込む方法等が考えられる。前者の方法で
は蛍光灯のフリッカ等、周辺環境の変化による影響で、
また後者では固体撮像素子間の特性の違いにより輝度差
が生じてしまう。このような輝度差があると、たとえ重
複部分であっても誤差データは一致したものとはならな
いため、スジが発生してしまう。

【００１１】しかしながら、前記構成の従来のスジの発
生を抑えるための画像処理装置では、輝度差の影響を考
慮せず、隣接画像の誤差データあるいは仮想誤差データ
をそのまま用いており、このような画像間に輝度差があ
る場合のスジの発生を抑えるという観点については何も
開示あるいは提案がなされていない。そのため、これら
の従来の手法によって、輝度差がある画像の誤差拡散処
理を行い、合成するためには、誤差拡散処理前の多値画
像に対して輝度差の補正をしなければならず、そのため
には例えば高速な乗算器等の部品が必要になったり、処
理時間が増大するなどの問題が生じる。

【００１２】本発明は、従来の誤差拡散画像貼り合わせ
部のスジの発生を抑えるようにした２値化画像処理装置
における、上記問題点を解消するためになされたもの
で、特別な回路及び部品を付加することなく、画像間の
輝度差補正を行い、同時に貼り合わせ部のスジの発生を
抑えることのできる２値化画像処理装置を提供すること
を目的とする。

【００１３】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１記載の発明は、重複部分を有するようにし
て複数に分割して取り込んだ多値画像を誤差拡散手段に
より２値化し、合成して１枚の２値高精細画像を生成す
る画像処理装置において、合成する画像間の輝度差を補
正する輝度差補正手段と、合成する画像間の貼り合わせ
部のスムージングをするスムージング手段とを備え、画
像間の輝度差補正と貼り合わせ部のスムージングを同時
に行えるように構成するものである。これにより、誤差
拡散処理で得られる誤差を操作できるため、誤差拡散処
理を行うだけで、画像間の輝度補正と貼り合わせ部のス
ムージングを同時に行うことができる。

【００１４】請求項２記載の発明は、請求項１記載の２
値化画像処理装置において、前記輝度差補正手段を、合
成画像の重複部分の輝度から求められた貼り合わせ画像
の誤差拡散白基準レベルを、あらかじめ任意に設定され
た被貼り合わせ画像の誤差拡散白基準レベルを基準にし
て、画像毎に可変にして輝度補正をするように構成する
ものである。これにより、誤差拡散処理して得られる誤
差値が可変できるため、演算器やメモリ等の特別な部品
なしで、画像間の輝度差補正ができる。

【００１５】請求項３記載の発明は、請求項１又は２記
載の２値化画像処理装置において、前記スムージング手
段を、画像重複部分の２値データから生成した仮想誤差
データと、２枚の画像の誤差拡散白基準レベルから求め
た修正仮想誤差データとに基づいてスムージングを行う
ように構成するものである。これにより、画像間で受け
渡すデータが２値データのみとなり、データの修正もル
ックアップテーブルで行えるので、少ない部品で高速に
貼り合わせ部のスムージングができる。

【００１６】なお、本発明において、「誤差拡散白基準
レベル」とは、誤差拡散処理で誤差を演算する際に用い
る白の輝度レベルを意味し、従来の誤差拡散処理では画
像の最大階調数（８ビット画像では255 ）としているも
のである。また、「仮想誤差データ」とは、画像の２値
データから再生成した誤差データを意味し、「仮想修正
誤差データ」とは、仮想誤差を貼り合わせ画像間の輝度
差に応じて修正した誤差データを意味する。

【００１７】

【発明の実施の形態】次に、本発明の実施の形態につい
て説明する。図１は本発明に係わる２値化画像処理装置
の実施の形態を示す概略ブロック構成図である。図１に
おいて、11は画像を複数分割して取り込むために必要な
ミラースキャンブロック、12はイメージセンサ、13はフ
レームバッファ、14はフレームバッファ13をコントロー
ルするための第１のメモリコントローラ、15は誤差拡散
処理部、16は２値データ出力部、17は境界部分の２値デ
ータを保存するための境界バッファ、18は境界バッファ
17をコントロールするための第２のメモリコントロー
ラ、19は２値データを修正仮想誤差データに変換するデ
ータ変換回路、20は画像間の輝度差を検出する輝度差検
出部、21はＣＰＵ、22は画像の重複部分を検出するブロ
ックである。

【００１８】次に、このように構成された実施の形態の
動作について説明する。ミラースキャン11によって、分
割する画像毎に鏡が少しずつ振られることにより、各分
割画像の情報が取り込まれる。以降は、この分割画像毎
に処理が行われる。まず、１回目のスキャンにより取り
込まれた１枚目の分割画像の処理について、画像信号の
順を追って説明する。ミラースキャン11によって反射さ
れた光学像は、イメージセンサ12に入力される。このイ
メージセンサ12は例えばインターレース方式のものであ
り、出力信号は、通常のビデオ信号という形態をとって
フレームバッファ13に入力される。このフレームバッフ
ァ13においては、イメージセンサ12から出力された信号
をフレームバッファに書き込むと共に、インターレース
方式の信号をノンインターレース方式の信号に変換する
機能を有している。このフレームバッファ13の機能はＣ
ＰＵ21からの指令を基に、第１のメモリコントローラ14
によって制御される。

【００１９】イメージセンサ12からの画像信号は、また
輝度差検出部20に入力される。この輝度差検出部20では
ＣＰＵ21からの制御を基に、次に取り込まれる画像と重
複する部分の平均輝度を演算し、その結果をＣＰＵ21に
渡す。ＣＰＵ21では、次に取り込まれる２枚目の画像を
処理する際、この平均輝度値に基づき、誤差拡散白基準
レベルを演算することになる。画像の重複部分の検出
は、重複部検出部22で行われる。フレームバッファ13か
ら出力された信号は、誤差拡散処理部15により２値化さ
れ、データ出力部16に渡される。１枚目の画像の誤差拡
散処理に用いる誤差拡散白基準レベルは、予め設定して
ある値を用いる。誤差拡散処理部15の出力信号は、シリ
アルパラレル変換された後、境界バッファ17へも入力さ
れ、次に取り込まれる画像との貼り合わせ部分の２値デ
ータが保存される。この境界バッファ17はＣＰＵ21から
の指令を基に、第２のメモリコントローラ18により制御
される。

【００２０】次に、２回目のスキャンにより取り込まれ
た２枚目の分割画像の処理について説明する。画像デー
タが、誤差拡散処理部15に入力されるまでの処理は１枚
目の画像のときと同じである。まず、ＣＰＵ21では輝度
差検出部20で得られた１枚目と２枚目の画像間の輝度差
情報をもとに、２枚目の画像に対する誤差拡散白基準レ
ベルを演算する。誤差拡散処理部15ではＣＰＵ21から入
力される誤差拡散白基準レベルを用いて、１枚目の画像
との輝度差を補正しながら２値化処理が行われる。ま
た、境界バッファ17に保存されていた貼り合わせ用２値
データが読み出され、データ変換回路19では、２値デー
タから仮想誤差を作成し、その仮想誤差とＣＰＵ21から
入力される２枚目の画像に対する誤差拡散白基準レベル
とを演算することにより、修正仮想誤差データを得る。
演算は、誤差拡散白基準レベルのみが変数となるため、
ルックアップテーブル（ＬＵＴ）で行ってもよい。ここ
で得られた修正仮想誤差データが誤差拡散処理部15に出
力され、誤差拡散処理部15で貼り合わせ部のスムージン
グに用いられ、誤差拡散処理される。そして、誤差拡散
処理部15から２値データが、データ出力部16及び境界バ
ッファ17に出力される。以下、同じ手順で３枚目の画
像、４枚目の画像というように続けることができる。

【００２１】次に、上記誤差拡散処理部の構成について
詳細に説明する。図２は、図１の誤差拡散処理部15の詳
細な構成を示したブロック構成図である。図２におい
て、フレームバッファ13の出力信号が入力画像データと
いう形で加算器31に入力される。この加算器31の出力
は、２値化回路32を介して誤差拡散出力としてデータ出
力部16に出力されると共に、誤差演算回路33に出力され
る。この誤差演算回路33では、２値化処理された結果と
２値化処理する前の信号に対して、その差を誤差として
演算する。ここでは、通常の誤差拡散処理では０と画像
のダイナミックレンジＲとしている２値のレベルを、０
と誤差拡散白基準レベルＷＨとし誤差を演算するため、
出力２値画像の明るさを可変する機能を持っている。こ
の誤差演算回路33の出力は、誤差データとして誤差メモ
リ34に記憶される。誤差メモリ34には、またＣＰＵ21か
らの制御信号に基づいて作成されるコントロール信号
が、誤差拡散メモリコントローラ35を介して入力され
る。

【００２２】また、誤差拡散メモリコントローラ35から
の制御信号は、誤差セレクタ36と、誤差レジスタ37に供
給される。上記誤差レジスタ37では、データ変換回路19
から入力された修正仮想誤差データが蓄えられた後に、
誤差セレクタ36の一方の入力端子に出力される。この誤
差セレクタ36の他方の入力端子には、上記誤差メモリ34
の出力が供給される。誤差セレクタ36からの出力は、誤
差重み係数回路38の出力と共に累積誤差演算回路39に供
給されて掛け合わされる。そして、累積誤差演算回路39
にて加重平均が求められて、入力画像データに加える累
積誤差が算出される。これが加算器31に供給されること
になる。

【００２３】このように構成された誤差拡散処理部15で
は、入力された画像データに対して、その周辺の画像の
誤差を累積したものの演算結果が加算されるようになっ
ている。ところで、前述した図４の説明において、貼り
合わせ画像の左端画素を処理する際には、被貼り合わせ
画像の２値データが必要となる。したがって、貼り合わ
せ画像の左端の処理を行う際には、図２に示された誤差
セレクタ36の切り換え端子が、下側（Ｌ）の誤差レジス
タ37の出力側に接続される。これにより、被貼り合わせ
画像の２値データから変換され、修正された修正仮想誤
差データが累積誤差演算回路39に入力されることにな
る。また、これ以外の誤差データについては、誤差セレ
クタ36が上側（Ｈ）に選択されるようになって、誤差演
算の誤差メモリ34からの出力に切り換えられる。更に、
貼り合わせ画像の左から２番目以降の画素の処理につい
ては、誤差メモリ34からの出力がそのまま累積誤差演算
回路39の出力として供給されるので、誤差セレクタ36の
切り換え端子は上側（Ｈ）に接続された状態が続くこと
になる。

【００２４】次に、本発明の動作原理について更に具体
的に説明する。まず、誤差拡散白基準レベルを可変さ
せ、２値画像間の輝度差を補正する方法について説明す
る。被写体画像をデジタル化するＡ／Ｄ変換器から入力
されるｎビットのデジタル信号を誤差拡散処理すると
き、誤差データの演算に用いる誤差拡散白基準レベルＷ
Ｈを外部から制御する。演算して得られる誤差データ
は、周辺画素で生じた誤差データを画像信号に加えた信
号（以下補正画像信号と称す）と２値レベルの差であ
る。例えば、２値化結果が白で、ＷＨは従来の誤差拡散
法における誤差拡散白基準レベルＲ（Ｒ：画像のダイナ
ミックレンジ）のとき、生じる誤差データＥは、Ｅ＝補
正画像信号−Ｒとなる。Ｅは負であるので、後に他の画
像信号に加えられると、その補正画像信号は小さくな
る。すなわち、このときの誤差データＥは画像を暗くす
るように働く。いまＷＨをＲより小さくすると、生じる
誤差データはＥに比べ小さくなる。すなわち、周辺画素
を黒くする度合いが小さくなるということである。よっ
て、被貼り合わせ画像を誤差拡散処理する際には、この
ＷＨを予めＷＨ＜Ｒと設定しておき、貼り合わせ画像を
誤差拡散処理する際には、ＷＨを画像間の輝度差に応じ
て上下に可変させて、出力２値画像の輝度を補正するこ
とができる。

【００２５】次に、これらの値の異なる２つのＷＨと、
境界部の２値データから生成される仮想誤差ｅｖ１から
修正仮想誤差ｅｖ２を得る方法について説明する。説明
をし易くするために、まず、これらの値の異なる２つの
ＷＨと、境界部の誤差から修正誤差を得る方法について
説明する。前述したように、貼り合わせ画像間に輝度差
がある場合、ＷＨを可変させれば、輝度差を合わせるこ
とはできる。そして、このＷＨを用いて、以下に示すよ
うに修正輝度を得ることができる。いま、貼り合わせ画
像が被貼り合わせ画像より暗い場合を考える。被貼り合
わせ画像のＷＨをｗｈ１，貼り合わせ画像のＷＨをｗｈ
２とすると、貼り合わせ画像を明るくするにはｗｈ２を
輝度差に応じてｗｈ１より下げればよい。そしてこのと
き、２値化の閾値をそれぞれ、 ｔｈ１＝ｗｈ１／２ ｔｈ２＝ｗｈ２／２ とすると、発生する誤差ｅ１，ｅ２はＷＨ＝Ｒのときの
誤差Ｅ１，Ｅ２に対し、 ｅ１＝Ｅ１・ｗｈ１／Ｒ ｅ２＝Ｅ１・ｗｈ２／Ｒ と、全体に圧縮された値となる。よって、ｅ１をｅ２と
して使おうとする場合は、同様の考え方により、 ｅ２＝ｅ１・（ｗｈ２／Ｒ）／（ｗｈ１／Ｒ） ＝ｅ１・ｗｈ２／ｗｈ１ となる。つまり、貼り合わせ画像で必要とする誤差の補
正は、被貼り合わせ画像で発生した貼り合わせ部誤差
を、ｗｈ２／ｗｈ１倍すればよいことになる。一方、貼
り合わせ画像が被貼り合わせ画像より明るい場合は、輝
度差補正を行うためにはｗｈ２をｗｈ１より上げればよ
いことになるが、誤差の補正としてはｗｈ２／ｗｈ１倍
することに変わりはない。

【００２６】そして、この考え方を仮想誤差の修正に適
用する。図３に、この動作原理を示す概略図を示す。ま
ず被貼り合わせ画像１の貼り合わせ部において、画素５
の２値データをメモリ８に保存し、このデータを基に変
換部９において仮想誤差を生成しなおす。この２値デー
タから仮想誤差を得る方法は、例えば前述の特願平６−
２８０２９９号で示された方法により行う。これにより
得られた仮想誤差を、修正部10において前述の誤差を修
正誤差に変換する方法と同じ方法で修正し、修正仮想誤
差とする。ここでは、仮想誤差をＷＨ＝Ｒという条件で
設定してある場合、ＷＨがＲからｗｈ１に変化したこと
による修正を仮想誤差に対し加えなければならない（仮
想誤差に対しｗｈ１／Ｒ倍する）。よって、修正仮想誤
差ｅｖ２は、 ｅｖ２＝ｅｖ１・（ｗｈ１／Ｒ）・（ｗｈ１／ｗｈ２） ＝ｅｖ１・ｗｈ２／Ｒ と表され、ｗｈ２の関数となり、これを貼り合わせ画像
２の画素６を処理するときに用いることになる。なお、
上記実施の形態においては、重複部の平均輝度値に基づ
いて誤差拡散白基準レベルを算出するようにしたものを
示したが、平均輝度値でなくてもよく、２枚の輝度差が
分かる値であれば、例えば１画素単位の値を用いてもよ
い。

【００２７】

【発明の効果】以上実施の形態に基づいて説明したよう
に、誤差拡散白基準レベルを可変させることによって、
画像間の輝度差の補正ができ、同時に誤差拡散白基準レ
ベルと仮想誤差データとの演算をすることにより、小さ
な回路規模で、且つ高速に、貼り合わせ部にスジのでな
い２値化画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明に係る２値化画像処理装置の実施の形態
を示す概略ブロック構成図である。

【図２】図１に示した実施形態における誤差拡散処理部
の構成例を示すブロック構成図である。

【図３】本発明の動作原理を説明するための概略図であ
る。

【図４】従来の誤差拡散画像貼り合わせを行う２値化画
像処理装置の動作原理を説明するための概略図である。

【符号の説明】

１ 被貼り合わせ画像 ２ 貼り合わせ画像 ４，６ 誤差拡散マトリクス ５，７ 画素 ８ メモリ ９ 変換部 10 修正部 11 ミラースキャンブロック 12 イメージセンサ 13 フレームバッファ 14 第１のメモリコントローラ 15 誤差拡散処理部 16 ２値データ出力部 17 境界バッファ 18 第２のメモリコントローラ 19 データ変換回路 20 輝度差検出部 21 ＣＰＵ 22 重複部検出部 31 加算器 32 ２値化回路 33 誤差演算回路 34 誤差メモリ 35 誤差拡散メモリコントローラ 36 誤差セレクタ 37 誤差レジスタ 38 誤差重み係数回路 39 累積誤差演算回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/40 １０３Ａ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 重複部分を有するようにして複数に分割
   して取り込んだ多値画像を誤差拡散手段により２値化
   し、合成して１枚の２値高精細画像を生成する画像処理
   装置において、合成する画像間の輝度差を補正する輝度
   差補正手段と、合成する画像間の貼り合わせ部のスムー
   ジングをするスムージング手段とを備え、画像間の輝度
   差補正と貼り合わせ部のスムージングを同時に行えるよ
   うに構成したことを特徴とする２値化画像処理装置。
2. 【請求項２】 前記輝度差補正手段は、合成画像の重複
   部分の輝度から求められた貼り合わせ画像の誤差拡散白
   基準レベルを、あらかじめ任意に設定された被貼り合わ
   せ画像の誤差拡散白基準レベルを基準にして、画像毎に
   可変にして輝度補正をするように構成されていることを
   特徴とする請求項１記載の２値化画像処理装置。
3. 【請求項３】 前記スムージング手段は、画像重複部分
   の２値データから生成した仮想誤差データと、２枚の画
   像の誤差拡散白基準レベルから求めた修正仮想誤差デー
   タとに基づいてスムージングを行うように構成されてい
   ることを特徴とする請求項１又は２記載の２値化画像処
   理装置。