JPH04340671A - 画像合成におけるアンチエイリアシング方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は既に存在する画像間の合
成により新たな別の画像を作成し、外観，形状などのシ
ミュレーションを行う画像合成シミュレーションに関す
る。

【０００２】

【従来の技術】ディジタル画像の重畳合成処理は、基本
的に次の手順で行われる。

【０００３】（１）背景画像と重畳画像を準備する。例
えば、背景画像は風景であり、重畳画像は自動車の画像
である。

【０００４】（２）重畳画像中である領域を分離する（
この領域をマスクと称する）。例えば、自動車の部分だ
け切り出す。

【０００５】（３）重畳画像中の切り出された領域を背
景画像中に重ねるため、以下の操作を行う。

【０００６】（ａ）重ねる位置の指定 背景画像のｉ行ｊ列成分をＡ（ｉ，ｊ）、重畳画像のｉ
行ｊ列成分をＢ（ｉ，ｊ）、合成結果のｉ行ｊ列成分を
Ｃ（ｉ，ｊ）とする。これらの成分は、画像がカラー画
像と考え、赤緑青の３成分で表現されているものとする
（例えば、Ａ（ｉ，ｊ）の３成分はそれぞれＡｒ（ｉ，
ｊ），Ａｇ（ｉ，ｊ），Ａｂ（ｉ，ｊ）とする）。重ね
る位置を指定する手法としては、重畳画像のある一つの
画素が背景画像中でどこに位置するかを指定することが
一般的である。すなわち、Ｂ（ｉ１，ｊ１）が、Ａ（ｉ
０，ｊ０）に重なることとして、ｉ１，ｊ１，ｉ０，ｊ
０を指定する。

【０００７】（ｂ）拡大縮小率の指定 背景画像に重畳画像をそのまま重ねたのでは、大きさが
合わない場合が殆どである。そこで、重畳画像を拡大縮
小して調整する。具体的には、重畳画像をａ倍にすると
したならば次の通りである。

【０００８】 　　Ｃ（ｉ０＋ｉ，ｊ０＋ｊ）＝Ａ（ｉ０＋ｉ，ｊ０＋
ｊ）　　　　マスクの外　　Ｂ′（ｉ１＋ｉ／ａ，ｊ１
＋ｊ／ａ）　　　　　　　　　　　　　　　　　　マス
クの中　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　…（数１） 　　ただし、Ｂ′（ｘ，ｙ）はｘ，ｙが整数値でないた
め、重畳画像の周辺の画素の値を補間したものである。 代表的なものは双線形補間であり、次の式で表される。

【０００９】 　　Ｂ′（ｘ，ｙ）＝（［ｘ］＋１−ｘ）（［ｙ］＋１
−ｙ）Ｂ（［ｘ］，［ｙ］）　　　　　　　　　　　　
　　　　＋（［ｘ］＋１−ｘ）（ｙ−［ｙ］）Ｂ（［ｘ
］，［ｙ］＋１）　　　　　　　　　　　　　　　　＋
（ｘ−［ｘ］）（［ｙ］＋１−ｙ）Ｂ（［ｘ］＋１，［
ｙ］）　　　　　　　　　　　　　　　　＋（ｘ−［ｘ
］）（ｙ−［ｙ］）Ｂ（［ｘ］＋１，［ｙ］＋１）　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　…（数２） 　　［ｘ］はガウス記号であり、ｘを超えない整数を表
す。

【００１０】（ｃ）切り出された領域の色調の調整背景
画像と重畳画像は異なった日照条件，照明条件のもと撮
影されているので、そのまま合成したのでは、色調が異
なるため違和感が生じる。そこで、重畳画像または背景
画像を階調変換して色調を調整する。通常、赤緑青の３
成分をそれぞれ０から２５５の２５６階調で合計１６７
０万色で表している。階調変換では、赤緑青の３成分に
つき、０から２５５を定義域及び値域とする変換関数で
それぞれ変換をする。変換関数をＦｒ，Ｆｇ，Ｆｂ、変
換後の画素をＣ′で表す。

【００１１】 　　　　　　　　Ｃｒ′（ｉ，ｊ）＝Ｆｒ（Ｃｒ′（ｉ
，ｊ））　　　　マスクの内側　　　　　　　　Ｃｒ′
（ｉ，ｊ）＝Ｃｒ′（ｉ，ｊ）　　　　　　　　　　マ
スクの外側　　　　…（数３） 　　緑，青も同様。

【００１２】以上の位置指定，拡大縮小率指定，色調の
調整は対話的に行うのが通常である。

【００１３】この合成処理の際に、境界付近が不連続で
不自然になることがある。これを改善する処理がアンチ
エイリアシングであるが、主にアルファ合成と境界付近
の空間平均による方法の二つが行われている。

【００１４】最初にアルファ合成の方法について説明す
る。マスクは通常のビットマップによる表現では、２値
画像として表す。即ち、典型的にはマスクの内側の画素
が１、外側の画素が０とする。これを多値、あるいは、
実数にして行う合成処理がアルファ合成である。典型的
な場合、０から１の実数表現をした場合には、マスクを
α（ｉ，ｊ）と書くと、 　　Ｃ（ｉ，ｊ）＝（１−α（ｉ，ｊ））Ａ（ｉ，ｊ）
＋α（ｉ，ｊ）Ｂ（ｉ，ｊ）　　…（数４） と合成画像が計算される。例えば、αを０．５　にすれ
ば、背景画像と重畳画像の両方が重なって見えるわけで
ある。そこで、透明物体を重畳する場合や、重畳するも
のの輪郭付近が透けてみえるようにしておくと、重畳合
成による不自然さを軽減できる場合に使用されている。

【００１５】このアルファの値を場所により変化させる
とさらに効率のよいアルファ合成を行うことができる。 このためには、画像のサブサンプリングをしてマスクを
作成することによるのが通例である。この方法について
は、例えば、グラフィックデザイナーのためのディジタ
ルペインティング入門（３）と題し、ＰＩＸＥＬ　Ｎｏ
．８４ｐｐ．１８１−１８４（１９８９年）に述べられ
ている。この処理の概要は重畳する方の画像の各画素（
ピクセル）を例えば、８かける８合計６４のサブピクセ
ルにサブサンプリングしておき、そのサブサンプリング
した画像でマスクを作成する。アルファの値はそれぞれ
の画素の中の０と１のサブピクセルの個数の比をもって
定めるというものである。

【００１６】次に境界の空間平均の方法について説明す
る。境界の定義には４連結の境界をとる場合と８連結の
境界をとる場合の２通りが多いが、ここでは、境界線が
８連結のものを考える。すなわち、その画素が重畳画像
中の画素であり、かつ、その画素の上下左右の隣接する
画素のうち、ひとつでも重畳画像中の画素でないものが
ある場合にはその画素を境界の画素と定義する。空間平
均によるアンチエイリアシングでは、合成後の画像の画
素Ｃ（ｉ，ｊ）が合成の境界にあるとき、Ｃ（ｉ，ｊ）
の値をその近傍の適当な平均値で置き換えることに相当
する。典型的な場合には、縦３，横３の９画素の単純平
均値でおきかえる。すなわち、Ｃ（ｉ，ｊ）を次の式５
で置き換えることに相当する。

【００１７】 　　（Ｃ（ｉ−１，ｊ−１）＋Ｃ（ｉ−１，ｊ）＋Ｃ（
ｉ−１，ｊ＋１）　　　　＋Ｃ（ｉ，ｊ−１）＋Ｃ（ｉ
，ｊ）＋Ｃ（ｉ，ｊ＋１）＋Ｃ（ｉ＋１，ｊ−１）　　
　　＋Ｃ（ｉ＋１，ｊ−１）＋Ｃ（ｉ＋１，ｊ＋１））
／９　　　　　　　　　　　　　　　…（数５） 　　単純平均以外の重み付き平均や、３かける３以外の
大きさの平均も行われており、これに限るものではない
。 ３かける３の重み付き平均の場合には、β（ｋ，ｌ）を
重み係数として次のとおりである（図４）。

【００１８】 　　Ｃ（ｉ，ｊ）＝β（−１，−１）Ｃ（ｉ−１，ｊ−
１）　　　　　　　　　　　　　　＋β（−１，０）Ｃ
（ｉ−１，ｊ）＋β（−１，１）Ｃ（ｉ−１，ｊ＋１）
　　　　　　　　　　　　　　＋β（０，−１）Ｃ（ｉ
，ｊ−１）＋β（０，０）Ｃ（ｉ，ｊ）　　　　　　　
　　　　　　　＋β（０，１）Ｃ（ｉ，ｊ＋１）＋β（
１，−１）Ｃ（ｉ＋１，ｊ−１）　　　　　　　　　　
　　　　＋β（１，０）Ｃ（ｉ＋１，ｊ）＋β（１，１
）Ｃ（ｉ＋１，ｊ＋１）　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
…（数６） ただし、β（ｋ，ｌ）の総和は１とする。

【００１９】なお、本発明に関連する従来技術として、
ピクセル誌　　Ｎｏ８４，第１８１頁以下の記載がある
。

【００２０】

【発明が解決しようとする課題】上記従来の技術で述べ
たアンチエイリアシングの方法のうち、第１のアルファ
合成の方法では、アルファの値を均一の値（上記の場合
には０．５）のように与えると不自然になる場合がある
。 また、サブサンプリングする場合には、あらかじめ、解
像度が大きい画像を作っておく必要があるが、マスクの
作成などが高解像度画像に対しては手間が大変である。

【００２１】また、上記従来技術のうち、第２の境界に
沿った空間平均の方法では、境界に沿ってぼけたように
なることがあった。また、演算量がアルファ合成に比べ
て多く、計算時間がかかり問題になる場合があった。

【００２２】

【課題を解決するための手段】上記課題を解決するため
の手段としてマスクの端の局所的なパタンに従って異な
るアルファの値によるアルファ合成を行うことにより達
成される。すなわち、図４において、境界の画素の周辺
の３×３の９画素を考える。マスクの値が１のところ（
マスクの境界及び内部）を斜線で０のところ（マスクの
外部）を白で表している。中心の注目画素が境界であっ
た場合考えられるパタンは図５の通りである。これらの
パタンに対応して異なるアルファの値を決めることでよ
りきめの細かいアルファ合成が行われる。このアルファ
の値を決める一つの方法の説明のため、アンチエイリア
シングの際の画像の混合率を定義する。すなわち、アン
チエイリアシング後の境界の画素の値に対する重畳画像
の寄与率をもって混合率と定義する。アルファ合成の場
合の混合率はαであり、３かける３の空間平均の場合に
は、０か１の２値で表されるマスクをｍ（ｉ，ｊ）で表
すと混合率は次のとおり。

【００２３】 　　β（−１，−１）ｍ（ｉ−１，ｊ−１）＋β（−１
，０）ｍ（ｉ−１，ｊ）　　　　＋β（−１，１）ｍ（
ｉ−１，ｊ＋１）＋β（０，−１）ｍ（ｉ，ｊ−１）　
　　　＋β（０，０）ｍ（ｉ，ｊ）＋β（０，１）ｍ（
ｉ，ｊ＋１）　　　　＋β（１，−１）ｍ（ｉ＋１，ｊ
−１）＋β（１，０）ｍ（ｉ＋１，ｊ）　　　　＋β（
１，１）ｍ（ｉ＋１，ｊ＋１）　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　…（数７） 　　境界のマスクのパタンは図５に示したように限定さ
れるのでそれぞれのパタンについてこの値を予め計算し
ておき、それをアルファの値にしてアルファ合成を行う
ことができる。

【００２４】

【作用】上記課題を解決するための手段で述べた方法で
はアルファ合成でありながら境界周辺のマスクのパタン
によって異なるアルファの値を用いるので自然な合成が
行える。また、周辺を平均するような操作は行っていな
いのでぼけることはない。さらに、アルファ合成である
ので演算量も少ない。

【００２５】

【実施例】以下、図１から図６を用いて本発明の１実施
例である画像合成システムについて説明する。本実施例
では、風景の画像の上に自動車の画像を重畳合成する場
合について説明する。

【００２６】図６は、本発明の１実施例である画像合成
システムのハードウェア構成図である。コンピュータ６
０１，デイジタル化された画像を蓄えるメモリー６０３
，カラー画像あるいは、文字表示を行うＣＲＴ６０２，
写真をディジタル画像として画像を入力及び画像を印刷
する画像入出力装置６０５，キーボード６０３，ボタン
６０７のついたマウス６０６より構成されている。 ここで、マウス６０６の機能について説明すると、コン
ピュータ６０１上の制御プログラムにより、マウス６０
６で指示された平面上の位置に従い、ＣＲＴ６０２上に
小さな矢印が表示され、マウス６０６を動かすことによ
り、操作者はこの矢印をＣＲＴ６０２の画面上で自由に
動かすことができる。また、マウス６０６上のボタン６
０７を押すと、ＣＲＴ６０２上の画面中の矢印の先の位
置情報がコンピュータ６０１に送られ、その上で動作す
るソフトウェアで用いることができる。以下、この操作
を「ピックする」という用語を用いることにする。また
、ＣＲＴ６０２上に表示される画像の質については、縦
横１０００×１０００すなわち１画面１００万画素程度
で、赤青緑それぞれ２５６階調で合計１６７０万色程度
のものが一般的であるので、本発明でもこの程度の画質
のものを用いる。しかし、これに限定されるものではな
い。画像入出力装置６０５もこれに対応できるものを用
いる。

【００２７】次に、図１は合成処理の実施例の処理の流
れ図である。この処理は、主に第６図のコンピュータ６
０１で行われる。まず、ステップ１０１では背景画像で
ある風景画像と自動車の画像を、第６図ＣＲＴ６０２上
に表示する。これらの画像は、典型的には、画像入出力
装置６０７から入力され、メモリー６０３に蓄えられて
いたものをキーボード６０４やマウス６０５から入力さ
れる指示のもとにコンピュータ６０１の制御のもと表示
される。重畳画像は領域分割され自動車の部分を表すマ
スクが存在する。すなわち、従来の技術で述べたように
、ｎ行ｍ列の赤緑青の３成分からなる画素の配列である
重畳画像をＢ（ｉ，ｊ）、マスクをｍ（ｉ，ｊ）、ただ
し０≦ｉ＜ｎ，０≦ｊ＜ｍとすると、ある画素Ｂ（ｉ，
ｊ）が自動車の上にあるならば１、そうでないならば０
であるようなｍ（ｉ，ｊ）が重畳画像と共に準備してあ
る。次にステップ１０２では重畳合成に必要な情報を指
定するためのメニューから処理が選択される。この情報
は、従来の技術で述べたように、重畳位置，拡大縮小率
，階調調整（すなわち階調を変換する関数）の３種類で
ある。ステップ１０３では重畳位置を指定する。 ステップ１０４では拡大縮小率を指定する。ステップ１
０５では階調の調整を行う。ステップ１０６ではそれま
で指定された重畳の情報に従い合成処理に進むという選
択肢である。次にステップ１０７にて合成処理を行う。 これについては後に図２を用いて詳細に説明する。ステ
ップ１０８では合成結果の画像を表示する。ステップ１
０９では処理を繰り返すかどうかの選択を行う。

【００２８】次に、図１ステップ１０７の詳細を図２を
用いて説明する。ステップ２０１からステップ２０３あ
るいはステップ２０４までは背景画像の各画素に関して
の繰返しである。ステップ２０１では対象画素の位置の
マスクの値による分岐である。マスクの値が１の場合に
は境界及び内部の処理を行うステップ２０２に進み、マ
スクの値が０の場合にはマスク外部の処理を行うステッ
プ２０４に進む。ステップ２０２では対象画素の周辺の
マスクのパタンを調べる。この際、図５の上部のような
パタンを図形的にパタンマッチングすることもできるが
、図５の下のように周辺の各画素がマスクであるかどう
かを１バイトの数の各バイトが１か０に対応させれば、
１バイトの数で周辺のマスクパタンを記述できる。 この実施例では図５の下部のパタンのように左上を２の
０乗ビットその右を２の１乗ビットというようにｎと書
いてある画素が２のｎ乗ビットに対応するよう定義する
。この記法によると、図５左上のパタンは２進数で（０
０１１１１０）に対応し、その右側のパタンは２進数で
（００１１１１００）となる。１バイトで表現されるの
は１０進数で０から２５５であるので、定義域を０から
２５５としたテーブルｆ（ｋ）を準備しておき、これを
もってアルファの値を決める。ここで、ｋはパタンを表
現する０から２５５の数である。

【００２９】 　　α（ｉ，ｊ）＝ｆ（ｋ）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　…（数８） 　　本実施例では、課題を解決するための手段で述べた
ように、３×３の空間平均と混合率が等しくなるような
アルファの値を用いる。ただし、β（ｉ，ｊ）は総て９
分の１であるものとする。また、ｋが２進数で（１１１
１１１１１）のときは対象画素がマスクの内部であるが
、このときは完全に不透明なのでアルファは１とする。 次に、ステップ２０３では、ステップ２０２で決まった
アルファの値を用いてアルファ合成処理を行う。ステッ
プ２０４はマスクの外の処理であるが、合成画像の画素
は背景画像と同じにする。

【００３０】

【発明の効果】本発明によれば、アルファ合成により、
空間平均と同様の混合率の画像合成ができるので、ぼけ
のない合成画像が得られるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例の処理流れ図。

【図２】本発明の一実施例の詳細処理流れ図。

【図３】境界とマスクの説明図。

【図４】重み付き平均の説明図。

【図５】マスク境界の局所的パタンの例の説明図。

【図６】本発明の一実施例のハードウェア構成のブロッ
ク図。

Claims (6)

【特許請求の範囲】
1. 【請求項１】背景となるディジタル的に表現された画像
   中に、別のディジタル画像の一部、あるいは背景画像の
   一部を重畳合成した画像を作成する計算機システムにお
   いて、重畳画像の中で背景画像上へ重畳する領域を示す
   マスクの境界付近の画素を、重畳合成の際、背景画像と
   重畳画像の画素の値の重み付き平均値とするところのア
   ルファ合成において、ある境界の周辺の境界のマスク形
   状に従い場所により異なる重みによるアルファ合成を行
   うことを特徴とする画像合成におけるアンチエイリアシ
   ング方法。
2. 【請求項２】上記アルファ合成の重みは輪郭周辺の空間
   平均の画像の混合率である請求項１の画像合成における
   アンチエイリアシング方法。
3. 【請求項３】上記空間平均は縦３画素，横３画素空間平
   均であるとことの請求項２の画像合成におけるアンチエ
   イリアシング方法。
4. 【請求項４】上記境界付近のマスクの形状を記述する際
   、考慮する周辺の画素数の分だけの、あるいはそれ以上
   のビット数を持つ数を設定し、周辺の画素のマスクの内
   容と各ビットが１であるか０であるかを対応させ、その
   数を以って境界付近のマスクの形状を識別する請求項１
   の画像合成におけるアンチエイリアシング方法。
5. 【請求項５】上記境界付近のマスクの形状を記述する際
   、考慮する周辺の画素数の分だけの、あるいはそれ以上
   のビット数を持つ数を設定し、周辺の画素のマスクの内
   容と各ビットが１であるか０であるかを対応させ、その
   数を以って境界付近のマスクの形状を識別するところの
   請求項２の画像合成におけるアンチエイリアシング方法
   。
6. 【請求項６】上記境界付近のマスクの形状を記述する際
   、周辺縦３画素，横３画素のうち、該当境界画素を除い
   た周辺８画素のマスクの内容と１バイト、あるいは、そ
   れ以上のビット数を持つ数の各ビットが１であるか０で
   あるかを対応させ、その数を以って境界付近のマスクの
   形状を識別するところの請求項２の画像合成におけるア
   ンチエイリアシング方法。