JPH10247241A

JPH10247241A - 畳み込み走査ラインレンダリング

Info

Publication number: JPH10247241A
Application number: JP10011769A
Authority: JP
Inventors: George Politis; ジョージ・ポリータス
Original assignee: Canon Information Systems Research Australia Pty Ltd; Canon Inc
Current assignee: Canon Information Systems Research Australia Pty Ltd; Canon Inc
Priority date: 1997-01-24
Filing date: 1998-01-23
Publication date: 1998-09-14
Anticipated expiration: 2018-01-23
Also published as: US6580836B2; EP0855682A3; DE69817633D1; DE69817633T2; EP0855682A2; JP4109740B2; US20020085012A1; EP0855682B1; AUPO478897A0

Abstract

(57)【要約】【課題】画像畳み込み操作の実行を、従来のフレーム
バッファよりむしろ走査ラインバッファ（あるいバンド
バッファ）の使用を提供し、グラフィカルオブジェクト
ベースの画像を取り扱う場合に格別な効果をもたらす。【解決手段】出力画像を生成するために入力画像に畳み
込み演算子を適用する方法及び装置を開示する。入力画
像の少なくとも所定走査ライン数に対応する画素データ
が画像の一部を記憶するためのバッファメモリへ供給さ
れる。画像データはデータ資源から供給あるいは選択的
にオブジェクトグラフィック環境からレンダリングされ
て良い。出力画像の走査ラインを生成するために画素デ
ータに畳み込みマスクが供給される。畳み込みマスクは
所定行及び列数の係数を有し、所定走査ライン数はその
所定行数あるいは列数に実質的に等しい。入力画像のあ
る走査ラインが廃棄されると、次の走査ラインが畳み込
みにより生成される出力画像の各走査ラインに対し供給
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的な画像畳み
込み（convolution）技術に関するものであり、特に、
走査ラインレンダリング環境におけるデジタル画像ある
いはオブジェクトベースのグラフィックの畳み込みを実
行する画像畳み込み技術に関するものである。

【０００２】

【従来技術】現在の画像畳み込みシステムは、半導体メ
モリフレームバッファを用いて画像畳み込みを実行す
る。しかしながら、この技術では、特に、画像の高速レ
ンダリングが必要とされる場合に、利用可能なメモリが
どのくらい記憶できるかで、畳み込みに適用され得る画
像のサイズの制限の可能性がある。また、現在のシステ
ムは、画素ベースの画像データで形成される画像のみに
畳み込みが適用されることが許容され、オブジェクトベ
ースの画像データから形成される画像に畳み込むが適用
されることは一般的に許容されていない。

【０００３】図１において、任意の数学的関数による画
像の畳み込みは以下のように定義され得る。画像１０
は、走査ラインに沿う水平位置がｘで、画像１０の左上
角から下に向かう垂直位置がｙである関数Ｉ（ｘ，ｙ）
によって示され得る。画素整数座標ｐ及びｑの画素１２
は、ｐ≦ｘ≦ｐ＋１、ｑ≦ｑ＋１の範囲での関数Ｉ
（ｘ，ｙ）によって返される値を有する。これの実行に
おいては、通常、画像は、例えば、ＲＧＢ値として知ら
れる赤、緑及び青の連続色成分として表現される。この
ように、通常、関数Ｉ（ｘ，ｙ）は、各色成分、Ｉ
_R（ｘ，ｙ）、Ｉ_G（ｘ，ｙ）及びＩ_B（ｘ，ｙ）と、い
くつかの関数で示される。所定関数ｆ（ｘ，ｙ）による
画像１０の畳み込みは、以下の式によって数学的に定義
され、

【０００４】

【数１】

【０００５】理論上、ｆは有限あるいは無限範囲上で定
義され得る。実条件として、畳み込みは、通常、図２に
示されるような有限マスク２１（カーネルとしてまた知
られている）ｋ_ij、i=-m,…,m、j=-n,…,nによって表現
されるｆ（ｘ，ｙ）によって実行され、中央要素あるい
はマスク係数がｋ₀₀要素２２であるように表現される。
畳み込みは、以下の式によって各画素（ｐ，ｑ）に対し
計算され、

【０００６】

【数２】

【０００７】Ｉの使用は、必要とされる各色成分上での
連続独立計算を示している。

【０００８】図３は、図２の有限マスク２１に従う畳み
込み計算を示す。出力画像３２内の各画素３１は、入力
画像３４の複数走査ラインを横切る複数の隣接画素３３
に依存する。従来のシステムでは、隣接領域画素を利用
する困難が全くないので、全画像半導体フレームバッフ
ァは、入力画像３４を完全に記憶するように用いられ
る。

【０００９】本明細書を通して、特に示されない限り、
「メモリ」の対象は、例えば、ハード（磁気）ディス
クあるいは光ディスクメモリよりも、実質的により高速
データ転送レート及びより短いアクセス時間を供給する
半導体ベースのランダムアクセスメモリのような高速デ
ータ転送レート及びアクセス時間が短いメモリが対象と
されることである。高速データ転送レートで、アクセス
時間が短いメモリの他の例としては、バブルメモリ（bu
bble memory）及び水銀遅延ラインメモリ（mercury del
ay line memory）の類を含む。

【００１０】

【発明が解決しようとする課題】しかしながら、他の画
像操作処理において、画像畳み込み用フレームバッファ
の使用は、多くの問題及び短所を引き起こす。第一に、
上述したようなメモリの価格は過去数年来から下降して
いるけれども、相対的に高価なものである。そのため、
コンピュータシステムに典型的に使用されるこのような
メモリの記憶容量は、内部記憶用の低速メモリ（例え
ば、ハードディスク）を利用するよりも優先して高速メ
モリ資源を使用する傾向があるオペレーティングシステ
ム及び多くのアプリケーションプログラムのうちの１つ
の同時実行によって、頻繁に消費される。また、フレー
ムバッファの規格は、画素ベース形式へのグラフィカル
オブジェクトのレンダリングによって、より多くのメモ
リの資源の占有及び上述した問題点を助長する。

【００１１】それゆえ、従来技術の構成によって結び付
けられた１つ以上の問題点を実質的に克服し、あるいは
改善することが本発明の目的である。

【００１２】本発明は上記の問題点に鑑みてなされたも
のであり、従来のフレームバッファよりむしろ走査ライ
ンバッファ（あるいバンドバッファ）を使用して画像畳
み込み操作を実行することを提供し、また、グラフィカ
ルオブジェクトベースの画像を取り扱う場合に格別な効
果をもたらす。

【００１３】

【課題を解決するための手段】本発明の目的に従えば、
画像に畳み込み演算子を適用する方法を提供し、その方
法は以下のステップからなる。

【００１４】（ａ）複数の係数を有する有限畳み込みマ
スク供給し、前記係数は、所定行数及び所定列数で構成
され、（ｂ）前記画像の一部を記憶するためのバッファ
手段を供給し、（ｃ）前記バッファ手段が記憶する少な
くとも前記有限畳み込みマスクの前記所定行数あるいは
前記所定列数に実質的に等しい前記画像の所定数の走査
ラインをレンダリングし、（ｄ）出力画像の走査ライン
を生成するために、前記レンダリングされた複数の走査
ラインに前記有限畳み込みマスクを適用する。

【００１５】好ましくは、前記出力画像の複数の走査ラ
インを生成するために、前記ステップ（ｃ）及び前記ス
テップ（ｄ）を繰り返し、前記ステップ（ｃ）では、走
査ラインが廃棄され、次の走査ラインが出力画像のそれ
ぞれの走査ラインに対しレンダリングされる。

【００１６】より好ましくは、前記画像は、オブジェク
トベースのグラフィック環境で表される。このような環
境の場合、前記画像は、複数のノードから構成される式
木表現によって表される。典型的なノードは、演算子あ
るいは原始関数のどちらかとして特徴づけられる。画像
は、選択的に命令シーケンスあるいは階層的データ表現
で表されても良い。一般的に、式木表現の１つ以上のノ
ードあるいは命令シーケンスの各シーケンスは、レンダ
リング数を付加している。典型的なレンダリング数は、
ノードあるいは命令に対する注目走査ラインの前のレン
ダリングされる走査ライン数を表す。

【００１７】好ましくは、マスクの係数は、任意関数に
よって決定される。

【００１８】本発明の他の目的に従えば、出力画像を生
成するために入力画像に畳み込み演算子を適用する方法
が開示され、その方法は以下のステップからなる。

【００１９】（ａ）前記画像の一部を記憶するためのバ
ッファ手段を供給し、画像の画素データは少なくとも前
記画像の所定走査ライン数に対応し、（ｂ）前記出力画
像の走査ラインを生成するために前記画像の画素データ
に対し有限畳み込みマスクを適用し、前記有限畳み込み
マスクは、所定行数及び所定列数で構成される複数の係
数を有し、前記所定走査ライン数は、少なくとも該有限
畳み込みマスクの所定行数あるいは所定列数と実質的に
等しい。

【００２０】本発明の他の目的に従えば、オブジェクト
ベースのグラフィック環境において少なくとも１つのグ
ラフィカルオブジェクトを表す画像に対し畳み込み演算
子を適用する方法が開示され、その方法は以下のステッ
プからなる。

【００２１】（ａ）複数の係数を有する有限畳み込みマ
スクを供給し、前記係数は、所定行数及び所定列数で構
成され、（ｂ）前記画像の一部を記憶するバッファ手段
を供給し、（ｃ）前記バッファ手段に少なくとも１つの
グラフィカルオブジェクトの少なくとも所定数の走査ラ
インをレンダリングし、該所定走査ライン数は、前記有
限畳み込みマスクの所定行数あるいは所定列数に実質的
に等しく、（ｄ）出力画像の走査ラインを生成するため
に前記レンダリングされた複数の走査ラインに対し前記
有限畳み込みマスクを適用し、（ｅ）前記出力画像の複
数の走査ラインを生成するために前記ステップ（ｃ）及
び前記ステップ（ｄ）を繰り返し、該レンダリングステ
ップ（ｃ）では、前記バッファ手段からある走査ライン
が廃棄されると、次の走査ラインが該出力画像の各走査
ラインに対しレンダリングされる。

【００２２】本発明の他の目的に従えば、画像に畳み込
み演算子を適用する装置が開示され、その装置は以下の
構成からなる。

【００２３】複数の係数を有する有限畳み込みマスクを
供給する第１手段と、該係数は所定行数及び所定列数で
構成され、前記画像の一部を記憶するバッファ手段と、
前記バッファ手段へ、少なくとも前記入力画像の所定ラ
イン数の画像の画素データを供給する第２手段と、前記
所定走査ライン数は、前記有限畳み込みマスクの前記所
定行数あるいは前記所定列数に実質的に等しく、出力画
像の走査ラインを生成するために前記複数の走査ライン
に前記有限畳み込みマスクを適用する第３手段とを備え
る。

【００２４】好ましくは、各目的において、前記バッフ
ァ手段は、全入力画像より実質的に小さい入力画像の限
定部分を保持するように構成される。

【００２５】走査ライン単位あるいは複数の走査ライン
からなる各バンドの任意のバンド単位の出力画像の合成
は、必要あるいは要求されるメモリ記憶容量を削減する
効果となる。同様に、後述するが、例えば、畳み込み操
作を実行するために必要とされる入力画像の最低走査ラ
イン数である入力画像の一部分だけを記憶することがた
いていは好ましい。

【００２６】〔発明の詳細な説明〕以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。

【００２７】図４は、本発明の実施形態に従う処理を入
力画像４１の注目バンド４０に施して得られる出力画像
４３の１つの注目走査ラインの構成あるいは形式の一例
を示す図である。これに従うと、入力画像４１の注目バ
ンド４０及び出力画像４３の注目走査ラインは、それぞ
れメモリに記憶する必要がある入力画像４１及び出力画
像４３の選択部分を表している。入力画像４１がソフト
ウェア（即ち、グラフィックオブジェクトからを例とす
るレンダリング）によって生成されようと、あるいは外
部資源（例えば、ハードディスクからのピクセルベース
のデータ、スキャナ、ＣＤーＲＯＭ、その他）からメモ
リに読み取られようと、畳み込みを実行するために入力
画像４１の一部だけをメモリ４１に記憶する必要があ
る。「Ｎ」行「Ｍ」列要素を有する畳み込みマスク（Ｎ
×Ｍ）に対し、メモリに記憶される入力画像の選択部分
はＮ走査ラインから構成される。しかしながら、各Ｎ走
査ラインの部分は、本発明実施形態に従う畳み込みを実
行するには満足するであろう。

【００２８】「Ｎ」及び「Ｍ」が、畳み込みマスク２１
のサイズに依存する正の整数値をとれる限りは、畳み込
みマスクの幾何学中心に中心要素「ｋ₀₀」２２（図２に
その例が示される）が存在するように、奇数の正の整数
となるように「Ｎ」及び「Ｍ」を選択することが好まし
い。

【００２９】「ｎ」及び「ｍ」が任意の正の整数で表さ
れる「２ｎ＋１」行及び「２ｍ＋１」列を有する畳み込
みマスクを例とすると、入力画像４１の複数の走査ライ
ン４０（即ち、バンド）は、出力画像４３の１つの走査
ラインを形成する処理のためにメモリに記憶されるよう
に要求される。本例では、出力画像４３の走査ライン
「ｑ」４２を出力するために、走査ライン「ｑーｎ」か
ら「ｑ＋ｎ」がメモリに記憶されるようように要求され
る。畳み込みマスクを用いたバンド４０の処理において
は、バンド４０の走査ライン「ｑーｎ」がメモリから廃
棄され、走査ライン「ｑ＋ｎ＋１」がメモリへ読込まれ
る。走査ライン「ｑーｎ＋１」から「ｑ＋ｎ＋１」から
構成される新しいバンド４４を形成するために、バンド
４０は注目走査ラインの前の１つの走査ラインを有して
いる。出力画像４３の走査ライン「ｑ＋１」４５を生成
するために、畳み込みマスクを用いて新しいバンド４４
が処理される。出力走査ライン（例えば、出力走査ライ
ン「ｑ」４２）が生成される場合、例えば、表示装置あ
るいは記憶媒体に送信するというように、走査ラインは
出力され、所望の出力画像が得られるまですべての出力
走査ラインに対し上述の処理が繰り返される。

【００３０】オブジェクトベースのグラフィック環境に
おいて、画像は演算子によって関係づけられた一連のグ
ラフィック原始関数によって記述される。そのような原
始関数は、典型的に次のものを含む：矩形及び円のよう
な単純な形状にしろ、あるいは変数的スプライン曲線、
テキストやデジタルピクセルベースの画像のような複雑
な形状であろうと、を幾何学的に定義された形状を含
む。

【００３１】図５に示すオブジェクトベースのグラフィ
ックの簡単な例では、「ｏｖｅｒ」演算子５２、５４、
５７で、背景５３を有して原始関数５１、５５及び５６
が所定順序で構成され、上記処理のための階層的な
「式木」表現を与える。図５に示す式木表現より複雑
な式木表現を構成するために、「ｏｖｅｒ」演算子以外
の合成演算子が任意に利用される。これらの演算子は、
以下の図１に設定される合成演算子を含む、つまり、Ｄ
ｃは予備積算目標値（premultipled destination）ある
いは合成色（resultant colour）であり、Ｄｏは予備積
算目標値あるいは合成αチャンネル値であり、Ａｃは第
１資源Ａの第１部分の予備積算画素色であり、Ａｏは色
がＡｃである画素に対応する値であり、Ｂｃは第２資源
Ｂの画像の一部の予備積算画素色値であり、Ｂｏは第２
資源ＢのＢｃに対応する画素のαチャンネル値である。
表１は、特に、異なる演算子を利用して、異なる２つの
画像を合成する様々な合成方法を示している。追加演算
子も可能である。特別な効果を実現するために、様々な
演算子は主に利用される得る。

【００３２】図６は、表１に示される様々な演算子が、
２つの完全に不透明な円Ａ及びＢにおいて利用される場
合に生成される様々な最終画像の例を示している。演算
子「ｒｏｖｅｒ」、「ｒｉｎ」、「ｒｏｕｔ」及び「ｒ
ａｔｏｐ」は、「r」（逆）演算子に対するオペランド
の交換及び対応演算子「ｏｖｅｒ」、「ｉｎ」、「ｏｕ
ｔ」及び「ａｔｏｐ」それぞれの適用と同等であること
に注意されるべきである。

【００３３】

【表１】

【００３４】図５に示す式木よりもより複雑な式木は、
２つの合成演算子、単一演算子及び原始関数を含む様々
なノードタイプを包含できる。単一演算子は典型的に
は、色変換、画像畳み込み、擬似変換及び画像ラッピン
グ（wrapping）を含む。

【００３５】ここで、図７から図１１に進むと、構成要
素７１〜７７を有する図１１に示される画像９０の式木
表現７０（図７）が示される。図７の選択表現は、図８
の描画命令８０〜８４一式のシーケンスである。本例の
図８の選択表現は、ステップ８０及びステップ８１にお
いて、「バッファ１」と呼ばれる中間走査ラインバッフ
ァ及び図９Ａに示される画像９０の様々なレンダリング
位置での「バッファ１」の内容について言及する。ステ
ップ８２、８３及び８４それぞれは、出力走査ラインを
生成するために必要とされるバッファである「メインバ
ッファ」内で実行する。

【００３６】ここで図９Ａ及び図９Ｂを参照し、中間走
査ラインバッファ１１０を用いた画像９０の走査ライン
レンダリング例を示す。中間（走査ライン）バッファ１
１０は、典型的には、レンダリングされた画像の１つの
走査ラインと同等の記憶可能容量を有するが、連続する
複数の走査ラインのバンドバッファとして任意に実現し
ても良い。典型的に、画像は少なくとも数百走査ライン
を含み、１つのバンドは、一般的に、全画像を占める走
査ラインよりも実質的に少ない複数の走査ラインから形
成される。従って、中間走査ラインバッファの必要条
件、フレームバッファの必要条件よりも実質的には小さ
い。適当あるいは所望とされるなら、中間走査ラインバ
ッファの記憶容量及び／あるいは位置は、画像操作を最
適化にするために動的に再構成されても良い。例えば、
図８の命令シーケンスを使用して画像９０を走査ライン
レンダリングするには、出力画像の１つの走査ラインを
構成するための命令の実行において中間走査ラインバッ
ファ１１０が使用される。

【００３７】図８の命令シーケンスは繰り返し実行さ
れ、それぞれのシーケンスの完全な実行で出力画像の一
連の走査ラインが生成される。図９Ａに、図８の命令の
実行の繰り返しを通して３つの位置１１１、１１２、１
１３における中間バッファ１１０の内容が示される。

【００３８】図１０に示される中間走査ラインバッファ
１１０（「バッファ１」）の時間積分内容は、最初に２
つの描画命令８０、８１がフレームバッファ上で実行さ
れた場合に示される画像１０４を表している。「バッフ
ァ１」１１０の内容は、一般的に表示装置上で表示され
ず、好ましくは、図８の命令シーケンスのそれぞれの実
行の繰り返しによって上書きされる。図９Ａに示す、位
置１１１は画像１０４の空白部分１０１に対応し、位置
１１２はテキスト文字「Ａ」の先端部分１０２に対応
し、位置１１３はテキスト文字「Ａ」の足内の部分１０
３に対応する。

【００３９】図９Ｂは、図９Ａの３つの位置１１１、１
１２、１１３のそれぞれに対応する出力画像９０のレン
ダリングされた３つの走査ライン１１４、１１５、１１
６を示している。これらの表現において、前もってレン
ダリングされたテキスト文字「Ａ」は、図１１に示され
る黒円に横たわるようにしてレンダリングされ、出力画
像の部分画像９１、９２、９３は位置１１４、１１５、
１１６それぞれに対応する。

【００４０】図１２から図１８は、少なくとも１つの畳
み込み演算子１２１で構成され、構成要素１２１〜１２
９（図１２）を有する式木１２０あるいは構成要素１３
１〜１３６（図１３）を有する命令シーケンスによって
表される画像の走査ラインレンダリング例を示す。本例
での畳み込み演算子は、ぼかしが適用される画像の一部
あるいは画像のぼかし（あるいは拡散）を生成する「ぼ
かし」演算子１２１である。

【００４１】図１２の式木１２０は、「ぼかし」畳み込
み演算子１２１が式木１２０のノードを取り込んでいる
以外は、図７の式木７０と実質的に同じである。図１２
の式木表現によって表される画像１４０が図１４に示さ
れる。本例での「ぼかし」演算子のオペランドは、オペ
ランドとする第１原始関数１２４及び第２原始関数１２
５を有する「ｉｎ」演算子１２３から構成される副木１
２２である。

【００４２】副木１２２は、図１４に示される方法によ
って、副木１２２によって表される画像１４１の一部を
ぼかす任意関数で畳み込まれ、テキスト文字「Ａ」のエ
ッジはぼかされ、あるいはそのテキスト文字「Ａ」が存
在する位置で黒円と融合される。オブジェクトベースの
グラフィック環境では、畳み込み演算子は、式木の一部
あるいは命令シーケンス（１３０）の１つの命令１３１
として含み得り、かつこれに応じて実行され得る。

【００４３】オブジェクトベースのグラフィック環境に
おいて畳み込み演算子を適用するために、２つの中間バ
ッファがメインバッファに追加して用いられる。画像の
一部を記憶するバンドバッファ（「バッファ２」）に畳
み込みが適用され、「バッファ２」の内容に対する畳み
込みの適用によって得られる出力結果を記憶するために
第１の中間走査ラインバッファ（「バッファ３」）が適
用される。図１５は、「ぼかし演算子」１２１が以降に
続く第１中間バッファ（「バッファ３」）の時間積分内
容１５０、あるいは命令シーケンスからぼかし畳み込み
命令１３１の実行後に等しい状態を示している。

【００４４】図１６を参照すると、走査ラインレンダリ
ングに適応させた構成要素１６２〜１６９を有する式木
表現１６０が示される。レンダリング数１６１は、各末
端ノード１６３での各原始関数に対する演算子及び各中
間ノード１６２での演算子に付加されていることを示
し、また、出力バッファの注目走査ラインの前の走査ラ
インでレンダリングされなければならない走査ラインが
いくつあるかを表している。例えば、注目走査ラインの
前に少なくともレンダリングされたｎ走査ラインが存在
する場合、畳み込みぼかし１６２操作が先行走査ライ
ン、注目走査ライン及び注目走査ラインの前のｎ走査ラ
イン上で実行され得る前に、「グレーボックス」と記載
されている原始関数の注目走査ラインの前のｎ走査ライ
ン及び「テキストＡ」と記載されている原始関数の注目
走査ラインの前のｎ走査ラインが「ｉｎ」演算子１６４
を用いて中間バッファへレンダリングされる。典型的に
は、ｎ走査ラインがレンダリングされるまで、「ｉｎ」
演算子１６４によって操作される「グレーボックス」及
び「テキストＡ」の各走査ラインの注目走査ラインの前
のｎ走査ラインをレンダリングするために、走査ライン
単位で走査ライン上に副木の各走査ラインがレンダリン
グされる。副木１６５の総計「２ｎ＋１」の走査ライン
は、畳み込み演算子１６２が適用され得る前に中間バッ
ファへのレンダリングを必要とし、総計「２ｎ＋１」の
走査ラインは「２ｎ＋１」行を有する畳み込みマスクを
適用する前にレンダリングを必要とする最低走査ライン
数である。また、走査ラインレンダリングシステムにお
いては、このｎ走査ラインは、出力バッファの注目走査
ラインより前にレンダリングされなければならない。

【００４５】図１７は、図１６の式木表現に対応する命
令シーケンス１７０表現である。命令シーケンス１７０
における各命令１７２〜１７７は、図１６のレンダリン
グ数１６１と同じ命令シーケンス表現となる数１７１に
よって実行される。

【００４６】注目走査ラインの前の走査ラインがいくつ
であるかを決定するレンダリング数は、積算畳み込みの
適用の効果を累積するために考慮される。例えば、２ｎ
＋１行を有するマスクの第１畳み込みのオペランドが、
２ｍ＋１行を有するマスクの第２畳み込み演算子を含む
副木である場合、第２畳み込みのオペランドは、注目走
査ラインの前のｎ＋ｍ走査ラインレンダリングされなけ
ればならない。

【００４７】図１８Ａから図１８Ｃでは、２ｎ＋１走査
ラインを記憶可能とする第１中間バッファ１８０（例え
ば、バッファ２）、１つの走査ラインを記憶可能な第２
中間バッファ１９０（例えば、バッファ３）、及び１つ
の走査ラインを記憶可能な出力（メイン）バッファ２０
０が示される。図１８Ａから図１８Ｃは、図１６の式木
表現あるいは図１７の命令シーケンス１７０に従う様々
なレンダリング位置を示している。

【００４８】画像の一部１８０は式木表現１６０の副木
１６５からレンダリングされ、注目畳み込み走査ライン
１９１を生成するために画像の一部１８１に畳み込みぼ
かし１６２が適用されて、第２バッファ１９０に配置さ
れる。第２バッファ１９０の内容は、画像１４０の注目
走査ライン２０１を出力するために、式木表現１６０の
ノードと一緒に処理される。

【００４９】シーケンスにおける各命令毎、あるいは式
木表現のノードの各演算子は、最終画像の各走査ライン
に対し必ずしも作用しない。この場合、注目走査ライン
だけにむしろ作用する命令の「アクティブリスト」が必
要とされる。各走査ラインが生成されると、アクティブ
リストが除去されない間は、注目走査ラインに作用する
命令はアクティブリストに追加される。この方法では、
出力画像を生成するために必要とされる時間が、かなり
頻繁に削減される。

【００５０】好ましくは、本方法は、画像の水平走査ラ
イン上で実現され、これに応じて画像がレンダリングさ
れる。しかしながら、この処理は、画像の垂直走査ライ
ン上で実現され得り、本発明の範囲あるいは精神から逸
脱しないでそれ相応にレンダリングされ得る。

【００５１】好ましくは、本発明の実施形態は、コンピ
ュータ上で実行されるソフトウェアとして実現される図
４から図１８を参照して説明される処理を、図１９に示
すような通常の汎用コンピュータを使用して実行され得
る。コンピュータ５００は、コンピュータモジュール５
０１、キーボード５０２及びマウス５０３のような入力
装置、表示装置５０４を構成する。

【００５２】コンピュータモジュール５０１は、少なく
ともプロセッサユニット５０５、半導体ランダムアクセ
スメモリメモリ（ＲＡＭ）及びリードオンリーメモリ
（ＲＯＭ）を典型的に含むメモリユニット５０６、ビデ
オインタフェース５０７及びキーボードインタフェース
５０８を含む入力／出力（Ｉ／Ｏ）インタフェースから
構成される。記憶手段５０９は、以下の装置のひとつ以
上が含み得り供給される：フロッピーディスク、ハード
ディスクドライブ、ＣＤーＲＯＭドライブあるいはそれ
と同様の当業者に知られている不揮発性記憶装置。コン
ピュータモジュール５０１の構成要素５０５から５０９
は、コンピュータ５００の関連技術として知られる通常
の操作モードとなる方法及び内部バス５１０を介した典
型的な通信を行う。本実施形態のコンピュータ例として
は、ＩＢＭ−ＰＣ／ＡＴ互換機、サンスパークステーシ
ョン（Sun Sparcstations）コンピュータシステムある
いは同様のコンピュータシステムを含んで実行され得
る。また、図１９は、上述した走査ラインレンダリング
及び畳み込みを有効にするためにメモリ５０６内に供給
されるライン／バンドバッファ５１１を示している。バ
ッファ５１１は記憶容量に制限があるので、同様の機能
を実行するフレームバッファによる使用とは違って自由
にメモリを占有しない。バッファ５１１は、走査ライン
の画素データを保持するように配置され、本実施形態で
は、複数の走査ラインを有するバンドそれぞれを保持す
る記憶容量を有する。バッファ５１１は、メモリ５０６
内の固定領域に配置されても良いし、あるいは選択的に
動的に再構成可能な位置および／あるいは記憶容量であ
っても良く、仮想メモリアドレッシング方法あるいはメ
モリスワッピングによってアクセス可能にしても良いこ
とに注意されるべきである。例えば、画素ベースの画像
あるいは図１６のグラフィック例では、１つの畳み込み
処理（ぼかし１６２）だけが、１つのバッファ内で実行
されても良い領域を獲得する。しかしながら、１つ以上
の畳み込み（例えば、「ｏｖｅｒ」演算子１６６及び１
６９間の式木１６０内にぼかし演算子が挿入された場
合）を伴うグラフィカルレンダリングにおいて、中間バ
ッファ数は、グラフィカルオブジェクトのレンダリン
グ、それらの個々の畳み込み及び「ｏｖｅｒ」演算子１
６９を用いた次の合成を実質的に同時に完了するために
用いられても良い。

【００５３】本発明の実施形態は、１つこコンピュータ
５００、あるいはコンピュータネットワーク（例えば、
ローカルエリアネットワーク、インターネット）のよう
な複数のコンピュータを含むシステムを代替にして実行
しても良い。特に、本実施形態では、フロッピーディス
クあるいは光ディスクのような記憶媒体を介して直接的
に、あるいはコンピュータネットワークを介して間接的
に、１つ以上のプログラムをコンピュータに供給するこ
とによって達成されても良い。どちらの場合でも、プロ
グラムは、プロセッサ５０５とメモリ５０６及びバッフ
ァ５１１での同時実行によって連続に読み出すための記
憶装置５０９を使用して記憶されても良い。また、有限
畳み込みマスクは、プログラム、あるいはプログラムか
ら独立して供給及び／あるいは次の使用のために記憶装
置５０９に記憶されても良く、これにより、有限畳み込
みマスクは、画像データの畳み込みのためにメモリ５０
６に一時的に保持されアクセスされても良い。選択的
に、有限畳み込みマトリクスがプログラム／アプリケー
ションの実行で動的に生成されても良い。コンピュータ
システム５００の操作モードに従って、このようなプロ
グラムは、バッファ５１１に対し画素ベースの画像デー
タを送受信するのと、同様にグラフィカルオブジェクト
から画素ベースの画像データをレンダリングすることが
操作可能なプロセッサユニット５０５によって典型的に
実行される。後者では、レンダリングは、バッファ５１
１内で直接実行されても良い。

【００５４】上記実施形態は本発明の一実施形態を説明
しているだけであるが、本発明の範囲から逸脱しないで
本発明の実施形態は当業者によって変形及び／あるいは
変更され得る。例えば、ダイレクトアサイクリックグラ
フ（ＤＡＧ）のような選択的階層的データ表現を用ち得
る。

【００５５】

【発明の効果】以上説明したように、本発明によれば、
画像畳み込み操作の実行を、従来のフレームバッファよ
りむしろ走査ラインバッファ（あるいバンドバッファ）
の使用を提供し、また、グラフィカルオブジェクトベー
スの画像を取り扱う場合に格別な効果をもたらす。

【００５６】

【図面の簡単な説明】

【図１】整数座標（ｐ，ｑ）及び空間座標（ｘ，ｙ）に
よって示される複数の画素から構成されるデジタル画像
を表す図である。

【図２】畳み込みマスクの概要を表す図である。

【図３】フレームバッファを使用した従来の画像の畳み
込みを表す図である。

【図４】本発明の実施形態に従う、入力画像のバンドを
１つの走査ラインの出力に畳み込んだ走査ラインの概念
を表す図である。

【図５】簡易オブジェクトベースのグラフィック画像の
式木表現を示す図である。

【図６】２つの部分画像の合成演算子の実行例を示す図
である。

【図７】画像に対する式木表現の他の例を示す図であ
る。

【図８】図７の式木表現の命令シーケンス表現を示す図
である。

【図９Ａ】図８の命令シーケンスの部分的な算出による
複数位置での一時的な走査ラインバッファの内容を示す
図である。

【図９Ｂ】図９Ａの複数位置に対応する出力画像の走査
ラインを示す図である。

【図１０】図９Ａの一時的な走査ラインバッファの時間
積分内容を表す図である。

【図１１】図７の式木あるいは図８の命令シーケンスに
従うレンダリングされた画像を表す図である。

【図１２】ぼかし畳み込み演算子による画像の式木表現
を示す図である。

【図１３】図１２の式木表現の対応命令シーケンス表現
を示す図である。

【図１４】図１２の式木表現あるいは図１３の命令シー
ケンス表現に従うレンダリングされた出力画像を表す図
である。

【図１５】ぼかし（畳み込み）操作が実行された図１３
の命令シーケンスあるいは図１２の式木表現の時間積分
内容の部分的な算出を表す図である。

【図１６】本発明の実施形態に従う走査ラインレンダリ
ングを使用して、図１４の画像を表す式木を表す図であ
る。

【図１７】図１６の式木表現の対応命令シーケンス表現
を示す図である。

【図１８Ａ】本発明の実施形態に従う図１７の命令シー
ケンスで説明される入力バンドバッファの内容を表す図
である。

【図１８Ｂ】本発明の実施形態に従う一時的な走査ライ
ンバッファ及びその内容に続くぼかし（畳み込み）演算
子を示す図である。

【図１８Ｃ】図１８Ｂの一時的な走査ラインバッファに
対応するレンダリングされた出力画像走査ラインを示す
図である。

【図１９】本実施形態で実行されても良いコンピュータ
システムの概要を示す図である。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000001007 キヤノン株式会社東京都大田区下丸子３丁目30番２号 (72)発明者ジョージ・ポリータスオーストラリア国 2564 ニューサウスウェールズ州，マッコーリーフィールズ, セイウェルロード 18

Claims

【特許請求の範囲】

【請求項１】画像に畳み込み演算子を適用する方法
であって、（ａ）複数の係数を有する有限畳み込みマスク供給し、
前記係数は、所定行数及び所定列数で構成され、（ｂ）前記画像の一部を記憶するためのバッファ手段を
供給し、（ｃ）前記バッファ手段が記憶する少なくとも前記有限
畳み込みマスクの前記所定行数あるいは前記所定列数に
実質的に等しい前記画像の所定数の走査ラインをレンダ
リングし、（ｄ）出力画像の走査ラインを生成するために、前記レ
ンダリングされた複数の走査ラインに前記有限畳み込み
マスクを適用することを特徴とする方法。
【請求項２】前記出力画像の複数の走査ラインを生成
するために、前記ステップ（ｃ）及び前記ステップ
（ｄ）を繰り返し、該ステップ（ｃ）では、ある走査ラ
インが廃棄されると、次の走査ラインが出力画像のそれ
ぞれの走査ラインに対しレンダリングされることを特徴
とする請求項１に記載の方法。
【請求項３】前記画像は、オブジェクトベースのグラ
フィック環境で表されることを特徴とする請求項１乃至
請求項２のいずれかに記載の方法。
【請求項４】前記画像は、複数のノードから構成され
る式木表現によって表されることを特徴とする請求項３
に記載の方法。
【請求項５】前記ノードは、演算子あるいは原始関数
のどちらかとして特徴づけられることを特徴とする請求
項４に記載の方法。
【請求項６】前記画像は、命令シーケンスによって表
されることを特徴とする請求項３に記載の方法。
【請求項７】前記画像は、階層的データ表現によって
表されることを特徴とする請求項３に記載の方法。
【請求項８】前記式木の１つ以上のノードは、レンダ
リング数を付加していることを特徴とする請求項４に記
載の方法。
【請求項９】前記命令シーケンスの各命令は、レンダ
リング数を付加していることを特徴とする請求項６に記
載の方法。
【請求項１０】前記レンダリング数は、前記ノードあ
るいは命令に対する現在の走査ラインよりも前にレンダ
リングされる走査ライン数を表すことを特徴とする請求
項８乃至請求項９のいずれか１項に記載の方法。
【請求項１１】前記有限畳み込みマスクの係数は、任
意の関数によって決定されることを特徴とする請求項１
乃至請求項１０のいずれか１項に記載の方法。
【請求項１２】出力画像を生成するために、入力画像
へ畳み込み演算子を適用する方法であって、（ａ）前記画像の一部を記憶するためのバッファ手段を
供給し、画像の画素データは少なくとも該画像の所定走
査ライン数に対応し、（ｂ）前記出力画像の走査ラインを生成するために前記
画像の画素データに対し有限畳み込みマスクを適用し、
該有限畳み込みマスクは、所定行数及び所定列数で構成
される複数の係数を有し、前記所定走査ライン数は、少
なくとも該有限畳み込みマスクの所定行数あるいは所定
列数と実質的に等しいことを特徴とする方法。
【請求項１３】前記出力画像の複数の走査ラインを生
成するために前記ステップ（ａ）及びステップ（ｂ）を
繰り返すステップを更に備え、該ステップ（ａ）では、
ある走査ラインが廃棄されると、次の走査ラインが前記
出力画像の各走査ラインに対し供給されることを特徴と
する請求項１２に記載の方法。
【請求項１４】前記バッファ手段に供給される前記入
力画像は、オブジェクトベースのグラフィック環境にお
ける少なくとも１つのグラフィカルオブジェクトからレ
ンダリングされた画像の画素データからなることを特徴
とする請求項１２乃至請求項１３のいずれかに記載の方
法。
【請求項１５】前記入力画像は、前記グラフィック環
境において複数のノードから構成される式木表現によっ
て表されることを特徴とする請求項１４に記載の方法。
【請求項１６】前記ノードは、演算子及び原始関数を
含むグループから選択されることを特徴とする請求項１
５に記載の方法。
【請求項１７】前記画像は、前記グラフィック環境の
命令シーケンスによって表されることを特徴とする請求
項１４に記載の方法。
【請求項１８】前記画像は、階層的データ表現によっ
て表されることを特徴とする請求項１４に記載の方法。
【請求項１９】前記式木の１つ以上のノードは、レン
ダリング数を付加していることを特徴とする請求項１５
に記載の方法。
【請求項２０】前記命令シーケンスの各命令は、レン
ダリング数を付加していることを特徴とする請求項１７
に記載の方法。
【請求項２１】前記レンダリング数は、前記ノードあ
るいは命令に対する現在の走査ラインよりも前にレンダ
リングされる走査ライン数を表すことを特徴とする請求
項１９乃至請求項２０のいずれかに記載の方法。
【請求項２２】前記有限畳み込みマスクの係数は、任
意の関数によって決定されることを特徴とする請求項１
２乃至請求項２１のいずれか１項に記載の方法。
【請求項２３】前記バッファ手段は、前記入力画像の
全画像よりも実質的に小さい該入力画像の限定部分を保
持するように構成されることを特徴とする請求項１２乃
至請求項２２のいずれか１項に記載の方法。
【請求項２４】オブジェクトベースのグラフィック環
境における少なくとも１つのグラフィカルオブジェクト
で表される画像に畳み込み演算子を適用する方法であっ
て、（ａ）複数の係数を有する有限畳み込みマスクを供給
し、該係数は、所定行数及び所定列数で構成され、（ｂ）前記画像の一部を記憶するバッファ手段を供給
し、（ｃ）前記バッファ手段に少なくとも１つのグラフィカ
ルオブジェクトの少なくとも所定数の走査ラインをレン
ダリングし、（ｄ）出力画像の走査ラインを生成するために前記レン
ダリングされた複数の走査ラインに対し前記有限畳み込
みマスクを適用し、該所定走査ライン数は、該有限畳み
込みマスクの所定行数あるいは所定列数に実質的に等し
い、（ｅ）前記出力画像の複数の走査ラインを生成するため
に前記ステップ（ｃ）及び前記ステップ（ｄ）を繰り返
し、該レンダリングステップ（ｃ）では、前記バッファ
手段からある走査ラインが廃棄されると、次の走査ライ
ンが該出力画像の各走査ラインに対しレンダリングされ
ることを特徴とする方法。
【請求項２５】入力画像に畳み込みを適用する装置で
あって、複数の係数を有する有限畳み込みマスクを供給する第１
手段と、該係数は所定行数及び所定列数で構成され、前記画像の一部を記憶するバッファ手段と、前記バッファ手段へ、少なくとも前記入力画像の所定ラ
イン数の画像の画素データを供給する第２手段と、前記
所定走ライン査数は、前記有限畳み込みマスクの前記所
定行数あるいは前記所定列数に実質的に等しく、出力画像の走査ラインを生成するために前記複数の走査
ラインに前記有限畳み込みマスクを適用する第３手段と
を備えることを特徴とする装置。
【請求項２６】前記生成された出力画像の各走査ライ
ンに対し、前記第２手段は、前記バッファ手段から予め
畳み込まれたある走査ラインを廃棄すると、前記入力画
像の次の走査ラインを前記バッファ手段に対し供給する
ことを特徴とする請求項２５に記載の装置。
【請求項２７】前記バッファ手段は、前記入力画像の
２つの走査ラインを少なくとも記憶する記憶容量であ
り、前記第２手段は、該バッファ手段へライン単位で該
入力画像の該走査ラインを供給することを特徴とする請
求項２６に記載の装置。
【請求項２８】前記バッファ手段は、前記入力画像の
走査ラインのバンドを少なくとも記憶する記憶容量であ
り、前記第２手段は、該バッファ手段へバンド毎に該入
力画像の該走査ラインを供給し、前記出力画像の走査ラ
インを生成するために前記有限畳み込みマスクで畳み込
みを行った後、該バッファ手段から該入力画像の該バン
ドの該走査ラインを廃棄することを特徴とする請求項２
７に記載の装置。
【請求項２９】前記入力手段は、オブジェクトベース
のグラフィック環境における少なくとも１つのグラフィ
カルオブジェクトによって表され、更に、前記第２手段
によって供給する該入力画像を前記画像の画素データへ
レンダリングするレンダリング手段を備えることを特徴
とする請求項２５に記載の装置。
【請求項３０】前記入力画像は、複数のノードから構
成される式木表現によって表されることを特徴とする請
求項２９に記載の装置。
【請求項３１】前記ノードは、演算子及び原始関数を
有するグループから選択されることを特徴とする請求項
３０に記載の装置。
【請求項３２】前記入力画像は、命令シーケンスによ
って表されることを特徴とする請求項２９に記載の装
置。
【請求項３３】前記入力画像は、階層的データ表現に
よって表されることを特徴とする請求項２９に記載の装
置。
【請求項３４】前記式木の１つ以上のノードは、レン
ダリング数を付加していることを特徴とする請求項３１
に記載の装置。
【請求項３５】前記命令シーケンスの各命令は、レン
ダリング数を付加していることを特徴とする請求項３２
に記載の方法。
【請求項３６】前記レンダリング数は、前記ノードあ
るいは命令に対する現在の走査ラインよりも前にレンダ
リングされる走査ライン数を表すことを特徴とする請求
項３４乃至請求項３５のいずれかに記載の装置。
【請求項３７】前記有限畳み込みマスクの係数は、任
意の関数によって決定されることを特徴とする請求項２
５乃至請求項３６のいずれか１項に記載の装置。
【請求項３８】前記バッファ手段及び前記第２手段及
び前記第３手段それぞれは、コンピュータシステムの構
成要素を有することを特徴とする請求項２５に記載の装
置。
【請求項３９】前記第２手段及び前記第３手段は、前
記コンピュータシステムのプロセッサを含むことを特徴
とする請求項３８に記載の装置。
【請求項４０】出力画像を生成するために入力画像に
畳み込み演算子を適用するコンピュータプログラムを記
憶したコンピュータ可読媒体を有するコンピュータプロ
グラム製品であって、前記画像の一部を記憶するバッファ手段を供給する第１
手段と、少なくとも前記画像の所定走査ライン数は画像
の画素データに対応し、少なくとも前記出力画像の１つの走査ラインを生成する
ために前記画像の画素データに有限畳み込みマスクを適
用する第２手段と、前記有限畳み込みマスクは、所定行
数及び所定列数で構成され、前記所定ライン走査数は、
該有限畳み込みマスクの前記所定行数あるいは前記所定
列数に実質的に等しいことを特徴とするコンピュータプ
ログラム製品。
【請求項４１】前記有限畳み込みマスクを前記第２手
段へ供給する第３手段を更に備えることを特徴とする請
求項４０に記載のコンピュータプログラム製品。
【請求項４２】前記コンピュータ可読媒体は、ディス
ク記憶装置を含むことを特徴とする請求項４１に記載の
コンピュータプログラム製品。
【請求項４３】前記コンピュータ可読媒体は、コンピ
ュータネットワークを含むことを特徴とする請求項４１
に記載のコンピュータプログラム製品。
【請求項４４】出力画像を生成するためにオブジェク
トベースのグラフィック環境における少なくとも１つの
グラフィカルオブジェクトによって表される入力画像に
畳み込み演算子を適用するコンピュータプログラムを記
憶したコンピュータ可読媒体を有するコンピュータプロ
グラム製品であって、複数の係数を有する有限畳み込みマスクを供給する第１
手段と、前記係数は、所定行数及び所定列数で構成さ
れ、前記画像の一部を記憶するバッファ手段と、前記バッファ手段に対する少なくとも１つのグラフィカ
ルオブジェクトの少なくとも所定数の走査ラインをレン
ダリングする第２手段と、該所定走査ライン数は、前記
有限畳み込みマスクの所定行数あるいは所定列数に実質
的に等しく、出力画像の走査ラインを生成するために前記レンダリン
グされた複数の走査ラインに対し前記有限畳み込みマス
クを適用する第３手段と、前記出力画像の複数の走査ラインを生成するために前記
第２手段及び前記第３手段を繰り返す第４手段と、該第
３手段では、前記バッファ手段からある走査ラインが廃
棄されると、次の走査ラインが該出力画像の各走査ライ
ンに対しレンダリングされることを特徴とするコンピュ
ータプログラム製品。