JPH09326920A - サブピクセル単位でのデジタル画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】画像合成やＣＧの制作などのサブピクセル単位
での画像処理で、処理時間の短縮によるリアルタイムな
処理結果の入手や画質劣化の縮小を図る。 【解決手段】サブピクセル単位での画像処理が必要な部
分を選択および解像度拡大し、解像度変化した画像にた
いして物理的なピクセル単位での画像処理を施し元の解
像度に戻した画像を、元画像の該当部分のデータと入れ
替え、表示することを繰り返す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法に関す
る。

【０００２】

【従来の技術】一般にデジタル画像を処理するとき、２
次元の画像処理ソフトを使用する。

【０００３】デジタル画像とは、縦方向と横方向にある
一定の幅で碁盤の目のように区切られており、その一区
画一区画ごとに色などの属性を割り当て、その細分化さ
れた点の集まりによって、図形や文字が表現されている
ものである。このとき一番小さい区画のことをピクセル
といいディスプレイ表示の最小単位となるため、画像処
理を行なう時はディスプレイ上で可視となる物理的なピ
クセル単位で行なうことになる。大抵はピクセル単位で
の処理でなんら差し支えなく、ユーザの思い描いている
通りの２次元画像の制作が可能である。

【０００４】しかし、画像を細部にわたって処理をした
い場合や画像に微妙なニュアンスを与えたい場合、１／
２ピクセル単位または１／３ピクセル単位など、１ピク
セル未満のサブピクセル単位での処理が要求される。

【０００５】複数のデジタル画像よりアニメーションを
制作するとき、連続するフレームの画像で、輪郭及び色
調が連続性を保ったまま変化していることが必須であ
る。オブジェクトの微妙な変形や、よりなめらかに変化
するアニメーションを実現するためには、ピクセル単位
の処理では不十分なこともあり、サブピクセル単位での
画像処理が必要となってくる場合もある。

【０００６】ところが、デジタル画像表示の一番最小の
単位はピクセルである。したがって画像処理をする場
合、物理的なピクセル単位での処理が限界である。そこ
で解像度を変化させて画像処理をすることによって論理
的なサブピクセル単位での画像処理を可能にしてきた。
具体的には、解像度の変換が可能な２次元画像処理ソフ
トを使用し、必要な解像度まで解像度を上げた画像に物
理的なピクセル単位で処理を加える、というものであ
り、この手法を利用すると、元の解像度からみた場合に
サブピクセル単位の処理をしていることになる。

【０００７】解像度を上げた画像のサイズは解像度にし
たがって大きくなる。しかし、画像を表示するディスプ
レイの表示分解能には限界があり表示される画像の大き
さが制限されるため、画像のすべてを表示できない場合
もある。この場合、解像度を上げて物理的なピクセル単
位で処理を加えた画像を、また元の解像度に変換するこ
とによって対処してきた。結果的に擬似的にサブピクセ
ル単位での処理をしていることになり、ユーザの要求に
応じた画像の処理が可能になる。

【０００８】

【発明が解決しようとする課題】サブピクセル単位での
画像処理をするために画像の解像度を上げた時、画像が
ディスプレイに入りきらない場合がある。例えば、解像
度が横７２０ピクセル、縦４８０ピクセルの画像を１／
２ピクセル単位で処理をする場合、解像度を横１４４０
ピクセル、縦９６０ピクセルまで上げなくてはならない
ため、画像サイズは４倍になる。このときディスプレイ
の表示分解能が横１４４０ピクセル、縦９６０ピクセル
より小さい時、例えば横１２００ピクセル、縱８００ピ
クセルの場合、画像すべてが入りきらないため、可視部
分が画像の一部だけとなり、全体像をつかむことが容易
ではなくなる。このため、画像をスクロールすることに
よって必要な部分を探し出し、部分的に画像処理をしな
くてはならない。どのように画像が変化しているのか全
体的なイメージがつかみにくく、勘で作業を進めなくて
はならないこともあるため、元の解像度に戻して全体を
みた時にイメージと違った画像となっていることもあ
る。このため、解像度の上げ下げをしながら試行錯誤を
繰り返さなくてはならないという問題がある。

【０００９】さらに、解像度を上げたり下げたりする変
換の操作を行なう時にかかる手間や時間が、変換の操作
が度重なると無視できなくなる。また、画像ファイルは
テキストファイルなどに比べサイズが大きいため画像処
理を行なうときは通常より時間を要するが、解像度を変
換するときに広範囲にわたって変換しようとすると計算
時間がより多くかかるため、より一層作業速度に支障を
きたすことになる。さらに、解像度の変換を繰り返すこ
とによってひき起こされる画質の劣化も、ハイクオリテ
ィーの画像が要求された場合問題となってくる。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、以下の方法が考えられる。

【００１１】リアルタイムにサブピクセル単位での移動
や拡大・縮小、回転等の画像処理結果を確認しながら画
像処理を行なうための手段として、解像度変換を行なっ
た画像を表示せずにピクセルデータとしてメモリに格納
し、外部入力装置からの入力による画像の変化による画
像の変化を検知したとき、メモリに格納されたピクセル
データの画像の変化に伴う書き換えの度にピクセルデー
タを元の解像度に縮小し元画像の該当する場合のデータ
と置き換える方法がある。

【００１２】また、解像度変換時間や画像処理における
計算時間の短縮、及び画質劣化の縮小を図るための手段
として、デジタル画像の解像度を変換する時、画像全体
を変換するのではなくサブピクセル単位の画像処理が必
要とされる領域を外部入力装置を用いて選択し、選択さ
れた領域のみ解像度変換を行なう方法がある。

【００１３】この時、サブピクセル単位での変形操作が
終了するまで、解像度を上げた画像のピクセルデータは
メモリに格納されたままで外部入力装置からの入力結果
はまずここに反映され、データの変換が行われるたびに
メモリに格納された解像度拡大画像のピクセルデータを
リアルタイムに元の解像度に縮小し、元画像の該当する
場合のピクセルデータと順次入れ替え画像処理結果を表
示することを繰り返す。また、最近広く利用されている
ラスタスキャンディスプレイはピクセルの連続で表現さ
れているが、このために生じる画像中の斜線部がぎざぎ
ざになる現象を解決するためのアンチエリアシング処理
を、解像度を変換する時に敢えて行なわない。

【００１４】以上の方法を実現することによって、処理
結果がリアルタイムに元画像に反映され、処理結果の確
認や全体像の把握が瞬時に可能になるため、試行錯誤回
数が減少し、これに伴い解像度変換回数が減少する。ま
た、解像度変換回数の減少により、解像度変換操作の手
間が省ける。さらに解像度変換領域の縮小および解像度
変換の際アンチエリアシング処理を行なわないことによ
って、解像度変換に要する時間が縮小し画質の劣化を最
小限に留める。

【００１５】

【発明の実施の形態】図１は画像処理装置のハードウェ
ア構成を示したブロック図である。

【００１６】画像処理装置は、ＣＰＵ１、デジタル画像
を格納するための記憶装置２、ディスプレイ上の位置を
指示することによって、メニューの選択をしたり、図形
の描画を行なったりドラッギングすることによって画像
中のオブジェクトを変形させる画像処理を行なう外部か
らの入力装置マウス３、英数字キーを利用して一般的な
コマンドを入力したり、画像処理では矢印キーや数字キ
ーなどを利用することによって画像中のオブジェクトの
正確な変形を行なうための外部入力装置キーボード４、
マウス３やキーボード４の入出力の制御を行なうＩ／Ｏ
装置５、マウス３やキーボード４を利用して図形の描画
やオブジェクトの移動や拡大・縮小、回転などの画像処
理を行なうための作業領域６、作業領域６で画像処理が
行われている画像のレイヤ毎の画像のピクセル配列を格
納するためのメモリ７、作業領域６で編集されている画
像のマウス３によって選択された矩形領域を解像度変換
した画像のピクセル配列を格納するためのメモリ８、こ
こにおける作業領域６やメモリ７，メモリ８は主記憶上
のものである。また、表示する画像のピクセル配列を格
納するための画像専用のメモリ領域フレームバッファ
９、フレームバッファ９に格納されたピクセルパターン
をディスプレイ上に表示するディスプレイコントローラ
１０、画像を表示する装置ディスプレイ１１、およびこ
れらの構成要素を相互に結合するバス１２から構成され
る。

【００１７】図２は解像度を変換して画像処理を行なう
場合の画像処理の概要を示したフローチャートである。

【００１８】ステップ１０００では、記憶装置２に格納
されている編集対象のデジタル画像ファイルまたは新規
画像ファイルをオープンし、オープンされた画像のレイ
ヤ毎の画像のピクセル配列をメモリ６に格納する。

【００１９】ステップ２０００では、マウス３またはキ
ーボード４からのオープンされた画像に対する入力の待
ち状態を表す。

【００２０】ステップ２１００では、マウス３またはキ
ーボード４からの画像に対する入力を検知し、その動作
を判断し、それが画像にたいする変形操作であればステ
ップ３０００へ進み、サブピクセル単位の画像処理モー
ドへの切り替えが選択されたならばステップ４０００へ
進み、システム終了指示であるならばシステムを終了す
る。

【００２１】ステップ３０００では、マウス３またはキ
ーボード４からの入力に伴う画像の変化により変化した
ピクセルを入れ替えることによってメモリ７に格納され
ているピクセルデータが変更され、メモリ７のデータの
変更にともないフレームバッファの書き換えが行われ
（ステップ３１００）、書き換えた結果をディスプレイ
に表示する（ステップ３２００）。

【００２２】ステップ４０００でのサブピクセル単位の
画像処理方法については、図３を用いて後述する。

【００２３】図３は、本発明におけるサブピクセル単位
での画像処理が選択された時の画像処理方法のフローチ
ャートである。

【００２４】ステップ４１００では、外部入力装置を用
いて画像処理に必要とされるピクセル単位を入力または
選択する。

【００２５】ステップ４２００では、外部入力装置を用
いてサブピクセル単位での画像処理が必要なレイヤを選
択する。

【００２６】ステップ４３００では、ステップ４２００
で選択されたレイヤ内のサブピクセル単位での画像処理
が必要な領域を外部入力装置を用いて矩形で囲むことに
よって選択する。

【００２７】本実施例によれば、解像度変換の対象とな
る画像を必要に応じて選択するため、解像度変換領域及
び画像処理領域の大幅減にともなう画像処理時間の減
少、および、解像度変換領域外の画質の保持が可能にな
る。

【００２８】ステップ４４００では、ステップ４２００
およびステップ４３００で選択されたレイヤの選択され
た領域の画像を、ステップ４１００で選択または入力さ
れたピクセル単位の逆数倍の解像度に変換し、解像度変
換された画像のピクセルデータをメモリ８に格納する。
例えば、１／２ピクセル単位で画像処理を行う場合、解
像度は縦横ともに２倍になる。また、解像度を変換する
とき、ピクセルで表示されるために生じる斜線部などの
ぎざぎざを解消するために背景部分と図形の境界部を中
間階調の輝度を持ったピクセルで埋めて境界をぼかす手
法のアンチエリアシング処理を行なわず、解像度を縦横
とも２倍にした場合、今まで１ピクセルで表現されてい
た領域を、同じ輝度を持った２×２＝４ピクセルで表現
する。

【００２９】ステップ４５００では、マウスまたはキー
ボードからの画像に対する入力を検知し、ステップ４６
００でその動作を判断し、それが画像にたいする変形操
作であればステップ４７００へ進み、それが解像度変換
画像の表示／非表示の選択であればカウンタＣｎｔを１
インクリメントし（ステップ４８００）、それがサブピ
クセル単位での画像処理の終了の選択であれば、カウン
タＣｎｔを０にリセットし（ステップ４９００）図２の
ステップ２０００へ戻る。

【００３０】ステップ４８１０でカウンタＣｎｔの値を
読み取り、カウンタＣｎｔが奇数の場合、解像度を変換
した部分の画像を表示し（ステップ４８２０）ステップ
４５００へ戻り、カウンタＣｎｔが偶数の場合は同画像
の表示を中止し（ステップ４８３０）ステップ４５００
へ戻る。

【００３１】ステップ４７００ではサブピクセル単位で
の画像処理および編集結果の表示を行い、ステップ４５
００へ戻る。このように、終了が選択されるまでサブピ
クセル単位での画像処理が続行する。サブピクセル単位
での画像処理および表示方法については、図４にて後述
する。

【００３２】図４は本発明における画像処理および表示
の流れを表すフローチャートである。ステップ４７１０
では、メモリ８に格納されるピクセル配列のうち、図３
のステップ４６００でのマウスまたはキーボードからの
入力に伴う画像の変化により変化したピクセルを入れ替
えることによってメモリ８の書き換えを行う。

【００３３】ステップ４７２０では、ステップ４７１０
で書き換えられたピクセルデータを元画像の解像度まで
戻し、メモリ７に格納される元画像のピクセルデータの
うち、図３のステップ４２００で選択されたレイヤの中
の同じく図３のステップ４３００で選択された矩形領域
のピクセルデータとを入れ替える（ステップ４７３
０）。そして、メモリ７のデータの変更に伴いフレーム
バッファの書き換えを行い（ステップ４７４０）、ディ
スプレイに表示する。一連の動作が終了したら、図３の
ステップ４５００に戻る。

【００３４】このとき、解像度の拡大は図３のステップ
４４００での１回のみである。また、ステップ４７２０
での解像度の縮小は、その解像度を拡大した画像のピク
セルデータに対して行なうので、入力による画像の変化
の都度解像度の縮小を行なっても、画質は解像度の縮小
１回分だけの低下に留めることができる。

【００３５】また、画像が変化する度に、解像度を戻し
た処理結果を元画像の該当するピクセルデータと順次入
れ替えるため、元画像で処理結果のリアルタイムな確認
が可能になる。

【００３６】図５，図６は本発明における１／２ピクセ
ル単位での画像処理例を示す。

【００３７】簡潔に説明するために、１レイヤかつグレ
ースケール画像の処理方法を示すが、複数レイヤ及びカ
ラーでも差し支えなく、この処理例によって本発明が制
限されることはない。

【００３８】１／２ピクセル単位で画像処理を行なう場
合、図４に示すとおり解像度変換する領域を選択し、選
択された領域の解像度を縦横ともに２倍に上げる必要が
ある。解像度を上げる際、画質の劣化を避けるためにア
ンチエリアシング処理は行なわない。したがって、画像
上のすべてのピクセルは割り当てられた色を保持しなが
ら２×２ピクセル分の領域に拡大されることになる。ま
た、外部入力装置からの入力によって変化した画像の解
像度を元の値に縮小するとき、図５で示すとおり画像を
２×２ピクセルサイズの格子に区切りすべての区画に対
し輝度の平均値を取り、その色を付する１ピクセルに変
換する。こうすることによって、解像度を戻した時、画
像に変化のない未処理部分の画質が変化することはな
い。そして処理の加え元の解像度に縮小した画像のピク
セルデータと、元画像の選択された部分のピクセルデー
タとを入れ替え、部分的な処理結果の表示を行なう。

【００３９】

【発明の効果】本発明によれば、元の解像度でリアルタ
イムに処理結果を確認しながらサブピクセル単位の画像
処理を行うことが可能になるため、ユーザの意図に沿っ
た画像の作成が可能になる。また、解像度変換の手間を
縮小し処理時間を短縮したうえ、画質をほとんど落とす
ことなくサブピクセル単位での画像処理を行うことが可
能となり、作業能率の向上、よりハイクオリティーな画
像の作成に貢献する。

【図面の簡単な説明】

【図１】本システムにおけるハードウェアのブロック
図。

【図２】本発明における画像処理方法の概要を示すフロ
ーチャート。

【図３】サブピクセル単位での画像処理方法を示すフロ
ーチャート。

【図４】画像変化に伴うによるデータの書き換えおよび
画像表示までの流れを示すフローチャート。

【図５】アンチエリアス処理を行なわない解像度拡大処
理の例を示した説明図。

【図６】解像度拡大画像における画像変形処理後の解像
度縮小処理の例を示した説明図。

【符号の説明】

３０３…レイヤの選択、３０６…入力待ち、３０７…事
象。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 守屋 俊夫 神奈川県川崎市麻生区王禅寺1099番地株式 会社日立製作所システム開発研究所内

Claims (7)

【特許請求の範囲】
1. 【請求項１】外部からの入力によって制御可能な装置を
   使用し、一枚または複数枚のレイヤより構成される画像
   データを読み込み、読み込まれたデジタル画像を上記レ
   イヤごとの画像のピクセルデータを二次元配列のメモリ
   に格納し、上記装置に対して何らかの入力を与えること
   によって、上記デジタル画像中のオブジェクトに移動や
   拡大・縮小、回転などの画像処理で上記デジタル画像の
   最小の単位ピクセル単位ではなく１／２ピクセルや１／
   ３ピクセルなど１ピクセル未満のサブピクセル単位での
   画像処理を加えるとき、 処理を行なうのに必要なピクセル単位を外部入力装置よ
   り選択または数値入力し、処理対象のデジタル画像の解
   像度を上記で選択または数値入力されたピクセル単位の
   逆数倍に上げ、解像度を上げた画像の各ピクセルデータ
   を格納するメモリを一時的に作成して格納し、画像表示
   装置に表示される解像度変換前の画像に対する外部入力
   装置からの画像処理を要求する入力による画像の変化を
   検知すると、メモリに格納された解像度変換画像の上記
   ピクセルデータを入れかえ、更新された上記ピクセルデ
   ータを元の解像度に変換し、元画像のメモリに格納され
   るピクセルデータと入れかえ、処理結果をディスプレイ
   に表示し、以上の動作のうち上記外部入力装置からの入
   力から画像処理結果の表示までを繰り返し、サブピクセ
   ル単位での画像処理が終了するとともに解像度を上げた
   画像のピクセルデータがメモリから開放されることを特
   徴とする画像処理方法。
2. 【請求項２】請求項１において、上記メモリに格納され
   た上記解像度変換画像の上記ピクセルデータおよび元画
   像の上記ピクセルデータを画像の変化に伴い変換する
   時、変化のあったピクセルを検出しそのピクセルのみを
   入れ替える画像処理方法。
3. 【請求項３】請求項１において、上記外部入力装置から
   の入力により指定された上記レイヤ内の上記外部入力装
   置からの入力により選択された矩形範囲を抽出し、選択
   された部分画像に対してのみ解像度変換や変形等の画像
   処理を加える画像処理方法。
4. 【請求項４】請求項１において、上記外部入力装置から
   の入力により指定された上記レイヤ内の上記外部入力装
   置からの入力により選択された矩形範囲を抽出し、選択
   された部分画像に対してのみ解像度変換や変形等の画像
   処理を加え元の解像度に戻した画像の上記ピクセルデー
   タを、元画像の上記ピクセルデータの対応部分と順次入
   れ替えて表示することによる選択範囲以外の画質の劣化
   を最小限に留めた画像処理方法。
5. 【請求項５】請求項１において、解像度を変換すると
   き、ピクセル数の不足により引き起こされる画像中の斜
   線部等がぎざぎざ状になる現象を解消するためにぎざぎ
   ざ状の部分をぼかして滑らかにみせるアンチエリアシン
   グ手法を用いないことによって、画像に変化の無い部分
   の画質の劣化をなくした画像処理方法。
6. 【請求項６】請求項４または５において、解像度を上げ
   た画像にたいしてアンチエリアシング処理を行なわずに
   画像の解像度を元の値に変換し、元画像の上記ピクセル
   データの対応部分の上記ピクセルデータと入れ替えるこ
   とによって、選択された矩形範囲の境界部分が目立つこ
   となく画像の入れ替えを行なう画像処理方法。
7. 【請求項７】請求項１において、上記サブピクセル単位
   での画像処理を実行している時、メモリに格納された上
   記解像度拡大画像の上記ピクセルデータの上記画像表示
   装置への表示／非表示の選択が可能な画像処理方法。