JPH04284494A - イメージ処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イメージ処理装置に係
り、特に、２次元のイメージを３次元表面にマッピング
する機能をユーザインタフェースとして提供するイメー
ジ処理装置に関する。

【０００２】

【従来技術】従来イメージを処理する１方法としてラス
タオペレーションが知られており、例えば特開昭６０−
１３１５９５号にその開示がある。

【０００３】このラスタオペレーションは、カーソルの
表示や、ウィンドウのスクロール、移動の処理をハード
ウェアで高速に行う機能であり、数１に示すように矩形
領域間のイメージデータの演算として定義される。

【０００４】

【数１】

【０００５】ここで、Ｓはソースの矩形イメージデータ
、Ｄはデスティネイションの矩形イメージデータ、Ｍは
デスティネイションへの書き込みを制御するマスクデー
タである。ソースのイメージデータＳと、デスティネイ
ションのイメージデータＤは、図２に示すように、対応
する１画素毎に、関数Ｆに従って演算を行い、マスクデ
ータに指示されている画素についてのみデスティネイシ
ョンのイメージデータに書き込まれる。マスクデータを
参照するかしないかは、ユーザが任意に決めることがで
き、あらかじめマスクプレーンと呼ばれる実際には表示
されないマスクデータ専用のプレーンに格納しておく。 関数Ｆは、一般に論理関数として与えられる。ラスタオ
ペレーションは、関数Ｆを必要に応じて設定することに
より種々の操作、例えば画面のクリアや移動、文字の展
開などを実現することができる。しかし、このラスタオ
ペレーションのみで、他の図形描画である直線発生や多
角形塗り潰し等を行おうとすると、十分な応答性を得る
ことができない。また、３次元図形を表示するときの隠
面消去や輝度の補間を行う処理、そしてイメージの拡大
，縮小の処理まで考えると、ラスタオペレーションの機
能だけでは困難で、専用のハードウェアを設け高速化を
図る必要がある。

【０００６】３次元空間上の立体図形をディスプレイ上
に表示するためには、シェーディングや、隠面消去を行
うための画素の輝度Ｒ，Ｇ，ＢとＺ座標を補間する機能
が必要である。また、イメージの拡大，縮小，回転を行
うイメージ操作のプリミティブであるセルアレイは、ソ
ースイメージの参照座標ＳＸ上の画素を任意の直線上の
画素に転送する機能が必要である。他の２次元，３次元
の直線や、文字などもこれらのサブセットとなっている
。そこで、これらの処理を、統合化した機能として、拡
張ラスタオペレーションが知られており特開昭６３−２
１１０７５号に開示がある。

【０００７】この拡張ラスタオペレーションは、図３に
示すように、ｍ画素の水平に並ぶソースイメージを、任
意の方向成分を有するｎ画素のデスティネイションイメ
ージへ写像することを基本とする。ここで、画素Ｐｉは
、デスティネイションの画素の座標Ｘｉ，Ｙｉ、画素の
深さを示すＺｉ、画素の色を与える光の三原色Ｒ，Ｇ，
Ｂの各成分Ｒｉ、Ｇｉ，Ｂｉ、ソースイメージの参照座
標ＳＸｉを要素とする７次元のベクトルであり、数２の
ように表す。

【０００８】

【数２】

【０００９】したがって、デスティネイションイメージ
の始点，終点の画素Ｐ１，Ｐｎに対して、その中の画素
Ｐｉ（ｉ＝２，…，ｎ−１）は、数３及び数４で示すよ
うな線形補間によって求めることができる。

【００１０】

【数３】

【００１１】

【数４】

【００１２】また、拡張ラスタオペレーションでは、３
次元の平面や、セルアレイなどの出力プリミティブを実
行させるために、以下の３つの機能を付加している。

【００１３】（１）　　ソースイメージの写像倍率モー
ドソースイメージの参照座標ＳＸを算出する方法として
２つのモードを用意した。１つは、破線や、ハッチング
による塗り潰しを行うためのモードで、ソースイメージ
を繰り返しサイクリックに参照して２倍，４倍等の整数
倍率でデスティネイションイメージに写像する機能であ
る。もう１つは、セルアレイなどで用いる任意倍率の写
像を行うモードで、図２に示したようにｍ画素のソース
イメージをｎ／ｍ倍し、ｎ画素のデスティネイションに
写像する機能である。

【００１４】（２）　　２値イメージのカラー化拡張ラ
スタオペレーションは、基本的には、多値のフルカラー
（１６００万色）イメージを扱う機能である。従って文
字フォントのような２値イメージは、多値のイメージに
変換しカラー化する必要がある。そこで、ＳＸｉで参照
するソースイメージの値が“１”の画素は、数３で順次
求める前景色Ｒｉ，Ｇｉ，Ｂｉに変換する。“０”の画
素は、あらかじめ設定した背景色の色とするか、あるい
はデスティネイションの画素を更新しないようにするか
のいずれかを選択できる。

【００１５】（３）　　隠面消去機能 ３次元の図形を表示するときは、重なりのある図形のう
ち、手前にあるものを優先して描画する隠面消去を行う
必要がある。ここでは、Ｚバッファを用いる隠面消去の
方式を採用した。即ち、数３で順次求められるＺｉに対
して、Ｚバッファ上に格納されているＺの値と比較を行
い、Ｚｉが大きい（手前にある）時に画素Ｐｉを更新す
るようにした。

【００１６】以上示した、拡張ラスタオペレーションは
、繰り返し実行させることにより、従来のラスタオペレ
ーションを始め３次元の平面や、セルアレイ展開などの
出力プリミティブを実現することが可能となる。

【００１７】

【発明が解決しようとする課題】前述の拡張ラスタオペ
レーションは、イメージデータと３次元グラフィックス
を統合化して扱うことのできる機能であるが、これを人
とコンピュータの間のユーザインタフェースにして定義
する試みはまだなされていない。すなわち、イメージを
扱うシステムのより自然なユーザインタフェースが求め
られており、本発明は、イメージデータと３次元グラフ
ィックスを統合化してかかるユーザインタフェースを可
能ならしめる方法及び装置を提供することを目的とする
ものである。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は２次元のイメージデータを３次元曲面にマ
ッピングし、その３次元曲面を少しずつ変形してマッピ
ング処理を繰り返すようにしたものである。

【００１９】また、３次元曲面の座標を算出する手段と
、イメージデータを変形してマッピングする手段と、こ
のマッピング処理を繰り返し実行せしめるプロセッサ手
段と、を有したものである。

【００２０】

【作用】前述の３次元曲面としては、紙をめくる際に生
じる紙面の動きに合わせた曲面座標を順次算出し、その
３次元曲面に原イメージをマッピング処理し、そのマッ
ピング処理を順次繰り返すことによって、紙面上のイメ
ージを紙をめくるごとく動的に見せるようにした。

【００２１】

【実施例】以下、図面を用いて本発明の実施例を詳細に
説明する。図１は、本発明のイメージ処理装置の一実施
例としてエンジニアリングワークステーション（ＥＷＳ
）の構成を示す。扱うデータが主にイメージデータであ
るため、図１に示すように、ＨＤ３は６６０ＭＢ、ＭＭ
２は６４ＭＢ、ＳＢ７は１６ＭＢ、そしてＦＭ１０は１
６００万色が扱える２４プレーンという構成である。 ＣＰＵ１にはＣＩＳＣプロセッサ、ジオメトリ部８のＧ
Ｐ０／１にはＲＩＳＣプロセッサを、そしてレンダリン
グ部には２品種１５個の専用ＬＳＩ、ＴＲＰＰ９０とＲ
ＣＰＬＥ９１　を用いて、３次元の図形を高速に表示で
きるハードウェアとなっている。このＲＣＰＬＥ９１　
が拡張ラスタオペレーションを実行するＬＳＩである。

【００２２】前述の拡張ラスタオペレーションは、イメ
ージデータと３次元グラフィックスを統合化して扱うこ
とのできる機能である。そこで、この特徴を活かし、イ
メージデータと３次元グラフィックスを扱う新しいユー
ザインタフェースについて、具体的にはイメージデータ
の検索システムを対象として説明する。これは、本実施
例に使用しているＥＷＳが持つ、高速なイメージ処理性
能、大容量のディスク、フルカラー表示が可能なディス
プレイといった特徴を活かすことのできるアプリケーシ
ョンであるからである。

【００２３】イメージデータの検索システムでは、以下
の２項目が重要であると考えられる。

【００２４】１）高速なイメージの切り替え２）イメー
ジ細部の観察 ここでは、１）に対して、ＴＶ番組等で用いられている
ビデオエフェクトを参考に、様々なページめくりを高速
に行うこととし、２）に対しては、虫眼鏡で写真を見る
ようにした高度なユーザインタフェースを実現すること
にした。前述の拡張ラスタオペレーションを適用して実
現したユーザインタフェースを表１に示す。以下に、そ
の実現手法の詳細について説明する。

【００２５】

【表１】

【００２６】（１）　　めくり “めくり”は、画面上に表示されているイメージデータ
を、あたかも本のページをめくるかの様にして切り替え
るユーザインタフェースである。図４（ａ）に示すよう
に、ソースイメージを６４のパッチに分割し、めくられ
た３次元平面上の対応するパッチにそれぞれ写像するこ
とで、表示画面にめくられたイメージデータの１コマを
作ることができる。その３次元の平面の形状を徐々にペ
ージをめくるように変化させていくことにより“めくり
”を実現することができる。

【００２７】ここで、拡張ラスタオペレーションは、パ
ッチの写像を行う際に用いられている。図４（ｂ）に示
すように、ソースイメージの１個のパッチＡを、パッチ
Ａ′上に写像する時パッチＡ上の各ラスタを拡張ラスタ
オペレーションにより、パッチＡ′に繰り返し写像する
ことで実現できる。

【００２８】（２）　　パニング “パニング”は、図５に示すように、現在表示されてい
るイメージデータを、次のイメージデータで押しつぶし
ていくように見せるユーザインタフェースである。これ
は、現われるイメージデータをラスタオペレーションで
徐々に多くしていき、潰されるイメージデータを拡張ラ
スタオペレーションにより、図４（ｂ）のパッチの写像
と同様に、小さい平面に写像（縮小）していくことによ
って行える。

【００２９】（３）　　スピン “スピン”は、イメージデータを３次元的にくるくるス
ピンさせながら、小さくして消したり、大きくしながら
出す方法である。（１）の方法と同様にソースイメージ
を３次元の平面に写像することによって実現できる。

【００３０】（４）　　フェード “フェード”は、現在表示されているイメージデータを
、新しいイメージデータにじわっと切り替えるユーザイ
ンタフェースである。実現手法は、図６に示すように、
マスク付きのラスタオペレーションを用いて、順次ソー
スイメージを書き込む画素の数を増やしていくことによ
り実現する。

【００３１】（５）　　ワイプ “ワイプ”は、ワイパーの軌跡に沿って新しいイメージ
が出てくるユーザインタフェースで、（４）のフェード
と同様に、マスク付きのラスタオペレーションを用い、
マスクデータを順次変えながらソースイメージを表示画
面に書き込むことで行える。

【００３２】（６）　　虫眼鏡 “虫眼鏡”は、マウスカーソルをレンズの中心として、
表示されているイメージデータを部分的に拡大して見せ
るユーザインタフェースである。まず、図７に示すよう
に、マウスで指定された座標（ｐｘ，ｐｙ）から、対応
するソースイメージ上の座標（ｓｘ，ｓｙ）を求め、数
５によってソースイメージでの拡大される領域の座標を
算出する。ここで、Ｋは拡大率であり、ユーザによって
任意に設定できる値である。

【００３３】

【数５】

【００３４】次に、あらかじめ作成してある虫眼鏡用の
マスクデータを参照しながら拡張ラスタオペレーション
によって、ソースイメージを拡大して表示画面上の円の
中に書き込むことで、“虫眼鏡”を実現している。

【００３５】次に、拡張ラスタオペレーションが、実際
に前述のユーザインタフェースに適用できることを示し
た例として、「本」を模擬するイメージ検索プログラム
“Ｂｏｏｋｓ”の概要を示す。

【００３６】まず、“Ｂｏｏｋｓ”の扱うデータの構造
を図８，図９に示す。“Ｂｏｏｋｓ”は、図８に示すよ
うに、複数の“本”を登録でき、更に“本”を構成する
各ページは、図９に示すように、動画像を含む６種のペ
ージデータを扱えるようにした。１ページのサイズは、
全て６４０×５１２画素である。初期画面に表示される
のは、表紙として登録されている静止画であり、何れか
１つをマウスでピックすることによって、１冊の“本”
を開くことができる。開いた“本”は、ページめくり機
能を用いて、前後のページをめくることが可能で、マウ
スからの指示により、次のページに切り替える指示であ
れば次のページに切り替え、前のページに切り替える指
示であれば前のページに切り替える。より具体的には、
マウスのボタンを押しながら右方向に移動させることに
より次ページへのめくりを、左方向に移動させることに
より前ページのめくりを、それぞれ指示するようにした
。開いているページに対しては“虫眼鏡”を行うことが
できる。 これは前述のように、マウスボタンを押すとカーソル位
置を中心とする円形部分を拡大表示するものである。ボ
タンを押したままマウスを移動させると、拡大表示部分
はそれに追従して移動していく。以上の処理を示したフ
ローチャートを図１０に示す。

【００３７】次に、前述のハードウェア環境において、
イメージ検索プログラム“Ｂｏｏｋｓ　”を実現した結
果得られた実測性能について示す。

【００３８】図１１に示すように、既にＦＭ上のソース
イメージ格納領域に存在するイメージに対して、“めく
り”や、“虫眼鏡”を行うときには、拡張ラスタオペレ
ーションを繰り返すことによって実現される。１画素当
りの性能は、本実施例では１３．８　Ｍ画素／ｓであり
、従って、６４０×５１２画素のイメージデータをコピ
ーしたり、拡大／縮小する処理は、約２４ｍｓで行える
。 また、“虫眼鏡”の時には、２５６×２５６画素とデー
タ量が少ないため、約５ｍｓの時間で行える。実際に、
１枚のページをめくるためには、１）画面のクリア，２
）前ページの表示，３）新ページの表示，４）ダブルバ
ッファの切り替え、の４ステップを繰り返すことによっ
て行われる。２），３）において、それぞれ約２４ｍｓ
の時間がかかり、１），４）はそれぞれ１０ｍｓ以内、
さらにソフトウェアによるオーバヘッドを１）〜４）に
加えた１ページをめくるときの１コマを表示させる時間
は、１００ｍｓ以内に収めることができる。従って、動
的な表示が可能であり、比較的スムーズにめくり動作を
表現できる。

【００３９】

【発明の効果】以上詳細に説明したように、本発明はに
よれば、イメージ処理と３次元処理を統合した自然なユ
ーザインタフェースを実現できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例におけるイメージ処理装置の
ブロック図である。

【図２】ラスタオペレーションの概要を説明する図であ
る。

【図３】拡張ラスタオペレーションを説明する図である
。

【図４】めくり機能を説明する図である。

【図５】パニング機能の実現方法を説明する図である。

【図６】フェード機能の実現方法を説明する図である。

【図７】虫眼鏡機能の実現方法を説明する図である。

【図８】“Ｂｏｏｋｓ”のデータ構造を示すブロック図
である。

【図９】ページデータの種類を示している図である。

【図１０】イメージ検索プログラム“Ｂｏｏｋｓ”のフ
ローチャトである。

【図１１】ＦＭ上でのソースイメージの格納領域を示し
た図である。

【符号の説明】

１…ＣＰＵ、２…メインメモリ、３…ハードディスク、
４…Ｉ／Ｏコントローラ、５…キーボード、６…マウス
、７…セグメントバッファ、８…ジオメトリ部、９…レ
ンダリング部、１０…フレームメモリ、１１…ＣＲＴ。

Claims (2)

【特許請求の範囲】
1. 【請求項１】２次元のイメージデータをデジタル情報と
   してメモリに記憶し、紙をめくる際に生じる３次元曲面
   の座標を算出し、前記イメージデータを変形して前記３
   次元曲面にマッピング処理し、前記３次元曲面を少しず
   つ変形して前記マッピング処理を繰り返し、紙面上のイ
   メージを紙をめくるごとく見せるようにしたことを特徴
   とするイメージ処理方法。
2. 【請求項２】２次元のイメージデータをデジタル情報と
   して記憶するメモリと、紙をめくる際に生じる３次元曲
   面の座標を算出する座標算出手段と、前記メモリに記憶
   されたイメージデータを変形して前記座標算出手段にて
   算出された３次元曲面にマッピングするマッピング手段
   と、前記３次元曲面を少しずつ変形して前記マッピング
   処理を繰り返し実行せしめるプロセッサ手段と、を有し
   、紙面上のイメージを紙をめくるごとく見せるようにし
   たことを特徴とするイメージ処理装置。