JP3264245B2 - 画像情報処理装置 - Google Patents

画像情報処理装置

Info

Publication number
JP3264245B2
JP3264245B2 JP9199298A JP9199298A JP3264245B2 JP 3264245 B2 JP3264245 B2 JP 3264245B2 JP 9199298 A JP9199298 A JP 9199298A JP 9199298 A JP9199298 A JP 9199298A JP 3264245 B2 JP3264245 B2 JP 3264245B2
Authority
JP
Japan
Prior art keywords
image
texture
fractal
block
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP9199298A
Other languages
English (en)
Other versions
JPH11288457A (ja
Inventor
隆浩 福原
圭介 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9199298A priority Critical patent/JP3264245B2/ja
Priority to US09/283,168 priority patent/US6501862B1/en
Publication of JPH11288457A publication Critical patent/JPH11288457A/ja
Application granted granted Critical
Publication of JP3264245B2 publication Critical patent/JP3264245B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像情報処理装置
に関し、特に、反復変換復号化処理により画像を生成す
るような画像情報処理装置に関するものである。
【0002】
【従来の技術】従来の代表的な画像圧縮方式として、I
SOによって標準化されたいわゆるJPEG(Joint Ph
otographic Coding Experts Group) 方式が知られてい
る。このJPEG方式は、DCT(離散コサイン変換:
Discrete Cosine Transform)を用い、比較的高いビッ
トが割り当てられる場合には、良好な符号化・復号化画
像を供することが知られている。ところが、ある程度符
号化ビット数を少なくすると、DCT特有のブロック歪
みが顕著になり、主観的に劣化が目立つようになる。
【0003】これとは別に最近、反復変換方式(IF
S:Iterated Function Systems) を利用した画像圧縮
方式が注目され始めている。この方式は、画像全体の中
で、その画像の一部分を取り出した場合に、その取り出
された画像と良く似た別の画像が、その画像の中に異な
るサイズの形で存在するという前提で、画像の自己相似
性を利用したものである。この反復変換方式は、上記J
PEGのようなブロック歪みが目立つことがなく、しか
も画像内の異なるサイズのブロック間の自己相似性を利
用していることから、復号化時には解像度に依存しない
という利点がある。この反復変換符号化は、別名フラク
タル符号化とも呼ばれており、様々な領域への応用が期
待されている。
【0004】特開平5−57062号公報に記載された
技術は、フラクタルの持つ少ない情報量で画像を復元で
きる機能をゲーム機に応用した技術である。図15は、
この技術を示すブロック図である。同図において、CP
U50が接続されるシステムバス62には、ワークVR
AM51、ROM52、外部インターフェイス(I/
F)53、フラクタル描画部55、GDC(グラフィッ
クス・ディスプレイ・コントローラ)57及びキーボー
ド(KB)I/F60が接続されている。外部I/F5
3にはゲームROM54が装着されるようになってい
る。フラクタル描画部55及びGDC57にはVRAM
(ビデオRAM)56が接続され、GDC57にはグラ
フィックI/F58を介してCRT(陰極線管)59が
接続される。また、KBI/F60にはキーボード61
が接続される。
【0005】次に動作について説明する。外部I/F5
3にゲームROM54が装着され、電源スイッチの操作
によって電源が投入されると、CPU50はゲームRO
M54からゲームソフトの先頭部分を一定量読み出し
て、ワークVRAM51に蓄積し、これに含まれる初期
画面をGDC57に転送する。GDC57は、転送され
てきた初期画面をVRAM56上に展開すると共に、こ
れを一定周期で読み出してグラフィックI/F58に転
送することにより、CRT59に出力する。CPU50
は、キーボード61からKB(キーボード)I/F60
を介してユーザが投入したコマンドを受け取ると、この
コマンドに従ってワークVRAM51から、対応の図形
データを読み出して、GDC57に転送し、あるいはG
DC57に表示図形の移動指令などを発することによ
り、表示画面を更新させる。
【0006】ゲームROM54から外部I/F53を介
して読み出され、ワークVRAM51に蓄積されるゲー
ムソフトには、従来の制御プログラムや図形データに加
えてフラクタル図形の描画コマンド及びプログラムが含
まれている。このフラクタル図形描画コマンド及びプロ
グラムは、図形生成の規則を定めた数式(アルゴリズ
ム)と生成図形の開始位置等に関する初期値とから構成
される。CPU50は、キーボード61から投入された
コマンド等に従ってワークVRAM51から読み出した
データが図形データでなく、フラクタル図形描画コマン
ドであれば、これをGDC57ではなくフラクタル描画
部55に転送する。これを受信したフラクタル描画部5
5では、初期値と数式に従って、線分等の図形要素を順
次生成し、これをVRAM56上に展開してゆくことに
より、種々の図形、例えば、山や樹木や葉等の自然物や
キャラクタ等の図形を描く。上記のように、小さいデー
タ量のフラクタル描画コマンドに従って、データ量の大
きな複雑な図形を描くことができる。
【0007】なお、上記特開平5−57062号公報に
は、どのようなフラクタル描画コマンドを与えれば、ど
のような図形が描画されるか等の具体的な説明はなされ
ていない。
【0008】
【発明が解決しようとする課題】上記の従来技術の例で
は、フラクタル図形を描画コマンドによって描画して出
力するので、描画できる図形が限定されており、一般の
自然画像・テキスチャを圧縮・復元する機能を備えてい
ないという問題点があった。
【0009】一方、上記技術とは別に、現在パソコン上
やゲーム機で多用する物体形状へテキスチャマッピング
を行う際の、テキスチャ(画像)の圧縮符号化手法とし
ては、JPEG方式が用いられている。そのため、物体
形状をズーミングした時にはテキスチャの見かけ上の解
像度が上がるため、DCT特有のブロック歪みが拡大さ
れて画像の劣化が顕著になったり、画像のシャープネス
が失われてボケた画像が表示されてしまう、という欠点
があった。
【0010】本発明は、このような問題を解決するため
になされたものであり、上述のように、テキスチャマッ
ピングした物体形状をズーミングした際、テキスチャの
画質が劣化しにくい復号化画像を得ることができるよう
な画像情報処理装置を提供することを目的とする。
【0011】
【課題を解決するための手段】本発明に係る画像情報処
理装置は、フラクタル変換パラメータを含むデータを記
憶する主記憶手段と、上記主記憶手段に記憶されたフラ
クタル変換パラメータを用いて反復変換復号化処理を施
すことにより画像を生成する画像処理手段と、上記反復
変換復号化により生成する画像を展開する画像記憶手段
と、生成された画像を表示制御する表示制御手段と、操
作入力手段と、上記操作入力手段からの操作入力に応じ
て上記画像処理手段による処理及び上記表示制御手段に
よる表示動作を制御する制御手段とを有し、上記画像処
理手段は、原画像がダウンサンプリング処理された初期
画像、若しくは圧縮された初期画像を復元する初期画像
復元手段を有し、この復元された初期画像に基づいて上
記フラクタル変換パラメータを用いた反復変換復号化を
施すことを特徴としている。
【0012】また、本発明は、主記憶手段に記憶された
フラクタル変換パラメータを用いて反復変換復号化処理
を施す際に、初期画像を復元し、この復元された初期画
像に基づいて上記フラクタル変換パラメータを用いた反
復変換復号化を施すことにより画像を生成することを特
徴としている。
【0013】操作入力により、反復変換復号化された画
像が生成されて表示される。また、復元された初期画像
に基づいて反復変換復号化することにより、少ない反復
回数で高速に反復変換復号化画像を生成することができ
る。
【0014】
【発明の実施の形態】以下、本発明に係るいくつかの実
施の形態について図面を参照しながら説明する。図1
は、本発明の第1の実施の形態となる画像情報処理装置
として、フラクタルデコード機能、すなわち画像の反復
変換復号化の機能を搭載したゲーム機等のエンタテイン
メント装置の概略構成を示すブロック図である。
【0015】この図1に示す装置は、装置全体の制御を
行う制御手段であるCPU20と、フラクタル変換パラ
メータを含むデータを記憶する主記憶手段であるメイン
メモリ21と、上記フラクタル変換パラメータを用いて
反復変換復号化処理を施すことにより画像を生成する画
像処理手段としてのグラフィックス処理部22と、上記
反復変換復号化により生成する画像を展開する画像記憶
手段としてのVRAM23と、いわゆるCD−ROMや
ROMカセット等の記憶媒体24と、上記メインメモリ
21に接続されたキャッシュメモリ26と、ユーザが操
作入力するためのコントローラ30及びこのコントロー
ラ30のためのインターフェイス部29と、上記生成さ
れた画像が表示されるCRT(陰極線管)32及びこの
CRT32に画像を表示させるためのグラフィックスイ
ンターフェイス部31とを有して構成されている。
【0016】なおCRT32は、この装置に一体的に設
けられていてもよいが、一般家庭用のテレビジョン受像
機を用いたり、パーソナルコンピュータ用のモニタ装置
等を用いるようにすることで、省略してもよい。
【0017】次に動作について説明する。図1におい
て、コントローラ30から発せられた指示情報128を
受けて、インターフェイス部29はこれをコントロール
情報として、メインバス123を通じてCPU20に転
送する。CPU20はこれを受け、メインバス123を
通じて記憶媒体24に記録されたフラクタル変換パラメ
ータを読み出させる。
【0018】記憶媒体24から読み出されたフラクタル
変換パラメータは、CPU20によって、メインバス1
23を通じてメインメモリ21または付属するキャッシ
ュメモリ26に一時的に記憶・保持される。またCPU
20にキャッシュメモリが付属されていて、このキャッ
シュメモリに収容可能なデータ量の場合は、同フラクタ
ル変換パラメータは直接CPU20付属のキャッシュメ
モリに記憶・保持することもできる。続いて、フラクタ
ル変換パラメータは、CPU20の制御によって、グラ
フィックス処理部22に転送される。
【0019】ここでは、まず初期画像あるいは初期復号
画像(以下、描画テキスチャともいう。)124を展開
してVRAM23上に展開する。次に、上記フラクタル
変換パラメータを元に、展開された描画テキスチャ(初
期画像)124に対して反復変換復号化(フラクタル復
号化)の処理を施すことで画像を生成する。構成上、グ
ラフィックス処理部22の内部にテキスチャ・キャッシ
ュ部を備えれば、上記描画テキスチャ(初期画像)12
4をこのテキスチャ・キャッシュ部に記憶・保持し、こ
れに対して上記フラクタル復号化を行えるので、さらに
高速化が期待できる。
【0020】図2は、上述した初期画像(描画テキスチ
ャ・データ)及びフラクタル変換パラメータを含むデー
タ構造を図示したものである。この図2において、ヘッ
ダ51には画像サイズ(水平・垂直)情報54、最大レ
ンジサイズ情報55、最小レンジサイズ情報56等の情
報が配置され、このヘッダ51に続いて初期画像(初期
復号画像、描画テキスチャ)データ52が配置され、続
いてフラクタル変換パラメータ53が配置されている。
【0021】グラフィックス処理部22で生成された復
元されたテキスチャ126は、グラフィックスインター
フェイス部31でD/A変換されてビデオ信号127が
CRT32に出力される。
【0022】次に、1度VRAM上に展開されたテキス
チャに対して、さらにズーミング等の再描画を行う際の
動作について、図3のフローチャートを参照しながら説
明する。
【0023】まず、ステップS1において、コントロー
ラ30より上述と同様にして出された指示情報128を
取り込み、次のステップS2で、描画コマンドが現在V
RAM23上に展開されているテキスチャに関するもの
か否かが、CPU20によって決定される。ここでは、
図2のフラクタル変換パラメータとは別の、例えばテキ
スチャの回転・移動・変形・拡大縮小率等のフラクタル
変換パラメータである場合について述べる。そのフラク
タル変換パラメータは既に述べた方法と同様に、ステッ
プS3において、メインメモリまたはキャッシュに一時
的に記憶・保持される。次のステップS4では、フラク
タル変換パラメータに従って、上記回転・移動・変形・
拡大縮小率等の処理が行われ、描画されたテキスチャは
グラフィックスインターフェイス部31に対して出力さ
れる。以降の動作は同様である。なお、図3のステップ
S5では、次のコントローラ30からの指示があるか否
かを検出しており、指示があったとき上記ステップS1
に戻っている。
【0024】次に、グラフィックス処理部22でのテキ
スチャの復元の動作について説明する。同動作を具体的
に図示したものが図4で示されるブロック図である。こ
れはデコーダに相当し、これに呼応したエンコーダは図
5である。
【0025】まず図4のデコーダの動作について説明す
る。VRAM23上に展開されたテキスチャ上のドメイ
ンブロック内の画像(ドメインブロック情報115で得
られる)に対して、図1で説明したフラクタル変換パラ
メータ106に従って、回転・平行移動・拡大縮小等の
処理が施される。変換されたドメインブロック画像11
6は、画像メモリ部16中の、第1のブロックの位置に
記憶・保持される。この動作は、図1で述べた、描画テ
キスチャ124をフラクタル変換パラメータにより、反
復変換復号化してVRAM23に記憶・保持する動作を
意味する。また、図4の制御部17は、図1のCPU2
0の制御の一部として構成要素に加えてある。
【0026】ここで、前記グラフィックス処理部22で
行われる反復変換復号化及びそれに関係する符号化の基
本概念について図6を用いて述べる。
【0027】上記反復変換符号化の基本的な構成は、例
えば、アーノード・イー・ジャッキン(Arnaud E. Jacq
uin) による論文「反復収縮画像変換のフラクタル理論
に基づく画像符号化」("Image coding based on a fra
ctal theory of Iterated Contractive Image Transfor
mations", IEEE Transactions on Image Processing,Vo
l.1, No.1, pp.18-30)に示されている。
【0028】反復変換復号化は、通常、ドメインブロッ
ク画像からレンジブロック画像への縮小画像写像変換
を、画面を構成するすべてのレンジブロック画像に対し
て反復して行うことで、画像全体を収束させて復元画像
を生成する手法である。エンコーダ側では、各レンジブ
ロックを最も近似するドメインブロックの位置情報、変
換パラメータを符号化すればよい。
【0029】図6において、レンジブロックRk は、上
記第1のブロック画像101に相当し、ドメインブロッ
クDk は、上記第2のブロック画像102に相当する。
ここでは、Rk のブロックサイズをm×n、Dk のブロ
ックサイズをM×Nとしている。図6では、画面全体で
はレンジブロックがL×L個存在することを示してい
る。このレンジブロックとドメインブロックのブロック
サイズは、符号化効率に大きく影響する要素であり、こ
のサイズ決定は重要である。
【0030】また、画像変換・生成部15でのブロック
画像変換は、このDk からRk への変換であり、ブロッ
クRk へのマッピング関数をwk 、画面全体を写像変換
するために要したドメインブロックのブロック数をPと
すると、画像fは画像全体のマッピング関数Wによっ
て、 W(f) = w1(f) ∪ w2(f) ∪ … ∪ wP(f) …… (1) に写像される。従って、Wは下式によって表される。
【0031】W = ∪P k=1k …… (2) ここで、上記マッピング関数wは、どのようなものを選
択しても収束すればよく、収束を確実にするために一般
に縮小写像が用いられることが多い。さらに、処理の簡
単化からアフィン変換がよく用いられる。アフィン変換
によってDk がRk に写像されるケースを、実際の変換
関数をvi として、数式化すると下記のようになる。
【0032】
【数1】
【0033】この(3)式によって、2ブロック間の回
転・並進・縮小・拡大等の変換がすべて表現できること
になる。図4の画像変換・生成部6では、例えば(3)
式で示される回転・並進・縮小・拡大等の変換を行う回
路を内蔵していて、ドメインブロック画像115に対し
て、変換パラメータ情報106を用いて変換処理を施す
ことで、変換後のドメインブロック画像116を得る。
【0034】上記の例は、ブロックの空間座標について
の変換を示しているが、画素値、例えば輝度、色差情報
等の濃淡値等、に関しても、同様にアフィン変換を用い
て写像変換することができる。この場合、例えば簡単化
のために、ドメインブロックDk 内の画素値di がレン
ジブロックRk の画素値ri に写像される関係式を表す
と、下式のようになる。
【0035】 vi(di) = s × di + o ……(4) ここで、sをコントラスト(上記論文でのContrast Sca
ling)、oをオフセット値(上記論文でのLuminance Sh
ift) と定義することができる。この場合、レンジブロ
ックRk 内の画素値ri との誤差の差分2乗和が最小に
なるようなパラメータs及びoを算出すればよい。すな
わち Σ(s×di+o−ri2 → 最小値 ……(5) となるように設定すればよい。
【0036】図7は、ドメインブロックサイズがレンジ
ブロックサイズの縦横2倍である場合、すなわち2分の
1縮小画像変換に相当する場合の、画素平均を用いる手
法の説明図である。すなわち、この図7に示すように、
例えばドメインブロックDkの変換単位となる4画素の
平均値をdi として、上記(4)式を使ってvi を算出
し、これを対応するレンジブロックRk の変換される位
置の画素値として置き換える(上書きする)操作が必要
である。従って、 (3回の加算と1回の除算)+(1回の加算と1回の乗
算)=(4回の加算と1回の除算と1回の乗算) の計算が必要になる。
【0037】図5の反復変換符号化器の画像変換・生成
部4では、例えば上記(3)式で示される回転・並進・
縮小・拡大等の一連のアフィン変換を行う回路を内蔵し
ていて、第2のブロック画像104に対して、画面内で
の位置変換を行う。同時に、ブロック内の画素の濃淡値
の変換法としては、これも同様に、アフィン変換を用い
ることで実現できる。第2のブロック画像104に対し
て、上記(3)式の変換係数(ai,bi,ci,di,ei,f
i) を何通りか変えて、変換処理を施すことで、変換さ
れたブロック画像105をそれぞれ得ることができる。
そしてそれらの変換されたブロック画像105と、第1
のブロック画像101との近似度を測定・閾値処理を近
似度測定・閾値処理部10で行い、最も誤差の小さい第
2のブロック画像を選択し、その時の第1のブロック画
像情報103、第2のブロック画像情報129、変換パ
ラメータ106(上記(3)式の変換係数を意味する)
を出力して、符号化・多重化部8で多重化して送出す
る。以上が反復変換符号化及び復号化の手法、及び基本
構成である。
【0038】続いて、描画テキスチャの展開の動作につ
いて説明する。図4において、初期画像(初期復号画
像、描画テキスチャ)107は、初期復号画像復元部1
9において復元される。ここで、図8を用いて、上記初
期画像107について説明する。
【0039】図8において、左端はある原画像として入
力したテキスチャ(図5の原画像100)であり、中央
は初期復号画像生成部6において生成された初期画像
(初期復号画像、描画テキスチャ)107である。この
図の場合は、原画テキスチャを単純に例えば縦横4分の
1ずつ(全体で1/16)にダウンサンプリング(間引
き)したものであるが、これ以外の方法については後述
する。ここまでが、エンコーダでの処理であり、図5に
示す通り、生成された初期復号画像107は、多重化部
8で、他の符号化情報と共に多重化されて送出される。
【0040】一方、デコーダではダウンサンプリングさ
れた初期復号画像107を元の解像度に変換するアップ
サンプリング(画素補填)が行われる。図8の場合で
は、初期復号画像107が、復元された初期復号画像1
20にアップサンプリングされる様子が示されている。
明らかに原画のテキスチャの情報が欠落しているが、こ
の場合単純計算で、例えば、 (1/4)×(1/4)=1/16 にテキスチャ情報が圧縮されたことになる。
【0041】以上説明した本発明に係る第1の実施の形
態によれば、CD−ROMやROMカセット等の記憶媒
体24からロードされたフラクタル変換パラメータ、描
画コマンドやデータをメインメモリ21に記憶し、CP
U20の制御で転送された描画コマンドやフラクタル変
換パラメータに従って、グラフィックス処理部22にお
いてVRAM23に展開された描画テキスチャ(初期画
像)を反復変換復号化する構成としたので、非常に高速
にテキスチャを反復変換復号化することができる。
【0042】また、グラフィックス処理部22について
は、図4に示すように、初期復号画像復元部19を設
け、同部において初期復号画像(初期画像、謬画テキス
チャ)を復元し、これに対して反復変換復号化を実行す
るので、優れた画質の復号化画像を得ることができる。
【0043】このように、初期復号画像に対して反復変
換復号化を行うが、この初期復号画像は原画像に対し
て、例えばダウンサンプリング処理して解像度を落とし
たものや、またはテキスチャ・デコーダにより元の解像
度のまま圧縮したものを用いることができるので、従来
の真黒の初期画像から、反復変換復号化を行う場合に比
べて所定の画像を復元するまでの反復回数が非常に少な
くて済むという効果がある。これにより、処理時間の削
減に繋がるので、高速化が図れる。
【0044】さらに、グラフィックス処理部22にテキ
スチャ・キャッシュを備えることにより、高速に描画テ
キスチャをアクセス・転送することができ、描画速度を
高めることができる。
【0045】次に、第2の実施の形態について説明す
る。上記第1の実施の形態では、初期画像(初期復号画
像、描画テキスチャ)107を、原画像のテキスチャを
単純にダウンサンプリングして生成した例を示している
が、図9に示すように、複数ブロックサイズから成る階
層構造によって生成するようにしてもよい。
【0046】この図9の場合は、例えば最初大きなブロ
ックサイズからスタートして、ブロック内の画素値の分
散値がある閾値以上になった場合は、該ブロックを4分
木に分割するような処理等を行うことにより、初期画像
(初期復号画像、描画テキスチャ)を得ている。図9の
例では、32×32のブロックから8×8のブロックま
での、3階層の構造を持ったブロックの集合で表してい
る。各ブロック内の画素は1つの画素値で代表させる。
【0047】この第2の実施の形態の場合は、画像の平
坦部は大きなブロック、複雑な模様では細かなブロック
で対応できるので、上記第1の実施の形態で述べた単純
なダウンサンプリング法に比べて、同一の圧縮データで
より高画質の初期復号画像を復元することができる。
【0048】次に第3の実施の形態について説明する。
上記第1の実施の形態及第2のび実施の形態では、基本
的に複数個の画素値を1個の画素値で代表させる手法で
あった。これは最も計算負荷の小さい方式であり、ハー
ドウェアまたはソフトウェアの処理が小さくて済む利点
がある。その反面、圧縮率は小さい。
【0049】それに対して、前記初期復号画像生成部6
に、例えばJPEGのエンコーダを搭載すれば、ハード
ウェアコストは上がるが、数十分の1程度に圧縮しても
誤差が検知しにくい画像を、デコーダ側で復元すること
ができる利点がある。この場合、初期復号画像復元部1
9ではJPEGのデコーダを搭載することになる。
【0050】図10はこれを実現した第3の実施の形態
の一例を示しており、テキスチャデコーダ27をメイン
バスに接続して、記憶媒体24から読み出されたテキス
チャのエンコード情報をデコードして、復元したテキス
チャをメインバス123を通じて、VRAM23に展開
することができる。
【0051】なお、上記第3の実施の形態の例では、J
PEGエンコーダ及びデコーダをハードウェアで実現す
る例を示したが、図1のCPU20の演算でソフトウェ
アで実現する構成も可能である。
【0052】この第3の実施の形態によれば、JPEG
のデコーダ等のテキスチャ・デコーダを備え、予め符号
化(例えばJPEGエンコード)された初期画像(初期
復号画像、描画テキスチャ)をデコード(例えばJPE
Gデコード)して、これをVRAM上に展開する構成と
しているので、データを大幅に圧縮することができると
いう効果がある。
【0053】次に、第4の実施の形態について説明す
る。上記第1の実施の形態では、画素値の変換を上記
(4)式で示される手法で実現していたが、この場合
は、コントラストとブライトネスの1回の乗算と1回の
加算を行う必要がある。ところが、これをハードウェア
(グラフィックス・チップ等)で実現しようとした場
合、1回の乗算と1回の加算を同時に行うと処理量が大
きくなり、実用的でなくなるケースが生じる。またハー
ドウァアによっては対応不可な場合もある。
【0054】これに対応するためには、上記(4)式の
2つのパラメータの乗算及び加算を1つに減らすことで
解決できる。これを画質の劣化を最小限にしていかに実
現するかが重要となる。
【0055】図11は、図7と同様にドメインブロック
サイズがレンジブロックサイズの縦横2倍である場合
(2分の1縮小画像変換に相当)であるが、計算量を減
らすために、まずドメインブロックDk 内の変換単位と
なる4画素の平均を取ることなく、変換単位の4画素中
の一部の画素、例えば図中の斜線の画素、すなわち変換
単位となる4画素中の左下に位置する画素をそのままd
i として、レンジブロックRk の変換される位置に上書
きしている。この場合は、上記(4)式のc=1、b=
0に相当するので、加算、除算、乗算が全く必要無く、
上述のドメインブロックDk の変換単位となる4画素中
の左下の画素をそのままレンジブロックRk 内にコピー
している動作に他ならず、計算が不要となる。従って、
従来の図7の場合に比べて、遥かに処理量が少なく、高
速に実行できることがわかる。
【0056】なお、図11の具体例では、ドメインブロ
ックDk の変換単位となる4画素中の左下の画素位置と
したが、他の画素位置でもよいことは明らかである。ま
た、別の例として、図4の制御部17では、同図の反復
復号化ループの反復回数を制御しているので(図1では
グラフィックス処理部22を通じてCPU20が制御し
ている)、この反復数に応じてドメインブロックDk
変換単位となる領域内の画素の位置を巡回させる手法を
用いてもよい。
【0057】すなわち、図12はドメインブロックDk
内の任意の変換単位となる領域内の4画素a,b,c,
dを示しており、反復復号化ループの反復数に応じて、
a→b→c→d→a→・・・のように巡回的に1画素を
抽出してレンジブロックRkにコピーすればよい。この
方法によれば、図10のように変換単位内の同じ位置の
画素を用いる場合よりも、反復変換復号化されて生成さ
れた画像の画質が向上する。
【0058】なお、本実施の形態では、前述の通り、反
復変換復号化では(4)式のc=1、b=0に相当する
演算を行うので、前述のJacquin による論文に記載され
た基本的なフラクタル復号化で実現可能な、任意画像か
らの画像復元ができない。なぜなら上記第4の実施の形
態の方式では、初期画像が真黒の画像(画素値はオール
0)の場合には、コントラストcが1で、ブライトネス
bが0なので、いつまで反復変換しても真黒の画像のま
まになるからである。そのため、既に述べたように初期
復号画像復元部19を設けて、所定の復号画像を初期画
像として用いることにより、これを解決している。
【0059】すなわち、図4に示したように、初期復号
画像復元部19を設け、同部において初期復号画像を復
元し、これに対して反復変換復号化を実行しているの
で、この第4の実施の形態で述べたドメインブロックD
k 内の変換単位内の1つの画素の値を対応するレンジブ
ロックRk にコピーするような高速処理法を用いても、
優れた画質の復号化画像を得ることができる。
【0060】次に、第5の実施の形態について説明す
る。図13は、図1の構成にさらにジオメトリ計算部2
8を加えた例である。ジオメトリ計算部28は、例えば
前記グラフィックス処理部22にて反復変換復号化され
て復元されたテキスチャ126を、ある立体形状(以下
ポリゴン)にテキスチャマッピングする際の、ポリゴン
の幾何形状の計算を高速に演算することができる。例え
ば、コントローラ30より出された指示情報128に基
づいて、ゲーム対象のキャラクタを構成するポリゴンの
動きを変える場合には、このジオメトリ計算部28で幾
何計算を行い、その結果を反映させて動きを変えたポリ
ゴンに、復元されたテキスチャ126をマッピングする
処理を、前記グラフィックス処理部22で実現する。
【0061】この第5の実施の形態によれば、ジオメト
リ計算部28を備え、これによりテキスチャをマッピン
グする対象のポリゴンの座標等の幾何情報を高速演算し
て、生成されたポリゴンにテキスチャ・マッピングする
ことができる。その結果、非常にリアリスチックなテキ
スチャ・マッピング画像を得ることができる。
【0062】次に、第6の実施の形態について説明す
る。上述した実施の形態では、前記グラフィックス処理
部22での反復変換復号化を図4のブロック図で表され
る構成で実現していた。例えば、第5の実施の形態で既
に述べたように、コントローラ30より出された指示情
報128に基づいてポリゴンを拡大する時には、この拡
大率に応じてマッピングするテキスチャも拡大する必要
がある。その場合には、VRAM23に展開された描画
テキスチャ124に対して、フラクタル変換パラメータ
を繰り返し用いて反復変換復号化を行い、テキスチャを
収束させるのが通常の動作である。
【0063】ところが、テキスチャを連続してズームす
る場合には、最も最近の生成したテキスチャのズーム率
(図14のrn-1) と、現在のズーム率(図14の
n) は非常に近い値になる可能性が高い(図14の場
合、rn-1<rn)。その場合には、同図に示すように、
前のズーム率の復号化テキスチャIn-1 に対して直接フ
ラクタル変換パラメータを実行してテキスチャIn を生
成すればよい。これにより、描画テキスチャに対して、
最初からフラクタル変換パラメータを繰り返し実行させ
るのに対し、大幅に処理量が削減できることは自明であ
る。また、VRAM23上に展開されているテキスチャ
n-1 に対して上書きできることから、VRAMのワー
クエリアの有効利用にも繋がる。
【0064】次に、第7の実施の形態について説明す
る。
【0065】上記第4の実施の形態では、従来の2分の
1縮小変換を用いた反復変換復号化法では(4回の加算
と1回の除算と1回の乗算)と計算が必要であったもの
を、単純なブロックのコピーだけの処理に軽減する例を
示した。ところがこの手法で十分実用的であるテキスチ
ャは多い反面、非常に複雑なテキスチャに対しては、復
号画像の画質が十分でない場合も生ずる。本実施の形態
はそのような場合に対処したものである。
【0066】図15は、上記第6の実施の形態で説明し
た2つの隣接する倍率の復号化テキスチャすなわちI
n-1 をrn の倍率まで画素補間して、出来たテキスチャ
とIn-1 から復元したテキスチャIn との平均値を取っ
たものを、新たな復号テキスチャとする。なお上記で、
復号化テキスチャIn-1 をrn の倍率までズームする場
合には、単純な画素補間を用いればよい。また、上記技
術は、両方のテキスチャを半分ずつの割合で合成するこ
とから、半透明合成とも言うことができる。
【0067】他方、上記2つのテキスチャA,Bに適当
な倍率を掛け合わせて、新たなテキスチャを生成するこ
ともできる。例えば、 (テキスチャA)×0.7+(テキスチャB)×0.3=新テ
キスチャ、 とすればそれぞれ70%、30%の割り合いで両者のテ
キスチャを合成することになり、同等の効果を奏する。
【0068】以上説明したような本発明の実施の形態を
まとめると、図1のCPU20は、CD−ROMやRO
Mカセット等の記憶媒体24に書き込まれたフラクタル
デコードのための情報(ビットストリーム)を読み出さ
せ、コントローラ30からのコマンドに従って、テキス
チャをフラクタルデコードする際のズーミング率等をグ
ラフィックス処理部22に送る。またメインメモリ21
にコマンドやフラクタル変換パラメータ等を一時的に記
憶保持させ、処理に従って随時更新させる作用を持って
いる。グラフィックス処理部22は、メインメモリ21
またはメインメモリに接続されたキャッシュメモリ26
からコマンド群やフラクタル変換パラメータを受け取
り、VRAM23に展開されたテキスチャ(初期画像)
を元に、上述のようなフラクタルデコードを行う。デコ
ードされたテキスチャは再びVRAM23上に展開され
る。VRAM23は画像データを記憶・保持する画像メ
モリであり、グラフィックス処理部22によってVRA
M23上のテキスチャの読み出し・書き込みが随時行わ
れている。グラフィックス・インターフェイス部31
は、フラクタルデコードされたテキスチャを含むVRA
M23上に展開された画像を入力して、アナログTVに
出力する場合には、D/A変換を行って、アナログ画像
信号を出力する。
【0069】上述したような本発明の実施の形態を、ゲ
ーム機等のエンタテインメント装置に適用することがで
き、また、ゲーム機以外にも、フラクタル変換符号化さ
れたデータを高速でデコードする処理が必要とされる画
像情報処理の用途に適用することができる。この場合、
反復変換符号化された符号語を復号化してテキスチャを
復元し、復元されたテキスチャを3次元形状を有するポ
リゴンにマッピング(テキスチャマッピング)を行う処
理を、高速のCPU等を用いた高価なハードウェアを用
いなくとも、高速に行わせることができ、ゲーム機等の
エンタテインメント装置に適用した場合には、物体形状
のズーミング等の際により良い画質で快適な応答性を実
現でき、例えばゲームへの感情移入の度合いを高め、ゲ
ームをより一層楽しむことができる。
【0070】
【発明の効果】本発明によれば、主記憶手段に記憶され
たフラクタル変換パラメータを用いて反復変換復号化処
理を施すことにより画像を生成し、上記反復変換復号化
により生成される画像を画像記憶手段に展開し、生成さ
れた画像を表示制御し、操作入力手段からの操作入力に
応じて上記画像処理や表示を制御することにより、操作
に応じて高速にテキスチャ等の画像を反復変換復号化す
ることができる。
【0071】また、初期画像を復元し、この復元された
初期画像に基づいて反復変換復号化により画像を生成し
ているため、任意の初期画像から反復変換復号化する場
合に比べて、高速に反復変換復号化画像を生成すること
ができる。
【0072】初期画像については、予め符号化された初
期画像を復号化して用いることにより、データ量を削減
できる。
【0073】また、ジオメトリ計算部を備え、これによ
りテキスチャをマッピングする対象のポリゴンの座標等
の幾何情報を高速演算して、生成されたポリゴンにテキ
スチャ・マッピングすることにより、リアリスチックな
テキスチャ・マッピング画像を得ることができる。
【0074】また、メインメモリにキャッシュメモリを
備え、高速に描画コマンドやフラクタル変換パラメータ
等のデータを記憶・転送することにより、全体の処理速
度が向上する。
【0075】また、画像処理手段にテキスチャ・キャッ
シュを備えることにより、高速に描画テキスチャをアク
セス・転送することができ、描画速度を高めることがで
きる。
【0076】さらに、初期画像を復元し、この復元され
た初期画像に基づいて反復変換復号化を行う際に、ドメ
インブロック内の変換単位となる複数画素の一部をその
ままレンジブロックにコピーして縮小画像変換処理を行
うことにより、計算量が大幅に削減され、高速処理が可
能となる。
【0077】さらに、複数段階の拡大画像を用いてズー
ム表示を行わせる際に、一つの拡大画像を、この拡大画
像の前に生成された拡大画像に基づいて反復変換復号化
処理することで生成することにより、大幅に処理量が削
減でき、高速化が図れると共に、画像メモリのワークエ
リアの有効利用が図れる。
【図面の簡単な説明】
【図1】本発明に係る画像情報処理装置の第1の実施の
形態となる装置の概略構成を示すブロック図である。
【図2】記憶媒体に記憶されたデータの構造を示す図で
ある。
【図3】描画コマンドを実行して反復変換復号化を行っ
てテキスチャを生成する過程を示したフローチャートで
ある。
【図4】グラフィックス処理部の反復変換復号化器の構
成を示すブロック図である。
【図5】反復変換符号化器の構成を示すブロック図であ
る。
【図6】ドメインブロックとレンジブロックとの間の写
像変換を示す図である。
【図7】ドメインブロックの画素平均をレンジブロック
の画素値にする例を示す図である。
【図8】画素の間引きによって初期画像を生成した場合
を示す図である。
【図9】ブロック内の画素値の分散を用いて初期画像を
生成した場合を示す図である。
【図10】本発明の第3の実施の形態の装置の概略構成
を示すブロック図である。
【図11】ドメインブロックの変換単位内の1つの画素
値をレンジブロックの画素値にする例を示す図である。
【図12】ドメインブロックの変換単位内の画素値を巡
回的に用いてレンジブロックの画素値にする例を示す図
である。
【図13】本発明の第5の実施の形態の装置の概略構成
を示すブロック図である。
【図14】隣接する倍率の生成されたテキスチャを示す
図である。
【図15】隣接する倍率で生成されたテキスチャ同士の
合成によって新たなテキスチャを生成することを示す図
である。
【図16】従来技術の構成例を示すブロック図である。
【符号の説明】
1 第1のブロック生成部、 2 第2のブロック生成
部、 3 ブロック情報記憶部、 4 画像変換・生成
部、 5 近似度計測・閾値処理部、 6 初期復号画
像生成部、 7,8 符号化・多重化部、 9 制御
部、 10 第1の特徴量抽出部、 11 第2の特徴
量抽出部、 12 圧縮部、 13 多重化分離・復号
化部、 14 ドメインブロック再現部、 15 画像
変換・生成部、 16 画像メモリ部、 17 制御
部、 18,19 初期復号画像復元部、 20 CP
U、 21 メインメモリ、 22 グラフィックス処
理部(フラクタルデコード部)、 23 VRAM、
24 記憶媒体、 25,26キャッシュメモリ、 2
7 テキスチャデコーダ(JPEGデコーダ)、 28ジオ
メトリ計算部、 29 インターフェイス部、 30
コントローラ、 31 グラフィックス・インターフェ
イス部、 32 CRT
フロントページの続き (56)参考文献 特開 平5−57062(JP,A) 特開 平8−214169(JP,A) 特開 平9−65333(JP,A) 特開 平7−221991(JP,A) 特開 平6−98310(JP,A) 黒田 英夫,画像符号化技術 ディジ タル信号処理シリーズ 第15巻,日本, 株式会社 昭晃堂,1996年12月 6日, P.152−154 (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 500 H04N 1/41 H04N 7/24 JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 フラクタル変換パラメータを含むデータ
    を記憶する主記憶手段と、 上記主記憶手段に記憶されたフラクタル変換パラメータ
    を用いて反復変換復号化処理を施すことにより画像を生
    成する画像処理手段と、 上記反復変換復号化により生成する画像を展開する画像
    記憶手段と、 生成された画像を表示制御する表示制御手段と、 操作入力手段と、 上記操作入力手段からの操作入力に応じて上記画像処理
    手段による処理及び上記表示制御手段による表示動作を
    制御する制御手段とを有し、 上記画像処理手段は、原画像がダウンサンプリング処理
    された初期画像、若しくは圧縮された初期画像を復元す
    る初期画像復元手段を有し、この復元された初期画像に
    基づいて上記フラクタル変換パラメータを用いた反復変
    換復号化を施す ことを特徴とする画像情報処理装置。
JP9199298A 1998-04-03 1998-04-03 画像情報処理装置 Expired - Fee Related JP3264245B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9199298A JP3264245B2 (ja) 1998-04-03 1998-04-03 画像情報処理装置
US09/283,168 US6501862B1 (en) 1998-04-03 1999-04-01 Picture information processing method and apparatus and entertainment apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9199298A JP3264245B2 (ja) 1998-04-03 1998-04-03 画像情報処理装置

Publications (2)

Publication Number Publication Date
JPH11288457A JPH11288457A (ja) 1999-10-19
JP3264245B2 true JP3264245B2 (ja) 2002-03-11

Family

ID=14041950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9199298A Expired - Fee Related JP3264245B2 (ja) 1998-04-03 1998-04-03 画像情報処理装置

Country Status (2)

Country Link
US (1) US6501862B1 (ja)
JP (1) JP3264245B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113846B2 (en) * 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
US20050187433A1 (en) * 2001-07-26 2005-08-25 Given Imaging Ltd. In-vivo imaging device providing constant bit rate transmission
FR2834376B1 (fr) * 2001-12-28 2004-04-02 St Microelectronics Sa Adressage de memoire de blocs de reference en codage fractal
US20040131258A1 (en) * 2003-01-06 2004-07-08 Myung Ho Kim Method of pattern recognition of computer generated images and its application for protein 2D gel image diagnosis of a disease
IL155175A (en) * 2003-03-31 2012-01-31 Given Imaging Ltd A diagnostic device that uses information thinning
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US7512268B2 (en) * 2005-02-22 2009-03-31 Texas Instruments Incorporated System and method for local value adjustment
US7974517B2 (en) * 2005-10-05 2011-07-05 Broadcom Corporation Determination of decoding information
US9286643B2 (en) 2011-03-01 2016-03-15 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
US10244250B2 (en) * 2015-05-29 2019-03-26 Samsung Electronics Co., Ltd. Variable-rate texture compression using fixed-rate codes

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941193A (en) * 1987-10-02 1990-07-10 Iterated Systems, Inc. Methods and apparatus for image compression by iterated function system
US5065447A (en) * 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
GB9204360D0 (en) * 1992-02-28 1992-04-08 Monro Donald M Fractal coding of data
EP0868073A1 (en) * 1997-03-28 1998-09-30 Canon Kabushiki Kaisha Method and device for the processing of data notably the compression and decompression of image data
JP3859325B2 (ja) * 1997-10-22 2006-12-20 ソニー株式会社 画像の反復変換復号化装置及び方法、並びに記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黒田 英夫,画像符号化技術 ディジタル信号処理シリーズ 第15巻,日本,株式会社 昭晃堂,1996年12月 6日,P.152−154

Also Published As

Publication number Publication date
JPH11288457A (ja) 1999-10-19
US6501862B1 (en) 2002-12-31

Similar Documents

Publication Publication Date Title
JP2922680B2 (ja) 高解像コンピユータ・グラフイツクスの圧縮画像蓄積方法
Fenney Texture compression using low-frequency signal modulation
US5933148A (en) Method and apparatus for mapping texture
US5689800A (en) Video feedback for reducing data rate or increasing quality in a video processing system
JP2000132704A (ja) 画像情報処理装置及び方法
US5742272A (en) Accelerated full screen video playback
US5608862A (en) Apparatus for processing hierarchically-coded image data
JP2006014341A (ja) Mcuバッファを用いて画像データを格納するための方法及び装置
JP3264245B2 (ja) 画像情報処理装置
US6421134B1 (en) Progressive display during image compression
WO2019166008A1 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US6424342B1 (en) Decompressing and compositing graphical image data
US6404930B2 (en) Signal processing equipment
US5999112A (en) Data compression apparatus and method, data expansion apparatus and method, and recording medium
US20030184549A1 (en) Image processing apparatus, and apparatus for and method of receiving processed image
US6526178B1 (en) Picture mapping apparatus and picture mapping method, and picture generation apparatus and picture generation method
JP2001509920A (ja) 補間用のラインバッファを画素のルックアップテーブルとして用いる方法及び装置
JP3287977B2 (ja) 動きベクトル検出方法および装置と動画像符号化方法および装置
JPH08204967A (ja) データ符号化装置
JP2000048182A (ja) 画像情報処理装置及び方法、並びにエンタテインメント装置
JP2005322233A (ja) 大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法及び装置
JP3859325B2 (ja) 画像の反復変換復号化装置及び方法、並びに記録媒体
JP2003087558A (ja) 画像処理装置および方法
JP2000312294A (ja) 画像処理装置
JPH0984021A (ja) 画像データ転送システム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees