JPH10143681A

JPH10143681A - 画像処理方法及びその装置

Info

Publication number: JPH10143681A
Application number: JP8337439A
Authority: JP
Inventors: Satoshi Okada; 岡田　　聡
Original assignee: SNK Corp
Current assignee: SNK Corp
Priority date: 1996-11-12
Filing date: 1996-11-12
Publication date: 1998-05-29

Abstract

(57)【要約】【目的】本発明は、極めて簡単な手法で、特定の３次
元画像を、ピントを考慮した仮想２次元スクリーンに投
射できる画像処理方法およびその装置を提供する。【構成】本発明は、格子状の複数のピクセルによりな
る画像データを第１記憶部に記憶し、その第１記憶部か
ら前記画像データを表示画面に出力して表示する画像処
理方法であって、前記複数のピクセルのうちの任意のピ
クセルの輝度が、当該ピクセルの奥行き情報に基づき、
前記ピクセルと隣り合う少なくとも一つのピクセルの輝
度に適宜近づけるように制御部で処理することを特徴と
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュタグラフ
ィックなどの３次元画像処理方法に関わり、特に３次元
画像に対しピントを考慮して仮想２次元スクリーン上に
投射できる全く新しい画像処理方法に関する。

【０００２】

【従来の技術】従来から知られる一般的なコンピュータ
グラフィックによる３次元画像の表現方法として、例え
ば多数のポリゴンを組み合わせて立体画像を表現するこ
とが知られている。この方法では、多数のポリゴンを利
用して３次元座標で立体を表現し、そのポリゴンの各頂
点を２次元座標に転写するレンダリングによって行われ
る。このような方法によって、仮想２次元スクリーン上
に疑似立体画像を表現されるが、実際に視認される現実
の映像にはおよばず、まだまだ改良の余地がある。

【０００３】

【発明が解決しようとする課題】このように、コンピュ
ターグラフィックで作成された３次元画像が現実の風景
などの背景と異なるものと視認される原因として、本願
発明者は画像のピントの点に着目した。つまり、人間の
目で３次元空間を視認する場合、着目した特定の距離に
ある物体にピントを合わすと他はピントが惚けてしま
う。

【０００４】一方、コンピュータによって作り出された
３次元画像の場合は、奥であろうと手前であろうと同様
のピントではっきり再現されてしまう。このようなピン
トの問題で疑似画像であることが判明してしまい、視認
者にとって違和感として感じられる。

【０００５】また、近年、遊戯機等においては、３次元
画像を使った格闘物のゲームソフトが流行しているが、
このようなゲームにおいては、よりリアルな３次元画像
の追求が行われている。

【０００６】前述したピントの問題を解消する手段とし
ては、レイトレーシングという手法も知られているが、
この方法ではある距離にピントを合わした場合に他の距
離に存在するものがレンズ効果によってどのように惚け
るのかを、その都度シュミレーションをして計算によっ
て求めるため、１画面の処理を行うのに数十分の長い時
間を必要とするといった問題がある。

【０００７】このように時間がかかるものであったの
で、静止画像においては適応可能であるが、例えば動画
処理などにおいては、一つの画面の走査時間が１／６０
又は１／５０秒というのが規格でも決まっており、この
ような規格を満足しつつ、ピントも考慮して３次元画像
を仮想２次元スクリーンに投射してＣＲＴなどのディス
プレイに表示することは不可能であった。

【０００８】ところで、本発明の実施の態様を後に説明
するが、その説明に先立ち図５ないし図７を基に、上述
したピントを全く考慮しない一般的な従来の画像処理を
説明する。

【０００９】ＣＰＵ１００の命令により、予めテクスチ
ャ画像メモリ１０１に記憶された複数のテクスチャ画像
のデータを仮想３次元立体のモデリングデータにレンダ
リングする作業を開始する。レンダリング作業を行うの
が描画ユニット１０２である。描画ユニット１０２は、
前記ＣＰＵ１０のスタート命令により前記各テクスチャ
画像を読み込むとともに、当該画像の各ピクセルの奥行
き情報を格納するＺバッファ１０３にアクセスし、それ
ぞれの奥行き情報に基づいて隠面・隠線消去を行う。こ
のよな隠面・隠線処理を一般にＺバッファ法と呼ばれて
いる。前記Ｚバッファ１０３の奥行き情報は予め格納さ
れている場合や、前述したテクスチャ画像メモリのデー
タから、表示する画像（スクリーン座標）に対応する奥
行き情報（Ｚ値）を描画ユニットで計算により求め、そ
の求めたデータを奥行き情報としてＺバッファ１０３に
記憶・格納するようにする場合もある。隠面・隠線処理
が終了すれば、Ｚバッファ１０３のデータは消去され、
次の隠面・隠線処理に必要なデータが入力される。

【００１０】前述した隠面・隠線消去を終えた画像デー
タは順次ＶＲＡＭ１０４の第１フレームメモリ１０４Ａ
に書き込まれる。書き込みが終了した段階で表示手段と
してのＣＲＴ１０５に前記第１フレームメモリ１０４Ａ
から画像データが出力され、ＣＲＴ１０５の表示画面に
表示される。

【００１１】前記画像データはその表示画面のラスタ走
査順に送られ、表示画面上に画像が生成されるが、動画
においては、１秒間に５０〜６０の画像を順次表示して
いくことが必要なため、前記表示画面に画像を生成して
いる際には、もう一つの第２フレームメモリ１０４Ｂへ
の画像データの書き込みが既に始まっている。そして、
第１フレームメモリ１０４Ａの画像データが表示画面に
送り終わった時に、第１フレームメモリ１０４Ａの画像
データはリセットされて次の画像が入力され順次作業が
繰り返されて動画が生成される。（図７参照）

【００１２】このような動画に奥行き情報に基づいたピ
ントを考慮するとなると、非常に短時間で奥行き情報に
基づき輝度を調整する必要があることが理解できる。

【００１３】本願発明は、以上のような問題に鑑み、本
発明者の鋭意努力によってなされたもので、極めて簡単
な手法で、特定の３次元画像を、ピントを考慮した仮想
２次元スクリーンに投射できる画像処理方法およびその
装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】本発明は、上記課題を解
決するために、請求項１においては、格子状の複数のピ
クセルによりなる画像データを第１記憶部に記憶し、そ
の第１記憶部から前記画像データを表示画面に出力して
表示する画像処理方法であって、前記複数のピクセルの
うちの任意のピクセルの輝度が、当該ピクセルの奥行き
情報に基づき、前記ピクセルと隣り合う少なくとも一つ
のピクセルの輝度に適宜近づけるように制御部で処理す
る。

【００１５】また、請求項２では、請求項１に加え、前
記任意のピクセルの輝度ｐを、当該ピクセルの原データ
による輝度ａと、そのピクセルと隣り合う考慮すべきピ
クセルの数を加えたＮ個のピクセルの輝度ｂ、ｃ、・
・、ｉと、前記任意のピクセルの奥行き値ｋとから表さ
れ、ｐ＝（ａｋ＋ｂｍ＋・・＋ｉｍ）／Ｎ（但し、ｍ＝（Ｎ−ｋ）／（Ｎ−１））の計算処理を前記制御部で行うことにより得るようして
ある。この制御部で行う計算は、一例であり隣り合うピ
クセルの輝度に近づける他の方法を用いても良い。

【００１６】さらに、請求項３では、前記第１記憶部の
画像データを表示画面に出力後、前記表示画面に表示さ
れる前に、前記ピクセルの輝度を制御部で処理し、その
処理した輝度で表示画面を生成するようにしている。

【００１７】次に、請求項４では、表示画面に表示する
ための画像データを記憶する第１記憶部と、当該第１記
憶部に記憶された図形の各ピクセル毎の奥行き情報を記
憶する第２記憶部と、当該第２記憶部の前記任意のピク
セルの奥行き情報に基づき、前記ピクセルの輝度をそれ
と隣り合う少なくとも一つのピクセルの輝度に適宜近づ
ける制御部とを備えた構成としている。

【００１８】

【実施の態様】以下、本発明を適用した場合の態様の一
例を図１乃至図４に基づいて以下に説明する。図１に示
すのは、本態様の画像処理装置を示すブロック図であ
る。画像処理装置は、描画すべき画像を表示する表示画
面としてのＣＲＴ１と、描画すべき画像データを一旦記
憶する第１記憶部としてのＶＲＡＭ２と、前記ＶＲＡＭ
２に記憶される画像データのピクセルごとの奥行き情報
を記憶する第２記憶部としての第２Ｚバッファ３と、制
御部４とから構成されている。

【００１９】前記制御部４は、３次元立体のモデリング
を行い、後述する輝度処理を行うＣＰＵ４Ａと、複数の
テクスチャ画像の画像データを記憶するテクスチャ画像
メモリ４Ｂと、前記テクスチャ画像メモリ４Ｂからテク
スチャ画像データを読み出し、ＣＰＵ４Ａでモデリング
された３次元立体に、読み出した画像データをレンダリ
ング処理する描写ユニット４Ｃとから構成されている。

【００２０】前記テクスチャ画像メモリ４Ｂには、画像
データとして、各テクスチャ画像ごとのそれぞれのテク
スチャ画像を構成する複数のピクセルの座標、色及び輝
度が記憶されている。

【００２１】また、前記ＣＰＵ４Ａは、前記３次元立体
を生成し、描画ユニット４Ｃによって前記３次元立体に
対しテクスチャ画像のレンダリング処理を行わせ、更
に、その３次元の画像データを仮想の投影面に投影した
場合の２次元画像データに変換する。前記２次元画像デ
ータに変換する場合には、テクスチャ画像メモリ４Ｂか
ら得られる各ピクセルの奥行き情報が記憶されているＺ
バッファ５とアクセスして行われる。つまり、Ｚバッフ
ァ５の奥行き情報において投影面に対して奥に位置する
ピクセルは手前のピクセルに重なった場合、奥のピクセ
ルは見えなくなるといった隠面処理が行われる。

【００２２】隠面処理が終了した画像データは、ＶＲＡ
Ｍ２の第１フレームメモリ２Ａに順次ピクセルごとに書
き込まれる。書き込みが終了した第１フレームメモリ２
Ａの画像データは、ＣＲＴ１にラスタ走査順にピクセル
ごとに出力されるが、ＣＲＴ１に表示する際に以下のよ
うな輝度処理がＣＰＵ４Ａによって行われる。この輝度
処理は、前述した従来技術の問題点に鑑み、人間の視覚
において物体を遠くに遠ざけると、ピントが惚けたと視
認（視覚的に認識すること）されるのは、周りの輝度の
影響を受けて、その物体自体の色に変化を来すことによ
り惚けたと視認されているとの考え方に立ってなされる
ものである。

【００２３】すなわち、図２のような２次元画像を表示
する場合の任意のピクセルＯに着目すると、そのピクセ
ルＯの周りには隣接するピクセルＰ、Ｑ、Ｒ、Ｓ、Ｔ、
Ｕ、Ｖ、Ｗの８つのピクセルが存在する。そして、仮に
ピクセルＯの輝度が他のピクセルＰ、Ｑ、Ｒ、Ｓ、Ｔ、
Ｕ、Ｖ、Ｗより高かく、尚かつ、ピクセルＯは他のピク
セルＰ、Ｑ、Ｒ、Ｓ、Ｔ、Ｕ、Ｖ、Ｗより奥に存在する
場合、そのままテクスチャ画像メモリ４Ｂによって得ら
れる原データの輝度を使用し表示するとピクセルＯが最
も明るくなるから、まるでピクセルＯが最も手前にある
ような違和感を感じる。すなわち、奥に位置するピクセ
ルＯの輝度は必ず手前のピクセルの輝度の影響を受け
（輝度の平均化）、周りが明るければ、それに影響され
明るく、周りが暗ければそれに影響されて暗くなければ
ならない。

【００２４】以下、本願発明者が考え出した具体的な方
法について説明する。前述したように、任意のピクセル
Ｏに隣接するピクセルとしては８つ存在するが、その中
で輝度の影響を受ける最も近接した上下左右のピクセル
Ｑ、Ｓ、Ｕ、Ｗの４つの（＝Ｎ−１）ピクセルを考慮す
る。（図３参照）

【００２５】そして、ピクセルＯの原データによる輝度
をａ、ピクセルＱの輝度をｂ、ピクセルＳの輝度をｃ、
ピクセルＵの輝度をｄ、ピクセルＷの輝度をｅとし、Ｃ
ＰＵ４Ａによって輝度処理されたピクセルＯの輝度をｐ
とする。また、投影面７に対する各ピクセルの奥行き情
報を記憶する第２Ｚバッフア３の奥行き値によって、隣
接するピクセルの輝度の影響を受ける度合い（階調）を
５段階に分け、ｋ＝１の時は最も周りの輝度影響を受
け、完全に平均値となるようにし、ｋ＝５の時をそのピ
クセルＯが投影面に位置して（ピントが合っている状
態）周りのピクセルの輝度影響を全く受けないと想定し
た。この考え方を式に表すと、ｐ＝（ａｋ＋ｂｍ＋ｃｍ＋ｄｍ＋ｅｍ）／５ただし、ｍ＝（５−ｋ）／４となる。上記計算をＣＰＵ４Ａを有する制御部４で行う
ことによって、輝度処理が行われる。本態様で説明した
例は一例であり本発明はこれに限定されるものではな
い。例えば、本発明は隣接するピクセルのうち最高輝度
と最低輝度の平均値をとり、この平均値の輝度と奥行き
値との差がある範囲のときは、何％その平均値に近づけ
るといったように予め定めて輝度処理することもでき
る。しかしながら、このような計算では前述した計算と
異なり「比較する」ことが必要となるから、プログラム
上での処理時間が遅くなる。したがって、本態様のよう
に単純計算で計算するようにした方が都合がよい。

【００２６】上記態様では、奥行き情報を有するメモリ
として、時間差で同じデータを格納するＺバッファ５、
第２Ｚバッファ３の２つを有するが、これは次のような
理由による。

【００２７】従来技術で説明し、図７に示すように、動
画では１秒間に５０から６０の画像をＣＲＴ１に表示さ
せることになるから、一つの画像の表示が終了すると直
ぐに次の画像データがＶＲＡＭ２からＣＲＴ１に出力で
きるよう準備しておく必要がある。したがって、ＶＲＡ
Ｍ２には２つのフレームメモリ２Ａ、２Ｂが必要となる
し、前述したような隠面処理を行う際に使用されるＺバ
ッファ５の奥行き情報は、例えば第１フレームメモリ２
Ａの書き込みに必要となる一方、第２フレームメモリ２
ＢからＣＲＴ１への出力に際してはその輝度処理のため
に、第２Ｚバッファ３が必要となる。

【００２８】第２フレームメモリ２ＢからのＣＲＴ１へ
の出力が終了した段階で、第２フレームメモリ２Ｂの情
報をリセットし、次の描画書き込みをＣＰＵ４Ａが指令
するとともに、第１フレームメモリ２Ａの情報のＣＲＴ
１への出力が開始される。この時の輝度処理に使用され
る奥行き情報は、先の第１フレームメモリ２Ａの描画書
き込みに使用されたＺバッファ５のデータをそのまま使
用しても良いし、Ｚバッファ５のデータを第２Ｚバッフ
ァ３に移しても良い。データを移した場合は、バッファ
３のデータはリセットされ、次の第２フレームメモリ２
Ｂの書き込むピクセルの奥行き情報を記憶させ、ＶＲＡ
Ｍ２への書き込み用として使用される。

【００２９】ところで、図４のフローに示すように、輝
度処理をＶＲＡＭ２への書き込みの段階ではなく、ＶＲ
ＡＭ２からＣＲＴ１へ出力する段階で行うこととしてい
るのは、輝度処理をＶＲＡＭ２への書き込む段階で行う
と、描画性能に悪影響を与えるためである。本態様で
は、ＶＲＡＭ２からＣＲＴ１への出力時に輝度処理を行
うようにして、描画とは全く独立して行えるので描画性
能に影響を与えない。また、処理すべきピクセルが画像
の境界部分に相当するときでも、前記出力時であれば容
易に上述した輝度処理（フィルター処理）をすることか
可能である。

【００３０】ところで、輝度処理をＶＲＡＭ２への書き
込む段階で行うと、描画性能に悪影響を与える理由は、
次のような理由による。第１に、上述した場合のよう
に、一つのピクセルを輝度処理するには周りの４ピクセ
ルと輝度などと比較する必要があり、結果的に実質的な
描画ユニットによるＶＲＡＭ２への書き込み処理は、一
つのピクセル情報を書き込むのに５つのピクセル情報を
処理しなければならないから描画時間がかかってしま
い、前述したような１／６０秒や１／５０秒でＶＲＡＭ
２への書き込みを終了するのが困難になる。

【００３１】また、図３に示すように奥のテクスチャ画
像を順次読み出し、手前側のテクスチャ画像が重なった
時に手前の画像情報を優先する隠面処理をした場合、あ
るテクスチャ画像から読み出される奥のピクセル（例え
ばＯ）の輝度処理をするためには、手前のピクセル情報
（Ｕ、Ｑ、Ｗ、Ｓ）を必要とすることがある。このよう
な時には、ＶＲＡＭ２への描画ユニット４Ｃの処理が終
わった段階でないと前記奥のピクセルの輝度処理は行え
ない問題がある。

【００３２】ところで、ＶＲＡＭ２からＣＲＴ１への出
力時は、ＶＲＡＭ２の情報をＣＲＴ１に単に移すだけで
あるので、比較的余裕があり、この余裕のある処理時を
利用したのが本発明である。

【００３３】

【発明の効果】請求項１の方法を採用する本願発明によ
れば、至って簡単にリアルタイムで遠近感のある画像を
得ることが可能となる。

【００３４】請求項２のように輝度処理を行うことによ
り、輝度処理が短時間で行え、例えば、画像の１フレー
ムの再現時間（１／５０〜１／６０秒）が短い動画にお
いても適用可能である。

【００３５】また、請求項３のように、輝度処理する工
程を、第１記憶部から表示画面に表示の画像データが送
られる間に、前記画像データを処理するようにしている
から、効率的な処理が可能となる。請求項４の画像処理
装置によれば、遠近感のある画像を表現することが可能
となる。

【００３６】

【図面の簡単な説明】

【図１】本発明の一態様を説明するための画像処理装置
を示すブロック図である。

【図２】前記態様の原理を説明する説明図である。

【図３】前記態様の原理を説明する説明図である。

【図４】前記態様の工程フロー図である。

【図５】従来の画像処理装置を示すブロック図である。

【図６】従来の工程フロー図である。

【図７】従来の動画における表示および描写のタイミン
グチャートである。

【符号の説明】

１ＣＲＴ２ＶＲＡＭ３第２Ｚバッファ４制御部

Claims

【特許請求の範囲】

【請求項１】格子状の複数のピクセルによりなる画像
データを第１記憶部に記憶し、その第１記憶部から前記
画像データを表示画面に出力して表示する画像処理方法
であって、前記複数のピクセルのうちの任意のピクセルの輝度が、
当該ピクセルの奥行き情報に基づき、前記ピクセルと隣
り合う少なくとも一つのピクセルの輝度に適宜近づける
ように制御部で処理することを特徴とする画像処理方
法。
【請求項２】前記任意のピクセルの輝度ｐは、当該ピ
クセルの原データによる輝度ａと、そのピクセルと隣り
合うＮ個のピクセルの輝度ｂ、ｃ、・・、ｉと、前記任
意のピクセルの奥行き値ｋとから表され、ｐ＝（ａｋ＋ｂｍ＋・・＋ｉｍ）／Ｎ（但し、ｍ＝（Ｎ−ｋ）／（Ｎ−１））の計算処理を前
記制御部で行うことを特徴とする請求項１に記載の画像
処理方法。
【請求項３】前記第１記憶部の画像データを表示画面
に出力後、前記表示画面に表示される前に、前記ピクセ
ルの輝度を制御部で処理し、その処理した輝度で表示画
面を生成することを特徴とする請求項１または２に記載
の画像処理方法。
【請求項４】表示画面に表示するための画像データを
記憶する第１記憶部と、当該第１記憶部に記憶された図
形の各ピクセル毎の奥行き情報を記憶する第２記憶部
と、当該第２記憶部の前記任意のピクセルの奥行き情報
に基づき、前記ピクセルの輝度をそれと隣り合う少なく
とも一つのピクセルの輝度に適宜近づける制御部とを備
えた画像処理装置。