JP3554477B2

JP3554477B2 - 画像編集装置

Info

Publication number: JP3554477B2
Application number: JP35820197A
Authority: JP
Inventors: 潔金子
Original assignee: 株式会社ハドソン
Priority date: 1997-12-25
Filing date: 1997-12-25
Publication date: 2004-08-18
Anticipated expiration: 2017-12-25
Also published as: KR100387634B1; JPH11191161A; KR20010033382A; TW407237B; CA2315044A1; EP1049048A1; WO1999034334A1; CN1283292A

Description

【０００１】
【発明の属する技術分野】
本発明は画像編集装置に関し、更に詳しくは通信回線又はメモリ，ビデオディスク等の画像記憶媒体を介して提供される画像データを表示画面に出力する画像編集装置に関する。
この種の画像編集装置はパーソナルコンピュータ、２Ｄ／３ＤＣＧ方式によるゲーム装置等に利用して好適である。
【０００２】
【従来の技術】
図１４は従来技術を説明する図で、従来のゲーム装置の構成を示している。
図において、１はゲーム装置の主制御，処理を行うＣＰＵ、２はＣＰＵ１が使用するＲＡＭ，ＲＯＭ，ＨＤＤ等からなる主メモリ（ＭＭ）、３は各種制御キーや十字キー，マウス，ジョイスティック等の位置入力手段を備える操作部、４はゲーム装置本体に対して着脱自在に設けられ、かつゲームプログラム（処理手順，画像データ等）を記憶しているＲＯＭ，ＣＤ−ＲＯＭ等からなる外部メモリ、５は複数プレーン分のフレームメモリを備えるフレームメモリ部、５１は主にユーザの操作対象ではない背景等の画像データを記憶するフレームメモリ、５２は主にユーザの操作対象である主人公や物体（レースカ−，戦闘機，その他のアイテム等）の画像データを記憶するフレームメモリ、５３は主に表示画面にスーパインポーズするための主人公の話し言葉や松明等の周囲の暗闇等からなる画面編集目的の画像データを記憶するフレームメモリ、６はフレームメモリ５１〜５３の各画像データＰＤ１〜ＰＤ３を合成する画像データ合成部、７はＣＲＴやＬＣＤ等からなる表示部（ＤＩＳＰ）、７１はその表示画面、８は表示画面７１の表示制御（Ｖ，Ｈ）に同期して画像データの読出アドレス（Ｘ，Ｙ）や必要なタイミング信号（画素クロック信号ＧＣＫ等）を生成する表示制御部、そして、９はＣＰＵ１の共通バスである。なお、画像データとしてはモノクロ画像又はカラー画像のデータを扱える。
【０００３】
図１４は主人公が松明等を手に持って洞窟内を探検している１シーンを表している。なお、背景（洞窟）を画面に固定して主人公を移動させるか、又は主人公を画面に固定して背景を移動（パン）させるかはゲームの作り方の範疇であり、いずれでも良い。ここでは背景を画面に固定して主人公を移動させる場合を説明する。
【０００４】
ＣＰＵ１は、ゲームの進行に伴い、外部メモリ４から洞窟の画像データ（２ＤＣＧ）を読み出し、これをフレームメモリ５１に書き込む。次に主人公の画像データを読み出し、これをフレームメモリ５２の座標Ｑ（ｘ，ｙ）の回りに展開する。座標Ｑ（ｘ，ｙ）は、操作部３により移動制御される主人公の画面７１における現在位置の座標である。次に暗闇パターンの画像データを読み出し、これをフレームメモリ５３の座標ｍ（ｘ，ｙ）の回りに展開する。座標ｍ（ｘ，ｙ）は主人公と共に移動する松明（炎）の中心の画面７１における現在位置の座標である。なお、このシーンの洞窟及び主人公の各画像データは幾分暗い明るさで形成されている。また、暗闇パターンの画像データは座標ｍ（ｘ，ｙ）を中心とする半径ｒの円Ｒの内側が透明で、かつ外側は暗闇（黒）となっている。
【０００５】
画像データ合成部６はフレームメモリ５１〜５３の各画像データＰＤ１〜ＰＤ３を画素毎に重ね合わせ処理することで合成データＣＤを生成する。具体的に言うと、画像データ合成部６は、表示アドレス（Ｘ，Ｙ）の進行に伴い、共通のＸＹアドレスより画素データｐｄ_１〜ｐｄ_３を一斉に読み出す。そして、画素データｐｄ_２≠０（主人公と重なる位置）の場合は背景の画素データｐｄ_１を主人公の画素データｐｄ_２で置換し、また画素データｐｄ_３≠０（暗闇と重なる位置）の場合は背景又は主人公の画素データｐｄ_１／ｐｄ_２を暗闇の画素データｐｄ_３で置換する。係る合成処理により、全体としては、松明の周囲は比較的明るく、その部分の洞窟や主人公は見えるが、その外側は暗闇となって何も見えない様な合成画像データＣＤが得られ、これが画面７１に表示される。
【０００６】
ところで、この種のゲームプログラムでは、ユーザはキー操作により主人公をどの方向にでも移動できる。従って、ゲーム装置は画面上の主人公及び暗闇パターンをユーザのキー操作に従って移動させる必要がある。今、主人公が例えば画面の右側に移動させられたとすると、ＣＰＵ１はフレームメモリ５２の主人公を該メモリの右側に移動（又は再展開）し、かつフレームメモリ５３の暗闇パターンを該メモリの右側に移動（再展開）する。その結果、次の画面では主人公及び松明で照らされる部分の画像が画面の右側に移動している。
【０００７】
従って、このシーンでは、外部メモリ４は、１画面分の洞窟の画像データと、松明を持った主人公の部分の画像データと、暗闇パターンの画像データ（但し、暗闇パターンは移動するので１画面分より大きい）とを記憶していれば良く、少ない原画数で、ユーザ操作により不規則に変化するような様々な画面を効率良く、高速に生成できる。またゲームメーカの原画制作の負担も軽減される。
【０００８】
【発明が解決しようとする課題】
しかし、上記従来方式によると、ゲーム装置はフレームメモリを３画面分備える必要があり、装置のコストアップとなる。特に、カラー画像ではモノクロの３倍程度のメモリ容量が必要となり、フレームメモリ１画面分とは言えども、無視できない。
【０００９】
また、ゲームメーカはシーンに応じて様々な編集パターンの原画を用意する必要があり、これが負担となる。また、その分外部メモリ４の記憶スペースも圧迫される。
また、ＣＰＵ１はユーザ操作に応じてその都度２画面分の画像データＰＤ２，ＰＤ３を再処理する必要があり、処理負担が大きい。
【００１０】
本発明は上記従来技術の問題点に鑑み成されたもので、その目的とする所は、簡単な構成で出力の画像データを所望に編集できる画像編集装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記の課題は例えば図５の構成により解決される。即ち、本発明（１）の画像編集装置は、出力の画像データを記憶するフレームメモリ５と、該フレームメモリからの読出データを画面上に表示する表示装置７との間に介在して前記読出データに変更を加える画像編集装置であって、前記表示装置側の所定位置にセットされたビデオカメラ１１と、前記ビデオカメラにより撮影した対面のユーザの目の映像を画像解析し、上下まぶたの開き度合の情報と、白目を画する瞳の中心又は瞳孔の左右方向の位置情報とに基づきユーザの画面上における注視点座標Ｐ（ｘ，ｙ）を検出する注視点検出部１２と、前記画像データに対する出力ＸＹ平面への読出制御に同期して前記ＸＹアドレス空間上の前記検出された注視点座標Ｐ（ｘ，ｙ）を基準とする位置に所定の関数Ｈ（ｘ，ｙ）を生成する関数生成部と、前記生成された関数Ｈ（ｘ，ｙ）の値に基づき画面上の対応するアドレス空間の読出データに対して前記関数の値に対応する画像処理を行う画像データ処理部とを備えるものである。
【００１２】
本発明（１）によれば、基本的には、通常のレンダリング処理を終了した読出直前の画像データのＸＹ読出制御に同期して所望の位置に生成される関数Ｈ（ｘ，ｙ）の値に従って対応する出力画像データの画像処理をリアルタイムに行う簡単な構成により、出力画像の内の所望の領域の画像データを所望に画像処理できる。従って、従来必要であったような画像編集目的のフレームメモリを削除でき、装置のコストダウンとなる。また、ゲーム装置等では画像編集目的の原画を削除でき、その分外部メモリ４に余裕が生じると共に、原画の制作負担を軽減できる。また、予めＣＰＵ１がフレームメモリ上で画像編集目的の画像処理を行う必要もなく、ＣＰＵ１の処理負担が軽減される。
また本発明（１）では、上記所望の位置の指定方法として、ビデオカメラで撮影したユーザの目の映像を画像解析し、上下まぶたの開き度合の情報と、白目を画する瞳の中心又は瞳孔の左右方向の位置情報とに基づいてユーザの表示画面上における注視点座標Ｐ（ｘ，ｙ）を検出する構成を更に特徴とする。従って、ユーザを注視点検出のための専用のゴーグルやメガネを掛ける不快感から解放できると共に、ユーザの目の映像の簡単な画像解析処理によって表示画面上におけるユーザの注視点座標Ｐ（ｘ，ｙ）を能率良く検出できる。
【００１８】
また好ましくは本発明（２）においては、上記本発明（１）において、注視点検出部は、前記画像解析により検出された注視点座標Ｐ（ｘ，ｙ）に代えて、該画像解析により検出された注視点座標Ｐ（ｘ，ｙ）の近傍領域に、その一部又は全部が含まれる特定の画像を代表する基準点の座標Ｍ（ｘ，ｙ）を求め、これを注視点の座標Ｐ（ｘ，ｙ）とする。
本発明（２）によれば、図１において、今、ユーザが敵機Ｂを追撃している場合を考えると、係る状況（シーン）では、ゲームの運用上、ユーザの注目対象が敵機Ｂであることは明らかである。しかし、一般に敵機Ｂを追撃中のユーザは主に標的Ｂを眼で追うが、同時に他の状況（他の戦闘機，照準器，計器類等）にも頻繁に目を配るため、ゲーム装置としては、むしろ領域Ｒを当面の敵機Ｂにロックさせ、常に中心の敵機Ｂ及びその周辺の画像のみを明瞭に表示することが好ましい場合がある。
【００１９】
しかるに、特に視線検出による場合は、実際上どの時点の視線（注視点）を基にして領
域Ｒをロックさせて良いかの分からない。またユーザは追撃中も敵機Ｂの中心を凝視しているとは限らず、その近傍を見ているかも知れない。
そこで、本発明（２）においては、注視点検出部は、前記画像解析により検出された注視点座標Ｐ（ｘ，ｙ）に代えて、該画像解析により検出された注視点座標Ｐ（ｘ，ｙ）の近傍領域に、その一部又は全部が含まれる特定の画像（敵機）Ｂを代表する基準点の座標Ｍ（ｘ，ｙ）を求め、これを注視点の座標Ｐ（ｘ，ｙ）とした。
【００２０】
なお、どの時点の視線（注視点）座標Ｐ（ｘ，ｙ）を基にして領域Ｒをロックさせるかについてはゲーム運用等との関係で色々と考えられる。例えば、ゲーム装置（ゲームプログラム）が、常時注視点Ｐの所定の近傍領域にゲームの運用上重要となるような特定の画像（この例では敵機Ｂ）の一部又は全部が含まれるか否かを監視すると共に、もし含まれることを検出した場合（即ち、ゲームプログラムで通常用いられる様な当たり判定が得られた場合）には、この時点に、領域Ｒを生成するための座標Ｐ（ｘ，ｙ）を敵機Ｂの基準点の座標Ｍ（ｘ，ｙ）にロックさせる。ロック後は、注視点Ｐが敵機Ｂから外れても、領域Ｒは既に敵機Ｂにロックされており、よって明視領域Ｒは敵機Ｂと共にリアルタイムに移動する。因みに、このロックは予めゲームプログラムで規定される特定のイベント（敵機Ｂの撃墜等）の発生又はユーザのアンロック操作等により解除される。
【００２１】
又は、上記ユーザの注視点Ｐの座標とは無関係に、ゲームストーリの流れ従い、予めゲームプログラムで定められた特定の主人公又は物の基準座標Ｍ（ｘ，ｙ）に次々と領域Ｒの基準座標Ｐ（ｘ，ｙ）を自動的にロックさせる様に構成しても良い。こうすれば、ユーザの注目は例えば次々に明瞭に表示される様な主人公や物へと自然と引きつけられ、ゲームをよりダイナミックかつ印象的に展開（誘導）できる。なお、後者の制御は、上記本発明（１）にいおて、関数発生部が出力ＸＹアドレス空間上の所望の位置（例えばゲームプログラムから次々と与えられる位置）に所定の関数Ｈ（ｘ，ｙ）を生成することにより容易に実現される。
【００２２】
また好ましくは本発明（３）においては、上記本発明（１）において、注視点検出部は、予めユーザの視線を表示画面上の所定位置に凝視させて検出した上下まぶたの開き度合の情報及び白目を画する瞳の中心又は瞳孔の左右方向の位置情報を基準とすると共に、該基準情報からの相違の情報に基づいて画面上の注視点座標Ｐ（ｘ，ｙ）を検出する。従って、注視点検出部をユーザ毎に能率良く校正できる。
【００２４】
【発明の実施の形態】
以下、添付図面に従って本発明に好適なる複数の実施の形態を詳細に説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。
図２は第１の実施の形態によるゲーム装置の構成を示す図で、上記図１４で述べたような暗闇パタ−ンの生成及びその重合わせ処理を装置内部で自動的に行う場合を示している。
【００２５】
図において、１０Ａは第１の実施の形態における画像データ編集部（図１の画像データ処理部３０及び関数生成部４０に相当）である。他の構成は図１４で述べたものと同様で良い。但し、フレームメモリ部５からは暗闇パタ−ン等の画像編集目的の画像データＰＤ３を記憶するためのフレームメモリ５３が削除されている。
【００２６】
ゲームの進行に伴い、ＣＰＵ１は外部メモリ４から読み出された洞窟の画像データ（２ＤＣＧ）をフレームメモリ５１に書き込む。またＣＰＵ１は外部メモリ４から読み出された松明を持つ主人公の画像データをフレームメモリ５２の操作部３の指示により制御される主人公の基準座標Ｑ（ｘ，ｙ）の周囲に展開する。なお、この場合の主人公はユーザのカーソル操作によって所望の方向に移動させられ、これに応じてＣＰＵ１はフレームメモリ５２における主人公（松明を含む）の画像データを対応する方向に移動させる。
【００２７】
この状態で、画像データ合成部６は、洞窟の画像データＰＤ１に主人公の画像データＰＤ２を画素毎に重ね合わせ、合成データＣＤを生成する。そして、画像データ編集部１０Ａは、ＣＰＵ１から提供される松明の座標ｍ（ｘ，ｙ）と、表示制御部８からの表示アドレス（Ｘ，Ｙ）とに基づき、所定の関数Ｈ_１（ｘ，ｙ）を生成すると共に、該関数Ｈ_１で定義される領域Ｒの内／外の合成データＣＤに対応する輝度補正（編集）を加え、補正後の画像データＨＤを生成する。この画像データＨＤは表示部７に入力され、その結果表示画面７１には図１４と同様のシーンが表示される。
【００２８】
図３，図４は第１の実施の形態における画像データ編集部を説明する図（１），（２）で、図３（Ａ）は画像データ編集部のブロック図を示している。
図において、１０Ａは第１の実施の形態における画像データ編集部、３４は制御入力の選択信号ＳＬ＝０／１に従い、データ入力の暗闇を表す黒画素データＢＫ又は前段の画像データ合成部６からの合成画素データｇを選択するデータセレクタ（ＳＥＬ）、３７ＡはＣＰＵ１からの松明の座標ｍ（ｘ，ｙ）と、表示制御部８からのＸ，Ｙ走査アドレスとに基づき、各Ｙ軸上におけるＸ軸上の領域判定に必要な閾値座標Ｘ_１，Ｘ_２をリアルタイムに生成するパラメータ生成部、３６は表示制御部８からの走査アドレスＸと前記閾値座標Ｘ_１，Ｘ_２との比較によりＸ軸上の領域判定を行うＸ判定部、ＣＭＰはコンパレータ、ＡはＡＮＤゲート回路である。なお、ここではパラメータ生成部３７ＡとＸ判定部３６とからなる回路が図１の関数生成部４０に相当する。
【００２９】
かかる構成により、表示画面７１の走査Ｘ，Ｙに同期して、所望の座標ｍ（ｘ，ｙ）の回りには関数Ｈ_１（ｘ，ｙ）に対応する領域Ｒがリアルタイムに生成され、かつ該領域Ｒの内／外の判定に基づき、合成画素データｇの輝度補正（編集）がリアルタイムに行われる。
図３（Ｂ）は関数Ｈ_１（ｘ，ｙ）の２次元生成イメージを示している。
【００３０】
画面７１に向かって左上を走査座標（Ｘ，Ｙ）の原点（０，０）とすると、走査線はＸ軸方向に向かって画素毎に高速で進み、第１行目（Ｙ＝０）の表示が終了すると、第２行目（Ｙ＝１）の表示を行う。以下、同様のことを繰り返す。パラメータ生成部３７Ａは、ＣＰＵ１から松明の座標ｍ（ｘ，ｙ）が入力すると、走査線Ｙの進行に伴い、各走査線Ｙ（例えば走査線Ｙ_ｎ）と座標ｍ（ｘ，ｙ）を中心とする半径ｒの円Ｒとが交差するＸ軸上の閾値座標（Ｘ_１，Ｘ_２）を以下の如く求める。
【００３１】
今、△ｘ＝Ｘ_２−ｘ，△ｙ＝Ｙ_ｎ−ｙとすると、△ｘ^２＋△ｙ^２＝ｒ^２の関係より、｜△ｘ｜＝√｛ｒ^２−（Ｙ_ｎ−ｙ）^２｝となる。ここで、松明の座標ｍ（ｘ，ｙ），半径ｒ，Ｙ走査線の座標Ｙ_ｎは夫々既知であるから、交差点のＸ座標Ｘ_１，Ｘ_２は次式の演算により求まる。
Ｘ_１＝ｘ−｜△ｘ｜＝ｘ−√｛ｒ^２−（Ｙ_ｎ−ｙ）^２｝
Ｘ_２＝ｘ＋｜△ｘ｜＝ｘ＋√｛ｒ^２−（Ｙ_ｎ−ｙ）^２｝
なお、√の中が負となる時は、その値は０（即ち、Ｘ_１，Ｘ_２＝ｘ）とする。こうしてパラメータ生成部３７Ａは、Ｙ走査線の進行に伴い、走査線Ｙ毎にＸ軸軸上の閾値座標（Ｘ_１，Ｘ_２）を順次生成する。
【００３２】
Ｘ判定部３６では、走査線のＸアドレスと、上記生成された閾値座標（Ｘ_１，Ｘ_２）とを比較しており、ＣＭＰ５はＸ＞Ｘ_１の時に出力信号Ｘ＞Ｘ_１＝１（ＨＩＧＨレベル）を出力し、またＣＭＰ４はＸ＜Ｘ_２の時に出力信号Ｘ＜Ｘ_２＝１を出力する。従って、ＡＮＤゲート回路Ａ２の出力信号ＳＬは、走査線Ｙ_ｎ上のＸアドレスが、Ｘ_１＜Ｘ＜Ｘ_２を満足する時のみＳＬ＝１となり、それ以外はＳＬ＝０となる。セレクタ３４は、ＳＬ＝１では入力の画素データｇを選択し、ＳＬ＝０では黒データＢＫを選択する。また図３（Ｂ）を見ると、各走査線Ｙ_ｉにつき、Ｘ_１＜Ｘ＜Ｘ_２を満足するのは円Ｒの内側のみであるから、結局、円Ｒの内側は透明の如く扱われ、入力の画素データｇはそのまま通過するが、円Ｒの外側は暗闇となり、入力の画素データｇは黒データＢＫにより置換される。
【００３３】
図４（Ａ）は関数Ｈ_１（ｘ，ｙ）の３次元イメージを示している。この例では関数Ｈ_１（ｘ，ｙ）の値（縦軸）は輝度の正規化補正係数０／１に相当する。
なお、関数Ｈ_１（ｘ，ｙ）の平面形状は上記の円Ｒに限らない。他に３角形、矩形（正方形，長方形）、台形、その他の多角形、楕円形等がハードウエア演算回路又はＤＳＰ等の演算によりリアルタイムに生成可能である。また、予め複数の関数を生成可能としておき、ＣＰＵ１からの指令で何れかの関数を選択使用するように構成しても良い。
【００３４】
また、ここでは関数Ｈ_１（ｘ，ｙ）の値が０／１となるような単純な例を示したが、後述の図８（Ａ），図９（Ａ）のＲＯＭ３８ａを使用することにより、任意の複雑な形状及び関数値を有するような関数Ｈ_２（ｘ，ｙ）をリアルタイムに容易に生成できる。従って、より自然に近い様な様々な態様の輝度補正が可能となる。
【００３５】
また、上記図３（Ａ）に示した如く、入力の画素データｇを黒データＢＫで置換する方法に代えて、入力の画素データｇに輝度補正データｈを乗算する方法が考えられる。この方法によると、暗闇の部分では入力の画素データｇ（ｘ，ｙ）に輝度補正データｈ_１（ｘ，ｙ）＝０が乗算され、出力の画素データｇ（ｘ，ｙ）＝０（黒）になる。また松明で照らされた部分については、入力の画素データｇ（ｘ，ｙ）に輝度補正データｈ_１（ｘ，ｙ）＝α（但し、この例では１）が乗算され、出力の画素データｇ（ｘ，ｙ）＝α・ｇ（ｘ，ｙ）となる。この場合に、α＞１の時は輝度が増し、α＜１の時は輝度が減少する。
【００３６】
図４（Ｂ）は画像データ編集部１０Ａにおける輝度補正のタイミングチャートを示している。ある走査線Ｙ_ｎの補正後の画像データＨＤ（Ｙ_ｎ）につき観察すると、Ｘ≦Ｘ_１の暗闇の区間では黒画素データＢＫが出力され、続くＸ_１＜Ｘ＜Ｘ_２の透明の区間では入力の画素データｇがそのまま出力され、続くＸ≧Ｘ_２の暗闇の区間では再び黒画素データＢＫが出力されている。
【００３７】
図５は第２の実施の形態によるゲーム装置の構成を示す図で、所望に生成した領域Ｒの内外の画像を明瞭に（フォーカス状態で）表示し、かつ外側の画像をぼかして（デフォーカス状態で）表示する場合を示している。
図において、１０Ｂは第２の実施の形態における画像データ編集部、１１はユーザの目の周囲を撮像可能なテレビ（ＣＣＤ）カメラ、１２はユーザの画面７１に対する注視点の位置を検出する注視点検出部である。他の構成は上記図２で述べたものと同様でよい。
【００３８】
ここでは、ゴルフプレイの１シーンが表示されている。フレームメモリ５１にはゴルフ場の背景画像データが記憶され、該背景には目標地点のグリーン、グリーン中央のホール、該ホールに立てられたフラッグ、グリーン周囲の丘、樹木、バンカー及び周囲の芝生等の画像が含まれている。一方、フレームメモリ５２にはユーザによる打撃（制御）対象のゴルフボールの画像が記憶される。なお、このシーンではユーザの注目対象は遠方のグリーン上にあり、グリーンまでの距離、途中斜面の傾斜の度合い等を推し量っている。また、このシーンではゲーム操作により、グリーンまでの距離や傾斜を見積もるためのスケール画像が呼び出されており、該スケール画像は一時的にフレームメモリ５２上に重ねて展開されている。
【００３９】
係る状況において、画面手前のユーザの両眼の画像がＣＣＤカメラ１１により読み取られ、注視点検出部１２に時々刻々と入力される。注視点検出部１２は両眼の画像解析により、表示画面７１上におけるユーザの注視点の座標Ｐ（ｘ，ｙ）を生成し、ＣＰＵ１に入力する。ＣＰＵ１は、ゲームの運用（シーン）情報に基づき、現在ユーザが注目している注視点Ｐ（ｘ，ｙ）の近傍にゲームの進行上の重要な要素であるグリーンが含まれることを検出し、予めゲームで定められた方法により、ユーザの注視点はグリーン上のホールであると判定する。これにより、ＣＰＵ１はホールの座標Ｑ（ｘ，ｙ）を割り出し、これを画像データ編集部１０Ｂに入力する。
【００４０】
画像データ編集部１０Ｂは、ＣＰＵ１からのホールの座標Ｑ（ｘ，ｙ）と、表示制御部８からの表示アドレス（Ｘ，Ｙ）とに基づき、座標Ｑ（ｘ，ｙ）を基準として所定の関数Ｈ_２（ｘ，ｙ）を生成し、これによりフレームメモリ５１の背景データＰＤ１に補正（編集）を加え、補正後の画像データＨＤを出力する。そして、画像データ合成部６は画像データ編集部１０Ｂの出力の画像データＨＤにフレームメモリ５２の画像データＰＤ２を合成し、合成データＣＤを表示部７に出力する。その結果、表示画面７１では、ユーザが注目しているホール付近（領域Ｒ内）の画像は鮮明に表示され、かつその外側（領域Ｒ外）の画像（周囲のバンカー，手前側のゴルフボール等）はぼかされて表示される。
【００４１】
なお、ユーザが表示画面７１の下側を注視すると、ＣＰＵ１はその注視点の検出座標Ｐ（ｘ，ｙ）に基づきユーザがゴルフボールを注視していると判定し、ゴルフボールの座標Ｑ（ｘ，ｙ）を出力する。これにより、表示画面７１ではユーザが注目しているゴルフボ−ル付近（領域Ｒ内）の画像は鮮明に表示され、その外側（ホール付近等）の画像はぼかされて表示される。
【００４２】
以上のことは、ユーザが実際にゴルフ場でプレイしているのと同様の状況｛即ち、注視点付近の画像は人の眼に鮮明に写り、それ以外の画像はぼやけて写る（感じる）状況｝をより忠実に表現しており、よってゲームの臨場感が大幅に改善される。
ところで、人の眼の注視点方向を検出する方法としては、例えば専用のゴーグルを被り、ゴーグル内で瞳に向けて射出された特定波長（赤外線等）の１又は２以上の光線が瞳の視線方向に応じて対応する方向に反射されるのを１又は２以上の受光素子で捕らえ、よって瞳の視線方向を正確に検出できる様々な方法が既に知られている。本第２の実施の形態でもこれら公知の様な方法（装置）を利用できることは言うまでもない。
【００４３】
しかし、本第２の実施の形態では、上記大まかな注視点の座標Ｐ（ｘ，ｙ）からゲーム運用上の特定の物体の座標Ｑ（ｘ，ｙ）を決定できるため、視線検出手段に高精度が要求されないこと、また専用のゴーグルやメガネを眼にかけることが一般には好まれないこと、等を考慮し、現在普及しつつある小型据え置き型のテレビ（ＣＣＤ）カメラを利用した簡易な注視点検出方法を説明する。
【００４４】
図６は第２の実施の形態における注視点検出部の動作を説明する図である。
図６（ｅ）はユーザが表示画面７１の中央を注視した時の両眼の画像を示している。なお、ゲームの開始時点等において、ユーザが注目する様なメッセージ又は画像を表示画面７１の中央に表示することで、ユーザの眼を容易に画面中央に向けさせることが可能である。
【００４５】
図において、ＣＣＤカメラ１１の撮像画像で見ると、ユーザの左眼Ｌは右側に、また右眼Ｒは左側に映っている。以下、この関係で説明を続ける。まず両眼の画像データに対する公知の基礎的な画像解析により、上下まぶた２１，２２、瞳２３、及び瞳孔２４を識別し、これらからユーザの視線方向に関する特徴情報を抽出する。なお、瞳孔は瞳（青や茶褐色等）の中にあるが、一段と濃い色（黒等）をしているので、識別可能である。但し、瞳孔を識別困難な場合には、瞳と同一サイズの円パターンを瞳の部分に重ねて生成し、該円の中心を求めてこれを瞳孔と見做しても良い。
【００４６】
一般に、人の瞳は左右の白目を明瞭に画しており、かつ瞳は左右には良く動くので、左右方向の検出は比較的容易に行える。一方、人の瞳は上下には余り動かず、上を見る時は、代わりに上まぶた２１が上側に見開かれ、また下を見る時は主に上まぶた２１が下側に閉じられる傾向にある。従って、上下まぶた２１，２２の開き具合を一つの目安にできる。
【００４７】
そこで、上下まぶた２１，２２を囲む様な矩形状の左右窓Ｗ_ｌ，Ｗ_ｒを生成し、画面７１の中央を見ている時の窓の高さＨ_ｍをまぶたの開き具合の基準とする。この場合に、両眼の開き具合が同程度なら、これらの平均値を取って高さＨ_ｍとしても良いし、また異なるなら左眼又は右眼のみの解析に基づいて注視点の検出を行っても良い。更に、左右窓Ｗ_ｌ，Ｗ_ｒ内における瞳孔２４（又は瞳２３の中心）の座標を求め、これを左右方向の基準座標Ｌ，Ｒとする。一般に眼の大きさ、左右眼の間隔、まぶたの開き具合等は人によって様々であるが、上記処理により個人差が取り除かれ、一応の基準が得られた。
【００４８】
図６（ｆ）はユーザが画面の右中央を注視した時の画像を示している。この時、まぶたの開き具合Ｈ_ｍは余り変わらず、かつ瞳孔２４の位置ｌ，ｒが図の右側に移動している。従って、ｈ_ｍ≒Ｈ_ｍ、かつｌ＞Ｌ及び又はｒ＞Ｒの判別によりユーザが画面７１の右中央を注視していると判別できる。
又は、画面７１における大まかな注視点の座標Ｐ（ｘ，ｙ）を以下の如く求められる。即ち、画面上の注視点のＸ座標ｘ＝ｘ_ｍ＋β（ｌ−Ｌ）又はｘ＝ｘ_ｍ＋β（ｒ−Ｒ）、Ｙ座標ｙ＝ｙ_ｍであり、ここで、（ｘ_ｍ，ｙ_ｍ）は画面７１の中点の座標、βは瞳孔２４の微小変位（ｌ−Ｌ）又は（ｒ−Ｒ）を画面上の注視点の位置に拡大するための係数である。なお、ユーザが右を見る時は左眼（画像ではＲ）の瞳孔２４が大きく右に動く傾向にあるので、Ｘ座標ｘ＝ｘ_ｍ＋β（ｒ−Ｒ）を採用すると、感度が良いと言える。
【００４９】
図６（ｄ）はユーザが画面の左中央を注視した時の画像を示しており、上記図６（ｆ）の逆と考えられる。なお、ユーザが左を見る時は右眼（画像ではＬ）の瞳孔２４が大きく左に動く傾向にあるので、Ｘ座標ｘ＝ｘ_ｍ＋β（ｌ−Ｌ）を採用すると、感度が良いと言える。
図６（ｂ）はユーザが画面の上中央を注視した時の画像を示している。この時、まぶたの開き具合はｈ_ｍ＞Ｈ_ｍの関係にあり、かつ瞳孔２４の横座標はＬ≒ｌ及び又はＲ≒ｒの関係にある。従って、ユーザが画面７１の上中央を注視していると判別できる。又は、注視点の座標Ｐ（ｘ，ｙ）を、Ｘ座標ｘ＝ｘ_ｍ、Ｙ座標ｙ＝ｙ_ｍ＋γ（ｈ_ｍ−Ｈ_ｍ）により求められる。ここで、γはまぶた２１，２２の開き具合の微小変位（ｈ_ｍ−Ｈ_ｍ）を画面上の注視点の位置に拡大するための係数である。図６（ｈ）はユーザが下中央を注視した時の画像を示しており、上記図６（ｂ）の逆と考えられる。
【００５０】
以下、上記の組み合わせにより、ユーザが画面７１の左上（ａ），右上（ｃ），左下（ｇ）又は右下（ｉ）を注視した時のおおまかな各注視点領域の判定が行える。又は各注視点の座標Ｐ（ｘ，ｙ）を求められる。ここで、注視点のＸ座標ｘ＝ｘ_ｍ±△ｘ，Ｙ座標ｙ＝ｙ_ｍ±△ｙである。
図７は第２の実施の形態における注視点検出処理のフローチャートである。
【００５１】
ゲームの実行中は適宜にこの処理に入力する。ステップＳ１では左右眼につき上下まぶた２１，２２で囲まれる領域の画像データを抽出する。上下まぶた２１，２２、瞳２３、瞳孔２４の識別は画像データに対する公知のエッジ検出処理及びパターン認識処理等により行える。ステップＳ２では上下まぶた２１，２２を包含する最小の矩形窓Ｗ_ｌ，Ｗ_ｒを生成する。ステップＳ３では矩形窓Ｗ_ｌ，Ｗ_ｒの高さｈ_ｌ，ｈ_ｒを求める。ステップＳ４では矩形窓Ｗ_ｌ，Ｗ_ｒにおける瞳孔２４（又は瞳２３の中心）の横座標ｘ_ｌ，ｘ_ｒを検出する。なお、瞳２３はまぶた２１，２２が半開きの状態であると、その全体を撮像できない。この場合は瞳２３の見えている部分（半円等）に公知の画像マッチング処理により瞳２３と同一サイズの円パターンをパターンマッチングさせ、その時の円パターンの中心を瞳孔２４と見做すことが可能である。
【００５２】
ステップＳ５ではゲームの運用モードが基準モードか否かにより処理分岐する。例えばゲームの開始時等に、ユーザに画面７１の中央を注視させている時は基準モードである。この場合はステップＳ６に進み、矩形窓Ｗ_ｌ，Ｗ_ｒの高さｈ_ｌ，ｈ_ｒをまぶたの基準の開口長Ｈ_ｍ（Ｈ_ｌ，Ｈ_ｒ）とする。ステップＳ７では瞳孔２４（又は瞳２３の中心）の横座標ｘ_ｌ，ｘ_ｒを基準の横座標Ｘ_ｌ，Ｘ_ｒとする。
【００５３】
又上記ステップＳ５の判別で基準モードでない場合はステップＳ８に進み、まぶたの開口の変位量△ｈ_ｌ＝ｈ_ｌ−Ｈ_ｌ，△ｈ_ｒ＝ｈ_ｒ−Ｈ_ｒを求める。ステップＳ９では瞳孔２４（又は瞳２３の中心）の変位量△ｘ_ｌ＝ｘ_ｌ−Ｘ_ｌ，△ｘ_ｒ＝ｘ_ｒ−Ｘ_ｒを求める。ステップＳ１０では画面７１上における注視点の座標Ｐ（ｘ，ｙ）を求める。なお、画面７１を９分割した何れかの領域を求める様に構成しても良い。
【００５４】
図８，図９は第２の実施の形態における画像データ編集部を説明する図（１），（２）で、図８（Ａ）は画像データ編集部のブロック図を示している。
図において、１０Ｂは第２の実施の形態における画像データ編集部、３１ａ〜３１ｃは画像データのフィルタ処理部、ＬＢ２は画像データのラインバッファ、３８は表示画面７１における補正領域Ｒ及び補正の強度を生成する補正関数生成部、（＋）は加算器、３８ａは予め入力のアドレス（Ｘ´，Ｙ´）に対応する位置に補正強度のデータ（選択信号）ＳＬが書き込まれているＲＯＭである。
【００５５】
フィルタ処理部３１は入力の画像データｇ´につき例えば中央の注目画素を含む９画素分の重み付け平均をとって補正後の画像データｈ_ｇを生成する。
挿入図（ａ）にフィルタ３１ｂの一例の演算マトリクス（フィルタ特性）を示す。注目画素を第２行第２列の画素とすると、周囲８つの画素との重み付け平均をとって注目画素の画素データｈ_ｇｂとする。一例の注目画素の重みつけは０．４４、かつ周囲８画素の重み付けの合計は０．５６であり、係る重み付けの合成によって注目画素ｈ_ｇｂの輝度や色は周囲８画素の影響を受け、ぼやかされる。
【００５６】
フィルタ処理部３１ｃは更に強いぼかし特性を有する。即ち、注目画素の重み付けは０．４４よりも小さく、かつ周囲８画素の重み付けの合計は０．５６よりも大きい。一方、フィルタ処理部３１ａは更に弱いぼかし特性を有する。即ち、注目画素の重み付けは０．４４よりも大きく、かつ周囲８画素の重み付けの合計は０．５６よりも小さい。
【００５７】
なお、上記フィルタ処理部３１が９画素分の平均値をとる結果、前段のフレームメモリ５１からは、少なくとも１ラインと１画素分の画素データｇ´をフィルタ処理部３１に先読みする必要がある。ラインバッファＬＢ２はこの入出力間の位相差を吸収するために設けられている。
図８（Ｂ）は補正関数発生部３８で生成される関数Ｈ_２（ｘ，ｙ）の２次元イメージを示している。走査線のアドレスがＹ行，Ｘ列の方向に順次走査されると、これに同期してＲＯＭ３８ａのアドレスはＹ´行，Ｘ´列の方向に順次走査される。今、ＲＯＭ３８ａのアドレスサイズを（Ｘ_ｍ´，Ｙ_ｍ´）、かつ画面７１における目標物（注視点）の座標をＱ（ｘ，ｙ）とすると、ＲＯＭ３８ａの上位アクセス開始アドレスＹ_ｂ＝ｙ−（Ｙｍ ´／２）、下位アクセス開始アドレスＸ_ｂ＝ｘ−（Ｘｍ ´／２）、ＲＯＭ３８ａの上位走査アドレスＹ´＝Ｙ−Ｙ_ｂ、下位走査アドレスＸ´＝Ｘ−Ｘ_ｂとなる。
【００５８】
一例の動作を具体的数値例で説明する。今、走査線のアドレスサイズ（Ｘ_ｍ，Ｙ_ｍ）＝（２００，１５０）、ＲＯＭ３８ａのアドレスサイズ（Ｘ_ｍ´，Ｙ_ｍ´）＝（５０，５０）、座標Ｑ（ｘ，ｙ）＝（１００，３０）とすると、ＲＯＭ３８ａの上位アクセス開始アドレスＹ_ｂ＝３０−２５＝５、下位アクセス開始アドレスＸ_ｂ＝１００−２５＝７５となり、かつＲＯＭ３８ａの上位走査アドレスＹ´＝Ｙ−５、下位走査アドレスＸ´＝Ｘ−７５の関係となる。
【００５９】
この状態で、今、あるフレームの走査アドレス（Ｘ，Ｙ）が（０，０）からスタートしたとすると、ＲＯＭ３８ａのＹ´軸については、走査アドレスＹ＝５となった時にＹ´＝０からＲＯＭ３８ａの上位アクセスが開始され、また走査アドレスＹ＝５４となった時にはＹ´＝４９から最終行の各補正データＳＬが読み出される。またＸ´軸については、走査アドレスＸ＝７５となった時にＸ´＝０からＲＯＭ３８ａの下位アクセスが開始され、また走査アドレスＸ＝１２４となった時にはＸ´＝４９から最終列の各補正データＳＬが読み出される。
【００６０】
なお、このＲＯＭ３８ａは０≦Ｘ´≦４９，かつ０≦Ｙ´≦４９で囲まれる領域以外のアドレス入力では出力データＳＬ＝０を出力するものとする。またＲＯＭ３８ａのアドレスサイズは一般にＸ_ｍ≠Ｙ_ｍで良い。
かくして、外部より座標Ｑ（ｘ，ｙ）を任意に指定するだけで、ＲＯＭ３８ａの読み出しエリア（Ｘ_ｍ´，Ｙ_ｍ´）を表示画面７１上のどの位置（一部はみ出しても良い）にでも容易に当てはめられる。
【００６１】
図９（Ａ）は関数Ｈ_２（ｘ，ｙ）の３次元イメージを示しており、ここで、縦軸はぼかし強度を表している。ＲＯＭ３８ａの読出データＳＬ＝０はセレクタ３４によって第３段階目（最大）のぼかし強度３に対応付けられており、この区間ではフィルタ補正後の画像データｈ_ｇｃが選択される。なお、ＲＯＭ３８ａが適正にアクセスされない時（即ち、ＲＯＭ３８ａのアクセス領域以外の時）の読出データＳＬ＝０であり、この場合もフィルタ補正後の画像データｈ_ｇｃが選択される。またＲＯＭ３８ａの読出データＳＬ＝１はセレクタ３４によって第２段階目のぼかし強度２に対応付けられており、この区間ではフィルタ補正後の画像データｈ_ｇｂが選択される。またＲＯＭ３８ａの読出データＳＬ＝２はセレクタ３４によって第１段階目（一番弱い）のぼかし強度１に対応付けられており、この区間ではフィルタ補正後の画像データｈ_ｇａが選択される。またＲＯＭ３８ａの読出データＳＬ＝３はセレクタ３４によってぼかし強度０（ぼかしの無い状態）に対応付けられており、この区間では入力の注目画素データｇがそのまま選択される。
【００６２】
従って、座標Ｑ（ｘ，ｙ）の周辺の画像は明瞭なコントラストを有し、かつその外側に向かうにつれて徐々にぼやける様な画像を容易にリアルタイムに生成できる。またＲＯＭ３８ａには予め任意領域形状及び関数値の関数Ｈ_２（ｘ，ｙ）を記憶できるから、より自然に近い様な様々な態様のぼかし補正が容易に可能となる。
【００６３】
なお、上記ＲＯＭ３８ａに代えて、ＲＡＭ３８ａを使用しても良い。この場合は、ゲームの進行に応じて、その都度ＣＰＵ１より様々な領域形状及び関数値の関数情報がＲＡＭ３８ａに記憶され、使用される。この場合に、領域は１つに限らず、例えば広目のＲＡＭ３８ａを設けることで同時に２以上の領域を生成できる。この点はＲＯＭ３８ａでも同様である。
【００６４】
また、上記生成関数Ｈ_２（ｘ，ｙ）と画像データのぼかし補正を行うフィルタ処理３１とを連動させる場合を述べたが、これに限らない。例えば領域Ｒ内の画像をレンズ効果の如く拡大させ又は縮小させたり、又は画像の明るさや色を変えたり、又は画像を回転させ又は位置をずらしたり、その他の様々な画像処理と連動させることが可能である。
【００６５】
図９（Ｂ）は画像データ編集部１０Ｂにおけるぼかし補正のタイミングチャートを示している。ある走査線Ｙ_ｎの補正後の画像データＨＤ（Ｙ_ｎ）につき観察すると、Ｘ≦Ｘ_ｂの外部区間ではフィルタ処理後の画素データｈ_ｇｃが出力され、続くＸ_ｂ＜Ｘ＜Ｘ_ｅの注視区間ではぼかし具合が徐々に減少して最終的には入力の画素データｇがそのまま出力され、続くＸ≧Ｘ_ｅの外部区間では再びフィルタ処理後の画素データｈ_ｇｃが出力されている。
【００６６】
図１０は第３の実施の形態によるゲーム装置の構成を示す図で、３ＤＣＧの画像データを処理する場合を示している。
図において、１３は公知のレンダリング処理部、１０Ｃは第３の実施の形態における画像データ編集部である。他の構成については上記図５で述べたものと同様で良い。
【００６７】
ここでは戦闘機によるバトルゲームの１シーンが表示されている。ＣＰＵ１は、ゲームの進行に伴い、外部メモリ４から３ＤＣＧのモデルデータ３ＤＭＤを順次読み出し、レンダング処理部１３に入力する。
図１１は第３の実施の形態におけるレンダング処理部の動作を説明する図である。レンダング処理部１３は、３Ｄ空間における戦闘機Ａ´，Ｂ´の基準座標Ａ´（ｘ，ｙ，ｚ），Ｂ´（ｘ，ｙ，ｚ）を基準として、戦闘機についての共通の形状モデルデータに基づき、戦闘機Ａ´，Ｂ´の３Ｄ画像を仮想空間に展開する。３Ｄ空間における戦闘機Ａ´，Ｂ´は共に同一サイズを有しているが、更にレンダング処理部１３は、戦闘機Ａ´，Ｂ´の３Ｄ画像をユーザの眼Ｌ，Ｒの方向に関して透視変換することにより、画面７１に表示するための２Ｄ画像を生成する。この２Ｄ画像の戦闘機Ａ，Ｂはユーザの側から見える部分の画素データのみからなり、ユーザからの距離に応じて、遠近感のある（即ち、異なるサイズの）戦闘機Ａ，Ｂの画像となっている。なお、画面７１には遠方にある戦闘機Ｃの画像が小さく描かれている。
【００６８】
図１２は第３の実施の形態における画像データ編集部の構成を示す図で、図において、１０Ｃは第３の実施の形態における画像データ編集部、３５は３Ｄ空間におけるＺ軸方向の領域判定を行うＺ判定部、３７Ｃはパラメータ生成部である。他の構成については上記図８（Ａ）のものと同様で良い。
画像データ編集部１０には、前段のレンダリング処理部１３より、２Ｄに透視変換された画素データｇ´と、該画素データｇ´の３Ｄ空間におけるＺ軸座標を表す奥行データｚ´とが入力される。画素データｇ´については上記第２の実施の形態で述べたと同様に複数種のフィルタ処理と、フィルタ処理しない処理（ラインバッファＬＢ２による遅延処理）とが平行して行われる。一方、入力の奥行データｚ´につては、画素データｇと処理位相を合わせるためにラインバッファＬＢ１により遅延され、奥行データｚとなる。以下、両データｇ，ｚの位相を基準として説明を続ける。
【００６９】
図１０に戻り、今、ユーザが画面中央の敵機Ｂを注視したとすると、注視点検出部１２はＣＣＤカメラ１１の両眼の撮像データを基にユーザの画面上における注視点の座標Ｐ（ｘ，ｙ）を生成し、これをＣＰＵ１に入力する。ＣＰＵ１はこの座標Ｐ（ｘ，ｙ）をレンダリング処理部１３に送出し、ユーザが注目している対象物（ゲームを構成する主要要素）の検索を依頼する。
【００７０】
レンダリング処理部１３は、座標Ｐ（ｘ，ｙ）の近傍領域の２Ｄ画像を調べ、該領域内に対象物の画像の一部又は全部が含まれるか否かを判別し、この例では敵機Ｂの一部が含まれることを検出する。そして、敵機Ｂの画面上における基準座標Ｂ（ｘ，ｙ）を抽出し、かつこれを基にして上記透視変換の逆の処理を行い、最終的に３Ｄ空間における敵機Ｂ´の基準座標Ｂ´（ｘ，ｙ，ｚ）を抽出する。そして、ＣＰＵ１には２Ｄ画面上の敵機Ｂの基準座標Ｂ（ｘ，ｙ）と、３Ｄ空間における敵機Ｂ´のＺ軸の基準座標Ｂ´（ｚ）とを返送する。これを受けたＣＰＵ１は、これらの座標Ｂ（ｘ，ｙ），Ｂ´（ｚ）を画像データ編集部１０Ｃに入力する。
【００７１】
図１２において、パラメータ生成部３７は入力の２Ｄ座標Ｂ（ｘ，ｙ）に基づき必要なパラメータを生成する。即ち、ＲＯＭ３８ａの上位アクセス開始アドレスＹ_ｂ＝ｙ−（Ｙｍ ´／２）、及び下位アクセス開始アドレスＸ_ｂ＝ｘ−（Ｘｍ ´／２）を夫々求める。また入力の３Ｄ座標Ｂ´（ｚ）に基づき３Ｄ空間におけるＺ軸領域判定のためのＺ軸上の下限閾値ｚ_１＝ｚ−△ｚ、及び上限閾値ｚ_２＝ｚ＋△ｚを夫々求める。ここで、ＲＯＭ３８ａのメモリサイス（Ｘｍ ´，Ｙｍ ´）及びＺ軸についての所定の奥行パラメータ△ｚはパラメータ生成部３７において既知である。なお、奥行パラメータ△ｚについてはＣＰＵ１から提供するようにしても良い。
【００７２】
Ｚ判定部３５において、コンパレータＣＭＰ２，３は各画素データｇに対応する奥行データｚと、閾値ｚ_１，ｚ_２とを比較しており、ｚ_１＜ｚ＜ｚ_２の時にはＡＮＤゲート回路Ａ１が満足され、この時、後述のＡＮＤゲート回路Ａ３（複数から成る）を付勢するための付勢信号Ｅ＝１を出力する。
一方、補正関数生成部３８の出力の選択信号ＳＬは、ＡＮＤゲート回路Ａ３において上記付勢信号Ｅによりゲートされており、付勢信号Ｅ＝１の時に有意な選択信号ＳＬがデータセレクタ３４に加えられる。従って、このセレクタ３４は、通常は、フィルタ処理部３１ｃの出力である最もぼやけた画素データｈ_ｇｃを選択しているが、Ｘ，Ｙ走査アドレスがＲＯＭ３８ａの読出領域に入っており、かつＺ判定部３５が所定のＺ領域内と判定した画素データについては、ＲＯＭ３８ａの出力の選択信号ＳＬに従い、２番目にぼやけた画素データｈ_ｇｂ〜原画素データｇの内の何れか一つを選択して出力する。
【００７３】
図１３は第３の実施の形態における画像データ編集部１０Ｃの動作を示すイメージ図である。上記前段において、ユーザの注視点の座標Ｐ（ｘ，ｙ）に基づき画面上の敵機Ｂの基準座標Ｂ（ｘ，ｙ）及び３Ｄ空間における敵機Ｂ´のＺ座標Ｂ´（ｚ）が夫々抽出された。画像データ編集部１０Ｃでは、補正関数生成部３８が入力の２Ｄ座標Ｂ（ｘ，ｙ）に基づき平面領域Ｒで示す様な形状の補正関数Ｈ_２（ｘ，ｙ）を生成する。この平面領域Ｒは、３Ｄ空間とは透視変換により関係づけられており、このためＺ軸方向の奥に行けば行く程領域Ｒが広がる様な円錐体（一定の視野角）の性質を持っている。
【００７４】
一方、Ｚ判定部３５はこの３Ｄ空間上に広がる円錐体の領域を敵機Ｂ´の前後のＺ軸上の閾値ｚ_１，ｚ_２で切断することで、図示のような空間領域φを画成している。その結果、この空間領域φ内の画像（敵機Ｂ）は明瞭に（フォーカスの状態で）表示され、またこの空間領域φ外の画像（敵機Ａ，Ｃ）はぼかして（デフォーカスの状態で）表示される。
【００７５】
ところで、この例では敵機Ａの一部（ノーズ部分）が画面領域Ｒの内側に含まれている。しかし、この部分の各画素データ（ｇ，ｚ）は、Ｚ判定部３５におけるｚ_１＜ｚ＜ｚ_２の条件を満足しないので、２Ｄ領域Ｒの内側に含まれていても、デフォーカスの状態で表示される。
以上のことは、ユーザが実際に３Ｄ空間の一点（敵機Ｂ´）を凝視した時の明視（フォーカス）領域と良く一致している。即ち、ユーザの明視領域は、一定の視野角で３Ｄ空間に広がっており、かつその奥行きに関しては、通常ｚ_１≦ｚ≦ｚ_２の範囲の像は明瞭にフォーカスされるが、ｚ＜ｚ_１及びｚ＞ｚ_２の範囲の像については眼がデフォーカスの状態にあり、ぼやけて見える（感じる）ものである。
【００７６】
なお、上記はユーザの注視点の検出座標Ｐ（ｘ，ｙ）を利用したが、ゲームによっては、ユーザが画面７１上で操作する照準器（カーソル等）を標的（敵機Ｂ）にロックさせる場合が考えられる。この場合は、上記注視点の検出座標Ｐ（ｘ，ｙ）を使用する代わりに、画面上の照準器（カーソル等）の座標Ｃ（ｘ，ｙ）を使用することが可能である。この場合はＣＣＤカメラ１１及び注視点検出部１２を省略できる。
【００７７】
また、上記各実施の形態では個人的に使用する通常のゲーム装置への適用例を述べたが、本発明はパーソナルコンピュータ等により実現されるゲーム装置やアーケード等に設置されるゲーム装置にも適用できる。この場合に、ゲームとしてはカーレース、シューティングゲーム、アドベンチャーゲーム、ロールプレーンゲーム、その他の様々なゲームに適用できることは言うまでも無い。
【００７８】
また、上記各実施の形態では表示装置（ＴＶ等も含まれる）への適用例を述べたが、本発明はプリンタやファクシミリ等の画像出力装置にも適用できる。
また、画像データはコンピュータグラフィックによるＣＧ画像データに限らず、スキャナやＴＶカメラ等で読み取った画像データにも適用できる。
また、上記本発明に好適なる複数の実施の形態を述べたが、本発明思想を逸脱しない範囲内で各部の構成、制御、及びこれらの組合せの様々な変更が行えることは言うまでも無い。
【００７９】
【発明の効果】
以上述べた如く本発明によれば、画像データのＸＹ読出制御に同期して所望の注視点位置に生成される関数Ｈ（ｘ，ｙ）の値に従って対応する出力画像データの画像処理をリアルタイムに行うと共に、ビデオカメラで撮影したユーザの目の映像を画像解析し、上下まぶたの開き度合の情報と、白目を画する瞳の中心又は瞳孔の左右方向の位置情報とに基づいてユーザの表示画面上における注視点座標Ｐ（ｘ，ｙ）を検出する構成により、ユーザを注視点検出のための専用のゴーグルやメガネを掛ける不快感から解放できると共に、ユーザの目の映像の簡単な画像解析処理によって表示画面上におけるユーザの注視点座標Ｐ（ｘ，ｙ）を能率良く検出できる。
【図面の簡単な説明】
【図１】本発明の原理を説明する図である。
【図２】第１の実施の形態によるゲーム装置の構成を示す図である。
【図３】第１の実施の形態における画像データ編集部を説明する図（１）である。
【図４】第１の実施の形態における画像データ編集部を説明する図（２）である。
【図５】第２の実施の形態によるゲーム装置の構成を示す図である。
【図６】第２の実施の形態における注視点検出部の動作を説明する図である。
【図７】第２の実施の形態における注視点検出処理のフローチャートである。
【図８】第２の実施の形態における画像データ編集部を説明する図（１）である。
【図９】第２の実施の形態における画像データ編集部を説明する図（２）である。
【図１０】第３の実施の形態によるゲーム装置の構成を示す図である。
【図１１】第３の実施の形態におけるレンダング処理部の動作を説明する図である。
【図１２】第３の実施の形態における画像データ編集部の構成を示す図である。
【図１３】第３の実施の形態における画像データ編集部の動作を示すイメージ図である。
【図１４】従来技術を説明する図である。
【符号の説明】
１ＣＰＵ
２主メモリ（ＭＭ）
３操作部
４外部メモリ
５フレームメモリ部
６画像データ合成部
７表示部（ＤＩＳＰ）
８表示制御部
９共通バス
１０画像データ編集部
１１テレビ（ＣＣＤ）カメラ
１２注視点検出部
１３レンダリング処理部
３１フィルタ処理部
３４データセレクタ（ＳＥＬ）
３５Ｚ判定部
３６Ｘ判定部
３７パラメータ生成部
３８補正関数生成部
３８ａＲＯＭ

Claims

出力の画像データを記憶するフレームメモリと、該フレームメモリからの読出データを画面上に表示する表示装置との間に介在して前記読出データに変更を加える画像編集装置であって、
前記表示装置側の所定位置にセットされたビデオカメラと、
前記ビデオカメラにより撮影した対面のユーザの目の映像を画像解析し、上下まぶたの開き度合の情報と、白目を画する瞳の中心又は瞳孔の左右方向の位置情報とに基づきユーザの画面上における注視点座標Ｐ（ｘ，ｙ）を検出する注視点検出部と、
前記画像データに対する出力ＸＹ平面への読出制御に同期して前記ＸＹアドレス空間上の前記検出された注視点座標Ｐ（ｘ，ｙ）を基準とする位置に所定の関数Ｈ（ｘ，ｙ）を生成する関数生成部と、
前記生成された関数Ｈ（ｘ，ｙ）の値に基づき画面上の対応するアドレス空間の読出データに対して前記関数の値に対応する画像処理を行う画像データ処理部とを備えることを特徴とする画像編集装置。
注視点検出部は、前記画像解析により検出された注視点座標Ｐ（ｘ，ｙ）に代えて、該画像解析により検出された注視点座標Ｐ（ｘ，ｙ）の近傍領域に、その一部又は全部が含まれる特定の画像を代表する基準点の座標Ｍ（ｘ，ｙ）を求め、これを注視点の座標Ｐ（ｘ，ｙ）とすることを特徴とする請求項１記載の画像編集装置。
注視点検出部は、予めユーザの視線を表示画面上の所定位置に凝視させて検出した上下まぶたの開き度合の情報及び白目を画する瞳の中心又は瞳孔の左右方向の位置情報を基準とすると共に、該基準情報からの相違の情報に基づいて画面上の注視点座標Ｐ（ｘ，ｙ）を検出することを特徴とする請求項１記載の画像編集装置。