JP4111834B2 - 画像生成方法および装置 - Google Patents

画像生成方法および装置 Download PDF

Info

Publication number
JP4111834B2
JP4111834B2 JP2003001327A JP2003001327A JP4111834B2 JP 4111834 B2 JP4111834 B2 JP 4111834B2 JP 2003001327 A JP2003001327 A JP 2003001327A JP 2003001327 A JP2003001327 A JP 2003001327A JP 4111834 B2 JP4111834 B2 JP 4111834B2
Authority
JP
Japan
Prior art keywords
image
scale
range
unit
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003001327A
Other languages
English (en)
Other versions
JP2004264879A (ja
Inventor
正昭 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2003001327A priority Critical patent/JP4111834B2/ja
Priority to US10/753,922 priority patent/US7397971B2/en
Priority to PCT/JP2004/000047 priority patent/WO2004061549A2/en
Publication of JP2004264879A publication Critical patent/JP2004264879A/ja
Application granted granted Critical
Publication of JP4111834B2 publication Critical patent/JP4111834B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Instructional Devices (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像生成技術に関する。特に、複数の画像の合成をもとにした画像生成方法および装置に関する。
【0002】
【従来の技術】
PC等におけるソフトウエアとして、あるいはインターネットでのサービスとして、デジタル化された地図画像を表示装置上に表示する技術が知られている。一般に、地図画像は、縮尺の複数の離散的な値に対して用意され、それら複数の地図画像のうちのひとつが随時表示される。
【0003】
【発明が解決しようとする課題】
縮尺が変更され、表示装置上に表示された地図画像が変更されると、ユーザは注目している対象物を見失ったり、表示された地域を把握するのにある程度時間を要したりする場合がある。その意味では、地図画像の縮尺を変更する際、表示される地図画像がスムーズに切り替えられることが望ましい。
表示された画像のスムーズな切替は、デジタル化された地図画像だけでなく、たとえばゲームのようなアプリケーションにおいて風景等を描く際にも要求される。ゲームでは一般に、オブジェクトの三次元データが予め準備され、画像の表示倍率や視点位置の変更に応じて画像を再レンダリングし、スムーズな画像の変更または切替を実現している。しかし、視点の動きのはげしさや表示すべきオブジェクトの数や複雑度によっては、再レンダリングに要する計算量が非常に大きくなる。また、多数のオブジェクトの三次元データを格納するメモリ容量の大きさが問題になることもある。したがって、ゲームその他で利用されるCG画像においても、一般的な課題として、スムーズな画像の変更には、技術的に改善の余地がある。
【0004】
本発明はこうした事情に鑑みてなされたものであり、その目的は表示されている画像をスムーズに変更する技術の提供である。
【0005】
【課題を解決するための手段】
本発明のある態様は、画像生成装置に関する。この装置は、表示すべき画像に関する所定のパラメータの値を入力する第1入力部と、各々にパラメータが定義された複数の原画像を入力する第2入力部と、複数の原画像のパラメータの値どうしを一致させるよう複数の原画像に所定の変換処理を施して複数の原画像からそれぞれ中間画像を生成し、生成された複数の中間画像において対応しあう領域が、例えば同一に位置に、重なるようこれらを合成して最終画像を出力する画像生成部とを含む。この構成にて、画像生成部は、最終画像におけるパラメータの値が表示すべき画像に関して入力されたパラメータの値に一致するよう処理を施す。
【0006】
ここでパラメータとは、たとえば、
1.画像の縮尺など表示される画像の大きさに関するもの
2.画像を見込む視点位置や視線方向、画角など、表示される画像に含まれるべき空間に関するもの
3.画像を構成する画素の色の平均値、画像に含まれる高周波成分の量など、表示される画像の外観に関するもの
4.画像を撮影した時刻など、表示される画像の時間に関するもの
などを含み、表示される画像の内容に影響する任意の属性であればよい。また、パラメータは二次元画像に関するものでもよいし、三次元空間から二次元画像を生成する際に参照されるべきものでもよい。
【0007】
画像生成部は、原画像のパラメータの値が表示すべき画像のパラメータの値に近いほど、当該原画像から生成される中間画像の割合を大きくするとともに、情報の詳細度レベルに関しても中間的な表示がされる形で、複数の中間画像を混合してもよい。その場合、パラメータの値の変化に伴って対象物が徐々に出現したり、消失したりする表示も可能になる。
【0008】
本発明の別の態様も、画像生成装置に関する。この装置は、画像を画面に表示する際、当該画面に表示すべき前記画像の範囲の指示を入力する入力部と、範囲が連続的に移動していく際、その移動と同時に範囲の大きさ自体が変化する場合にも画面上に表示されている画像の画面上での移動速度が保持されるよう刻々表示内容を更新する更新部とを含む。「画像の範囲の指示」は、その範囲の大きさに関する指示だけでなく、その範囲の移動に関する指示も含み、それらの組み合わせ指示も含む。
【0009】
本発明のさらに別の態様は、画像生成方法に関する。この方法は、情報の詳細度レベルが異なる複数の原画像を予め準備し、それら原画像を合成することによって目的の画像を生成する際、それら原画像のうち、より詳細度レベルの高い情報を有するものに含まれる情報が目的の画像に現れる形にて処理をなす。合成の際、予め複数の原画像の位置合わせをしてもよい。
「詳細度レベル」は画像に含まれる対象物の形状や表現色数、対象物に付属するテキストデータの有無や内容などについて定めてもよい。「情報が目的の画像に現れる形」とは、その情報を100%表示したり、合成の度合いに応じて薄く表示したり、合成の度合いとは関係なく、一定の濃さや色で表示するなど、いろいろな方法によって実現できる。
【0010】
本発明のさらに別の態様は、画像生成方法に関する。この方法は、オブジェクトを仮想空間内で移動させる際、当該仮想空間が画面上にて描かれる、たとえば縮尺が変わるといった、態様の変化があった場合であっても、その態様の変化には影響されず、オブジェクトが画面内を移動する見かけの速度を保持するよう描画処理をする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【0011】
【発明の実施の形態】
(実施の形態1)
本実施の形態において、表示装置に表示されている地図画像が、例えばユーザが操作するオブジェクトの背景の移動やスクロールのように、ユーザの指示によって移動する場合に、本実施の形態の画像生成装置は、移動する速度に応じて変化させた縮尺の地図画像を生成する(以下、ユーザの操作に応じて決まる縮尺を「指定縮尺」といい、指定縮尺で表示される地図画像を「目的画像」ともいう)。本実施の形態では、特に目的画像の生成について説明するが、指定縮尺は任意の値をとる一方、地図画像として予め準備される画像(これを以下「原画像」ともいう)は一般に、たとえば1/1000、1/5000といった離散的な縮尺に対応する数通りのものに限られる。たとえば、目的画像の指定縮尺が1/2000であれば、前記のいずれ原画像でもこれを表示することはできない。このため本実施の形態の画像生成装置は、目的画像の生成において、以下の機能を有する。
1.複数の限られた原画像から、任意の指定縮尺による目的画像を画質や情報表示機能にも配慮しつつ生成する。
2.いちど表示された目的画像の縮尺等が変更されても、スムーズに新たな目的画像を生成および表示する。
【0012】
原画像はその数が限られているとはいえ、複数存在する。したがって、目的画像を生成するためにふさわしい原画像を選択する必要がある。ここでは、目的画像の縮尺に近く、かつそれよりも大きな縮尺をもつ原画像と、同様に小さな縮尺をもつ原画像を選択する。以下これら2枚の原画像を「最適原画像対」ともいい、このことばでその対に含まれるそれぞれの原画像も指すものとする。最適原画像対の縮尺は、それぞれまず指定縮尺に一致させられ、つづいて、それらが合成される。合成の結果得られる画像が目的画像である。
【0013】
合成の際、同一の建築物のごとく、最適原画像対に共通に存在する点や領域を重ねあわせ、かつ指定縮尺により近い値を有する原画像の重み付けを大きくする。この重み付けにより、たとえば、指定縮尺の変化によって、目的画像が比較的縮尺の小さな原画像から縮尺の大きな原画像に変化するとき、後者のみに描かれる建築物が徐々に浮かび上がってくる。
こうして目的画像を生成し、以降、指定縮尺やユーザが注目する場所が変更されたときでも、最適原画像対から目的画像を再生成および表示することにより、原画像が離散的にしか存在しなくても、スムーズな画像の切替が実現する。
【0014】
「画像」は、一般には表示装置に表示されている内容を示すものであるが、本実施の形態では、地図として表示されている画像のほか、地図として表示されうるきわめて広範な面積に及ぶ画像全体を包括的に指すこともある。後者の場合、単に画像といっても、それがそのまま表示されるわけではなく、その中で実際に表示すべき部分や縮尺などのパラメータが決まって、はじめて表示装置上に現れる画像となる。以下、区別する必要がないかぎり、「画像」をいずれの意味で用いるかは明記しない。
【0015】
画像に後述の変換処理を施すために、直交座標系を定義する。この座標系は地図として表す対象である実際の土地のうえに一意に決められる、例えば緯度、経度のようなものとし、したがって、その土地の一部を切り取る形で地図を表す際の各画像にも、その絶対座標系で定まる座標が定義できる。たとえば、東京駅を座標原点(0,0)とし、新宿駅を(a,b)と表現した場合、本実施の形態で利用するどのような画像においても、それが東京駅を含めばその画像内のその点の座標は(0,0)であるし、新宿駅の画像内の点の座標は(a,b)となる。したがって、画像に定義される座標は、縮尺とは無関係に定まる概念である。
【0016】
一方、縮尺は表示装置に表示されたときの2点間の距離と、それら2点が実際の土地の上で有する距離との比で定まる。たとえば、「東京駅」と「新宿駅」の現実の距離が10キロメートル、これらを表示したとき、それらの表示装置上の距離が10センチメートルであれば、表示されている画像の縮尺は1/100000と決まる。紙の地図と異なり、本実施の形態では、縮尺は表示装置に依存することになる。そこで以降簡単のため表示装置に関係なく、画像は10×10センチメートルの正方形領域に表示されるものとして縮尺を計算する。なお、この正方形領域を以降「表示ウインドウ」と呼ぶ。実際に表示装置ごとに画像を表示する領域の大きさや形が異なる場合には、表示ウインドウに既知の線形変換を施した状態を考えればよく、ここでは詳述しない。
【0017】
表示装置において、表示ウインドウ内部は複数の画素の配列で規定されるが、これも本来表示装置に依存する。本実施の形態では、簡単のため、この画素数を400×400とする。
実際に表示ウインドウに表示される画像、すなわち目的画像は縮尺だけではなく、原画像のいずれの範囲を切り出すかの指定がなされて、はじめて確定する。このためにユーザの指定を待つ。ユーザの指定によって定まるこの範囲を「目的画像の範囲」ともいう。
【0018】
本実施の形態では、最適原画像対のそれぞれから縮尺を変換し、縮尺が指定縮尺に一致するふたつの中間画像を生成する。それら中間画像は、縮尺は同じであっても、もとの原画像がより詳細度レベルの高い情報をもっていたほうが、中間画像においても詳細度レベルが高い。以下、縮尺が同じであっても、より詳細な中間画像を「詳細な画像」と、他方を「簡易な画像」とそれぞれ呼ぶことがある。
【0019】
図1と図2は、実施の形態1に係るプログラム処理装置106の異なる態様を示す。いずれの場合も、操作部104、処理実行部102、画像生成装置100、モニタ110の組み合わせからなる。操作部104は、ユーザが所定の操作指示を入力するボタン等のインターフェースである。所定の操作指示は、目的画像の範囲を移動させる方向や速度の指示を含み、これらは例えば、目的画像の範囲の位置を東方向に現在より高い移動速度で移動させる。例えば、目的画像の範囲の位置を東方向に現在より高い移動速度で移動させる。例えば、目的画像の範囲の位置を東方向に現在より高い移動速度で移動させる。
【0020】
処理実行部102は、地図を表示するためのプログラムを実行することにより、目的画像の範囲の移動に関する指示から表示ウインドウの中心に位置させる座標の値を決定する。画像生成装置100は、目的画像の範囲の移動に関する指示と処理実行部102から出力される座標の値をもとに、新たな目的画像の範囲と指定縮尺を決定し、目的画像を生成する。目的画像はモニタ110内の表示ウインドウに表示される。
【0021】
図1の例において、原画像は、プログラム処理装置106内部の第1記憶部20に記憶されている。図2の例では、図1と異なり、原画像は、プログラム処理装置106外部にあるサーバ114内の外部記憶部116にも記憶されている。図2の場合、原画像を必要とするとき、画像生成装置100は、ネットワーク112を介して外部記憶部116にアクセスする。一般に、図1の画像生成装置100は図2の画像生成装置100より原画像へのアクセスが高速であるが、図2の画像生成装置100は図1の画像生成装置100よりプログラム処理装置106内部の原画像の記憶領域を小さくできる。
【0022】
図3は、これらの態様のうちの一例として、図1に示される画像生成装置100の構成を示す。画像生成装置100は、入力部10、画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18を有する。さらに、画像設定部12は、表示領域計算部24、更新動作判定部26を、画像取得部14は、取得特定部28、取得処理部30を、画像生成部16は、変換部32、対応点一致部34、合成部36を有する。
【0023】
これらは、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIでも実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0024】
第1記憶部20は、原画像を記憶する記憶領域であり、ハードディスク等で構成される。第2記憶部22は、メインメモリであり、第1記憶部20よりアクセスが高速なRAM(Random Access Memory)等により構成される。
入力部10は、ユーザから操作指示が入力される。
表示領域計算部24は、入力部10に入力されたユーザの操作指示をもとに、指定縮尺や目的画像の範囲を決定する。
【0025】
取得特定部28は、指定縮尺と座標の値をもとに、第1記憶部20に記憶された原画像の中から、最適原画像対を特定する。取得処理部30は第1記憶部20にアクセスして、最適原画像対を第2記憶部22に格納し、以降の処理に備える。
変換部32は、最適原画像対をそれぞれ指定縮尺に変更するための変換処理を実行し、中間画像を生成する。ここでは、最適原画像対の一方を拡大し、他方を縮小する。
対応点一致部34は、中間画像間で対応する領域を一致させる。例えば、最適原画像対において、同一の建物を示す領域の座標が相異する場合、これらが重なり合うよう領域単位でシフト、拡大や縮小などの修正を行う。
【0026】
合成部36は、対応点一致部34で対応させた中間画像を所定の割合で合成して、指定縮尺の目的画像を生成する。所定の割合は、最適原画像対のうち指定縮尺により近い縮尺の原画像が大きくなるように定める。これはαブレンディングで実施できる。合成は、例えば以下の式にもとづいて実行する。
【数1】
Figure 0004111834
ここで、Aは最適原画像対のうち、より縮尺の大きい原画像から変換された中間画像の所定の位置における色を決定するデータである。Bは最適原画像対のうち、より縮尺の小さい原画像から変換された中間画像の所定の位置における色を決定するデータである。ここでAとBの位置は一致しているものとする。Mは最適原画像対間の縮尺の比率であり、XはAを含む原画像の縮尺と中間画像の縮尺の比率である。
【0027】
出力部38は、目的画像の範囲内の座標上の位置とモニタ110の画素上の位置の対応を特定し、座標上の所定の位置における色を対応する画素上の位置での画素値に展開する。
情報取得部18は、第2記憶部22が記憶している最適原画像対の情報を更新動作判定部26に帰還する。更新動作判定部26は、表示領域計算部24で指定縮尺等が更新された場合、新たな目的画像の生成に第2記憶部22で記憶されている最適原画像対を使用できるかを判断する。
【0028】
図4(a)−(e)は、画像生成部16による最適原画像対から目的画像を生成する際の、原画像、中間画像、目的画像を示す。これらは、すべて同一の表示ウインドウに表示されている。まず図4(a)−(b)について説明する。図4(a)−(b)は、縮尺の異なる原画像をそのまま同一の表示ウインドウに表示させた場合の座標の対応を示す。図4(a)で表示される画像の座標範囲は図4(b)で表示される画像の座標範囲の16倍の大きさである。縮尺は異なっても図4(a)と(b)は共に絶対座標系で規定されているため、矢印で示されている同一の対象物が同一の座標の値(100,100)を有する。また、図4(b)は図4(a)よりも詳細度レベルが高い。ここでは、用意する原画像の縮尺に応じて、異なる詳細度レベルを割り当てるものとする。具体的には、縮尺の大きい原画像は詳細度レベルが高い。
【0029】
図5は、第1記憶部20に記憶された原画像の情報を示すファイルを示す。ファイルは、縮尺に応じてひとつずつ準備された原画像の格納位置である第1記憶部20のアドレスと、原画像に含まれる座標の範囲のそれぞれ左上と右下の座標であるデータ始点とデータ終点を示す。画像特定部28と取得処理部30は第1記憶部20にアクセスした際、最初にこのファイルを確認し、それぞれの処理を実行する。
【0030】
図6は、画像生成装置100による目的画像を生成する手順を示す。図3の表示領域計算部24は、入力部10で入力されたユーザの操作指示をもとに目的画像の範囲を決定する(S10)。過去になんらかの目的画像を生成している場合、更新動作判定部26は、情報取得部18より既に取得している最適原画像対の情報を取得する(S12)。新たな目的画像を生成するために、新たな最適原画像対を必要とする場合(S14のY)、取得特定部28は最適原画像対を特定し(S16)、取得処理部30が特定された最適原画像対を第1記憶部20から第2記憶部に格納する(S18)。一方、新たな最適原画像対を必要としない場合(S14のN)は、既に取得している最適原画像対を使用する。
【0031】
変換部32は、最適原画像対を、それぞれ目的画像の範囲と同一の座標の値でクリッピングする(S20)。さらに、最適原画像対をそれぞれの縮尺が指定縮尺と同一になるように拡大と縮尺する変換を行い(S22)、中間画像を生成する。対応点一致部34は、中間画像間において、対応する領域が一致するよう、すなわち重なり合うよう中間画像を修正する(S24)。合成部36は、中間画像を所定の割合で合成して目的画像を生成する(S26)。生成された目的画像は、出力部38から出力され(S30)、モニタ110上の表示ウインドウに表示される。
【0032】
図4(a)−(e)に戻る。図4(a)と(b)は、前述のとおり最適原画像対である。図4(a)で表示される画像の座標範囲を1/4倍に縮小する指示がなされた場合、図3の変換部32は、図4(a)で表示される画像の座標範囲を1/4に縮小した図4(c)の中間画像と、図4(b)で表示される画像の座標範囲を4倍に拡大した図4(d)の中間画像を生成する。
【0033】
また、ユーザの指示によって、指定縮尺が図4(a)の原画像の縮尺に近い縮尺から、図4(b)の原画像の縮尺に近い縮尺へ徐々に変化する場合、目的画像は、当初の図4(a)から、その中間点で図4(e)を経由し、最終的に図4(b)にスムーズに変化する。さらに、図4(a)に表示されていない建築物が、図4(e)では薄く表示され、さらに図4(b)でははっきりと表示される。目的画像の範囲の変更によって、目的画像がスムーズに変更される上に、目的画像の範囲の大きさに応じて建築物等が徐々に現れたり、消えたりするので、ユーザは、変更の前後で自ら注目する点を見失わない。
【0034】
図4(e)では、最適原画像対のうち、より詳細度レベルの高い図4(b)のみに含まれていた建築物の形状が薄く表示されているが、建築物の形状以外についても同様な表示がされてもよい。最適原画像対のうち図4(b)の原画像のみに、例えば、テキスト「東京駅」が表示されている場合、図4(a)と図4(b)から生成される図4(e)には、薄くテキスト「東京駅」が表示される。目的画像の範囲が図4(a)から図4(b)に変化すれば、当初表示されていないテキスト「東京駅」が、徐々に濃くなるように表示される。
【0035】
図7(a)−(e)は、図4(a)−(e)と異なる手順で、画像生成部16による最適原画像対から目的画像を生成する際の、原画像、中間画像、目的画像を示す。図4(a)−(e)と同様に、これらは同一の表示ウインドウに表示されている。図7(a)−(e)による生成手順は、図4(a)−(e)による生成手順と比較して2回の変換処理が合成処理の前後で実行される。図7(a)と(b)が最適原画像対である。変換部32は、図7(a)で表示される画像の座標範囲を1/16に縮小することにより、図7(b)で表示される画像の座標範囲と同一の大きさの図7(c)にする。合成部36は、図7(b)と図7(c)にそれぞれ1/2の重み付けをして合成し、図7(d)を生成する。さらに合成部36は図4(a)−(e)とは異なる付加的な処理として、図7(d)に表示されている画像の座標範囲を4倍に拡大して、図7(e)を生成する。
【0036】
以上の構成による画像生成装置100の動作は以下の通りである。地図画像アプリケーションにおいて、例えば、ユーザが表示されている千代田区の地図内の移動を指示しており、東京駅周辺で移動速度を遅くした場合、入力部10は移動速度の変化に応じて変更された指定縮尺を決定する。取得特定部28は、それぞれ千代田区と東京駅周辺を表す原画像である最適原画像対を第1記憶部20から特定する。取得処理部30は、最適原画像対を第1記憶部20から第2記憶部22に格納する。変換部32は、最適原画像対のそれぞれの縮尺を指定縮尺に変換し、中間画像を生成する。対応点一致部34は、中間画像間において対応する領域を同一の位置に重ね合わせる。合成部36は、中間画像を所定の割合で合成し、指定縮尺の目的画像を生成する指定縮尺がさらに大きくなると、最終的に東京駅周辺の地図が表示される。
【0037】
本実施の形態によれば、既に表示されている目的画像を移動させる速度が変化することによって、縮尺が変更されても、それに合わせて目的画像をスムーズに変更できる。さらに、原画像が有する情報の詳細度レベルとは異なる詳細度レベルの目的画像を生成できる。また、予め用意する原画像の縮尺は離散的な値でよいので、データ容量の削減が可能である。
【0038】
(実施の形態2)
本実施の形態において、画像生成装置は、実施の形態1と同様に目的画像を最適原画像対から合成により生成する。しかし、最適原画像対のうち一般にデータ量が大きいとされる詳細度レベルの高い原画像を外部の記憶装置に格納する。そのため、画像生成装置がローカルに有する記憶装置における記憶容量を削減できる。また、外部の記憶装置へのアクセス時間を考慮して、ユーザからの入力があると、最初に画像生成装置がローカルに有する記憶装置内の詳細度レベルの低い原画像のみを縮尺変換したのち表示ウインドウに表示し、その後表示ウインドウの表示を再描画する形で、詳細度レベルの低い原画像と詳細度レベルの高い原画像の合成等により生成した目的画像を表示ウインドウに表示する。
【0039】
図8は、図2に示されるタイプの、本実施の形態に利用される画像生成装置100の構成を示す。画像生成装置100は、入力部10、画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18を有する。画像取得部14は取得特定部28、取得処理部30、通信部108を有する。さらに、画像生成装置100は、ネットワーク112を経由してサーバ114に接続される。サーバ114は、通信部118、外部記憶部116を有する。図3の画像生成装置100とは、画像取得部14が異なり、これ以外は、図3の画像生成装置100と同一の動作をする。
【0040】
外部記憶部116は、サーバ114にある記憶領域であり、第1記憶部20より記憶容量が大きい。
取得特定部28は、第1記憶部20と外部記憶部116に記憶された原画像の中から、最適原画像対を特定する。外部記憶部116とのアクセスには、通信部108、通信部118を使用する。
取得処理部30は、第1記憶部20と外部記憶部116にアクセスして、最適原画像対を取得する。第1記憶部20と外部記憶部116に同時にアクセスしてもよいが、まず第1記憶部20にアクセスし、続いて外部記憶部116にアクセスするような逐次的なアクセスでもよい。
【0041】
図9(a)は、第1記憶部20に記憶された原画像の情報を示すファイル、図9(b)は、外部記憶部116に記憶された原画像の情報を示すファイルを示す。図9(a)と(b)は、共に図5に示したファイルと同一のデータ構造であるが、第1記憶部20と外部記憶部116の記憶領域の容量に応じて、図9(a)には縮尺の小さい原画像が、図9(b)には縮尺の大きい原画像が格納されている。
【0042】
図10は、取得特定部28、取得処理部30、サーバ114間における原画像を取得する手順を示す。取得特定部28は、サーバ114に対して目的画像の範囲等の情報を通知する(S80)。サーバ114は、図9(b)のファイルをもとに、必要な原画像を検索し(S82)、その結果を画像情報として取得特定部28に送信する(S84)。取得特定部28はこの画像情報から最適原画像対の一方または両方の原画像を特定し、これを取得処理部30に通知する(S86)。取得処理部30は最適原画像対をサーバ114に要求する(S88)。サーバ114は外部記憶部116から、図9(b)のアドレスをもとにこの原画像を抽出し(S90)、目的画像の範囲にクリッピングして、取得処理部30に送信する(S92)。
【0043】
図11は、画像生成装置100による目的画像をプログレッシブに表示する手順を示す。図8の表示領域計算部24は、入力部10で入力された内容をもとに目的画像の範囲を決定する(S100)。過去になんらかの目的画像を生成している場合、更新動作判定部26では、情報取得部18より既に取得している最適原画像対の情報を取得する(S102)。
【0044】
新たな目的画像を生成するために、新たな最適原画像対を必要とする場合(S104のY)、取得特定部28は最適原画像対を特定し(S106)、取得処理部30が特定された一方の原画像を第1記憶部20から第2記憶部22に格納する(S108)。この原画像を第1取得画像とする。変換部32は、第1取得画像の縮尺を指定縮尺に変換し(S110)、第1の中間画像を生成する。表示すべき範囲の第1の中間画像は出力部38から出力され(S112)、モニタ110の表示ウインドウ上に表示される。さらに、取得処理部30は取得特定部28で特定した他方の原画像を外部記憶部116から取得する(S114)。この原画像を第2取得画像とする。変換部32は、第2取得画像の縮尺を指定縮尺に変換し(S116)、第2の中間画像を生成する。対応点一致部34は、第1の中間画像と第2の中間画像との対応する領域がずれていればこれを一致させ(S120)、合成部36は第1と第2の中間画像を所定の割合で合成し(S122)、目的画像を生成する。出力部38は目的画像を再び出力し(S124)、モニタ110の表示ウインドウ上の表示を更新する。一方、新たな最適原画像対を必要としない場合(S104のN)既に取得している最適原画像対の縮尺を指定縮尺に変換し(S118)、上記の処理を実行する。
【0045】
本実施の形態によれば、画像生成装置100がローカルに有する記憶装置の記憶容量を削減できる。また、ユーザの指示があると画像生成装置100がローカルに有する記憶装置内の情報の詳細度の低い原画像を縮尺の変換後、表示するため、外部の記憶装置へのアクセスに時間を要する場合でも、最初の表示を迅速に行うことが可能である。
【0046】
(実施の形態3)
本実施の形態において、画像生成装置は、実施の形態2と同様に情報の詳細度レベルが高い原画像を必要に応じて外部の記憶装置から取得する。本実施の形態では、外部の記憶装置には原画像が予め用意されているのではなく、三次元データが記憶され、この三次元データをもとに必要に応じて、レンダリング処理により原画像を生成する。
【0047】
図12は、図2に示されるタイプの、本実施の形態に利用される画像生成装置100の構成を示す。画像生成装置100は、入力部10、画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18を有する。画像取得部14は取得特定部28、取得処理部30、画像情報特定部42、通信部108を有する。さらに、画像生成装置100は、ネットワーク112を経由してサーバ114に接続される。サーバ114は、通信部118、外部記憶部116、画像計算部44を有する。図3の画像生成装置100とは、画像取得部14が異なる。
【0048】
取得特定部28は、第1記憶部20に記憶された原画像の中から、指定縮尺の目的画像を生成するために最適原画像対を特定する。第1記憶部20には、情報の詳細度が低い原画像のみが記憶されている。最適原画像対のうち少なくともひとつの原画像が第1記憶部20に存在しない場合、それをレンダリング処理によって生成する必要があるため、取得特定部28は画像情報特定部42にその旨を指示する。
画像情報特定部42は、サーバ114におけるレンダリング処理による原画像生成に必要な視点位置や視線方向などのパラメータの値を特定する。
【0049】
画像計算部44は、外部記憶部116の三次元データをもとにレンダリング処理を施して、取得特定部28で特定された原画像を生成する。取得処理部30が第1記憶部20とサーバ114にアクセスすることにより、原画像は第2記憶部22に格納される。
本実施の形態によれば、原画像のうち情報詳細度レベルの高い原画像を外部でレンダリング処理により生成するため、画像生成装置内部の処理量を増大させず、さらに画像生成装置がローカルに有する記憶装置の記憶容量を削減可能である。
なお、サーバ114から三次元データのみを取得し、画像生成装置100でレンダリング処理を行い、原画像を生成するようにしてもよい。
【0050】
(実施の形態4)
本実施の形態は、実施の形態1における目的画像の生成を異なる形態に変更させたものであり、ゲームにおいてユーザの指定した視線方向(これを「指定方向」ともいう)に対する風景画像を表示装置に表示する(以下、指定方向で表示される風景画像を本実施の形態では、「目的画像」ともいう)。指定方向は任意であるが、指定があるたびにレンダリング処理をするのではなく、三次元データをもとにレンダリング処理で生成される風景画像(以下、これを本実施の形態では、「原画像」という)を、レンダリング処理の計算量削減のため、たとえば、10°、20°、30°といった離散的な角度で表される方向に限定する。例えば、指定方向が45°の場合、前記の原画像ではこれを表示できない。そのため、本実施の形態の画像生成装置は、任意の指定方向に対し、離散的な角度で表される方向の複数の原画像を生成し、それら原画像を生成したときに用いられた視線方向を指定方向に変換した後、合成して、目的画像を生成する。また、指定方向が連続的に変更されても、目的画像をスムーズに変更させる。なお、レンダリングには視線方向だけでなく、画角等の情報も要するが、以下説明の便宜のため、画角等は固定とする。
【0051】
レンダリング処理における視線方向は、限定されているとはいえ複数存在するため、その中から、目的画像の生成に適した視線方向を選択する必要がある。ここでは、指定方向に近く、かつそれらを挟むふたつの方向を選択する。以下、これらふたつの方向を「最適方向対」ともいい、さらに最適方向対に対してレンダリング処理により生成された2枚の原画像を「最適原画像対」ともいい、これらことばでその対に含まれるそれぞれの方向や原画像も指すものとする。最適原画像対の方向は、指定方向に一致するよう画像シフトがなされ、続いてそれらが合成される。合成の結果得られる画像が目的画像である。
合成の際、同一の建築物のような最適原画像対に共通に存在する点や領域を重ねあわせ、かつ指定方向により近い方向を有する原画像の重み付けを大きくする。このように目的画像を生成することにより、以降、指定方向が連続的に変更される場合でも、レンダリング処理を指定方向の変更ごとに毎回実行しなくても、スムーズな画像の切換が実現する。
【0052】
図13は、図1に示されるタイプの、本実施の形態に利用される画像生成装置100の構成を示す。画像生成装置100は、入力部10、画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18を有する。画像取得部14は画像情報特定部42、画像計算部44を有する。図3の画像生成装置100とは、画像取得部14が異なる。
【0053】
第1記憶部20は、図3の第1記憶部20と同じ記憶領域であるが、三次元データを記憶する。三次元データはオブジェクトの形状データを含む。
入力部10は、ユーザの操作指示による指定方向を入力する。指定方向は、角度θとφで表される。ここで角度θは、視点をワールド座標の原点に配置し、指定方向を原点からのベクトル(以下、これを「視線ベクトル」という)で表した場合、視線ベクトルと直交座標のz軸間の角度であり、角度φは、ワールド座標においてx−y平面に射影した指定方向ベクトルとx軸間の角度である。以降、説明の簡略化のため、角度θ=90°と固定し、角度φのみを変数とすることにより、視線が水平である場合を考える。以上の定義は、指定方向だけでなく、一般に視線方向についても同様なものとする。
【0054】
画像情報特定部42は、視線の方向角度が離散的な値として予め定められた中から目的画像を生成するための最適方向対を特定する。
画像計算部44は、最適方向対について第1記憶部20の三次元データに対してレンダリング処理を実行し、最適原画像対を生成する。さらに後述する変換部32で使用するために、ワールド座標上における、原画像に表示された所定の対象物の位置と視点の位置の間の絶対距離を計算する。以下、この所定の対象物の位置と視点の位置の間の絶対距離は画像シフトの際の回転半径となるため「回転半径」ともよぶ。
【0055】
変換部32は、最適原画像対のそれぞれの視線方向の角度を指定方向に一致させるために、最適原画像対をそれぞれ原画像の視線方向と指定方向のなす角度に回転半径を乗算した距離だけ水平移動させ、中間画像を生成する。
対応点一致部34は、中間画像間で対応する領域を一致させる。ここで、対応する領域は、中間画像に写し込まれたオブジェクトのワールド座標系での座標などにより特定される。
【0056】
図14は、画像生成装置100による目的画像を生成する手順を示す。入力部10に指定方向が入力される(S60)。過去に何らかの目的画像を生成している場合に、更新動作判定部26では、情報取得部18より既に取得している最適原画像対の情報を取得する(S62)。新たな目的画像を生成するために、新たな最適原画像対を必要とする場合(S64のY)、画像情報特定部42はレンダリング処理する際の最適方向対を特定し(S66)、画像計算部44は第1記憶部20の三次元データからそれぞれの最適方向対についてレンダリング処理を行い(S68)、最適原画像対を取得する。一方、新たな最適原画像対を必要としない場合(S64のN)は、既に取得している最適原画像対を使用する。変換部32は、それぞれの最適原画像対の視線方向を指定方向に一致させるため、それぞれの最適原画像対を移動させ(S70)、中間画像を生成する。対応点一致部34は、中間画像間において、対応する領域を一致させる(S72)。合成部36は、一致させた中間画像を所定の割合で合成し(S74)、目的画像を生成する。生成された目的画像は、出力部38から出力され(S76)、モニタ110上の表示ウインドウに表示される。
【0057】
図15(a)−(h)は、画像生成部16による最適原画像対から目的画像の生成を示す。図15(a)は、建築物と木を含む仮想空間を示し、図中の矢印の交点を視点とする。角度φ1と角度φ2が最適方向対、角度φ3が指定方向である。画像計算部44において、三次元データをもとに、角度φ1についてのレンダリング処理により得られた原画像が図15(b)であり、角度φ2についてのレンダリング処理により得られた原画像が図15(c)である。
【0058】
ここで、回転半径は、図15(a)の視点と木の間の距離とする。変換部32は、図15(b)を角度φ1−φ3と回転半径の積で求められる距離、図15(b)を角度φ3−φ2と回転半径の積でもとめらる距離の移動により、それぞれ図15(d)と(e)の中間画像が生成される。さらに、表示される画像の範囲をクリッピングし、それぞれ図15(f)と(g)を取得する。対応点一致部34は、図15(f)と(g)において対応する位置、例えば木を一致させる。合成部36は、図15(f)と(g)を所定の割合で合成し、図15(h)の目的画像を生成する。
【0059】
以上の構成による画像生成装置100の動作は以下の通りである。ゲームにおいて、ユーザの指示によって、所定の方向に所定の移動速度で進行している。視線の方向が進行方向に一致する場合、ユーザが進行方向を変更すれば、同時に視線の方向が変更され、指定方向が入力部10に入力される。画像情報特定部42は、最適方向対を特定する。画像計算部44は最適方向対のそれぞれに対してレンダリング処理により最適原画像対を生成する。変換部32は、最適原画像対の視線の方向を指定方向に一致するように、最適原画像対を移動させ、中間画像を生成する。対応点一致部34は、中間画像間の対応する領域を同一の位置に重ね合わせる。合成部36は、中間画像を所定の割合で合成し、目的画像を生成する。ユーザが再び進行方向を変更しても、指定方向が既に取得している最適原画像対の視線の方向の間にあるような連続的な変更の場合、既に取得している最適原画像対から新たな目的画像を生成するため、レンダリング処理が不要となる。
【0060】
本実施の形態によれば、離散的な視線方向の最適原画像対から任意の視線方向の目的画像を生成するため、レンダリング処理の回数を削減できる。また、指定方向に近い視線の方向を有する原画像から生成された中間画像の重み付けを大きくし、中間画像どうしの対応する領域を重ね合わせて合成することで、目的画像を生成するため、指定方向の変更に対して、スムーズに目的画像も変更できる。
【0061】
(実施の形態5)
本実施の形態は、ユーザの指示により、表示ウインドウ上の目的画像の範囲が移動していく際、その範囲の大きさが変更されても、本実施の形態の画像生成装置は、その範囲の画面上での見た目の移動速度(以下、「見た目の移動速度」という)が変更前の見た目の移動速度を保持するよう処理する。目的画像の範囲が大きくなると、見た目の移動速度を保持することにより、相対的にオブジェクトは座標上をより早く移動する(以下、この移動速度を「座標上の移動速度」という)。
【0062】
図16は、図1に示されるタイプの、本実施の形態に利用される画像生成装置100の構成を示す。画像生成装置100は、入力部10、更新部40を有する。更新部40は、速度処理部50、座標更新部52、表示更新判定部54、画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18を有する。速度処理部50は、速度決定パラメータ取得部56、速度取得部60を有する。図3の画像生成装置100とは、速度処理部50、座標更新部52、表示更新判定部54が異なる。
【0063】
入力部10は、ユーザから操作指示が入力される。速度決定パラメータ取得部56は、入力部10に入力されたユーザの操作指示をもとに指定縮尺や目的画像の範囲を決定する。
【0064】
速度記憶部58は、目的画像の範囲の大きさ、見た目の移動速度、座標上の移動速度を関係付けるために必要な数値、計算式等を記憶する。ここでは、目的画像の範囲の一辺の座標上の絶対的な長さrと座標上の移動速度vの割合が、見た目の移動速度Cであるとする。αは、距離の単位を有する定数である。
【数2】
Figure 0004111834
これより、表示すべき画像の範囲と座標上の移動速度とが一定の関係となる。
すなわち、ユーザが早い移動を指示すると、それにともなって表示される範囲が広がるため、どのような速度になっても表示ウインドウが一定の速度でスクロールし、ユーザは容易に地図を認識できる。
【0065】
速度取得部60は、rと規定されているCからユーザが指示した方向の座標上の移動速度vを取得する。
座標更新部52は、座標上の移動速度から単位時間あたりの移動距離を計算する。単位時間は、所定の目的画像が表示ウインドウに出力されてから、次の目的画像が表示ウインドウに出力されるまでの時間とする。さらに、移動前の座標の値にこうして計算された移動距離を加算して、移動後の座標の値を計算し、目的画像の更新に利用する。
【0066】
表示更新判定部54は、移動後の座標によって表示される目的画像の範囲が現在、既に表示されている目的画像の範囲を更新する必要があるかを判断する。画面の表示内容のスクロールなどでは通常更新する必要がある。不要な場合の例は、背景が止まったままオブジェクトが移動する場合である。
以上のようにして、指定縮尺や目的画像の範囲の大きさが定まると、上述の実施の形態1から4のようにして目的画像が生成される。
【0067】
図17(a)−(c)は、目的画像の範囲の異なる大きさに対する見た目の移動速度を示す。目的画像の範囲を定めるひとつの要素として、仮想的な視点の高度の指示がある。仮想的な視点の高度が高くなれば、目的画像の範囲は大きくなる。図17(a)−(c)の中で、図17(a)の目的画像の範囲が最も大きく、図17(c)が最も小さい。すべての画像においてオブジェクトである飛行機の移動を矢印によって示しているが、これは単位時間当たりの画面上の移動である。目的画像の範囲の大きさが異なるにもかかわらず、飛行機の見た目の移動速度が同一になるように処理されている。ここでは、静止した目的画像の範囲上をオブジェクトが移動しているが、オブジェクトを静止させて、目的画像の範囲を移動させてもよい。
【0068】
図18は、画像生成装置100による移動が指示された目的画像を生成する手順を示す。ここでは、既に表示ウインドウ上に目的画像が表示されており、ユーザの指示により目的画像の範囲を変更される。図16の入力部10にユーザの操作指示が入力される(S130)。指定縮尺等により定められる目的画像の範囲の大きさをもとに速度決定パラメータ取得部56、速度記憶部58、速度取得部60は、座標上の移動速度を取得し(S132)、指定縮尺を算出する。座標更新部52は、座標上の移動速度から単位時間当たりの座標上の移動距離を計算する(S134)。
【0069】
座標上の移動距離を移動前の座標の値に加算して、新たな座標の値に更新する(S136)。更新された座標の値と指定座標から目的画像の範囲を求め、そのとき表示している目的画像の範囲を更新する必要がある場合(S138のY)、画像設定部12、画像取得部14、画像生成部16は新たな目的画像を生成する(S140)。生成された目的画像は、出力部38から出力され(S142)、モニタ110上の表示ウインドウに表示される。
【0070】
以上の構成による画像生成装置100の動作は以下の通りである。ユーザがゲーム中に東京上空を高速で移動すると、東京23区全体の広い範囲が表示される。その際、詳細度レベルの低い原画像が高い原画像よりも大きい重み付けによって、ブレンドされて表示されているため、高層ビル群はビル群として濃く表示され、その中に含まれる個々のビル自体は薄く表示される。この高層ビル群付近で、ユーザが高度を下げて移動速度を落とせば、それに応じて表示される東京の範囲が、新宿区に限定されるように狭くなる。薄く表示されていた個々のビルは、徐々に明瞭に表示されるが、依然ビル群としての表示もなされるので、移動速度の変化による表示内容の変化が生じても、ユーザの操作性は損なわれない。以上の動作によって、高速に移動する際は、個々のビルが表示されないので、ユーザに過度の情報を与えなくてすみ、ユーザが表示されている情報の一部に興味を持ったら、速度を落とした際に、初めて適切な情報がユーザに与えられる。また、ユーザの移動操作において、表示されている画像のスクロール速度が一定であるため、ユーザは移動速度に関係なく、一様に情報を取得できる。
【0071】
本実施の形態によれば、目的画像の範囲の大きさが変更されても、目的画像の範囲の画面上での見た目の移動速度は変更前の見た目の移動速度を保持するよう処理されるため、ユーザは違和感なく移動を続行できる。また、目的地に近づくほど座標上の移動速度が遅くなり、目的地に正確に到達できる。
【0072】
(実施の形態6)
本実施の形態は、実施の形態5と同様に、ユーザから移動に関する指示と指定縮尺を入力し、目的画像の範囲を変更させつつ、移動させる。さらに本実施の形態では、ユーザからの指定縮尺の入力とは別に、目的画像の範囲の大きさを自動変更する条件を設定し、当該条件を満たす場合に、その条件にしたがって目的画像の範囲を強制的に変更する。
【0073】
図19は、図1に示されるタイプの、本実施の形態に利用される画像生成装置100の構成を示す。画像生成装置100は、入力部10、更新部40を有する。更新部40は、速度処理部50、座標更新部52、表示更新判定部54、画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18を有する。速度処理部50は、速度決定パラメータ取得部56、速度取得部60を有する。図3の画像生成装置100とは、速度処理部50、速度記憶部58、座標更新部52、表示更新判定部54が異なり、図16の画像生成装置100とは、速度決定パラメータ取得部56の動作が異なる。
【0074】
速度決定パラメータ取得部56は、ユーザからの操作指示にもとづいた指定縮尺とは別に目的画像の範囲の大きさを強制的に変更させる命令を生成する。この命令は速度決定パラメータ取得部56内部での処理にもとづいて生成される場合とユーザから入力される移動の方向の指示にもとづいて生成される場合がある。前者の命令は、予め画像の中に目的画像の範囲の大きさを自動的に変更させるべき領域を設定しておき、その領域にユーザが入った場合に目的画像の範囲の大きさを変更させるものである。一方、後者の命令は、入力部10で入力された移動の方向が継続して一致方向である場合に、目的画像の範囲を大きくさせるものである。
画像設定部12、画像取得部14、画像生成部16、出力部38、情報取得部18は、実施の形態1から4と同じく目的画像を生成する。
【0075】
図20は、目的画像の範囲の大きさを強制的に小さくする領域と大きくする領域(以下、これらの領域を「操作領域」と総称する)を設定したデータファイルを示す。オブジェクトが操作領域に進行したとき、これが座標をもとに速度決定パラメータ取得部56に検出され、目的画像の範囲の大きさが変化させられる。本実施の形態では、操作領域は、ユーザに注目させるべき対象物の存在有無に応じて予め設定されるものとする。このファイルは速度記憶部58に記憶されている。図5と同様、所定の縮尺における操作領域がデータ始点とデータ終点で指定されている。
【0076】
ファイル内の「識別」の項目が目的画像の範囲の大きさを変更する指示であり、「U」が目的画像の範囲を拡大する指示、「D」が目的画像の範囲を縮小する指示である。例えば、ユーザに注目させるべき対象物が無い領域を「目的画像の範囲を拡大する領域」、すなわち拡大領域に決めると、ユーザにとって当該領域の高速な通過が可能となる。また、ユーザに注目させるべき対象物が有る領域やデータ処理上の特異点を「目的画像の範囲を縮小する領域」、すなわち縮小領域に決め、その領域をユーザにゆっくり移動させたり、その存在をユーザに認知しやすくする。
【0077】
図21は、操作領域を通過した場合の、目的画像の範囲の大きさの変化を示す。初期状態において目的画像の範囲の大きさはユーザ指定値すなわち指定縮尺であったが、P1で縮小領域に入ると、速度決定パラメータ取得部56により範囲が縮小され、ユーザが速度を下げる操作をしなくとも座標上の移動速度が遅くなり、ユーザは目的画像の範囲の内容を詳細に理解できる。縮小領域にとどまり続けると、徐々に目的画像の範囲が狭くなり続け、詳細な情報がより明瞭に表示される。同図では、P2において予め設定してある最小の目的画像の範囲に到達している。従って、P2から縮小領域を抜けるP3間は目的画像の範囲がユーザの操作指示に応じたものに戻ろうとする。P3で縮小領域を出ると、P4で範囲の大きさはユーザの操作指示によって求まるものとなる。次に、P5で拡大領域に入ると、P6で範囲の大きさは前述同様に視認性の観点から定めた最大の範囲となり、それによって座標上の移動を速度が速くなり、ユーザは注目すべき対象物のない領域を高速に通過できる。P7で拡大領域を出ると、P8で範囲の大きさは再びユーザ指定値に戻る。
【0078】
このように本実施の形態では、座標値によって拡大または縮小するか参照して、ユーザの操作指示にかかわらず、目的画像の範囲を変更できるので、ユーザに認識させたい情報をより確実に認識させることができる。
【0079】
以上の構成による画像生成装置100の動作は以下の通りである。ゲーム中のユーザが街の中を歩いているように移動している際に、拡大領域、例えば砂漠、にユーザが進んで入ると、速度取得部60は、それまでよりも高速な座標上の移動速度を取得する。座標更新部52は、座標上の移動速度から座標上の移動距離を計算し、この移動距離をそれまでの座標の位置に加算して、新たな座標の位置に更新する。更新された座標をもとに、画像設定部12、画像取得部14、画像生成部16は砂漠を歩いている視点から砂漠上空に高度を上げた視点の目的画像に更新し、それによりユーザは興味のない砂漠を迅速に通過できる。
【0080】
更に別の実施の形態を説明する。図22は、速度決定パラメータ取得部56において、目的画像の範囲が連続的に同一方向に移動するとき、その連続の程度に応じて目的画像の範囲の大きさを変化させる手順を示す。図19の入力部10にユーザの操作にもとづく移動の指示が入力される(S180)。この移動の指示が目的画像の範囲の停止状態で入力された場合、いまからの移動の開始が判断され(S182のY)、速度決定パラメータ取得部56は内部のカウンタをリセットする(S184)。移動の方向の指示がその直前に入力された指示と同一方向の場合(S186のY)、カウントアップする(S188)。さらに、例えば、カウント値が10回になれば目的画像の範囲を2倍に広げるというような予め定めてある規則にもとづき、速度決定パラメータ取得部56は目的画像の範囲の大きさを変更する命令を出力し、画像設定部12、画像取得部14、画像生成部16は目的画像の範囲の大きさを変更する(S190)。一方、移動の方向の指示がその直前に入力された移動の指示と異なる方向の場合(S186のN)、カウンタをリセットし(S192)、目的画像の範囲を初期の設定値あるいはユーザから指定縮尺から計算される目的画像の範囲の大きさに戻す(S194)。この目的画像の範囲をもとに速度取得部60は、座標上の移動速度を取得する(S196)。以降の動作は、図18と同一である。
【0081】
本実施の形態によれば、ユーザは、一定方向の移動の指示を入力し続ければ、それに応じて座標上の移動速度が変更されるため、簡易なインターフェースにもかかわらず、座標上の移動速度の変更が可能となる。一般に、ユーザが一定方向の移動を指示つづける場合に、より速い移動を望んでいるので、よりユーザの操作目的に沿うことができる。
【0082】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それら各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲であることは当業者に理解されるところである。そうした例を挙げる。
【0083】
実施の形態1から6では、地図画像のアプリケーションやゲームを想定した。しかし、これらに限定されることはなく、例えばカーナビゲーションにも適用できる。この場合、車の速度に応じて地図の縮尺が変化するが、建物の注目点は速度変化の前後においても認識可能なので、目標を見失ったりすることが防げる。すなわち、本発明は所定の空間や対象を表示装置等に表示する場合に広く適用可能である。
【0084】
実施の形態1から6では、目的画像を生成するためにふたつの原画像を特定した。しかし、取得特定部28が特定する原画像はふたつである必要はなく、それ以上であってもかまわない。その場合、合成部36は、原画像から生成される中間画像の合成の割合を、複数の中間画像に対応して設定することが望ましい。例えば、実施の形態1と同様に、指定縮尺に近い縮尺を有する原画像に対応する中間画像の割合を大きくする。この変形例によれば、多くの原画像の内容を反映させた目的画像が生成できる。つまり、画像に関する所定のパラメータの変更に対して、スムーズに表示すべき範囲の画像が生成されるようにする。
【0085】
実施の形態1から6において、画像取得部14は、目的画像を生成するために、目的画像の範囲の全体に対応した最適原画像対を選択している。しかし、最適原画像対は、目的画像の範囲の全体に対応して選択される必要はなく、例えば、目的画像の範囲内の各座標に対して、異なる最適原画像対を選択し、各座標に対応して表示されるべき画素値を、この最適原画像対の対応する画素値をもとに合成して得てもよい。この変形例によれば、目的画像の範囲の一部領域のみをそれ以外の領域よりもより詳細に表示できる。
【0086】
実施の形態1から6において、合成部36は、ふたつの中間画像を予め定めたひとつの割合で合成している。しかし、当該割合が複数あってもよく、例えば、目的画像の範囲の大きさを縮小する場合と拡大する場合で、異なる割合を使用してもよい。前者では、最適原画像対のうち縮尺の小さい原画像から生成された中間画像の割合をより大きくするように合成し、後者では、その反対の割合で合成する。この変形例により、目的画像の範囲の大きさが変化する前の表示内容の影響が大きくなり、目的画像の範囲の大きさの変化に対して、ユーザの違和感がより小さくされる。
【0087】
実施の形態5と6では、座標上の移動速度は、目的画像の範囲の大きさに依存するが、目的画像の範囲の大きさが定められれば、座標上の移動速度も一意に定められている。しかし、速度処理部50による目的画像の範囲の大きさと座標上の移動速度は1対1で対応していなくてもよい。例えば、停止状態から動作状態に変化するときやその逆の場合に、目的画像の範囲の大きさが一定であっても、慣性という効果を現出せしめるべく、それぞれ座標上の移動速度を徐々に速くしたり、遅くしたりしてもよい。また、速度処理部50は、座標上の移動速度の変化より遅れる形で、目的画像の範囲の大きさを変化させてもよい。この変形例によれば、移動速度の変化による目的画像の範囲の大きさの変化に対して、ユーザの違和感がより小さくされる。
【0088】
実施の形態6では、操作領域を予めデータファイルとして記憶している。しかし、速度決定パラメータ取得部56では、操作領域が予めデータファイルに登録されている必要はなく、領域が追加や削除されてもよい。例えば、ゲームにおいて、最初はユーザが注目すべき対象物の存在密度が高い領域を目的画像の範囲の拡大領域として登録していたが、ゲームの進行と共に存在密度が低くなると、登録から削除してもよい。この変形例によれば、ゲームはそのシナリオに応じてより柔軟性のある処理を実行できる。つまり、このデータファイルは適応的に修正されればよい。
【0089】
【発明の効果】
本発明の画像生成技術によれば、画像の所定のパラメータの変更に対して、スムーズな画像の変更ができる。
【図面の簡単な説明】
【図1】 実施の形態1に係るプログラム処理装置のひとつの態様を示す図である。
【図2】 実施の形態1に係るプログラム処理装置の別の態様を示す図である。
【図3】 実施の形態1に係る画像生成装置の構成を示す図である。
【図4】 図4(a)−(e)は、図1の装置に係る目的画像の生成を示す図である。
【図5】 図1の装置に係る第1記憶部の原画像の情報を示すファイルの構造を示す図である。
【図6】 図1の装置に係る目的画像生成処理のフローチャートである。
【図7】 図7(a)−(e)は、図1の装置に係る目的画像の生成を示す図である。
【図8】 実施の形態2に係る画像生成装置の構成を示す図である。
【図9】 図9(a)−(b)は、図8の装置に係る原画像の情報を示すファイルの構造を示す図である。
【図10】 図8の装置に係る原画像取得処理のシーケンス図である。
【図11】 図8の装置に係る目的画像生成処理のフローチャートである。
【図12】 実施の形態3に係る画像生成装置の構成を示す図である。
【図13】 実施の形態4に係る画像生成装置の構成を示す図である。
【図14】 図13の装置に係る目的画像生成処理のフローチャートである。
【図15】 図15(a)−(h)は、図13の装置に係る目的画像の生成を示す図である。
【図16】 実施の形態5に係る画像生成装置の構成を示す図である。
【図17】 図17(a)−(c)は、図16の装置に係る目的画像の範囲の大きさと見た目の移動速度の関係を示す図である。
【図18】 図16の装置に係る表示すべき画像生成処理のフローチャートである。
【図19】 実施の形態6に係る画像生成装置の構成を示す図である。
【図20】 図19の装置に係る目的画像の範囲の大きさを変更するデータの構造を示す図である。
【図21】 図19の装置に係る移動距離と目的画像の範囲を示す図である。
【図22】 図19の装置に係る目的画像生成処理のフローチャートである。
【符号の説明】
10 入力部、 12 画像設定部、 14 画像取得部、 16 画像生成部、 18 情報取得部、 20 第1記憶部、 22 第2記憶部、 24 表示領域計算部、 26 更新動作判定部、 28 取得特定部、 30 取得処理部、 32 変換部、 34 対応点一致部、 36 合成部、 38 出力部、 40 更新部、 42 画像情報特定部、 44 画像計算部、 50速度処理部、 52 座標更新部、 54 表示更新判定部、 56 速度決定パラメータ取得部、 58 速度記憶部、 60 速度取得部、 100 画像生成装置、 102 処理実行部、 104 操作部、 106 プログラム処理装置、 108 通信部、 110 モニタ、 112 ネットワーク、 114 サーバ、 116 外部記憶部、 118 通信部。

Claims (16)

  1. 画像を画面に表示する際、当該画面に表示すべき前記画像の範囲の移動に関する指示を入力する入力部と、
    前記範囲が連続的に移動していく際、指示された方向の座標上の移動速度に応じた仮想的な視点の高度をもとに、表示すべき画像に関する縮尺の値を決定する決定部と、
    前記決定部において決定した縮尺の値をもとに、各々に、前記決定部において決定した縮尺の値よりも大きな縮尺と小さな縮尺とが定義されたふたつの原画像を特定し、特定したふたつの原画像を取得する取得部と、
    前記ふたつの原画像の縮尺の値どうしを、前記決定部において決定した縮尺の値に一致させるよう前記ふたつの原画像に拡大および縮小を施し、かつ対応しあう領域が重なるようこれらを合成して最終画像を出力する画像生成部とを含み、
    前記決定部は、指定された方向の座標上の移動速度が変わる場合に、前記画面上に表示されている画像の画面上での移動速度が保持されるように、縮尺の値を更新し、
    前記画像生成部は、前記最終画像における縮尺の値が前記決定部において更新された縮尺の値に一致するよう処理を施すことを特徴とする画像生成装置。
  2. 前記決定部は、原画像上に予め設定された領域内に、前記範囲が入ったときこれを検出し、前記範囲の大きさを変化させることを特徴とする請求項1に記載の画像生成装置。
  3. 前記所定の領域は、ユーザが注目すべき対象物が存在するか否かに応じて設定されていることを特徴とする請求項2に記載の画像生成装置。
  4. 前記決定部は、指定された方向の指示がその前の指示の指示の方向と同位置である場合に、カウントアップを行い、カウントアップされた値に応じて前記範囲の大きさを変化させることを特徴とする請求項1から3のいずれかに記載の画像生成装置。
  5. 画像を画面に表示する際、当該画面に表示すべき前記画像の範囲の移動に関する指示を入力するステップと、
    前記範囲が連続的に移動していく際、指示された方向の座標上の移動速度に応じた仮想的な視点の高度をもとに、表示すべき画像に関する縮尺の値を決定するステップと、
    決定した縮尺の値をもとに、各々に、決定した縮尺の値よりも大きな縮尺と小さな縮尺とが定義されたふたつの原画像を特定し、特定したふたつの原画像を取得するステップと、
    前記ふたつの原画像の縮尺の値どうしを、前記決定した縮尺の値に一致させるよう前記ふたつの原画像に拡大および縮小を施し、かつ対応しあう領域が重なるようこれらを合成して最終画像を出力するステップとを含み、
    前記決定するステップは、指定された方向の座標上の移動速度が変わる場合に、前記画面上に表示されている画像の画面上での移動速度が保持されるように、縮尺の値を更新し、
    前記出力するステップは、前記最終画像における縮尺の値が前記更新された縮尺の値に一致するよう処理を施すことを特徴とする画像生成方法。
  6. 前記決定するステップは、原画像上に予め設定された領域内に、前記範囲が入ったときこれを検出し、前記範囲の大きさを変化させることを特徴とする請求項5に記載の画像生成方法。
  7. 前記所定の領域は、ユーザが注目すべき対象物が存在するか否かに応じて設定されていることを特徴とする請求項6に記載の画像生成方法。
  8. 前記決定するステップは、指定された方向の指示がその前の指示の指示の方向と同位置である場合に、カウントアップを行い、カウントアップされた値に応じて前記範囲の大きさを変化させることを特徴とする請求項5から7のいずれかに記載の画像生成方法。
  9. 画像を画面に表示する際、当該画面に表示すべき前記画像の範囲の移動に関する指示を入力するステップと、
    前記範囲が連続的に移動していく際、指示された方向の座標上の移動速度に応じた仮想的な視点の高度をもとに、表示すべき画像に関する縮尺の値を決定するステップと、
    決定した縮尺の値をもとに、各々に、決定した縮尺の値よりも大きな縮尺と小さな縮尺とが定義されたふたつの原画像を特定し、特定したふたつの原画像を取得するステップと、
    前記ふたつの原画像の縮尺の値どうしを、前記決定した縮尺の値に一致させるよう前記ふたつの原画像に拡大および縮小を施し、かつ対応しあう領域が重なるようこれらを合成して最終画像を出力するステップとを含み、
    前記決定するステップは、指定された方向の座標上の移動速度が変わる場合に、前記画面上に表示されている画像の画面上での移動速度が保持されるように、縮尺の値を更新し、
    前記出力するステップは、前記最終画像における縮尺の値が前記更新された縮尺の値に一致するよう処理を施すことをコンピュータに実行させるためのプログラム。
  10. 前記決定するステップは、原画像上に予め設定された領域内に、前記範囲が入ったときこれを検出し、前記範囲の大きさを変化させることを特徴とする請求項9に記載のプログラム。
  11. 前記所定の領域は、ユーザが注目すべき対象物が存在するか否かに応じて設定されていることを特徴とする請求項10に記載のプログラム。
  12. 前記決定するステップは、指定された方向の指示がその前の指示の指示の方向と同位置である場合に、カウントアップを行い、カウントアップされた値に応じて前記範囲の大きさを変化させることを特徴とする請求項9から11のいずれかに記載のプログラム。
  13. 画像を画面に表示する際、当該画面に表示すべき前記画像の範囲の移動に関する指示を入力するステップと、
    前記範囲が連続的に移動していく際、指示された方向の座標上の移動速度に応じた仮想的な視点の高度をもとに、表示すべき画像に関する縮尺の値を決定するステップと、
    決定した縮尺の値をもとに、各々に、決定した縮尺の値よりも大きな縮尺と小さな縮尺とが定義されたふたつの原画像を特定し、特定したふたつの原画像を取得するステップと、
    前記ふたつの原画像の縮尺の値どうしを、前記決定した縮尺の値に一致させるよう前記ふたつの原画像に拡大および縮小を施し、かつ対応しあう領域が重なるようこれらを合成して最終画像を出力するステップとを含み、
    前記決定するステップは、指定された方向の座標上の移動速度が変わる場合に、前記画面上に表示されている画像の画面上での移動速度が保持されるように、縮尺の値を更新し、
    前記出力するステップは、前記最終画像における縮尺の値が前記更新された縮尺の値に一致するよう処理を施すことをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. 前記決定するステップは、原画像上に予め設定された領域内に、前記範囲が入ったときこれを検出し、前記範囲の大きさを変化させることを特徴とする請求項13に記載の記録媒体。
  15. 前記所定の領域は、ユーザが注目すべき対象物が存在するか否かに応じて設定されていることを特徴とする請求項14に記載の記録媒体。
  16. 前記決定するステップは、指定された方向の指示がその前の指示の指示の方向と同位置である場合に、カウントアップを行い、カウントアップされた値に応じて前記範囲の大きさを変化させることを特徴とする請求項13から15のいずれかに記載の記録媒体。
JP2003001327A 2003-01-07 2003-01-07 画像生成方法および装置 Expired - Lifetime JP4111834B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003001327A JP4111834B2 (ja) 2003-01-07 2003-01-07 画像生成方法および装置
US10/753,922 US7397971B2 (en) 2003-01-07 2004-01-07 Image generating method and image generating apparatus
PCT/JP2004/000047 WO2004061549A2 (en) 2003-01-07 2004-01-07 Image generating method and image generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003001327A JP4111834B2 (ja) 2003-01-07 2003-01-07 画像生成方法および装置

Publications (2)

Publication Number Publication Date
JP2004264879A JP2004264879A (ja) 2004-09-24
JP4111834B2 true JP4111834B2 (ja) 2008-07-02

Family

ID=32708805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003001327A Expired - Lifetime JP4111834B2 (ja) 2003-01-07 2003-01-07 画像生成方法および装置

Country Status (3)

Country Link
US (1) US7397971B2 (ja)
JP (1) JP4111834B2 (ja)
WO (1) WO2004061549A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157344A1 (en) * 2004-01-16 2005-07-21 Hiroyuki Nagashima Printing data creation apparatus, printing data creation method and printing data creation program
JP2006040085A (ja) * 2004-07-29 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4579737B2 (ja) * 2005-03-28 2010-11-10 クラリオン株式会社 地図表示装置
JP4587308B2 (ja) * 2005-07-12 2010-11-24 アルパイン株式会社 家形描画方法及び装置
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US20080027985A1 (en) * 2006-07-31 2008-01-31 Microsoft Corporation Generating spatial multimedia indices for multimedia corpuses
US7764849B2 (en) * 2006-07-31 2010-07-27 Microsoft Corporation User interface for navigating through images
JP4915343B2 (ja) * 2007-12-21 2012-04-11 ソニー株式会社 電子機器装置及びナビゲーション方法
JP5395397B2 (ja) * 2008-10-16 2014-01-22 富士通テン株式会社 シミュレーションシステム
US8986234B2 (en) 2008-11-09 2015-03-24 3D Systems, Inc Custom braces, casts and devices having fenestrations and methods for designing and fabricating
JP2013083553A (ja) * 2011-10-11 2013-05-09 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP6974978B2 (ja) * 2016-08-31 2021-12-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6371879A (ja) 1986-09-16 1988-04-01 三洋電機株式会社 地図デ−タ再生装置
JPH0616292B2 (ja) 1986-12-12 1994-03-02 株式会社日立製作所 地図データ表示方法
JPS63187288A (ja) 1987-01-30 1988-08-02 株式会社日立製作所 表示方式
JP3360425B2 (ja) 1994-07-27 2002-12-24 日産自動車株式会社 車両用ナビゲーション装置
EP0678731B1 (en) * 1994-04-15 1999-06-30 Nissan Motor Co., Ltd. Vehicle navigation system
JP3240820B2 (ja) 1994-04-15 2001-12-25 日産自動車株式会社 車両用経路誘導装置
US6747680B1 (en) * 1999-12-13 2004-06-08 Microsoft Corporation Speed-dependent automatic zooming interface
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
US6323878B1 (en) * 1999-03-03 2001-11-27 Sony Corporation System and method for providing zooming video capture
DE10027516A1 (de) * 2000-06-06 2001-12-13 Bosch Gmbh Robert Verfahren zur Zoom-Einstellung eines Kartendarstellungssystems eines Fahrzeugs

Also Published As

Publication number Publication date
WO2004061549A2 (en) 2004-07-22
US20040193288A1 (en) 2004-09-30
WO2004061549A3 (en) 2005-03-24
JP2004264879A (ja) 2004-09-24
US7397971B2 (en) 2008-07-08

Similar Documents

Publication Publication Date Title
JP3240156B2 (ja) 三次元作業域における目標に対する移動ビューポイント
US8675955B2 (en) Method and system for transparency adjustment and occlusion resolution for urban landscape visualization
US8031206B2 (en) Method and system for generating pyramid fisheye lens detail-in-context presentations
US9626790B1 (en) View-dependent textures for interactive geographic information system
US6879332B2 (en) User interface for displaying and exploring hierarchical information
KR101626037B1 (ko) 가상 표면들을 사용하는 패닝
US8350872B2 (en) Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
JP4111834B2 (ja) 画像生成方法および装置
US20070097109A1 (en) Method and system for generating detail-in-context presentations in client/server systems
US6888554B1 (en) User interface for bicontextual exploration of a graph
US20060098028A1 (en) Compound lenses for multi-source data presentation
JP2012518849A (ja) 街路レベルの画像間の移行を示すシステム及び方法
US8994719B1 (en) Matching views between a two-dimensional geographical image and a three-dimensional geographical image
JP2000507725A (ja) 制御インターフェイス
JP4606898B2 (ja) 情報生成装置及び検索装置
CN114115525B (zh) 信息显示方法、装置、设备及存储介质
US20150187098A1 (en) Method and apparatus for unobtrusively changing imagery supplementing a map display
CN109313824A (zh) 交互式地理上下文导航工具
US8937617B1 (en) Matching views between a three-dimensional geographical image and a two-dimensional geographical image
JP7086180B2 (ja) デジタルマップの動的リスタイリング
JP2000011208A (ja) 画像表示装置及び方法
CN116385708A (zh) 用于在三维地图上实现流动标识的方法、系统和存储介质
DE112021003415T5 (de) Vorrichtungen, verfahren und grafische benutzerschnittstellen für inhaltsanwendungen
CN117194816A (zh) 三维空间的搜索内容显示方法、ar设备和计算机可读介质
JP2010067227A (ja) グラフィック処理装置、グラフィック処理方法、及びグラフィック処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080305

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080408

R150 Certificate of patent or registration of utility model

Ref document number: 4111834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140418

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term