JP6582302B2 - 表示制御装置及びプログラム - Google Patents
表示制御装置及びプログラム Download PDFInfo
- Publication number
- JP6582302B2 JP6582302B2 JP2017047561A JP2017047561A JP6582302B2 JP 6582302 B2 JP6582302 B2 JP 6582302B2 JP 2017047561 A JP2017047561 A JP 2017047561A JP 2017047561 A JP2017047561 A JP 2017047561A JP 6582302 B2 JP6582302 B2 JP 6582302B2
- Authority
- JP
- Japan
- Prior art keywords
- setting
- virtual viewpoint
- display control
- virtual
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 154
- 230000000007 visual effect Effects 0.000 claims description 75
- 238000001514 detection method Methods 0.000 claims description 36
- 230000007704 transition Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 52
- 230000007613 environmental effect Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 36
- 210000003128 head Anatomy 0.000 description 35
- 230000006870 function Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
[第1の実施形態]
〔端末装置10の概要〕
本発明の第1の実施形態について説明する。
図1は、本実施形態に係るHMD(Head Mounted Display)システム1の一例を示す外観図である。
HMDシステム1は、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を表示可能である。例えば、HMDシステム1は、右目と左目との両眼視差を利用した立体視画像を表示可能である。また、HMDシステム1は、ジャイロ等のHMDシステム1の動きや傾き(姿勢)を検知するセンサを搭載しており、装着されているユーザの頭部の動きや傾きの変化等を検知することができる。以下では、センサが検知する動きや傾きを示す情報を、センサ情報と称することがある。仮想空間には、例えば、オブジェクトを配置可能な水平面のフィールドが設けられている。
図2は、ユーザの視線方向E1の傾きが上向きに変化する場合の視界方向の変化を示す。視線方向制御モードとは、視線方向を、センサ情報に基づいて変化させるモードである。例えば、端末装置10が表示する視界画像は、ユーザの頭部が右方向を向けば仮想空間内の右方向に変化し、上を向けば仮想空間内の上向きに変化する。
図3は、ユーザの視線方向E1の傾きが上向きに変化する場合の仮想視点K1の位置の変化を示す。位置傾斜制御モードとは、仮想視点の位置を、センサ情報に基づいて変化させるモードである。例えば、端末装置10が表示する視界画像は、ユーザの頭部が上を向けば仮想空間内を前方向に移動したかのように変化する。位置傾斜制御モードの場合、ピッチ角θrが0である場合(θr=0)、仮想空間では初期位置(x=x0)の仮想視点K1から見た、所定の視界方向の視界画像が生成される。ここで、初期位置とは、位置傾斜制御モードに遷移したときの仮想視点K1の位置である。また、以下では一例として、位置傾斜制御モードにおける所定の視界方向とは、仮想空間内に配置された所定のオブジェクトへの方向であるとして説明する。図3に示す例では、オブジェクトO1への方向が所定の視界方向である。
図4は、仮想空間の方向の定義を示す図である。
本実施形態では、ユーザが直立する方向である垂直方向(鉛直方向)をZ軸とし、Z軸に直交する軸であってユーザと表示部12とを結ぶ方向をX軸とし、Z軸及びX軸と直交する軸をY軸とする。
図5において、仮想空間内の仮想視点K(ユーザの仮想視点)をX軸、Y軸、及びZ軸の交点(原点)とし、ユーザの視線方向をX軸方向とすると、仮想視点からの視界方向の視界画像の範囲(即ち、視界)は、視線方向(X軸方向)を中心としたヨー角α(破線aと破線bとの内角、及び破線cと破線dとの内角)とピッチ角β(破線aと破線dとの内角、及び破線bと破線cとの内角)とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、HMDシステム1に表示させる仮想空間の視界画像の画角として予め設定された角度である。ユーザの頭部がピッチ方向又はヨー方向に変化すると、その変化に応じて視線方向がX軸方向からピッチ方向又はヨー方向に変化し、視界方向もピッチ方向又はヨー方向に変化する。また、ユーザの頭部がロール方向に変化すると、視線方向はX軸方向のまま、視界方向がロール方向に回転する。なお、以下では、説明を容易にするため、視線方向は端末装置10の表示面の法線方向であるとするが、アイトラッキングの技術を用いて、ユーザの目の動きから視線方向を特定してよい。
端末装置10は、HMDシステム1の少なくとも一部として利用可能な携帯型のコンピュータ装置であり、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)、タブレットPC、家庭用ゲーム機、等が適用できる。本実施形態では、端末装置10はスマートフォンであるとして説明する。
端末装置10は、記憶部15に記憶されているプログラムをCPU17が実行することにより実現される機能構成として、制御部110を備えている。制御部110は、検出部111と、判定部112と、オブジェクト配置部113と、表示制御部114と、を備えている。
視線方向制御処理について説明する。
図8は、視線方向制御処理の流れを示すフローチャートである。
ここでは、仮想空間内に予め環境オブジェクト、判定オブジェクトが配置されている場合について説明する。
(ステップS100)端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS102に処理を進める。
(ステップS102)端末装置10は、方向情報に基づいて仮想空間における視線方向を特定する。そして、端末装置10は、特定した視線方向に基づいて注視点を検出する。端末装置10は、注視点の検出結果に基づいて操作点オブジェクトを配置する。その後、端末装置10は、ステップS104に処理を進める。
(ステップS104)端末装置10は、ステップS102で特定した視線方向に基づいて仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS106に処理を進める。
図9は、位置傾斜制御処理の流れを示すフローチャートである。
ここでは、仮想空間内に予め環境オブジェクト、判定オブジェクトが配置されている場合について説明する。
(ステップS120)端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS122に処理を進める。
(ステップS122)端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を変更する。その後、端末装置10は、ステップS124に処理を進める。
(ステップS124)端末装置10は、視線方向を判定オブジェクトの方向とし、ステップS122で特定した位置の仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS126に処理を進める。
視線方向制御モードの視界画像について説明する。
図10は、視線方向制御モードの視界画像を示す図である。
図10に示す視界画像V2には、環境オブジェクトO2と、板状の判定オブジェクトJ2と、十字型の操作点オブジェクトP2と、が表示されている。視界画像V2の例では、環境オブジェクトO2は、木を表現したオブジェクトであるが、人物や他の物体等を表現してよい。また、環境オブジェクトO2と判定オブジェクトJ2とが1つのオブジェクトであってもよい。本実施形態では、視界の中心を注視点としているため、操作点オブジェクトP2は、視界画像の中心に配置される。
図11は、操作点オブジェクトの移動を示す図である。
図11は、仮想空間を鉛直方向上方から観察した様子を模式的に示す図である。図11に示す例において、仮想視点K3からの視線方向は、矢印R31、R32、R33の順に遷移している。初期状態の視線方向R31の場合、視線方向には予め配置されたオブジェクトが存在していない。この場合、注視点は、視線方向から予め定められた距離に設けられる。よって、図11に示す例では、操作点オブジェクトP31は、面L31に配置されている。
図12は、位置傾斜制御モードの視界画像を示す第1図である。
図12に示す視界画像V41には、環境オブジェクトO41と、操作点オブジェクトP41と、が表示されている。視界画像V41は、視線方向制御モードにおいて、環境オブジェクトO41に対応付けられた判定オブジェクトが選択され、位置傾斜制御モードに遷移した場合に表示される。位置傾斜制御モードでは、判定オブジェクトは、表示されたままとしてもよいし、非表示とされてもよい。位置傾斜制御モードでも、判定オブジェクトを表示する場合には、判定オブジェクトを対象オブジェクトとして、仮想視点の位置を変更してもよい。ただし、判定オブジェクトや操作点オブジェクトのように、仮想空間内の環境を表現するオブジェクトではないオブジェクトは、必要時を除いて非表示とすることにより、視界画像の没入感を向上させることができる。
図13に示す視界画像V42は、環境オブジェクトO42と、操作点オブジェクトP42と、が表示されている。環境オブジェクトO42、操作点オブジェクトP42は、それぞれ、視界画像V41の環境オブジェクトO41、操作点オブジェクトP41と同じオブジェクトである。視界画像V42は、視界画像V41が表示されているときに、仮想視点の位置を変更する操作が行われた場合に表示される。視界画像V42の場合は、視界画像V41の場合に比して、仮想視点の位置が環境オブジェクトO41、O42に近いため、環境オブジェクトO41、O42が拡大したように表示される。
まず、端末装置10は、対象オブジェクトの位置に基づいて、対象オブジェクトへの最接近位置xMAXを特定する。最接近位置は、対象オブジェクトが位置する座標であってもよいし、仮想視点の初期位置x0と対象オブジェクトとを結ぶ線分上の座標であって、対象オブジェクトから所定距離離間した座標であってもよい。
以上説明してきたように、本実施形態による端末装置10(表示制御装置の一例)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部12(表示部の一例)に表示させる表示制御部114(表示制御部の一例)と、仮想空間におけるユーザの注視点(操作点の一例)を自装置の方向に関する自装置方向情報に基づいて検出する検出部111(検出部の一例)と、を備え、表示制御部114は、視線方向制御モード(第1設定の一例)の場合には、仮想視点からの視界方向を自装置方向情報に基づいて変更し、注視点を用いて所定の操作が行われた場合には、視線方向制御モードから位置傾斜制御モード(第2設定の一例)に遷移し、位置傾斜制御モードの場合には、仮想空間内における仮想視点の位置を自装置方向情報に基づいて変更する。
これにより、端末装置10は、仮想視点の位置の変化量を、自装置の方向の変化量に連動させる。つまり、ユーザは、端末装置10の傾きを調整することにより、仮想視点の位置を微調整することができる。よって、端末装置10は、HMDの方向情報を用いた仮想視点の位置変更の操作性を向上させることができる。
これにより、視界画像の表示態様から、現在、視線方向制御モードと位置傾斜制御モードのいずれであるかを識別することができる。よって、端末装置10は、ユーザの誤操作を防ぐことができる。例えば、ユーザが、視線方向制御モードの場合に位置傾斜制御モードを想定した操作を行ってしまったり、位置傾斜制御モードの場合に視線方向制御モードを想定した操作を行ってしまったりすることを防ぐことができる。
これにより、端末装置10は、注視点を用いた操作に基づいて、視線方向制御モードから位置傾斜制御モードに遷移する。つまり、端末装置10は、視線方向制御モードから位置傾斜制御モードへの変更においてもHMDの方向情報を利用する。換言すると、視線方向制御モードから位置傾斜制御モードへの変更するために、他の操作子を用意する必要がない。よって、端末装置10は、HMDの操作性を向上させることができる。
これにより、端末装置10は、判定範囲の位置を、仮想視点の位置変更の基準の1つとする。つまり、端末装置10は、位置傾斜制御モードへの遷移に用いた判定範囲を基準として、仮想視点の位置を変更する。そのため、ユーザは、位置傾斜制御モードにおいて、どのような方向に仮想視点の位置を変更可能であるのかを容易に把握できる。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
これにより、端末装置10は、オブジェクトの位置を、仮想視点の位置変更の基準の1つとする。つまり、端末装置10は、位置傾斜制御モードへの遷移に用いた判定範囲に対応するオブジェクトを基準として、仮想視点の位置を変更する。そのため、ユーザは、位置傾斜制御モードにおいて、どのような方向に仮想視点の位置が変更可能であるのかを容易に把握できる。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
ここで、ユーザが仮想視点の位置変更を所望する場合に、意図せずに視界方向が大幅に変更されると、ユーザは、視界画像の変化がどのような要因で行ったのかを把握できない可能性がある。この点、端末装置10は、位置傾斜制御モードにおいて仮想視点の位置を変更する際に、視界方向の変更を制限する。つまり、端末装置10は、仮想視点の位置と視界方向との両方が同時に変更されてしまうことを抑制する。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
特に仮想視点の位置変更の方向がオブジェクトの位置に基づいている場合に、視界方向がオブジェクトの位置と無関係に変更されると、ユーザは、仮想視点の位置を把握しにくくなってしまう可能性がある。この点、端末装置10は、位置傾斜制御モードにおいて仮想視点の位置を変更する際に、オブジェクトの位置に基づいて視界方向の変更を制限する。つまり、端末装置10は、仮想視点の位置を変更する際に、視界方向がオブジェクトの位置と無関係に変更されてしまうこと抑制する。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
これにより、端末装置10は、注視点を用いた操作に基づいて、位置傾斜制御モードを解除する。つまり、端末装置10は、位置傾斜制御モードを解除する際にもHMDの方向情報を利用する。換言すると、視線方向制御モードから位置傾斜制御モードへの変更するために、他の操作子を用意する必要がない。よって、端末装置10は、HMDの操作性を向上させることができる。
これにより、端末装置10は、位置傾斜制御モードの開始時と終了時とで、仮想視点の位置を一致させる。そのため、ユーザは、位置傾斜制御モードを解除すれば、いつでも仮想視点を元の位置に戻すことができる。よって、端末装置10は、位置傾斜制御モードにおける仮想視点の位置変更の操作性を向上させることができる。特に、基本となる仮想視点の位置が存在し、そこから位置を必要に応じて移動し、移動した目的を達成した場合、再び元の視点位置に戻りたいような場面で好適に採用可能である。
〔端末装置10Aの概要〕
本発明の第2の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Aは、端末装置10と同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10は、位置傾斜制御モードを解除する際に、仮想視点を初期位置に戻したが、端末装置10Aは、位置傾斜制御モードを解除する際に、仮想視点の位置を、位置傾斜制御モードを解除時の位置に維持する点が異なる。
図14は、ユーザの視線方向E5の傾きがピッチ方向に変化する場合の仮想視点K5の位置の変化を示す。本実施形態に係る位置傾斜制御モードでは、第1の実施形態に係る位置傾斜制御モードと同様に、実空間におけるピッチ角θrに、仮想視点の位置xを対応付ける。そして、位置傾斜制御モードが解除された場合には、その時点における位置に仮想視点を配置したまま、視線方向制御モードを開始する。
図15は、端末装置10Aの機能構成を示すブロック図である。
端末装置10Aは、端末装置10が備える制御部110に代えて、制御部110Aを備える。制御部110Aは、オブジェクト配置部113、表示制御部114に代えて、オブジェクト配置部113A、表示制御部114Aを備える。
図16は、位置傾斜制御処理の流れを示すフローチャートである。
図16に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS1121)ステップS120の処理の後、端末装置10Aは、仮想視点の位置を変更するか否かを判定する。例えば、端末装置10Aは、上向きにピッチ角θrに所定値以上の変化があった場合には、仮想視点の位置を変更すると判定する。仮想視点の位置を変更する場合(ステップS1121:YES)、端末装置10Aは、ステップS122に処理を進める。仮想視点の位置を変更しない場合(ステップS1121:NO)、端末装置10Aは、ステップS126に処理を進める。これにより、仮想視点の位置を現在位置から変更せずに視線方向制御モードに遷移する場合が生じるため、ユーザは、視線方向制御モードの開始時の位置を変更することができる。
判定オブジェクトの配置について説明する。
本実施形態では、視線方向制御モードの開始時おける仮想視点の位置は可変である。そのため、仮想視点の位置によっては、環境オブジェクトと、その環境オブジェクトに対応付けられている判定オブジェクトとの関係性がわかりにくくなってしまう可能性がある。例えば、視界画像V2の場合、視線方向制御モードにおける仮想視点の位置は一定であったため、環境オブジェクトO2と仮想視点との間に、判定オブジェクトJ2を配置しておけば、環境オブジェクトO2と判定オブジェクトJ2とが対応していることは明確であった。しかしながら、同様の場面で、仮想視点が、環境オブジェクトO2を挟んで裏側に位置した場合には、環境オブジェクトO2の背面に判定オブジェクトJ2が隠れてしまい、判定オブジェクトJ2が見えなくなったり、判定オブジェクトJ2が操作しにくくなってしまったりすることが考えられる。
図17は、判定オブジェクトの移動を示す図である。
図17は、仮想空間を鉛直方向上方から観察した模式図である。図17に示す例では、環境オブジェクトO6が配置されている。また、判定オブジェクトJ61、J62は、環境オブジェクトO6に対応する1つの判定オブジェクトである。この判定オブジェクトは、環境オブジェクトO6の位置から所定距離離間した面L6に配置される。例えば、端末装置10Aは、仮想視点K61の配置の場合には、仮想視点K61と環境オブジェクトO6との間に判定オブジェクトJ61を配置する。また、端末装置10Aは、仮想視点K62の配置の場合には、仮想視点K62と環境オブジェクトO6との間に判定オブジェクトJ62を配置する。つまり、端末装置10Aは、仮想視点から環境オブジェクトO6を観察したときに、常に環境オブジェクトO6の手前側に判定オブジェクトが観察されるように判定オブジェクトを配置する。これにより、どの位置に仮想視点が存在していたとしても、ユーザは、判定オブジェクトを容易に選択することができる。
図18は、視線方向制御モードの視界画像を示す図である。
図18に示す視界画像V7には、複数の判定オブジェクトJ71、J72、J73、操作点オブジェクトP7、環境オブジェクトO7が表示されている。判定オブジェクトJ73は、環境オブジェクトO7に対応付けられているオブジェクトである。判定オブジェクトJ71、J72は、環境オブジェクトに対応付けられていないオブジェクトである。判定オブジェクトJ71、J72は、それぞれ、対象オブジェクトとして選択可能である。このように、端末装置10Aは、複数の判定オブジェクトを仮想空間に配置してよい。
図19は、位置傾斜制御モードにおける仮想視点の移動を示す図である。
図19は、仮想空間を鉛直方向上方から観察した様子を模式的に示す図である。図19に示す例では、4つの判定オブジェクトJ81、J82、J83、J84が仮想空間内に配置されている。端末装置10Aは、位置傾斜制御モードにおいて、仮想視点を各判定オブジェクトに近づくように移動させることができる。例えば、ユーザは、判定オブジェクトJ82を対象オブジェクトとすることにより、仮想視点を位置K81から位置K82に移動させることができる。また、ユーザは、判定オブジェクトJ83を対象オブジェクトとすることにより、仮想視点を位置K82から位置K83へとさらに移動させることができる。このように、3つの判定オブジェクトが配置された場合には、ユーザは、仮想視点を、その3つの判定オブジェクトを外縁とする領域内で2次元的に移動させることができる。また、4つの判定オブジェクトが配置された場合には、ユーザは、仮想視点を、その4つの判定オブジェクトを外縁とする空間内で3次元的に移動させることができる。
以上説明してきたように、本実施形態による端末装置10A(表示制御装置の一例)において、表示制御部114Aは、位置傾斜制御モードを解除した場合に、仮想視点の位置を、位置傾斜制御モードが解除されたときの位置に維持する。
〔端末装置10Bの概要〕
本発明の第3の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Bは、端末装置10と同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10は、位置傾斜制御モードにおいて仮想視点の位置を変更したが、端末装置10Bは、位置傾斜制御モードにおいて対象オブジェクトの位置を変更する点が異なる。
図20は、ユーザの頭部E9の傾きがロール方向に変化する場合の仮想視点K9と対象オブジェクトO9との位置関係の変化を示す。本実施形態に係る位置傾斜制御モードでは、実空間におけるロール角φrに、仮想視点とオブジェクトとの間の距離を対応付ける。以下では、仮想視点とオブジェクトとの間の距離を、対象距離lともいう。例えば、実空間におけるロール角φrが0からπ/12に変化した場合、仮想視点K9とオブジェクトO9との間の対象距離lは、初期距離l0から中間距離(l0−lMIN)/2に変化する。ここで、端末装置10Bは、仮想視点K9の位置を変えずにオブジェクトO9の位置を変えることにより対象距離lを変更してもよいし、仮想視点K9の位置とオブジェクトO9の位置との両方を変えることにより対象距離lを変更してもよい。そして、ロール角φrがπ/6である場合には、対象距離lを、所定の最小値(最接近距離)lMINとする。
図21は、端末装置10Bの機能構成を示すブロック図である。
端末装置10Bは、端末装置10が備える制御部110に代えて、制御部110Bを備える。制御部110Bは、表示制御部114に代えて、表示制御部114Bを備える。
図22は、位置傾斜制御処理の流れを示すフローチャートである。
図22に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS2122)ステップS120の処理の後、端末装置10Bは、方向情報に基づいて仮想空間における対象オブジェクトの位置を変更する。ここで、端末装置10Bは、仮想視点の位置を変更してもよいし、変更しなくてもよい。その後、端末装置10Bは、ステップS124に処理を進める。
以上説明してきたように、本実施形態による端末装置10B(表示制御装置の一例)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示部に表示させる表示制御部114B(表示制御部の一例)を備え、表示制御部114Bは、視線方向制御モード(第1設定の一例)の場合には、仮想視点からの視界方向を自装置の方向に関する自装置方向情報に基づいて変更し、位置傾斜制御モード(第2設定の一例)の場合には、仮想視点と仮想空間内に配置されたオブジェクトとの位置関係を自装置方向情報に基づいて変更し、位置傾斜制御モードの場合には、仮想視点と仮想空間内に配置されたオブジェクトとの位置関係を、ロール方向(視界方向を軸とした回転方向の一例)における自装置の方向に基づいて変更する。
また、表示制御部114Bは、位置傾斜制御モードの場合に、仮想視点に対するオブジェクトの位置を、回転方向における自装置の方向に基づいて変更する。
また、表示制御部114Bは、位置傾斜制御モードの場合に、仮想視点とオブジェクトとの距離を、回転方向における自装置の方向に基づいて変更する。
これにより、端末装置10Bは、仮想視点とオブジェクトとの位置関係の変化量を、自装置のロール角に連動させる。つまり、ユーザは、端末装置10Bのロール角を調整することにより、仮想視点とオブジェクトの位置関係を微調整することができる。よって、端末装置10Bは、HMDの方向情報を用いた仮想視点とオブジェクトとの位置関係の変更の操作性を向上させることができる。
これにより、端末装置10Bは、操作点と判定範囲との位置関係について所定の条件が満たされた場合に、視線方向制御モードから位置傾斜制御モードに設定を遷移する。そのため、ユーザは、視線方向制御モードから位置傾斜制御モードに遷移させるためには、操作点を判定範囲に対して操作すればよい。つまり、端末装置10Bは、視線方向制御モードから位置傾斜制御モードへの変更においてもHMDの方向情報を利用するため、操作性を向上させることができる。
〔端末装置10Cの概要〕
本発明の第4の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Cは、端末装置10Bと同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10Bは、位置傾斜制御モードにおいて対象オブジェクトの位置を変更したが、端末装置10Cは、位置傾斜制御モードにおいての対象オブジェクトの傾きを変更する点が異なる。
図23は、ユーザの頭部E10の傾きがロール方向に変化する場合の仮想視点K10と対象オブジェクトO10との位置関係の変化を示す。本実施形態に係る位置傾斜制御モードでは、実空間におけるロール角φrに、対象オブジェクトの傾きを対応付ける。以下では、対象オブジェクトのロール方向における角度を対象ロール角φOということがある。例えば、端末装置10Cは、実空間におけるロール角φrがπ/12である場合、対象ロール角φOを−π/12とする。つまり、端末装置10Cは、実空間におけるロール方向の変化とは逆向きの方向に、対象オブジェクトO10の方向を変化させる。なお、対象オブジェクトO10の変化方向は、実空間における変化方向の逆向きではなく、同じ向きとしてもよい。また、端末装置10Cは、仮想視点K10の視界方向を、実空間におけるロール方向と同様にπ/12変化させてよい。この場合、視界方向のロール角と対象オブジェクトのロール角の差は、π/6になる。同様に、実空間におけるロール角φrがπ/6である場合、端末装置10Cは、対象オブジェクトO10の対象ロール角φOを−π/6とする。
図24は、端末装置10Cの機能構成を示すブロック図である。
端末装置10Cは、端末装置10Bが備える制御部110Bに代えて、制御部110Cを備える。制御部110Cは、表示制御部114Bに代えて、表示制御部114Cを備える。
表示制御部114Cは、表示制御部114Bと同様の処理を実行する。ただし、表示制御部114Cは、ロール角φrに応じて、対象ロール角φOを変更する。
図25は、位置傾斜制御処理の流れを示すフローチャートである。
図25に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS3122)ステップS120の処理の後、端末装置10Cは、方向情報に基づいて仮想空間における対象オブジェクトの位置を変更する。ここで、端末装置10Cは、仮想視点の位置を変更してもよいし、変更しなくてもよい。その後、端末装置10Cは、ステップS124に処理を進める。
図26は、視線方向制御モードの視界画像を示す図である。
図26に示す視界画像V111には、環境オブジェクトO111と、判定オブジェクトJ11と、操作点オブジェクトP11とが配置されている。環境オブジェクトO111と、判定オブジェクトJ11とは、対応付けられている。
図27は、位置傾斜制御モードの視界画像を示す図である。
図27に示す視界画像V112は、視界画像V111において、判定オブジェクトJ11が選択された場合の位置傾斜制御モードの視界画像である。環境オブジェクトO112は、視界画像V111における環境オブジェクトO111と同じオブジェクトである。視界画像V112では、端末装置10Cの実空間でのロール角φrに応じて、視界方向がロール方向にφr傾斜している。そのため、視界画像V112では、環境オブジェクトO111の背景がロール方向に−φr傾斜している。ただし、この背景は、仮想空間においては傾斜していない。また、視界画像V112では、環境オブジェクトO112が仮想空間において−φr傾斜している。そのため、視界画像では、環境オブジェクトO112は、−2×φr傾斜しているように表示される。
以上説明してきたように、本実施形態による端末装置10C(表示制御装置の一例)において、表示制御部114C(表示制御部の一例)は、位置傾斜制御モード(第2設定の一例)の場合には、オブジェクトを、ロール方向(回転方向の一例)における自装置の方向に基づいて、ロール方向において回転させる。
〔端末装置10Dの概要〕
本発明の第5の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Dは、端末装置10B、10Cと同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10B、10Cは、位置傾斜制御モードにおいて対象オブジェクトの位置又は傾きを変更したのに対して、端末装置10Dは、位置傾斜制御モードにおいて仮想視点と対象オブジェクトとの間の距離と、仮想視点と対象オブジェクトとの相対的な傾きとの両方を変更する点が異なる。
図28は、ユーザの頭部E12の傾きがロール方向に変化する場合の仮想視点K12と対象オブジェクトO12との位置関係の変化を示す。本実施形態に係る位置傾斜制御モードでは、実空間におけるロール角φrに、距離lΔと差分ロール角φΔとを対応付ける。距離lΔは、仮想視点と対象オブジェクトとの距離である。差分ロール角φΔは、視界方向と対象オブジェクトとのロール角の差分である。例えば、端末装置10Dは、実空間におけるロール角φrがπ/12である場合、距離lΔを初期距離l0と最接近距離lMINとの中間(l0−lMIN)/2とするとともに差分ロール角φΔをπ/6とする。また、例えば、端末装置10Dは、実空間におけるロール角φrがπ/6である場合、距離lΔを最接近距離lMINとするとともに差分ロール角φΔをπ/3とする。
図29は、端末装置10Dの機能構成を示すブロック図である。
端末装置10Dは、端末装置10が備える制御部110に代えて、制御部110Dを備える。制御部110Dは、表示制御部114に代えて、表示制御部114Dを備える。
表示制御部114Dは、表示制御部114と同様の処理を実行する。ただし、表示制御部114Dは、ロール角φrに応じて、距離lΔと、差分ロール角φΔとを変更する。
図30は、位置傾斜制御処理の流れを示すフローチャートである。
図30に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS4122)ステップS120の処理の後、端末装置10Dは、方向情報に基づいて仮想空間における仮想視点と対象オブジェクトとの距離を変更する。また、端末装置10Dは、方向情報に基づいて仮想空間における視界方向のロール方向の傾きと対象オブジェクトのロール方向の傾きとを、逆方向に変更する。その後、端末装置10Dは、ステップS124に処理を進める。
図31は、位置傾斜制御モードの視界画像を示す図である。
図31に示す視界画像V113は、視界画像V111において、判定オブジェクトJ11が選択された場合の位置傾斜制御モードの視界画像である。環境オブジェクトO113は、視界画像V111における環境オブジェクトO111と同じオブジェクトである。視界画像V113では、視界画像V112と同様に、端末装置10Dの実空間でのロール角φrに応じて、環境オブジェクトO113が−2×φr傾斜しているように表示される。また、視界画像V113では、環境オブジェクトO113と仮想視点との距離lΔがロール角φrに応じて小さくなっているため、視界画像V112に比して、環境オブジェクトO113が大きく表示される。
以上説明してきたように、本実施形態による端末装置10D(表示制御装置の一例)において、表示制御部114D(表示制御部の一例)は、位置傾斜制御モード(第2設定の一例)の場合には、オブジェクトを、ロール方向(回転方向の一例)における自装置の方向に基づいて、回転方向において回転させ、仮想視点とオブジェクトとの距離を、ロール方向における自装置の方向に基づいて変更する。
〔端末装置10Eの概要〕
本発明の第6の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Eは、端末装置10と同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10は、位置傾斜制御モードにおいて、仮想視点から対象オブジェクトの方向に仮想視点の位置を変更したが、端末装置10Eは、位置傾斜制御モードにおいて他の方向にも仮想視点の位置を変更可能である点が異なる。
図32は、仮想空間を鉛直方向上方から観察した様子を模式的に示す図である。図32に示す例では、判定オブジェクトJ13が仮想空間に配置されている。ここで、端末装置10は、仮想視点が位置K131に配置されているときに、ピッチ方向の変化を検出すると、初期位置から判定オブジェクトJ13の方向において仮想視点の位置を変更した。これに対して、端末装置10Eは、ヨー方向の変化を検出すると、判定オブジェクトJ13との距離を保ったまま、判定オブジェクトJ13に対して回り込むように仮想視点を移動させる。例えば、ユーザの頭部が右方向に向いた場合、仮想視点を位置K131から位置K132へと、判定オブジェクトJ13に対して左から回り込むように移動させる。ただし、位置K132への移動においても、視線方向は、判定オブジェクトJ13を向いたままとする。
図33は、端末装置10Eの機能構成を示すブロック図である。
端末装置10Eは、端末装置10が備える制御部110に代えて、制御部110Eを備える。制御部110Eは、表示制御部114に代えて、表示制御部114Eを備える。
表示制御部114Eは、表示制御部114と同様の処理を実行する。ただし、表示制御部114Eは、ヨー角ψrに応じて、仮想視点の位置を変更する。
例えば、表示制御部114Eは、ヨー角ψrの範囲(0≦ψr≦ψMAX)と判定オブジェクトの位置を中心とした鉛直方向周りの回転角ψv(0≦ψv≦ψvMAX)とを対応付ける。これにより、表示制御部114Eは、自装置のヨー方向の傾きの変化に応じて、判定オブジェクト周りにおいて仮想視点の位置を変更することができる。
以上説明してきたように、本実施形態による端末装置10E(表示制御装置の一例)において、表示制御部114E(表示制御部の一例)は、位置傾斜制御モード(第2設定の一例)の場合において、自装置の方向が実空間のピッチ方向(第1実方向の一例)において変化した場合に、仮想視点の位置を仮想空間のオブジェクトが存在する方向(第1仮想方向の一例)において変更し、自装置の方向がピッチ方向とは異なるヨー方向(第2実方向の一例)において変化した場合に、仮想視点の位置をオブジェクトが存在する方向とは異なる、オブジェクトに回り込む方向(第2仮想方向の一例)において変更する。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1〜6の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第1〜6の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
Claims (12)
- 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記第2設定の場合に、所定の方向における自装置の方向の変化量に応じて、前記仮想視点の位置を変更する
表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記第1設定と前記第2設定とで、前記視界画像の少なくとも一部の表示態様を異ならせる
表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記操作点と前記仮想空間における所定の判定範囲との位置関係に基づく所定の条件が満たされた場合に、前記第1設定から前記第2設定に遷移する
表示制御装置。 - 前記表示制御部は、
前記第2設定の場合に、前記仮想空間内における前記仮想視点の位置を、前記判定範囲の位置と前記仮想視点の位置とに基づく方向において変更する
請求項3に記載の表示制御装置。 - 前記判定範囲は、前記仮想空間内に配置されたオブジェクトに対応付けられており、
前記表示制御部は、
前記第2設定の場合に、前記仮想空間内における前記仮想視点の位置を、前記オブジェクトの位置と前記仮想視点の位置とに基づく方向において変更する
請求項3に記載の表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記第2設定の場合には、前記視界方向の変更を制限する
表示制御装置。 - 前記表示制御部は、
前記第2設定の場合には、前記視界方向の変更を、オブジェクトの位置に基づいて制限する
請求項6に記載の表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記第2設定の場合に、前記操作点を用いて所定の操作が行われた場合には、前記第2設定を解除する
表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記第2設定に遷移して前記第2設定を解除した場合には、前記仮想視点の位置を、前記第2設定に遷移したときの位置に戻す
表示制御装置。 - 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部に表示させる表示制御部と、
前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部と、
を備え、
前記表示制御部は、
第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、
前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、
前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更し、
前記第2設定を解除した場合に、前記仮想視点の位置を、前記第2設定が解除されたときの位置に維持する
表示制御装置。 - 前記表示制御部は、
前記第2設定の場合において、
自装置の方向が実空間の第1実方向において変化した場合に、前記仮想視点の位置を前記仮想空間の第1仮想方向において変更し、
自装置の方向が前記第1実方向とは異なる第2実方向において変化した場合に、前記仮想視点の位置を前記第1仮想方向とは異なる第2仮想方向において変更する
請求項1から請求項10までのいずれか一項に記載の表示制御装置。 - コンピュータを、請求項1から請求項11までのいずれか一項の表示制御装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017047561A JP6582302B2 (ja) | 2017-03-13 | 2017-03-13 | 表示制御装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017047561A JP6582302B2 (ja) | 2017-03-13 | 2017-03-13 | 表示制御装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019146808A Division JP2019220203A (ja) | 2019-08-08 | 2019-08-08 | 表示制御装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018151855A JP2018151855A (ja) | 2018-09-27 |
JP6582302B2 true JP6582302B2 (ja) | 2019-10-02 |
Family
ID=63681709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017047561A Active JP6582302B2 (ja) | 2017-03-13 | 2017-03-13 | 表示制御装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6582302B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7210153B2 (ja) * | 2018-04-04 | 2023-01-23 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP6801138B1 (ja) * | 2020-07-16 | 2020-12-16 | 株式会社バーチャルキャスト | 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07271546A (ja) * | 1994-03-31 | 1995-10-20 | Olympus Optical Co Ltd | 画像表示制御方法 |
JP6329343B2 (ja) * | 2013-06-13 | 2018-05-23 | 任天堂株式会社 | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 |
KR20160033376A (ko) * | 2014-09-18 | 2016-03-28 | (주)에프엑스기어 | 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 |
JP6250592B2 (ja) * | 2015-06-02 | 2017-12-20 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム |
-
2017
- 2017-03-13 JP JP2017047561A patent/JP6582302B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018151855A (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108780360B (zh) | 虚拟现实导航 | |
US9628783B2 (en) | Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display | |
EP3548988B1 (en) | Switching of active objects in an augmented and/or virtual reality environment | |
CN108369449B (zh) | 第三方全息门户 | |
CN108073276B (zh) | 增强和/或虚拟现实环境的拖拽虚拟元件 | |
JP5767386B1 (ja) | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム | |
EP3792733A1 (en) | Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment | |
US10635259B2 (en) | Location globe in virtual reality | |
JP4413203B2 (ja) | 画像呈示装置 | |
JP6332652B1 (ja) | 表示制御装置、及びプログラム | |
TW202105129A (zh) | 具有用於閘控使用者介面元件的個人助理元件之人工實境系統 | |
US20220291744A1 (en) | Display processing device, display processing method, and recording medium | |
JP2021535824A (ja) | 視角回転の方法、装置及びコンピュータプログラム | |
JP6582302B2 (ja) | 表示制御装置及びプログラム | |
JP2018041180A (ja) | 仮想空間表示システム | |
JP6746835B2 (ja) | 表示制御装置及びプログラム | |
JP2019220203A (ja) | 表示制御装置及びプログラム | |
JP6623362B2 (ja) | 表示制御装置及びプログラム | |
JP6347375B1 (ja) | 表示制御装置、及びプログラム | |
JP2018195172A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP6788294B2 (ja) | 表示制御装置及びプログラム | |
JP6788295B2 (ja) | 表示制御装置及びプログラム | |
JP6275809B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP6403843B1 (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP2017054320A (ja) | Hmd装置におけるセンサー類を用いたユーザーインタフェースプログラムと広告および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180319 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6582302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |