JP5074827B2 - Image presentation apparatus and method - Google Patents

Image presentation apparatus and method Download PDF

Info

Publication number
JP5074827B2
JP5074827B2 JP2007147418A JP2007147418A JP5074827B2 JP 5074827 B2 JP5074827 B2 JP 5074827B2 JP 2007147418 A JP2007147418 A JP 2007147418A JP 2007147418 A JP2007147418 A JP 2007147418A JP 5074827 B2 JP5074827 B2 JP 5074827B2
Authority
JP
Japan
Prior art keywords
image
display
user
attribute
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007147418A
Other languages
Japanese (ja)
Other versions
JP2008299760A (en
JP2008299760A5 (en
Inventor
真和 藤木
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007147418A priority Critical patent/JP5074827B2/en
Publication of JP2008299760A publication Critical patent/JP2008299760A/en
Publication of JP2008299760A5 publication Critical patent/JP2008299760A5/ja
Application granted granted Critical
Publication of JP5074827B2 publication Critical patent/JP5074827B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は3次元仮想空間の画像を提示する技術に関し、特に提示する情報を制御する方法に関する。   The present invention relates to a technique for presenting an image of a three-dimensional virtual space, and more particularly to a method for controlling information to be presented.

3次元仮想空間の画像を提示する装置に関して、従来より観察者の属性に応じて提示する仮想情報を制御する技術があった。例えば、特許文献1では、観察者の身長に基づいて、異なる身長の視覚を再現する(大人に対して子供の視界を提示する)技術が提案されている。
特開平5−282279号公報
With regard to an apparatus for presenting an image in a three-dimensional virtual space, there has conventionally been a technique for controlling virtual information to be presented according to an attribute of an observer. For example, Patent Document 1 proposes a technique for reproducing the sight of different heights based on the height of an observer (presenting a child's field of view to an adult).
JP-A-5-282279

上記の従来技術のように、装置利用者の属性のみに依存する制御方法では、利用者に提示する内容を最適に制御することができなかった。例えば、機密の3次元形状データを頭部装着型ディスプレイ(以下、HMDと呼ぶ)、または液晶モニタなど通常の2次元ディスプレイ(以下、2Dディスプレイと呼ぶ)で観察する場合を考える。装置の利用者は機密データを観察することが許可されている関係者、または観察の権限がない部外者であるとする。   As in the prior art described above, the control method that depends only on the attributes of the device user cannot optimally control the content presented to the user. For example, consider a case where confidential three-dimensional shape data is observed on a head-mounted display (hereinafter referred to as an HMD) or a normal two-dimensional display such as a liquid crystal monitor (hereinafter referred to as a 2D display). Assume that the user of the device is a party authorized to observe confidential data or an outsider who does not have the authority to observe.

関係者が2Dディスプレイで形状データを観察するとき、装置利用者の属性(=関係者)のみを考慮して機密データをディスプレイに提示すると、部外者がディスプレイを覗き見て、機密情報が漏えいする危険性がある。したがって、2Dディスプレイを使用する場合は、観察者が関係者であっても提示するデータを制限しなければならない。一方、HMDは観察者以外の人間が提示画像を見ることが困難なので、観察者が関係者であれば安全に機密情報を提示できる。   When interested parties observe shape data on a 2D display, if confidential data is presented on the display considering only the attributes of the device user (= related party), outsiders will look into the display and leak confidential information. There is a risk of doing. Therefore, when a 2D display is used, data to be presented must be limited even if the observer is a participant. On the other hand, since it is difficult for a person other than the observer to see the presented image, the HMD can safely present confidential information if the observer is a related person.

この例のように、提示する情報を最適に制御する(上述の例でいえば、関係者が機密情報にアクセスできる利便性と、部外者に情報が漏えいしないようにする安全性を両立する)ためには、利用者の属性とデバイスの属性を複合的に勘案する必要がある。しかしながら、従来はこのような技術は存在しなかった。   As shown in this example, the information to be presented is optimally controlled (in the above example, both the convenience for the parties to access the confidential information and the safety to prevent the information from leaking to outsiders) Therefore, it is necessary to consider user attributes and device attributes in combination. However, there has been no such technique in the past.

本発明は、上記の課題に鑑みてなされたものであり、利用者および表示装置の組み合わせに応じて、表示装置による利用者への情報の提示を制御することが可能な画像提示装置及び方法を提供することを目的とする。   The present invention has been made in view of the above problems, and provides an image presentation apparatus and method capable of controlling the presentation of information to a user by a display device in accordance with the combination of the user and the display device. The purpose is to provide.

上記の目的を達成するため本発明の一態様による画像提示装置は以下の構成を備える。すなわち、
表示装置を用いて画像を提示する画像提示装置であって、
ユーザの認証情報に基づいてユーザ属性を取得するユーザ属性取得手段と、
画像の表示に用いる表示装置の機器情報に基づいて前記表示装置のデバイス属性を取得するデバイス属性取得手段と、
表示装置で画像を閲覧するための複数の閲覧権限レベルの中から、前記ユーザ属性取得手段と前記デバイス属性取得手段によって取得されたユーザ属性とデバイス属性組み合わせに応じた閲覧権限レベルを設定するレベル設定手段と
予め用意された前記表示装置による表示内容及び表示動作の少なくともいずれかを示す表示すべき情報のうち、前記設定された閲覧権限レベルに対応する表示すべき情報の画像を生成する画像生成手段と
前記生成された画像を表示装置に提示する制御を行う提示制御手段と
を備える。
In order to achieve the above object, an image presentation apparatus according to an aspect of the present invention has the following arrangement. That is,
An image presentation device that presents an image using a display device,
User attribute acquisition means for acquiring a user attribute based on user authentication information;
Device attribute acquisition means for acquiring a device attribute of the display device based on device information of the display device used for displaying an image;
Level setting from a plurality of viewing authority level for viewing an image on the display device, the viewing authority level corresponding to a combination of user attributes and device attributes acquired by the user attribute acquiring unit and the device attribute obtaining means Setting means ;
Image generating means for generating an image of information to be displayed corresponding to the set viewing authority level, out of information to be displayed indicating at least one of display contents and display operation by the display device prepared in advance ;
Presentation control means for performing control of presenting the generated image on a display device .

また、上記の目的を達成するため本発明の他の態様による画像提示方法は、
表示装置を用いて画像を提示する画像提示装置が行う画像提示方法であって、
前記画像提示装置のユーザ属性手段が、ユーザの認証情報に基づいてユーザ属性を取得するユーザ属性取得工程と、
前記画像提示装置のデバイス属性取得手段が、画像の表示に用いる表示装置の機器情報に基づいて前記表示装置のデバイス属性を取得するデバイス属性取得工程と、
前記画像提示装置のレベル設定手段が、表示装置で画像を閲覧するための複数の閲覧権限レベルの中から、前記ユーザ属性取得工程と前記デバイス属性取得工程によって取得されたユーザ属性とデバイス属性組み合わせに応じた閲覧権限レベルを設定するレベル設定手段と
前記画像提示装置の画像生成手段が、予め用意された前記表示装置による表示内容及び表示動作の少なくともいずれかを示す表示すべき情報のうち、前記設定された閲覧権限レベルに対応する表示すべき情報の画像を生成する画像生成工程と
前記画像提示装置の提示制御手段が、前記生成された画像を表示装置に提示する制御を行う提示制御工程と
有する
In order to achieve the above object, an image presentation method according to another aspect of the present invention includes:
An image presentation method performed by an image presentation device that presents an image using a display device,
A user attribute acquisition step in which the user attribute means of the image presentation device acquires a user attribute based on user authentication information;
A device attribute acquisition unit that acquires the device attribute of the display device based on device information of the display device used by the device attribute acquisition unit of the image presentation device;
A combination of the user attribute and the device attribute acquired by the user attribute acquisition step and the device attribute acquisition step from a plurality of browsing authority levels for the level setting means of the image presentation device to browse the image on the display device Level setting means for setting the viewing authority level according to
Information to be displayed corresponding to the set viewing authority level among information to be displayed by the image generation means of the image presentation device indicating at least one of display content and display operation by the display device prepared in advance. An image generation process for generating an image of
Presentation control means of the image display device has a <br/> a presentation control step of performing control for presenting the generated image to the display device.

本発明によれば、利用者および表示装置の組み合わせに応じて、表示装置による利用者への情報の提示を制御することが可能となる。特に3次元仮想空間の画像を提示する装置に適用することにより、セキュリティや観察者の健康への影響等を考慮した画像の提示を行うことができるようになる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to control presentation of the information to a user by a display apparatus according to the combination of a user and a display apparatus. In particular, by applying the present invention to an apparatus that presents an image in a three-dimensional virtual space, it becomes possible to present an image in consideration of security, the influence on the health of the observer, and the like.

以下、添付の図面を参照して本発明の好適な実施形態について詳細に解説する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

<第1実施形態>
第1実施形態では、3次元形状データのセキュリティを確保するために、ユーザ及びユーザがデータを観察するために使用するディスプレイデバイスの属性に応じて表示する内容を制御する例を示す。なお、本実施形態で表示する3次元形状モデルは設計中の自動車のもので、極秘のパーツが含まれているものとする。
<First Embodiment>
In the first embodiment, in order to ensure the security of the three-dimensional shape data, an example in which the content to be displayed is controlled according to the attribute of the user and the display device used for the user to observe the data will be described. It is assumed that the three-dimensional shape model displayed in the present embodiment is that of the automobile under design and includes top-secret parts.

また、このモデルを観察するユーザとしては社員と協力会社の社員が想定されるが、セキュリティ確保のため、社員以外には形状の詳細を見せない。さらに、極秘パーツについては社員であっても、一部の社員(例えば、役職者)のみが観察できるとする。   In addition, the user who observes this model is assumed to be an employee and an employee of a cooperating company, but in order to ensure security, the details of the shape are not shown except for the employee. Further, it is assumed that only a part of employees (for example, managers) can observe the top secret parts even if they are employees.

また、表示デバイスには頭部装着型ディスプレイ(HMD)と通常の2次元ディスプレイ(2Dディスプレイ)を用いる。HMDを使用する場合は、HMDを装着しているユーザのみが画像を観察できる。一方、2Dディスプレイは主たる使用者以外も画面を見ることは可能なので、HMDよりもセキュリティに配慮して表示する情報を制限しなければならない。なお、モデルを観察する際の操作(モデルの移動・回転など)は外部業者の社員が2Dディスプレイを見ながら行うものとする。   As the display device, a head-mounted display (HMD) and a normal two-dimensional display (2D display) are used. When using the HMD, only the user wearing the HMD can observe the image. On the other hand, since the 2D display can be viewed by a screen other than the main user, information to be displayed must be limited in consideration of security rather than the HMD. It should be noted that an operation of observing a model (model movement / rotation, etc.) is performed by an employee of an outside contractor while viewing the 2D display.

以上のような背景から、本実施形態では、ユーザの属性として所属(社員/外部業者社員)および役職の有無、デバイスの属性として表示デバイスの種類(HMD/2Dディスプレイ)に基づいて表示する内容を制御する。   From the background as described above, in the present embodiment, the contents to be displayed based on the type of display device (HMD / 2D display) as the attribute of the device and the presence / absence of the post as the user attribute and the attribute of the device in the present embodiment. Control.

図1は、第1実施形態における画像提示装置の表示内容の制御の例を示す図である。図1に示されるように、社員かつ役職者は、HMDで極秘パーツを含むモデル全体の詳細形状を、2Dディスプレイで極秘部分を除くモデルの簡易形状を観察できる。また、社員かつ非役職者は、HMDで極秘パーツを除くモデルの詳細形状を、2Dディスプレイで極秘部分を除くモデルの簡易形状を観察できる。更に、外部業者の社員が観察する場合、HMDではモデルを表示せず、2Dディスプレイで簡略化した形状のみを表示する。ここで簡略化した形状を表示するのは、モデルの操作結果を確認するのに最低限の情報が必要だからである。   FIG. 1 is a diagram illustrating an example of display content control of the image presentation device according to the first embodiment. As shown in FIG. 1, employees and managers can observe the detailed shape of the entire model including the top secret parts with the HMD and the simple shape of the model excluding the top secret parts with the 2D display. In addition, employees and non-executives can observe the detailed shape of the model excluding the top secret parts with the HMD and the simple shape of the model excluding the top secret part with the 2D display. Further, when an employee of an outside contractor observes, the HMD does not display a model but displays only a simplified shape on a 2D display. The reason why the simplified shape is displayed here is that a minimum amount of information is required to confirm the operation result of the model.

上記のように本実施形態では、ユーザ属性およびデバイス属性に基づいて、データを秘匿する度合いを制御する。以下では、このデータ秘匿の度合いを「セキュリティレベル」と呼ぶ5段階の数値(秘匿の度合が低い:1〜秘匿の度合が高い:5)で表すこととする。すなわち、各セキュリティレベルに相当する表示状態は下記のようになる。
・セキュリティレベル=1:極秘パーツを含む詳細形状、
・セキュリティレベル=2:極秘パーツを除く詳細形状、
・セキュリティレベル=3:極秘パーツを除く簡易形状、
・セキュリティレベル=4:簡略形状、
・セキュリティレベル=5:表示しない。
As described above, in the present embodiment, the degree of data concealment is controlled based on the user attribute and the device attribute. In the following, this degree of data secrecy is represented by a five-stage numerical value called “security level” (the degree of secrecy is low: 1 to the degree of secrecy is high: 5). That is, the display state corresponding to each security level is as follows.
・ Security level = 1: Detailed shape including top secret parts,
・ Security level = 2: Detailed shape excluding top secret parts,
-Security level = 3: Simple shape excluding top secret parts,
-Security level = 4: Simplified shape,
-Security level = 5: Not displayed.

次に、本実施形態による画像提示装置の構成の概要を図2を参照して説明する。   Next, an outline of the configuration of the image presentation apparatus according to the present embodiment will be described with reference to FIG.

図2において、201はユーザ属性取得部であり、ディスプレイ(図2ではヘッドマウントディスプレイ(HMD)205)より出力される個人認証データ、すなわちユーザの認証情報を入力としてユーザの属性を取得する。202はデバイス属性取得部であり、例えばディスプレイ(図2ではヘッドマウントディスプレイ(HMD)205)から出力されるディスプレイの型式を表す信号(ディスプレイ識別信号)を入力として、デバイスの属性を取得する。すなわち、デバイス属性取得部202は、画像の表示に用いる表示装置の機器情報に基づいて当該表示装置の属性を取得する。   In FIG. 2, reference numeral 201 denotes a user attribute acquisition unit that acquires user attributes by inputting personal authentication data output from a display (head mounted display (HMD) 205 in FIG. 2), that is, user authentication information. A device attribute acquisition unit 202 receives, for example, a signal (display identification signal) representing a display type output from a display (a head-mounted display (HMD) 205 in FIG. 2) as an input, and acquires device attributes. That is, the device attribute acquisition unit 202 acquires the attribute of the display device based on the device information of the display device used for image display.

203は提示情報制御部であり、ユーザ属性取得部201およびデバイス属性取得部202で取得されたユーザ属性およびデバイス属性に基づいてユーザに提示する情報を決定する。204は画像生成部であり、提示情報制御部203にて決定された内容を反映した画像を作成し、ディスプレイ(図2ではヘッドマウントディスプレイ205)に出力する。すなわち、提示情報制御部203、画像生成部204は、ユーザ属性取得部201及びデバイス属性取得部202から得られるユーザ属性とデバイス属性を含む属性の組み合わせに基づいて、表示装置による表示内容を変更するものである。例えば、後述のように、表示装置がHMDであった場合と2Dディスプレイであった場合とで、その表示内容が変更される。従って、本校正で用いられるディスプレイは画像生成部204から出力された画像を表示する機能の他に、観察者を特定するための個人認証データを出力する機能、およびディスプレイ識別信号を出力する機能を備えている。   A presentation information control unit 203 determines information to be presented to the user based on the user attributes and device attributes acquired by the user attribute acquisition unit 201 and the device attribute acquisition unit 202. An image generation unit 204 creates an image reflecting the content determined by the presentation information control unit 203 and outputs the image to a display (the head mounted display 205 in FIG. 2). That is, the presentation information control unit 203 and the image generation unit 204 change the display content by the display device based on the combination of the user attribute and the attribute including the device attribute obtained from the user attribute acquisition unit 201 and the device attribute acquisition unit 202. Is. For example, as will be described later, the display contents are changed depending on whether the display device is an HMD or a 2D display. Therefore, in addition to the function of displaying the image output from the image generation unit 204, the display used in this calibration has a function of outputting personal authentication data for specifying an observer and a function of outputting a display identification signal. I have.

さらに画像提示装置の構成の詳細を図3に示す。なお、本実施形態の画像提示装置は、汎用のコンピュータ等の情報処理装置によっても実現され得る。   Furthermore, the detail of a structure of an image presentation apparatus is shown in FIG. Note that the image presentation apparatus of the present embodiment can also be realized by an information processing apparatus such as a general-purpose computer.

図3において、301はCPUであり、装置全体の動作を制御する。302はメモリであり、CPU301の動作に用いるプログラムやデータを格納する。図2に示した各部はCPU301がメモリ302に格納されているプログラムを実行することにより実現される。303はバスであり、各構成モジュール間のデータ転送を司る。304はインターフェースであり、バス303と各種装置とを接続する。305は外部記憶装置であり、CPU301に読み込むプログラムやデータを格納する。306はキーボード、307はマウスであり、プログラムの起動や、プログラムの動作をユーザが指定するための入力装置を構成する。表示部308はプロセスの動作結果を表示する。表示部308はHMDもしくは2Dディスプレイであり、HMDおよび2Dディスプレイのいずれにも指紋情報取得部309が取付けられている。指紋情報取得部309も表示部308などと同様にインターフェース304に接続されており、装置を使用する者が指を接触させたときに、その人物の指紋の形状を読み取って、個人認証データとして装置に入力する。なお、後述するように装置の使用者の指紋から、その人物が登録ユーザとして認証されない限り3次元仮想空間の画像は表示されない。したがって、装置使用者は画像の観察に先立って、必ず指紋情報を入力しなければならない。   In FIG. 3, reference numeral 301 denotes a CPU which controls the operation of the entire apparatus. A memory 302 stores programs and data used for the operation of the CPU 301. Each unit illustrated in FIG. 2 is realized by the CPU 301 executing a program stored in the memory 302. Reference numeral 303 denotes a bus, which controls data transfer between each component module. An interface 304 connects the bus 303 and various devices. Reference numeral 305 denotes an external storage device that stores programs and data to be read into the CPU 301. Reference numeral 306 denotes a keyboard, and reference numeral 307 denotes a mouse, which constitutes an input device for the user to specify program activation and program operation. The display unit 308 displays the operation result of the process. The display unit 308 is an HMD or a 2D display, and a fingerprint information acquisition unit 309 is attached to both the HMD and the 2D display. The fingerprint information acquisition unit 309 is also connected to the interface 304 in the same manner as the display unit 308, and when a person using the apparatus touches the finger, the fingerprint shape of the person is read and the apparatus is used as personal authentication data. To enter. As will be described later, an image of the three-dimensional virtual space is not displayed unless the person is authenticated as a registered user from the fingerprint of the user of the apparatus. Therefore, the user of the apparatus must always input fingerprint information before observing the image.

次に図4を用いて、上記の構成を有する第1実施形態の画像提示装置による処理全体の流れを説明する。   Next, the flow of the entire process by the image presentation apparatus according to the first embodiment having the above configuration will be described with reference to FIG.

処理を開始すると、ステップS401にてCPU301は処理に必要なデータを初期化する。より具体的には、メモリ302上のユーザ属性を所属=「外部業者社員」、役職=「なし」に設定し、デバイス属性をディスプレイタイプ=「2Dディスプレイ」に、セキュリティレベルを「5」に設定する。また、CPU301は、3次元形状モデルデータファイル、ユーザ属性データファイル、セキュリティレベル判定データファイル、ディスプレイデバイスデータファイルを外部記憶装置305から読み込み、メモリ302に格納する。これらのデータファイルの詳細については後述する。   When the process is started, the CPU 301 initializes data necessary for the process in step S401. More specifically, the user attribute on the memory 302 is set as belonging = “external contractor employee”, job title = “none”, the device attribute is set at display type = “2D display”, and the security level is set at “5”. To do. The CPU 301 reads a three-dimensional shape model data file, a user attribute data file, a security level determination data file, and a display device data file from the external storage device 305 and stores them in the memory 302. Details of these data files will be described later.

続いて、ステップS402でデバイス属性取得部202がデバイス属性を取得し、ステップS403でユーザ属性取得部201がユーザ属性を取得し、ステップS404で提示情報制御部203が提示内容を決定する。本実施形態では、ユーザ属性とデバイス属性の複数種類の組み合わせに応じて予め用意された情報(形状データ)の中から、ステップS402、S403で取得された属性の組み合わせに従って表示に使用すべき情報が選択される。なお、これらステップS402、S403、S404の詳細については後述する。   Subsequently, the device attribute acquisition unit 202 acquires device attributes in step S402, the user attribute acquisition unit 201 acquires user attributes in step S403, and the presentation information control unit 203 determines the presentation contents in step S404. In the present embodiment, information to be used for display according to the combination of attributes acquired in steps S402 and S403 from information (shape data) prepared in advance according to a plurality of combinations of user attributes and device attributes. Selected. Details of these steps S402, S403, and S404 will be described later.

ステップS405において、画像生成部204は、ステップS404で提示情報制御部203が決定した提示内容に従って、ユーザに提示する仮想物体の投影画像を生成する。そして、ステップS406において、画像生成部204は、生成した画像を表示部308に出力する。たとえば、図2に示す構成であれば、表示部308としてHMD205が接続されており、画像生成部204は、HMD205に生成した画像を出力することになる。なお、ステップS405における仮想画像生成の処理はコンピュータグラフィクスおける公知の方法を用いることができ、その詳細な説明は省略する。   In step S405, the image generation unit 204 generates a projection image of the virtual object to be presented to the user according to the presentation content determined by the presentation information control unit 203 in step S404. In step S <b> 406, the image generation unit 204 outputs the generated image to the display unit 308. For example, in the configuration illustrated in FIG. 2, the HMD 205 is connected as the display unit 308, and the image generation unit 204 outputs the generated image to the HMD 205. Note that the virtual image generation processing in step S405 can use a known method in computer graphics, and a detailed description thereof will be omitted.

ステップS407ではユーザからの終了を指示する操作があったか否かを判定し、終了指示があれば処理を終了し、なければステップS405に戻る。なお、終了指示の判定は、例えばキーボード306の特定のキーを終了指示に割り当て、そのキーが押下されたか否かを判定すればよい。   In step S407, it is determined whether or not there has been an operation for instructing the end from the user. If there is an end instruction, the process ends, and if not, the process returns to step S405. In determining the end instruction, for example, a specific key on the keyboard 306 may be assigned to the end instruction, and it may be determined whether or not the key is pressed.

次に、ステップS401にて読み込むデータファイルの内容について説明する。   Next, the contents of the data file read in step S401 will be described.

図5は1つの仮想物体を含む3次元形状モデルデータファイルの構成を模式的に示した図である。データファイル501には1つの物体のデータの開始を表すオブジェクトデリミタ502と、セキュリティレベル毎の形状データセット503、505が含まれる。ここで、形状データセット503はセキュリティレベル5の形状データセット、形状データセット505はセキュリティレベル1の形状データセットである。また、セキュリティレベル2から4の形状データセットも同様の形式で格納される。形状データセット503、505のそれぞれは、セキュリティレベルの開始を表すセキュリティレベルデリミタ506、508と各セキュリティレベルに対応する形状モデルデータ507、509から構成される。   FIG. 5 is a diagram schematically showing a configuration of a three-dimensional shape model data file including one virtual object. The data file 501 includes an object delimiter 502 representing the start of data of one object, and shape data sets 503 and 505 for each security level. Here, the shape data set 503 is a security level 5 shape data set, and the shape data set 505 is a security level 1 shape data set. The shape data sets of security levels 2 to 4 are also stored in the same format. Each of the shape data sets 503 and 505 includes security level delimiters 506 and 508 representing the start of the security level and shape model data 507 and 509 corresponding to each security level.

本実施形態の画像提示装置は図5に示した構成のデータファイル501をロードして、セキュリティレベルに応じた形状モデルデータをメモリ302上に蓄積する。なお、複数のモデルが存在する場合は501のような構成の形状データセットのグループが複数連続したファイルを読み込む。   The image presentation apparatus of this embodiment loads the data file 501 having the configuration shown in FIG. 5 and accumulates shape model data corresponding to the security level in the memory 302. When there are a plurality of models, a file in which a plurality of groups of shape data sets having the configuration 501 are continuously read is read.

次にユーザ属性データファイルについて説明する。図6は本実施形態によるユーザ属性データファイルのデータ構成例を示す図である。   Next, the user attribute data file will be described. FIG. 6 is a diagram showing a data configuration example of the user attribute data file according to the present embodiment.

1つのユーザ属性データファイル601は複数のユーザのデータセット602、604から構成される。各ユーザのデータセットは、ユーザデータの開始を表すユーザデリミタ605、指紋情報取得部309から入力する情報と照合するための個人毎の指紋情報606、所属607、役職608のフィールドを有する。所属607のフィールドには当該ユーザが社員であるか外部業者の社員であるかの情報が記述されている。また、役職608のフィールドには当該ユーザの役職の有無が記述されている。本実施形態の画像提示装置は、上記構成のユーザ属性データファイル601をロードして、ユーザ属性のデータベースをメモリ302上に構築する。   One user attribute data file 601 is composed of a plurality of user data sets 602 and 604. Each user data set includes fields of a user delimiter 605 indicating the start of user data, fingerprint information 606 for each person to be collated with information input from the fingerprint information acquisition unit 309, an affiliation 607, and a title 608. In the field of affiliation 607, information on whether the user is an employee or an employee of an external company is described. In the field of title 608, the presence or absence of the title of the user is described. The image presentation apparatus according to the present embodiment loads the user attribute data file 601 having the above configuration and constructs a user attribute database on the memory 302.

セキュリティレベル判定データファイルは、ユーザ属性と表示デバイスの属性に応じたセキュリティレベルを記述したものである。図7および図8は各々表示デバイスがHMDの場合および2Dディスプレイのセキュリティレベル判定データファイルの内容を模式的に示したものである。例えば、HMDのセキュリティレベル判定データファイル(図7)では、ユーザの属性が所属=社員、かつ役職=あり、の場合はセキュリティレベルが「1」と記述されている。また、2Dディスプレイのセキュリティレベル判定データファイル(図8)では、ユーザの属性が所属=社員、かつ役職=あり、の場合はセキュリティレベルが「3」と記述されている。本実施形態の画像提示装置は、セキュリティレベル判定データファイルをステップS401で読み込み、メモリ302上にセキュリティレベル判定データベースを構築する。   The security level determination data file describes security levels according to user attributes and display device attributes. 7 and 8 schematically show the contents of the security level determination data file of the 2D display when the display device is an HMD. For example, in the HMD security level determination data file (FIG. 7), the security level is described as “1” when the user attribute is “affiliation = employee” and “position” = exist. Further, in the security level determination data file (FIG. 8) of the 2D display, when the user attribute is “affiliation = employee” and “position” = exist, the security level is described as “3”. The image presentation apparatus according to the present embodiment reads a security level determination data file in step S 401 and constructs a security level determination database on the memory 302.

また、ディスプレイデバイスデータファイルは、ディスプレイの型式から種類(HMD/2Dディスプレイ)を知るためのものである。図9はディスプレイデバイスデータファイルの内容を模式的に示した図である。例えば、インターフェース304に接続されたディスプレイから受け取った機種情報が機種Aを示していた場合は、ディスプレイの種類はHMDであると判定する。同様に、インターフェース304に接続されたディスプレイから受け取った機種情報が機種Bを示していた場合は、ディスプレイの種類は2Dディスプレイと判定される。本実施形態の画像提示装置は、図9のごときディスプレイデバイスデータファイルをステップS401で読み込み、メモリ302上にディスプレイデバイスデータベースを構築する。   The display device data file is used to know the type (HMD / 2D display) from the display type. FIG. 9 is a diagram schematically showing the contents of the display device data file. For example, if the model information received from the display connected to the interface 304 indicates model A, the display type is determined to be HMD. Similarly, if the model information received from the display connected to the interface 304 indicates model B, the display type is determined to be a 2D display. The image presentation apparatus according to the present embodiment reads a display device data file as shown in FIG. 9 in step S 401 and constructs a display device database on the memory 302.

次に、デバイス属性取得処理(ステップS402)の詳細について説明する。図10はデバイス属性取得処理の流れを示すフローチャートである。   Next, details of the device attribute acquisition process (step S402) will be described. FIG. 10 is a flowchart showing the flow of device attribute acquisition processing.

処理を開始すると、ステップS1001において、デバイス属性取得部202は、表示デバイスからディスプレイ識別信号(すなわち機種情報)を入力し、ディスプレイの機種を判別する。そして、ステップS1002において、デバイス属性取得部202は、ステップS1001で判別した機種をディスプレイデバイスデータベースから検索し、ステップS1003で該当機種の有無を判定する。   When the process is started, in step S1001, the device attribute acquisition unit 202 inputs a display identification signal (that is, model information) from the display device, and determines the display model. In step S1002, the device attribute acquisition unit 202 searches the display device database for the model determined in step S1001, and determines whether there is a corresponding model in step S1003.

ステップS1003で該当機種が存在すると判定された場合、ステップS1004において、デバイス属性取得部202は、デバイスの属性であるディスプレイの種類を検索結果である該当機種の種別に設定する。例えば、図9に示されるようなディスプレイデバイスデータファイルからディスプレイデバイスデータベースが構築された場合、ディスプレイの機種がAである場合はディスプレイの種類は「HMD」と設定される。また、ディスプレイの機種がBである場合はディスプレイの種類を「2Dディスプレイ」と設定する。   If it is determined in step S1003 that the corresponding model exists, in step S1004, the device attribute acquisition unit 202 sets the display type that is the device attribute to the type of the corresponding model that is the search result. For example, when the display device database is constructed from the display device data file as shown in FIG. 9 and the display model is A, the display type is set to “HMD”. If the display model is B, the display type is set to “2D display”.

ステップS1003で該当機種が存在しないと判定された場合は、ステップS1005において、デバイス属性取得部202は、ディスプレイタイプを「2Dディスプレイ」に設定する。ここで、該当機種がない場合にディスプレイタイプを「2Dディスプレイ」に設定するのは、HMDよりもセキュリティに厳しい設定となり、データを安全に秘匿する目的に適しているからである。   If it is determined in step S1003 that the corresponding model does not exist, in step S1005, the device attribute acquisition unit 202 sets the display type to “2D display”. Here, the reason why the display type is set to “2D display” when there is no corresponding model is that it is stricter in security than the HMD and is suitable for the purpose of safely concealing data.

次に、ステップS403のユーザ属性取得処理の詳細について説明する。図11はユーザ属性取得処理の流れを示すフローチャートである。   Next, details of the user attribute acquisition processing in step S403 will be described. FIG. 11 is a flowchart showing the flow of user attribute acquisition processing.

処理を開始すると、ステップS1101において、ユーザ属性取得部201は、指紋情報取得部309に対して指紋情報の入力があったか否か判定する。すなわち、ユーザが指紋認証の操作を行ったか否か判定する。指紋情報の入力がない場合はステップS1101に戻る。   When the process is started, in step S1101, the user attribute acquisition unit 201 determines whether fingerprint information has been input to the fingerprint information acquisition unit 309. That is, it is determined whether or not the user has performed a fingerprint authentication operation. If there is no input of fingerprint information, the process returns to step S1101.

ステップS1101において指紋情報の入力があったと判定された場合、ステップS1102において、ユーザ属性取得部201は、指紋情報を指紋情報取得部309より取得する。そして、ユーザ属性取得部201は、ステップS1103において、ステップS1102で取得した指紋情報をユーザ属性データベース上で検索し、ステップS1104において、指紋情報に該当する人物が登録されているか否か判定する。   If it is determined in step S1101 that fingerprint information has been input, the user attribute acquisition unit 201 acquires fingerprint information from the fingerprint information acquisition unit 309 in step S1102. In step S1103, the user attribute acquisition unit 201 searches the user attribute database for the fingerprint information acquired in step S1102. In step S1104, the user attribute acquisition unit 201 determines whether a person corresponding to the fingerprint information is registered.

該当人物がユーザ属性データベースに登録されていれば、ステップS1105において、ユーザ属性取得部201は、ユーザの所属属性および役職属性を検索結果である該当人物の所属および役職に設定し、処理を終了する。一方、ユーザに該当する人物がユーザ属性データベースに登録されていなければ、処理はステップS1101に戻り、上記処理が繰り返される。   If the corresponding person is registered in the user attribute database, in step S1105, the user attribute acquisition unit 201 sets the user's belonging attribute and title attribute to the corresponding person's belonging and title as a search result, and ends the process. . On the other hand, if the person corresponding to the user is not registered in the user attribute database, the process returns to step S1101 and the above process is repeated.

なお、図11のフローチャートから分かるように、ユーザ属性データベースに登録されたユーザが認証されない限り、ユーザ属性取得処理(ステップS403)以降に処理は進まず、したがって3次元仮想空間の画像はディスプレイに表示されることはない。   As can be seen from the flowchart of FIG. 11, unless the user registered in the user attribute database is authenticated, the process does not proceed after the user attribute acquisition process (step S403), and thus the image of the three-dimensional virtual space is displayed on the display. It will never be done.

次に、ステップS404の提示内容決定処理の詳細を説明する。図12は提示内容決定処理の処理の流れを示すフローチャートである。   Next, details of the presentation content determination process in step S404 will be described. FIG. 12 is a flowchart showing the flow of the presentation content determination process.

処理を開始すると、ステップS1201において、提示情報制御部203は、ステップS402で取得したデバイス属性、およびステップS403で取得したユーザ属性に該当するセキュリティレベルをセキュリティレベル判定データベースから検索する。次に、ステップS1202において、提示情報制御部203は、この検索により、データベースに該当するデバイス属性およびユーザ属性の組み合わせが登録されているか否か判定する。   When the process is started, in step S1201, the presentation information control unit 203 searches the security level determination database for the security level corresponding to the device attribute acquired in step S402 and the user attribute acquired in step S403. Next, in step S1202, the presentation information control unit 203 determines whether or not a combination of device attributes and user attributes corresponding to the database is registered by this search.

登録されていると判定された場合、ステップS1203において、提示情報制御部203は、セキュリティレベルを検索結果に従って設定する。一方、登録されていないと判定された場合、ステップS1204でセキュリティレベルを「5」に設定する。   If it is determined that it is registered, in step S1203, the presentation information control unit 203 sets the security level according to the search result. On the other hand, if it is determined that it is not registered, the security level is set to “5” in step S1204.

続くステップS1205において、提示情報制御部203は、初期化処理(ステップS401)で読み込んだ3次元形状モデルデータに登録された形状モデルの表示状態を設定する。すなわち、ステップS1203もしくはステップS1204で設定したセキュリティレベルの形状モデルは表示状態に、それ以外のセキュリティレベルに対応する形状モデルは非表示状態に設定される。ただし、セキュリティレベルが5の場合は、すべての形状モデルが非表示状態に設定される。   In subsequent step S1205, the presentation information control unit 203 sets the display state of the shape model registered in the three-dimensional shape model data read in the initialization process (step S401). That is, the shape model of the security level set in step S1203 or step S1204 is set to the display state, and the shape model corresponding to other security levels is set to the non-display state. However, when the security level is 5, all the shape models are set to the non-display state.

以上のように第1実施形態によれば、ユーザ属性とデバイス属性の複数種類の組み合わせに応じて予め用意された情報の中から、取得された属性の組み合わせ(セキュリティレベル)に応じて表示対象とする情報が選択される。このため、画像提示装置は、ユーザの属性および表示デバイスの属性に応じて適切に表示内容を制御することができ、3次元形状データを適切に秘匿することができる。   As described above, according to the first embodiment, the information to be displayed according to the combination (security level) of attributes acquired from information prepared in advance according to combinations of a plurality of types of user attributes and device attributes. The information to be selected is selected. For this reason, the image presentation apparatus can appropriately control the display contents according to the user attribute and the display device attribute, and can appropriately conceal the three-dimensional shape data.

なお、上記の説明では、ユーザ個人を特定する手段として指紋認証を用いているが、これに限るものではない。例えば、虹彩パターン、網膜パターン、静脈パターン、顔画像による認証、あるいはIDカードによる認証など任意の認証方法を用いることができる。   In the above description, fingerprint authentication is used as a means for identifying the individual user. However, the present invention is not limited to this. For example, any authentication method such as authentication using an iris pattern, a retina pattern, a vein pattern, a face image, or authentication using an ID card can be used.

また、ユーザが表示装置を観察しているか否か判定する手段を設け、観察していない状態を検知したら、個人の認証をリセット(ユーザが特定されていない状態にする)してもよい。   Further, a means for determining whether or not the user is observing the display device may be provided, and when a state where the user is not observing is detected, the personal authentication may be reset (a state where the user is not specified).

また、上記の説明ではユーザの属性として所属と役職の有無を用いたが、これ以外の任意の属性を用いてもかまわない。例えば、職種として設計あるいは装置のオペレーションを担当する者に対してはセキュリティレベルを4以下とするが、それ以外の職種の人物に関してはデータを観察する権限はないものとしてセキュリティレベルを5とするなどの制御の仕方が考えられる。また、上記実施形態では、独立した形状データをセキュリティレベル毎に用意したが、下位のセキュリティレベルの形状データとの差分を保持するようにしてもよい。この場合、例えば、セキュリティレベル3で表示を行なう場合、セキュリティレベル1〜3の形状データが使用され、画像が生成されることになる。   In the above description, the attribute of the user and the presence / absence of the title are used as the user attribute. However, any other attribute may be used. For example, the security level is set to 4 or less for those who are in charge of designing or operating the apparatus as a job type, but the security level is set to 5 assuming that there is no authority to observe data for persons of other job types. It is possible to consider how to control. In the above embodiment, independent shape data is prepared for each security level, but a difference from shape data of a lower security level may be held. In this case, for example, when displaying at the security level 3, the shape data of the security levels 1 to 3 is used, and an image is generated.

さらに、表示デバイスの属性についても、機種以外の任意の属性を用いてもよい。例えば、ディスプレイの設置場所を属性として勘案し、設置場所が部外者の進入が困難な部屋である場合はセキュリティレベルを下げるという構成が考えられる。あるいは、ディスプレイの解像度が高い場合は、より詳細にデータを観察することが可能となるので、セキュリティレベルを上げ、秘匿性を高めるという制御も可能である。   Furthermore, as the display device attribute, any attribute other than the model may be used. For example, considering the display installation location as an attribute, a configuration in which the security level is lowered when the installation location is a room that is difficult for outsiders to enter can be considered. Alternatively, when the resolution of the display is high, it becomes possible to observe data in more detail. Therefore, it is possible to control to increase the security level and increase the confidentiality.

<第2実施形態>
第1実施形態ではユーザ個人を特定し、ユーザ属性データベースを検索することでユーザの属性を取得している。しかしながら、ユーザ属性の取得方法はこれに限るものではなく、任意の方法を用いることができる。
Second Embodiment
In the first embodiment, an individual user is specified, and the user attribute is acquired by searching the user attribute database. However, the user attribute acquisition method is not limited to this, and any method can be used.

例えば、ユーザが所持するIDカードに所属や役職の情報を記録しておき、IDカードからこれらの情報を読み取ることによって、ユーザの属性を取得する用に構成してもよい。また、デバイス属性の取得も同様に任意の方法を用いることができる。例えば、表示デバイスにデバイスタイプを表したバーコードを印刷しておき、これをバーコードリーダで読み取ることによって、デバイス属性を取得するように構成してもよい。   For example, the user's attributes may be acquired by recording affiliation and job title information on an ID card possessed by the user and reading the information from the ID card. Similarly, any method can be used for acquiring the device attributes. For example, a device attribute may be obtained by printing a barcode representing a device type on a display device and reading the barcode with a barcode reader.

<第3実施形態>
第1実施形態ではユーザへの提示を制御する対象は仮想空間の情報のみであったがこれに限られるものではない。たとえば、現実空間の情報提示をセキュリティレベルに応じて制御するようにしてもよい。第3実施形態ではそのような例について説明する。
<Third Embodiment>
In the first embodiment, the target for controlling the presentation to the user is only the virtual space information, but the present invention is not limited to this. For example, information presentation in the real space may be controlled according to the security level. In the third embodiment, such an example will be described.

ディスプレイが撮像装置を備えている場合、ディスプレイ周囲を撮影した現実空間の画像と仮想空間の画像を融合したいわゆる複合現実感画像を観察者に提示することができる。ここで、現実空間の中に機密性の高い情報があるときには、現実空間の情報を隠蔽しなければならないことがある。例として、現実空間に設計した自動車のモックアップがあり、情報セキュリティ上、関係者以外にモックアップの形状を見せることのできないケースが挙げられる。   In the case where the display includes an imaging device, a so-called mixed reality image in which an image of the real space photographed around the display and an image of the virtual space are fused can be presented to the observer. Here, when there is highly confidential information in the real space, it may be necessary to hide the information in the real space. As an example, there is a case where there is a mockup of an automobile designed in a real space, and for the sake of information security, the mockup shape cannot be shown to anyone other than those concerned.

上記のような場合、ディスプレイの属性として撮像装置を備えるか否か判定するとともに、ユーザが社員か外部業者であるか判定する。そして、ディスプレイが撮像装置を備え、かつユーザが外部業者である場合は現実空間の画像を表示せず、仮想空間のみを表示する。あるいは、現実空間の画像を画像処理によりぼかしてから、仮想空間の画像と合成するようにしてもよい。このように、第3実施形態によれば、ユーザ属性とデバイス属性の組み合わせに基づいて、表示対象の情報に加工処理を施することにより、当該属性の組み合わせに適した表示が提供される。   In the above case, it is determined whether or not an imaging device is provided as an attribute of the display, and it is determined whether the user is an employee or an outside contractor. When the display includes an imaging device and the user is an external contractor, the real space image is not displayed and only the virtual space is displayed. Alternatively, the real space image may be blurred by image processing and then combined with the virtual space image. As described above, according to the third embodiment, a display suitable for a combination of the attributes is provided by processing the information to be displayed based on the combination of the user attribute and the device attribute.

<第4実施形態>
現在の画像の表示技術では、長時間観察を続けると目の疲労など、観察者に生体上の悪影響を及ぼすことが知られている。特に、視覚機能が発展段階の子供にはそのような悪影響を与えないように注意しなければならない。また、立体画像を観察する場合は人体への影響が大きいので、より一層の注意が必要である。
<Fourth embodiment>
In the current image display technology, it is known that long-time observation has adverse effects on the observer, such as eye fatigue. In particular, care must be taken so that the visual function does not adversely affect the developing child. In addition, when a stereoscopic image is observed, since the influence on the human body is great, further caution is required.

そこで、第4実施形態の画像提示装置は、ユーザの属性として年齢を、デバイスの属性として立体表示機能の有無を勘案して、連続観察時間を制御する構成を示す。本実施形態では、ユーザを12歳未満のグループ(以下、「子供」と記す)と12歳以上のグループ(以下、「大人」と記す)に分類し、連続観察時間の制限を下記のように定める。   Therefore, the image presentation apparatus according to the fourth embodiment has a configuration in which continuous observation time is controlled in consideration of age as a user attribute and presence or absence of a stereoscopic display function as a device attribute. In this embodiment, users are classified into groups under 12 years old (hereinafter referred to as “children”) and groups 12 years old and over (hereinafter referred to as “adults”), and the continuous observation time is limited as follows. Determine.

・ユーザ属性=子供、かつデバイス属性=立体表示機能あり:10分、
・ユーザ属性=大人、かつデバイス属性=立体表示機能あり:15分、
・ユーザ属性=子供、かつデバイス属性=立体表示機能なし:20分、
・ユーザ属性=大人、かつデバイス属性=立体表示機能なし:25分。
-User attribute = child and device attribute = 3D display function available: 10 minutes
-User attribute = adult and device attribute = 3D display function available: 15 minutes,
-User attribute = child and device attribute = no 3D display function: 20 minutes
User attribute = adult and device attribute = no 3D display function: 25 minutes.

図13は、第4実施形態による画像提示装置の処理の流れを示すフローチャートである。なお、図13において符号が図4と同じ処理は第1実施形態と同様の処理内容なので、説明を省略する。   FIG. 13 is a flowchart illustrating a process flow of the image presentation apparatus according to the fourth embodiment. Note that the processing in FIG. 13 having the same reference numerals as those in FIG. 4 is the same as that in the first embodiment, and thus the description thereof is omitted.

初期化処理(ステップS401)、デバイス属性取得処理(ステップS402)、ユーザ属性取得処理(ステップS403)を行った後、ステップS1301において提示情報制御部203は連続観察時間の計測を開始する。その後、第1実施形態で説明したように、提示情報制御部203は、セキュリティレベルの判定結果に従って提示内容を決定し(ステップS404)、決定された提示内容に従って仮想画像を生成する(ステップS405)。   After performing the initialization process (step S401), the device attribute acquisition process (step S402), and the user attribute acquisition process (step S403), the presentation information control unit 203 starts measuring the continuous observation time in step S1301. After that, as described in the first embodiment, the presentation information control unit 203 determines the presentation content according to the security level determination result (step S404), and generates a virtual image according to the determined presentation content (step S405). .

次に、ステップS1302において、提示情報制御部203は、連続観察時間がユーザ属性及びデバイス属性に応じて定められた制限以内であるか否か判定する。制限以内であると判定された場合、処理はステップS406に進み、制限を超えた場合はステップS407に進む。制限時間を超えた場合は、ステップS406がスキップされるため、画像が表示されなくなる。すなわち、連続観察時間の制限を超えて観察を続けようとすると、画像が表示されなくなる。   Next, in step S1302, the presentation information control unit 203 determines whether the continuous observation time is within a limit determined according to the user attribute and the device attribute. If it is determined that the limit is not exceeded, the process proceeds to step S406. If the limit is exceeded, the process proceeds to step S407. If the time limit is exceeded, step S406 is skipped, and no image is displayed. That is, if the observation is continued beyond the limit of the continuous observation time, the image is not displayed.

以上のように、第4実施形態によれば、生体上の悪影響をユーザの年齢と立体表示の有無等に応じて適応的に軽減することが可能となる。   As described above, according to the fourth embodiment, it is possible to adaptively reduce adverse effects on the living body according to the age of the user and the presence or absence of stereoscopic display.

なお、連続観察時間の制限を決定する際に、ユーザの属性として視力を考慮することも考えられる。例えば、視力が予め定めた閾値を下回る場合は、制限時間を5分短くする。また、上述の説明では、ユーザに提示する内容(仮想物体の画像を提示するか/しないか)を制御している。これに対し、デバイスを制御するようにしてもよい。たとえば、連続観察時間を超過した場合に、表示デバイスの電源を切るという方法が考えられる。   Note that it is also possible to consider visual acuity as a user attribute when determining the limit of the continuous observation time. For example, when the visual acuity falls below a predetermined threshold, the time limit is shortened by 5 minutes. In the above description, the content to be presented to the user (whether or not to present the virtual object image) is controlled. On the other hand, the device may be controlled. For example, a method of turning off the display device when the continuous observation time is exceeded can be considered.

以上のように、第4実施形態では、ユーザ属性とデバイス属性を含む属性の組み合わせに基づいて、表示装置による表示動作(連続表示時間の制限)が変更される。   As described above, in the fourth embodiment, the display operation (restriction of continuous display time) by the display device is changed based on the combination of attributes including the user attribute and the device attribute.

<第5実施形態>
第5実施形態では、仮想物体の投影画像を描画する際の画角をユーザ及びデバイスの属性に基づいて決定する構成について説明する。なお、本実施例ではデバイスとして2種類のHMDを想定する。それらのHMDは機種が異なっており、表示部の光学的設計により縦方向および横方向の画角が決まっている。ただし、画角の設計に基づいて仮想物体の投影画像を作成したとしても、HMDにより人間が観察するときには人により仮想物体の大きさの感じ方に差がある。しかも、大きさの感じ方はHMDの機種によっても異なっている。
<Fifth Embodiment>
In the fifth embodiment, a configuration will be described in which the angle of view for drawing a projected image of a virtual object is determined based on attributes of a user and a device. In this embodiment, two types of HMDs are assumed as devices. The types of these HMDs are different, and the angle of view in the vertical direction and the horizontal direction is determined by the optical design of the display unit. However, even if a projection image of a virtual object is created based on the design of the angle of view, there is a difference in how the size of the virtual object is felt by a person when the person observes with the HMD. Moreover, the way the size is felt varies depending on the HMD model.

そこで、第5実施形態では、ユーザ毎、HMDの機種毎に適した“大きさ感”を与える画角を予め計測しておき、それに基づいて画角を適応的に選択する。   Therefore, in the fifth embodiment, an angle of view that gives a “size feeling” suitable for each user and each HMD model is measured in advance, and the angle of view is adaptively selected based on the measured angle.

図14は第5実施形態の画像提示装置による処理の流れを示すフローチャートである。図4と同じ符号の処理は第1実施形態の場合と処理の内容は同様なので詳細の説明は省略する。   FIG. 14 is a flowchart showing the flow of processing by the image presentation apparatus of the fifth embodiment. The processing with the same reference numerals as in FIG. 4 is the same as that in the first embodiment, and the detailed description thereof is omitted.

ただし、ステップS401の初期化処理において、CPU301は、画角データファイルを外部記憶装置305から読み込み、図15に示すような画角データベースをメモリ302上に構築しておく。図15に示されるように、この画角データベースにはユーザ個人とHMD機種の組み合わせそれぞれに対して、横方向画角および縦方向画角の数値のセットがdegree単位で格納されている。   However, in the initialization process in step S 401, the CPU 301 reads an angle of view data file from the external storage device 305 and constructs an angle of view database as shown in FIG. 15 on the memory 302. As shown in FIG. 15, the field angle database stores a set of numerical values of the horizontal field angle and the vertical field angle in degrees for each combination of the individual user and the HMD model.

また、デバイス属性取得処理(S402)では、デバイス属性取得部202がHMDから出力される表示デバイス識別信号に基づき、HMDの機種を判定する。ユーザ属性判定処理(S403)では、ユーザ属性取得部201が指紋認証によりユーザ個人を特定する。   In the device attribute acquisition process (S402), the device attribute acquisition unit 202 determines the HMD model based on the display device identification signal output from the HMD. In the user attribute determination process (S403), the user attribute acquisition unit 201 specifies the individual user by fingerprint authentication.

ステップS1401では、提示情報制御部203が、ステップS402で判定したHMD機種およびステップS403で特定した個人の組み合わせを画角データベースから検索する。そして、画角データベースに該当項目があれば、HMDの横方向・縦方向画角を検索結果に従って設定する。一方、該当項目がなければHMDの画角を機種に応じた標準の画角に設定する。   In step S1401, the presentation information control unit 203 searches the angle-of-view database for the combination of the HMD model determined in step S402 and the individual specified in step S403. If there is a corresponding item in the view angle database, the horizontal and vertical view angles of the HMD are set according to the search result. On the other hand, if there is no corresponding item, the angle of view of the HMD is set to a standard angle of view according to the model.

ステップS405では、画像生成部204が、ステップS1401で設定した画角に基づき表示する仮想空間の範囲を設定し、設定した範囲に基づき仮想物体の投影画像を生成する。そして、ステップS406でその画像をHMDに表示する。   In step S405, the image generation unit 204 sets a virtual space range to be displayed based on the angle of view set in step S1401, and generates a projection image of the virtual object based on the set range. In step S406, the image is displayed on the HMD.

以上のような第5実施形態の構成によれば、ユーザ個人の感覚およびHMDの機種に応じて適応的に画角が設定されるので、ユーザに適切な大きさ感覚を与えることが可能となる。   According to the configuration of the fifth embodiment as described above, since the angle of view is adaptively set according to the user's individual sense and the HMD model, it is possible to give the user a sense of an appropriate size. .

なお、上記の説明ではHMDの機種毎に画角を調整しているが、HMDの固体毎(例えば、HMD内に記録された製造番号毎を利用する)に調整してもよい。そのようにすることで、さらに厳密に大きさ感を制御することができる。   In the above description, the angle of view is adjusted for each HMD model, but may be adjusted for each HMD solid (for example, for each manufacturing number recorded in the HMD). By doing so, the sense of size can be controlled more strictly.

また、ある集団に属するユーザに関して画角に一定の傾向が見られる場合は、ユーザ個人ごとに画角を設定するのではなく、集団ごとに画角を設定してもよい。例えば、男性と女性で画角の傾向が分かれれば、ユーザの性別を判定して、これをユーザ属性として取得するようにしてもよい。   In addition, when a certain tendency is seen in the angle of view for users belonging to a certain group, the angle of view may be set for each group instead of setting the angle of view for each individual user. For example, if the angle of view is divided between a man and a woman, the user's gender may be determined and acquired as a user attribute.

なお、以上の説明では、ディスプレイによる画像の提示条件、すなわち描画条件として画角を制御しているが、これ以外の条件を制御してもかまわない。例えば、複数画面を表示可能なHMDであれば、それぞれの画面を描画する仮想カメラ間の相対位置・姿勢を制御することが考えられる。あるいは、撮像装置を装着したHMDであれば、撮像装置の画角や撮像系の歪みパラメータ、撮像装置と表示装置の相対位置・姿勢、撮像装置のゲインやホワイトバランスなどを制御対象とすることもできる。   In the above description, the angle of view is controlled as an image presentation condition on the display, that is, a drawing condition. However, other conditions may be controlled. For example, in the case of an HMD that can display a plurality of screens, it is conceivable to control the relative position and orientation between virtual cameras that draw each screen. Alternatively, in the case of an HMD equipped with an imaging device, the angle of view of the imaging device, the distortion parameters of the imaging system, the relative position and orientation of the imaging device and the display device, the gain and white balance of the imaging device, and the like may be controlled. it can.

<第6実施形態>
上記各実施形態の画像提示装置では、上述したユーザの属性の他に任意の属性を用いることができる。このような属性としては、例えば、操作の習熟度、趣味、嗜好、国籍、宗教などが考えられる。また、デバイスの属性もまた任意である。例えば、サイズ、重量、色、形状などが考えられる。
<Sixth Embodiment>
In the image presentation apparatus according to each of the above embodiments, an arbitrary attribute can be used in addition to the above-described user attribute. Examples of such attributes include operation proficiency, hobbies, preferences, nationality, religion, and the like. The device attributes are also arbitrary. For example, size, weight, color, shape, etc. can be considered.

<他の実施形態>
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other embodiments>
Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。   In the present invention, the functions of the above-described embodiments are achieved by supplying a software program directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. Including the case. In this case, the supplied program is a program corresponding to the flowchart shown in the drawing in the embodiment.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.

プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。   Examples of the computer-readable recording medium for supplying the program include the following. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   As another program supply method, a client computer browser is used to connect to a homepage on the Internet, and the computer program of the present invention is downloaded from the homepage to a recording medium such as a hard disk. In this case, the downloaded program may be a compressed file including an automatic installation function. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。   Further, the program of the present invention may be encrypted, stored in a storage medium such as a CD-ROM, and distributed to users. In this case, a user who has cleared a predetermined condition is allowed to download key information for decryption from a homepage via the Internet, execute an encrypted program using the key information, and install the program on the computer. You can also.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。   In addition to the functions of the above-described embodiment being realized by the computer executing the read program, the embodiment of the embodiment is implemented in cooperation with an OS or the like running on the computer based on an instruction of the program. A function may be realized. In this case, the OS or the like performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。   Furthermore, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, so that part or all of the functions of the above-described embodiments are realized. May be. In this case, after a program is written in the function expansion board or function expansion unit, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program.

第1実施形態による表示内容の制御の例を示す図である。It is a figure which shows the example of control of the display content by 1st Embodiment. 第1実施形態による画像提示装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the image presentation apparatus by 1st Embodiment. 第1実施形態による画像提示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image presentation apparatus by 1st Embodiment. 第1実施形態の画像提示装置による処理の全体の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process by the image presentation apparatus of 1st Embodiment. 第1実施形態における3次元形状データの構成例を模式的に示す図である。It is a figure which shows typically the structural example of the three-dimensional shape data in 1st Embodiment. 第1実施形態におけるユーザ属性データの構成例を模式的に示す図である。It is a figure which shows typically the structural example of the user attribute data in 1st Embodiment. ディスプレイがHMDの場合のセキュリティレベル判定データの構成例を示す図である。It is a figure which shows the structural example of the security level determination data in case a display is HMD. ディスプレイが2Dディスプレイの場合のセキュリティレベル判定データの構成例を示す図である。It is a figure which shows the structural example of the security level determination data in case a display is a 2D display. 第1実施形態におけるディスプレイデバイスデータの構成例を示す図である。It is a figure which shows the structural example of the display device data in 1st Embodiment. 第1実施形態におけるデバイス属性取得処理を示すフローチャートである。It is a flowchart which shows the device attribute acquisition process in 1st Embodiment. 第1実施形態におけるユーザ属性取得処理を示すフローチャートである。It is a flowchart which shows the user attribute acquisition process in 1st Embodiment. 第1実施形態における提示内容決定処理を示すフローチャートである。It is a flowchart which shows the presentation content determination process in 1st Embodiment. 第4実施形態の画像提示装置による処理の全体の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process by the image presentation apparatus of 4th Embodiment. 第5実施形態の画像提示装置による処理の全体の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process by the image presentation apparatus of 5th Embodiment. 第5実施形態における画角データの構成例を示す図である。It is a figure which shows the structural example of the view angle data in 5th Embodiment.

Claims (7)

表示装置を用いて画像を提示する画像提示装置であって、
ユーザの認証情報に基づいてユーザ属性を取得するユーザ属性取得手段と、
画像の表示に用いる表示装置の機器情報に基づいて前記表示装置のデバイス属性を取得するデバイス属性取得手段と、
表示装置で画像を閲覧するための複数の閲覧権限レベルの中から、前記ユーザ属性取得手段と前記デバイス属性取得手段によって取得されたユーザ属性とデバイス属性組み合わせに応じた閲覧権限レベルを設定するレベル設定手段と
予め用意された前記表示装置による表示内容及び表示動作の少なくともいずれかを示す表示すべき情報のうち、前記設定された閲覧権限レベルに対応する表示すべき情報の画像を生成する画像生成手段と
前記生成された画像を表示装置に提示する制御を行う提示制御手段と
を備えることを特徴とする画像提示装置。
An image presentation device that presents an image using a display device,
User attribute acquisition means for acquiring a user attribute based on user authentication information;
Device attribute acquisition means for acquiring a device attribute of the display device based on device information of the display device used for displaying an image;
Level setting from a plurality of viewing authority level for viewing an image on the display device, the viewing authority level corresponding to a combination of user attributes and device attributes acquired by the user attribute acquiring unit and the device attribute obtaining means Setting means ;
Image generating means for generating an image of information to be displayed corresponding to the set viewing authority level, out of information to be displayed indicating at least one of display contents and display operation by the display device prepared in advance ;
An image presentation apparatus comprising: presentation control means for performing control for presenting the generated image on a display device.
前記画像生成手段前記設定された閲覧権限レベルに対応する表示すべき情報に基づく加工処理を施された画像を生成することを特徴とする請求項に記載の画像提示装置。 Wherein the image generation means, image presentation apparatus according to claim 1, characterized in that generating a processing facilities image to based on the information to be displayed corresponding to the set viewing authority level. 前記画像生成手段は、前記表示装置によって表示される画像を描画する際の描画条件に応じた画像を生成することを特徴とする請求項1又は2に記載の画像提示装置。 Said image generating means, image display device according to claim 1 or 2, characterized in that to generate an image according to the drawing conditions for drawing a picture to be displayed by the display device. 前記描画条件は、画角であることを特徴とする請求項に記載の画像提示装置。 The image presentation apparatus according to claim 3 , wherein the drawing condition is an angle of view. 前記提示制御手段は、前記表示装置による連続表示時間を変更することを特徴とする請求項1乃至4の何れか1項に記載の画像提示装置。 The image presentation apparatus according to any one of claims 1 to 4, wherein the presentation control unit changes a continuous display time by the display apparatus. 表示装置を用いて画像を提示する画像提示装置が行う画像提示方法であって、
前記画像提示装置のユーザ属性手段が、ユーザの認証情報に基づいてユーザ属性を取得するユーザ属性取得工程と、
前記画像提示装置のデバイス属性取得手段が、画像の表示に用いる表示装置の機器情報に基づいて前記表示装置のデバイス属性を取得するデバイス属性取得工程と、
前記画像提示装置のレベル設定手段が、表示装置で画像を閲覧するための複数の閲覧権限レベルの中から、前記ユーザ属性取得工程と前記デバイス属性取得工程によって取得されたユーザ属性とデバイス属性組み合わせに応じた閲覧権限レベルを設定するレベル設定手段と
前記画像提示装置の画像生成手段が、予め用意された前記表示装置による表示内容及び表示動作の少なくともいずれかを示す表示すべき情報のうち、前記設定された閲覧権限レベルに対応する表示すべき情報の画像を生成する画像生成工程と
前記画像提示装置の提示制御手段が、前記生成された画像を表示装置に提示する制御を行う提示制御工程と
有することを特徴とする画像提示方法。
An image presentation method performed by an image presentation device that presents an image using a display device,
A user attribute acquisition step in which the user attribute means of the image presentation device acquires a user attribute based on user authentication information;
A device attribute acquisition unit that acquires the device attribute of the display device based on device information of the display device used by the device attribute acquisition unit of the image presentation device;
A combination of the user attribute and the device attribute acquired by the user attribute acquisition step and the device attribute acquisition step from a plurality of browsing authority levels for the level setting means of the image presentation device to browse the image on the display device Level setting means for setting the viewing authority level according to
Information to be displayed corresponding to the set viewing authority level among information to be displayed by the image generation means of the image presentation device indicating at least one of display content and display operation by the display device prepared in advance. An image generation process for generating an image of
Image presentation method presentation control means of the image display apparatus, characterized by having a <br/> a presentation control step of performing control for presenting the generated image to the display device.
請求項に記載の画像提示方法の各工程をコンピュータに実行させるためのコンピュータプログラム。 The computer program for making a computer perform each process of the image presentation method of Claim 6 .
JP2007147418A 2007-06-01 2007-06-01 Image presentation apparatus and method Expired - Fee Related JP5074827B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007147418A JP5074827B2 (en) 2007-06-01 2007-06-01 Image presentation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007147418A JP5074827B2 (en) 2007-06-01 2007-06-01 Image presentation apparatus and method

Publications (3)

Publication Number Publication Date
JP2008299760A JP2008299760A (en) 2008-12-11
JP2008299760A5 JP2008299760A5 (en) 2010-07-15
JP5074827B2 true JP5074827B2 (en) 2012-11-14

Family

ID=40173199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007147418A Expired - Fee Related JP5074827B2 (en) 2007-06-01 2007-06-01 Image presentation apparatus and method

Country Status (1)

Country Link
JP (1) JP5074827B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9784976B2 (en) 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339445B2 (en) * 2009-07-01 2013-11-13 Necカシオモバイルコミュニケーションズ株式会社 Terminal device and program
JP5676982B2 (en) * 2010-08-31 2015-02-25 キヤノン株式会社 Image generating apparatus, image generating method, and program
JP6160154B2 (en) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 Information display system using head-mounted display device, information display method using head-mounted display device, and head-mounted display device
KR102404734B1 (en) * 2017-03-24 2022-06-07 삼성전자주식회사 Computer readable recording medium and electronic appratus for reproducing content
JP7013757B2 (en) * 2017-09-20 2022-02-01 富士フイルムビジネスイノベーション株式会社 Information processing equipment, information processing systems and programs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1115817A (en) * 1997-06-24 1999-01-22 Sharp Corp Information display
JP2002135867A (en) * 2000-10-20 2002-05-10 Canon Inc Remote control system
JP4402850B2 (en) * 2001-03-16 2010-01-20 富士フイルム株式会社 Appreciation data correction method and apparatus, and recording medium
JP2003022154A (en) * 2001-07-09 2003-01-24 Fuji Photo Film Co Ltd User interface device and its control method
JP2003150289A (en) * 2001-11-15 2003-05-23 Seiko Epson Corp Picture display method and system and picture display processing program
JP2004258242A (en) * 2003-02-25 2004-09-16 Olympus Corp Image display device and program
US7345688B2 (en) * 2004-10-18 2008-03-18 Microsoft Corporation Semantic thumbnails
JP2006340320A (en) * 2005-06-06 2006-12-14 Canon Inc Data processing device and data processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9784976B2 (en) 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program

Also Published As

Publication number Publication date
JP2008299760A (en) 2008-12-11

Similar Documents

Publication Publication Date Title
CN110443083B (en) User interface security in virtual reality environments
CN103810409B (en) Information processor, information processing method and computer program
US11992773B2 (en) Augmented reality experiences based on qualities of interactions
CN110300909A (en) System, method and the medium shown for showing interactive augment reality
JP5074827B2 (en) Image presentation apparatus and method
CN109154983A (en) It is configured as the wear-type display system of exchange biometric information
US20130022947A1 (en) Method and system for generating behavioral studies of an individual
CN103761460B (en) Method for authenticating users of display equipment
JP2017526079A (en) System and method for identifying eye signals and continuous biometric authentication
CN103797752A (en) Method and computer program for providing authentication to control access to a computer system
US20200035024A1 (en) Controlling content included in a spatial mapping
JP6392945B1 (en) Program and method executed by computer for providing virtual space, and information processing apparatus for executing the program
US11822879B2 (en) Separately collecting and storing form contents
WO2018216602A1 (en) Information processing device, information processing method, and program
US20190251722A1 (en) Systems and methods for authorized exportation of virtual content to an augmented reality device
CN107924432B (en) Electronic device and method for transforming content thereof
Weir et al. I see therefore i read: improving the reading capabilities of individuals with visual disabilities through immersive virtual reality
JP7157972B2 (en) Concealed handwritten signature authentication device and method
JP6272688B2 (en) User authentication on display devices
JPWO2017037952A1 (en) Program, recording medium, content providing apparatus, and control method
JP2000099471A (en) Device and method for generating personal certification information and recording medium therefor
WO2023230290A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
CN103853968B (en) Method and device for generating verification code picture and verification method and device thereof
KR20050071293A (en) Method and apparatus for automatic diagnosis and color compensation for color blindness based on the web
JP2019021324A (en) Program executed by computer providing virtual space, method and information processing device executing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120824

R151 Written notification of patent or utility model registration

Ref document number: 5074827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees