JP6308213B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6308213B2 JP6308213B2 JP2015509965A JP2015509965A JP6308213B2 JP 6308213 B2 JP6308213 B2 JP 6308213B2 JP 2015509965 A JP2015509965 A JP 2015509965A JP 2015509965 A JP2015509965 A JP 2015509965A JP 6308213 B2 JP6308213 B2 JP 6308213B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- real space
- annotation
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title description 6
- 238000003672 processing method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims description 46
- 230000033001 locomotion Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 58
- 238000003384 imaging method Methods 0.000 description 45
- 238000004891 communication Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 20
- 241000220225 Malus Species 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 19
- 230000003993 interaction Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 7
- 241001503987 Clematis vitalba Species 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000003760 hair shine Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
1.システムおよび装置の構成
1−1.システム構成
1−2.装置構成
2.実空間画像の共有およびインタラクション
2−1.インタラクションの概念
2−2.利用されうる技術
3.可変視点画像の表示の例
4.アノテーションの実空間への表示
4−1.表示例
4−2.アノテーションの配置
5.視認可能範囲外にあるアノテーションの表示
6.その他の表示例
7.アプリケーションの例
8.補足
(1−1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、サーバ100と、クライアント200〜700とを有する。
(2)ディスプレイなどの表示手段と、タッチパネルなどの操作手段とを有し、(1)の装置から提供された画像をサーバ100から取得し、ユーザの閲覧に供するとともに、ユーザによる画像へのアノテーション入力を受け付ける装置。
(3)ディスプレイなどの表示手段を有し、(2)の装置によって入力が受け付けられたアノテーションを実空間に直接的または間接的に表示させる装置。
図2は、本開示の一実施形態に係る装置の概略的な構成を示す図である。図2を参照すると、装置900は、プロセッサ910、およびメモリ920を含む。装置900は、さらに、表示部930、操作部940、通信部950、撮像部960、またはセンサ970を含みうる。これらの構成要素は、バス980によって相互に接続される。装置900は、例えば、上記のサーバ100を構成するサーバ装置、およびクライアント200〜700を実現しうる。
次に、図3A〜図4を参照して、本開示の一実施形態に係るインタラクションの基本的な概念について説明する。
図3Aは、本開示の一実施形態における撮像画像の共有の例を示す図である。図示された例では、ウェアラブル端末200のカメラ260(撮像部)によって撮像された実空間の画像がサーバ100を介してタブレット端末300にストリーミング配信され、ディスプレイ330(表示部)に画像1300として表示される。このとき、ウェアラブル端末200では、撮像された実空間の画像がディスプレイ230(表示部)に表示されるか、実空間の像がディスプレイ230を透過して直接視認される。このときディスプレイ230に表示されている像(透過して視認される背景を含む)を、以下では画像1200として参照する。
本実施形態では、上述した実空間画像の共有とインタラクションを実現するにあたって、いくつかの技術が利用される。まず、本実施形態では、送信側の装置において、送信される実空間の画像データに空間情報が付加される。空間情報は、送信側の装置の撮像部(図3Aおよび図3Bの例ではウェアラブル端末200のカメラ260、図4の例ではタブレット端末300aのカメラ)が実空間の中でどのように移動しているかを推定することを可能にする情報である。
上記で説明した技術には、いくつかの利点がある。例えば、ウェアラブル端末200で実空間の画像が取得されてから、タブレット端末300で当該画像に対するアノテーションが入力され、さらにそのアノテーションがウェアラブル端末200に送信されるまでには時間差が生じていることが多い。
また、例えば、ウェアラブル端末200で表示される実空間の画像1200が、ディスプレイ230を透過して直接視認されるものであったり、ディスプレイ230の外側に見えている実空間の像と整合させてディスプレイ230に表示されるものであったりする場合、画像1200の範囲が、ウェアラブル端末200のカメラ260が撮像する実空間の画像の範囲よりも狭い(つまり、ウェアラブル端末200のユーザが視認している範囲よりも、撮像画像の範囲の方が広い)場合がありうる。
次に、図6〜図12を参照して、本開示の一実施形態に係る可変視点画像の表示について説明する。本実施形態では、上記のように、送信側の装置が、実空間の画像データに空間情報を付加して送信する。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、以下で説明するように、1人称画像(撮像部が撮像した実空間の画像)の視点にとらわれず、自由な視点で実空間を観察する画像を生成して受信側の装置に提供することが可能である。
図6は、本開示の一実施形態における1人称画像の表示例を示す図である。図6には、1人称画像1010が示されている。1人称画像1010は、ウェアラブル端末200(送信側の装置)のカメラ260が撮像した画像であり、ウェアラブル端末200でディスプレイ230に表示される画像1200と同一でありうるため、本明細書では「1人称画像」という。1人称画像1010はストリーミングフレーム、つまりカメラ260が撮像している一連のフレーム画像であるため、その表示範囲は例えばウェアラブル端末200を装着したユーザの動きに伴って刻々と変化する。
図7〜図9は、本開示の一実施形態における3人称画像の表示例を示す図である。図7〜図9に示された3人称画像1020は、ウェアラブル端末200のカメラ260が存在する実空間を、撮像画像のデータとともに提供された空間情報に基づいて1人称画像とは異なる視点から仮想的に撮像した画像である。3人称画像1020は、1人称画像1010とは異なり、ウェアラブル端末200のカメラ260の実空間での位置、すなわち送信側の装置の視点に関わらず自由に設定された視点で生成されうるため、本明細書では「3人称画像」という。3人称画像1020は、例えば、サーバ100のプロセッサが、ウェアラブル端末200から提供された空間情報に基づいてウェアラブル端末200のカメラ260が取得した実空間の画像を加工することによって生成され、通信部によってタブレット端末300に送信されうる。
図10Aは、本開示の一実施形態における1.3人称画像の表示例を示す図である。図10Aには、1.3人称画像1030が示されている。1.3人称画像1030は、ウェアラブル端末200のカメラ260が撮像した画像に基づいて、カメラ260の背面側の視点から実空間を仮想的に撮像した画像である。1.3人称画像1030の視点は、1人称画像1010の視点とは別に設定されうるが、3人称画像1020の視点のように自由に設定されるわけではないため、本明細書では、1人称画像と3人称画像との中間的な性質を有する画像を意味する用語として「1.3人称画像」を用いる。なお、1.3人称画像1030の視点と1人称画像1010の視点との関係は、例えば図7および図8に示された3人称画像1020で表示される視点オブジェクト1022および視点オブジェクト1023の関係を参照すれば容易に理解できる。
さらに、既に述べたように、本実施形態では実空間の位置を基準にしてアノテーションをやりとりする技術を利用することが可能である。この技術を利用すれば、タブレット端末300(受信側の装置)のユーザは、3人称画像1020や1.3人称画像1030において表示されるストリーミングフレーム1021,1031以外の領域に対してもアノテーションを入力することができる。これによって、例えば、ウェアラブル端末200(送信側の装置)が過去に見ていたが現在は見ていないオブジェクトや実空間内の位置に対してもアノテーションを加えることが可能である。このアノテーションは、例えば、後にストリーミングフレーム1021,1031が移動した場合に表示されてもよいし、後述する例のように、ウェアラブル端末200において、画像1200の外にアノテーションが存在することを示す通知が表示されてもよい。
続いて、図13〜図20を参照して、本開示の一実施形態におけるアノテーションの実空間への表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、受信側の装置で入力されたアノテーションを、さまざまな形で送信側の装置がある実空間に直接的または間接的に表示させることが可能である。
図13は、本開示の一実施形態におけるアノテーション表示の第1の例を示す図である。図13には、タブレット端末300cとタブレット端末300dとが示されている。図示された例において、タブレット端末300cは、図示しないカメラ(撮像部)によって実空間の画像を撮像し、それをディスプレイ330c(表示部)に画像1300cとして表示させる。タブレット端末300cのユーザは、ディスプレイ330c上に設けられたタッチセンサ340(操作部)によって画像1300cに対するアノテーション1310cを入力する。ここで、タブレット端末300cでは、画像1300c内の位置ではなく、画像1300cによってとらえられている実空間内の位置を指定してアノテーション1310cが入力される。実空間内の位置は、タブレット端末300cが撮像画像とともに取得する空間情報に基づいて指定することが可能であり、例えばタブレット端末300cの撮像部を基準にした相対的な位置、または空間内の特徴点などを基準とした位置として表現されうる。
図19は、本開示の一実施形態におけるアノテーションの配置について説明するための図である。図19に示されたウェアラブル端末200は、カメラ260(撮像部)で撮像した実空間の画像を空間情報とともにサーバ100に送信する。さらに、ウェアラブル端末200は、送信した画像に対して他の装置で入力されたアノテーションの情報を実空間の位置情報とともに受信し、受信した情報に基づいて、ディスプレイ230(表示部)を透過して視認される実空間の像に重畳してアノテーション1210を表示させる。なお、アノテーション1210は、実空間の像に重畳して仮想的に表示された結果ウェアラブル端末200のユーザに認識される位置に図示されている。つまり、図示されたようなアノテーション1210は、ウェアラブル端末200のユーザ以外には不可視である。
続いて、図21〜図32を参照して、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
図21〜図23は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第1の例を示す図である。
図24および図25は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第2の例を示す図である。この第2の例では、視認可能範囲外にアノテーションの対象が存在することに加えて、アノテーションの対象までの距離が表示される。
図26および図27は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第3の例を示す図である。
図28は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第4の例を示す図である。図示された例では、アノテーションの対象であるリンゴ(APPLE)が画像1200の外にある場合に、リンゴにより近い画像1200の端部分1260が光る。例えば、画像1200aでは、リンゴが画面の右下の方向にあるため、右下の端部分1260aが光る。また、画像1200bでは、リンゴが画面の左上の方向にあるため、左上の端部分1260bが光る。画像1200cでは、リンゴが画面の左下の方向にあるため、左下の端部分1260cが光る。
図29は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第5の例を示す図である。図示された例では、アノテーションとしてコメント1220が表示されている。しかし、コメント1220は横に長いため、画像1200には表示しきれていない。図では、これによって生じる非表示部分1221も示されている。この場合のコメント1220の非表示部分1221も、視認可能範囲外にあるアノテーションであるといえる。この非表示部分1221の存在を示すために、コメント1220が画像1200の端部に当接した部分に発光領域1280が表示される。
図30は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第6の例を示す図である。図示された例では、道案内で方向を示す矢印のアノテーション1210が表示されている。このアノテーション1210は、例えばユーザが画像1200bを見ている場合には視認可能であるが、画像1200aを見ている場合には視認可能ではない。そこで、ユーザが画像1200aを見ている場合には、アノテーション1210の影1290が表示されうる。影1290が表示されることによって、画像1200aを見ているユーザは、画面の上方の外にアノテーションが存在することを認識することができる。
図31および図32は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。図示された例では、ウェアラブル端末200のユーザが見ている画像1200が画像1200aから画像1200b、さらに画像1200cへと変化する中で、アノテーションの表示が変化する。画像1200には、アノテーションとして、ポインタ1210と、方向表示1230と、コメント1220とが表示される。
続いて、図33〜図35を参照して、本開示の一実施形態におけるその他の表示例について説明する。
続いて、図36〜図44を参照して、本開示の一実施形態を利用したアプリケーションの例について説明する。
本開示の実施形態は、例えば、上記で説明したような画像処理装置(サーバまたはクライアント)、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(1)第1の端末装置が有する第1の表示部を制御する表示制御部を備え、
前記表示制御部は、前記第1の表示部を介して実空間に表示される仮想オブジェクトを配置する基準を、前記実空間の位置情報、または前記実空間に存在する実オブジェクトの中から選択する表示制御装置。
(2)前記表示制御部は、前記仮想オブジェクトの種類に応じて前記仮想オブジェクトを配置する基準を選択する、前記(1)に記載の表示制御装置。
(3)前記表示制御部は、前記仮想オブジェクトが前記実空間における方向または視点を表示する場合には前記実空間の位置情報を基準にして前記仮想オブジェクトを配置する、前記(2)に記載の表示制御装置。
(4)前記表示制御部は、前記仮想オブジェクトが前記実オブジェクトに関連する場合には前記実オブジェクトを基準にして前記仮想オブジェクトを配置する、前記(2)または(3)に記載の表示制御装置。
(5)第2の端末装置が有する第2の表示部に表示された画像に対するユーザ操作に基づく情報を取得する操作取得部をさらに備え、
前記表示制御部は、前記ユーザ操作に応じて前記仮想オブジェクトの配置を決定する、前記(1)に記載の表示制御装置。
(6)前記表示制御部は、前記第2の表示部を制御して前記仮想オブジェクトの配置を設定するためのユーザインターフェース画像を表示させる、前記(5)に記載の表示制御装置。
(7)前記表示制御部は、前記ユーザインターフェース画像に、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトと前記実オブジェクトを基準にして配置された前記仮想オブジェクトとを表示させ、
前記操作取得部は、前記表示された仮想オブジェクトのうちのいずれかを選択するための前記ユーザ操作を取得する、前記(6)に記載の表示制御装置。
(8)前記表示制御部は、前記ユーザインターフェース画像において、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトを前記実オブジェクトから視覚的に分離させるための表示効果を追加する、前記(7)に記載の表示制御装置。
(9)前記表示制御部は、前記ユーザインターフェース画像において、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトの前記実空間での奥行き方向の位置を示す表示効果を追加する、前記(7)または(8)に記載の表示制御装置。
(10)前記表示制御部は、前記ユーザインターフェース画像に、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトを表示させ、
前記操作取得部は、前記仮想オブジェクトの位置を調整するための前記ユーザ操作を取得する、前記(6)〜(9)のいずれか1項に記載の表示制御装置。
(11)前記操作取得部は、前記仮想オブジェクトの前記実空間での奥行き方向の位置を調整するための前記ユーザ操作を取得する、前記(10)に記載の表示制御装置。
(12)前記表示制御部は、前記第1の表示部を制御して、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトとともに前記実オブジェクトを基準にして配置された前記仮想オブジェクトを表示させる、前記(1)〜(10)のいずれか1項に記載の表示制御装置。
(13)前記表示制御部は、前記実オブジェクトを基準にした前記仮想オブジェクトの配置を、前記実空間における前記実オブジェクトの移動に追従して変化させる、前記(1)〜(12)のいずれか1項に記載の表示制御装置。
(14)第1の端末装置が有する第1の表示部を制御するプロセッサが、
前記第1の表示部を介して実空間に表示される仮想オブジェクトを配置する基準を、前記実空間の位置情報、または前記実空間に存在する実オブジェクトの中から選択すること
を含む表示制御方法。
(15)第1の端末装置が有する第1の表示部を制御するコンピュータに、
前記第1の表示部を介して実空間に表示される仮想オブジェクトを配置する基準を、前記実空間の位置情報、または前記実空間に存在する実オブジェクトの中から選択する機能
を実現させるためのプログラム。
100 サーバ
200,300,400,500,600,700 クライアント
900 装置
910 プロセッサ
920 メモリ
930 表示部
940 操作部
950 通信部
960 撮像部
970 センサ
Claims (14)
- 第1の端末装置が有する第1の表示部を制御する表示制御部を備え、
前記表示制御部は、前記第1の表示部を介して実空間に表示される仮想オブジェクトを配置する基準を、前記仮想オブジェクトの種類に応じて、前記実空間の位置情報、または前記実空間に存在する実オブジェクトの中から選択する表示制御装置。 - 前記表示制御部は、前記仮想オブジェクトが前記実空間における方向または視点を表示する場合には前記実空間の位置情報を基準にして前記仮想オブジェクトを配置する、請求項1に記載の表示制御装置。
- 前記表示制御部は、前記仮想オブジェクトが前記実オブジェクトに関連する場合には前記実オブジェクトを基準にして前記仮想オブジェクトを配置する、請求項1または2に記載の表示制御装置。
- 第2の端末装置が有する第2の表示部に表示された画像に対するユーザ操作に基づく情報を取得する操作取得部をさらに備え、
前記表示制御部は、前記ユーザ操作に応じて前記仮想オブジェクトの配置を決定する、請求項1に記載の表示制御装置。 - 前記表示制御部は、前記第2の表示部を制御して前記仮想オブジェクトの配置を設定するためのユーザインターフェース画像を表示させる、請求項4に記載の表示制御装置。
- 前記表示制御部は、前記ユーザインターフェース画像に、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトと前記実オブジェクトを基準にして配置された前記仮想オブジェクトとを表示させ、
前記操作取得部は、前記表示された仮想オブジェクトのうちのいずれかを選択するための前記ユーザ操作を取得する、請求項5に記載の表示制御装置。 - 前記表示制御部は、前記ユーザインターフェース画像において、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトを前記実オブジェクトから視覚的に分離させるための表示効果を追加する、請求項6に記載の表示制御装置。
- 前記表示制御部は、前記ユーザインターフェース画像において、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトの前記実空間での奥行き方向の位置を示す表示効果を追加する、請求項6または7に記載の表示制御装置。
- 前記表示制御部は、前記ユーザインターフェース画像に、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトを表示させ、
前記操作取得部は、前記仮想オブジェクトの位置を調整するための前記ユーザ操作を取得する、請求項5〜8のいずれか1項に記載の表示制御装置。 - 前記操作取得部は、前記仮想オブジェクトの前記実空間での奥行き方向の位置を調整するための前記ユーザ操作を取得する、請求項9に記載の表示制御装置。
- 前記表示制御部は、前記第1の表示部を制御して、前記実空間の位置情報を基準にして配置された前記仮想オブジェクトとともに前記実オブジェクトを基準にして配置された前記仮想オブジェクトを表示させる、請求項1〜9のいずれか1項に記載の表示制御装置。
- 前記表示制御部は、前記実オブジェクトを基準にした前記仮想オブジェクトの配置を、前記実空間における前記実オブジェクトの移動に追従して変化させる、請求項1〜11のいずれか1項に記載の表示制御装置。
- 第1の端末装置が有する第1の表示部を制御するプロセッサが、
前記第1の表示部を介して実空間に表示される仮想オブジェクトを配置する基準を、前記仮想オブジェクトの種類に応じて、前記実空間の位置情報、または前記実空間に存在する実オブジェクトの中から選択すること
を含む表示制御方法。 - 第1の端末装置が有する第1の表示部を制御するコンピュータに、
前記第1の表示部を介して実空間に表示される仮想オブジェクトを配置する基準を、前記仮想オブジェクトの種類に応じて、前記実空間の位置情報、または前記実空間に存在する実オブジェクトの中から選択する機能
を実現させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013078895 | 2013-04-04 | ||
JP2013078895 | 2013-04-04 | ||
PCT/JP2014/056156 WO2014162823A1 (ja) | 2013-04-04 | 2014-03-10 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014162823A1 JPWO2014162823A1 (ja) | 2017-02-16 |
JP6308213B2 true JP6308213B2 (ja) | 2018-04-11 |
Family
ID=51658126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509965A Active JP6308213B2 (ja) | 2013-04-04 | 2014-03-10 | 情報処理装置、情報処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160055675A1 (ja) |
EP (3) | EP3550527B1 (ja) |
JP (1) | JP6308213B2 (ja) |
CN (1) | CN105264572B (ja) |
WO (1) | WO2014162823A1 (ja) |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
CN105684045B (zh) * | 2013-11-13 | 2019-05-14 | 索尼公司 | 显示控制装置、显示控制方法和程序 |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9366868B2 (en) | 2014-09-26 | 2016-06-14 | Osterhout Group, Inc. | See-through computer display systems |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US9299194B2 (en) * | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9811153B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20160171769A1 (en) * | 2014-01-24 | 2016-06-16 | Osterhout Group, Inc. | See-through computer display systems |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
EP3757808A1 (en) * | 2014-05-15 | 2020-12-30 | Sony Corporation | Terminal device, system, method of information presentation, and program |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20160112479A1 (en) * | 2014-10-16 | 2016-04-21 | Wipro Limited | System and method for distributed augmented reality |
JP6421543B2 (ja) * | 2014-10-17 | 2018-11-14 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
JP6780642B2 (ja) | 2015-06-15 | 2020-11-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6960212B2 (ja) * | 2015-09-14 | 2021-11-05 | 株式会社コロプラ | 視線誘導のためのコンピュータ・プログラム |
US10139902B2 (en) * | 2015-09-16 | 2018-11-27 | Colopl, Inc. | Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display |
US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US9762851B1 (en) * | 2016-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Shared experience with contextual augmentation |
CN106791777A (zh) * | 2016-12-12 | 2017-05-31 | 大连文森特软件科技有限公司 | 基于ar增强现实技术和无线通信技术的烹饪辅助系统 |
CN107065164B (zh) * | 2017-04-20 | 2019-09-20 | 深圳市元征科技股份有限公司 | 图像展示方法及装置 |
JP6777004B2 (ja) * | 2017-05-02 | 2020-10-28 | 京セラドキュメントソリューションズ株式会社 | 表示装置 |
US11048326B2 (en) * | 2017-06-12 | 2021-06-29 | Sony Corporation | Information processing system, information processing method, and program |
US10430924B2 (en) * | 2017-06-30 | 2019-10-01 | Quirklogic, Inc. | Resizable, open editable thumbnails in a computing device |
JP6470356B2 (ja) * | 2017-07-21 | 2019-02-13 | 株式会社コロプラ | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
JP2019028603A (ja) | 2017-07-27 | 2019-02-21 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
WO2019069575A1 (ja) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2019081350A1 (en) * | 2017-10-23 | 2019-05-02 | Koninklijke Philips N.V. | SERVICE INSTRUCTION LIBRARY BASED ON SELF-EXPANSION ENHANCED REALITY |
CN107833280B (zh) * | 2017-11-09 | 2021-05-11 | 交通运输部天津水运工程科学研究所 | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 |
CN108447032B (zh) * | 2018-03-07 | 2021-10-08 | 浙江大学 | 一种基于增强现实的绘画作品临摹和再创作方法 |
JP2019179080A (ja) * | 2018-03-30 | 2019-10-17 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20200073967A1 (en) * | 2018-08-28 | 2020-03-05 | Sony Corporation | Technique for saving metadata onto photographs |
EP3847530B1 (en) * | 2018-09-04 | 2023-12-27 | Apple Inc. | Display device sharing and interactivity in simulated reality (sr) |
DE102018217032A1 (de) * | 2018-10-04 | 2020-04-09 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität |
CN109558870A (zh) * | 2018-11-30 | 2019-04-02 | 歌尔科技有限公司 | 一种可穿戴设备及障碍物提示方法 |
CN110060354B (zh) * | 2019-04-19 | 2023-08-04 | 苏州梦想人软件科技有限公司 | 真实图像在虚拟空间中的定位和交互方法 |
CN110677537B (zh) * | 2019-09-29 | 2021-05-11 | 维沃移动通信有限公司 | 便签信息显示方法、便签信息发送方法及电子设备 |
WO2022176450A1 (ja) * | 2021-02-22 | 2022-08-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11523063B2 (en) * | 2021-03-25 | 2022-12-06 | Microsoft Technology Licensing, Llc | Systems and methods for placing annotations in an augmented reality environment using a center-locked interface |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278461B1 (en) * | 1993-09-10 | 2001-08-21 | Geovector Corporation | Augmented reality vision systems which derive image information from other vision systems |
JP3262772B2 (ja) * | 1999-12-17 | 2002-03-04 | 株式会社ナムコ | 画像生成システム及び情報記憶媒体 |
US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
JP4065507B2 (ja) * | 2002-07-31 | 2008-03-26 | キヤノン株式会社 | 情報提示装置および情報処理方法 |
JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
US8645220B2 (en) * | 2009-08-28 | 2014-02-04 | Homer Tlc, Inc. | Method and system for creating an augmented reality experience in connection with a stored value token |
JP2011128838A (ja) * | 2009-12-17 | 2011-06-30 | Panasonic Corp | 画像表示装置 |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
KR101347518B1 (ko) * | 2010-08-12 | 2014-01-07 | 주식회사 팬택 | 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버 |
KR101315399B1 (ko) * | 2010-08-20 | 2013-10-07 | 주식회사 팬택 | 객체 정보 제공 단말 장치 및 그 방법 |
JP5703726B2 (ja) * | 2010-12-07 | 2015-04-22 | カシオ計算機株式会社 | 情報表示システム、情報表示装置、情報提供装置、および、プログラム |
US20160187654A1 (en) * | 2011-02-28 | 2016-06-30 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
JP5960796B2 (ja) * | 2011-03-29 | 2016-08-02 | クアルコム,インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
JP5724543B2 (ja) | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 端末装置、オブジェクト制御方法及びプログラム |
US9071709B2 (en) * | 2011-03-31 | 2015-06-30 | Nokia Technologies Oy | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality |
US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
EP2750110B1 (en) * | 2011-08-24 | 2020-03-18 | Sony Corporation | Information processing device, information processing method, and program |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
JP2013080326A (ja) * | 2011-10-03 | 2013-05-02 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8990682B1 (en) * | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
US9361283B2 (en) * | 2011-11-30 | 2016-06-07 | Google Inc. | Method and system for projecting text onto surfaces in geographic imagery |
US9497501B2 (en) * | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
US20150312561A1 (en) * | 2011-12-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Virtual 3d monitor |
WO2013119221A1 (en) * | 2012-02-08 | 2013-08-15 | Intel Corporation | Augmented reality creation using a real scene |
US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
US9317971B2 (en) * | 2012-06-29 | 2016-04-19 | Microsoft Technology Licensing, Llc | Mechanism to give holographic objects saliency in multiple spaces |
US20140160157A1 (en) * | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
US9390561B2 (en) * | 2013-04-12 | 2016-07-12 | Microsoft Technology Licensing, Llc | Personal holographic billboard |
US9424239B2 (en) * | 2013-09-06 | 2016-08-23 | Microsoft Technology Licensing, Llc | Managing shared state information produced by applications |
-
2014
- 2014-03-10 CN CN201480018532.6A patent/CN105264572B/zh active Active
- 2014-03-10 EP EP19174778.1A patent/EP3550527B1/en active Active
- 2014-03-10 US US14/779,624 patent/US20160055675A1/en not_active Abandoned
- 2014-03-10 JP JP2015509965A patent/JP6308213B2/ja active Active
- 2014-03-10 EP EP14778137.1A patent/EP2983137B1/en active Active
- 2014-03-10 WO PCT/JP2014/056156 patent/WO2014162823A1/ja active Application Filing
- 2014-03-10 EP EP21183936.0A patent/EP3920148A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP2983137A4 (en) | 2016-11-02 |
CN105264572A (zh) | 2016-01-20 |
EP2983137B1 (en) | 2019-05-22 |
WO2014162823A1 (ja) | 2014-10-09 |
EP3920148A1 (en) | 2021-12-08 |
US20160055675A1 (en) | 2016-02-25 |
CN105264572B (zh) | 2018-09-21 |
JPWO2014162823A1 (ja) | 2017-02-16 |
EP3550527B1 (en) | 2021-07-07 |
EP2983137A1 (en) | 2016-02-10 |
EP3550527A1 (en) | 2019-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6308213B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6304241B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP6304242B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6304240B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
US9256986B2 (en) | Automated guidance when taking a photograph, using virtual objects overlaid on an image | |
US9384594B2 (en) | Anchoring virtual images to real world surfaces in augmented reality systems | |
JPWO2014188798A1 (ja) | 表示制御装置、表示制御方法および記録媒体 | |
JPWO2014188797A1 (ja) | 表示制御装置、表示制御方法および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6308213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |