JP6304241B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents
表示制御装置、表示制御方法およびプログラム Download PDFInfo
- Publication number
- JP6304241B2 JP6304241B2 JP2015509967A JP2015509967A JP6304241B2 JP 6304241 B2 JP6304241 B2 JP 6304241B2 JP 2015509967 A JP2015509967 A JP 2015509967A JP 2015509967 A JP2015509967 A JP 2015509967A JP 6304241 B2 JP6304241 B2 JP 6304241B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- real space
- annotation
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
1.システムおよび装置の構成
1−1.システム構成
1−2.装置構成
2.実空間画像の共有およびインタラクション
2−1.インタラクションの概念
2−2.利用されうる技術
3.可変視点画像の表示の例
4.アノテーションの実空間への表示
4−1.表示例
4−2.アノテーションの配置
5.視認可能範囲外にあるアノテーションの表示
6.その他の表示例
7.アプリケーションの例
8.入力対象位置と視認可能範囲との関係の表示
9.身体形状を利用したアノテーション関連表示
10.補足
(1−1.システム構成)
図1は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図1を参照すると、システム10は、サーバ100と、クライアント200〜700とを有する。
(2)ディスプレイなどの表示手段と、タッチパネルなどの操作手段とを有し、(1)の装置から提供された画像をサーバ100から取得し、ユーザの閲覧に供するとともに、ユーザによる画像へのアノテーション入力を受け付ける装置。
(3)ディスプレイなどの表示手段を有し、(2)の装置によって入力が受け付けられたアノテーションを実空間に直接的または間接的に表示させる装置。
図2は、本開示の一実施形態に係る装置の概略的な構成を示す図である。図2を参照すると、装置900は、プロセッサ910、およびメモリ920を含む。装置900は、さらに、表示部930、操作部940、通信部950、撮像部960、またはセンサ970を含みうる。これらの構成要素は、バス980によって相互に接続される。装置900は、例えば、上記のサーバ100を構成するサーバ装置、およびクライアント200〜700を実現しうる。
次に、図3A〜図4を参照して、本開示の一実施形態に係るインタラクションの基本的な概念について説明する。
図3Aは、本開示の一実施形態における撮像画像の共有の例を示す図である。図示された例では、ウェアラブル端末200のカメラ260(撮像部)によって撮像された実空間の画像がサーバ100を介してタブレット端末300にストリーミング配信され、ディスプレイ330(表示部)に画像1300として表示される。このとき、ウェアラブル端末200では、撮像された実空間の画像がディスプレイ230(表示部)に表示されるか、実空間の像がディスプレイ230を透過して直接視認される。このときディスプレイ230に表示されている像(透過して視認される背景を含む)を、以下では画像1200として参照する。
本実施形態では、上述した実空間画像の共有とインタラクションを実現するにあたって、いくつかの技術が利用される。まず、本実施形態では、送信側の装置において、送信される実空間の画像データに空間情報が付加される。空間情報は、送信側の装置の撮像部(図3Aおよび図3Bの例ではウェアラブル端末200のカメラ260、図4の例ではタブレット端末300aのカメラ)が実空間の中でどのように移動しているかを推定することを可能にする情報である。
上記で説明した技術には、いくつかの利点がある。例えば、ウェアラブル端末200で実空間の画像が取得されてから、タブレット端末300で当該画像に対するアノテーションが入力され、さらにそのアノテーションがウェアラブル端末200に送信されるまでには時間差が生じていることが多い。
また、例えば、ウェアラブル端末200で表示される実空間の画像1200が、ディスプレイ230を透過して直接視認されるものであったり、ディスプレイ230の外側に見えている実空間の像と整合させてディスプレイ230に表示されるものであったりする場合、画像1200の範囲が、ウェアラブル端末200のカメラ260が撮像する実空間の画像の範囲よりも狭い(つまり、ウェアラブル端末200のユーザが視認している範囲よりも、撮像画像の範囲の方が広い)場合がありうる。
次に、図6〜図12を参照して、本開示の一実施形態に係る可変視点画像の表示について説明する。本実施形態では、上記のように、送信側の装置が、実空間の画像データに空間情報を付加して送信する。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、以下で説明するように、1人称画像(撮像部が撮像した実空間の画像)の視点にとらわれず、自由な視点で実空間を観察する画像を生成して受信側の装置に提供することが可能である。
図6は、本開示の一実施形態における1人称画像の表示例を示す図である。図6には、1人称画像1010が示されている。1人称画像1010は、ウェアラブル端末200(送信側の装置)のカメラ260が撮像した画像であり、ウェアラブル端末200でディスプレイ230に表示される画像1200と同一でありうるため、本明細書では「1人称画像」という。1人称画像1010はストリーミングフレーム、つまりカメラ260が撮像している一連のフレーム画像であるため、その表示範囲は例えばウェアラブル端末200を装着したユーザの動きに伴って刻々と変化する。
図7〜図9は、本開示の一実施形態における3人称画像の表示例を示す図である。図7〜図9に示された3人称画像1020は、ウェアラブル端末200のカメラ260が存在する実空間を、撮像画像のデータとともに提供された空間情報に基づいて1人称画像とは異なる視点から仮想的に撮像した画像である。3人称画像1020は、1人称画像1010とは異なり、ウェアラブル端末200のカメラ260の実空間での位置、すなわち送信側の装置の視点に関わらず自由に設定された視点で生成されうるため、本明細書では「3人称画像」という。3人称画像1020は、例えば、サーバ100のプロセッサが、ウェアラブル端末200から提供された空間情報に基づいてウェアラブル端末200のカメラ260が取得した実空間の画像を加工することによって生成され、通信部によってタブレット端末300に送信されうる。
図10Aは、本開示の一実施形態における1.3人称画像の表示例を示す図である。図10Aには、1.3人称画像1030が示されている。1.3人称画像1030は、ウェアラブル端末200のカメラ260が撮像した画像に基づいて、カメラ260の背面側の視点から実空間を仮想的に撮像した画像である。1.3人称画像1030の視点は、1人称画像1010の視点とは別に設定されうるが、3人称画像1020の視点のように自由に設定されるわけではないため、本明細書では、1人称画像と3人称画像との中間的な性質を有する画像を意味する用語として「1.3人称画像」を用いる。なお、1.3人称画像1030の視点と1人称画像1010の視点との関係は、例えば図7および図8に示された3人称画像1020で表示される視点オブジェクト1022および視点オブジェクト1023の関係を参照すれば容易に理解できる。
さらに、既に述べたように、本実施形態では実空間の位置を基準にしてアノテーションをやりとりする技術を利用することが可能である。この技術を利用すれば、タブレット端末300(受信側の装置)のユーザは、3人称画像1020や1.3人称画像1030において表示されるストリーミングフレーム1021,1031以外の領域に対してもアノテーションを入力することができる。これによって、例えば、ウェアラブル端末200(送信側の装置)が過去に見ていたが現在は見ていないオブジェクトや実空間内の位置に対してもアノテーションを加えることが可能である。このアノテーションは、例えば、後にストリーミングフレーム1021,1031が移動した場合に表示されてもよいし、後述する例のように、ウェアラブル端末200において、画像1200の外にアノテーションが存在することを示す通知が表示されてもよい。
続いて、図13〜図20を参照して、本開示の一実施形態におけるアノテーションの実空間への表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。空間情報は、例えば送信側の装置の撮像部の実空間における位置および姿勢を示す情報である。この情報を利用すれば、受信側の装置で入力されたアノテーションを、さまざまな形で送信側の装置がある実空間に直接的または間接的に表示させることが可能である。
図13は、本開示の一実施形態におけるアノテーション表示の第1の例を示す図である。図13には、タブレット端末300cとタブレット端末300dとが示されている。図示された例において、タブレット端末300cは、図示しないカメラ(撮像部)によって実空間の画像を撮像し、それをディスプレイ330c(表示部)に画像1300cとして表示させる。タブレット端末300cのユーザは、ディスプレイ330c上に設けられたタッチセンサ340(操作部)によって画像1300cに対するアノテーション1310cを入力する。ここで、タブレット端末300cでは、画像1300c内の位置ではなく、画像1300cによってとらえられている実空間内の位置を指定してアノテーション1310cが入力される。実空間内の位置は、タブレット端末300cが撮像画像とともに取得する空間情報に基づいて指定することが可能であり、例えばタブレット端末300cの撮像部を基準にした相対的な位置、または空間内の特徴点などを基準とした位置として表現されうる。
図19は、本開示の一実施形態におけるアノテーションの配置について説明するための図である。図19に示されたウェアラブル端末200は、カメラ260(撮像部)で撮像した実空間の画像を空間情報とともにサーバ100に送信する。さらに、ウェアラブル端末200は、送信した画像に対して他の装置で入力されたアノテーションの情報を実空間の位置情報とともに受信し、受信した情報に基づいて、ディスプレイ230(表示部)を透過して視認される実空間の像に重畳してアノテーション1210を表示させる。なお、アノテーション1210は、実空間の像に重畳して仮想的に表示された結果ウェアラブル端末200のユーザに認識される位置に図示されている。つまり、図示されたようなアノテーション1210は、ウェアラブル端末200のユーザ以外には不可視である。
続いて、図21〜図32を参照して、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
図21〜図23は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第1の例を示す図である。
図24および図25は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第2の例を示す図である。この第2の例では、視認可能範囲外にアノテーションの対象が存在することに加えて、アノテーションの対象までの距離が表示される。
図26および図27は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第3の例を示す図である。
図28は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第4の例を示す図である。図示された例では、アノテーションの対象であるリンゴ(APPLE)が画像1200の外にある場合に、リンゴにより近い画像1200の端部分1260が光る。例えば、画像1200aでは、リンゴが画面の右下の方向にあるため、右下の端部分1260aが光る。また、画像1200bでは、リンゴが画面の左上の方向にあるため、左上の端部分1260bが光る。画像1200cでは、リンゴが画面の左下の方向にあるため、左下の端部分1260cが光る。
図29は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第5の例を示す図である。図示された例では、アノテーションとしてコメント1220が表示されている。しかし、コメント1220は横に長いため、画像1200には表示しきれていない。図では、これによって生じる非表示部分1221も示されている。この場合のコメント1220の非表示部分1221も、視認可能範囲外にあるアノテーションであるといえる。この非表示部分1221の存在を示すために、コメント1220が画像1200の端部に当接した部分に発光領域1280が表示される。
図30は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の第6の例を示す図である。図示された例では、道案内で方向を示す矢印のアノテーション1210が表示されている。このアノテーション1210は、例えばユーザが画像1200bを見ている場合には視認可能であるが、画像1200aを見ている場合には視認可能ではない。そこで、ユーザが画像1200aを見ている場合には、アノテーション1210の影1290が表示されうる。影1290が表示されることによって、画像1200aを見ているユーザは、画面の上方の外にアノテーションが存在することを認識することができる。
図31および図32は、本開示の一実施形態における視認可能範囲外にあるアノテーションの表示の応用例を示す図である。図示された例では、ウェアラブル端末200のユーザが見ている画像1200が画像1200aから画像1200b、さらに画像1200cへと変化する中で、アノテーションの表示が変化する。画像1200には、アノテーションとして、ポインタ1210と、方向表示1230と、コメント1220とが表示される。
続いて、図33〜図35を参照して、本開示の一実施形態におけるその他の表示例について説明する。
続いて、図36〜図44を参照して、本開示の一実施形態を利用したアプリケーションの例について説明する。
続いて、図45〜図49を参照して、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示について説明する。本実施形態では、上記のように、送信側の装置において送信される実空間の画像データに空間情報が付加される。この空間情報を利用すれば、受信側の装置では、送信側の装置で表示されている画像の表示範囲に関わらず、実空間の任意の位置に対してアノテーションを入力することが可能である。
図45は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第1の例を示す図である。図45には、タブレット装置300に表示される画像1300が示されている。
図46および図47は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第2の例を示す図である。図46および図47には、タブレット端末300に表示される画像1300が示されている。
図48は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の第3の例を示す図である。図48には、タブレット端末300に表示される画像1300が示されている。
図49は、本開示の一実施形態における入力対象位置と視認可能範囲との関係の表示の第4の例を示す図である。図49には、タブレット端末300に表示される画像1300が示されている。
続いて、図50〜図52を参照して、本開示の一実施形態における身体形状を利用したアノテーション関連表示について説明する。本実施形態では、実空間のストリーミング画像の受信側の装置から、当該ストリーミング画像の送信側の装置に対して、様々なアノテーションを入力することが可能である。送信側の装置において送信される実空間の画像データに付加される空間情報を利用して、アノテーションが、送信側の装置のユーザが視認可能な範囲に対しても、その外の実空間に対しても入力されうることは、既に述べた通りである。以下の例では、そのようなアノテーションのバリエーションとして、受信側の装置のユーザの身体形状を利用したアノテーション関連表示の例について説明する。
図50は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第1の例を示す図である。図50では、実空間のストリーミング画像の受信側の装置の例として、デスクトップ型のPC302が示されている。PC302は、図示しないセンサによって、ユーザの手などの身体形状、またはジェスチャを認識することが可能である。図示されているように、PC302のユーザは、手のジェスチャによって、PC302に表示された実空間のストリーミング画像1300に対するアノテーションを入力することが可能である。
図51は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第2の例を示す図である。図51でも、画像1300において、上記で図50を参照して説明した第1の例と同様のグラフィック1370が表示されている。ただし、この例では、画像1300が、上記で図9および図10などを参照して説明したような手法で、リアルタイムのストリーミング画像の範囲よりも拡大されている。従って、画像1300には、ストリーミングフレーム1360が表示され、それとともにグラフィック1370が表示される。
図52は、本開示の一実施形態における身体形状を利用したアノテーション関連表示の第3の例を示す図である。図52では、実空間のストリーミング画像の送信側の装置(例えばウェアラブル端末200)において、上記の例で画像1300に表示されたグラフィック1370と同様のグラフィック1291が表示されている。
本開示の実施形態は、例えば、上記で説明したような画像処理装置(サーバまたはクライアント)、システム、画像処理装置またはシステムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(1)端末装置の表示部を制御する表示制御部を備え、
前記表示制御部は、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
を実行する表示制御装置。
(2)前記表示制御部は、前記仮想オブジェクトの全部が前記視認可能範囲の外にある場合に前記通知を表示させる、前記(1)に記載の表示制御装置。
(3)前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、前記(2)に記載の表示制御装置。
(4)前記通知は、前記方向に対応する前記視認可能範囲の辺縁部に表示される、前記(3)に記載の表示制御装置。
(5)前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、前記(3)または(4)に記載の表示制御装置。
(6)前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向が前記実空間における光源方向に対応する場合には、前記仮想オブジェクトの影の表示を含む、前記(3)に記載の表示制御装置。
(7)前記表示制御部は、前記仮想オブジェクトが前記視認可能範囲の中に入った後も前記影の表示を継続する、前記(6)に記載の表示制御装置。
(8)前記実空間の撮像画像を取得する画像取得部をさらに備え、
前記通知は、前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像を含む、前記(2)〜(5)のいずれか1項に記載の表示制御装置。
(9)前記通知は、過去に取得された前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像に前記仮想オブジェクトを重畳させた画像を含む、前記(8)に記載の表示制御装置。
(10)前記通知は、過去の前記仮想オブジェクトに関連付けられた前記位置情報に対応する位置が前記視認可能範囲に入るように前記表示部を移動させるためのナビゲーションを含む、前記(2)に記載の表示制御装置。
(11)前記表示制御部は、前記仮想オブジェクトの一部が前記視認可能範囲の外にある場合に前記通知を表示させる、前記(1)に記載の表示制御装置。
(12)前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、前記(11)に記載の表示制御装置。
(13)前記不可視部分のサイズまたは割合を示す表示は、前記仮想オブジェクトが前記視認可能範囲の辺縁部に当接した部分に配置される領域であり、該領域のサイズによって前記不可視部分のサイズまたは割合が示される、前記(12)に記載の表示制御装置。
(14)前記仮想オブジェクトは、前記位置情報に対応する位置に存在する実オブジェクトに関する情報を含み、
前記表示制御部は、前記実オブジェクトが前記表示部において所定の位置に配置されるまで前記仮想オブジェクトの表示を抑制するとともに前記通知の表示を継続する、前記(1)に記載の表示制御装置。
(15)前記視認可能範囲は、前記表示部に表示される前記実空間の画像の範囲によって規定される、前記(1)に記載の表示制御装置。
(16)前記実空間の撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像の一部を前記実空間の画像として前記表示部に表示させる、前記(15)に記載の表示制御装置。
(17)前記視認可能範囲は、前記表示部が前記実空間に付加的に画像を表示させることが可能な範囲によって規定される、前記(1)に記載の表示制御装置。
(18)前記表示制御部は、前記仮想オブジェクトの入力が実行される、前記端末装置とは異なる装置において前記通知を表示させるための制御を実行する、前記(1)〜前記(17)のいずれか1項に記載の表示制御装置。
(19)端末装置の表示部を制御するプロセッサが、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させることと、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させることと
を含む表示制御方法。
(20)端末装置の表示部を制御するコンピュータに、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる機能と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる機能と
を実現させるためのプログラム。
100 サーバ
200,300,400,500,600,700 クライアント
900 装置
910 プロセッサ
920 メモリ
930 表示部
940 操作部
950 通信部
960 撮像部
970 センサ
Claims (20)
- 端末装置の表示部を制御する表示制御部を備え、
前記表示制御部は、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
を実行し、
前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、
表示制御装置。 - 前記表示制御部は、前記仮想オブジェクトの全部が前記視認可能範囲の外にある場合に前記通知を表示させる、請求項1に記載の表示制御装置。
- 前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向を示す表示を含む、請求項2に記載の表示制御装置。
- 前記通知は、前記方向に対応する前記視認可能範囲の辺縁部に表示される、請求項3に記載の表示制御装置。
- 前記通知は、前記視認可能範囲から見て前記仮想オブジェクトが存在する方向が前記実空間における光源方向に対応する場合には、前記仮想オブジェクトの影の表示を含む、請求項3に記載の表示制御装置。
- 前記表示制御部は、前記仮想オブジェクトが前記視認可能範囲の中に入った後も前記影の表示を継続する、請求項5に記載の表示制御装置。
- 前記実空間の撮像画像を取得する画像取得部をさらに備え、
前記通知は、前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像を含む、請求項1〜4のいずれか1項に記載の表示制御装置。 - 前記通知は、過去に取得された前記撮像画像から抽出された前記位置情報に対応する位置の前記実空間の画像に前記仮想オブジェクトを重畳させた画像を含む、請求項7に記載の表示制御装置。
- 前記通知は、過去の前記仮想オブジェクトに関連付けられた前記位置情報に対応する位置が前記視認可能範囲に入るように前記表示部を移動させるためのナビゲーションを含む、請求項2に記載の表示制御装置。
- 前記表示制御部は、前記仮想オブジェクトの一部が前記視認可能範囲の外にある場合に前記通知を表示させる、請求項1に記載の表示制御装置。
- 前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、請求項10に記載の表示制御装置。
- 前記不可視部分のサイズまたは割合を示す表示は、前記仮想オブジェクトが前記視認可能範囲の辺縁部に当接した部分に配置される領域であり、該領域のサイズによって前記不可視部分のサイズまたは割合が示される、請求項11に記載の表示制御装置。
- 前記仮想オブジェクトは、前記位置情報に対応する位置に存在する実オブジェクトに関する情報を含み、
前記表示制御部は、前記実オブジェクトが前記表示部において所定の位置に配置されるまで前記仮想オブジェクトの表示を抑制するとともに前記通知の表示を継続する、請求項1に記載の表示制御装置。 - 前記視認可能範囲は、前記表示部に表示される前記実空間の画像の範囲によって規定される、請求項1に記載の表示制御装置。
- 前記実空間の撮像画像を取得する画像取得部をさらに備え、
前記表示制御部は、前記撮像画像の一部を前記実空間の画像として前記表示部に表示させる、請求項14に記載の表示制御装置。 - 前記視認可能範囲は、前記表示部が前記実空間に付加的に画像を表示させることが可能な範囲によって規定される、請求項1に記載の表示制御装置。
- 前記表示制御部は、前記仮想オブジェクトの入力が実行される、前記端末装置とは異なる装置において前記通知を表示させるための制御を実行する、請求項1〜請求項16のいずれか1項に記載の表示制御装置。
- 端末装置の表示部を制御するプロセッサが、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させることと、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させることと
を含み、
前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、
表示制御方法。 - 端末装置の表示部を制御するコンピュータに、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる機能と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる機能と
を実現させ、
前記通知は、前記視認可能範囲と前記仮想オブジェクトとの間の距離を示す表示を含む、
プログラム。 - 端末装置の表示部を制御する表示制御部を備え、
前記表示制御部は、
前記表示部を介して実空間に表示される仮想オブジェクトに関連付けられた前記実空間での位置情報に基づいて前記仮想オブジェクトの表示位置を決定し、前記表示位置に基づいて前記仮想オブジェクトを前記実空間に表示させる制御と、
前記仮想オブジェクトの一部または全部が前記実空間の視認可能範囲の外にある場合に前記仮想オブジェクトの存在を示す通知を前記実空間に表示させる制御と
を実行し、
前記通知は、前記仮想オブジェクトのうち前記視認可能範囲の外にある不可視部分のサイズまたは割合を示す表示を含む、
表示制御装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013078892 | 2013-04-04 | ||
JP2013078892 | 2013-04-04 | ||
JP2013191464 | 2013-09-17 | ||
JP2013191464 | 2013-09-17 | ||
PCT/JP2014/056162 WO2014162825A1 (ja) | 2013-04-04 | 2014-03-10 | 表示制御装置、表示制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014162825A1 JPWO2014162825A1 (ja) | 2017-02-16 |
JP6304241B2 true JP6304241B2 (ja) | 2018-04-04 |
Family
ID=51658128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509967A Active JP6304241B2 (ja) | 2013-04-04 | 2014-03-10 | 表示制御装置、表示制御方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160055676A1 (ja) |
EP (1) | EP2983138A4 (ja) |
JP (1) | JP6304241B2 (ja) |
CN (1) | CN105103198A (ja) |
WO (1) | WO2014162825A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10853681B2 (en) | 2016-03-29 | 2020-12-01 | Sony Corporation | Information processing device, information processing method, and program |
JP7505113B2 (ja) | 2021-03-29 | 2024-06-24 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび表示方法 |
Families Citing this family (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3070585A4 (en) * | 2013-11-13 | 2017-07-05 | Sony Corporation | Display control device, display control method and program |
WO2015145778A1 (ja) | 2014-03-28 | 2015-10-01 | パイオニア株式会社 | 車載用照明装置 |
CN104093061B (zh) * | 2014-07-18 | 2020-06-02 | 北京智谷睿拓技术服务有限公司 | 内容分享方法和装置 |
US9791919B2 (en) * | 2014-10-19 | 2017-10-17 | Philip Lyren | Electronic device displays an image of an obstructed target |
JP2016085642A (ja) * | 2014-10-27 | 2016-05-19 | 富士通株式会社 | 操作支援方法、操作支援プログラムおよび操作支援装置 |
US10511608B2 (en) * | 2014-10-30 | 2019-12-17 | Lenovo (Singapore) Pte. Ltd. | Aggregate service with file sharing |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
JP2016177614A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | 会議システム、情報処理装置、情報端末、及びプログラム |
EP3281403A4 (en) * | 2015-04-06 | 2018-03-07 | Scope Technologies US Inc. | Methods and apparatus for augmented reality applications |
US10062208B2 (en) | 2015-04-09 | 2018-08-28 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
KR20160125674A (ko) * | 2015-04-22 | 2016-11-01 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
JP2016218268A (ja) * | 2015-05-21 | 2016-12-22 | セイコーエプソン株式会社 | 可搬型表示装置、表示システム、表示方法 |
WO2016185845A1 (ja) | 2015-05-21 | 2016-11-24 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
WO2017013986A1 (ja) * | 2015-07-17 | 2017-01-26 | シャープ株式会社 | 情報処理装置、端末、および、遠隔通信システム |
JP6531007B2 (ja) * | 2015-08-07 | 2019-06-12 | シャープ株式会社 | マーク処理装置、プログラム |
JP2017054185A (ja) * | 2015-09-07 | 2017-03-16 | 株式会社東芝 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
JP6886236B2 (ja) * | 2015-09-30 | 2021-06-16 | 富士通株式会社 | 視野誘導方法、視野誘導プログラム、及び視野誘導装置 |
EP3377961B1 (en) | 2015-11-17 | 2021-07-21 | PCMS Holdings, Inc. | System and method for using augmented reality to visualize network service quality |
JP6766824B2 (ja) * | 2015-12-10 | 2020-10-14 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN105487834B (zh) * | 2015-12-14 | 2018-08-07 | 广东威创视讯科技股份有限公司 | 拼接墙回显方法和系统 |
IL262279B2 (en) | 2016-04-21 | 2023-04-01 | Magic Leap Inc | A visual aura around the field of vision |
CN109314800B (zh) | 2016-06-13 | 2022-02-01 | 索尼互动娱乐有限责任公司 | 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统 |
CN106331689B (zh) * | 2016-08-26 | 2018-09-18 | 杭州智屏电子商务有限公司 | Vr视频播放时定位对象方法及vr视频播放时定位对象装置 |
US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
WO2018100906A1 (ja) * | 2016-11-30 | 2018-06-07 | グリー株式会社 | アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム |
US10146300B2 (en) * | 2017-01-25 | 2018-12-04 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Emitting a visual indicator from the position of an object in a simulated reality emulation |
WO2018167843A1 (ja) | 2017-03-14 | 2018-09-20 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2018163461A (ja) * | 2017-03-24 | 2018-10-18 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP6541704B2 (ja) * | 2017-03-27 | 2019-07-10 | Kddi株式会社 | 仮想物体を表示する端末装置とサーバ装置とを含むシステム |
CN107247510A (zh) * | 2017-04-27 | 2017-10-13 | 成都理想境界科技有限公司 | 一种基于增强现实的社交方法、终端、服务器和系统 |
US10509556B2 (en) * | 2017-05-02 | 2019-12-17 | Kyocera Document Solutions Inc. | Display device |
CN108875460B (zh) * | 2017-05-15 | 2023-06-20 | 腾讯科技(深圳)有限公司 | 增强现实处理方法及装置、显示终端及计算机存储介质 |
EP3631601A1 (en) | 2017-05-23 | 2020-04-08 | PCMS Holdings, Inc. | System and method for prioritizing ar information based on persistence of real-life objects in the user's view |
EP3413167A1 (en) | 2017-06-06 | 2018-12-12 | Thomson Licensing | Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item |
US10430924B2 (en) * | 2017-06-30 | 2019-10-01 | Quirklogic, Inc. | Resizable, open editable thumbnails in a computing device |
JP6952065B2 (ja) * | 2017-07-21 | 2021-10-20 | 株式会社コロプラ | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 |
US10803642B2 (en) | 2017-08-18 | 2020-10-13 | Adobe Inc. | Collaborative virtual reality anti-nausea and video streaming techniques |
US10613703B2 (en) * | 2017-08-18 | 2020-04-07 | Adobe Inc. | Collaborative interaction with virtual reality video |
US10715746B2 (en) * | 2017-09-06 | 2020-07-14 | Realwear, Inc. | Enhanced telestrator for wearable devices |
JP2019053423A (ja) | 2017-09-13 | 2019-04-04 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019054086A1 (ja) * | 2017-09-15 | 2019-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11199946B2 (en) * | 2017-09-20 | 2021-12-14 | Nec Corporation | Information processing apparatus, control method, and program |
CN108304075B (zh) * | 2018-02-11 | 2021-08-06 | 亮风台(上海)信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
WO2019181488A1 (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10776943B2 (en) * | 2018-07-17 | 2020-09-15 | Samsung Electronics Co., Ltd. | System and method for 3D association of detected objects |
US11694369B2 (en) * | 2018-09-21 | 2023-07-04 | Lg Electronics Inc. | Vehicle user interface device and operating method of vehicle user interface device |
US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
USD920997S1 (en) * | 2019-01-04 | 2021-06-01 | Samsung Electronics Co., Ltd. | Refrigerator with transitional graphical user interface |
USD904431S1 (en) * | 2019-01-04 | 2020-12-08 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
USD904432S1 (en) * | 2019-01-04 | 2020-12-08 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
CN113498531A (zh) | 2019-03-06 | 2021-10-12 | 麦克赛尔株式会社 | 头戴式信息处理装置以及头戴式显示系统 |
US11216149B2 (en) * | 2019-03-15 | 2022-01-04 | Samsung Electronics Co., Ltd. | 360° video viewer control using smart device |
US10957108B2 (en) * | 2019-04-15 | 2021-03-23 | Shutterstock, Inc. | Augmented reality image retrieval systems and methods |
CN114009068A (zh) * | 2019-04-17 | 2022-02-01 | 苹果公司 | 用于跟踪和查找物品的用户界面 |
WO2020223176A1 (en) | 2019-04-28 | 2020-11-05 | Prestacom Services Llc | Generating tactile output sequences associated with an object |
JP6815439B2 (ja) * | 2019-06-07 | 2021-01-20 | Kddi株式会社 | 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置 |
US11023095B2 (en) | 2019-07-12 | 2021-06-01 | Cinemoi North America, LLC | Providing a first person view in a virtual world using a lens |
USD1009884S1 (en) * | 2019-07-26 | 2024-01-02 | Sony Corporation | Mixed reality eyeglasses or portion thereof with an animated graphical user interface |
US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
CN110716646A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、设备及存储介质 |
US11244164B2 (en) * | 2020-02-03 | 2022-02-08 | Honeywell International Inc. | Augmentation of unmanned-vehicle line-of-sight |
US11263787B2 (en) * | 2020-03-05 | 2022-03-01 | Rivian Ip Holdings, Llc | Augmented reality detection for locating autonomous vehicles |
US11043038B1 (en) * | 2020-03-16 | 2021-06-22 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method of three-dimensional interaction for augmented reality remote assistance |
CN111492409B (zh) * | 2020-03-16 | 2023-05-02 | 香港应用科技研究院有限公司 | 用于增强现实远程协助的三维交互的装置和方法 |
US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
US11431952B2 (en) * | 2020-05-11 | 2022-08-30 | Sony Interactive Entertainment Inc. | User selection of virtual camera location to produce video using synthesized input from multiple cameras |
JP7390978B2 (ja) * | 2020-05-27 | 2023-12-04 | 清水建設株式会社 | アノテーション支援装置および方法 |
US11778421B2 (en) | 2020-09-25 | 2023-10-03 | Apple Inc. | User interfaces for tracking and finding items |
US11354868B1 (en) * | 2021-02-26 | 2022-06-07 | Zebra Technologies Corporation | Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s) |
CN112947756A (zh) * | 2021-03-03 | 2021-06-11 | 上海商汤智能科技有限公司 | 内容导览方法、装置、系统、计算机设备及存储介质 |
US11523063B2 (en) * | 2021-03-25 | 2022-12-06 | Microsoft Technology Licensing, Llc | Systems and methods for placing annotations in an augmented reality environment using a center-locked interface |
WO2022208600A1 (ja) * | 2021-03-29 | 2022-10-06 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび表示方法 |
US20240177436A1 (en) | 2021-03-29 | 2024-05-30 | Kyocera Corporation | Wearable terminal device, program, and notification method |
US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
WO2023223750A1 (ja) * | 2022-05-18 | 2023-11-23 | 株式会社Nttドコモ | 表示装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4065507B2 (ja) * | 2002-07-31 | 2008-03-26 | キヤノン株式会社 | 情報提示装置および情報処理方法 |
JP2005174021A (ja) * | 2003-12-11 | 2005-06-30 | Canon Inc | 情報提示方法及び装置 |
CN2875135Y (zh) * | 2005-10-17 | 2007-03-07 | 超源实业有限公司 | 宽幅吊颈带 |
US9013505B1 (en) * | 2007-11-27 | 2015-04-21 | Sprint Communications Company L.P. | Mobile system representing virtual objects on live camera image |
US20100198506A1 (en) * | 2009-02-03 | 2010-08-05 | Robert Steven Neilhouse | Street and landmark name(s) and/or turning indicators superimposed on user's field of vision with dynamic moving capabilities |
US20100238161A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
US20100305843A1 (en) * | 2009-05-29 | 2010-12-02 | Nokia Corporation | Navigation indicator |
US9258408B2 (en) * | 2009-06-04 | 2016-02-09 | Nokia Technologies Oy | Method and apparatus for third-party control of device behavior |
KR100989663B1 (ko) * | 2010-01-29 | 2010-10-26 | (주)올라웍스 | 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
CN102834799B (zh) * | 2010-03-01 | 2015-07-15 | Metaio有限公司 | 在真实环境的视图中显示虚拟信息的方法 |
US20110234631A1 (en) * | 2010-03-25 | 2011-09-29 | Bizmodeline Co., Ltd. | Augmented reality systems |
CN101833896B (zh) * | 2010-04-23 | 2011-10-19 | 西安电子科技大学 | 基于增强现实的地理信息指引方法与系统 |
KR101347518B1 (ko) * | 2010-08-12 | 2014-01-07 | 주식회사 팬택 | 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버 |
CN102375972A (zh) * | 2010-08-23 | 2012-03-14 | 谢铮 | 一种分布式的基于可移动设备的增强现实平台 |
JP5724543B2 (ja) | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 端末装置、オブジェクト制御方法及びプログラム |
JP5765019B2 (ja) * | 2011-03-31 | 2015-08-19 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
CN102980570A (zh) * | 2011-09-06 | 2013-03-20 | 上海博路信息技术有限公司 | 一种实景增强现实导航系统 |
US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US8635021B2 (en) * | 2012-05-04 | 2014-01-21 | Google Inc. | Indicators for off-screen content |
US8589818B1 (en) * | 2013-01-03 | 2013-11-19 | Google Inc. | Moveable viewport for indicating off-screen content |
US9208583B2 (en) * | 2013-02-13 | 2015-12-08 | Blackberry Limited | Device with enhanced augmented reality functionality |
-
2014
- 2014-03-10 WO PCT/JP2014/056162 patent/WO2014162825A1/ja active Application Filing
- 2014-03-10 US US14/779,789 patent/US20160055676A1/en not_active Abandoned
- 2014-03-10 JP JP2015509967A patent/JP6304241B2/ja active Active
- 2014-03-10 CN CN201480018323.1A patent/CN105103198A/zh active Pending
- 2014-03-10 EP EP14779413.5A patent/EP2983138A4/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10853681B2 (en) | 2016-03-29 | 2020-12-01 | Sony Corporation | Information processing device, information processing method, and program |
JP7505113B2 (ja) | 2021-03-29 | 2024-06-24 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび表示方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2014162825A1 (ja) | 2014-10-09 |
EP2983138A1 (en) | 2016-02-10 |
EP2983138A4 (en) | 2017-02-22 |
US20160055676A1 (en) | 2016-02-25 |
JPWO2014162825A1 (ja) | 2017-02-16 |
CN105103198A (zh) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6304241B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP6308213B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6304242B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6304240B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
US11886633B2 (en) | Virtual object display interface between a wearable device and a mobile device | |
US9256986B2 (en) | Automated guidance when taking a photograph, using virtual objects overlaid on an image | |
US9384594B2 (en) | Anchoring virtual images to real world surfaces in augmented reality systems | |
WO2014188798A1 (ja) | 表示制御装置、表示制御方法および記録媒体 | |
JPWO2014188797A1 (ja) | 表示制御装置、表示制御方法および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6304241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |