JPWO2016129489A1 - 表示装置、表示装置の制御方法、制御プログラム、記録媒体 - Google Patents
表示装置、表示装置の制御方法、制御プログラム、記録媒体 Download PDFInfo
- Publication number
- JPWO2016129489A1 JPWO2016129489A1 JP2016574763A JP2016574763A JPWO2016129489A1 JP WO2016129489 A1 JPWO2016129489 A1 JP WO2016129489A1 JP 2016574763 A JP2016574763 A JP 2016574763A JP 2016574763 A JP2016574763 A JP 2016574763A JP WO2016129489 A1 JPWO2016129489 A1 JP WO2016129489A1
- Authority
- JP
- Japan
- Prior art keywords
- projection
- unit
- image
- display device
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 108
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
映像を投射する位置を直観的な操作で指示する。表示装置(100)は、撮像部(2)が撮像した撮像画像から、映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定部(12)と、上記指示位置決定部が決定した位置に映像が投射されるように、映像を投射する位置を調節する投射位置制御部(14)とを備えている。
Description
本発明は、映像を所望の位置に投射して表示することが可能な表示装置およびその制御方法などに関する。
投射位置を移動ことができるプロジェクターが従来技術として知られている。例えば、特許文献1に記載のプロジェクターは、投射画面を含んでカメラが撮像した画像から、指示体を抽出して指示体の指示方向を検出し、プロジェクターの投射画面を、検出した指示方向に移動させる。
しかしながら、特許文献1に記載のプロジェクターは、ユーザが指示する方向にプロジェクターの投射画面を移動させることはできるものの、移動を指示する指示体の検出が可能な領域は、投射画面を含めて撮像した領域内に設けられた所定の検出領域に制限されるため、投射画面の移動を円滑に指示することができない、という問題があった。
本発明は上記の問題に鑑みてなされたものであり、その目的は、映像を投射する位置を直観的な操作で指示することができる表示装置等を実現することである。
上記の課題を解決するために、本発明の一態様に係る表示装置は、映像を投射する位置を調節可能な投影部を備える表示装置であって、撮像部が撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定部と、上記指示位置決定部が決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御部とを備える。
上記の課題を解決するために、本発明の一態様に係る表示装置の制御方法は、映像を投射する位置を調節可能な投影部を備える表示装置の制御方法であって、撮像部が撮像する撮像ステップと、上記撮像ステップで撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定ステップと、上記指示位置決定ステップで決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御ステップとを含む。
本発明の一態様によれば、映像を投射する位置を直観的な操作で指示することにより、円滑に所望の位置に映像を投射することができるという効果を奏する。
〔実施形態1〕
以下、本発明の実施の形態について、詳細に説明する。
以下、本発明の実施の形態について、詳細に説明する。
(表示装置100の外観)
表示装置100は、映像を投射する位置を調節可能な投射部3(投影部)を備えており、撮像部2が撮像した撮像画像から、映像を投射する位置を指示する指示体の画像を抽出して、指示体が指示する所望の位置に映像を投射する。
表示装置100は、映像を投射する位置を調節可能な投射部3(投影部)を備えており、撮像部2が撮像した撮像画像から、映像を投射する位置を指示する指示体の画像を抽出して、指示体が指示する所望の位置に映像を投射する。
はじめに、表示装置100の外観について、図3を用いて説明する。図3は、表示装置100の外観の一例を示す図であり、(a)は撮像部2および投射部3を一体として移動制御する例、(b)は撮像部2および投射部3を別々に移動制御する例である。ここでは、表示装置100が、頭部10および胴体部20を備えるヒト型ロボットの形状である場合を例に挙げて説明するが、これに限定されず、直方体、円柱形、球形、円錐形、およびこれらを組合せた形状など、如何なる形状であってもよい。
図3の(a)に示す表示装置100は、撮像部2と投射部3とを一体として移動制御しており、例えば、撮像部2と投射部3とが常に同じ方向(撮像方向、投射方向)を向くように配置されている。すなわち、撮像部2および投射部3が頭部10に設けられており、撮像部2および投射部3は共にy軸方向を向いている。頭部10は、z軸に平行な回転軸を有する回転、およびxy平面に平行な回転軸を有する回転が可能であり、これにより、撮像部2の撮像範囲Kおよび投射部3が映像を投射する投射範囲Lを同時に上下左右に移動させることができる。
図3の(b)に示す表示装置100は、撮像部2と投射部3とを別々に移動制御しており、それぞれが独立して方向(撮像方向、投射方向)を変えることができる。すなわち、撮像部2が頭部10に設けられ、投射部3が胴体部20に設けられている。図3の(b)は、撮像部2および投射部3が共にy軸方向を向いている様子を図示しているが、頭部10および胴体部20の双方が、z軸に平行な回転軸を有する回転、およびxy平面に平行な回転軸を有する回転が可能であり、これにより、撮像部2の撮像範囲および投射部3が映像を投射する投射範囲Lを、別々に移動させることができる。
(表示装置100のハードウェア構成)
続いて、表示装置100のハードウェア構成について図2を用いて説明する。図2は、表示装置100のハードウェア構成の一例を示すブロック図である。図示のように、表示装置100は、制御部1、撮像部2、投射部3、警告部4、およびモーター部5を備えている。
続いて、表示装置100のハードウェア構成について図2を用いて説明する。図2は、表示装置100のハードウェア構成の一例を示すブロック図である。図示のように、表示装置100は、制御部1、撮像部2、投射部3、警告部4、およびモーター部5を備えている。
表示装置100は、撮像した画像から指示体の画像を抽出して該指示体の位置を検出し、検出した指示体の位置に画像を表示する。制御部1は、表示装置100が、映像を所望の位置に投射して表示するように、表示装置100が備える各機能を制御する。
撮像部2は、投射部3が映像を投射可能な領域を含む撮像範囲Kを撮像するカメラである。図3に示すように、撮像部2の方向を制御することが可能であり、撮像範囲Kを移動させながら撮像することができる。例えば、図3に示す表示装置100において、z軸に平行な軸を回転軸として、90°回転する毎に1回撮像してもよい。また、撮像部2が360°旋回して複数枚の画像を撮像し、これらの画像から1枚の全方位パノラマ画像を生成してもよい。なお、投射部3が映像を投射可能な範囲を含む撮像範囲Kが撮像可能であれば、撮像部2の向きが可変でなくてもよい。例えば、投射部3が映像を投射可能な全領域を撮像できる画角を有するものである場合、撮像部2の向きは固定されていてもよい。
投射部3は、映像データが示す映像を、制御部1が指示する投射位置に映像を投射して表示する。なお、説明を簡略化するために、映像を投射するための照明、投射範囲Lに投射する光量の調節やフォーカス調整を行うレンズなどは図示していない。
警告部4は、表示装置100が映像を投射する位置を指示する指示体を検出できなかった場合に、ユーザに対して警告(指示体提示指示)を発する部材である。例えば、ユーザに対して音声で警告を発する場合であれば、警告部4はスピーカである。なお、警告部4が発する警告は音声に限定されない。例えば、警告がランプの点灯(点滅)であれば、警告部4は表示灯である。あるいは、表示装置100を遠隔操作するためのリモコン装置(図示せず)をユーザが把持する場合、警告を提示するように指示する警告指示を表示装置100からリモコン装置へ送信する通信部であってもよい。
モーター部5は、撮像部2が撮像する撮像範囲Kを移動させたり、投射部3が映像を投射する投射範囲Lを移動させたりするときに、制御部1によって制御される機構である。例えば、制御部1から取得した回転指示に従って、回転指示に含まれる回転角度だけ、図3に示す頭部10や胴体部20を回転させる。なお、表示装置100は、モーター部5を複数備えていてもよい。すなわち、撮像部2が撮像する撮像範囲Kの移動、および投射部3が映像を投射する投射範囲Lの移動を1つのモーター部5によって制御してもよいし(図3の(a)参照)、それぞれ別のモーター部5によって制御してもよい(図3の(b)参照)。
(表示装置100の構成)
次に、表示装置100の構成について、図1を用いて説明する。図1は、本発明の実施形態1に係る表示装置100の概略構成の一例を示すブロック図である。なお、説明の便宜上、図2で説明した部材については、同じ符号を付記し、その説明を省略する。
次に、表示装置100の構成について、図1を用いて説明する。図1は、本発明の実施形態1に係る表示装置100の概略構成の一例を示すブロック図である。なお、説明の便宜上、図2で説明した部材については、同じ符号を付記し、その説明を省略する。
表示装置100は、制御部1、撮像部2、投射部3(投影部)、警告部4、およびモーター部5を備えている。制御部1は、さらに、画像検出部11(指示位置決定部)、指示位置決定部12(指示位置決定部)、投射角度決定部13、および投射位置制御部14を備えている。なお、表示装置100が投射して表示する映像データ、および表示装置100が実行する各種動作の制御情報などを格納する記憶部は、説明を簡略化するために、ここでは図示していない。
画像検出部11は、撮像部2が撮像した撮像画像を取得し、撮像画像に含まれている指示体の画像を検出(抽出)する。この指示体とは、映像を投射する位置を指示するためのものであり、例えば、所望の投射する位置を指示するユーザの手であってもよいし、特定の形状を有する指示棒のような器具であってもよい。あるいは、光を発する発光体を備える器具であってもよい。以下では、指示体が、ユーザの手(のひら)である場合を例に挙げて説明する。
指示位置決定部12は、画像検出部11が検出した指示体の画像を解析し、該指示体が指示する位置を特定する。なお、撮像画像から検出された指示体(の画像)が指示する位置を特定する方法については、後に具体例を挙げて説明する。
投射角度決定部13は、投射部3が、指示位置決定部12が特定した位置に映像を投射するために必要な移動角度である目標角度を算出する。目標角度とは、投射部3が映像を投射して表示する投射範囲を、指示された位置に移動させるときに、投射部3の方向を制御するために用いる角度である。具体的には、投射角度決定部13は、撮像画像の撮像範囲Kにおけるユーザの手(指示体)の位置と、投射部3が映像を投射する投射範囲Lの所定の位置とを一致させるために必要な目標角度を算出する。なお、投射角度決定部13が目標角度を算出する方法については、後に具体例を挙げて説明する。
投射位置制御部14は、投射角度決定部13が算出した目標角度を取得して、該目的角度だけ投射部3の向きを回転するようにモーター部5を制御する。
このような構成によれば、映像を投射する位置を調節可能な投射部3を備える表示装置100は、撮像部2が撮像した撮像画像から、映像を投射する位置を指示する手の画像を抽出して、このユーザの手が指示する位置を決定する指示位置決定部12と、上記指示位置決定部12が決定した位置に映像が投射されるように、映像を投射する位置を調節する。これにより、所望の位置に映像を投射するように表示装置100の投射部3の向き(方向)を制御することができる。また、撮像した撮像画像に含まれるユーザの手の画像の位置に基づいて、映像を投射する位置を決定するため、映像を投射する位置を直観的な操作で指示することにより、円滑に所望の位置に映像を投射することができる。
(撮像範囲Kと投射範囲L)
ここでは、撮像部2が撮像する撮像範囲K、および投射部3が映像を投射して表示する投射範囲Lについて、図4を用いて説明する。図4の(a)は撮像部2が撮像する撮像範囲Kについて説明する図であり、(b)は投射部3が映像を投射する投射範囲Lについて説明する図である。
ここでは、撮像部2が撮像する撮像範囲K、および投射部3が映像を投射して表示する投射範囲Lについて、図4を用いて説明する。図4の(a)は撮像部2が撮像する撮像範囲Kについて説明する図であり、(b)は投射部3が映像を投射する投射範囲Lについて説明する図である。
撮像範囲Kおよび投射範囲Lは、互いに対応付けられた座標系を有しており、投射角度決定部13は、撮像画像の撮像範囲Kにおけるユーザの手(指示体)の位置に対応する座標と、投射部3が映像を投射する投射範囲Lの所定の位置の座標とを一致させるために必要な目標角度を算出する。
図4に示す例では、撮像範囲Kの四隅に相当する位置K1、K3、K7、K9、四隅の位置を結ぶ各辺の中点の位置に相当する位置K2、K4、K6、K8、および撮像範囲Kの中心点に相当する位置K5は、それぞれ、投射範囲Lの四隅の位置L1、L3、L7、L9、四隅の位置を結ぶ各辺の中点の位置に相当する位置L2、L4、L6、l8、および投射範囲Lの中心点に相当する位置L5にそれぞれ対応している。
なお、ここでは撮像範囲Kおよび投射範囲Lの形状が長方形である場合を例に挙げて説明したが、円形、多角形など、任意の形状であってもよい。また撮像範囲Kの形状と投射範囲Lの形状とは必ずしも同じでなくてもよく、各位置の対応関係が規定されているのであれば、如何なる形状であってもよい。
(画像検出部11による指示体の画像の抽出)
次に、撮像画像から抽出される指示体の画像によって示される投射位置の例について図5を用いて説明する。図5の(a)は画像検出部11が抽出する指示体の画像の例を示す図であり、(b)は画像検出部が抽出する形状パターンから外れた指示体の画像の例を示す図である。
次に、撮像画像から抽出される指示体の画像によって示される投射位置の例について図5を用いて説明する。図5の(a)は画像検出部11が抽出する指示体の画像の例を示す図であり、(b)は画像検出部が抽出する形状パターンから外れた指示体の画像の例を示す図である。
例えば、指示体の画像D1の場合、画像検出部11は、手の指を検出して、手のひらの形状の指示体の画像D1を抽出することができる。そして、指示位置決定部12は、その手のひらを囲むように仮想的な矩形を生成して、指示体の画像D1の中心点P1を特定し、中心点P1を、投射位置を指示する指示位置として決定してもよい。
指示体の画像D2の場合、画像検出部11は、人差し指を用いて指差す形状パターンに基づいて、指示体の画像D2を抽出することができる。そして、指示位置決定部12は、人差し指の先端P2を特定し、先端P2を、投射位置を指示する指示位置として決定してもよい。指示体の画像D3の場合、画像検出部11は、指示棒の先端(発光部P3)が光を発していることを検出することができる。そして、指示位置決定部12は、指示棒の先端の発光部P3の位置を、投射位置を指示する指示位置として決定してもよい。なお、ここに挙げた例に限定されず、さまざまな指示体の画像を抽出するように設定することができる。
例えば、画像検出部11が、手の指を検出して、手のひらの形状の指示体の画像D1を指示体の画像として抽出することが設定されている場合、図5の(b)の示す画像E1〜E3は、手のひらの形状の指示体の画像D1の形状パターンに当てはまらず、指示体の画像として抽出されない。
映像を投射する前に撮像された撮像画像から指示体が検出されない場合、表示装置100は投射を開始することができない。このような場合、表示装置100は、映像を投射する位置を決定できるまで、警告部4からユーザに対して警告を発し、画像検出部11は、警告を発した後に撮像部2が撮像した撮像画像から指示体の画像を検出することができる。例えば、警告を受けたユーザは、画像検出部11が検出する指示体の画像となるように、手の指同士が接触しないように開いたり、手の向きを変更したりすることによって、映像を投射する位置の指示をやりなおすことができる。
(目標角度の算出)
続いて、投射角度決定部13が、目標角度を算出する方法について、図6および図7を用いて説明する。図6は、撮像画像から抽出された指示体の位置に映像を投射するときの目標角度を算出する方法の一例を示す図であり、(a)は撮像範囲Kと投射範囲Lとが一致する場合、(b)は撮像範囲Kと投射範囲Lとが一致しない場合の例である。
続いて、投射角度決定部13が、目標角度を算出する方法について、図6および図7を用いて説明する。図6は、撮像画像から抽出された指示体の位置に映像を投射するときの目標角度を算出する方法の一例を示す図であり、(a)は撮像範囲Kと投射範囲Lとが一致する場合、(b)は撮像範囲Kと投射範囲Lとが一致しない場合の例である。
図6の(a)は、表示装置100が、撮像部2および投射部3を一体として移動制御する場合において、手のひらの画像が撮像画像から抽出されたときに、手のひらの中心点P1の位置に、投射範囲Lの位置L5(基準位置)が一致するように制御する方法を示している。ここでは、投射範囲Lの位置L5が、撮像範囲Kにおける手のひらの中心点P1の位置と一致させる位置として予め設定されている場合を例に挙げて説明する。具体的には、ユーザの手の画像が検出された撮像画像の撮像画像の中心の位置K5を原点とし、位置K5(原点)からの、手のひらの中心点P1の座標までの差を用いて、投射部3の方向を変更するための目標角度を算出する。より具体的には、投射角度決定部13は、撮像部2から位置K5への方向と、撮像部2から手のひらの中心点P1への方向とを一致させるために必要な角度を目標角度として算出する。なお、撮像部2と投射部3との相対的な位置関係に起因して、撮像範囲Kの中心の位置K5と、投射範囲Lの中心の位置L5との間にずれがある場合には、このずれの補正を考慮して目標角度を算出してもよい。
一方、図6の(b)は、表示装置100が、撮像部2および投射部3を別々に移動制御する場合において、手のひらの画像が撮像画像から抽出されたときに、該撮像画像の撮像範囲Kにおける手のひらの中心点P1の位置(相対位置)が、投射範囲Lの対応する位置(相対位置)に一致するように制御する方法を示している。なお、投射部3の方向を変更して、投射範囲Lを移動する間、撮像部2の向きは固定されていることが望ましい。
なお、図6の(a)では、撮像画像から検出されたユーザの手のひらの中心点P1の位置を、映像を投射する投射範囲Lの中心の位置L5と一致させるように制御する例を説明したが、これに限定されない。例えば、撮像画像から検出されたユーザの手のひらの中心点P1の位置を、映像を投射する投射範囲Lの任意の位置(例えば、位置L1:基準位置)と一致させるように制御してもよい。
図7は、撮像画像から抽出された指示体の位置に映像を投射するときの目標角度を算出する方法の一例を示す図であり、(a)は撮像範囲Kと投射範囲Lとが一致する場合、(b)は撮像範囲Kと投射範囲Lとが一致しない場合の例である。すなわち、図7の(a)および(b)のいずれの場合においても、ユーザの手の画像が検出された撮像画像の撮像画像の中心の位置K1を原点とし、位置K1(原点)からの、手のひらの中心点P1の座標までの差を用いて、投射部3の方向を変更するための目標角度を算出してもよい。
なお、撮像部2と投射部3との相対的な位置関係に起因する、撮像範囲Kの位置K1と、投射範囲Lの位置L1との間にずれがある場合には、このずれの補正を考慮して目標角度を算出すればよい。
(表示装置100が映像を投射する位置を制御して表示する処理の流れ)
表示装置100が設置され電源がONになり、起動指示が入力されると、撮像部2は、投射部3が映像を投射可能な領域を含む撮像領域を監視して撮像範囲Kの撮像を行う(S1:撮像ステップ)。画像検出部11は、撮像部2が撮像した撮像画像を取得し、該撮像画像にユーザの手のひら(指示体)が含まれているか否かを判定する(S2)。
表示装置100が設置され電源がONになり、起動指示が入力されると、撮像部2は、投射部3が映像を投射可能な領域を含む撮像領域を監視して撮像範囲Kの撮像を行う(S1:撮像ステップ)。画像検出部11は、撮像部2が撮像した撮像画像を取得し、該撮像画像にユーザの手のひら(指示体)が含まれているか否かを判定する(S2)。
撮像画像にユーザの手のひらが含まれている場合(S2にてYes)、画像検出部11は、該撮像画像と、撮像画像にユーザの手のひらの画像が検出された旨を示す画像認識情報とを、指示位置決定部12に送る。一方、撮像画像にユーザの手のひらが検出されない場合(S2にてNo)、警告部4からユーザに対して警告を発し(S6)、その後、S1に戻り、警告を発した後に撮像部2が撮像した撮像画像から指示体を検出する。
次に、投射角度決定部13は、撮像画像から検出されたユーザの手のひらの画像に基づいて、指示位置決定部12が決定した(指示位置決定ステップ)、ユーザの手のひらが指し示す位置(例えば、手のひらの中心点P1)の位置に映像を投射するように、投射範囲Lの位置を制御するために用いる目標角度を算出する(S3:指示位置決定ステップ)。
そして、投射位置制御部14は、投射角度決定部13が算出した目標角度に基づいて、投射部3の向きを変更するようにモーター部5を制御して、投射部3の投射角度を制御する(S4:投射位置制御ステップ)。
投射位置制御部14が投射部3が映像を投射する位置を制御した後に、映像の投射を開始する(S5)。
このように、表示装置100は、撮像部2が撮像した撮像画像から映像を投射する位置を指示するユーザの手を抽出して、該抽出したユーザの手が指示する位置に映像が投射されるように、映像を投射する位置を調節する。これにより、所望の位置に映像を投射するように表示装置100の投射部3の向き(方向)を制御することができる。また、映像を投射する位置を直観的な操作で指示することにより、円滑に所望の位置に映像を投射することができる。
〔実施形態2〕
本発明の他の実施形態について、図9〜図11に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本発明の他の実施形態について、図9〜図11に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
はじめに、実施形態2に係る表示装置100aのハードウェア構成について、図10を用いて説明する。図10は、実施形態2に係る表示装置100aのハードウェア構成の一例を示すブロック図である。図示のように、表示装置100aは、映像の投射開始を指示するユーザからの音声の入力を受け付ける集音部6(投射指示取得部)をさらに備えている点で、表示装置100と異なっている。集音部6は、例えばマイクである。なお、ここでは、映像の投射開始を指示するユーザからの指示の入力を音声として受け付ける場合について例を挙げたが、これに限定されない。例えば、集音部6の代わりに、受光部を備え、ユーザからの、映像の投射開始を赤外線などの光によって入力させる構成であってもよい。
表示装置100aの構成について、図9を用いて説明する。図9は、表示装置100aの概略構成の一例を示すブロック図である。図示のように、表示装置100aの制御部1aは、集音部6に入力したユーザの発話音声に、所定の音声パターンに合致する音声(投射開始契機となる音声)を検出したときに、映像の投射を開始する投射指示検出部15(投射指示取得部)をさらに備えている。予め設定された音声パターンは、例えば、「スタート」、「OK」など、予め設定されている発話音声であってもよい。
続いて、表示装置100aが映像を投射する位置を制御して表示する処理の流れについて、図11を用いて説明する。図11は、表示装置100aが、指示体が指示する位置に映像の投射を開始する処理の流れの一例を示すフローチャートである。なお、図11のS11〜S14およびS17は、図8のS1〜S4およびS6にそれぞれ対応する処理であり、重複を避けるためここでは説明を省略する。
投射位置制御部14が投射部3が映像を投射する位置を制御した後に、投射開始契機の集音を受け付けた場合(S15にてYes)、投射指示検出部15は、映像の投射を開始する(S16)。一方、投射開始契機の集音を受け付けるまで、映像の投射は開始しない(S15にてNo)。なお、投射位置制御部14が、映像を投射する位置の制御を完了したときに、その旨をユーザに通知してもよい。これにより、投射開始契機となる音声の受付を開始したことをユーザに知らせることができる。
この構成によれば、映像の投射位置が決定した後に、ユーザからの投射開始の指示に応じて、映像の投射を開始する。これにより、所望のタイミングで、映像の投射を開始することができる。よって、ユーザが意図しないタイミングで映像が投射されることを防ぐことができる。
〔実施形態3〕
本発明の他の実施形態について、図12および図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本発明の他の実施形態について、図12および図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
はじめに、実施形態3に係る表示装置100bの概略構成について、図12を用いて説明する。図12は、表示装置100bの概略構成の一例を示すブロック図である。
図示のように、表示装置100bは、フォーカス制御部16を備えている。表示装置100bの制御部1bのフォーカス制御部16は、投射された映像が明瞭に表示されるように、投射部3から投射される映像が通過するレンズを制御して、フォーカスを制御する。
続いて、表示装置100bが映像を投射する位置を制御して表示する処理の流れについて、図13を用いて説明する。図13は、表示装置100bが、指示体が指示する位置に映像の投射を開始する処理の流れの一例を示すフローチャートである。なお、図13のS21〜S25およびS27は、図8のS1〜S5およびS6にそれぞれ対応する処理であり、重複を避けるためここでは説明を省略する。
投射位置制御部14が投射部3が映像を投射する位置を制御した後に、フォーカス制御部16は、投射した映像のフォーカスを制御する(S36)。
投射部3の光源として、レーザを用いていない表示装置100bの場合、投射された映像の焦点(フォーカス)を調整する処理が必要である。上記の構成によれば、映像の投影位置が開始されると、明瞭な映像として投射されるように、自動的にフォーカスを制御する。
〔ソフトウェアによる実現例〕
表示装置100、100a、100bの制御ブロック(特に画像検出部11、指示位置決定部12、投射角度決定部13、投射位置制御部14、投射指示検出部15、およびフォーカス制御部16)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
表示装置100、100a、100bの制御ブロック(特に画像検出部11、指示位置決定部12、投射角度決定部13、投射位置制御部14、投射指示検出部15、およびフォーカス制御部16)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、表示装置100、100a、100bは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る表示装置100、100a、100bは、映像を投射する位置を調節可能な投影部(投射部3)を備える表示装置であって、撮像部2が撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定部(画像検出部11、指示位置決定部12)と、上記指示位置決定部が決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御部14とを備えている。
本発明の態様1に係る表示装置100、100a、100bは、映像を投射する位置を調節可能な投影部(投射部3)を備える表示装置であって、撮像部2が撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定部(画像検出部11、指示位置決定部12)と、上記指示位置決定部が決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御部14とを備えている。
上記の構成によれば、撮像部が撮像した撮像画像から映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置に映像が投射されるように、映像を投射する位置を調節する。これにより、手で指示された位置に映像を投射するように、投射部の向きを制御することができる。よって、映像を投射する位置を直観的な操作で指示することにより、円滑に所望の位置に映像を投射することができる。
本発明の態様2に係る表示装置は、上記態様1において、上記投射位置制御部は、上記指示位置決定部が特定した位置に、上記投影部が上記映像を投射する投射範囲にあらかじめ設定された基準位置が一致するように、上記投射範囲の位置を調節してもよい。
上記の構成によれば、指示体が指示する位置に、予め設定された基準位置が一致するように投射範囲の位置を制御する。これにより、映像を投射する位置を違和感なく円滑に調節することができる。
本発明の態様3に係る表示装置は、上記態様1において、上記投射位置制御部は、上記撮像部が上記撮像画像を撮像する撮像範囲における上記指示位置決定部が特定した上記指示体の相対位置と、上記投影部が上記映像を投射する投射範囲における上記指示位置決定部が特定した上記指示体の相対位置とが一致するように、上記投射範囲の位置を調節してもよい。
上記の構成によれば、撮像範囲における指示体の相対位置と、投射範囲における指示体の相対位置とが一致するように投射範囲の位置を制御する。これにより、映像を投射する位置を違和感なく円滑に調節することができる。
本発明の態様4に係る表示装置は、上記態様1から3のいずれかにおいて、上記撮像部は、上記投影部が上記映像を投射することが可能な全領域を撮像可能であるように、撮像方向が可変であってもよい。
これにより、投影部が映像を投射することが可能な全領域を指示対象とすることができる。
本発明の態様5に係る表示装置は、上記態様1から4のいずれかにおいて、上記指示位置決定部が上記映像を投射する位置を決定できなかった場合に、上記指示体の提示を促す指示体提示指示を発してもよい。
これにより、映像を投射する位置を指示する指示体の提示を適切に促して、指示するように映像を円滑に投射することができる。また、指示体提示指示をユーザに対して発することにより、映像を投射する位置を決定する工程であることをユーザに知らせることができる。
本発明の態様6に係る表示装置は、上記態様1から5のいずれかにおいて、上記投影部は、上記投射位置制御部によって、上記映像を投射する位置が調節された後、上記映像の投射を開始してもよい。
これにより、指示された位置に映像を投射する準備ができ次第、円滑に映像の投射を開始することができる。
本発明の態様7に係る表示装置は、上記態様1から5のいずれかにおいて、上記投射位置制御部によって、上記映像を投射する位置が調節された後、ユーザの投射開始の指示を取得する投射指示取得部をさらに備え、上記投影部は、上記投射指示取得部が上記投射開始の指示を取得したときに、上記映像の投射を開始してもよい。
上記の構成によれば、上記投射指示取得部が投射開始の指示を取得したときに映像の投射を開始する。これにより、所望のタイミングで、映像の投射を開始することができる。よって、ユーザが意図しないタイミングで映像が投射されることを防ぐことができる。
本発明の態様8に係る表示装置は、上記態様1から7のいずれかにおいて、上記撮像部と上記投影部とが、一体として動くように配置されていてもよい。
本発明の態様9に係る表示装置は、上記態様1から7のいずれかにおいて、上記撮像部と上記投影部とが、それぞれ独立して動くように配置されていてもよい。
本発明の態様10に係る表示装置の制御方法は、映像を投射する位置を調節可能な投影部を備える表示装置の制御方法であって、撮像部が撮像する撮像ステップ(S1、S11、S21)と、上記撮像ステップで撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定ステップ(S3、S13、S23)と、上記指示位置決定ステップで決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御ステップ(S4、S14、S24)とを含む。上記の構成によれば、上記態様1と同様の効果を奏する。
本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置が備える各部(ソフトウェア要素)として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、映像を投射して表示するプロジェクターなどに利用することができる。
1、1a、1b 制御部、2 撮像部、3 投射部(投影部)、6 集音部(投射指示取得部)、11 画像検出部(指示位置決定部)、12 指示位置決定部、14 投射位置制御部、15 投射指示検出部(投射指示取得部)、100、100a、100b 表示装置、S1、S11、S21:撮像ステップ、S3、S13、S23:指示位置決定ステップ、S4、S14、S24:投射位置制御ステップ
Claims (12)
- 映像を投射する位置を調節可能な投影部を備える表示装置であって、
撮像部が撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定部と、
上記指示位置決定部が決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御部とを備える
ことを特徴とする表示装置。 - 上記投射位置制御部は、上記指示位置決定部が特定した位置に、上記投影部が上記映像を投射する投射範囲にあらかじめ設定された基準位置が一致するように、上記投射範囲の位置を調節する
ことを特徴とする請求項1に記載の表示装置。 - 上記投射位置制御部は、上記撮像部が上記撮像画像を撮像する撮像範囲における上記指示位置決定部が特定した上記指示体の相対位置と、上記投影部が上記映像を投射する投射範囲における上記指示位置決定部が特定した上記指示体の相対位置とが一致するように、上記投射範囲の位置を調節する
ことを特徴とする請求項1に記載の表示装置。 - 上記撮像部は、上記投影部が上記映像を投射することが可能な全領域を撮像可能であるように、撮像方向が可変である
ことを特徴とする請求項1から3のいずれか1項に記載の表示装置。 - 上記指示位置決定部が上記映像を投射する位置を決定できなかった場合に、上記指示体の提示を促す指示体提示指示を発する
ことを特徴とする請求項1から4のいずれか1項に記載の表示装置。 - 上記投影部は、上記投射位置制御部によって、上記映像を投射する位置が調節された後、上記映像の投射を開始する
ことを特徴とする請求項1から5のいずれか1項に記載の表示装置。 - 上記投射位置制御部によって、上記映像を投射する位置が調節された後、ユーザの投射開始の指示を取得する投射指示取得部をさらに備え、
上記投影部は、上記投射指示取得部が上記投射開始の指示を取得したときに、上記映像の投射を開始する
ことを特徴とする請求項1から5のいずれか1項に記載の表示装置。 - 上記撮像部と上記投影部とが、一体として動くように配置されている
ことを特徴とする請求項1から7のいずれか1項に記載の表示装置。 - 上記撮像部と上記投影部とが、それぞれ独立して動くように配置されている
ことを特徴とする請求項1から7のいずれか1項に記載の表示装置。 - 映像を投射する位置を調節可能な投影部を備える表示装置の制御方法であって、
撮像部が撮像する撮像ステップと、
上記撮像ステップで撮像した撮像画像から、上記映像を投射する位置を指示する指示体の画像を抽出して、該指示体が指示する位置を特定する指示位置決定ステップと、
上記指示位置決定ステップで決定した位置に上記映像が投射されるように、上記投影部が上記映像を投射する位置を調節する投射位置制御ステップとを含む
ことを特徴とする表示装置の制御方法。 - 請求項1に記載の表示装置としてコンピュータを機能させるための制御プログラムであって、上記指示位置決定部および上記投射位置制御部としてコンピュータを機能させるための制御プログラム。
- 請求項11に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024665 | 2015-02-10 | ||
JP2015024665 | 2015-02-10 | ||
PCT/JP2016/053306 WO2016129489A1 (ja) | 2015-02-10 | 2016-02-04 | 表示装置、表示装置の制御方法、制御プログラム、記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2016129489A1 true JPWO2016129489A1 (ja) | 2018-01-18 |
Family
ID=56614705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016574763A Pending JPWO2016129489A1 (ja) | 2015-02-10 | 2016-02-04 | 表示装置、表示装置の制御方法、制御プログラム、記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2016129489A1 (ja) |
WO (1) | WO2016129489A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3588247B1 (en) * | 2017-02-24 | 2023-07-12 | Sony Group Corporation | Information processing device, information processing method, and program |
CN111819841B (zh) | 2018-03-16 | 2023-07-18 | 索尼公司 | 信息处理装置、信息处理方法和存储介质 |
JP7193790B2 (ja) * | 2018-12-06 | 2022-12-21 | 株式会社アーティフィス | テーブルプロジェクション装置 |
WO2021161689A1 (ja) * | 2020-02-10 | 2021-08-19 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08320921A (ja) * | 1995-05-25 | 1996-12-03 | Oki Electric Ind Co Ltd | ポインティングシステム |
JP2000200149A (ja) * | 1999-01-05 | 2000-07-18 | Seiko Epson Corp | 表示システムおよびポインティング制御方法並びに記録媒体 |
JP2005195939A (ja) * | 2004-01-08 | 2005-07-21 | Nippon Telegr & Teleph Corp <Ntt> | プロジェクタ投影制御システムおよびプロジェクタ投影制御方法 |
JP2005292563A (ja) * | 2004-04-01 | 2005-10-20 | Olympus Corp | プロジェクタ |
WO2006077665A1 (ja) * | 2005-01-20 | 2006-07-27 | National University Corporation NARA Institute of Science and Technology | 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体 |
JP2007207056A (ja) * | 2006-02-03 | 2007-08-16 | Seiko Epson Corp | 情報入力システム |
JP2008294961A (ja) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | 映像表示装置 |
JP2010160403A (ja) * | 2009-01-09 | 2010-07-22 | Seiko Epson Corp | 投射型表示装置 |
JP2010243921A (ja) * | 2009-04-08 | 2010-10-28 | Sanyo Electric Co Ltd | 投写型映像表示装置 |
JP2012098401A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 投影装置、投影方法、およびプログラム |
JP2012108479A (ja) * | 2010-10-28 | 2012-06-07 | Seiko Epson Corp | 投射型表示装置及びその制御方法 |
JP2012113564A (ja) * | 2010-11-25 | 2012-06-14 | Fujitsu Ltd | 指示手段形状取得装置及び指示手段形状取得プログラム、並びに投影システム |
JP2013003859A (ja) * | 2011-06-16 | 2013-01-07 | Sony Corp | 投影装置、投影方法、及びプログラム |
JP2013061680A (ja) * | 2010-10-14 | 2013-04-04 | Nikon Corp | 表示装置 |
JP2015011106A (ja) * | 2013-06-27 | 2015-01-19 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
-
2016
- 2016-02-04 WO PCT/JP2016/053306 patent/WO2016129489A1/ja active Application Filing
- 2016-02-04 JP JP2016574763A patent/JPWO2016129489A1/ja active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08320921A (ja) * | 1995-05-25 | 1996-12-03 | Oki Electric Ind Co Ltd | ポインティングシステム |
JP2000200149A (ja) * | 1999-01-05 | 2000-07-18 | Seiko Epson Corp | 表示システムおよびポインティング制御方法並びに記録媒体 |
JP2005195939A (ja) * | 2004-01-08 | 2005-07-21 | Nippon Telegr & Teleph Corp <Ntt> | プロジェクタ投影制御システムおよびプロジェクタ投影制御方法 |
JP2005292563A (ja) * | 2004-04-01 | 2005-10-20 | Olympus Corp | プロジェクタ |
WO2006077665A1 (ja) * | 2005-01-20 | 2006-07-27 | National University Corporation NARA Institute of Science and Technology | 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体 |
JP2007207056A (ja) * | 2006-02-03 | 2007-08-16 | Seiko Epson Corp | 情報入力システム |
JP2008294961A (ja) * | 2007-05-28 | 2008-12-04 | Panasonic Electric Works Co Ltd | 映像表示装置 |
JP2010160403A (ja) * | 2009-01-09 | 2010-07-22 | Seiko Epson Corp | 投射型表示装置 |
JP2010243921A (ja) * | 2009-04-08 | 2010-10-28 | Sanyo Electric Co Ltd | 投写型映像表示装置 |
JP2013061680A (ja) * | 2010-10-14 | 2013-04-04 | Nikon Corp | 表示装置 |
JP2012108479A (ja) * | 2010-10-28 | 2012-06-07 | Seiko Epson Corp | 投射型表示装置及びその制御方法 |
JP2012098401A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 投影装置、投影方法、およびプログラム |
JP2012113564A (ja) * | 2010-11-25 | 2012-06-14 | Fujitsu Ltd | 指示手段形状取得装置及び指示手段形状取得プログラム、並びに投影システム |
JP2013003859A (ja) * | 2011-06-16 | 2013-01-07 | Sony Corp | 投影装置、投影方法、及びプログラム |
JP2015011106A (ja) * | 2013-06-27 | 2015-01-19 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2016129489A1 (ja) | 2016-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7524067B2 (en) | Projector device, projecting method and recording medium in which projection control program is recorded | |
WO2016129489A1 (ja) | 表示装置、表示装置の制御方法、制御プログラム、記録媒体 | |
JP6372487B2 (ja) | 情報処理装置、制御方法、プログラム、および記憶媒体 | |
US9697610B2 (en) | Information processing device and information processing method | |
WO2015052765A1 (ja) | 投射型映像表示装置、操作検出装置及び投射型映像表示方法 | |
JP6812203B2 (ja) | 情報処理システム、情報処理方法、携帯投影端末 | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
US20220124240A1 (en) | Target tracking method and system, readable storage medium, and mobile platform | |
JP2014048936A (ja) | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム | |
US10672187B2 (en) | Information processing apparatus and information processing method for displaying virtual objects in a virtual space corresponding to real objects | |
KR102655625B1 (ko) | 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치. | |
US20190384419A1 (en) | Handheld controller, tracking method and system using the same | |
WO2016157803A1 (ja) | 表示装置、表示装置の制御方法、書画カメラ、及び、書画カメラの制御方法 | |
JP2018124721A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP2016126042A (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
WO2017122270A1 (ja) | 画像表示装置 | |
JP2020149140A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
KR101724108B1 (ko) | 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치 | |
US10334237B2 (en) | Information processing device, display device, and information processing method | |
WO2022046227A1 (en) | Mixed reality image capture and smart inspection | |
JP2021128660A (ja) | 操作検出方法、操作検出装置及び表示システム | |
WO2018150569A1 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
JPWO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2016071402A (ja) | 位置検出装置、プロジェクター、及び、位置検出方法 | |
JP2020526094A (ja) | 使用者信号処理方法およびこのような方法を遂行する装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190305 |