JP7069922B2 - 表示装置、表示システムおよび表示装置の制御方法 - Google Patents

表示装置、表示システムおよび表示装置の制御方法 Download PDF

Info

Publication number
JP7069922B2
JP7069922B2 JP2018057639A JP2018057639A JP7069922B2 JP 7069922 B2 JP7069922 B2 JP 7069922B2 JP 2018057639 A JP2018057639 A JP 2018057639A JP 2018057639 A JP2018057639 A JP 2018057639A JP 7069922 B2 JP7069922 B2 JP 7069922B2
Authority
JP
Japan
Prior art keywords
image
image data
unit
state
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018057639A
Other languages
English (en)
Other versions
JP2019169037A (ja
Inventor
京亮 板花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018057639A priority Critical patent/JP7069922B2/ja
Priority to US16/362,870 priority patent/US10909947B2/en
Priority to CN201910226037.9A priority patent/CN110362284B/zh
Publication of JP2019169037A publication Critical patent/JP2019169037A/ja
Application granted granted Critical
Publication of JP7069922B2 publication Critical patent/JP7069922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Description

本発明は、表示装置、表示システムおよび表示装置の制御方法に関する。
特許文献1には、プロジェクター等の表示装置と、PC(Personal Computer)等の情報処理装置と、を備えたシステムが記載されている。このシステムでは、表示装置と情報処理装置とのいずれかが指示体の位置に応じて画像データを生成する。
特開2017-111164号公報
特許文献1に記載のシステムにおいて、表示装置と情報処理装置の双方が指示体の位置に応じて画像データを生成する生成機能を有する場合、表示装置が画像データを生成する状態から、情報処理装置が画像データを生成する状態へ移行する状況が考えられる。
ここで、特許文献1に記載のシステムでは、表示装置の生成機能と情報処理装置の生成機能とは互いに独立している。
このため、上述した状況が発生すると、情報処理装置は、表示装置が生成した画像データの示す画像を引き継ぐことができなかった。
本発明に係る表示装置の一態様は、指示体の位置に応じて画像データを生成する生成部と、前記指示体の位置に応じて画像データを生成する情報処理装置と通信する通信部と、前記生成部が前記指示体の位置に応じて画像データを生成する第1状態から、前記情報処理装置が前記指示体の位置に応じて画像データを生成する第2状態へ切り替わると、前記第1状態で前記生成部が生成した画像データの示す画像を含む画像に応じた画像情報を前記情報処理装置に送信する送信動作を前記通信部に実行させる制御部と、を含むことを特徴とする。
この態様によれば、指示体の位置に応じて画像データを生成する主体が、表示装置から情報処理装置に切り替わっても、情報処理装置は、表示装置が生成した画像データの示す画像を引き継ぐことが可能になる。
上述した表示装置の一態様において、前記制御部は、前記第1状態を前記第2状態へ切り替える旨の切替え指示を受けると、前記第1状態を終了させかつ前記第2状態を開始させた後に、前記送信動作を前記通信部に実行させることが望ましい。
この態様によれば、第1状態を第2状態へ切り替える旨の指示を、画像の引継ぎ用の指示として兼用することが可能になる。このため、画像の引継ぎ用の指示がなくても、表示装置が生成した画像データの示す画像の引継ぎを自動的に行うことが可能になる。
上述した表示装置の一態様において、前記制御部は、前記第2状態を要求する旨の通知を受けると、前記第1状態を終了させかつ前記第2状態を開始させた後に、前記送信動作を前記通信部に実行させることが望ましい。
この態様によれば、第2状態を要求する旨の通知を、画像の引継ぎ用の指示として兼用することが可能になる。このため、画像の引継ぎ用の指示がなくても、表示装置が生成した画像データの示す画像の引継ぎを自動的に行うことが可能になる。
上述した表示装置の一態様において、前記画像情報は、ビットマップ形式の画像データであることが望ましい。
この態様によれば、表示装置の生成した画像データの示す画像を含む画像が、複雑な画像であっても、情報処理装置は当該画像を高い再現性で再現することが可能になる。
上述した表示装置の一態様において、前記画像情報は、前記生成部が生成した画像データをオブジェクト単位で表したベクターデータを含むことが望ましい。
この態様によれば、情報処理装置に引き継がれた画像データをオブジェクト単位で編集することが可能になる。
上述した表示装置の一態様において、前記通信部は、前記第2状態から前記第1状態に切り替わると、前記第2状態で前記情報処理装置が生成した画像データの示す画像を含む画像に応じた画像情報を受信することが望ましい。
この態様によれば、情報処理装置は、表示装置が生成した画像データに応じた画像を引き継ぐことが可能になる。
本発明に係る表示システムの一態様は、上述した表示装置と、前記情報処理装置と、を含むことを特徴とする。
この態様によれば、指示体の位置に応じて画像データを生成する主体が、表示装置から情報処理装置に切り替わっても、情報処理装置は、表示装置が生成した画像データの示す画像を引き継ぐことが可能になる。
本発明に係る表示装置の制御方法の一態様は、指示体の位置に応じて画像データを生成し、前記指示体の位置に応じて画像データを生成する第1状態から、情報処理装置が前記指示体の位置に応じて画像データを生成する第2状態へ切り替わると、前記第1状態で生成した画像データの示す画像を含む画像に応じた画像情報を前記情報処理装置に送信することを特徴とする。
この態様によれば、指示体の位置に応じて画像データを生成する主体が、表示装置から情報処理装置に切り替わっても、情報処理装置は、表示装置が生成した画像データの示す画像を引き継ぐことが可能になる。
第1実施形態に係る表示システム100を示した図である。 送信用画像情報が示す送信用画像Gaの一例を示した図である。 動作モードがPCインタラクティブモードに切り替わった場合にスクリーン4に投射される画像の一例が示されている。 プロジェクター1およびPC2の一例を示した図である。 投射部15の一例を示した図である。 動作モードをPJインタラクティブモードからPCインタラクティブモードに切り替える動作を説明するためのフローチャートである。 第1の画像Gbを示した図である。 第1情報D1を示した図である。 第2の画像Gcを示した図である。 第2情報D2を示した図である。
以下、図面を参照しながら実施形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、これらの形態に限られるものではない。
<第1実施形態>
図1は、第1実施形態に係る表示システム100を示した図である。
表示システム100は、プロジェクター1と、PC(パーソナルコンピューター)2と、を含む。プロジェクター1は、表示装置の一例である。PC2は、情報処理装置の一例である。プロジェクター1は、HDMI(登録商標)(High Definition Multimedia Interface)ケーブル31およびUSB(Universal Serial Bus)ケーブル32によって、PC2と接続されている。
PC2は、HDMIケーブル31を介して、画像データをプロジェクター1に送信する。プロジェクター1は、USBケーブル32を介して、種々のデータをPC2と送受信する。プロジェクター1は、PC2から受信した画像データ(以下「受信画像データ」とも称する)に応じた画像を、スクリーン4に投射して表示する。スクリーン4は、表示面の一例である。
プロジェクター1は、後述する撮像部16を用いてスクリーン4を撮像して撮像画像データを生成する。プロジェクター1は、撮像画像データに基づいて、指示体5の位置を検出する。指示体5は、例えば、赤外光を発する電子ペンである。指示体5が、赤外光を発する電子ペンである場合、プロジェクター1は、撮像画像データに表された赤外光の発光位置に基づいて、指示体5の位置を検出する。以下、指示体5として、赤外光を発する電子ペンが用いられるとする。
プロジェクター1は、指示体5の位置を利用する動作モードを有する。プロジェクター1は、「PJインタラクティブモード」と「PCインタラクティブモード」とを有する。
PJインタラクティブモードは、プロジェクター1が指示体5の位置に応じて画像データを生成する動作モードである。以下、PJインタラクティブモードにおいて指示体5の位置に応じて生成された画像データを「PJ画像データ」とも称する。
PCインタラクティブモードは、PC2が指示体5の位置に応じて画像データを生成する動作モードである。以下、PCインタラクティブモードにおいて指示体5の位置に応じて生成された画像データを「PC画像データ」とも称する。PCインタラクティブモードでは、プロジェクター1は、指示体5の位置を示す位置情報(以下、単に「位置情報」とも称する)を、USBケーブル32を介して、PC2に送信する。PC2が指示体5の位置に応じて画像データを生成する状態は、第2状態の一例である。
プロジェクター1は、不図示のリモートコントローラー等の操作に応じて、「PJインタラクティブモード」と「PCインタラクティブモード」とを切り替える。
図1には、動作モードがPJインタラクティブモードである場合にスクリーン4に投射される画像の一例が示されている。図1に示したスクリーン4には、PJ画像データが示す画像Gと、PJインタラクティブモードで利用可能な第1ツールバーTB1とが示されている。
画像Gと第1ツールバーTB1がスクリーン4に表示されている状況で、動作モードがPJインタラクティブモードからPCインタラクティブモードに切り替えられると、プロジェクター1は、画像Gを含む画像に応じた画像情報をPC2に送信する。
以下、PJ画像データの示す画像を含む画像に応じた画像情報を「送信用画像情報」とも称する。図2は、送信用画像情報が示す送信用画像Gaの一例を示した図である。
図3は、動作モードがPCインタラクティブモードに切り替わった場合にスクリーン4に投射される画像の一例が示されている。図3に示したスクリーン4には、送信用画像Gaに含まれる画像Gと、PCインタラクティブモードで利用可能な第2ツールバーTB2とが示されている。
このように、動作モードがPJインタラクティブモードからPCインタラクティブモードに切り替えられると、プロジェクター1は、送信画像情報をPC2に送信する。このため、PC2は、PJインタラクティブモードで生成されたPJ画像データに応じた画像Gを引き継ぐことができる。このため、PJ画像データが無駄になる可能性を低くできる。
次に、プロジェクター1およびPC2の構成について説明する。図4は、プロジェクター1およびPC2の一例を示した図である。
まず、プロジェクター1について説明する。
プロジェクター1は、第1操作部11と、第1通信部12と、第2通信部13と、第1画像処理部14と、投射部15と、撮像部16と、第1記憶部17と、第1処理部18と、第1バス19と、を含む。第1操作部11と、第1通信部12と、第2通信部13と、第1画像処理部14と、投射部15と、撮像部16と、第1記憶部17と、第1処理部18は、第1バス19を介して相互に通信可能である。
第1操作部11は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。第1操作部11は、表示システム100のユーザー(以下、単に「ユーザー」とも称する)の入力操作を受け取る。第1操作部11は、ユーザーによる入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター1は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、ユーザーによる入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。第1操作部11は、動作モードを切り替える旨の切替え情報を受け取る。切替え情報は、切替え指示の一例である。
第1通信部12は、HDMIケーブル31を介してPC2と通信する。第1通信部12は、PC2から、画像データを受信する。
第2通信部13は、通信部の一例である。第2通信部13は、USBケーブル32を介して、種々のデータをPC2と送受信する。第2通信部13は、動作モードがPJインタラクティブモードからPCインタラクティブモードに切り替わった場合、送信用画像情報をPC2に送信する。第2通信部13は、動作モードがPCインタラクティブモードである場合、位置情報をPC2に送信する。
第1画像処理部14は、画像データに対して画像処理を施して画像信号を生成する。
第1画像処理部14は、PJインタラクティブモードでは、受信画像データと、PJ画像データと、第1ツールバーTB1を示す第1ツールバーデータとを用いて、受信画像データが示す画像に画像Gと第1ツールバーTB1とが重畳された重畳画像を示す画像信号を生成する。
図1に示した第1ツールバーTB1は、処理を元に戻す取消ボタンUDBと、マウスポインターを選択するポインターボタンPTBと、描画用のペンツールを選択するペンボタンPEBと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンERBと、を含む。
ユーザーは、PJインタラクティブモードにおいて、指示体5を用いてこれらのボタンを択一にクリックすることによって、クリックされたボタンに応じた処理をプロジェクター1に実行させる。例えば、ユーザーは、ペンツールを選択した後、指示体5の先端部をスクリーン4に接した状態で指示体5を移動させることにより、図1に示した画像Gを描くことができる。
第1画像処理部14は、PCインタラクティブモードでは、受信画像データに対して画像処理を施して画像信号を生成する。PCインタラクティブモードでは、受信画像データが示す画像には、図3に示したような第2ツールバーTB2が含まれる。ユーザーは、PCインタラクティブモードにおいて、指示体5を用いてこれらのボタンを択一にクリックすることによって、クリックされたボタンに応じた処理をPC2に実行させる。
投射部15は、第1画像処理部14が生成した画像信号に応じた画像をスクリーン4に投射して表示する。
図5は、投射部15の一例を示した図である。投射部15は、光源151と、光変調装置の一例である3つの液晶ライトバルブ152R、152Gおよび152Bと、投射光学系の一例である投射レンズ153と、ライトバルブ駆動部154等を含む。投射部15は、光源151が射出された光を液晶ライトバルブ152R、152Gおよび152Bで変調して投射画像(画像光)を生成し、投射画像を投射レンズ153から拡大投射する。
光源151は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)、またはレーザー光源等からなる光源部151aと、光源部151aが放射した光の方向のばらつきを低減するリフレクター151bとを含む。光源151から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の3原色である赤色、緑色、青色の色光成分に分離される。赤色,緑色,青色の色光成分は、それぞれ液晶ライトバルブ152R,152G,152Bに入射する。
液晶ライトバルブ152R,152G,152Bは、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ152R,152G,152Bには、マトリクス状に配列された複数の画素152pからなる矩形の画素領域152aが形成されている。液晶ライトバルブ152R,152G,152Bでは、液晶に対して画素152pごとに駆動電圧を印加することが可能である。ライトバルブ駆動部154が、第1画像処理部14から入力される画像信号に応じた駆動電圧を各画素152pに印加すると、各画素152pは、画像信号に応じた光透過率に設定される。このため、光源151から射出された光は、画素領域152aを透過することで変調され、画像信号に応じた投射画像が色光ごとに形成される。
各色の画像は、不図示の色合成光学系によって画素152pごとに合成され、カラー画像光である投射画像光が生成される。投射画像光は、投射レンズ153によってスクリーン4に拡大投射される。
図4に戻って、撮像部16は、スクリーン4を撮像して撮像画像データを生成する。撮像部16は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary
Metal Oxide Semiconductor)等の撮像素子を備え、赤外光でスクリーン4を撮像する。撮像部16の撮像範囲は、投射部15がスクリーン4上に投射画像を投射する範囲をカバーする。
第1記憶部17は、コンピューター読み取り可能な記録媒体である。第1記憶部17は、例えば、フラッシュメモリーである。第1記憶部17は、プロジェクター1の動作を規定するプログラムを記憶する。また、第1記憶部17は、第1ツールバーTB1を示す第1ツールバーデータを記憶する。
第1記憶部17は、さらに、キャリブレーションデータを記憶する。キャリブレーションデータは、撮像画像データ上での座標を、液晶ライトバルブ152R、152Gおよび152B上での座標と対応づけるデータである。キャリブレーションデータは、プロジェクター1が公知のキャリブレーション処理を実行することによって生成される。
第1処理部18は、CPU(Central Processing Unit)等のコンピューターである。第1処理部18は、1または複数のプロセッサーで構成されてもよい。第1処理部18は、第1記憶部17に記憶されているプログラムを読み取り実行することによって、座標検出部181と、第1の画像データ生成部182と、第1制御部183とを実現する。
座標検出部181は、指示体5の位置を示す座標を検出する。
座標検出部181は、まず、撮像画像データに表された指示体5の発光の位置に基づいて、指示体5の位置を示す第1座標を検出する。第1座標は、撮像画像データの座標系での座標である。続いて、座標検出部181は、キャリブレーションデータを用いて、第1座標を、液晶ライトバルブ152R、152Gおよび152Bの座標系での座標(以下「第2座標」とも称する)に変換する。第2座標は、指示体5の位置および位置情報の一例である。
座標検出部181は、PJインタラクティブモードでは、第2座標を第1の画像データ生成部182に出力する。座標検出部181は、PCインタラクティブモードでは、第2座標を第2通信部13に出力する。第2通信部13は、第2座標をPC2へ送信する。
第1の画像データ生成部182は、生成部の一例である。第1の画像データ生成部182は、指示体5の位置に応じてPJ画像データを生成する。例えば、第1の画像データ生成部182は、第2座標の軌跡に応じた画像を示すPJ画像データを生成する。第1の画像データ生成部182が指示体5の位置に応じて画像データを生成する状態は、第1状態の一例である。
第1の画像データ生成部182は、指示体5の位置に応じて生成した画像データ、つまり、PJ画像データを、第1記憶部17に記憶する。
第1制御部183は、制御部の一例である。第1制御部183は、プロジェクター1を制御する。例えば、第1制御部183は、第1操作部11を介して切替え情報を受けると、動作モードを切り替える。
例えば、第1制御部183は、動作モードをPJインタラクティブモードからPCインタラクティブモードへ切り替える旨の第1切替え情報を、第1操作部11を介して受けると、動作モードをPJインタラクティブモードからPCインタラクティブモードへ切り替える。
第1制御部183は、動作モードをPJインタラクティブモードからPCインタラクティブモードへ切り替えると、座標検出部181からの第2座標の出力先を、第1の画像データ生成部182から第2通信部13に切り替える。
第1の画像データ生成部182への第2座標の出力が停止すると、第1の画像データ生成部182が指示体5の位置に応じて画像データを生成する第1状態が終了する。そして、PC2への第2座標の送信が開始すると、PC2が指示体5の位置に応じて画像データを生成する第2状態が開始される。
第1制御部183は、第2座標の出力先を第1の画像データ生成部182から第2通信部13に切り替えると、第1記憶部17に記憶されているPJ画像データを用いて送信用画像情報を生成する。
例えば、第1制御部183は、第1切替え情報を受信したときにPC2から受信した受信画像データが示す画像に対して、第1記憶部17に記憶されているPJ画像データが示す画像を重畳した重畳画像を示す画像情報を、送信用画像情報として生成する。なお、送信用画像情報が示す画像は、第1記憶部17に記憶されているPJ画像データが示す画像を含んでいればよい。
続いて、第1制御部183は、送信用画像情報をPC2に送信する送信動作(以下、単に「送信動作」とも称する)を、第2通信部13に実行させる。
第1制御部183は、動作モードをPCインタラクティブモードからPJインタラクティブモードへ切り替える旨の第2切替え情報を、第1操作部11を介して受けると、動作モードをPCインタラクティブモードからPJインタラクティブモードへ切り替える。
第1制御部183は、動作モードをPCインタラクティブモードからPJインタラクティブモードへ切り替えると、座標検出部181からの第2座標の出力先を、第2通信部13から第1の画像データ生成部182に切り替える。
第2通信部13への第2座標の出力が停止すると、PC2が指示体5の位置に応じて画像データを生成する第2状態が終了する。一方、第1の画像データ生成部182への第2座標の出力が開始すると、第1の画像データ生成部182が指示体5の位置に応じて画像データを生成する第1状態が始まる。
次に、PC2について説明する。
PC2は、第2操作部21と、第3通信部22と、第4通信部23と、第2画像処理部24と、表示部25と、第2記憶部26と、第2処理部27と、第2バス28と、を含む。第2操作部21と、第3通信部22と、第4通信部23と、第2画像処理部24と、表示部25と、第2記憶部26と、第2処理部27は、第2バス28を介して相互に通信可能である。
第2操作部21は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。第2操作部21は、ユーザーの入力操作を受け取る。
第3通信部22は、HDMIケーブル31を介してプロジェクター1と通信する。第3通信部22は、プロジェクター1に受信画像データを送信する。
第4通信部23は、USBケーブル32を介して、種々のデータをプロジェクター1と送受信する。第4通信部23は、動作モードがPJインタラクティブモードからPCインタラクティブモードに切り替わった場合、プロジェクター1から送信用画像情報を受信する。第4通信部23は、動作モードがPCインタラクティブモードである場合、プロジェクター1から第2座標を受信する。
第2画像処理部24は、画像データに対して画像処理を施して画像信号を生成する。
第2画像処理部24は、PJインタラクティブモードでは、第2記憶部26から読み取った画像データに対して画像処理を施して画像信号を生成する。
第2画像処理部24は、PCインタラクティブモードでは、第2記憶部26から読み取った画像データと、後述する第2の画像データ生成部271が生成したPC画像データと、第2ツールバーTB2を示す第2ツールバーデータとを用いて、第2記憶部26から読み取られた画像データが示す画像に、PC画像データが示す画像と第2ツールバーTB2とが重畳された重畳画像を示す画像信号を生成する。なお、後述するように、第2の画像データ生成部271が生成したPC画像データは、第2記憶部26に記憶される。このため、第2画像処理部24は、第2の画像データ生成部271が生成したPC画像データを第2記憶部26から読み取る。
図3に示した第2ツールバーTB2は、図1に示した第1ツールバーTB1が有するボタンに加えて、描画される線の色を選択する色選択ボタンCCBを含む。
表示部25は、例えば、LCD(Liquid Crystal Display)である。表示部25は、第2画像処理部24が生成した画像信号に応じた画像を表示する。表示部25は、LCDに限らず適宜変更可能である。例えば、表示部25は、有機EL(Electroluminescence)ディスプレイ、EPD(Electrophoretic Display)またはタッチパネル型ディスプレイでもよい。
第2記憶部26は、コンピューター読み取り可能な記録媒体である。第2記憶部26は、例えば、フラッシュメモリーである。第2記憶部26は、PC2の動作を規定するプログラムと、種々の情報を記憶している。種々の情報は、画像データと第2ツールバーデータを含む。
第2処理部27は、CPU等のコンピューターである。第2処理部27は、1または複数のプロセッサーで構成されてもよい。第2処理部27は、第2記憶部26に記憶されているプログラムを読み取り実行することによって、第2の画像データ生成部271と第2制御部272を実現する。
第2の画像データ生成部271は、指示体5の位置に応じてPC画像データを生成する。例えば、第2の画像データ生成部271は、プロジェクター1から受信した第2座標の軌跡に応じた画像を示すPC画像データを生成する。
第2の画像データ生成部271は、指示体5の位置に応じて生成した画像データ、つまり、PC画像データを、第2記憶部26に記憶する。
第2制御部272は、PC2を制御する。
例えば、第4通信部23が、位置情報である第2座標を受信していない場合、すなわち、動作モードがPJインタラクティブモードである場合、第2制御部272は、第2記憶部26から画像データを読み取る。第2制御部272は、読み取った画像データをプロジェクター1に送信する動作を第3通信部22に実行させる。
一方、第4通信部23が第2座標を受信している場合、すなわち、動作モードがPCインタラクティブモードである場合、第2制御部272は、第2画像処理部24が生成した画像信号を受信画像データとしてプロジェクター1に送信する動作を、第3通信部22に実行させる。
次に、動作を説明する。
図6は、動作モードをPJインタラクティブモードからPCインタラクティブモードに切り替える動作を説明するためのフローチャートである。表示システム100は、動作モードがPJインタラクティブモードである場合、図6に示した動作を繰り返す。
動作モードがPJインタラクティブモードである場合に、図1に示した画像Gを示すPJ画像データが作成されたとする。この状況において、第1操作部11は、第1切替え情報を受信すると(ステップS101:YES)、第1切替え情報を第1制御部183に出力する。第1制御部183は、第1切替え情報を受けると、動作モードをPJインタラクティブモードからPCインタラクティブモードに切り替える(ステップS102)。
続いて、第1制御部183は、座標検出部181を制御して、座標検出部181からの第2座標の出力先を、第1の画像データ生成部182から第2通信部13に切り替える(ステップS103)。第2通信部13は、座標検出部181から受け取った第2座標をPC2に送信する。
第1の画像データ生成部182への第2座標の出力が停止すると、第1の画像データ生成部182が指示体5の位置に応じて画像データを生成する第1状態が終了する。そして、PC2への第2座標の出力が開始すると、PC2が指示体5の位置に応じて画像データを生成する第2状態が始まる(ステップS104)。
続いて、第1制御部183は、送信用画像情報を生成する(ステップS105)。例えば、第1制御部183は、第1切替え情報を受信したときにPC2から受信した画像データが示す画像に、第1記憶部17に記憶されているPJ画像データが示す画像を重畳した重畳画像を示す画像情報を、送信用画像情報として生成する。送信用画像情報は、例えば、ビットマップデータ等のビットマップ形式の画像データである。
続いて、第1制御部183は、送信用画像情報をPC2に送信する送信動作を、第2通信部13に実行させ(ステップS106)、図6に示した動作が終了する。なお、第1操作部11が第1切替え情報を受信しない場合にも、図6に示した動作が終了する。
PC2では、第2の画像データ生成部271は、第4通信部23を介して送信用画像情報を受け取る。第2の画像データ生成部271は、送信用画像情報をPC画像データとして用いる。
本実施形態に係るプロジェクター1、表示システム100および表示装置の制御方法によれば、第1状態から第2状態へ切り替わると、第1制御部183は、送信用画像情報をPC2に送信する送信動作を第2通信部13に実行させる。
このため、指示体5の位置に応じて画像データを生成する主体が、プロジェクター1からPC2に切り替わっても、PC2は、プロジェクター1が生成した画像データに応じた画像を引き継ぐことが可能になる。このため、プロジェクター1での描画結果が無駄になる可能性を低くでき、ユーザーが、プロジェクター1での描画結果を、PC2を用いて再現しなければならない可能性も低くできる。
第1制御部183は、第1切替え情報を受けると、第1状態を終了させかつ第2状態を開始させた後に送信動作を第2通信部13に実行させる。
このため、第1切替え情報を、画像の引継ぎ用の指示として兼用することが可能になる。よって、画像の引継ぎ用の指示がなくても、画像の引継ぎを自動的に行うことが可能になる。
送信用画像情報は、ビットマップデータ等のビットマップ形式の画像データであるため、送信用画像情報が複雑な画像を示す場合であっても、PC2は送信用画像情報に応じた画像を高い再現性で表示することが可能になる。
<変形例>
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
<変形例1>
送信用画像情報は、ビットマップデータ等のビットマップ形式の画像データに限定されず適宜変更可能である。一例を挙げると、送信用画像情報は、第1の画像データ生成部182が生成したPJ画像データをオブジェクト単位で表したベクターデータを含んでもよい。
例えば、送信用画像情報の示す画像が、図7に示した第1の画像Gbであるとする。
第1の画像Gbは、第1オブジェクトG1と、第2オブジェクトG2と、第3オブジェクトG3と、第4オブジェクトG4と、第5オブジェクトG5を含む。第1オブジェクトG1と第2オブジェクトG2と第3オブジェクトG3の各々は、自由線である。第1オブジェクトG1と第2オブジェクトG2と第3オブジェクトG3は、共通のグループに属する。第4オブジェクトG4は三角形の図形である。第5オブジェクトG5はビットマップ形式の画像である。第1オブジェクトG1と、第2オブジェクトG2と、第3オブジェクトG3と、第4オブジェクトG4の各々は、PJ画像データに応じた画像である。第5オブジェクトG5は、PC2から受信した受信画像データに応じた画像である。
この場合、第1制御部183は、送信用画像情報として、図8に示した第1情報D1を送信する。第1情報D1は、第1オブジェクトG1を表す第1ベクターデータV1と、第2オブジェクトG2を表す第2ベクターデータV2と、第3オブジェクトG3を表す第3ベクターデータV3と、第4オブジェクトG4を表す第4ベクターデータV4と、第5オブジェクトG5を表すビットマップデータ等のビットマップ形式の第1画像データB1とを含む。
また、送信用画像情報の示す画像が、図9に示した第2の画像Gcであるとする。
第2の画像Gcは、第6オブジェクトG11と第7オブジェクトG12と第8オブジェクトG13を含む。第6オブジェクトG11は自由線である。第7オブジェクトG12はビットマップ形式の画像である。第8オブジェクトG13はテキストである。第6オブジェクトG11および第8オブジェクトG13の各々は、PJ画像データに応じた画像である。第7オブジェクトG12は、PC2から受信した受信画像データに応じた画像である。
この場合、第1制御部183は、送信用画像情報として、図10に示した第2情報D2を送信する。第2情報D2は、第6オブジェクトG11を表す第5ベクターデータV11と、第7オブジェクトG12を表すビットマップデータ等のビットマップ形式の第2画像データB11と、第8オブジェクトG13を表す第6ベクターデータV12とを含む。
送信用画像情報が、PJ画像データをオブジェクト単位で表したベクターデータを含んでいる場合、PC2に引き継がれたPJ画像データが示す画像をオブジェクト単位で編集することが可能になる。
<変形例2>
PC2の第2操作部21が動作モードをPCインタラクティブモードに設定する設定操作を受け取ると、第2の画像データ生成部271が起動してもよい。この場合、第4通信部23は、第2の画像データ生成部271の起動に応じて、第2座標を要求する旨の要求通知を、プロジェクター1に送信することが望ましい。要求通知は、第2状態を要求する旨の通知の一例である。
第1制御部183は、動作モードがPJインタラクティブモードであるときに第2通信部13を介して要求通知を受けると、座標検出部181からの第2座標の出力先を第1の画像データ生成部182から第2通信部13に切り替える。続いて、第1制御部183は、送信用画像情報を生成し、生成した送信用画像情報をPC2に送信する送信動作を、第2通信部13に実行させる。
この場合、要求通知を画像の引継ぎ用の指示として兼用することが可能になる。このため、画像の引継ぎ用の指示がなくても、画像の引継ぎを自動的に行える。
<変形例3>
第1制御部183は、動作モードをPCインタラクティブモードからPJインタラクティブモードへ切り替えると、PC画像データを要求するPC画像データ要求をPC2へ送信する動作を第2通信部13に実行させてもよい。
PC2の第2制御部272は、第4通信部23を介してPC画像データ要求を受信すると、PC画像データが示す画像を含む画像に応じた画像情報(以下「提供用画像情報」とも称する)を生成する。続いて、第2制御部272は、提供用画像情報をプロジェクター1に送信する動作を、第4通信部23に実行させる。
プロジェクター1の第1の画像データ生成部182は、第2通信部13を介して提供用画像情報を受け取る。第1の画像データ生成部182は、提供用画像情報をPJ画像データとして用いる。
変形例3によれば、第2通信部13は、動作モードがPCインタラクティブモードからPJインタラクティブモードに切り替わると、提供用画像情報を受信する。
このため、指示体5の位置に応じて画像データを生成する主体が、PC2からプロジェクター1に切り替わっても、プロジェクター1は、PC2が生成した画像データに応じた画像を引き継ぐことが可能になる。このため、PC2での描画結果が無駄になる可能性を低くでき、ユーザーが、PC2での描画結果を、プロジェクター1を用いて再現しなければならない可能性も低くできる。
<変形例4>
指示体5は、赤外光を発する電子ペンに限らず適宜変更可能である。例えば、指示体5は、ユーザーの指または赤外光を発しないペンでもよい。指示体5として、例えば、ユーザーの指または赤外光を発しないペンが用いられる場合、プロジェクター1は、スクリーン4に沿って平面状の赤外の検出光を射出し、撮像画像データに基づいて指示体5での検出光の反射位置を検出することで指示体5の位置を特定する。
<変形例5>
受信画像データを通信するためのケーブルは、HDMIケーブル31に限らず適宜変更可能である。なお、受信画像データは、PC2からプロジェクター1に無線通信されてもよい。
指示体5の位置を示す第2座標と送信用画像情報とを通信するためのケーブルは、USBケーブル32に限らず適宜変更可能である。なお、第2座標と送信用画像情報のうち少なくとも一方は、プロジェクター1からPC2に無線通信されてもよい。
プロジェクター1とPC2は、1本の通信ケーブルを介して、受信画像データと第2座標と送信用画像情報を通信してもよい。
<変形例6>
光変調装置の一例として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルを用いた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合には、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源151が発した光を変調可能な構成は、光変調装置として採用できる。
<変形例7>
表示装置としてプロジェクターが用いられたが、表示装置はプロジェクターに限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイであってもよい。直視型のディスプレイは、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイまたはCRT(陰極線管)ディスプレイである。この場合、直視型のディスプレイは、例えば、タッチパネル付きの表示面を有してもよい。直視型のディスプレイが、タッチパネル付きの表示面を有する場合、座標検出部181は、指示体5によるタッチパネルへのタッチ位置を用いて、指示体5の位置を検出してもよい。
<変形例8>
第1処理部18および第2処理部27の少なくとも一方がプログラムを読み取り実行することによって実現される要素の全部または一部は、例えばFPGA(field programmable gate array)またはASIC(Application Specific IC)等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
<変形例9>
情報処理装置は、PCに限らず適宜変更可能である。
1…プロジェクター、2…PC、4…スクリーン、5…指示体、11…第1操作部、12…第1通信部、13…第2通信部、14…第1画像処理部、15…投射部、16…撮像部、17…第1記憶部、18…第1処理部、181…座標検出部、182…第1の画像データ生成部、183…第1制御部、21…第2操作部、22…第3通信部、23…第4通信部、24…第2画像処理部、25…表示部、26…第2記憶部、27…第2処理部、271…第2の画像データ生成部、272…第1制御部、31…HDMIケーブル、32…USBケーブル、100…表示システム。

Claims (7)

  1. 指示体の位置に応じて画像データを生成する生成部と、
    前記指示体の位置に応じて画像データを生成する情報処理装置と通信する通信部と、
    前記生成部が前記指示体の位置に応じて画像データを生成する第1状態から、前記情報
    処理装置が前記指示体の位置に応じて画像データを生成する第2状態へ切り替える旨の切
    替え指示を受けると、前記第1状態を終了させかつ前記第2状態を開始させた後に、前記
    第1状態で前記生成部が生成した画像データの示す画像を含む画像に応じた画像情報を前
    記情報処理装置に送信する送信動作を前記通信部に実行させる制御部と、
    を含むことを特徴とする表示装置。
  2. 前記制御部は、前記第2状態を要求する旨の通知を受けると、前記第1状態を終了させ
    かつ前記第2状態を開始させた後に、前記送信動作を前記通信部に実行させることを特徴
    とする請求項1に記載の表示装置。
  3. 前記画像情報は、ビットマップ形式の画像データであることを特徴とする請求項1また
    は2に記載の表示装置。
  4. 前記画像情報は、前記生成部が生成した画像データをオブジェクト単位で表したベクタ
    ーデータを含むことを特徴とする請求項1または2に記載の表示装置。
  5. 前記通信部は、前記第2状態から前記第1状態に切り替わると、前記第2状態で前記情
    報処理装置が生成した画像データの示す画像を含む画像に応じた画像情報を受信すること
    を特徴とする請求項1からのいずれか1項に記載の表示装置。
  6. 請求項1からのいずれか1項に記載の表示装置と、
    前記情報処理装置と、を含むことを特徴とする表示システム。
  7. 指示体の位置に応じて画像データを生成し、
    前記指示体の位置に応じて画像データを生成する第1状態から、情報処理装置が前記指
    示体の位置に応じて画像データを生成する第2状態へ切り替える旨の切替え指示を受ける
    と、前記第1状態を終了させかつ前記第2状態を開始させた後に、前記第1状態で生成し
    た画像データの示す画像を含む画像に応じた画像情報を前記情報処理装置に送信する、
    ことを特徴とする表示装置の制御方法。
JP2018057639A 2018-03-26 2018-03-26 表示装置、表示システムおよび表示装置の制御方法 Active JP7069922B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018057639A JP7069922B2 (ja) 2018-03-26 2018-03-26 表示装置、表示システムおよび表示装置の制御方法
US16/362,870 US10909947B2 (en) 2018-03-26 2019-03-25 Display device, display system, and method of controlling display device
CN201910226037.9A CN110362284B (zh) 2018-03-26 2019-03-25 显示装置、显示系统以及显示装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018057639A JP7069922B2 (ja) 2018-03-26 2018-03-26 表示装置、表示システムおよび表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2019169037A JP2019169037A (ja) 2019-10-03
JP7069922B2 true JP7069922B2 (ja) 2022-05-18

Family

ID=67983692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057639A Active JP7069922B2 (ja) 2018-03-26 2018-03-26 表示装置、表示システムおよび表示装置の制御方法

Country Status (3)

Country Link
US (1) US10909947B2 (ja)
JP (1) JP7069922B2 (ja)
CN (1) CN110362284B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153219A (ja) * 2020-03-24 2021-09-30 セイコーエプソン株式会社 表示装置の制御方法、情報処理装置および表示システム
JP2022098640A (ja) * 2020-12-22 2022-07-04 セイコーエプソン株式会社 通信装置の動作方法および通信装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222280A (ja) 2012-04-16 2013-10-28 Seiko Epson Corp プロジェクター、プロジェクターの制御方法、プログラム、および、プロジェクションシステム
JP2016045725A (ja) 2014-08-22 2016-04-04 株式会社リコー 表示装置、伝送システムおよび伝送方法
JP2016162273A (ja) 2015-03-03 2016-09-05 セイコーエプソン株式会社 表示装置および表示制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08171455A (ja) * 1994-12-20 1996-07-02 Tec Corp 電子ボードシステム
WO2008041605A1 (fr) * 2006-09-29 2008-04-10 Brother Kogyo Kabushiki Kaisha Appareil de projection, support d'enregistrement comportant un programme enregistré en lui, procédé de projection et système de projection
US8099662B2 (en) * 2008-01-17 2012-01-17 Seiko Epson Corporation Efficient image annotation display and transmission
JP4448179B2 (ja) * 2008-01-31 2010-04-07 キヤノン株式会社 投射装置
JP5604921B2 (ja) * 2010-03-19 2014-10-15 セイコーエプソン株式会社 画像表示システム、画像表示方法、画像表示装置
US9588951B2 (en) * 2010-12-06 2017-03-07 Smart Technologies Ulc Annotation method and system for conferencing
JP5943335B2 (ja) * 2011-04-27 2016-07-05 長崎県公立大学法人 プレゼンテーション装置
JP6088127B2 (ja) * 2011-10-13 2017-03-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP5927845B2 (ja) * 2011-11-01 2016-06-01 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP6064319B2 (ja) * 2011-12-27 2017-01-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP5874401B2 (ja) * 2012-01-06 2016-03-02 セイコーエプソン株式会社 表示装置、プロジェクター、表示システム及びデバイスの切替方法
US9524574B2 (en) * 2012-05-25 2016-12-20 Seiko Epson Corporation Data processing apparatus, display apparatus, and method of controlling the data processing apparatus
CN107256405B (zh) * 2012-06-29 2020-10-13 麦克赛尔株式会社 显示系统和显示终端
JP2016039557A (ja) * 2014-08-08 2016-03-22 株式会社リコー 投影装置、投影システム、および投影方法
CN105632453B (zh) * 2014-11-19 2019-09-24 精工爱普生株式会社 显示装置、显示控制方法和显示系统
CN105808997B (zh) * 2014-12-31 2019-09-24 联想(北京)有限公司 一种控制方法及电子设备
JP6543960B2 (ja) * 2015-02-27 2019-07-17 セイコーエプソン株式会社 表示装置、表示制御方法およびプログラム
JP6569449B2 (ja) * 2015-10-08 2019-09-04 セイコーエプソン株式会社 表示システム、プロジェクター及び表示システムの制御方法
JP2017111164A (ja) 2015-12-14 2017-06-22 株式会社リコー 画像投写装置、及び対話型入出力システム。
JP2017191340A (ja) * 2017-07-04 2017-10-19 カシオ計算機株式会社 照射制御装置、照射制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222280A (ja) 2012-04-16 2013-10-28 Seiko Epson Corp プロジェクター、プロジェクターの制御方法、プログラム、および、プロジェクションシステム
JP2016045725A (ja) 2014-08-22 2016-04-04 株式会社リコー 表示装置、伝送システムおよび伝送方法
JP2016162273A (ja) 2015-03-03 2016-09-05 セイコーエプソン株式会社 表示装置および表示制御方法

Also Published As

Publication number Publication date
CN110362284B (zh) 2023-06-30
US10909947B2 (en) 2021-02-02
US20190295499A1 (en) 2019-09-26
CN110362284A (zh) 2019-10-22
JP2019169037A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
JP5673191B2 (ja) インタラクティブシステム、位置情報変換方法、およびプロジェクター
US9396520B2 (en) Projector system and control method thereof
US20130162538A1 (en) Display device, display system, and data supply method for display device
US9830723B2 (en) Both-direction display method and both-direction display apparatus
JP7069922B2 (ja) 表示装置、表示システムおよび表示装置の制御方法
US10853020B2 (en) Image sharing method, information processing device, and information processing system
JP2014191380A (ja) 電子ペン、インタラクティブシステム、および電子ペンの制御方法
JP5672126B2 (ja) インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
JP2020076908A (ja) 表示装置及び表示装置の制御方法
JP2013175001A (ja) 画像表示装置、画像表示システム、および画像表示装置の制御方法
CN110032312B (zh) 图像提供装置、图像提供装置的控制方法以及记录介质
US11276372B2 (en) Method of operation of display device and display device
JP5899993B2 (ja) 画像表示装置、画像表示システム、および画像表示装置の制御方法
JP2018136364A (ja) 表示システム、表示システムの制御方法、指示体および表示装置
JP2023043372A (ja) 画像表示方法、及び、プロジェクター
JP2015146611A (ja) インタラクティブシステム、およびインタラクティブシステムの制御方法
JP7302640B2 (ja) 表示装置の動作方法および表示装置
JP5724607B2 (ja) インタラクティブシステム、およびインタラクティブシステムの制御方法
US11567396B2 (en) Projection apparatus
US20210304472A1 (en) Method of controlling display device, information processing device, and display system
JP2011154072A (ja) プロジェクター、画像表示システム及びその制御方法
JP2022133582A (ja) 表示装置の制御方法、表示装置、および表示システム
JP5967183B2 (ja) インタラクティブシステム、プロジェクター、およびプロジェクターの制御方法
JP2022098640A (ja) 通信装置の動作方法および通信装置
JP6361206B2 (ja) プロジェクター、プロジェクターの制御方法および表示装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181121

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210916

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R150 Certificate of patent or registration of utility model

Ref document number: 7069922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150