JP7447503B2 - 画面共有システム、情報処理装置、画面共有方法及びプログラム - Google Patents

画面共有システム、情報処理装置、画面共有方法及びプログラム Download PDF

Info

Publication number
JP7447503B2
JP7447503B2 JP2020010378A JP2020010378A JP7447503B2 JP 7447503 B2 JP7447503 B2 JP 7447503B2 JP 2020010378 A JP2020010378 A JP 2020010378A JP 2020010378 A JP2020010378 A JP 2020010378A JP 7447503 B2 JP7447503 B2 JP 7447503B2
Authority
JP
Japan
Prior art keywords
information
screen sharing
screen
image
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020010378A
Other languages
English (en)
Other versions
JP2020144848A (ja
Inventor
佑一 河崎
滋 中村
将 小笠原
篤 宮本
寛 日野原
毅史 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US16/802,586 priority Critical patent/US11061641B2/en
Publication of JP2020144848A publication Critical patent/JP2020144848A/ja
Application granted granted Critical
Publication of JP7447503B2 publication Critical patent/JP7447503B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画面共有システム、情報処理装置、画面共有方法及びプログラムに関する。
近年、インターネット等の通信ネットワークを介して会議等を行うシステムが普及している。このようなシステムでは、マイクなどの集音装置によって取得された音声データやカメラなどの撮像装置によって取得された撮像データの他、画像表示装置の表示画面に表示された画像を情報処理装置間で送受信することで画面の共有が行われている。例えば、手書き入力された画像(手書き画像)を画面共有することで、遠隔地にあるユーザ間の意思疎通を向上させることができる。
上述した画面共有に関しては、各種の技術が提案されている。例えば、特許文献1には、手書き画像とともに背景画像の共有を行う際に、先に入力された画像よりも、後から入力された画像の方が先に表示画面に表示されることがないようキューイング制御することが記載されている。
しかしながら、上記の技術ではキューイング制御に係る構成が煩雑であるという問題がある。また、入力された順に画像が表示される構成であるため、入力された画像の中にデータサイズの大きな画像が含まれると、その後に入力された画像のデータサイズが圧倒的に小さな場合であっても、当該画像が表示されるまで時間を要する。
本発明は、上記に鑑みてなされたものであって、情報処理装置間の画面共有を効率的に行うことができる画面共有システム、情報処理装置、画面共有方法及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様は、ネットワーク接続された
第1情報処理装置と第2情報処理装置との間で画面共有を行う画面共有システムであって、前
記第1情報処理装置は、自装置の表示画面に表示される画像を画面共有情報として取得する取
得部と、前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワ
ークに接続された第1サーバに送信する第1送信部と、前記画面共有情報のデータ量が閾値以
上の場合に、前記画面共有情報を前記ネットワークに接続された第2サーバに送信し、当該第
2サーバでの前記画面共有情報の保存先を示す保存先情報を前記第1サーバに送信する第2送
信部と、を備え、前記第2情報処理装置は、前記第1サーバから前記第1情報処理装置が送信
した前記画面共有情報又は前記保存先情報を受信する第1受信部と、前記第1受信部が受信し
た前記保存先情報に基づき、前記第2サーバから前記画面共有情報を受信する第2受信部と、
前記第1受信部又は前記第2受信部が受信した前記画面共有情報に基づく画像を自装置の表示
画面に表示させる表示制御部と、を備え、前記表示制御部は、前記第1受信部が前記保存先情
報を受信した場合に、未表示の画像が存在することを報知する報知情報を表示させる。
本発明によれば、情報処理装置間の画面共有を効率的に行うことができる。
図1は、実施形態に係る画面共有システムのシステム構成の一例を示す図である。 図2は、実施形態に係る画像表示装置のハードウェア構成の一例を示す図である。 図3は、実施形態に係る管理サーバのハードウェア構成の一例を示す図である。 図4は、実施形態に係る画像表示装置、管理サーバ及びストレージサーバの機能構成の一例を示す図である。 図5は、実施形態の管理サーバ経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。 図6は、実施形態の管理サーバ経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。 図7は、実施形態に係るストレージサーバ経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。 図8は、実施形態に係るストレージサーバ経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。 図9は、実施形態に係る画面共有元の画像表示装置が実行する処理の一例を示すフローチャートである。 図10は、実施形態に係る画面共有先の画像表示装置が実行する処理の一例を示すフローチャートである。 図11は、変形例に係るストレージサーバ経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。 図12は、変形例に係るストレージサーバ経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。
以下に、図面を参照しながら本発明に係る画面共有システム、情報処理装置、画面共有方法及びプログラムの実施形態を詳細に説明する。
図1は、実施形態に係る画面共有システム1のシステム構成の一例を示す図である。本実施形態に係る画面共有システム1は、画像表示装置10(10a、10b)と、管理サーバ20と、ストレージサーバ30とを有する。かかる画面共有システム1において、画像表示装置10、管理サーバ20及びストレージサーバ30は、インターネット等の通信ネットワークN1を介して通信可能に接続される。なお、通信ネットワークN1に接続される画像表示装置10の個数は図1の例に限定されないものとする。
画像表示装置10は、情報処理装置の一例である。画像表示装置10は、通信ネットワークN1に接続された他の装置との間で通信(セッション)を確立し、各種データの送受信を行う。具体的には、画像表示装置10は、通信ネットワークN1を介し各種データを送受信することで、画面共有元の画像表示装置10に表示されている画面を、画面共有先の画像表示装置10の画面に表示する画面共有を行う。なお、本実施形態では、画像表示装置10aが画面共有元であるとし、画像表示装置10bが画面共有先であるとして説明を進める。
管理サーバ20は、第1サーバの一例であり、画像表示装置10間で送受されるデータを管理する。また、ストレージサーバ30は、第2サーバの一例であり、画像表示装置10間で授受される画面共有情報の保存を行う。
図2は、画像表示装置10のハードウェア構成の一例を示す図である。図2に示すように、画像表示装置10は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F105、及び、外部機器接続I/F(Interface)106を備えている。
CPU101は、画像表示装置10全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、CPU101が実行するプログラム等の各種データを記憶する。ネットワークI/F105は、通信ネットワークN1との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ106a、外付け機器(マイク106b、スピーカ106c、カメラ106d)である。
また、画像表示装置10は、キャプチャデバイス107、GPU(Graphics Processing Unit)108、ディスプレイコントローラ109、ディスプレイ110、センサコントローラ111、接触センサ112、電子ペンコントローラ113、電源スイッチ114及び選択スイッチ類115等を備えている。
キャプチャデバイス107は、PC(Personal Computer)107aのディスプレイに表示されている静止画又は動画を背景画像として取得する。GPU108は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ109は、GPU108からの出力画像をディスプレイ110等へ出力するために画面表示の制御及び管理を行う。
接触センサ112は、ディスプレイ110上に電子ペン113aやユーザの手H等が接触したことを検知する。センサコントローラ111は、接触センサ112の処理を制御する。接触センサ112は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ110の上側両端部に設置された2つ受発光装置が、ディスプレイ110に平行して複数の赤外線を放射し、ディスプレイ110の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ112は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ111に出力し、センサコントローラ111が、物体の接触位置である座標位置を特定する。
電子ペンコントローラ113は、電子ペン113aと通信することで、ディスプレイ110へのペン先のタッチやペン尻のタッチの有無を判断する。電源スイッチ114は、画像表示装置10の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類115は、例えば、ディスプレイ110の表示の明暗や色合い等を調整するためのスイッチ群である。
更に、画像表示装置10は、バスライン116を備えている。バスライン116は、図2に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ112は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ113が、電子ペン113aのペン先及びペン尻だけでなく、電子ペン113aのユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
画像表示装置10は、PC107aから入力される画像(背景画像)を、ディスプレイ110の表示画面に表示することができるように構成されている。また、画像表示装置10は、接触センサ112を介して、ユーザの手書き入力を受け付けるように構成されている。例えば、画像表示装置10では、ユーザが電子ペン113aのペン先をディスプレイ110に接触させながら移動させることに応答する。そして、画像表示装置10は、その移動軌跡に対応する描画線をディスプレイ110の表示画面に表示するように構成されている。これにより、画像表示装置10のユーザは、ディスプレイ110の表示画面に表示された背景画像の上に、文字や図形等の手書き画像を自由に書き込むことができる。
図3は、管理サーバ20のハードウェア構成の一例を示す図である。なお、ストレージサーバ30のハードウェア構成も、この管理サーバ20のハードウェア構成と同様である。このため、ストレージサーバ30のハードウェア構成は、以下の管理サーバ20のハードウェア構成の説明を参照されたい。
図3に示すように、管理サーバ20は、CPU201、ROM202、RAM203、HDD(Hard Disk Drive)204、HDDコントローラ205、ディスプレイ206、ネットワークI/F207、バスライン208、キーボード209及びポインティングデバイス210を備える。
CPU201は、管理サーバ20全体の動作を制御する。ROM202は、IPL等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。HDD204は、プログラム等の各種データを記憶する。HDDコントローラ205は、CPU201の制御にしたがってHDD204に対する各種データの読み出し又は書き込みを制御する。ディスプレイ206は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報やデータを表示する。ネットワークI/F207は、通信ネットワークN1を利用してデータ通信をするためのインターフェースである。バスライン208は、CPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、キーボード209は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス210は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。
上述した画面共有システム1の構成において、画像表示装置10では、ディスプレイ110の表示画面に表示された画像を遠隔地に設置された他の画像表示装置10に転送して表示させる画面共有機能を備えている。これにより、画面共有システム1では、画像表示装置10aのディスプレイ110に入力(表示)された手書き画像を、遠隔地にある画像表示装置10bと共有しながら会議やプレゼンテーション等を行うことができる。
ところで、画像表示装置10間が低帯域幅の通信ネットワークを経由して接続されるような場合、送信元の画像表示装置10が送信するデータのデータ量によっては、通信ネットワークN1を介したデータ転送に遅延が発生する可能性がある。
例えば、手書き線を複数コピーした場合や、複数の手書き線を保存したページを読み込んだような場合、データ量の大きな手書き線が一度に描画されるようなことがある。このように、データ量の大きな手書き画像が入力される場合、当該手書き画像を画像表示装置10bに送信すると、それ以降に入力された手書き画像が画像表示装置10bに到達するのに遅延が発生する可能性がある。このような遅延が発生すると、画面共有先の画像表示装置10では、データ量の大きな手書き画像が表示されるまでの間、画面共有元の画像表示装置10で追加の手書き入力が行われたか否かを把握することができず、ユーザ間の意思疎通の妨げとなる可能性がある。
そこで、本実施形態の画面共有システム1では、上記した問題を改善するため、画像表示装置10、管理サーバ20及びストレージサーバ30の各装置は、図4に示す機能構成を備えている。ここで、図4は、画像表示装置10、管理サーバ20及びストレージサーバ30の機能構成の一例を示す図である。
まず、画面共有元の画像表示装置10aの機能構成について説明する。図4に示すように、画像表示装置10aは、機能構成として、取得部151と、判定部152と、送信制御部153とを備える。
取得部151は、自装置のディスプレイ110の表示画面に表示される画像を画面共有情報として取得する。具体的には、取得部151は、接触センサ112や電子ペン113aを介して、ディスプレイ110の表示画面に手書き画像が入力(表示)されると、その手書き画像を表す情報を画面共有情報として取得する。ここで、画面共有情報は、ディスプレイ110の表示画面内における手書き画像の位置(例えば、座標等)や、その形状や色を表す情報(例えば、ベクトルデータや選択されている色等)等、画面共有元と同様の状態で表示させることが可能な情報を含む。
なお、画面共有情報として切り出す単位は特に問わず、任意に設定することが可能であるとする。例えば、取得部151は、一度の操作で入力された手書き画像を一の画面共有情報として取得してもよい。また、例えば、取得部151は、手書き画像の入力が開始されたタイミングから所定時間以内に入力された手書き画像を一の画面共有情報として取得してもよい。
また、取得部151が取得する画面共有情報として取得する画像は、手書き画像に限らず、ディスプレイ110の表示画面に表示される背景画像を画面共有情報として取得してもよい。この場合、取得部151は、手書き画像と背景画像とを別々の画面共有情報として取得する。
判定部152は、取得部151で取得された画面共有情報のデータ量が閾値以上か否かを判定する。ここで、閾値は任意に設定可能であるとするが、画像表示装置10aと画像表示装置10bとの間の通信の帯域幅(通信速度)等に応じて自動又は手動で設定できる。
送信制御部153は、判定部152の判定結果に応じて画面共有情報の送信先を切り替える。具体的には、送信制御部153は、第1送信部1531と第2送信部1532とを有し、これら送信部の機能により、判定部152の判定結果に応じた送信先に画面共有情報を送信する。
第1送信部1531は、画面共有情報のデータ量が閾値未満の場合に、当該画面共有情報を管理サーバ20に送信することで、管理サーバ20経由で画面共有情報を画像表示装置10bに提供する。
第2送信部1532は、画面共有情報のデータ量が閾値以上の場合に、当該画面共有情報をストレージサーバ30に送信する。また、第2送信部1532は、第1送信部1531と協働することで、ストレージサーバ30での画面共有情報の保存先を示す保存先情報を、管理サーバ20経由で画像表示装置10bに提供する。なお、本実施形態では、保存先情報はストレージサーバ30から通知されるものとするが、第2送信部1532が、ストレージサーバ30での保存先を決定する形態としてもよい。
次に、管理サーバ20の機能構成について説明する。図4に示すように、管理サーバ20は、機能構成として第1管理部251と、第1提供部252とを備える。
第1管理部251は、画像表示装置10aの送信制御部153の第1送信部1531から送信される画面共有情報又は保存先情報を受信し、受信した情報を自装置が備えるRAMやHDD等の第1記憶媒体M1に保存する。なお、第1管理部251は、画像表示装置10aから受信した順に情報の保存を行うものとする。
第1提供部252は、第1記憶媒体M1に保存された情報を、画面共有先の画像表示装置10bに提供する。ここで、情報の提供方法は特に問わず、種々の方法を採用することが可能である。例えば、第1提供部252は、新たな画面共有情報又は保存先情報が第1記憶媒体M1に保存される毎に、その新たな情報を画像表示装置10bに提供してもよい。また、例えば、第1提供部252は、画像表示装置10bからの要求に応じて、第1記憶媒体M1に記憶された情報をFIFO(First In First Out)形式で順次提供してもよい。なお、本実施形態では、前者の提供方法で画像表示装置10bに情報が提供されるものとするが、この場合、第1記憶媒体M1を介さずにメディアストリーム等のストリーム形式で順次送信する構成としてもよい。
次に、ストレージサーバ30の機能構成について説明する。図4に示すように、ストレージサーバ30は、機能構成として第2管理部351と、第2提供部352とを備える。
第2管理部351は、画像表示装置10aの送信制御部153の第2送信部1532から送信された画面共有情報を受信し、受信した画面共有情報を自装置が備えるRAMやHDD等の第2記憶媒体M2に保存する。また、第2管理部351は、第2記憶媒体M2に画面共有情報を保存すると、その保存先を示す保存先情報を画像表示装置10aに通知する。ここで、保存先情報は、例えばURL(Uniform Resource Locator)等のアドレスであり、対応する画面共有情報をダウンロードすることが可能な情報となっている。
なお、第2管理部351が保存先情報を通知するタイミングは特に問わないものとする。例えば、第2管理部351は、画面共有情報の保存が完了したタイミングで通知してもよい。また、第2管理部351は、画面共有情報の保存を開始したタイミングで通知してもよい。
第2提供部352は、第2記憶媒体M2に保存された画面共有情報を、画面共有先となる画像表示装置10bに提供する。具体的には、第2提供部352は、保存先情報に基づいたダウンロード要求を画像表示装置10bから受け付けると、その保存先情報が示す保存先に保存された画面共有情報を画像表示装置10bに提供する。
次に、画面共有先の画像表示装置10bの機能構成について説明する。図4に示すように、画像表示装置10bは、機能構成として、受信制御部155と、表示制御部156とを備える。
受信制御部155は、画像表示装置10から送信された画面共有情報を、管理サーバ20又はストレージサーバ30を経由して受信する。具体的には、受信制御部155は、第1受信部1551と第2受信部1552とを有し、これらの受信部の機能により、画像表示装置10から送信された画面共有情報を、管理サーバ20又はストレージサーバ30を経由して受信する。
第1受信部1551は、管理サーバ20から提供される画面共有情報又は保存先情報を受信する。ここで、第1受信部1551が管理サーバ20から情報を受信する方法は特に問わず、種々の方法を採用することが可能である。例えば、第1受信部1551は、管理サーバ20に対し情報の提供を随時又は定期的に要求することで、管理サーバ20から送信される情報を受信してもよい。また、例えば、第1受信部1551は、管理サーバ20から一方的に送信される情報を受信してもよい。
第2受信部1552は、第1受信部1551が受信した保存先情報に基づきストレージサーバ30にアクセスすることで、当該保存先情報に対応する画面共有情報をストレージサーバ30から受信(ダウンロード)する。ここで、第2受信部1552が、ストレージサーバ30から画面共有情報を受信する方法は特に問わず、種々の方法を採用することが可能である。例えば、第2受信部1552は、第1受信部1551が保存先情報を受信した場合、その保存先情報が示すアドレスに自動でアクセスすることで、該当する画面共有情報をストレージサーバ30から受信してもよい。また、例えば、第2受信部1552は、ユーザから保存先情報が示すアドレスへのアクセスが指示された場合に、当該アドレスにアクセスすることで、該当する画面共有情報をストレージサーバ30から受信してもよい。
表示制御部156は、受信制御部155(第1受信部、第2受信部)で受信した画面共有情報に基づき、画面共有情報が表す手書き画像をディスプレイ110の表示画面に表示させる。具体的には、表示制御部156は、画面共有情報に含まれた座標情報やベクトルデータ等に基づき手書き画像をディスプレイ110の表示画面に再現する。これにより、表示制御部156は、画像表示装置10aのディスプレイ110に表示された手書き画像と同様の状態で、自装置のディスプレイ110に手書き画像を表示させる。
また、表示制御部156は、第1受信部1551が保存先情報を受信した場合、報知情報をディスプレイ110の表示画面に表示させる。ここで、報知情報の表示形態は特に問わず種々の形態を採用することが可能である。例えば、表示制御部156は、保存先情報そのもの(URL等)や、保存先情報が示す保存先へのアクセスを指示する操作子を報知情報としてディスプレイ110の表示画面に表示させてもよい。この場合、第2受信部1552は、ディスプレイ110の表示画面に表示された報知情報に対して接触操作等が行われた場合に、保存先情報が示すアドレスへのアクセスが指示されたと判断してもよい。また、例えば、表示制御部156は、未表示の画面共有情報(手書き画像)が存在することを報知するメッセージやアイコン等を報知情報としてディスプレイ110の表示画面に表示させてもよい。
なお、図4では、画像表示装置10aと画像表示装置10bとで機能構成を分けて説明したが、一の画像表示装置10が画像表示装置10a及び画像表示装置10bの機能構成を具備する構成としてもよい。つまり、画像表示装置10が、画面共有先と画面共有元との両機能を有する場合、当該画像表示装置10は、図4で示した画像表示装置10a及び画像表示装置10bの機能構成を具備することになる。
次に、上述した画面共有システム1の動作について説明する。まず、図5及び図6を参照して、管理サーバ20経由で画面共有情報を提供する場合の動作例について説明する。
図5は、管理サーバ20経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。また、図6は、管理サーバ20経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。
まず、画面共有元の画像表示装置10aにおいて、ユーザにより手書き画像の入力が行われると(符号P11)、画像表示装置10aの取得部151は、入力された手書き画像を画面共有情報として取得する。次いで、画像表示装置10aの判定部152は、取得部151が取得した画面共有情報のデータ量を判定する(符号P12)。ここで、画面共有情報のデータ量が閾値未満の場合、画像表示装置10aの送信制御部153(第1送信部1531)は、画面共有情報を管理サーバ20に送信する(符号P13)。
管理サーバ20では、画像表示装置10aから送信された画面共有情報を第1管理部251が第1記憶媒体M1に保存すると、第1提供部252は、第1記憶媒体M1に保存された画面共有情報を画像表示装置10bに提供する。
一方、画面共有先の画像表示装置10bでは、管理サーバ20から提供された画面共有情報を受信制御部155(第1受信部1551)が受信する(符号P14)。そして、画像表示装置10bの表示制御部156は、管理サーバ20から提供された画面共有情報に基づき手書き画像をディスプレイ110に表示させることで、画像表示装置10aと同様の画面を再現する(符号P15)。
次に、図7及び図8を参照して、ストレージサーバ30経由で画面共有情報を提供する場合の動作例について説明する。ここで、図7は、ストレージサーバ30経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。また、図8は、ストレージサーバ30経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。
まず、画面共有元の画像表示装置10aにおいて、ユーザにより手書き画像の入力が行われると(符号P21)、画像表示装置10aの取得部151は、入力された手書き画像を画面共有情報として取得する。次いで、画像表示装置10aの判定部152は、取得部151が取得した画面共有情報のデータ量を判定する(符号P22)。ここで、画面共有情報のデータ量が閾値以上の場合、画像表示装置10aの送信制御部153(第2送信部1532)は、画面共有情報をストレージサーバ30に送信(アップロード)する(符号P23)。
ストレージサーバ30では、第2管理部351は、画像表示装置10aから送信された画面共有情報を第2記憶媒体M2に保存すると、その保存先を示す保存先情報を画像表示装置10aに通知する(符号P24)。画像表示装置10aの送信制御部153(第2送信部1532)は、ストレージサーバ30から通知された保存先情報を受け付けると、その保存先情報を管理サーバ20に送信する(符号P25)。
管理サーバ20では、画像表示装置10aから送信された保存先情報を第1管理部251が第1記憶媒体M1に保存すると、第1提供部252は、第1記憶媒体M1に保存された保存先情報を画像表示装置10bに提供する。
一方、画面共有先の画像表示装置10bでは、受信制御部155(第2受信部1552)が管理サーバ20から提供された保存先情報を受信すると(符号P26)、表示制御部156は、報知情報をディスプレイ110に表示させる(符号P27)。ここで、図7では、報知情報として未表示の画面共有情報(手書き画像)がある旨を表示させた例を示している。
続いて、画像表示装置10bの受信制御部155(第2受信部1552)は、受信した保存先情報に基づきストレージサーバ30にアクセスすることで(符号P28)、ストレージサーバ30から提供される画面共有情報を受信(ダウンロード)する(符号P29)。そして、画像表示装置10bの表示制御部156は、管理サーバ20から提供された画面共有情報に基づき手書き画像をディスプレイ110に表示させることで、画像表示装置10aと同様の画面を再現する(符号P30)。
このように、本実施形態では、画像表示装置10aは、管理サーバ20及びストレージサーバ30を介して、画面共有情報を画像表示装置10bに提供する。一方、画像表示装置10bでは、管理サーバ20を介して提供された画面共有情報に基づき、画像表示装置10aのディスプレイ110に表示された手書き画像を、自装置のディスプレイ110に表示する。また、画像表示装置10bは、管理サーバ20から提供された保存先情報に基づいて、ストレージサーバ30から画面共有情報を取得し、当該画面共有情報に基づく手書き画像を自装置のディスプレイ110に表示させる。
これにより、本実施形態では、データ量が閾値未満の画面共有情報と、データサイズが閾値以上の画面共有情報とを異なる経路で転送することができるため、画面共有に係る効率を向上させることができる。また、本実施形態では、データ量が閾値以上の画面共有情報をそのまま画像表示装置10bに送信せずに、データ量の小さな保存先情報の形態で送信するため、当該画面共有情報の後に入力された手書き画像(画面共有情報)の遅延を防ぐことができる。
また、画像表示装置10bは、保存先情報を受信した場合に報知情報を表示させるため、未表示の画面共有情報(手書き画像)がある旨をユーザに報知するができる。これにより、画像表示装置10bは、未表示の手書き画像が存在することを当該手書き画像が表示される前に知ることができるため、画面共有に係る利便性の向上を図ることができる。また、画像表示装置10bでは、ユーザ操作に応じて保存先情報が示す保存先から画面共有情報を受信することもできるため、データ量が閾値以上の画面共有情報の受信(表示)を任意のタイミングで行うことができる。
次に、図9及び図10を参照して、上述した画像表示装置10の動作について説明する。ここで、図9は、画面共有元の画像表示装置10aが実行する処理の一例を示すフローチャートである。
まず、画像表示装置10aでは、取得部151が、電子ペン113a等を介して手書き画像の入力が行われた否かを判定する(ステップS11)。ここで、手書き入力が行われた場合(ステップS11;Yes)、取得部151は、入力された手書き画像を画面共有情報として取得する(ステップS12)。
続いて、判定部152は、取得部151が取得した画面共有情報のデータ量が閾値以上か否かを判定する(ステップS13)。ここで、画面共有情報のデータ量が閾値未満の場合(ステップS13;No)、送信制御部153(第1送信部1531)は、画面共有情報を管理サーバ20に送信し(ステップS14)、ステップS11に戻る。
また、画面共有情報のデータ量が閾値以上の場合(ステップS13;Yes)、送信制御部153(第2送信部1532)は、画面共有情報をストレージサーバ30に送信し(ステップS15)、ステップS11に戻る。
ステップS11では手書き画像の入力が行われない場合(ステップS11;No)、送信制御部153(第2送信部1532)は、ストレージサーバ30から保存先情報を受信したか否かを判定する(ステップS16)。ここで、ストレージサーバ30から保存先情報が通知されない場合には(ステップS16;No)、ステップS11に戻る。
また、ステップS16において、ストレージサーバ30から保存先情報を受信した場合(ステップS16;Yes)、送信制御部153(第2送信部1532)は、受信した保存先情報を管理サーバ20に送信し(ステップS17)、ステップS11に戻る。
一方、図10は、画面共有先の画像表示装置10bが実行する処理の一例を示すフローチャートである。
まず、画像表示装置10bでは、受信制御部155(第1受信部1551)が管理サーバ20から情報を受信したか否かを判定する(ステップS21)。受信制御部155(第1受信部1551)は、管理サーバ20から情報を受信すると(ステップS21;Yes)、受信した情報が画面共有情報か保存先情報かを判別する(ステップS22)。
ここで、受信した情報が画面共有情報であった場合(ステップS22;Yes)、表示制御部156は、その画面共有情報に基づき手書き画像をディスプレイ110の表示画面に表示させると(ステップS23)、ステップS21に戻る。
また、受信した情報が画像共有情報でなく保存先情報であった場合(ステップS22;No)、表示制御部156は、保存先情報に対応する画面共有情報が存在することを報知する報知情報をディスプレイ110の表示画面に表示させる(ステップS24)。次いで、受信制御部155(第2受信部1552)は、保存先情報に基づきストレージサーバ30にアクセスすることで、画面共有情報のダウンロードを開始し(ステップS25)、ステップS21に戻る。
ステップS21では管理サーバ20から情報が提供されない場合(ステップS21;No)、受信制御部155(第2受信部1552)は、画面共有情報のダウンロードが完了したか否かを判定する(ステップS26)。ここで、ストレージサーバ30から画面共有情報のダウンロードを行っていない場合や、ダウンロードが完了していない場合には(ステップS26;No)、ステップS21に戻る。
また、ステップS26において、画面共有情報のダウンロードが完了した場合には(ステップS26;Yes)、表示制御部156がその画面共有情報に基づいた手書き画像をディスプレイ110の表示画面に表示させた後(ステップS23)、ステップS21に戻る。
以上のように、本実施形態によれば、画像表示装置10aは、自装置の表示画面に表示される画像を画面共有情報として取得し、画面共有情報のデータ量が閾値未満の場合に、管理サーバ20を介して画像表示装置10bに提供する。また、画面共有情報のデータ量が閾値以上の場合に、ストレージサーバ30に保存した画面共有情報の保存先情報を、管理サーバ20を介して画像表示装置10bに提供する。一方、画像表示装置10bでは、管理サーバ20から受信した画面共有情報又は保存先情報に基づきストレージサーバ30から受信した画面共有情報を自装置のディスプレイ110に表示させる。
これにより、本実施形態では、データ量の大きな手書き画像が画像表示装置10aで入力された場合であっても、当該手書き画像以降に入力される手書き画像を遅延することなく、画像表示装置10bに転送することができる。これにより、画像表示装置10bのユーザは、画像表示装置10aでの手書き入力の状況を容易に把握することができるため、ユーザ間の意思疎通の向上を図ることができる。
また、画像表示装置10bでは、保存先情報を受信した場合に報知情報を表示させる。これにより、例えば、先に入力されたデータ量の大きな手書き画像より先に、後に入力された手書き画像が表示された場合であっても、画像表示装置10bのユーザは、データ量の大きな手書き画像が未表示の状態であることを認識できるため、画面共有に係る利便性の向上を図ることができる。
なお、上述した実施形態では、画面共有先の画像表示装置10bでは保存先情報を受信した場合に、保存先情報を受信したことや、未表示の画面共有情報(手書き画像)が存在することを報知したが、報知内容はこれに限らないものとする。例えば、保存先情報に対応する画面共有情報が手書き画像として表示される画面内の位置(以下、描画位置)を報知してもよい。以下、上述した実施形態の変形例として、描画位置を報知可能な構成について説明する。
[変形例]
図11及び図12は、本変形例に係る画面共有システム1の動作を説明するための図である。ここで、図11は、ストレージサーバ30経由で画面共有情報を提供する場合の情報の流れを模式的に示す図である。また、図12は、管理サーバ20経由で画面共有情報を提供する場合の動作例を示すシーケンス図である。なお、符号P41~符号P44の動作は、上述した図7及び図8の符号P21~符号P24の動作と同様であるため説明を省略する。
本変形例に係る画像表示装置10aの送信制御部153(第2送信部1532)は、ストレージサーバ30から保存先情報の通知を受け付けると、当該保存先情報を、対応する画面共有情報等から抽出した手書き画像の属性情報とともに管理サーバ20に送信する(符号P45)。
ここで、属性情報は、手書き画像に関する情報を含む。具体的には、属性情報は、画像表示装置10aのディスプレイ110の表示画面上において手書き画像が表示(描画)された表示領域を指定する情報(バウンディングボックス情報等)を含む。なお、属性情報の内容は、この例に限らず、他の情報を含んでもよい。例えば、属性情報は、手書き画像(画面共有情報)のデータサイズ等を示す情報を含んでもよい。
管理サーバ20では、画像表示装置10aから保存先情報及び属性情報が受信すると、第1管理部251は、受信された保存先情報及び属性情報を第1記憶媒体M1に保存する。次いで、第1提供部252は、第1記憶媒体M1に保存された保存先情報及び属性情報を画像表示装置10bに提供する。
一方、画面共有先の画像表示装置10bでは、管理サーバ20から提供された保存先情報及び属性情報を受信制御部155(第2受信部1552)が受信する(符号P46)。表示制御部156は、受信された属性情報に基づき、保存先情報に対応する画面共有情報(手書き画像)が表示される表示領域を報知する報知情報をディスプレイ110の表示画面に表示させる(符号P47)。続いて、画像表示装置10bの受信制御部155(第2受信部1552)は、保存先情報に基づきストレージサーバ30にアクセスすることで(符号P48)、ストレージサーバ30から提供される画面共有情報を受信する(符号P49)。
ここで、図11では、ディスプレイ110の表示画面上で画面共有情報(手書き画像)が表示される表示領域を、ハッチングを用いて識別可能に表示した例を示している。また、図11では、画面共有情報がダウンロード中であることを、砂時計のアイコンで示している。
そして、画像表示装置10bの表示制御部156は、ストレージサーバ30から提供された画面共有情報に基づき、手書き画像をディスプレイ110の表示画面に表示させることで、画像表示装置10aと同様の画面を再現する(符号P50)。ここで、手書き画像が表示される位置は表示領域に対応する。
このように、本変形例によれば、画像表示装置10bでは、管理サーバ20から保存先情報を受信すると、同時に受信した属性情報に基づき、対応する画面共有情報によって表示される手書き画像の表示領域を報知情報として表示する。これにより、画像表示装置10bのユーザは、表示が保留されたデータ量が閾値以上の画面共有情報により、手書き画像が表示される位置を事前に把握することができるため、画面共有に係る利便性の向上を図ることができる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
上記で説明した実施形態の各機能の少なくとも一部がプログラムの実行によって実現される場合、プログラムは適宜な記憶装置に予め組み込まれて提供される。また、プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供されてもよい。また、プログラムはインターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供され得るように構成されてもよい。また、プログラムはインターネット等のネットワーク経由で提供又は配布され得るように構成されてもよい。また、プログラムは上述した各機能の少なくとも一部を含むモジュール構成となっていてもよい。
また、上記では画像表示装置10を情報処理装置としたが、表示機能及び通信機能を備えた装置であれば、画像表示装置10に限らない。情報処理装置は、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
また、上記で説明した実施形態の装置群は、本明細書に開示された実施形態を実施するための複数のコンピュータ環境のうちの1つを示すものにすぎない。例えば、ある実施形態では、管理サーバ20は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリ等を含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様にストレージサーバ30は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。また、管理サーバ20及びストレージサーバ30の各要素は、1つのサーバ装置にまとめられてもよいし、複数の装置に分けられてもよい。
以上、本発明の実施形態を説明したが、上記実施形態は例として提示したものであり、発明の範囲を限定することを意図するものではない。上記新規な実施形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。上記実施形態及びその変形は発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 画面共有システム
10 画像表示装置
20 管理サーバ
30 ストレージサーバ
151 取得部
152 判定部
153 送信制御部
1531 第1送信部
1532 第2送信部
155 受信制御部
1551 第1受信部
1552 第2受信部
156 表示制御部
M1 第1記憶媒体
M2 第2記憶媒体
特許第6115194号公報

Claims (7)

  1. ネットワーク接続された第1情報処理装置と第2情報処理装置との間で画面共有を行う画面共有
    システムであって、
    前記第1情報処理装置は、
    自装置の表示画面に表示される画像を画面共有情報として取得する取得部と、
    前記画面共有情報のデータ量が閾値未満の場合に、前記画面共有情報を前記ネットワークに接続
    された第1サーバに送信する第1送信部と、
    前記画面共有情報のデータ量が閾値以上の場合に、前記画面共有情報を前記ネットワークに接続
    された第2サーバに送信し、当該第2サーバでの前記画面共有情報の保存先を示す保存先情報を
    前記第1サーバに送信する第2送信部と、
    を備え、
    前記第2情報処理装置は、
    前記第1サーバから前記第1情報処理装置が送信した前記画面共有情報又は前記保存先情報を受
    信する第1受信部と、
    前記第1受信部が受信した前記保存先情報に基づき、前記第2サーバから前記画面共有情報を受
    信する第2受信部と、
    前記第1受信部又は前記第2受信部が受信した前記画面共有情報に基づく画像を自装置の表示画
    面に表示させる表示制御部と、
    を備え
    前記表示制御部は、前記第1受信部が前記保存先情報を受信した場合に、未表示の画像が存在す
    ることを報知する報知情報を表示させる、
    画面共有システム。
  2. 前記第2送信部は、前記保存先情報とともに当該保存先情報が示す保存先に保存された前記画面
    共有情報の画像に関する属性情報を、前記第1サーバを介して前記第2情報処理装置に提供し、
    前記表示制御部は、前記第2受信部が受信した前記属性情報に基づき、前記報知情報を表示する
    請求項に記載の画面共有システム。
  3. 前記第2送信部は、前記属性情報として、前記第1情報処理装置の表示画面上において前記画像
    が表示された表示領域を指定する情報を、前記第1サーバを介して前記第2情報処理装置に提供
    し、
    前記表示制御部は、前記属性情報に基づき、前記第2情報処理装置の表示画面上における前記画
    像の表示領域を報知する請求項に記載の画面共有システム。
  4. 前記第2受信部は、前記保存先情報が示す保存先へのアクセスが指示されたことを条件に、前記
    第2サーバから前記画面共有情報の受信を開始する請求項1~の何れか一項に記載の画面共有
    システム。
  5. ネットワーク接続された他の情報処理装置との間で画面共有を行う画面共有先の情報処理装置
    であって、
    前記ネットワークに接続された第1サーバを介して、前記他の情報処理装置の表示画面に表示
    された画像を表す画面共有情報又は当該画面共有情報の保存先を示す保存先情報を受信する第
    1受信部と、
    前記第1受信部が受信した前記保存先情報に基づき、前記ネットワークに接続された第2サー
    バから前記画面共有情報を受信する第2受信部と、
    前記第1受信部又は前記第2受信部が受信した前記画面共有情報に基づく画像を自装置の表示
    画面に表示させる表示制御部と、
    を備え
    前記表示制御部は、前記第1受信部が前記保存先情報を受信した場合に、未表示の画像が存在
    することを報知する報知情報を表示させる、
    を備える情報処理装置。
  6. ネットワーク接続された他の情報処理装置と画面共有を行う画面共有先の情報処理装置で実行
    される画面共有方法であって、
    第1受信部が、前記ネットワークに接続された第1サーバを介して、前記他の情報処理装置の
    表示画面に表示された画像を表す画面共有情報又は当該画面共有情報の保存先を示す保存先情
    報を受信する第1受信ステップと、
    第2受信部が、前記第1受信部が受信した前記保存先情報に基づき、前記ネットワークに接続
    された第2サーバから前記画面共有情報を受信する第2受信ステップと、
    表示制御部が、前記第1受信部又は前記第2受信部が受信した前記画面共有情報に基づく画像
    を自装置の表示画面に表示させる表示制御ステップと、
    を含み、
    前記表示制御ステップは、前記第1受信部が前記保存先情報を受信した場合に、未表示の画像
    が存在することを報知する報知情報を表示させる、
    画面共有方法。
  7. ネットワーク接続された他の情報処理装置と画面共有を行う画面共有先の情報処理装置のコン
    ピュータで実行させるプログラムであって、
    前記ネットワークに接続された第1サーバを介して、前記他の情報処理装置の表示画面に表示
    された画像を表す画面共有情報又は当該画面共有情報の保存先を示す保存先情報を受信する第
    1受信コードと、
    前記第1受信コードによって受信した前記保存先情報に基づき、前記ネットワークに接続され
    た第2サーバから前記画面共有情報を受信する第2受信コードと、
    前記第1受信コード又は前記第2受信コードによって受信した前記画面共有情報に基づく画像
    を自装置の表示画面に表示させる表示制御コードと、
    を備え、
    前記表示制御コードは、前記第1受信コードによって前記保存先情報を受信した場合に、未表
    示の画像が存在することを報知する報知情報を表示させる、
    プログラム。
JP2020010378A 2019-02-28 2020-01-24 画面共有システム、情報処理装置、画面共有方法及びプログラム Active JP7447503B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/802,586 US11061641B2 (en) 2019-02-28 2020-02-27 Screen sharing system, and information processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019037045 2019-02-28
JP2019037045 2019-02-28

Publications (2)

Publication Number Publication Date
JP2020144848A JP2020144848A (ja) 2020-09-10
JP7447503B2 true JP7447503B2 (ja) 2024-03-12

Family

ID=72355574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020010378A Active JP7447503B2 (ja) 2019-02-28 2020-01-24 画面共有システム、情報処理装置、画面共有方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7447503B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100270A (ja) 2009-11-05 2011-05-19 Mitsubishi Electric Corp 画面共有システム及び画面共有サーバ
JP2014021955A (ja) 2012-07-24 2014-02-03 Forum8 Co Ltd 情報共有システム、当該システムのサーバ装置、当該サーバ装置で実行されるプログラム、及び情報共有方法
JP2015052896A (ja) 2013-09-06 2015-03-19 株式会社リコー 情報処理端末、伝送システム、及びプログラム
JP2015210569A (ja) 2014-04-24 2015-11-24 株式会社リコー 画像処理装置、情報共有装置、画像処理方法、及びプログラム
JP2016071638A (ja) 2014-09-30 2016-05-09 Kddi株式会社 ソース端末、表示制御システム、表示制御方法、表示制御プログラム
US20160269329A1 (en) 2015-03-11 2016-09-15 Dell Software, Inc. Automated large file processing with embedded visual cues

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100270A (ja) 2009-11-05 2011-05-19 Mitsubishi Electric Corp 画面共有システム及び画面共有サーバ
JP2014021955A (ja) 2012-07-24 2014-02-03 Forum8 Co Ltd 情報共有システム、当該システムのサーバ装置、当該サーバ装置で実行されるプログラム、及び情報共有方法
JP2015052896A (ja) 2013-09-06 2015-03-19 株式会社リコー 情報処理端末、伝送システム、及びプログラム
JP2015210569A (ja) 2014-04-24 2015-11-24 株式会社リコー 画像処理装置、情報共有装置、画像処理方法、及びプログラム
JP2016071638A (ja) 2014-09-30 2016-05-09 Kddi株式会社 ソース端末、表示制御システム、表示制御方法、表示制御プログラム
US20160269329A1 (en) 2015-03-11 2016-09-15 Dell Software, Inc. Automated large file processing with embedded visual cues

Also Published As

Publication number Publication date
JP2020144848A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
WO2022156368A1 (zh) 推荐信息展示方法及装置
US11061641B2 (en) Screen sharing system, and information processing apparatus
KR102108583B1 (ko) 인스턴스화가능한 제스처 객체
US9569159B2 (en) Apparatus, systems and methods for presenting displayed image information of a mobile media device on a large display and control of the mobile media device therefrom
CN110663018A (zh) 多显示器设备中的应用启动
US20130132873A1 (en) Information processing apparatus and information processing method to realize input means having high operability
WO2019052251A1 (zh) 数据分享方法、装置及电子设备
JP2020057085A (ja) 表示制御装置、表示制御方法、および表示制御システム
US9239647B2 (en) Electronic device and method for changing an object according to a bending state
WO2022105425A1 (zh) 显示方法、电子设备及可读存储介质
JP2014534522A (ja) マルチタッチインターフェース方式
US20150244799A1 (en) Display system, display apparatus, display method, and computer program
JP6286836B2 (ja) 投影システム、投影装置、投影方法、及び投影プログラム
US20190369827A1 (en) Remote data input framework
WO2021104268A1 (zh) 内容分享方法及电子设备
JP7447503B2 (ja) 画面共有システム、情報処理装置、画面共有方法及びプログラム
US10101698B2 (en) Information processing apparatus, information processing method, and storage medium
US10319061B2 (en) Information processing apparatus and event management method
KR20210081935A (ko) 제스처를 이용하여 대화 메시지에 감정을 표현하는 방법, 시스템, 및 컴퓨터 프로그램
JP2020197865A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
KR102149481B1 (ko) 이동 단말 및 그 제어 방법
US11330117B2 (en) Information processing apparatus, information processing system, and information processing method for receiving an image displayed on an image display apparatus upon detecting a predetermined condition is satisfied
TWI525530B (zh) 同步顯示操作資訊的方法、系統及裝置
JP7427875B2 (ja) 表示装置、表示方法、表示プログラム、表示システム
JP2012252459A (ja) 表示制御装置、システム、表示制御方法及びそのためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R151 Written notification of patent or utility model registration

Ref document number: 7447503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151