JP6945905B1 - Information processing system, information processing method and program - Google Patents

Information processing system, information processing method and program Download PDF

Info

Publication number
JP6945905B1
JP6945905B1 JP2021075173A JP2021075173A JP6945905B1 JP 6945905 B1 JP6945905 B1 JP 6945905B1 JP 2021075173 A JP2021075173 A JP 2021075173A JP 2021075173 A JP2021075173 A JP 2021075173A JP 6945905 B1 JP6945905 B1 JP 6945905B1
Authority
JP
Japan
Prior art keywords
user terminal
information
terminal device
sharing
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021075173A
Other languages
Japanese (ja)
Other versions
JP2022169251A (en
Inventor
純一郎 下岡
純一郎 下岡
Original Assignee
株式会社クアンド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社クアンド filed Critical 株式会社クアンド
Priority to JP2021075173A priority Critical patent/JP6945905B1/en
Priority to JP2021146338A priority patent/JP7115790B1/en
Application granted granted Critical
Publication of JP6945905B1 publication Critical patent/JP6945905B1/en
Publication of JP2022169251A publication Critical patent/JP2022169251A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】本情報処理システム等により、特に複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。【解決手段】本情報処理システムは、複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備える。【選択図】図7PROBLEM TO BE SOLVED: To superimpose a pointer based on coordinate information from each user terminal device 200 while displaying the same video information from a predetermined user terminal device among a plurality of user terminal devices by the information processing system or the like. By displaying it, smooth communication between users becomes possible. An information processing system is an information processing system that transmits and receives various types of information between a plurality of user terminal devices, receives video information captured by a photographing unit of the first user terminal device, and is described above. The video information sharing unit shared by the first user terminal device and the second user terminal device and the coordinate information regarding the pointer operated on the display area of the first and second user terminal devices are received, and the first It includes a coordinate information sharing unit shared by the first and second user terminal devices. [Selection diagram] FIG. 7

Description

本開示は、情報処理システム、情報処理方法及びプログラムに関する。 The present disclosure relates to information processing systems, information processing methods and programs.

従来から、例えば建設現場の作業者が現場で取得した情報(例えば撮影画像など)を他のユーザ(例えば当日現場にいなかった他の作業者や本社の管理者など)に共有する技術が知られている。 Conventionally, for example, the technology of sharing information (for example, captured images) acquired by a construction site worker with other users (for example, other workers who were not at the site on the day or the manager of the head office) has been known. Has been done.

このような技術としては、例えば、特許文献1に示されるように、AR空間にマーク画像と共に情報を関連付けて記憶し、それを事後的に他のユーザが確認可能な技術が知られている(例えば、特許文献1参照。)。 As such a technique, for example, as shown in Patent Document 1, a technique is known in which information is associated and stored in an AR space together with a mark image, and the information can be confirmed by another user after the fact (. For example, see Patent Document 1.).

特開2020−98568号公報Japanese Unexamined Patent Publication No. 2020-98568

しかしながら、上記特許文献1に示される技術ではリアルタイム性が損なわれており、現場の作業者が確認したい内容や遠隔地にいる他のユーザが確認した内容を即座に伝えることが難しい。 However, in the technique shown in Patent Document 1, the real-time property is impaired, and it is difficult to immediately convey the content that the on-site worker wants to confirm or the content confirmed by another user at a remote location.

また、近年ビデオチャットが普及しており、これによってリアルタイムに現場の状況を共有することも可能であるが、例えば作業者から遠い場所であったり、物が大量にある場所であったりする場合に、互いにビデオチャット越しに特定の位置を指し示すことが難しく、ユーザ間の指示や説明が不明確となり、円滑にコミュニケーションが取れない場合がある。 In addition, video chat has become widespread in recent years, and it is possible to share the situation at the site in real time. However, for example, when the location is far from the worker or where there are a large number of objects. , It is difficult to point to a specific position through video chat with each other, instructions and explanations between users become unclear, and communication may not be smooth.

そこで、本開示では、複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる情報処理システム、情報処理方法及びプログラムについて説明する。 Therefore, in the present disclosure, the same video information from a predetermined user terminal device among a plurality of user terminal devices is displayed, and pointers based on the coordinate information from each user terminal device 200 are superimposed and displayed. An information processing system, an information processing method, and a program that enable smooth communication between users will be described.

本開示の一態様における情報処理システムは、複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備える。
The information processing system in one aspect of the present disclosure is an information processing system that transmits and receives various information between a plurality of user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
It includes a coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares it with the first and second user terminal devices.

本開示によれば、複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。 According to the present disclosure, while displaying the same video information from a predetermined user terminal device among a plurality of user terminal devices, pointers based on coordinate information from each user terminal device 200 are superimposed and displayed. Smooth communication between users is possible.

本開示の一実施形態に係る情報処理システムを示すブロック構成図である。It is a block block diagram which shows the information processing system which concerns on one Embodiment of this disclosure. 図1の管理サーバ100のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the management server 100 of FIG. 図2の記憶部120および制御部130の機能を例示したブロック図である。It is a block diagram which illustrated the function of the storage part 120 and the control part 130 of FIG. 図1のユーザ端末装置200のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the user terminal apparatus 200 of FIG. 図4の制御部230の機能を例示したブロック図である。It is a block diagram exemplifying the function of the control unit 230 of FIG. 本実施の形態における座標取得の一例を示す図である。It is a figure which shows an example of the coordinate acquisition in this embodiment. 本実施の形態におけるユーザ端末装置200の表示の一例を示す図である。It is a figure which shows an example of the display of the user terminal apparatus 200 in this embodiment. 本実施の形態におけるユーザ端末装置200の他の表示例を示す図である。It is a figure which shows the other display example of the user terminal apparatus 200 in this embodiment. 図1の情報処理システム1の処理の例を示すフローチャートである。It is a flowchart which shows the example of the processing of the information processing system 1 of FIG.

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。 The contents of the embodiments of the present invention will be described in a list. The information processing system or the like according to the embodiment of the present invention has the following configurations.

[項目1]
複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備える、
ことを特徴とする情報処理システム。
[項目2]
縦横表示切替情報をさらに共有し、前記映像情報の縦横表示の切り替えに対応可能である、
ことを特徴とする項目1に記載の情報処理システム。
[項目3]
前記複数のユーザ端末装置のいずれかにおいて、他の画像情報共有要求が送信された場合には、当該他の画像情報を何れのユーザ端末装置においても強制的に切り替えるように制御する、
ことを特徴とする項目1また2のいずれかに記載の情報処理システム。
[項目4]
前記映像情報は、映像共有権限を設定された前記第1のユーザ端末装置からの前記映像情報である、
ことを特徴とする項目1ないし3のいずれかに記載の情報処理システム。
[項目5]
前記映像情報は、前記座標情報と共に記憶部に記憶される、
ことを特徴とする項目1ないし4のいずれかに記載の情報処理システム。
[項目6]
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする項目1ないし5のいずれかに記載の情報処理システム。
[項目7]
前記映像情報または前記画像情報は、ユーザの選択により外部出力を制限するように設定可能である、
ことを特徴とする項目6に記載の情報処理システム。
[項目8]
所定のフォーマットを用いたレポートを作成するレポート作成機能をさらに備え、
前記映像情報または前記画像情報は、前記レポートに利用可能である、
ことを特徴とする項目6または7のいずれかに記載の情報処理システム。
[項目9]
前記映像情報または前記画像情報の外部出力は、前記レポート作成機能を介してのみ実行される、
ことを特徴とする項目8のいずれかに記載の情報処理システム。
[項目10]
前記映像情報は、前記ユーザ端末装置において画像認識される、
ことを特徴とする項目1ないし9のいずれかに記載の情報処理システム。
[項目11]
前記画像認識は、二次元コードに関する画像認識である、
ことを特徴とする項目10に記載の情報処理システム。
[項目12]
前記画像認識は、二次元バーコードに関する画像認識である、
ことを特徴とする項目11に記載の情報処理システム。
[項目13]
前記画像認識は、ARマーカに関する画像認識である、
ことを特徴とする項目11に記載の情報処理システム。
[項目14]
前記第1及び第2のユーザ端末装置において生成されたテキスト情報を前記第1及び第2のユーザ端末装置に共有するテキスト情報共有部をさらに備える、
ことを特徴とする項目1ないし13のいずれかに記載の情報処理システム。
[項目15]
前記テキスト情報は、前記第1及び第2のユーザ端末装置により取得された音声情報に基づき生成されたテキスト情報である、
ことを特徴とする項目14に記載の情報処理システム。
[項目16]
複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含む、
ことを特徴とする情報処理方法。
[項目17]
複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含む、
ことを特徴とするプログラム。
[Item 1]
An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
It includes a coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices.
An information processing system characterized by this.
[Item 2]
It is possible to further share the vertical / horizontal display switching information and switch the vertical / horizontal display of the video information.
The information processing system according to item 1, wherein the information processing system is characterized by the above.
[Item 3]
When another image information sharing request is transmitted in any of the plurality of user terminal devices, the other user terminal devices are controlled to forcibly switch the other image information.
The information processing system according to any one of items 1 and 2, wherein the information processing system is characterized by the above.
[Item 4]
The video information is the video information from the first user terminal device for which the video sharing authority is set.
The information processing system according to any one of items 1 to 3, wherein the information processing system is characterized by the above.
[Item 5]
The video information is stored in the storage unit together with the coordinate information.
The information processing system according to any one of items 1 to 4, wherein the information processing system is characterized by the above.
[Item 6]
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
The information processing system according to any one of items 1 to 5, wherein the information processing system is characterized by the above.
[Item 7]
The video information or the image information can be set to limit external output at the user's option.
The information processing system according to item 6, wherein the information processing system is characterized by the above.
[Item 8]
It also has a report creation function that creates a report using a predetermined format.
The video information or the image information is available for the report.
The information processing system according to any one of items 6 or 7, wherein the information processing system is characterized by the above.
[Item 9]
The external output of the video information or the image information is executed only through the report creation function.
The information processing system according to any one of item 8, wherein the information processing system is characterized by the above.
[Item 10]
The video information is image-recognized by the user terminal device.
The information processing system according to any one of items 1 to 9, wherein the information processing system is characterized by the above.
[Item 11]
The image recognition is an image recognition related to a two-dimensional code.
Item 10. The information processing system according to Item 10.
[Item 12]
The image recognition is an image recognition related to a two-dimensional bar code.
The information processing system according to item 11, wherein the information processing system is characterized in that.
[Item 13]
The image recognition is an image recognition related to an AR marker.
The information processing system according to item 11, wherein the information processing system is characterized in that.
[Item 14]
A text information sharing unit that shares text information generated in the first and second user terminal devices with the first and second user terminal devices is further provided.
The information processing system according to any one of items 1 to 13, wherein the information processing system is characterized in that.
[Item 15]
The text information is text information generated based on the voice information acquired by the first and second user terminal devices.
The information processing system according to item 14, wherein the information processing system is characterized in that.
[Item 16]
An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
The step includes receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices.
An information processing method characterized by the fact that.
[Item 17]
A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
The step includes receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices.
A program characterized by that.

以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. The embodiments described below do not unreasonably limit the contents of the present disclosure described in the claims. Also, not all of the components shown in the embodiments are essential components of the present disclosure. In addition, the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.

<実施形態1>
<構成>
図1は、本開示の実施形態1に係る情報処理システム1を示すブロック構成図である。この情報処理システム1は、例えば、ネットワークNWを介して、複数のユーザ端末装置200間で双方向に情報を送受信する情報システムであって、第1のユーザ端末装置200Aの撮影部において撮影された映像情報を第1−3のユーザ端末装置200A−Cで共有し、第1−3のユーザ端末装置A−Cの表示領域上で移動操作されたポインタに関する表示領域上の座標情報を第1−3のユーザ端末装置A−Cに共有する情報処理システムである。なお、例示として3つのユーザ端末装置を示しているが、これに限らず、2つのユーザ端末装置間の情報システムでもよいし、4つ以上のユーザ端末装置間の情報システムでもよい。また、例示として3つのユーザ端末装置のアイコンを異ならせているが、これに限らず、第1−3のユーザ端末装置200A−Cの少なくともいずれかが同じ種別のデバイスであってもよい。
<Embodiment 1>
<Structure>
FIG. 1 is a block configuration diagram showing an information processing system 1 according to the first embodiment of the present disclosure. The information processing system 1 is, for example, an information system for bidirectionally transmitting and receiving information between a plurality of user terminal devices 200 via a network NW, and was photographed by a photographing unit of the first user terminal device 200A. The video information is shared by the first to third user terminal devices 200A-C, and the coordinate information on the display area related to the pointer moved on the display area of the first to third user terminal devices AC is the first 1st. This is an information processing system shared by the user terminal devices AC of 3. Although three user terminal devices are shown as an example, the present invention is not limited to this, and an information system between two user terminal devices or an information system between four or more user terminal devices may be used. Further, although the icons of the three user terminal devices are different as an example, the present invention is not limited to this, and at least one of the first to third user terminal devices 200A-C may be a device of the same type.

情報処理システム1は、管理サーバ100と、複数のユーザ端末装置200A−C(以下、ユーザ端末装置200と称する場合もある)と、ネットワークNWと、を有している。管理サーバ100と、ユーザ端末装置200とは、ネットワークNWを介して接続される。ネットワークNWは、インターネット、イントラネット、ブロックチェーンネットワーク、無線LAN(Local Area Network)やWAN(Wide Area Network)、BLE(Bluetooth Low Energy)等により構成される。 The information processing system 1 has a management server 100, a plurality of user terminal devices 200A-C (hereinafter, may be referred to as a user terminal device 200), and a network NW. The management server 100 and the user terminal device 200 are connected via the network NW. The network NW is composed of the Internet, an intranet, a blockchain network, a wireless LAN (Local Area Network), a WAN (Wide Area Network), a BLE (Bluetooth Low Energy), and the like.

管理サーバ100は、例えば、ネットワークを介してユーザ端末装置200にネットワークサービスを提供するサーバ装置である。詳細については後述する。 The management server 100 is, for example, a server device that provides a network service to the user terminal device 200 via a network. Details will be described later.

ユーザ端末装置200は、各ユーザが所持する、例えばパーソナルコンピュータやタブレット端末、スマートフォン、携帯電話、PHS、PDA等の情報処理装置である。 The user terminal device 200 is an information processing device owned by each user, such as a personal computer, a tablet terminal, a smartphone, a mobile phone, a PHS, or a PDA.

<管理サーバ100>
図2は、管理サーバ100のハードウェア構成を示す図である。図3は、記憶部120および制御部130の機能を例示したブロック図である。管理サーバ100は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<Management server 100>
FIG. 2 is a diagram showing a hardware configuration of the management server 100. FIG. 3 is a block diagram illustrating the functions of the storage unit 120 and the control unit 130. The management server 100 may be a general-purpose computer such as a personal computer, or may be logically realized by cloud computing. The illustrated configuration is an example, and may have other configurations.

管理サーバ100は、通信部110と、記憶部120と、制御部130と、入出力部140とを備える。これらの機能部は、管理サーバ100用の所定のプログラムを実行することにより実現される。 The management server 100 includes a communication unit 110, a storage unit 120, a control unit 130, and an input / output unit 140. These functional units are realized by executing a predetermined program for the management server 100.

通信部110は、ユーザ端末装置200と通信を行うための通信インタフェースであり、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)等の通信規約により通信が行われる。 The communication unit 110 is a communication interface for communicating with the user terminal device 200, and communication is performed according to a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).

記憶部120は、各種制御処理や制御部130内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。また、図3に示されるように、記憶部120は、ネットワークサービスを利用するにあたり事前に登録されたユーザ情報をユーザ識別情報に関連付けて記憶するユーザ情報DB121と、ユーザが作成したグループに関するグループ情報をグループ識別情報に関連付けて記憶するグループ情報DB122を含む。さらに、記憶部120は、ユーザ端末装置200と通信を行ったデータを一時的に記憶する。 The storage unit 120 stores programs for executing various control processes and each function in the control unit 130, input data, and the like, and is composed of a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. NS. Further, as shown in FIG. 3, the storage unit 120 stores the user information DB 121 that stores the user information registered in advance in association with the user identification information when using the network service, and the group information about the group created by the user. Is included in the group information DB 122 which stores the information in association with the group identification information. Further, the storage unit 120 temporarily stores the data that has communicated with the user terminal device 200.

ユーザ情報は、例えば、ユーザ名情報、メールアドレス、所属情報、参加グループ情報(例えばグループ識別情報等)などが含まれるが、これに限定されない。 The user information includes, but is not limited to, for example, user name information, e-mail address, affiliation information, participating group information (for example, group identification information, etc.).

グループ情報は、例えば、グループ名情報、グループ画像情報、参加ユーザ情報(例えばユーザ識別情報等)、グループ内共有情報(例えば、映像情報や画像情報等)などが含まれるが、これに限定されない。 Group information includes, but is not limited to, for example, group name information, group image information, participating user information (for example, user identification information, etc.), group shared information (for example, video information, image information, etc.), and the like.

制御部130は、管理サーバ100の全体の動作を制御するものであり、CPU(Central Processing Unit)等から構成される。また、図3に示されるように、制御部130は、情報受付部131、映像情報共有部132、座標情報共有部133、といった機能部を含む。 The control unit 130 controls the overall operation of the management server 100, and is composed of a CPU (Central Processing Unit) and the like. Further, as shown in FIG. 3, the control unit 130 includes functional units such as an information receiving unit 131, a video information sharing unit 132, and a coordinate information sharing unit 133.

情報送受信部131は、各ユーザ端末装置200から各種情報や要求を受け付け、各ユーザ端末装置200へ各種情報や要求を送信する。各種情報とは、特にユーザ端末装置200の撮影部により撮影される映像情報や、ユーザ端末装置200の表示領域上で移動操作されているポインタに関する当該表示領域上の座標情報(詳細については後述する)を含むが、これらに限定されるものではなく、例えば映像情報や座標情報と併せて、ユーザ端末装置200のユーザを特定するためのユーザ識別情報(例えば、利用登録により発行されるユーザアカウント等)や、各情報に関連付けられた時間情報(例えば各種情報を生成または記憶した際の時間情報(適宜日付情報も含む)等)などを受け付けてもよい。 The information transmission / reception unit 131 receives various information and requests from each user terminal device 200, and transmits various information and requests to each user terminal device 200. The various types of information include video information captured by the photographing unit of the user terminal device 200 and coordinate information on the display area regarding a pointer being moved on the display area of the user terminal device 200 (details will be described later). ), But is not limited to these, for example, user identification information for identifying a user of the user terminal device 200 (for example, a user account issued by user registration, etc.) together with video information and coordinate information. ), Time information associated with each information (for example, time information when various information is generated or stored (including date information as appropriate), etc.) may be accepted.

映像情報共有部132は、各ユーザ端末装置200のうちの映像共有権限が設定されているユーザのユーザ端末装置200(例えばユーザ端末装置200A)から情報受付部131により受け付けた映像情報を他のユーザ端末装置200(例えば、ユーザ端末装置200B、Cなど)に共有するように送信する。映像共有権限は、例えばユーザ端末装置200Aの表示領域に表示された共有ボタンを押下するなどの共有開始操作を実行することにより共有要求をサーバに送信することで、管理サーバ100にて映像共有権限をユーザ端末装置200Aのユーザに設定してもよいし、予め映像共有権限が所定のユーザに設定されていてもよい。 The video information sharing unit 132 receives video information received by the information receiving unit 131 from the user terminal device 200 (for example, the user terminal device 200A) of the user for which the video sharing authority is set among the user terminal devices 200, to another user. It is transmitted so as to be shared with the terminal device 200 (for example, the user terminal device 200B, C, etc.). The video sharing authority is the video sharing authority on the management server 100 by sending a sharing request to the server by executing a sharing start operation such as pressing the sharing button displayed in the display area of the user terminal device 200A. May be set to the user of the user terminal device 200A, or the video sharing authority may be set to a predetermined user in advance.

座標情報共有部133は、各ユーザ端末装置200から情報受付部131により受け付けた座標情報を他のユーザ端末装置200に共有するように送信する。ここで、映像情報共有部132とは異なり、共有権限を伴わずに互いに座標情報が受け付けられて共有される。映像情報はデータもサイズが大きいことから単方向での共有であるのに対し、座標情報というデータサイズが小さい情報を用いることでリアルタイムに双方向での共有が可能となり、複数のユーザ端末装置200によるポインタ表示(詳細は後述する)を同時に表示することが可能となる。 The coordinate information sharing unit 133 transmits the coordinate information received by the information receiving unit 131 from each user terminal device 200 so as to be shared with other user terminal devices 200. Here, unlike the video information sharing unit 132, the coordinate information is received and shared with each other without the sharing authority. Video information is shared in one direction because the data is also large in size, whereas it is possible to share in both directions in real time by using information with a small data size called coordinate information, and a plurality of user terminal devices 200. It is possible to display the pointer display (details will be described later) at the same time.

入出力部140は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。なお、クラウドサーバーにより構築されている場合にはこの限りではない。 The input / output unit 140 is an information input device such as a keyboard and a mouse, and an output device such as a display. This does not apply if it is built by a cloud server.

<ユーザ端末装置200>
図4は、ユーザ端末装置200のハードウェア構成を示す図である。図5は、制御部230の機能を例示したブロック図である。ユーザ端末装置200の主なハードウェア構成については、例えば通信部210と、記憶部220と、制御部230と、入出力部240とを備え、管理サーバ100と同様の部分については説明を省略する。これらの機能部は、ユーザ端末装置200用の所定のプログラムやアプリケーションを実行することにより実現される。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<User terminal device 200>
FIG. 4 is a diagram showing a hardware configuration of the user terminal device 200. FIG. 5 is a block diagram illustrating the function of the control unit 230. Regarding the main hardware configuration of the user terminal device 200, for example, a communication unit 210, a storage unit 220, a control unit 230, and an input / output unit 240 are provided, and the same parts as the management server 100 will not be described. .. These functional units are realized by executing a predetermined program or application for the user terminal device 200. The illustrated configuration is an example, and may have other configurations.

ユーザ端末装置200は、例えばパーソナルコンピュータやタブレット端末、スマートフォン、携帯電話、PHS、PDA等の情報処理装置であってもよく、入出力部240は、例えばユーザ端末装置200がパーソナルコンピュータで構成されている場合は情報出力機器(例えばディスプレイ)と情報入力機器(例えばキーボードやマウス)により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の情報入出力機器により構成されている。また、入出力部240は、撮影部や音声取得部(例えばマイク)を含み、画像情報や映像情報(音声情報を含む)、音声情報を撮影部や音声取得部により取得する。 The user terminal device 200 may be an information processing device such as a personal computer, a tablet terminal, a smartphone, a mobile phone, a PHS, or a PDA. In the input / output unit 240, for example, the user terminal device 200 is composed of a personal computer. If so, it is composed of an information output device (for example, a display) and an information input device (for example, a keyboard or mouse), and if it is composed of a smartphone or a tablet terminal, it is composed of an information input / output device such as a touch panel. Further, the input / output unit 240 includes a photographing unit and an audio acquisition unit (for example, a microphone), and acquires image information, video information (including audio information), and audio information by the photographing unit and the audio acquisition unit.

制御部230は、ユーザ端末装置200の全体の動作を制御するものであり、CPU(Central Processing Unit)等から構成される。また、図5に示されるように、制御部230は、情報送受信部231、リクエスト生成部232、表示生成部233といった機能部を含む。表示生成部233は、座標情報取得部234と、ポインタ表示部235とを含む。 The control unit 230 controls the overall operation of the user terminal device 200, and is composed of a CPU (Central Processing Unit) and the like. Further, as shown in FIG. 5, the control unit 230 includes functional units such as an information transmission / reception unit 231, a request generation unit 232, and a display generation unit 233. The display generation unit 233 includes a coordinate information acquisition unit 234 and a pointer display unit 235.

情報送受信部231は、管理サーバ100から各種情報や要求を受け付け、管理サーバへ各種情報や要求を送信する。各種情報とは、特に映像情報や座標情報を含むが、これらに限定されるものではない。 The information transmission / reception unit 231 receives various information and requests from the management server 100, and transmits various information and requests to the management server. The various types of information include, but are not limited to, video information and coordinate information.

リクエスト生成部232は、ユーザ端末装置200から種々のリクエスト(要求)を生成して、例えば管理サーバ100へ送信する。リクエストは、例えば、映像共有要求などであり、ユーザ端末装置200上でのユーザ操作に応じて各要求が管理サーバ100へ送信される。 The request generation unit 232 generates various requests (requests) from the user terminal device 200 and transmits them to, for example, the management server 100. The request is, for example, a video sharing request, and each request is transmitted to the management server 100 in response to a user operation on the user terminal device 200.

表示生成部233は、ユーザ端末装置200の記憶部220に記憶された所定の画面表示規則情報(例えばレイアウト情報等)に基づき、管理サーバ100から受信した映像情報や座標情報に基づくポインタをユーザ端末装置200の入出力部240の表示装置に表示される表示領域50における表示を生成する。なお、表示生成部233は、ユーザ端末装置200の機能部ではなく、管理サーバ100の機能部として構成され、各情報はユーザ端末装置200において受信せず、管理サーバ100内で生成された表示画像を受け取るようにしてもよい。 The display generation unit 233 uses the user terminal to set a pointer based on the video information and the coordinate information received from the management server 100 based on the predetermined screen display rule information (for example, layout information) stored in the storage unit 220 of the user terminal device 200. Generates a display in the display area 50 displayed on the display device of the input / output unit 240 of the device 200. The display generation unit 233 is configured not as a functional unit of the user terminal device 200 but as a functional unit of the management server 100, and each information is not received by the user terminal device 200, and the display image generated in the management server 100 is generated. May be received.

座標情報取得部234は、入出力部240による入力操作(例えば、タッチパネルに対するタッチ操作やマウスによるクリックを保持したままの移動操作)により指定されている表示領域50上の座標情報を取得する。図6には、表示領域50内の座標(x,y)(この場合、表示領域50の左上角部を原点座標とする)に対する座標情報の取得を例示している。映像領域51は、例えば表示領域50に対してx軸方向またはy軸方向の少なくともいずれかにおいて所定のオフセット長さが設定されて表示されていてもよく、図6においては、表示領域50の上端からy軸方向においてオフセット長さdyが設定されて表示されている。当該オフセット量の設定方法は、例えば、表示領域50の画面サイズと、アスペクト比を考慮した際の映像情報のビデオサイズに基づき、差分をx軸方向y軸方向の両端部に等分して振り分けるようにしてもよいし、単にそれぞれ固定値を設定しておいてもよい。 The coordinate information acquisition unit 234 acquires the coordinate information on the display area 50 designated by the input operation by the input / output unit 240 (for example, the touch operation on the touch panel or the movement operation while holding the click by the mouse). FIG. 6 illustrates the acquisition of coordinate information with respect to the coordinates (x, y) in the display area 50 (in this case, the upper left corner of the display area 50 is the origin coordinate). The video area 51 may be displayed with a predetermined offset length set in at least one of the x-axis direction and the y-axis direction with respect to the display area 50, and in FIG. 6, the upper end of the display area 50 is displayed. The offset length dy is set and displayed in the y-axis direction. The method of setting the offset amount is, for example, based on the screen size of the display area 50 and the video size of the video information when the aspect ratio is taken into consideration, and the difference is equally divided and distributed to both ends in the x-axis direction and the y-axis direction. Or you may simply set a fixed value for each.

ここで、ユーザ端末200ごとに表示領域50内の絶対座標が映像領域51に対して必ずしも同じではないことを踏まえ、本発明においては、例えば映像領域51の左上角部を原点として映像領域51の幅及び高さの長さと同一である位置(例えば、映像領域51の右上角部の位置と左下角部の位置)をそれぞれ1とした時の映像領域51内における座標(x,y−dy)位置の割合を座標情報として算出している。図6においては、例えば、映像領域51の幅X高さYに対して、座標52についてのx軸方向y軸方向における位置の割合は(x/X(例えば0.3), y−dy/Y(例えば、0.7))といった座標情報が算出及び取得される。 Here, based on the fact that the absolute coordinates in the display area 50 are not necessarily the same for each user terminal 200 with respect to the video area 51, in the present invention, for example, the upper left corner of the video area 51 is set as the origin of the video area 51. Coordinates (x, y-dy) in the video area 51 when the positions that are the same as the width and the length of the height (for example, the position of the upper right corner and the position of the lower left corner of the video area 51) are set to 1, respectively. The ratio of positions is calculated as coordinate information. In FIG. 6, for example, the ratio of the position of the coordinate 52 in the x-axis direction and the y-axis direction to the width X height Y of the video area 51 is (x / X (for example, 0.3), y−dy /. Coordinate information such as Y (for example, 0.7)) is calculated and acquired.

ポインタ表示部235は、映像領域51内の座標情報及び映像領域の幅情報及び高さ情報から算出される位置にポインタを表示する。例えば、図7においては、座標52に対応する位置にポインタ62が表示されている。また、図8においては、例えば、ユーザ端末装置200がパーソナルコンピュータで構成されている場合の表示例であり、ポインタ62は、例えば(0.3X’,0.7Y’)の位置に表示されている。さらに、ポインタ表示部235は、各ユーザ61のユーザ情報も関連付けることで、ポインタ62及びポインタ63をユーザごとに区別可能に表示するようにしてもよく、例えばポインタの色や形状、模様、大きさなどが各ユーザ61で異なるようにしてもよい。なお、図7及び8においては、ポインタ62及び63が同時に表示されているが、これに限らず、先に表示したポインタのみが表示されるように制御されてもよいし、後から取得された座標情報に基づくポインタのみが表示されるように制御されてもよい。 The pointer display unit 235 displays the pointer at a position calculated from the coordinate information in the video area 51 and the width information and height information of the video area. For example, in FIG. 7, the pointer 62 is displayed at a position corresponding to the coordinates 52. Further, in FIG. 8, for example, it is a display example when the user terminal device 200 is configured by a personal computer, and the pointer 62 is displayed at a position (0.3X', 0.7Y'), for example. There is. Further, the pointer display unit 235 may display the pointer 62 and the pointer 63 so as to be distinguishable for each user by associating the user information of each user 61, for example, the color, shape, pattern, and size of the pointer. Etc. may be different for each user 61. In addition, in FIGS. 7 and 8, the pointers 62 and 63 are displayed at the same time, but the present invention is not limited to this, and it may be controlled so that only the pointer displayed earlier is displayed, or the pointers are acquired later. It may be controlled so that only the pointer based on the coordinate information is displayed.

<処理の流れ>
図9の例示を参照しながら、情報処理システム1が実行する情報処理方法の処理の流れについて説明する。図9は、図1の情報処理システム1の処理の例を示すフローチャートである。ステップS101の前に、まずユーザ端末装置200A−Cのユーザは、ビデオチャットルームのような個別領域に関連付けられている。当該関連付けは、例えば、事前に共有された個別領域へのリンクURLに各ユーザがアクセスすることにより行われてもよいし、同一グループに参加しており、グループ内ビデオチャットへの参加により行われてもよいし、これらに限らず既知の方法により行われてもよい。
<Processing flow>
The processing flow of the information processing method executed by the information processing system 1 will be described with reference to the example of FIG. FIG. 9 is a flowchart showing an example of processing of the information processing system 1 of FIG. Prior to step S101, first the user of the user terminal device 200A-C is associated with an individual area such as a video chat room. The association may be performed, for example, by each user accessing a link URL to a previously shared individual area, or by participating in the same group and participating in a video chat within the group. It may be carried out by a known method which is not limited to these.

ステップS101の処理として、例えばユーザ端末装置200Aの表示領域50に表示された映像共有ボタンを押下するなどの共有開始操作を実行することにより、ユーザ端末装置200Aは、共有要求をサーバに送信する。そして、ステップS102の処理として、管理サーバ100にて映像共有権限をユーザ端末装置200Aのユーザに設定する。 As the process of step S101, the user terminal device 200A transmits the sharing request to the server by executing a sharing start operation such as pressing the video sharing button displayed in the display area 50 of the user terminal device 200A. Then, as the process of step S102, the management server 100 sets the video sharing authority to the user of the user terminal device 200A.

ステップS103の処理として、管理サーバ100は、映像共有権限を設定されたユーザのユーザ端末装置200Aから映像情報Aを受け付ける。なお、例えば、管理サーバ100により映像共有権限を設定した後に映像情報要求をユーザ端末装置200Aに送信してもよいし、共有要求と共に映像情報Aを先に受け付けてもよい。 As the process of step S103, the management server 100 receives the video information A from the user terminal device 200A of the user for whom the video sharing authority is set. For example, the video information request may be transmitted to the user terminal device 200A after the video sharing authority is set by the management server 100, or the video information A may be received first together with the sharing request.

ステップS104の処理として、管理サーバ100は、映像情報Aを他のユーザ端末装置200(例えば、ユーザ端末装置200B、200Cなど)へ共有する。これにより、ステップS105の処理として、複数のユーザ端末装置200(例えば、互いに関連付けられているユーザ端末装置200A−Cの全てや、そのうち映像表示許可設定をしているユーザ端末装置200など)において、同一の映像情報が表示される。 As the process of step S104, the management server 100 shares the video information A with other user terminal devices 200 (for example, user terminal devices 200B, 200C, etc.). As a result, as the process of step S105, in a plurality of user terminal devices 200 (for example, all of the user terminal devices 200A-C associated with each other, among them, the user terminal device 200 for which the video display permission setting is set, etc.) The same video information is displayed.

ステップS106の処理として、管理サーバ100は、例えばユーザ端末装置200Bから座標情報Bを受け付ける。 As the process of step S106, the management server 100 receives the coordinate information B from, for example, the user terminal device 200B.

ステップS107の処理として、管理サーバ100は、座標情報Bを他のユーザ端末装置200(例えば、ユーザ端末装置200A、200Cなど)へ共有する。これにより、ステップS108の処理として、複数のユーザ端末装置200(例えば、互いに関連付けられているユーザ端末装置200A−Cの全てや、そのうちポインタ表示許可設定をしているユーザ端末装置200など)において、同一のポインタ62が映像情報に重畳されて表示される。 As the process of step S107, the management server 100 shares the coordinate information B with other user terminal devices 200 (for example, user terminal devices 200A, 200C, etc.). As a result, as the process of step S108, in a plurality of user terminal devices 200 (for example, all of the user terminal devices 200A-C associated with each other, of which the user terminal device 200 for which the pointer display permission setting is set, etc.) The same pointer 62 is superimposed on the video information and displayed.

ステップS109の処理として、管理サーバ100は、例えばユーザ端末装置200Aから座標情報Aを受け付ける。 As the process of step S109, the management server 100 receives the coordinate information A from, for example, the user terminal device 200A.

ステップS110の処理として、管理サーバ100は、座標情報Aを他のユーザ端末装置200(例えば、ユーザ端末装置200B、200Cなど)へ共有する。これにより、ステップS111の処理として、複数のユーザ端末装置200において、同一のポインタ63が映像情報に重畳されて表示される。すなわち、同一の映像情報にポインタ62、63が重畳されて表示されている。なお、説明のため、各ユーザ端末装置200から順次座標情報を取得しているように例示しているが、各ユーザ端末装置200から座標情報が送信されたタイミングで他のユーザ端末装置200に共有される。 As the process of step S110, the management server 100 shares the coordinate information A with other user terminal devices 200 (for example, user terminal devices 200B, 200C, etc.). As a result, as the process of step S111, the same pointer 63 is superimposed and displayed on the video information in the plurality of user terminal devices 200. That is, the pointers 62 and 63 are superimposed and displayed on the same video information. For the sake of explanation, it is illustrated that the coordinate information is sequentially acquired from each user terminal device 200, but it is shared with other user terminal devices 200 at the timing when the coordinate information is transmitted from each user terminal device 200. Will be done.

<効果>
以上のように、本実施形態に係る情報処理システム等は、特に複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。
<Effect>
As described above, the information processing system or the like according to the present embodiment displays the same video information from a predetermined user terminal device among a plurality of user terminal devices, and obtains coordinate information from each user terminal device 200. By superimposing and displaying the based pointers, smooth communication between users becomes possible.

<実施形態2>
上述のグループ情報DB122においては、共有された映像情報を記憶されるように構成されているが、映像情報に加えて、座標情報及び当該座標情報に関連付けられたユーザ情報、ポインタ表示される時間情報などを併せて記憶するようにしてもよい。これらを参照することにより、各ユーザから共有された映像情報だけでなく、さらにポインタ表示も併せて事後的に確認が可能となる。これにより、事後的に映像情報を確認したユーザにおいても、ポインタによる細かい指示内容等が確認可能となる。
<Embodiment 2>
The group information DB 122 described above is configured to store shared video information, but in addition to the video information, coordinate information, user information associated with the coordinate information, and time information displayed as a pointer. Etc. may also be memorized. By referring to these, not only the video information shared by each user but also the pointer display can be confirmed after the fact. As a result, even a user who confirms the video information after the fact can confirm the detailed instruction contents by the pointer.

また、例えば、ビデオチャット中(特に映像共有中)の録画により取得された映像情報やスクリーンショット機能で取得された画像情報等のグループ内共有情報は、同一のグループ識別情報に関連付けられたグループ内のユーザ間でのみ共有されるようにデータ管理されてもよい。そして、当該グループ内共有情報は、グループ内のユーザによって外部出力が可能であってもよいし、その際に、グループ内のユーザの選択に基づき、選択されたグループ内共有情報について外部出力ができないように設定可能としてもよい。外部出力の方法は、ユーザ端末200へのダウンロードであってもよいし、ユーザ指定のメールアドレス等への外部ユーザへの直接的な送信であってもよいし、特定のグループ内共有情報を取得可能なリンク(例えばURL)を発行する形式であってもよい。さらに、本システムが提供するフォーマット、または、ユーザ任意のフォーマットによるレポート作成機能を備えていてもよく、当該レポート作成機能によるレポート作成の際に、ユーザはユーザにより入力されるテキスト情報に加えてグループ内共有情報を利用可能であってもよい。そして、作成されたレポートはグループ内共有情報の1つとして記憶されてもよいし、外部出力可能であってもよい。なお、グループ内共有情報の外部出力は、当該レポート作成機能を介して作成されるレポートによってのみ実行されるようにしてもよい。 Further, for example, the shared information within the group such as the video information acquired by recording during video chat (especially during video sharing) and the image information acquired by the screenshot function is within the group associated with the same group identification information. Data may be managed so that it is shared only among the users of. Then, the shared information in the group may be externally output by the users in the group, and at that time, the shared information in the selected group cannot be output externally based on the selection of the users in the group. It may be possible to set as. The method of external output may be download to the user terminal 200, direct transmission to an external user to a user-specified e-mail address, or the like, or acquisition of shared information within a specific group. It may be in the form of issuing a possible link (for example, URL). Furthermore, it may be provided with a report creation function in the format provided by this system or in a format of the user's choice, and when creating a report by the report creation function, the user is a group in addition to the text information input by the user. The shared information may be available. Then, the created report may be stored as one of the shared information in the group, or may be output to the outside. Note that the external output of the shared information within the group may be executed only by the report created through the report creation function.

<実施形態3>
実施形態1(または実施形態2)においては、単に共有された映像情報を表示しているが、所定の画像認識開始操作により、表示されている映像情報において画像認識機能が実行されてもよい。画像認識機能は、二次元コード(例えば二次元バーコード)の読み取り機能であってもよい。これにより、映像情報内の例えば二次元バーコードから設備の情報などの所定の情報を参照することが可能であってもよい。そのほか、画像認識機能は、例えばARマーカ(二次元コード)の読み取り機能であってもよい。これにより、映像情報内のARマーカに対応する設備情報を映像情報に重畳して表示してもよい。また、画像認識機能は、その他の既知の画像認識機能であってもよい。これらにより、ポインタのみならず、共通の設備情報等の情報を取得することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。
<Embodiment 3>
In the first embodiment (or the second embodiment), the shared video information is simply displayed, but the image recognition function may be executed in the displayed video information by a predetermined image recognition start operation. The image recognition function may be a function for reading a two-dimensional code (for example, a two-dimensional bar code). Thereby, it may be possible to refer to predetermined information such as equipment information from, for example, a two-dimensional bar code in the video information. In addition, the image recognition function may be, for example, an AR marker (two-dimensional code) reading function. As a result, the equipment information corresponding to the AR marker in the video information may be superimposed and displayed on the video information. Further, the image recognition function may be another known image recognition function. As a result, not only the pointer but also information such as common equipment information can be acquired, and smooth communication between users can be executed.

<実施形態4>
実施形態1−3においては特に言及されていないが、ユーザ端末装置200がスマートフォンのように映像情報を縦表示または横表示で切換可能である場合には、情報送受信部131は、映像情報に加えて、ユーザ端末装置200Aの縦横表示切替情報を受け付けてもよい。これにより、映像情報の縦横切替が発生した場合に、他のユーザ端末装置200においても映像情報の縦横切替を反映可能である。また、ユーザ端末装置200が、映像情報の共有中に、何れかのユーザ端末装置が他の画像共有要求を送信した場合には、何れのユーザ端末装置200においても当該画像共有の表示に強制的に切り替えられるようにしてもよい。これらにより、複数のユーザ端末装置200において同一の映像情報や画像情報を確認することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。
<Embodiment 4>
Although not particularly mentioned in the first to third embodiments, when the user terminal device 200 can switch the video information between vertical display and horizontal display like a smartphone, the information transmission / reception unit 131 adds to the video information. Alternatively, the vertical / horizontal display switching information of the user terminal device 200A may be accepted. As a result, when the vertical / horizontal switching of the video information occurs, the vertical / horizontal switching of the video information can be reflected in the other user terminal device 200. Further, when the user terminal device 200 transmits another image sharing request while the video information is being shared, any user terminal device 200 is forced to display the image sharing. It may be possible to switch to. As a result, the same video information and image information can be confirmed on the plurality of user terminal devices 200, and smooth communication between users can be executed.

<実施形態5>
実施形態1−4においては特に言及されていないが、各実施形態はビデオチャットとして、各ユーザ端末装置200からの音声情報がユーザ端末装置間で共有されるものであるが、音声情報によるコミュニケーションに加えて、テキスト情報をユーザ端末装置間で共有するテキスト情報共有部をさらに備えるようにしてもよい。すなわち、ユーザ端末装置の入出力部240により入力されたテキスト情報を管理サーバ100のテキスト情報共有部を介して他のユーザ端末装置において受け取り、ユーザ端末装置における表示領域50内のテキスト表示領域に既知のテキストチャットに関する技術に基づきテキスト情報を反映するようにしてもよい。さらに、テキスト情報の入力を容易にするために、既知の音声情報解析技術を用いて音声情報をテキスト化するモードを備え、当該モードにより生成されたテキスト情報を共有し、テキスト表示領域に表示するようにしてもよい。これらにより、複数のユーザ端末装置200において映像情報だけでなくテキスト情報を確認することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。
<Embodiment 5>
Although not particularly mentioned in Embodiments 1-4, each embodiment is a video chat in which voice information from each user terminal device 200 is shared between user terminal devices, but for communication by voice information. In addition, a text information sharing unit for sharing text information between user terminal devices may be further provided. That is, the text information input by the input / output unit 240 of the user terminal device is received by another user terminal device via the text information sharing unit of the management server 100, and is known to the text display area in the display area 50 of the user terminal device. Text information may be reflected based on the text chat technology of. Further, in order to facilitate the input of text information, a mode for converting voice information into text using known voice information analysis technology is provided, and the text information generated by the mode is shared and displayed in the text display area. You may do so. As a result, not only video information but also text information can be confirmed in a plurality of user terminal devices 200, and smooth communication between users can be executed.

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。 Although the embodiments related to the disclosure have been described above, these can be implemented in various other embodiments, and can be implemented by making various omissions, substitutions, and changes. These embodiments and modifications, as well as those omitted, replaced and modified, are included in the technical scope of the claims and the equivalent scope thereof.

1 情報処理システム
100 管理サーバ
200 ユーザ端末装置
NW ネットワーク
1 Information processing system 100 Management server 200 User terminal equipment NW network

Claims (20)

複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備え、
前記座標情報共有部は、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記第1のユーザ端末装置において前記映像情報の縦横切替が発生した場合に縦横表示切替情報をさらに受信し、前記第2のユーザ端末装置において前記映像情報の縦横表示を切り替える、
ことを特徴とする情報処理システム。
An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
A coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices is provided.
The coordinate information sharing unit, based on the coordinates for the pointer to be operated on a display area of the first and second user terminals, it makes it possible to simultaneously display the two pointers on the video information,
When the vertical / horizontal switching of the video information occurs in the first user terminal device, the vertical / horizontal display switching information is further received, and the vertical / horizontal display of the video information is switched in the second user terminal device.
An information processing system characterized by this.
複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備え、
前記座標情報共有部は、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記第1のユーザ端末装置からの映像情報を前記第2のユーザ端末装置に共有している際に、前記第2のユーザ端末装置から他の映像情報についての映像情報共有要求が送信された場合には、当該他の映像情報を共有するように強制的に切り替える制御をする、
ことを特徴とする情報処理システム。
An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
A coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices is provided.
The coordinate information sharing unit, based on the coordinates for the pointer to be operated on a display area of the first and second user terminals, it makes it possible to simultaneously display the two pointers on the video information,
When the video information from the first user terminal device is shared with the second user terminal device, and the video information sharing request for other video information is transmitted from the second user terminal device. Controls to forcibly switch to share the other video information.
An information processing system characterized by this.
複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備え、
前記座標情報共有部は、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする情報処理システム。
An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
A coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices is provided.
The coordinate information sharing unit, based on the coordinates for the pointer to be operated on a display area of the first and second user terminals, it makes it possible to simultaneously display the two pointers on the video information,
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
An information processing system characterized by this.
前記映像情報は、映像共有権限を設定された前記第1のユーザ端末装置からの前記映像情報である、
ことを特徴とする請求項1ないし3のいずれかに記載の情報処理システム。
The video information is the video information from the first user terminal device for which the video sharing authority is set.
The information processing system according to any one of claims 1 to 3, wherein the information processing system is characterized by the above.
前記映像情報は、前記座標情報と共に記憶部に記憶され、
何れかのユーザ端末装置において前記映像情報を読み出す際に、対応する前記座標情報も併せて読み出す、
ことを特徴とする請求項1ないし4のいずれかに記載の情報処理システム。
The video information is stored in the storage unit together with the coordinate information.
When the video information is read out in any of the user terminal devices, the corresponding coordinate information is also read out.
The information processing system according to any one of claims 1 to 4, wherein the information processing system is characterized by the above.
前記映像情報または前記画像情報は、ユーザの選択により外部出力を制限するように設定可能である、
ことを特徴とする請求項に記載の情報処理システム。
The video information or the image information can be set to limit external output at the user's option.
The information processing system according to claim 3 , wherein the information processing system is characterized by the above.
所定のフォーマットを用いたレポートを作成するレポート作成機能をさらに備え、
前記映像情報または前記画像情報は、前記レポートに利用可能である、
ことを特徴とする請求項またはのいずれかに記載の情報処理システム。
It also has a report creation function that creates a report using a predetermined format.
The video information or the image information is available for the report.
The information processing system according to claim 3 or 6.
前記映像情報または前記画像情報の外部出力は、前記レポート作成機能を介してのみ実行される、
ことを特徴とする請求項のいずれかに記載の情報処理システム。
The external output of the video information or the image information is executed only through the report creation function.
The information processing system according to any one of claims 7 , characterized in that.
前記映像情報は、前記ユーザ端末装置において画像認識される、
ことを特徴とする請求項1ないしのいずれかに記載の情報処理システム。
The video information is image-recognized by the user terminal device.
The information processing system according to any one of claims 1 to 8.
前記画像認識は、二次元コードに関する画像認識である、
ことを特徴とする請求項に記載の情報処理システム。
The image recognition is an image recognition related to a two-dimensional code.
The information processing system according to claim 9.
前記画像認識は、二次元バーコードに関する画像認識である、
ことを特徴とする請求項に記載の情報処理システム。
The image recognition is an image recognition related to a two-dimensional bar code.
The information processing system according to claim 9.
前記画像認識は、ARマーカに関する画像認識である、
ことを特徴とする請求項に記載の情報処理システム。
The image recognition is an image recognition related to an AR marker.
The information processing system according to claim 9.
前記第1及び第2のユーザ端末装置において生成されたテキスト情報を前記第1及び第2のユーザ端末装置に共有するテキスト情報共有部をさらに備える、
ことを特徴とする請求項1ないし1のいずれかに記載の情報処理システム。
A text information sharing unit that shares text information generated in the first and second user terminal devices with the first and second user terminal devices is further provided.
The information processing system according to any one of claims 1 to 1 2, characterized in that.
前記テキスト情報は、前記第1及び第2のユーザ端末装置により取得された音声情報に基づき生成されたテキスト情報である、
ことを特徴とする請求項1に記載の情報処理システム。
The text information is text information generated based on the voice information acquired by the first and second user terminal devices.
The information processing system according to claim 1 3, characterized in that.
複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記第1のユーザ端末装置において前記映像情報の縦横切替が発生した場合に縦横表示切替情報をさらに受信し、前記第2のユーザ端末装置において前記映像情報の縦横表示を切り替える、
ことを特徴とする情報処理方法。
An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the vertical / horizontal switching of the video information occurs in the first user terminal device, the vertical / horizontal display switching information is further received, and the vertical / horizontal display of the video information is switched in the second user terminal device.
An information processing method characterized by the fact that.
複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記第1のユーザ端末装置からの映像情報を前記第2のユーザ端末装置に共有している際に、前記第2のユーザ端末装置から他の映像情報についての映像情報共有要求が送信された場合には、当該他の映像情報を共有するように強制的に切り替える制御をする、
ことを特徴とする情報処理方法。
An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the video information from the first user terminal device is shared with the second user terminal device, and the video information sharing request for other video information is transmitted from the second user terminal device. Controls to forcibly switch to share the other video information.
An information processing method characterized by the fact that.
複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする情報処理方法。
An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
An information processing method characterized by the fact that.
複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記第1のユーザ端末装置において前記映像情報の縦横切替が発生した場合に縦横表示切替情報をさらに受信し、前記第2のユーザ端末装置において前記映像情報の縦横表示を切り替える、
ことを特徴とするプログラム。
A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the vertical / horizontal switching of the video information occurs in the first user terminal device, the vertical / horizontal display switching information is further received, and the vertical / horizontal display of the video information is switched in the second user terminal device.
A program characterized by that.
複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記第1のユーザ端末装置からの映像情報を前記第2のユーザ端末装置に共有している際に、前記第2のユーザ端末装置から他の映像情報についての映像情報共有要求が送信された場合には、当該他の映像情報を共有するように強制的に切り替える制御をする、
ことを特徴とするプログラム。
A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the video information from the first user terminal device is shared with the second user terminal device, and the video information sharing request for other video information is transmitted from the second user terminal device. Controls to forcibly switch to share the other video information.
A program characterized by that.
複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能と
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とするプログラム。
A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
A program characterized by that.
JP2021075173A 2021-04-27 2021-04-27 Information processing system, information processing method and program Active JP6945905B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021075173A JP6945905B1 (en) 2021-04-27 2021-04-27 Information processing system, information processing method and program
JP2021146338A JP7115790B1 (en) 2021-04-27 2021-09-08 Information processing system, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021075173A JP6945905B1 (en) 2021-04-27 2021-04-27 Information processing system, information processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021146338A Division JP7115790B1 (en) 2021-04-27 2021-09-08 Information processing system, information processing method and program

Publications (2)

Publication Number Publication Date
JP6945905B1 true JP6945905B1 (en) 2021-10-06
JP2022169251A JP2022169251A (en) 2022-11-09

Family

ID=77915186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021075173A Active JP6945905B1 (en) 2021-04-27 2021-04-27 Information processing system, information processing method and program

Country Status (1)

Country Link
JP (1) JP6945905B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177849A (en) * 1999-12-15 2001-06-29 Mitsubishi Electric Corp Three-dimensional image generating system and three- dimensional image generator
JP2015135641A (en) * 2014-01-20 2015-07-27 Kddi株式会社 Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program
JP2016116043A (en) * 2014-12-12 2016-06-23 Kddi株式会社 Information processing system, information processing apparatus, and information processing method
WO2017042984A1 (en) * 2015-09-07 2017-03-16 株式会社オプティム Screen sharing device, screen sharing method, screen sharing system, and program therefor
JP2017091536A (en) * 2015-11-10 2017-05-25 株式会社リコー Electronic conference system
JP2017091226A (en) * 2015-11-10 2017-05-25 株式会社オプティム Screen sharing system and screen sharing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177849A (en) * 1999-12-15 2001-06-29 Mitsubishi Electric Corp Three-dimensional image generating system and three- dimensional image generator
JP2015135641A (en) * 2014-01-20 2015-07-27 Kddi株式会社 Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program
JP2016116043A (en) * 2014-12-12 2016-06-23 Kddi株式会社 Information processing system, information processing apparatus, and information processing method
WO2017042984A1 (en) * 2015-09-07 2017-03-16 株式会社オプティム Screen sharing device, screen sharing method, screen sharing system, and program therefor
JP2017091536A (en) * 2015-11-10 2017-05-25 株式会社リコー Electronic conference system
JP2017091226A (en) * 2015-11-10 2017-05-25 株式会社オプティム Screen sharing system and screen sharing method

Also Published As

Publication number Publication date
JP2022169251A (en) 2022-11-09

Similar Documents

Publication Publication Date Title
CN105190617B (en) Cooperative system with the blank access to global collaboration data
US7360163B2 (en) Work space formation apparatus
JP6945211B2 (en) Communication support devices, methods, and computer programs
US10972879B2 (en) Communication terminal, communication method, computer readable recording medium having communication program recorded, and network system
CN109644154A (en) For the location-based access control of artificial dialogue entity
KR100611255B1 (en) Remote conference method of sharing work space
WO2013145392A1 (en) Data processing system, control method therefor, program and information storage medium
CN101373480B (en) Method and system based on GIS electronic map interactive operation
JP6945905B1 (en) Information processing system, information processing method and program
JP7115790B1 (en) Information processing system, information processing method and program
JP2022169499A (en) Information processing system, information processing method and program
JP2004120284A (en) Image sharing system, image sharing method, image display equipment, information terminal equipment, and image sharing program
JP5395028B2 (en) Mobile terminal conference system and method
CN114884914A (en) Application program same-screen communication method and system
JP2008146584A (en) Application sharing screen controller, application sharing screen control program, and communication terminal device
CN104410670A (en) Auxiliary communication method capable of sharing self screen general situation and mouse position on real time interaction communication platform
JP2002324037A (en) Coordinated display program
JP7362177B1 (en) Information processing system, information processing method and program
EP1843538B1 (en) Method for conference setup between mobile terminals for a shared whiteboard session
JP2007336112A (en) Remote lecture system and server apparatus, and remote lecture method used for these
KR20160081002A (en) Screen sharing system and method thereof
US11489890B2 (en) Computer-implemented method of sharing a screen, media server, and application for controlling a real-time communication and collaboration session
JP6538949B1 (en) Program, information processing method, and information processing system
CN108898646B (en) Office area display method and terminal equipment
JP2018046443A (en) Information terminal, electronic information board, and program

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210701

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210908

R150 Certificate of patent or registration of utility model

Ref document number: 6945905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250