JP6945905B1 - Information processing system, information processing method and program - Google Patents
Information processing system, information processing method and program Download PDFInfo
- Publication number
- JP6945905B1 JP6945905B1 JP2021075173A JP2021075173A JP6945905B1 JP 6945905 B1 JP6945905 B1 JP 6945905B1 JP 2021075173 A JP2021075173 A JP 2021075173A JP 2021075173 A JP2021075173 A JP 2021075173A JP 6945905 B1 JP6945905 B1 JP 6945905B1
- Authority
- JP
- Japan
- Prior art keywords
- user terminal
- information
- terminal device
- sharing
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims description 20
- 239000003550 marker Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】本情報処理システム等により、特に複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。【解決手段】本情報処理システムは、複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備える。【選択図】図7PROBLEM TO BE SOLVED: To superimpose a pointer based on coordinate information from each user terminal device 200 while displaying the same video information from a predetermined user terminal device among a plurality of user terminal devices by the information processing system or the like. By displaying it, smooth communication between users becomes possible. An information processing system is an information processing system that transmits and receives various types of information between a plurality of user terminal devices, receives video information captured by a photographing unit of the first user terminal device, and is described above. The video information sharing unit shared by the first user terminal device and the second user terminal device and the coordinate information regarding the pointer operated on the display area of the first and second user terminal devices are received, and the first It includes a coordinate information sharing unit shared by the first and second user terminal devices. [Selection diagram] FIG. 7
Description
本開示は、情報処理システム、情報処理方法及びプログラムに関する。 The present disclosure relates to information processing systems, information processing methods and programs.
従来から、例えば建設現場の作業者が現場で取得した情報(例えば撮影画像など)を他のユーザ(例えば当日現場にいなかった他の作業者や本社の管理者など)に共有する技術が知られている。 Conventionally, for example, the technology of sharing information (for example, captured images) acquired by a construction site worker with other users (for example, other workers who were not at the site on the day or the manager of the head office) has been known. Has been done.
このような技術としては、例えば、特許文献1に示されるように、AR空間にマーク画像と共に情報を関連付けて記憶し、それを事後的に他のユーザが確認可能な技術が知られている(例えば、特許文献1参照。)。
As such a technique, for example, as shown in
しかしながら、上記特許文献1に示される技術ではリアルタイム性が損なわれており、現場の作業者が確認したい内容や遠隔地にいる他のユーザが確認した内容を即座に伝えることが難しい。
However, in the technique shown in
また、近年ビデオチャットが普及しており、これによってリアルタイムに現場の状況を共有することも可能であるが、例えば作業者から遠い場所であったり、物が大量にある場所であったりする場合に、互いにビデオチャット越しに特定の位置を指し示すことが難しく、ユーザ間の指示や説明が不明確となり、円滑にコミュニケーションが取れない場合がある。 In addition, video chat has become widespread in recent years, and it is possible to share the situation at the site in real time. However, for example, when the location is far from the worker or where there are a large number of objects. , It is difficult to point to a specific position through video chat with each other, instructions and explanations between users become unclear, and communication may not be smooth.
そこで、本開示では、複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる情報処理システム、情報処理方法及びプログラムについて説明する。 Therefore, in the present disclosure, the same video information from a predetermined user terminal device among a plurality of user terminal devices is displayed, and pointers based on the coordinate information from each user terminal device 200 are superimposed and displayed. An information processing system, an information processing method, and a program that enable smooth communication between users will be described.
本開示の一態様における情報処理システムは、複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備える。
The information processing system in one aspect of the present disclosure is an information processing system that transmits and receives various information between a plurality of user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
It includes a coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares it with the first and second user terminal devices.
本開示によれば、複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。 According to the present disclosure, while displaying the same video information from a predetermined user terminal device among a plurality of user terminal devices, pointers based on coordinate information from each user terminal device 200 are superimposed and displayed. Smooth communication between users is possible.
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。 The contents of the embodiments of the present invention will be described in a list. The information processing system or the like according to the embodiment of the present invention has the following configurations.
[項目1]
複数のユーザ端末装置間で各種情報を送受信する情報処理システムであって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備える、
ことを特徴とする情報処理システム。
[項目2]
縦横表示切替情報をさらに共有し、前記映像情報の縦横表示の切り替えに対応可能である、
ことを特徴とする項目1に記載の情報処理システム。
[項目3]
前記複数のユーザ端末装置のいずれかにおいて、他の画像情報共有要求が送信された場合には、当該他の画像情報を何れのユーザ端末装置においても強制的に切り替えるように制御する、
ことを特徴とする項目1また2のいずれかに記載の情報処理システム。
[項目4]
前記映像情報は、映像共有権限を設定された前記第1のユーザ端末装置からの前記映像情報である、
ことを特徴とする項目1ないし3のいずれかに記載の情報処理システム。
[項目5]
前記映像情報は、前記座標情報と共に記憶部に記憶される、
ことを特徴とする項目1ないし4のいずれかに記載の情報処理システム。
[項目6]
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする項目1ないし5のいずれかに記載の情報処理システム。
[項目7]
前記映像情報または前記画像情報は、ユーザの選択により外部出力を制限するように設定可能である、
ことを特徴とする項目6に記載の情報処理システム。
[項目8]
所定のフォーマットを用いたレポートを作成するレポート作成機能をさらに備え、
前記映像情報または前記画像情報は、前記レポートに利用可能である、
ことを特徴とする項目6または7のいずれかに記載の情報処理システム。
[項目9]
前記映像情報または前記画像情報の外部出力は、前記レポート作成機能を介してのみ実行される、
ことを特徴とする項目8のいずれかに記載の情報処理システム。
[項目10]
前記映像情報は、前記ユーザ端末装置において画像認識される、
ことを特徴とする項目1ないし9のいずれかに記載の情報処理システム。
[項目11]
前記画像認識は、二次元コードに関する画像認識である、
ことを特徴とする項目10に記載の情報処理システム。
[項目12]
前記画像認識は、二次元バーコードに関する画像認識である、
ことを特徴とする項目11に記載の情報処理システム。
[項目13]
前記画像認識は、ARマーカに関する画像認識である、
ことを特徴とする項目11に記載の情報処理システム。
[項目14]
前記第1及び第2のユーザ端末装置において生成されたテキスト情報を前記第1及び第2のユーザ端末装置に共有するテキスト情報共有部をさらに備える、
ことを特徴とする項目1ないし13のいずれかに記載の情報処理システム。
[項目15]
前記テキスト情報は、前記第1及び第2のユーザ端末装置により取得された音声情報に基づき生成されたテキスト情報である、
ことを特徴とする項目14に記載の情報処理システム。
[項目16]
複数のユーザ端末装置間で各種情報を送受信する情報処理方法であって、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含む、
ことを特徴とする情報処理方法。
[項目17]
複数のユーザ端末装置間で各種情報を送受信する情報処理方法をコンピュータに実行させるプログラムであって、
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報を受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含む、
ことを特徴とするプログラム。
[Item 1]
An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
It includes a coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices.
An information processing system characterized by this.
[Item 2]
It is possible to further share the vertical / horizontal display switching information and switch the vertical / horizontal display of the video information.
The information processing system according to
[Item 3]
When another image information sharing request is transmitted in any of the plurality of user terminal devices, the other user terminal devices are controlled to forcibly switch the other image information.
The information processing system according to any one of
[Item 4]
The video information is the video information from the first user terminal device for which the video sharing authority is set.
The information processing system according to any one of
[Item 5]
The video information is stored in the storage unit together with the coordinate information.
The information processing system according to any one of
[Item 6]
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
The information processing system according to any one of
[Item 7]
The video information or the image information can be set to limit external output at the user's option.
The information processing system according to item 6, wherein the information processing system is characterized by the above.
[Item 8]
It also has a report creation function that creates a report using a predetermined format.
The video information or the image information is available for the report.
The information processing system according to any one of items 6 or 7, wherein the information processing system is characterized by the above.
[Item 9]
The external output of the video information or the image information is executed only through the report creation function.
The information processing system according to any one of item 8, wherein the information processing system is characterized by the above.
[Item 10]
The video information is image-recognized by the user terminal device.
The information processing system according to any one of
[Item 11]
The image recognition is an image recognition related to a two-dimensional code.
Item 10. The information processing system according to Item 10.
[Item 12]
The image recognition is an image recognition related to a two-dimensional bar code.
The information processing system according to item 11, wherein the information processing system is characterized in that.
[Item 13]
The image recognition is an image recognition related to an AR marker.
The information processing system according to item 11, wherein the information processing system is characterized in that.
[Item 14]
A text information sharing unit that shares text information generated in the first and second user terminal devices with the first and second user terminal devices is further provided.
The information processing system according to any one of
[Item 15]
The text information is text information generated based on the voice information acquired by the first and second user terminal devices.
The information processing system according to item 14, wherein the information processing system is characterized in that.
[Item 16]
An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
The step includes receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices.
An information processing method characterized by the fact that.
[Item 17]
A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
The step includes receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices.
A program characterized by that.
以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. The embodiments described below do not unreasonably limit the contents of the present disclosure described in the claims. Also, not all of the components shown in the embodiments are essential components of the present disclosure. In addition, the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.
<実施形態1>
<構成>
図1は、本開示の実施形態1に係る情報処理システム1を示すブロック構成図である。この情報処理システム1は、例えば、ネットワークNWを介して、複数のユーザ端末装置200間で双方向に情報を送受信する情報システムであって、第1のユーザ端末装置200Aの撮影部において撮影された映像情報を第1−3のユーザ端末装置200A−Cで共有し、第1−3のユーザ端末装置A−Cの表示領域上で移動操作されたポインタに関する表示領域上の座標情報を第1−3のユーザ端末装置A−Cに共有する情報処理システムである。なお、例示として3つのユーザ端末装置を示しているが、これに限らず、2つのユーザ端末装置間の情報システムでもよいし、4つ以上のユーザ端末装置間の情報システムでもよい。また、例示として3つのユーザ端末装置のアイコンを異ならせているが、これに限らず、第1−3のユーザ端末装置200A−Cの少なくともいずれかが同じ種別のデバイスであってもよい。
<
<Structure>
FIG. 1 is a block configuration diagram showing an
情報処理システム1は、管理サーバ100と、複数のユーザ端末装置200A−C(以下、ユーザ端末装置200と称する場合もある)と、ネットワークNWと、を有している。管理サーバ100と、ユーザ端末装置200とは、ネットワークNWを介して接続される。ネットワークNWは、インターネット、イントラネット、ブロックチェーンネットワーク、無線LAN(Local Area Network)やWAN(Wide Area Network)、BLE(Bluetooth Low Energy)等により構成される。
The
管理サーバ100は、例えば、ネットワークを介してユーザ端末装置200にネットワークサービスを提供するサーバ装置である。詳細については後述する。 The management server 100 is, for example, a server device that provides a network service to the user terminal device 200 via a network. Details will be described later.
ユーザ端末装置200は、各ユーザが所持する、例えばパーソナルコンピュータやタブレット端末、スマートフォン、携帯電話、PHS、PDA等の情報処理装置である。 The user terminal device 200 is an information processing device owned by each user, such as a personal computer, a tablet terminal, a smartphone, a mobile phone, a PHS, or a PDA.
<管理サーバ100>
図2は、管理サーバ100のハードウェア構成を示す図である。図3は、記憶部120および制御部130の機能を例示したブロック図である。管理サーバ100は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<Management server 100>
FIG. 2 is a diagram showing a hardware configuration of the management server 100. FIG. 3 is a block diagram illustrating the functions of the storage unit 120 and the control unit 130. The management server 100 may be a general-purpose computer such as a personal computer, or may be logically realized by cloud computing. The illustrated configuration is an example, and may have other configurations.
管理サーバ100は、通信部110と、記憶部120と、制御部130と、入出力部140とを備える。これらの機能部は、管理サーバ100用の所定のプログラムを実行することにより実現される。 The management server 100 includes a communication unit 110, a storage unit 120, a control unit 130, and an input / output unit 140. These functional units are realized by executing a predetermined program for the management server 100.
通信部110は、ユーザ端末装置200と通信を行うための通信インタフェースであり、例えばTCP/IP(Transmission Control Protocol/Internet Protocol)等の通信規約により通信が行われる。 The communication unit 110 is a communication interface for communicating with the user terminal device 200, and communication is performed according to a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
記憶部120は、各種制御処理や制御部130内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。また、図3に示されるように、記憶部120は、ネットワークサービスを利用するにあたり事前に登録されたユーザ情報をユーザ識別情報に関連付けて記憶するユーザ情報DB121と、ユーザが作成したグループに関するグループ情報をグループ識別情報に関連付けて記憶するグループ情報DB122を含む。さらに、記憶部120は、ユーザ端末装置200と通信を行ったデータを一時的に記憶する。 The storage unit 120 stores programs for executing various control processes and each function in the control unit 130, input data, and the like, and is composed of a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. NS. Further, as shown in FIG. 3, the storage unit 120 stores the user information DB 121 that stores the user information registered in advance in association with the user identification information when using the network service, and the group information about the group created by the user. Is included in the group information DB 122 which stores the information in association with the group identification information. Further, the storage unit 120 temporarily stores the data that has communicated with the user terminal device 200.
ユーザ情報は、例えば、ユーザ名情報、メールアドレス、所属情報、参加グループ情報(例えばグループ識別情報等)などが含まれるが、これに限定されない。 The user information includes, but is not limited to, for example, user name information, e-mail address, affiliation information, participating group information (for example, group identification information, etc.).
グループ情報は、例えば、グループ名情報、グループ画像情報、参加ユーザ情報(例えばユーザ識別情報等)、グループ内共有情報(例えば、映像情報や画像情報等)などが含まれるが、これに限定されない。 Group information includes, but is not limited to, for example, group name information, group image information, participating user information (for example, user identification information, etc.), group shared information (for example, video information, image information, etc.), and the like.
制御部130は、管理サーバ100の全体の動作を制御するものであり、CPU(Central Processing Unit)等から構成される。また、図3に示されるように、制御部130は、情報受付部131、映像情報共有部132、座標情報共有部133、といった機能部を含む。 The control unit 130 controls the overall operation of the management server 100, and is composed of a CPU (Central Processing Unit) and the like. Further, as shown in FIG. 3, the control unit 130 includes functional units such as an information receiving unit 131, a video information sharing unit 132, and a coordinate information sharing unit 133.
情報送受信部131は、各ユーザ端末装置200から各種情報や要求を受け付け、各ユーザ端末装置200へ各種情報や要求を送信する。各種情報とは、特にユーザ端末装置200の撮影部により撮影される映像情報や、ユーザ端末装置200の表示領域上で移動操作されているポインタに関する当該表示領域上の座標情報(詳細については後述する)を含むが、これらに限定されるものではなく、例えば映像情報や座標情報と併せて、ユーザ端末装置200のユーザを特定するためのユーザ識別情報(例えば、利用登録により発行されるユーザアカウント等)や、各情報に関連付けられた時間情報(例えば各種情報を生成または記憶した際の時間情報(適宜日付情報も含む)等)などを受け付けてもよい。 The information transmission / reception unit 131 receives various information and requests from each user terminal device 200, and transmits various information and requests to each user terminal device 200. The various types of information include video information captured by the photographing unit of the user terminal device 200 and coordinate information on the display area regarding a pointer being moved on the display area of the user terminal device 200 (details will be described later). ), But is not limited to these, for example, user identification information for identifying a user of the user terminal device 200 (for example, a user account issued by user registration, etc.) together with video information and coordinate information. ), Time information associated with each information (for example, time information when various information is generated or stored (including date information as appropriate), etc.) may be accepted.
映像情報共有部132は、各ユーザ端末装置200のうちの映像共有権限が設定されているユーザのユーザ端末装置200(例えばユーザ端末装置200A)から情報受付部131により受け付けた映像情報を他のユーザ端末装置200(例えば、ユーザ端末装置200B、Cなど)に共有するように送信する。映像共有権限は、例えばユーザ端末装置200Aの表示領域に表示された共有ボタンを押下するなどの共有開始操作を実行することにより共有要求をサーバに送信することで、管理サーバ100にて映像共有権限をユーザ端末装置200Aのユーザに設定してもよいし、予め映像共有権限が所定のユーザに設定されていてもよい。 The video information sharing unit 132 receives video information received by the information receiving unit 131 from the user terminal device 200 (for example, the user terminal device 200A) of the user for which the video sharing authority is set among the user terminal devices 200, to another user. It is transmitted so as to be shared with the terminal device 200 (for example, the user terminal device 200B, C, etc.). The video sharing authority is the video sharing authority on the management server 100 by sending a sharing request to the server by executing a sharing start operation such as pressing the sharing button displayed in the display area of the user terminal device 200A. May be set to the user of the user terminal device 200A, or the video sharing authority may be set to a predetermined user in advance.
座標情報共有部133は、各ユーザ端末装置200から情報受付部131により受け付けた座標情報を他のユーザ端末装置200に共有するように送信する。ここで、映像情報共有部132とは異なり、共有権限を伴わずに互いに座標情報が受け付けられて共有される。映像情報はデータもサイズが大きいことから単方向での共有であるのに対し、座標情報というデータサイズが小さい情報を用いることでリアルタイムに双方向での共有が可能となり、複数のユーザ端末装置200によるポインタ表示(詳細は後述する)を同時に表示することが可能となる。 The coordinate information sharing unit 133 transmits the coordinate information received by the information receiving unit 131 from each user terminal device 200 so as to be shared with other user terminal devices 200. Here, unlike the video information sharing unit 132, the coordinate information is received and shared with each other without the sharing authority. Video information is shared in one direction because the data is also large in size, whereas it is possible to share in both directions in real time by using information with a small data size called coordinate information, and a plurality of user terminal devices 200. It is possible to display the pointer display (details will be described later) at the same time.
入出力部140は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。なお、クラウドサーバーにより構築されている場合にはこの限りではない。 The input / output unit 140 is an information input device such as a keyboard and a mouse, and an output device such as a display. This does not apply if it is built by a cloud server.
<ユーザ端末装置200>
図4は、ユーザ端末装置200のハードウェア構成を示す図である。図5は、制御部230の機能を例示したブロック図である。ユーザ端末装置200の主なハードウェア構成については、例えば通信部210と、記憶部220と、制御部230と、入出力部240とを備え、管理サーバ100と同様の部分については説明を省略する。これらの機能部は、ユーザ端末装置200用の所定のプログラムやアプリケーションを実行することにより実現される。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<User terminal device 200>
FIG. 4 is a diagram showing a hardware configuration of the user terminal device 200. FIG. 5 is a block diagram illustrating the function of the control unit 230. Regarding the main hardware configuration of the user terminal device 200, for example, a communication unit 210, a storage unit 220, a control unit 230, and an input / output unit 240 are provided, and the same parts as the management server 100 will not be described. .. These functional units are realized by executing a predetermined program or application for the user terminal device 200. The illustrated configuration is an example, and may have other configurations.
ユーザ端末装置200は、例えばパーソナルコンピュータやタブレット端末、スマートフォン、携帯電話、PHS、PDA等の情報処理装置であってもよく、入出力部240は、例えばユーザ端末装置200がパーソナルコンピュータで構成されている場合は情報出力機器(例えばディスプレイ)と情報入力機器(例えばキーボードやマウス)により構成され、スマートフォンまたはタブレット端末で構成されている場合はタッチパネル等の情報入出力機器により構成されている。また、入出力部240は、撮影部や音声取得部(例えばマイク)を含み、画像情報や映像情報(音声情報を含む)、音声情報を撮影部や音声取得部により取得する。 The user terminal device 200 may be an information processing device such as a personal computer, a tablet terminal, a smartphone, a mobile phone, a PHS, or a PDA. In the input / output unit 240, for example, the user terminal device 200 is composed of a personal computer. If so, it is composed of an information output device (for example, a display) and an information input device (for example, a keyboard or mouse), and if it is composed of a smartphone or a tablet terminal, it is composed of an information input / output device such as a touch panel. Further, the input / output unit 240 includes a photographing unit and an audio acquisition unit (for example, a microphone), and acquires image information, video information (including audio information), and audio information by the photographing unit and the audio acquisition unit.
制御部230は、ユーザ端末装置200の全体の動作を制御するものであり、CPU(Central Processing Unit)等から構成される。また、図5に示されるように、制御部230は、情報送受信部231、リクエスト生成部232、表示生成部233といった機能部を含む。表示生成部233は、座標情報取得部234と、ポインタ表示部235とを含む。 The control unit 230 controls the overall operation of the user terminal device 200, and is composed of a CPU (Central Processing Unit) and the like. Further, as shown in FIG. 5, the control unit 230 includes functional units such as an information transmission / reception unit 231, a request generation unit 232, and a display generation unit 233. The display generation unit 233 includes a coordinate information acquisition unit 234 and a pointer display unit 235.
情報送受信部231は、管理サーバ100から各種情報や要求を受け付け、管理サーバへ各種情報や要求を送信する。各種情報とは、特に映像情報や座標情報を含むが、これらに限定されるものではない。 The information transmission / reception unit 231 receives various information and requests from the management server 100, and transmits various information and requests to the management server. The various types of information include, but are not limited to, video information and coordinate information.
リクエスト生成部232は、ユーザ端末装置200から種々のリクエスト(要求)を生成して、例えば管理サーバ100へ送信する。リクエストは、例えば、映像共有要求などであり、ユーザ端末装置200上でのユーザ操作に応じて各要求が管理サーバ100へ送信される。 The request generation unit 232 generates various requests (requests) from the user terminal device 200 and transmits them to, for example, the management server 100. The request is, for example, a video sharing request, and each request is transmitted to the management server 100 in response to a user operation on the user terminal device 200.
表示生成部233は、ユーザ端末装置200の記憶部220に記憶された所定の画面表示規則情報(例えばレイアウト情報等)に基づき、管理サーバ100から受信した映像情報や座標情報に基づくポインタをユーザ端末装置200の入出力部240の表示装置に表示される表示領域50における表示を生成する。なお、表示生成部233は、ユーザ端末装置200の機能部ではなく、管理サーバ100の機能部として構成され、各情報はユーザ端末装置200において受信せず、管理サーバ100内で生成された表示画像を受け取るようにしてもよい。
The display generation unit 233 uses the user terminal to set a pointer based on the video information and the coordinate information received from the management server 100 based on the predetermined screen display rule information (for example, layout information) stored in the storage unit 220 of the user terminal device 200. Generates a display in the
座標情報取得部234は、入出力部240による入力操作(例えば、タッチパネルに対するタッチ操作やマウスによるクリックを保持したままの移動操作)により指定されている表示領域50上の座標情報を取得する。図6には、表示領域50内の座標(x,y)(この場合、表示領域50の左上角部を原点座標とする)に対する座標情報の取得を例示している。映像領域51は、例えば表示領域50に対してx軸方向またはy軸方向の少なくともいずれかにおいて所定のオフセット長さが設定されて表示されていてもよく、図6においては、表示領域50の上端からy軸方向においてオフセット長さdyが設定されて表示されている。当該オフセット量の設定方法は、例えば、表示領域50の画面サイズと、アスペクト比を考慮した際の映像情報のビデオサイズに基づき、差分をx軸方向y軸方向の両端部に等分して振り分けるようにしてもよいし、単にそれぞれ固定値を設定しておいてもよい。
The coordinate information acquisition unit 234 acquires the coordinate information on the
ここで、ユーザ端末200ごとに表示領域50内の絶対座標が映像領域51に対して必ずしも同じではないことを踏まえ、本発明においては、例えば映像領域51の左上角部を原点として映像領域51の幅及び高さの長さと同一である位置(例えば、映像領域51の右上角部の位置と左下角部の位置)をそれぞれ1とした時の映像領域51内における座標(x,y−dy)位置の割合を座標情報として算出している。図6においては、例えば、映像領域51の幅X高さYに対して、座標52についてのx軸方向y軸方向における位置の割合は(x/X(例えば0.3), y−dy/Y(例えば、0.7))といった座標情報が算出及び取得される。
Here, based on the fact that the absolute coordinates in the
ポインタ表示部235は、映像領域51内の座標情報及び映像領域の幅情報及び高さ情報から算出される位置にポインタを表示する。例えば、図7においては、座標52に対応する位置にポインタ62が表示されている。また、図8においては、例えば、ユーザ端末装置200がパーソナルコンピュータで構成されている場合の表示例であり、ポインタ62は、例えば(0.3X’,0.7Y’)の位置に表示されている。さらに、ポインタ表示部235は、各ユーザ61のユーザ情報も関連付けることで、ポインタ62及びポインタ63をユーザごとに区別可能に表示するようにしてもよく、例えばポインタの色や形状、模様、大きさなどが各ユーザ61で異なるようにしてもよい。なお、図7及び8においては、ポインタ62及び63が同時に表示されているが、これに限らず、先に表示したポインタのみが表示されるように制御されてもよいし、後から取得された座標情報に基づくポインタのみが表示されるように制御されてもよい。
The pointer display unit 235 displays the pointer at a position calculated from the coordinate information in the
<処理の流れ>
図9の例示を参照しながら、情報処理システム1が実行する情報処理方法の処理の流れについて説明する。図9は、図1の情報処理システム1の処理の例を示すフローチャートである。ステップS101の前に、まずユーザ端末装置200A−Cのユーザは、ビデオチャットルームのような個別領域に関連付けられている。当該関連付けは、例えば、事前に共有された個別領域へのリンクURLに各ユーザがアクセスすることにより行われてもよいし、同一グループに参加しており、グループ内ビデオチャットへの参加により行われてもよいし、これらに限らず既知の方法により行われてもよい。
<Processing flow>
The processing flow of the information processing method executed by the
ステップS101の処理として、例えばユーザ端末装置200Aの表示領域50に表示された映像共有ボタンを押下するなどの共有開始操作を実行することにより、ユーザ端末装置200Aは、共有要求をサーバに送信する。そして、ステップS102の処理として、管理サーバ100にて映像共有権限をユーザ端末装置200Aのユーザに設定する。
As the process of step S101, the user terminal device 200A transmits the sharing request to the server by executing a sharing start operation such as pressing the video sharing button displayed in the
ステップS103の処理として、管理サーバ100は、映像共有権限を設定されたユーザのユーザ端末装置200Aから映像情報Aを受け付ける。なお、例えば、管理サーバ100により映像共有権限を設定した後に映像情報要求をユーザ端末装置200Aに送信してもよいし、共有要求と共に映像情報Aを先に受け付けてもよい。 As the process of step S103, the management server 100 receives the video information A from the user terminal device 200A of the user for whom the video sharing authority is set. For example, the video information request may be transmitted to the user terminal device 200A after the video sharing authority is set by the management server 100, or the video information A may be received first together with the sharing request.
ステップS104の処理として、管理サーバ100は、映像情報Aを他のユーザ端末装置200(例えば、ユーザ端末装置200B、200Cなど)へ共有する。これにより、ステップS105の処理として、複数のユーザ端末装置200(例えば、互いに関連付けられているユーザ端末装置200A−Cの全てや、そのうち映像表示許可設定をしているユーザ端末装置200など)において、同一の映像情報が表示される。 As the process of step S104, the management server 100 shares the video information A with other user terminal devices 200 (for example, user terminal devices 200B, 200C, etc.). As a result, as the process of step S105, in a plurality of user terminal devices 200 (for example, all of the user terminal devices 200A-C associated with each other, among them, the user terminal device 200 for which the video display permission setting is set, etc.) The same video information is displayed.
ステップS106の処理として、管理サーバ100は、例えばユーザ端末装置200Bから座標情報Bを受け付ける。 As the process of step S106, the management server 100 receives the coordinate information B from, for example, the user terminal device 200B.
ステップS107の処理として、管理サーバ100は、座標情報Bを他のユーザ端末装置200(例えば、ユーザ端末装置200A、200Cなど)へ共有する。これにより、ステップS108の処理として、複数のユーザ端末装置200(例えば、互いに関連付けられているユーザ端末装置200A−Cの全てや、そのうちポインタ表示許可設定をしているユーザ端末装置200など)において、同一のポインタ62が映像情報に重畳されて表示される。
As the process of step S107, the management server 100 shares the coordinate information B with other user terminal devices 200 (for example, user terminal devices 200A, 200C, etc.). As a result, as the process of step S108, in a plurality of user terminal devices 200 (for example, all of the user terminal devices 200A-C associated with each other, of which the user terminal device 200 for which the pointer display permission setting is set, etc.) The
ステップS109の処理として、管理サーバ100は、例えばユーザ端末装置200Aから座標情報Aを受け付ける。 As the process of step S109, the management server 100 receives the coordinate information A from, for example, the user terminal device 200A.
ステップS110の処理として、管理サーバ100は、座標情報Aを他のユーザ端末装置200(例えば、ユーザ端末装置200B、200Cなど)へ共有する。これにより、ステップS111の処理として、複数のユーザ端末装置200において、同一のポインタ63が映像情報に重畳されて表示される。すなわち、同一の映像情報にポインタ62、63が重畳されて表示されている。なお、説明のため、各ユーザ端末装置200から順次座標情報を取得しているように例示しているが、各ユーザ端末装置200から座標情報が送信されたタイミングで他のユーザ端末装置200に共有される。
As the process of step S110, the management server 100 shares the coordinate information A with other user terminal devices 200 (for example, user terminal devices 200B, 200C, etc.). As a result, as the process of step S111, the
<効果>
以上のように、本実施形態に係る情報処理システム等は、特に複数のユーザ端末装置のうち所定のユーザ端末装置からの同一の映像情報を表示しつつ、各ユーザ端末装置200からの座標情報に基づくポインタを重畳して表示することで、ユーザ間で円滑なコミュニケーションが可能となる。
<Effect>
As described above, the information processing system or the like according to the present embodiment displays the same video information from a predetermined user terminal device among a plurality of user terminal devices, and obtains coordinate information from each user terminal device 200. By superimposing and displaying the based pointers, smooth communication between users becomes possible.
<実施形態2>
上述のグループ情報DB122においては、共有された映像情報を記憶されるように構成されているが、映像情報に加えて、座標情報及び当該座標情報に関連付けられたユーザ情報、ポインタ表示される時間情報などを併せて記憶するようにしてもよい。これらを参照することにより、各ユーザから共有された映像情報だけでなく、さらにポインタ表示も併せて事後的に確認が可能となる。これにより、事後的に映像情報を確認したユーザにおいても、ポインタによる細かい指示内容等が確認可能となる。
<Embodiment 2>
The group information DB 122 described above is configured to store shared video information, but in addition to the video information, coordinate information, user information associated with the coordinate information, and time information displayed as a pointer. Etc. may also be memorized. By referring to these, not only the video information shared by each user but also the pointer display can be confirmed after the fact. As a result, even a user who confirms the video information after the fact can confirm the detailed instruction contents by the pointer.
また、例えば、ビデオチャット中(特に映像共有中)の録画により取得された映像情報やスクリーンショット機能で取得された画像情報等のグループ内共有情報は、同一のグループ識別情報に関連付けられたグループ内のユーザ間でのみ共有されるようにデータ管理されてもよい。そして、当該グループ内共有情報は、グループ内のユーザによって外部出力が可能であってもよいし、その際に、グループ内のユーザの選択に基づき、選択されたグループ内共有情報について外部出力ができないように設定可能としてもよい。外部出力の方法は、ユーザ端末200へのダウンロードであってもよいし、ユーザ指定のメールアドレス等への外部ユーザへの直接的な送信であってもよいし、特定のグループ内共有情報を取得可能なリンク(例えばURL)を発行する形式であってもよい。さらに、本システムが提供するフォーマット、または、ユーザ任意のフォーマットによるレポート作成機能を備えていてもよく、当該レポート作成機能によるレポート作成の際に、ユーザはユーザにより入力されるテキスト情報に加えてグループ内共有情報を利用可能であってもよい。そして、作成されたレポートはグループ内共有情報の1つとして記憶されてもよいし、外部出力可能であってもよい。なお、グループ内共有情報の外部出力は、当該レポート作成機能を介して作成されるレポートによってのみ実行されるようにしてもよい。 Further, for example, the shared information within the group such as the video information acquired by recording during video chat (especially during video sharing) and the image information acquired by the screenshot function is within the group associated with the same group identification information. Data may be managed so that it is shared only among the users of. Then, the shared information in the group may be externally output by the users in the group, and at that time, the shared information in the selected group cannot be output externally based on the selection of the users in the group. It may be possible to set as. The method of external output may be download to the user terminal 200, direct transmission to an external user to a user-specified e-mail address, or the like, or acquisition of shared information within a specific group. It may be in the form of issuing a possible link (for example, URL). Furthermore, it may be provided with a report creation function in the format provided by this system or in a format of the user's choice, and when creating a report by the report creation function, the user is a group in addition to the text information input by the user. The shared information may be available. Then, the created report may be stored as one of the shared information in the group, or may be output to the outside. Note that the external output of the shared information within the group may be executed only by the report created through the report creation function.
<実施形態3>
実施形態1(または実施形態2)においては、単に共有された映像情報を表示しているが、所定の画像認識開始操作により、表示されている映像情報において画像認識機能が実行されてもよい。画像認識機能は、二次元コード(例えば二次元バーコード)の読み取り機能であってもよい。これにより、映像情報内の例えば二次元バーコードから設備の情報などの所定の情報を参照することが可能であってもよい。そのほか、画像認識機能は、例えばARマーカ(二次元コード)の読み取り機能であってもよい。これにより、映像情報内のARマーカに対応する設備情報を映像情報に重畳して表示してもよい。また、画像認識機能は、その他の既知の画像認識機能であってもよい。これらにより、ポインタのみならず、共通の設備情報等の情報を取得することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。
<
In the first embodiment (or the second embodiment), the shared video information is simply displayed, but the image recognition function may be executed in the displayed video information by a predetermined image recognition start operation. The image recognition function may be a function for reading a two-dimensional code (for example, a two-dimensional bar code). Thereby, it may be possible to refer to predetermined information such as equipment information from, for example, a two-dimensional bar code in the video information. In addition, the image recognition function may be, for example, an AR marker (two-dimensional code) reading function. As a result, the equipment information corresponding to the AR marker in the video information may be superimposed and displayed on the video information. Further, the image recognition function may be another known image recognition function. As a result, not only the pointer but also information such as common equipment information can be acquired, and smooth communication between users can be executed.
<実施形態4>
実施形態1−3においては特に言及されていないが、ユーザ端末装置200がスマートフォンのように映像情報を縦表示または横表示で切換可能である場合には、情報送受信部131は、映像情報に加えて、ユーザ端末装置200Aの縦横表示切替情報を受け付けてもよい。これにより、映像情報の縦横切替が発生した場合に、他のユーザ端末装置200においても映像情報の縦横切替を反映可能である。また、ユーザ端末装置200が、映像情報の共有中に、何れかのユーザ端末装置が他の画像共有要求を送信した場合には、何れのユーザ端末装置200においても当該画像共有の表示に強制的に切り替えられるようにしてもよい。これらにより、複数のユーザ端末装置200において同一の映像情報や画像情報を確認することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。
<Embodiment 4>
Although not particularly mentioned in the first to third embodiments, when the user terminal device 200 can switch the video information between vertical display and horizontal display like a smartphone, the information transmission / reception unit 131 adds to the video information. Alternatively, the vertical / horizontal display switching information of the user terminal device 200A may be accepted. As a result, when the vertical / horizontal switching of the video information occurs, the vertical / horizontal switching of the video information can be reflected in the other user terminal device 200. Further, when the user terminal device 200 transmits another image sharing request while the video information is being shared, any user terminal device 200 is forced to display the image sharing. It may be possible to switch to. As a result, the same video information and image information can be confirmed on the plurality of user terminal devices 200, and smooth communication between users can be executed.
<実施形態5>
実施形態1−4においては特に言及されていないが、各実施形態はビデオチャットとして、各ユーザ端末装置200からの音声情報がユーザ端末装置間で共有されるものであるが、音声情報によるコミュニケーションに加えて、テキスト情報をユーザ端末装置間で共有するテキスト情報共有部をさらに備えるようにしてもよい。すなわち、ユーザ端末装置の入出力部240により入力されたテキスト情報を管理サーバ100のテキスト情報共有部を介して他のユーザ端末装置において受け取り、ユーザ端末装置における表示領域50内のテキスト表示領域に既知のテキストチャットに関する技術に基づきテキスト情報を反映するようにしてもよい。さらに、テキスト情報の入力を容易にするために、既知の音声情報解析技術を用いて音声情報をテキスト化するモードを備え、当該モードにより生成されたテキスト情報を共有し、テキスト表示領域に表示するようにしてもよい。これらにより、複数のユーザ端末装置200において映像情報だけでなくテキスト情報を確認することが可能となり、ユーザ間での円滑なコミュニケーションが実行可能となる。
<Embodiment 5>
Although not particularly mentioned in Embodiments 1-4, each embodiment is a video chat in which voice information from each user terminal device 200 is shared between user terminal devices, but for communication by voice information. In addition, a text information sharing unit for sharing text information between user terminal devices may be further provided. That is, the text information input by the input / output unit 240 of the user terminal device is received by another user terminal device via the text information sharing unit of the management server 100, and is known to the text display area in the
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。 Although the embodiments related to the disclosure have been described above, these can be implemented in various other embodiments, and can be implemented by making various omissions, substitutions, and changes. These embodiments and modifications, as well as those omitted, replaced and modified, are included in the technical scope of the claims and the equivalent scope thereof.
1 情報処理システム
100 管理サーバ
200 ユーザ端末装置
NW ネットワーク
1 Information processing system 100 Management server 200 User terminal equipment NW network
Claims (20)
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備え、
前記座標情報共有部は、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記第1のユーザ端末装置において前記映像情報の縦横切替が発生した場合に縦横表示切替情報をさらに受信し、前記第2のユーザ端末装置において前記映像情報の縦横表示を切り替える、
ことを特徴とする情報処理システム。 An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
A coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices is provided.
The coordinate information sharing unit, based on the coordinates for the pointer to be operated on a display area of the first and second user terminals, it makes it possible to simultaneously display the two pointers on the video information,
When the vertical / horizontal switching of the video information occurs in the first user terminal device, the vertical / horizontal display switching information is further received, and the vertical / horizontal display of the video information is switched in the second user terminal device.
An information processing system characterized by this.
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備え、
前記座標情報共有部は、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記第1のユーザ端末装置からの映像情報を前記第2のユーザ端末装置に共有している際に、前記第2のユーザ端末装置から他の映像情報についての映像情報共有要求が送信された場合には、当該他の映像情報を共有するように強制的に切り替える制御をする、
ことを特徴とする情報処理システム。 An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
A coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices is provided.
The coordinate information sharing unit, based on the coordinates for the pointer to be operated on a display area of the first and second user terminals, it makes it possible to simultaneously display the two pointers on the video information,
When the video information from the first user terminal device is shared with the second user terminal device, and the video information sharing request for other video information is transmitted from the second user terminal device. Controls to forcibly switch to share the other video information.
An information processing system characterized by this.
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有する映像情報共有部と、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有する座標情報共有部と、を備え、
前記座標情報共有部は、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする情報処理システム。 An information processing system that sends and receives various information between multiple user terminal devices.
A video information sharing unit that receives video information captured by the photographing unit of the first user terminal device and shares it with the first user terminal device and the second user terminal device.
A coordinate information sharing unit that receives coordinate information about a pointer operated on the display area of the first and second user terminal devices and shares the coordinate information with the first and second user terminal devices is provided.
The coordinate information sharing unit, based on the coordinates for the pointer to be operated on a display area of the first and second user terminals, it makes it possible to simultaneously display the two pointers on the video information,
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
An information processing system characterized by this.
ことを特徴とする請求項1ないし3のいずれかに記載の情報処理システム。 The video information is the video information from the first user terminal device for which the video sharing authority is set.
The information processing system according to any one of claims 1 to 3, wherein the information processing system is characterized by the above.
何れかのユーザ端末装置において前記映像情報を読み出す際に、対応する前記座標情報も併せて読み出す、
ことを特徴とする請求項1ないし4のいずれかに記載の情報処理システム。 The video information is stored in the storage unit together with the coordinate information.
When the video information is read out in any of the user terminal devices, the corresponding coordinate information is also read out.
The information processing system according to any one of claims 1 to 4, wherein the information processing system is characterized by the above.
ことを特徴とする請求項3に記載の情報処理システム。 The video information or the image information can be set to limit external output at the user's option.
The information processing system according to claim 3 , wherein the information processing system is characterized by the above.
前記映像情報または前記画像情報は、前記レポートに利用可能である、
ことを特徴とする請求項3または6のいずれかに記載の情報処理システム。 It also has a report creation function that creates a report using a predetermined format.
The video information or the image information is available for the report.
The information processing system according to claim 3 or 6.
ことを特徴とする請求項7のいずれかに記載の情報処理システム。 The external output of the video information or the image information is executed only through the report creation function.
The information processing system according to any one of claims 7 , characterized in that.
ことを特徴とする請求項1ないし8のいずれかに記載の情報処理システム。 The video information is image-recognized by the user terminal device.
The information processing system according to any one of claims 1 to 8.
ことを特徴とする請求項9に記載の情報処理システム。 The image recognition is an image recognition related to a two-dimensional code.
The information processing system according to claim 9.
ことを特徴とする請求項9に記載の情報処理システム。 The image recognition is an image recognition related to a two-dimensional bar code.
The information processing system according to claim 9.
ことを特徴とする請求項9に記載の情報処理システム。 The image recognition is an image recognition related to an AR marker.
The information processing system according to claim 9.
ことを特徴とする請求項1ないし12のいずれかに記載の情報処理システム。 A text information sharing unit that shares text information generated in the first and second user terminal devices with the first and second user terminal devices is further provided.
The information processing system according to any one of claims 1 to 1 2, characterized in that.
ことを特徴とする請求項13に記載の情報処理システム。 The text information is text information generated based on the voice information acquired by the first and second user terminal devices.
The information processing system according to claim 1 3, characterized in that.
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記第1のユーザ端末装置において前記映像情報の縦横切替が発生した場合に縦横表示切替情報をさらに受信し、前記第2のユーザ端末装置において前記映像情報の縦横表示を切り替える、
ことを特徴とする情報処理方法。 An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the vertical / horizontal switching of the video information occurs in the first user terminal device, the vertical / horizontal display switching information is further received, and the vertical / horizontal display of the video information is switched in the second user terminal device.
An information processing method characterized by the fact that.
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記第1のユーザ端末装置からの映像情報を前記第2のユーザ端末装置に共有している際に、前記第2のユーザ端末装置から他の映像情報についての映像情報共有要求が送信された場合には、当該他の映像情報を共有するように強制的に切り替える制御をする、
ことを特徴とする情報処理方法。 An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the video information from the first user terminal device is shared with the second user terminal device, and the video information sharing request for other video information is transmitted from the second user terminal device. Controls to forcibly switch to share the other video information.
An information processing method characterized by the fact that.
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とする情報処理方法。 An information processing method for transmitting and receiving various information between multiple user terminal devices.
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
An information processing method characterized by the fact that.
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記第1のユーザ端末装置において前記映像情報の縦横切替が発生した場合に縦横表示切替情報をさらに受信し、前記第2のユーザ端末装置において前記映像情報の縦横表示を切り替える、
ことを特徴とするプログラム。 A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the vertical / horizontal switching of the video information occurs in the first user terminal device, the vertical / horizontal display switching information is further received, and the vertical / horizontal display of the video information is switched in the second user terminal device.
A program characterized by that.
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記第1のユーザ端末装置からの映像情報を前記第2のユーザ端末装置に共有している際に、前記第2のユーザ端末装置から他の映像情報についての映像情報共有要求が送信された場合には、当該他の映像情報を共有するように強制的に切り替える制御をする、
ことを特徴とするプログラム。 A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
When the video information from the first user terminal device is shared with the second user terminal device, and the video information sharing request for other video information is transmitted from the second user terminal device. Controls to forcibly switch to share the other video information.
A program characterized by that.
前記情報処理方法は、
第1のユーザ端末装置の撮影部において撮影されている映像情報を受信し、前記第1のユーザ端末装置及び第2のユーザ端末装置に共有するステップと、
前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標情報をそれぞれから受信し、前記第1及び第2のユーザ端末装置に共有するステップと、を含み、
前記座標情報を共有するステップにおいては、前記第1及び第2のユーザ端末装置の表示領域上で操作されるポインタに関する座標に基づき、前記映像情報上に両ポインタを同時に表示することを可能とし、
前記映像情報または当該映像情報に関連する画像情報は、同一グループ内のユーザのみが外部出力可能に記憶部に記憶されている、
ことを特徴とするプログラム。 A program that causes a computer to execute an information processing method for transmitting and receiving various information between multiple user terminal devices.
The information processing method is
A step of receiving video information captured by the photographing unit of the first user terminal device and sharing it with the first user terminal device and the second user terminal device.
A step of receiving coordinate information about a pointer operated on the display area of the first and second user terminal devices and sharing the coordinate information with the first and second user terminal devices is included.
In the step of sharing the coordinate information, based on the coordinates for the pointer to be operated in the display region of the first and second user terminal, and allows to display two pointers simultaneously on the image information ,
The video information or image information related to the video information is stored in the storage unit so that only users in the same group can output it externally.
A program characterized by that.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021075173A JP6945905B1 (en) | 2021-04-27 | 2021-04-27 | Information processing system, information processing method and program |
JP2021146338A JP7115790B1 (en) | 2021-04-27 | 2021-09-08 | Information processing system, information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021075173A JP6945905B1 (en) | 2021-04-27 | 2021-04-27 | Information processing system, information processing method and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021146338A Division JP7115790B1 (en) | 2021-04-27 | 2021-09-08 | Information processing system, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6945905B1 true JP6945905B1 (en) | 2021-10-06 |
JP2022169251A JP2022169251A (en) | 2022-11-09 |
Family
ID=77915186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021075173A Active JP6945905B1 (en) | 2021-04-27 | 2021-04-27 | Information processing system, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6945905B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177849A (en) * | 1999-12-15 | 2001-06-29 | Mitsubishi Electric Corp | Three-dimensional image generating system and three- dimensional image generator |
JP2015135641A (en) * | 2014-01-20 | 2015-07-27 | Kddi株式会社 | Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program |
JP2016116043A (en) * | 2014-12-12 | 2016-06-23 | Kddi株式会社 | Information processing system, information processing apparatus, and information processing method |
WO2017042984A1 (en) * | 2015-09-07 | 2017-03-16 | 株式会社オプティム | Screen sharing device, screen sharing method, screen sharing system, and program therefor |
JP2017091536A (en) * | 2015-11-10 | 2017-05-25 | 株式会社リコー | Electronic conference system |
JP2017091226A (en) * | 2015-11-10 | 2017-05-25 | 株式会社オプティム | Screen sharing system and screen sharing method |
-
2021
- 2021-04-27 JP JP2021075173A patent/JP6945905B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177849A (en) * | 1999-12-15 | 2001-06-29 | Mitsubishi Electric Corp | Three-dimensional image generating system and three- dimensional image generator |
JP2015135641A (en) * | 2014-01-20 | 2015-07-27 | Kddi株式会社 | Video indication/synchronization method for superposing indication image on shot dynamic image in synchronism, and system, terminal, and program |
JP2016116043A (en) * | 2014-12-12 | 2016-06-23 | Kddi株式会社 | Information processing system, information processing apparatus, and information processing method |
WO2017042984A1 (en) * | 2015-09-07 | 2017-03-16 | 株式会社オプティム | Screen sharing device, screen sharing method, screen sharing system, and program therefor |
JP2017091536A (en) * | 2015-11-10 | 2017-05-25 | 株式会社リコー | Electronic conference system |
JP2017091226A (en) * | 2015-11-10 | 2017-05-25 | 株式会社オプティム | Screen sharing system and screen sharing method |
Also Published As
Publication number | Publication date |
---|---|
JP2022169251A (en) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105190617B (en) | Cooperative system with the blank access to global collaboration data | |
US7360163B2 (en) | Work space formation apparatus | |
JP6945211B2 (en) | Communication support devices, methods, and computer programs | |
US10972879B2 (en) | Communication terminal, communication method, computer readable recording medium having communication program recorded, and network system | |
CN109644154A (en) | For the location-based access control of artificial dialogue entity | |
KR100611255B1 (en) | Remote conference method of sharing work space | |
WO2013145392A1 (en) | Data processing system, control method therefor, program and information storage medium | |
CN101373480B (en) | Method and system based on GIS electronic map interactive operation | |
JP6945905B1 (en) | Information processing system, information processing method and program | |
JP7115790B1 (en) | Information processing system, information processing method and program | |
JP2022169499A (en) | Information processing system, information processing method and program | |
JP2004120284A (en) | Image sharing system, image sharing method, image display equipment, information terminal equipment, and image sharing program | |
JP5395028B2 (en) | Mobile terminal conference system and method | |
CN114884914A (en) | Application program same-screen communication method and system | |
JP2008146584A (en) | Application sharing screen controller, application sharing screen control program, and communication terminal device | |
CN104410670A (en) | Auxiliary communication method capable of sharing self screen general situation and mouse position on real time interaction communication platform | |
JP2002324037A (en) | Coordinated display program | |
JP7362177B1 (en) | Information processing system, information processing method and program | |
EP1843538B1 (en) | Method for conference setup between mobile terminals for a shared whiteboard session | |
JP2007336112A (en) | Remote lecture system and server apparatus, and remote lecture method used for these | |
KR20160081002A (en) | Screen sharing system and method thereof | |
US11489890B2 (en) | Computer-implemented method of sharing a screen, media server, and application for controlling a real-time communication and collaboration session | |
JP6538949B1 (en) | Program, information processing method, and information processing system | |
CN108898646B (en) | Office area display method and terminal equipment | |
JP2018046443A (en) | Information terminal, electronic information board, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210701 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6945905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |