JP7489341B2 - NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM - Google Patents

NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM Download PDF

Info

Publication number
JP7489341B2
JP7489341B2 JP2021019596A JP2021019596A JP7489341B2 JP 7489341 B2 JP7489341 B2 JP 7489341B2 JP 2021019596 A JP2021019596 A JP 2021019596A JP 2021019596 A JP2021019596 A JP 2021019596A JP 7489341 B2 JP7489341 B2 JP 7489341B2
Authority
JP
Japan
Prior art keywords
image
user terminal
operator
operator terminal
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021019596A
Other languages
Japanese (ja)
Other versions
JP2022122399A (en
Inventor
雄一 京保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tech Monster
Original Assignee
Tech Monster
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tech Monster filed Critical Tech Monster
Priority to JP2021019596A priority Critical patent/JP7489341B2/en
Publication of JP2022122399A publication Critical patent/JP2022122399A/en
Application granted granted Critical
Publication of JP7489341B2 publication Critical patent/JP7489341B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、インターネットなどのネットワークを利用したユーザとオペレータのコミュニケーションのためのネットワークシステムの技術に関する。 The present invention relates to network system technology for communication between users and operators using a network such as the Internet.

従前より、インターネットなどのネットワークを利用したユーザとオペレータとのコミュニケーションのための技術や、オペレータがユーザを支援するための技術などが知られている。たとえば、特開２０１６－１８３９６８号公報（特許文献１）には、音声ガイド支援システム及びそのプログラムが開示されている。特許文献１によると、ユーザのガイドを行う場合に、オペレータ端末に、ユーザ端末からのカメラ撮影画像データを表示して、ユーザ向けの音声入力がある場合には、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末が、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力する音声ガイド支援システムが提供される。 Technologies for communication between users and operators using networks such as the Internet, and technologies for operators to support users, have been known for some time. For example, Japanese Patent Laid-Open Publication No. 2016-183968 (Patent Document 1) discloses an audio guidance support system and its program. According to Patent Document 1, when guiding a user, a voice guidance support system is provided in which camera-captured image data from a user terminal is displayed on an operator terminal, and if there is voice input for the user, the image data is transmitted to the user terminal via a center server as user voice data, and if there is voice input for people around the user, the image data is transmitted to the user terminal via the center server as external voice data, and the user terminal outputs the received user voice data to a voice input/output device, and outputs the received external voice data to the outside from a voice external output unit.

特開２０１６－１８３９６８号公報JP 2016-183968 A

本発明の目的は、オペレータがユーザに必要な情報をより効率的に伝えることができる技術を提供することにある。 The objective of the present invention is to provide technology that allows operators to more efficiently convey necessary information to users.

本発明の一態様に従うと、カメラを含むユーザ端末と、操作部を含むオペレータ端末と、を備えるネットワークシステムが提供される。ユーザ端末は、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するとともに、カメラで撮影中の画像とオペレータ端末からの動画像とを表示する。オペレータ端末は、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の画像を、インターネットを介して動画像としてユーザ端末に送信する。 According to one aspect of the present invention, a network system is provided that includes a user terminal including a camera and an operator terminal including an operation unit. The user terminal transmits an image being captured by the camera to the operator terminal via the Internet, and displays the image being captured by the camera and a video from the operator terminal. Based on a command input to the operation unit, the operator terminal transmits an image being edited from the image captured by the camera to the user terminal via the Internet as a video.

以上のように、本発明によれば、オペレータがユーザに必要な情報をより効率的に伝えることができるようになる。 As described above, the present invention allows operators to more efficiently convey necessary information to users.

第１の実施の形態にかかるネットワークシステム１の全体構成と動作概要を示すイメージ図である。FIG. 1 is a conceptual diagram showing an overall configuration and an outline of an operation of a network system 1 according to a first embodiment. 第１の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。3A to 3C are image diagrams showing example screens of an operator terminal 300 and a user terminal 200 according to the first embodiment. 第１の実施の形態にかかるサーバ１００の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a server 100 according to the first embodiment. 第１の実施の形態にかかるユーザ端末２００の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a user terminal 200 according to the first embodiment. 第１の実施の形態にかかるオペレータ端末３００の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of an operator terminal 300 according to the first embodiment. 第１の実施の形態にかかるネットワークシステムの情報処理を示す第１のフローチャートである。1 is a first flowchart showing information processing in the network system according to the first embodiment; 第３の実施の形態にかかるネットワークシステム１を示すイメージ図である。FIG. 13 is a conceptual diagram showing a network system 1 according to a third embodiment. 第４の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。13A and 13B are image diagrams showing example screens of an operator terminal 300 and a user terminal 200 according to the fourth embodiment. 第４の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。13A and 13B are image diagrams showing example screens of an operator terminal 300 and a user terminal 200 according to the fourth embodiment. 第５の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。13A and 13B are image diagrams showing example screens of an operator terminal 300 and a user terminal 200 according to the fifth embodiment. 第６の実施の形態にかかるオペレータ端末３００とユーザ端末２００の画面例を示すイメージ図である。23A and 23B are image diagrams showing example screens of an operator terminal 300 and a user terminal 200 according to the sixth embodiment.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の全体構成＞ Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the following description, the same components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
First Embodiment
<Overall configuration of network system 1>

まず、図１を参照して本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、ユーザサポートサービスを提供するためのサーバ１００と、当該サービスを利用する質問者としてのユーザが利用するユーザ端末２００と、回答者としてのオペレータが利用するオペレータ端末３００とを含む。 First, the overall configuration of the network system 1 according to the present embodiment will be described with reference to FIG. 1. The network system 1 according to the present embodiment mainly includes a server 100 for providing a user support service, a user terminal 200 used by a user as a questioner who uses the service, and an operator terminal 300 used by an operator as a respondent.

なお、サーバ１００は、クラウド上の単一または複数の装置によって実現されるものである。たとえば、サーバ１００は、最初にＱ＆Ａの問い合わせを受け付けてチャットボットなどによって対応するＷｅｂサイトを運営するサーバや、オペレータの稼働状態やオペレータ端末３００の利用状態などを管理するサーバや、ユーザ端末２００とオペレータ端末３００とを常時接続させるためのサーバなどを含む概念である。 The server 100 is realized by a single or multiple devices on the cloud. For example, the server 100 is a concept that includes a server that operates a website that first accepts Q&A inquiries and responds to them using a chatbot or the like, a server that manages the operating status of operators and the usage status of the operator terminal 300, and a server that constantly connects the user terminal 200 and the operator terminal 300.

ユーザ端末２００は、スマートフォンやタブレットやパーソナルコンピュータなどによって実現され、インターネットやキャリア網を介してサーバ１００やオペレータ端末３００と通信可能である。 The user terminal 200 is realized by a smartphone, tablet, personal computer, etc., and can communicate with the server 100 and the operator terminal 300 via the Internet or a carrier network.

オペレータ端末３００は、パーソナルコンピュータやタブレットやスマートフォンなどによって実現され、インターネットやキャリア網を介してサーバ１００やユーザ端末２００と通信可能である。
＜ネットワークシステム１の動作概要＞ The operator terminal 300 is realized by a personal computer, a tablet, a smartphone, or the like, and is capable of communicating with the server 100 and the user terminal 200 via the Internet or a carrier network.
<Overview of Operation of Network System 1>

次に、図１および図２を参照して、本実施の形態にかかるネットワークシステム１の動作概要について説明する。以下では、一例として、ユーザが、電気機器の使用方法をオペレータに教えてもらう場合について説明するが、本実施の形態にかかるネットワークシステム１は、他にも、料理の方法を伝える場合や、診察や、スポーツや、観光ガイドなどにも利用することができる。 Next, an overview of the operation of the network system 1 according to this embodiment will be described with reference to Figures 1 and 2. As an example, the following describes a case where a user is instructed by an operator on how to use an electrical device, but the network system 1 according to this embodiment can also be used for other purposes, such as providing cooking instructions, medical examinations, sports, and tourist guides.

本実施の形態においては、まず、質問者が、ユーザ端末２００を利用して、電気機器のホームページなどに貼られている質問のためのバナーやショートメールのＵＲＬなどをクリックする。サーバ１００は、オペレータとやり取りするためのユーザ側ＷＥＢページをユーザ端末２００にダウンロードして、登録されているオペレータの中から、現在顧客対応中でないオペレータを探す。サーバ１００は、空いているオペレータを見つけると、当該オペレータのオペレータ端末３００に、ユーザとやり取りするためのオペレータ側ＷＥＢページをダウンロードする。本実施の形態においては、ＷｅｂＲＴＣ（Web Real-Time Communications）の技術を利用して、ユーザ端末２００とオペレータ端末３００とが、音声や画像をやり取りするものである。 In this embodiment, first, the questioner uses the user terminal 200 to click on a banner for questions or a URL for a short message posted on the homepage of an electrical device. The server 100 downloads a user-side web page for communicating with an operator to the user terminal 200, and searches for an operator who is not currently handling a customer among the registered operators. When the server 100 finds an available operator, it downloads an operator-side web page for communicating with the user to the operator terminal 300 of that operator. In this embodiment, the user terminal 200 and the operator terminal 300 exchange voice and images using WebRTC (Web Real-Time Communications) technology.

図２（Ａ）に示すように、ユーザ端末２００は、ダウンロードしたＷＥＢページの指示に従って、カメラを起動して、撮影中の画像をディスプレイの左側の画面２３１に表示するとともに、撮影している動画像やマイクで取得した音声を常時接続サーバを介してオペレータ端末３００に送信する。オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、ユーザ端末２００で撮影されている画像のストリーミング映像をディスプレイの左側の画面３３１に表示するとともに、ユーザ端末２００に入力された音声をスピーカから出力する。なお、オペレータ端末３００のマイクで取得された音声は、ユーザ端末２００のスピーカから出力される。 As shown in FIG. 2(A), the user terminal 200 starts up the camera in accordance with the instructions on the downloaded web page, displays the image being captured on the left screen 231 of the display, and transmits the video being captured and the audio picked up by the microphone to the operator terminal 300 via the constant connection server. In accordance with the instructions on the downloaded web page, the operator terminal 300 displays streaming video of the image being captured by the user terminal 200 on the left screen 331 of the display, and outputs the audio input to the user terminal 200 from the speaker. The audio picked up by the microphone of the operator terminal 300 is output from the speaker of the user terminal 200.

この状態において、オペレータが所望のタイミングで所定のボタン３３３を押すと、オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、図２（Ｂ）に示すように、押されたタイミングの画像の静止画像を、ディスプレイの右側の編集用画面３３２に表示する。オペレータは、当該静止画像に対して編集を加えることができる。たとえば、説明の対象となっているボタンや操作部やその他の部位に印をつけたり、説明のためのイラストやテキストなどを描いたりすることができる。オペレータ端末３００は、編集されている右側の画面３３２の動画像やマイクで取得した音声を常時接続サーバを介してユーザ端末２００に送信する。ユーザ端末２００は、ＷＥＢページの指示に従って、ユーザ端末２００で撮影されている動画像をディスプレイの左側の画面２３１に表示するとともに、オペレータ端末３００からの編集中の動画像のストリーミング映像をディスプレイの右側の画面２３２に表示する。なお、この状態において、ユーザ端末２００に入力された音声はオペレータ端末３００で出力され、オペレータ端末３００に入力された音声はユーザ端末２００で出力される。 In this state, when the operator presses a predetermined button 333 at a desired timing, the operator terminal 300 displays a still image of the image at the timing of the button press on the editing screen 332 on the right side of the display, as shown in FIG. 2 (B), in accordance with the instructions on the downloaded WEB page. The operator can add edits to the still image. For example, the operator can mark the buttons, operation units, and other parts that are the subject of the explanation, or draw illustrations or text for explanation. The operator terminal 300 transmits the moving image on the right screen 332 being edited and the audio captured by the microphone to the user terminal 200 via the constant connection server. In accordance with the instructions on the WEB page, the user terminal 200 displays the moving image captured by the user terminal 200 on the left screen 231 of the display, and displays the streaming video of the moving image being edited from the operator terminal 300 on the right screen 232 of the display. In this state, the audio input to the user terminal 200 is output by the operator terminal 300, and the audio input to the operator terminal 300 is output by the user terminal 200.

このように、本実施の形態においては、ユーザ端末２００のカメラで撮影されている画像をオペレータが確認できるだけでなく、オペレータはユーザやユーザ端末２００から見えている景色に対して画像や文字やイラストなどを描くことができる。つまり、オペレータは、ユーザの周囲の状況を的確に認識しやすくなり、ユーザに対する説明も容易になる。また、ユーザは、自分が見ている景色に対して説明が付されたストリーミング画像を確認しながら、オペレータの説明を聞くことができる。その結果、ユーザがオペレータの意図を認識しやすく、オペレータとユーザとの間での話の齟齬を低減することができる。 In this manner, in this embodiment, not only can the operator check images captured by the camera of the user terminal 200, but the operator can also draw images, text, illustrations, and the like on the scenery visible to the user or the user terminal 200. In other words, the operator can more accurately recognize the situation around the user, and can more easily explain to the user. In addition, the user can listen to the operator's explanation while checking streaming images with explanations of the scenery they are seeing. As a result, the user can more easily recognize the operator's intentions, and discrepancies in conversation between the operator and the user can be reduced.

以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜サーバの構成＞ A specific configuration of the network system 1 for realizing such functions will be described in detail below.
<Server configuration>

まず、本実施の形態にかかるネットワークシステム１を構成するサーバ１００の構成の一態様について説明する。図３を参照して、サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。 First, one aspect of the configuration of the server 100 constituting the network system 1 according to the present embodiment will be described. Referring to FIG. 3, the server 100 includes, as main components, a CPU (Central Processing Unit) 110, a memory 120, an operation unit 140, and a communication interface 160.

ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。 The CPU 110 controls each part of the server 100 by executing the programs stored in the memory 120. For example, the CPU 110 executes the programs stored in the memory 120 and performs various processes described below by referring to various data.

メモリ１２０は、各種のＲＡＭ、各種のＲＯＭなどによって実現され、サーバ１００に内包されているものであってもよいし、サーバ１００の各種インターフェイスに着脱可能なものであってもよいし、サーバ１００からアクセス可能な他の装置の記録媒体であってもよい。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかるサービスに利用されるデータベースなどを記憶する。 Memory 120 is realized by various types of RAM, various types of ROM, etc., and may be included in server 100, may be detachable from various interfaces of server 100, or may be a recording medium of another device accessible from server 100. Memory 120 stores programs executed by CPU 110, data generated by execution of programs by CPU 110, input data, and other databases used for the services according to this embodiment.

たとえば、メモリ１２０は、オペレータのＩＤと、オペレータの名前と、オペレータ端末３００のＩＤと、現在の稼働状態などの対応関係を記憶する。 For example, the memory 120 stores the correspondence between the operator ID, the operator name, the ID of the operator terminal 300, the current operating status, etc.

操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。 The operation unit 140 accepts commands from the service administrator, etc., and inputs the commands to the CPU 110.

通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、キャリア網、ルータなどを介して、ユーザ端末２００や、オペレータ端末３００や、その他の機器などに送信する。逆に、通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介してそれらの機器からのデータを受信して、ＣＰＵ１１０に受け渡したり、メモリ１２０に格納したりする。
＜ユーザ端末２００の構成＞ The communication interface 160 transmits data from the CPU 110 to the user terminal 200, the operator terminal 300, and other devices via the Internet, a carrier network, a router, etc. Conversely, the communication interface 160 receives data from those devices via the Internet, a carrier network, a router, etc., and passes the data to the CPU 110 or stores it in the memory 120.
<Configuration of User Terminal 200>

次に、図４を参照して、質問者などのユーザが利用するユーザ端末２００の構成の一態様について説明する。たとえば本実施の形態にかかるユーザ端末２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０と、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０と、カメラ２９０とを含む。 Next, referring to FIG. 4, one embodiment of the configuration of a user terminal 200 used by a user such as a questioner will be described. For example, the user terminal 200 according to this embodiment includes, as main components, a CPU 210, a memory 220, a display 230, an operation unit 240, a communication interface 260, a speaker 270, a microphone 280, and a camera 290.

ＣＰＵ２１０は、メモリ２２０に記憶されているプログラムを実行することによって、ユーザ端末２００の各部を制御する。 The CPU 210 controls each part of the user terminal 200 by executing the programs stored in the memory 220.

メモリ２２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ２２０は、各種サービスのためのアプリケーションプログラム、インターネットからダウンロードしたＷＥＢページ、カメラ２９０で撮影した動画像データや静止画像データ、マイク２８０で取得した音声データ、各種のサービス専用のアプリケーションプログラム、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部２４０を介して入力されたデータ、ユーザ端末２００自身の情報やユーザを特定するための情報などを記憶する。 The memory 220 is realized by various RAMs, various ROMs, etc. The memory 220 stores application programs for various services, web pages downloaded from the Internet, video and still image data captured by the camera 290, audio data acquired by the microphone 280, application programs dedicated to various services, data generated by the execution of programs by the CPU 310, data received from the server 100, data input via the operation unit 240, information about the user terminal 200 itself, information for identifying the user, and the like.

ディスプレイ２３０は、ＣＰＵ２１０からのデータに基づいて、画像やテキストを表示する。操作部２４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの各種の命令をＣＰＵ２１０に入力する。なお、ユーザ端末２００は、ディスプレイ２３０と操作部２４０とを含むタッチパネル２５０を有してもよい。 The display 230 displays images and text based on data from the CPU 210. The operation unit 240 is composed of a pointing device, switches, etc., and inputs various commands from the user to the CPU 210. The user terminal 200 may also have a touch panel 250 that includes the display 230 and the operation unit 240.

通信インターフェイス２６０は、インターネットやキャリア網やルータなどを介して、サーバ１００やオペレータ端末３００などの他の装置との間でデータを送受信する。たとえば、ＣＰＵ２１０は、ＷＥＢブラウザのプログラムやその他のアプリケーションプログラムに従って、通信インターフェイス２６０を介してサーバ１００と、画像データや、音声データや、チャットのためのテキストデータなど、各種の情報をやりとりする。 The communication interface 260 transmits and receives data to and from other devices such as the server 100 and the operator terminal 300 via the Internet, a carrier network, a router, etc. For example, the CPU 210 transmits and receives various types of information, such as image data, voice data, and text data for chat, to and from the server 100 via the communication interface 260 in accordance with a web browser program or other application programs.

スピーカ２７０は、ＣＰＵ２１０からの信号に基づいて、各種の音声を出力する。ＣＰＵ２１０は、オペレータ端末３００が取得したオペレータの音声やチャットのテキストを音声出力してもよい。 The speaker 270 outputs various sounds based on signals from the CPU 210. The CPU 210 may output the operator's voice and chat text acquired by the operator terminal 300.

マイク２８０は、音声を受け付けて、音声データをＣＰＵ２１０に入力する。ＣＰＵ２１０は、操作部２４０に限らず、ユーザからの音声メッセージを受け付けて、当該音声メッセージをサーバ１００に送信する。 The microphone 280 receives voice and inputs the voice data to the CPU 210. The CPU 210 receives voice messages from users, including those from the operation unit 240, and transmits the voice messages to the server 100.

カメラ２９０は、ＣＰＵ２１０からの指示に従って、動画像や静止画像を撮影して、当該画像データをＣＰＵ２１０に入力したり、メモリ２２０に格納したりする。
＜オペレータ端末３００の構成＞ Camera 290 captures moving images and still images in accordance with instructions from CPU 210 , and inputs the image data to CPU 210 or stores it in memory 220 .
<Configuration of operator terminal 300>

図５を参照して、ネットワークシステム１を構成するオペレータやサービスマンなどが利用するオペレータ端末３００の構成の一態様について説明する。たとえばオペレータ端末３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、通信インターフェイス３６０と、スピーカ３７０と、マイク３８０とを含む。 With reference to FIG. 5, one embodiment of the configuration of the operator terminal 300 used by operators and service personnel who configure the network system 1 will be described. For example, the operator terminal 300 includes, as main components, a CPU 310, a memory 320, a display 330, an operation unit 340, a communication interface 360, a speaker 370, and a microphone 380.

ＣＰＵ３１０は、メモリ３２０に記憶されているプログラムを実行することによって、オペレータ端末３００の各部を制御する。 The CPU 310 controls each part of the operator terminal 300 by executing the programs stored in the memory 320.

メモリ３２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ３２０は、各種サービスのためのアプリケーションプログラム、インターネットからダウンロードしたＷＥＢページ、ユーザ端末２００からの動画像データ、切り取った静止画像データ、オペレータ端末３００での編集内容を示すデータや編集画面自体の変化を示す動画像データ、各種のサービス専用のアプリケーションプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、サーバ１００から受信したデータ、操作部３４０を介して入力されたデータ、オペレータ端末３００自身の情報やオペレータを特定するための情報などを記憶する。 The memory 320 is realized by various RAMs, various ROMs, etc. The memory 320 stores application programs for various services, web pages downloaded from the Internet, moving image data from the user terminal 200, cropped still image data, data showing the editing contents on the operator terminal 300 and moving image data showing changes in the editing screen itself, application programs dedicated to various services, data generated by execution of a program by the CPU 310, data received from the server 100, data input via the operation unit 340, information on the operator terminal 300 itself, information for identifying the operator, etc.

ディスプレイ３３０は、ＣＰＵ３１０からのデータに基づいて、画像やテキストを表示する。操作部３４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの、画像にイラストやテキストなどを追加する命令や編集を施すための命令などの各種の命令をＣＰＵ３１０に入力する。本実施の形態においては、オペレータ端末３００は、ディスプレイ３３０と操作部３４０とを含むタッチパネル３５０を有していることが好ましい。 The display 330 displays images and text based on data from the CPU 310. The operation unit 340 is composed of a pointing device, switches, etc., and inputs various commands from the user to the CPU 310, such as commands to add illustrations, text, etc. to an image and commands to perform editing. In this embodiment, it is preferable that the operator terminal 300 has a touch panel 350 including the display 330 and the operation unit 340.

通信インターフェイス３６０は、インターネットやキャリア網やルータなどを介して、サーバ１００やユーザ端末２００などの他の装置との間でデータを送受信する。たとえば、ＣＰＵ３１０は、ＷＥＢブラウザのアプリケーションプログラムや各種サービスのアプリケーションプログラムに従って、通信インターフェイス３６０を介してサーバ１００と、画像データや、音声データや、チャットのためのテキストデータなど、各種の情報をやりとりする。 The communication interface 360 transmits and receives data to and from other devices such as the server 100 and the user terminal 200 via the Internet, a carrier network, a router, etc. For example, the CPU 310 transmits and receives various types of information, such as image data, audio data, and text data for chat, to and from the server 100 via the communication interface 360 in accordance with a web browser application program or application programs for various services.

スピーカ３７０は、ＣＰＵ３１０からの信号に基づいて、各種の音声を出力する。ＣＰＵ２１０は、ユーザ端末２００が取得したユーザの音声やチャットのテキストを音声出力してもよい。 The speaker 370 outputs various sounds based on signals from the CPU 310. The CPU 210 may output the user's voice and chat text acquired by the user terminal 200.

マイク３８０は、音声を受け付けて、音声データをＣＰＵ３１０に入力する。ＣＰＵ３１０は、操作部３４０に限らず、オペレータからの音声メッセージを受け付けて、当該音声メッセージをサーバ１００に送信してもよい。 The microphone 380 receives voice and inputs the voice data to the CPU 310. The CPU 310 may receive voice messages from an operator, not limited to the operation unit 340, and transmit the voice messages to the server 100.

カメラ３９０は、ＣＰＵ３１０からの指示に従って、動画像や静止画像を撮影して、当該画像データをＣＰＵ３１０に入力したり、メモリ３２０に格納したりする。
＜ネットワークシステム１の情報処理＞ Camera 390 captures moving images and still images in accordance with instructions from CPU 310 , and inputs the image data to CPU 310 or stores it in memory 320 .
<Information Processing in Network System 1>

次に、図６を参照して、本実施の形態にかかるネットワークシステム１のサーバ１００やユーザ端末２００やオペレータ端末３００における情報処理について説明する。なお、サーバ１００のＣＰＵ１１０は、メモリ１２０のプログラムに従って、以下の処理を実行する。ユーザ端末２００のＣＰＵ２１０は、メモリ２２０のプログラムに従って、以下の処理を実行する。オペレータ端末３００のＣＰＵ３１０は、メモリ３２０のプログラムに従って、以下の処理を実行する。 Next, with reference to FIG. 6, information processing in the server 100, user terminal 200, and operator terminal 300 of the network system 1 according to this embodiment will be described. The CPU 110 of the server 100 executes the following processing according to the program in the memory 120. The CPU 210 of the user terminal 200 executes the following processing according to the program in the memory 220. The CPU 310 of the operator terminal 300 executes the following processing according to the program in the memory 320.

まず、オペレータ端末３００のＣＰＵ３１０は、操作部３４０を介して、オペレータからの指示に従って、通信インターフェイス３６０を介してサーバ１００に接続する（ステップＳ１０２）。 First, the CPU 310 of the operator terminal 300 connects to the server 100 via the communication interface 360 in accordance with instructions from the operator via the operation unit 340 (step S102).

サーバ１００のＣＰＵ１１０は、オペレータ端末３００からの要求に応じて、通信インターフェイス１６０を介して、ログイン用のＷＥＢページをオペレータ端末３００にダウンロードする（ステップＳ１０４）。 In response to a request from the operator terminal 300, the CPU 110 of the server 100 downloads a login web page to the operator terminal 300 via the communication interface 160 (step S104).

オペレータ端末３００のＣＰＵ３１０は、ＷＥＢページをディスプレイ３３０に表示する。ＣＰＵ３１０は、操作部３４０を介して、オペレータのＩＤやパスワードの入力を受け付けて、通信インターフェイス３６０を介してサーバ１００に認証を要求する（ステップＳ１０６）。 The CPU 310 of the operator terminal 300 displays the web page on the display 330. The CPU 310 accepts input of the operator's ID and password via the operation unit 340, and requests authentication from the server 100 via the communication interface 360 (step S106).

サーバ１００のＣＰＵ１１０は、認証に成功すると、通信インターフェイス１６０を介して、オペレータ用のピアツーピア通信のためのＷＥＢページをオペレータ端末３００にダウンロードする（ステップＳ１０８）。 If the authentication is successful, the CPU 110 of the server 100 downloads a web page for peer-to-peer communication for the operator to the operator terminal 300 via the communication interface 160 (step S108).

オペレータ端末３００のＣＰＵ３１０は、サーバ１００からのＷＥＢページをディスプレイ３３０に表示して、ユーザからの質問を待ち受ける（ステップＳ１１０）。 The CPU 310 of the operator terminal 300 displays the web page from the server 100 on the display 330 and waits for questions from the user (step S110).

ユーザ端末２００のＣＰＵ２１０は、操作部２４０を介して、ユーザからの指示に従って、通信インターフェイス２６０を介してサーバ１００に接続する（ステップＳ１１２）。たとえば、各種のホームページなどに貼られている質問のためのバナーやショートメールのＵＲＬなどをクリックすることによって、サーバ１００への接続処理を開始することができる。 The CPU 210 of the user terminal 200 connects to the server 100 via the communication interface 260 in accordance with instructions from the user via the operation unit 240 (step S112). For example, the connection process to the server 100 can be started by clicking on a banner for questions posted on various homepages or the URL of a short message.

サーバ１００のＣＰＵ１１０は、ユーザ端末２００からの要求に応じて、通信インターフェイス１６０を介して、ユーザサポート用のピアツーピア通信のためのＷＥＢページをユーザ端末２００にダウンロードする（ステップＳ１１４）。 In response to a request from the user terminal 200, the CPU 110 of the server 100 downloads a web page for peer-to-peer communication for user support to the user terminal 200 via the communication interface 160 (step S114).

ユーザ端末２００のＣＰＵ２１０は、サーバ１００からのＷＥＢページをディスプレイ２３０に表示する。ＣＰＵ２１０は、操作部２４０を介してオペレータとのリアルタイムビデオ通信を開始するための命令を受け付けると、ＷＥＢページやリモートＷｅｂＲＴＣの指示に従って、カメラ２９０を起動して、オペレータからの応答を待ち受ける（ステップＳ１１６）。 The CPU 210 of the user terminal 200 displays the web page from the server 100 on the display 230. When the CPU 210 receives a command to start real-time video communication with the operator via the operation unit 240, it starts the camera 290 according to the instructions on the web page or remote WebRTC, and waits for a response from the operator (step S116).

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、オペレータ端末３００にユーザが待機していることを表示させる（ステップＳ１１８）。 The CPU 110 of the server 100 causes the operator terminal 300 to display, via the communication interface 160, that the user is waiting (step S118).

オペレータ端末３００のＣＰＵ３１０は、操作部３４０を介して、オペレータからの開始命令を受け付けて（ステップＳ１２０）、通信インターフェイス３６０を介して、その旨をサーバ１００に応答する（ステップＳ１２２）。 The CPU 310 of the operator terminal 300 accepts a start command from the operator via the operation unit 340 (step S120) and responds to that effect to the server 100 via the communication interface 360 (step S122).

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、ユーザ端末２００とオペレータ端末３００とに、ピアツーピア通信の接続に必要な情報を提供する（ステップＳ１２４）。 The CPU 110 of the server 100 provides the information necessary for connecting peer-to-peer communication to the user terminal 200 and the operator terminal 300 via the communication interface 160 (step S124).

ユーザ端末２００とオペレータ端末３００とは、上述のサーバ１００を介さないピアツーピア通信の接続に必要な情報を交換し合うことによって、ピアツーピア通信を開始して（ステップＳ１２６）、以下の状態に移行する。 The user terminal 200 and the operator terminal 300 start peer-to-peer communication by exchanging information necessary for connecting peer-to-peer communication without going through the above-mentioned server 100 (step S126), and transition to the following state.

ユーザ端末２００のＣＰＵ２１０は、カメラ２９０による撮影を行いながら、図２に示すように、撮影中の動画像をディスプレイ２３０の左側に表示したり、当該動画像やマイク２８０からの音声を通信インターフェイス３６０を介してオペレータ端末３００に送信したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、通信インターフェイス２６０を介して、オペレータ端末３００からの編集中の動画像ストリーミングデータや音声データを受信して、編集中の動画像をディスプレイ２３０の右側に表示したり、スピーカ２７０からオペレータの音声を出力したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、オペレータとの通信を終了するためのボタンをディスプレイ２３０に表示したり、チャット画面２３５を表示したりする。 While capturing an image using the camera 290, the CPU 210 of the user terminal 200 displays the video being captured on the left side of the display 230 as shown in FIG. 2, and transmits the video and audio from the microphone 280 to the operator terminal 300 via the communication interface 360 (step S130). The CPU 210 also receives streaming video data and audio data being edited from the operator terminal 300 via the communication interface 260, and displays the video being edited on the right side of the display 230 and outputs the operator's audio from the speaker 270 (step S130). The CPU 210 also displays a button for ending communication with the operator on the display 230, and displays a chat screen 235.

オペレータ端末３００のＣＰＵ３１０は、図２に示すように、ユーザ端末２００で撮影中の動画像をディスプレイ３３０の左側に表示したり、ユーザ端末２００からの音声をスピーカ３７０から出力したりする（ステップＳ１４０）。ＣＰＵ３１０は、操作部３４０からのオペレータによる切り取り命令を受け付けて、動画像から静止画像を取得して、ディスプレイ３３０の右側の編集用画面３３２に表示させる。ＣＰＵ３１０は、タッチパネル３５０を介して静止画像に対して画像やテキストなどを上書きしたり編集したりしながら、当該編集されている画面自体の動画像やマイク３８０で拾った音声を通信インターフェイス３６０を介してユーザ端末２００に送信する。 2, the CPU 310 of the operator terminal 300 displays the moving image being captured by the user terminal 200 on the left side of the display 330, and outputs the sound from the user terminal 200 from the speaker 370 (step S140). The CPU 310 accepts a cut command from the operator via the operation unit 340, acquires a still image from the moving image, and displays it on the editing screen 332 on the right side of the display 330. The CPU 310 overwrites and edits images, text, etc. on the still image via the touch panel 350, and transmits the moving image of the screen being edited and the sound picked up by the microphone 380 to the user terminal 200 via the communication interface 360.

なお、編集中においても、ＣＰＵ３１０は、ディスプレイ３３０の左側に、ユーザ端末２００から受信したカメラの撮影画像のストリーミング映像を表示しており、操作部３４０からのオペレータによる切り取り命令を受け付けて、動画像から静止画像を取得してもよい。すなわち、オペレータは、ディスプレイ３３０の右側の編集画面の静止画像を自由に更新して、編集作業を仕切り直すことができる。 Even during editing, the CPU 310 displays streaming video of the camera image received from the user terminal 200 on the left side of the display 330, and may accept a cut command from the operator via the operation unit 340 to obtain a still image from the moving image. In other words, the operator can freely update the still image on the editing screen on the right side of the display 330 and start the editing work over.

ユーザ端末２００とオペレータ端末３００とは、画面２３５，３３５を利用して、テキストやスタンプなどによるチャットを実行できる（ステップＳ１５０） The user terminal 200 and the operator terminal 300 can use the screens 235 and 335 to chat using text, stamps, etc. (step S150)

本実施の形態においては、ＣＰＵ３１０は、通信インターフェイス３６０を介して、ユーザ端末２００からのカメラ動画像や音声や、オペレータ端末３００での編集中の動画像や音声などをサーバ１００にアップロードする（ステップＳ１５２）。 In this embodiment, the CPU 310 uploads camera video and audio from the user terminal 200, as well as video and audio being edited on the operator terminal 300, to the server 100 via the communication interface 360 (step S152).

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、オペレータ端末３００から受信した、ユーザ端末２００からのカメラ動画像や音声や、オペレータ端末３００での編集中の動画像や音声などをデータベースに蓄積していく（ステップＳ１５４）。 The CPU 110 of the server 100 accumulates in a database the camera video and audio from the user terminal 200, as well as the video and audio being edited on the operator terminal 300, received from the operator terminal 300 via the communication interface 160 (step S154).

本実施の形態においては、ユーザ端末２００に対するユーザの命令や、オペレータ端末３００に対するオペレータの命令や、通信切断などによって（ステップＳ１６０）、ユーザ端末２００のＣＰＵ２１０は、ピアツーピアによるオペレータ端末３００との通信を終了し（ステップＳ１６２）、オペレータ端末３００のＣＰＵ３１０は、ピアツーピアによるユーザ端末２００との通信を終了する（ステップＳ１６４）。
＜第２の実施の形態＞ In this embodiment, in response to a user command to the user terminal 200, an operator command to the operator terminal 300, or a communication disconnection (step S160), the CPU 210 of the user terminal 200 terminates peer-to-peer communication with the operator terminal 300 (step S162), and the CPU 310 of the operator terminal 300 terminates peer-to-peer communication with the user terminal 200 (step S164).
Second Embodiment

上記の実施の形態においては、サポートセンターとのコールセッション中に、ユーザ端末２００において２つのビデオストリームが表示される。たとえば、１つ目のビデオストリームはオーディオがミュートされたユーザ端末２００のカメラ２９０からの撮影画像であり、２つ目はオペレータ端末３００からの編集に関するビデオ/オーディオストリームである。なお、オペレータ端末３００から登録済みの製品のサポートファイルなどからビデオファイルのＵＲＬを送信すると、ユーザ端末２００において３つ目のビデオが表示される場合もある。 In the above embodiment, two video streams are displayed on the user terminal 200 during a call session with the support center. For example, the first video stream is an image captured by the camera 290 of the user terminal 200 with the audio muted, and the second is a video/audio stream related to editing from the operator terminal 300. Note that when the operator terminal 300 transmits the URL of a video file from a support file of a registered product, a third video may be displayed on the user terminal 200.

スマートフォンなどのＯＳ（Operating System）の中には、ユーザ端末２００が、オペレータ端末３００からのビデオファイルを再生しようとすると、リモートＷｅｂＲＴＣによるビデオ/オーディオストリームを停止してしまうものもある。つまり、ユーザは、いずれかの音声やビデオしか視聴することができない場合がある。オペレータ端末３００からのビデオファイルを再生しつつ、リモートＷｅｂＲＴＣのビデオ/オーディオストリームを中断しないようにするためには、新しいビデオファイルの音声をミュートする必要があるが、この場合は、ユーザ端末２００では、オペレータ端末３００からのビデオの音声を聞くことができないという問題が生じる。 Some operating systems (OSs) for smartphones and the like stop the video/audio stream from the remote WebRTC when the user terminal 200 attempts to play a video file from the operator terminal 300. This means that the user may only be able to view one of the audio or video files. In order to play a video file from the operator terminal 300 without interrupting the video/audio stream from the remote WebRTC, it is necessary to mute the audio of the new video file. In this case, however, the user terminal 200 is unable to hear the audio of the video from the operator terminal 300.

そこで、本実施の形態においては、以下のように構成されている。ユーザ端末２００のＣＰＵ２１０は、オペレータ端末３００からのビデオファイルのＵＲＬを受け取ると、ＷＥＢページの指示に従って、属性「ミュート」がオンになっている新しいビデオ要素を作成する。そして、ユーザ端末２００のＣＰＵ２１０は、操作部２４０を介してユーザから、オペレータ端末３００からのビデオの再生命令を受け付けると、ＷＥＢブラウザがリモートによるＷｅｂＲＴＣビデオストリームを停止してしまわないように、ミュートされたビデオを再生し始める。そして、すぐに、ＣＰＵ２１０は、ＷＥＢページの指示に従って、オペレータ端末３００からのビデオのミュートを解除して、当該ビデオの音声をスピーカ２７０から出力し始める。 Therefore, this embodiment is configured as follows. When the CPU 210 of the user terminal 200 receives the URL of the video file from the operator terminal 300, it creates a new video element with the attribute "mute" turned on according to the instructions on the WEB page. Then, when the CPU 210 of the user terminal 200 receives an instruction from the user via the operation unit 240 to play the video from the operator terminal 300, it starts playing the muted video so that the WEB browser does not stop the remote WebRTC video stream. Then, immediately, according to the instructions on the WEB page, the CPU 210 unmutes the video from the operator terminal 300 and starts outputting the audio of that video from the speaker 270.

なお、オペレータ端末３００からのビデオを一時停止した場合には、ＣＰＵ２１０は、ＷＥＢページの指示に従って、オペレータ端末３００からのビデオのサウンドを再度ミュートにする。ユーザ端末２００のＣＰＵ２１０は、オペレータ端末３００からのビデオを再度再生する場合には、一旦ミュートされた状態で動画を再生し始めてから、すぐにＷＥＢページの指示に従って、ミュートを解除する。 When the video from the operator terminal 300 is temporarily stopped, the CPU 210 mutes the sound of the video from the operator terminal 300 again in accordance with the instructions on the WEB page. When the CPU 210 of the user terminal 200 plays the video from the operator terminal 300 again, it starts playing the video in a muted state, and then immediately unmutes the sound in accordance with the instructions on the WEB page.

本実施の形態においては、ユーザ端末２００では、このような処理を実行することによって、リモートからのＷｅｂＲＴＣビデオ/オーディオストリームを継続的に再生し続けながら、並行して、オペレータ端末３００からのサポートビデオファイルも再生することができるものである。
＜第３の実施の形態＞ In this embodiment, by executing such processing, the user terminal 200 can continuously play back the WebRTC video/audio stream from a remote location while simultaneously playing back the supporting video file from the operator terminal 300.
Third Embodiment

また、ユーザ端末２００やオペレータ端末３００などのピア間で接続を確立しようとすると、ＷＥＢブラウザ間の直接接続が確立できない可能性ある。 In addition, when attempting to establish a connection between peers such as a user terminal 200 and an operator terminal 300, it may not be possible to establish a direct connection between the web browsers.

より詳細には、図７に示すように、ピアが同じローカルネットワークにない場合、各ピアのパブリックアドレスを検出するために、パブリックにアクセス可能なＳＴＵＮ（Session Traversal Utilities for NATs）サーバが使用される。ＳＴＵＮサーバを使用すると、クライアントは、ＮＡＴ（Network Address Translation）によって割り当てられたパブリックＩＰアドレスとポートに関する情報を取得できる。これによって、相手端末からのデータパケットを受信することができる。 More specifically, as shown in Figure 7, a publicly accessible Session Traversal Utilities for NATs (STUN) server is used to discover the public address of each peer if the peers are not on the same local network. Using the STUN server, the client can obtain information about the public IP address and port assigned to it by the Network Address Translation (NAT), so that it can receive data packets from the peer.

しかしながら、パブリックＩＰアドレスとポートに関する既知の情報があっても、ピア間の直接接続が不可能になる場合がある。たとえば、ＮＡＴまたはファイアウォールがそのような直接的なトラフィックを許可しないことがある。このような場合、ピア間の接続を確立する方法としては、ＴＵＲＮ（Traversal Using Relay around NAT）と呼ばれる公的にアクセス可能な中間サーバを介してデータストリームをルーティングすることが有効である。ＴＵＲＮサーバは、ピア間のデータのリレーポイントとして動作し、あるピアから別のピアにデータストリームを転送する。 However, even with known information about public IP addresses and ports, there are cases when a direct connection between peers is not possible. For example, a NAT or firewall may not allow such direct traffic. In such cases, a viable way to establish a connection between peers is to route the data stream through a publicly accessible intermediate server called TURN (Traversal Using Relay around NAT). TURN servers act as relay points for data between peers, forwarding the data stream from one peer to another.

ＴＵＲＮサーバは、ほとんどの場合ピア間の接続を提供するが、データストリームのリレーに使用するにはリソースを大量に消費する可能性があるため、最初に他のメカニズム（直接接続やＳＴＵＮサーバなど）を使用し、それらが失敗した場合に、フォールバックして、ＴＵＲＮサーバを使用することが好ましい。 TURN servers provide connections between peers in most cases, but because they can be resource intensive to use for relaying data streams, it is preferable to use other mechanisms first (such as direct connections or STUN servers) and then fall back to using TURN servers if they fail.

たとえば、ＩＣＥ（Interactive Connectivity Establishment）方法論を採用するなどして、接続を確立するための最適な方法を見つけることができる。 For example, you can find the best way to establish a connection by employing the ICE (Interactive Connectivity Establishment) methodology.

本実施の形態においては、ユーザ端末２００からの呼びかけと、オペレータ端末３００の応答とに基づいて、まず、サーバ１００との間のＷｅｂＲＴＣ接続の確立を試みる。ユーザ端末２００のＷＥＢブラウザはＳＤＰオファーを生成し、それをシグナリング（Ｗｅｂｓｏｃｋｅｔ）サーバに送信する。シグナリングサーバが、ＳＤＰオファーをオペレータ端末３００に転送する。オペレータ端末３００のＷＥＢブラウザは、ユーザ端末２００からのＳＤＰオファーを使用してＳＤＰ応答を生成し、それをシグナリングサーバに送信する。シグナリングサーバはそれをユーザ端末２００に配信する。その間、接続用のＩＣＥ候補が収集され、シグナリングサーバを介してユーザ端末２００とオペレータ端末３００との間で交換される。ユーザ端末２００やオペレータ端末３００は、直接接続するための最適な候補を見つけて使用する。このようにして、ユーザ端末２００とオペレータ端末３００とが相互に直接的に常時接続ができると、両者のＷＥＢブラウザの間でデータパケットを直接的に送受信することができる。 In this embodiment, based on the call from the user terminal 200 and the response from the operator terminal 300, first, an attempt is made to establish a WebRTC connection with the server 100. The WEB browser of the user terminal 200 generates an SDP offer and sends it to the signaling (WebSocket) server. The signaling server forwards the SDP offer to the operator terminal 300. The WEB browser of the operator terminal 300 uses the SDP offer from the user terminal 200 to generate an SDP response and sends it to the signaling server. The signaling server distributes it to the user terminal 200. Meanwhile, ICE candidates for the connection are collected and exchanged between the user terminal 200 and the operator terminal 300 via the signaling server. The user terminal 200 or the operator terminal 300 finds and uses the optimal candidate for direct connection. In this way, when the user terminal 200 and the operator terminal 300 can be directly and constantly connected to each other, data packets can be sent and received directly between the web browsers of both terminals.

なお、ＮＡＴやファイアウォールなどが原因で、直接ピアツーピア接続を確立するために使用できるＩＣＥ候補がない場合は、ユーザ端末２００やオペレータ端末３００はＴＵＲＮサーバから取得したＩＣＥ候補を介して接続を試みる。ＴＵＲＮサーバを介した接続が確立されると、ＴＵＲＮサーバは、ピア間でデータパケットを中継する仲介サーバとして機能し始める。ＴＵＲＮサーバを介してデータを中継する場合、ユーザ端末２００やオペレータ端末３００はデータパケットをＴＵＲＮサーバに送信し、ＴＵＲＮサーバはそれらを別のピアに転送する。データパケットの中継にＴＵＲＮサーバを使用することで、ピア同士の直接接続が不可能な場合でも、ＴＵＲＮサーバを介してピアを接続することが可能になる。 If there is no ICE candidate that can be used to establish a direct peer-to-peer connection due to a NAT, a firewall, etc., the user terminal 200 or the operator terminal 300 attempts to connect via an ICE candidate obtained from the TURN server. Once a connection via the TURN server is established, the TURN server begins to function as an intermediary server that relays data packets between peers. When relaying data via the TURN server, the user terminal 200 or the operator terminal 300 sends data packets to the TURN server, which then forwards them to another peer. By using the TURN server to relay data packets, it becomes possible to connect peers via the TURN server even when a direct connection between peers is not possible.

また、ＴＵＲＮサーバによるリレーを必要とする多数の接続を処理するために、ＳＴＵＮ／ＴＵＲＮサーバクラスターの前に負荷分散を実装して、クラスター内の複数のサーバに負荷を分散させることができる。負荷分散を実装することにより、システムはスケーラブルになり、接続負荷を複数のＴＵＲＮサーバのノードに分散することで、必要に応じて接続の増加に対応することができるようになる。
＜第４の実施の形態＞ Additionally, to handle the large number of connections that require relaying by a TURN server, load balancing can be implemented in front of a STUN/TURN server cluster to distribute the load across multiple servers in the cluster. Implementing load balancing makes the system scalable and allows the system to handle an increase in connections as needed by distributing the connection load across multiple TURN server nodes.
<Fourth embodiment>

上記の実施の形態においては、図２（Ｂ）に示すように、オペレータ端末３００においては、ディスプレイ３３０の左側にユーザ端末２００のカメラ２９０の撮影画像のストリーミングが表示され、ディスプレイ３３０の右側に編集画面が表示されるものであった。しかしながら、表示される位置は特に限定されない。たとえば、図８に示すように、オペレータ端末３００において、ディスプレイ３３０の右側にユーザ端末２００のカメラ２９０の撮影画像のストリーミングが表示され、ディスプレイ３３０の左側に編集画面が表示されてもよい。 In the above embodiment, as shown in FIG. 2(B), in the operator terminal 300, a streaming of images captured by the camera 290 of the user terminal 200 is displayed on the left side of the display 330, and an editing screen is displayed on the right side of the display 330. However, the display position is not particularly limited. For example, as shown in FIG. 8, in the operator terminal 300, a streaming of images captured by the camera 290 of the user terminal 200 may be displayed on the right side of the display 330, and an editing screen may be displayed on the left side of the display 330.

同様に、図８に示すように、ユーザ端末２００において、ディスプレイ２３０の右側にユーザ端末２００のカメラ２９０の撮影画像が表示され、ディスプレイ２３０の左側にオペレータ端末３００からの編集画面のストリーミングが表示されてもよい。 Similarly, as shown in FIG. 8, in the user terminal 200, an image captured by the camera 290 of the user terminal 200 may be displayed on the right side of the display 230, and a streaming of the editing screen from the operator terminal 300 may be displayed on the left side of the display 230.

あるいは、図９に示すように、オペレータ端末３００において、ディスプレイ３３０の上側または下側にユーザ端末２００のカメラ２９０の撮影画像のストリーミングが表示され、ディスプレイ３３０の下側または上側に編集画面が表示されてもよい。 Alternatively, as shown in FIG. 9, in the operator terminal 300, streaming of images captured by the camera 290 of the user terminal 200 may be displayed on the upper or lower side of the display 330, and an editing screen may be displayed on the lower or upper side of the display 330.

同様に、図９に示すように、ユーザ端末２００において、ディスプレイ２３０の上側または下側にユーザ端末２００のカメラ２９０の撮影画像が表示され、ディスプレイ２３０の下側または上側にオペレータ端末３００からの編集画面のストリーミングが表示されてもよい。
＜第５の実施の形態＞ Similarly, as shown in FIG. 9 , in the user terminal 200, an image captured by the camera 290 of the user terminal 200 may be displayed on the upper or lower side of the display 230, and streaming of an editing screen from the operator terminal 300 may be displayed on the upper or lower side of the display 230.
Fifth embodiment

あるいは、常時２つの画面が表示されなくてもよい。たとえば、図１０（Ａ）に示すように、ユーザ端末２００は、ダウンロードしたＷＥＢページの指示に従って、カメラを起動して、撮影している最中の動画像をディスプレイ２３０に表示するとともに、撮影している動画像やマイクで取得した音声を常時接続サーバを介してオペレータ端末３００に送信する。オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、ユーザ端末２００で撮影されている最中の動画像をディスプレイ３３０に表示するとともに、ユーザ端末２００に入力された音声をスピーカから出力する。なお、オペレータ端末３００のマイクで取得された音声は、ユーザ端末２００のスピーカから出力される。 Alternatively, two screens do not have to be displayed at all times. For example, as shown in FIG. 10(A), the user terminal 200 starts the camera in accordance with the instructions on the downloaded web page, displays the video being captured on the display 230, and transmits the video being captured and the audio captured by the microphone to the operator terminal 300 via the constant connection server. In accordance with the instructions on the downloaded web page, the operator terminal 300 displays the video being captured by the user terminal 200 on the display 330, and outputs the audio input to the user terminal 200 from the speaker. The audio captured by the microphone of the operator terminal 300 is output from the speaker of the user terminal 200.

この状態において、オペレータが所望のタイミングで所定のボタンを押すと、オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、図１０（Ｂ）に示すように、押されたタイミングの画像が静止画像として、ディスプレイ３３０の編集画面に表示する。オペレータは、当該静止画像に対して編集を加えることができる。たとえば、説明の対象となっているボタンや操作部やその他の部位に印をつけたり、説明のためのイラストを描いたりすることができる。オペレータ端末３００は、ダウンロードしたＷＥＢページの指示に従って、編集されている最中の右側の画面の動画像やマイクで取得した音声を常時接続サーバを介してユーザ端末２００に送信する。ユーザ端末２００は、ダウンロードしたＷＥＢページの指示に従って、オペレータ端末３００からの編集中の動画像をディスプレイ２３０に表示する。なお、この状態において、ユーザ端末２００に入力された音声はオペレータ端末３００で出力され、オペレータ端末３００に入力された音声はユーザ端末２００で出力される。 In this state, when the operator presses a specific button at a desired timing, the operator terminal 300 displays the image at the timing of the button press as a still image on the editing screen of the display 330, as shown in FIG. 10(B), in accordance with the instructions of the downloaded WEB page. The operator can add edits to the still image. For example, the operator can mark the buttons, operation parts, and other parts that are the subject of the explanation, or draw illustrations for explanation. In accordance with the instructions of the downloaded WEB page, the operator terminal 300 transmits the moving image of the right screen being edited and the audio captured by the microphone to the user terminal 200 via the constant connection server. In accordance with the instructions of the downloaded WEB page, the user terminal 200 displays the moving image being edited from the operator terminal 300 on the display 230. In this state, the audio input to the user terminal 200 is output by the operator terminal 300, and the audio input to the operator terminal 300 is output by the user terminal 200.

なお、オペレータの説明がユーザに上手く伝わらない場合は、オペレータ端末３００でも、ユーザ端末２００でも、カメラに戻るためのボタン３３４、２３４を押すことによって、ＣＰＵ３１０，２１０が、ＷＥＢページやリモートＷｅｂＲＴＣの指示に従って、図１０（Ａ）に示す状態からの処理を実行し直すことが好ましい。 If the operator's explanation is not properly conveyed to the user, it is preferable that the user presses the button 334, 234 to return to the camera on either the operator terminal 300 or the user terminal 200, and the CPU 310, 210 re-executes the process from the state shown in FIG. 10(A) in accordance with the instructions on the WEB page or remote WebRTC.

このように、本実施の形態においても、オペレータはユーザに見えている景色に対して画像や文字やイラストなどを描くことができる。つまり、オペレータは、ユーザの周囲の状況を的確に認識しやすくなり、ユーザに対する説明も容易になる。また、ユーザは、自分が見ている景色に対して説明が付された画像を確認することができる。その結果、ユーザがオペレータの意図を認識しやすくなり、オペレータとユーザとの間での話の齟齬を低減することができる。
＜第６の実施の形態＞ In this manner, also in this embodiment, the operator can draw images, characters, illustrations, and the like on the scenery visible to the user. In other words, the operator can more easily accurately recognize the situation around the user, and can more easily explain to the user. In addition, the user can check an image with an explanation of the scenery he or she is looking at. As a result, the user can more easily recognize the intention of the operator, and discrepancies in the conversation between the operator and the user can be reduced.
Sixth embodiment

上記の実施の形態においては、オペレータ端末３００において、ユーザ端末２００で撮影された動画像を切り取った静止画像に対する編集を行い、当該編集中のストリーミング画像をユーザ端末２００で表示するものであった。しかしながら、図１１に示すように、オペレータ端末３００において、ユーザ端末２００で撮影された動画像に編集を行い、当該編集中のストリーミング画像をユーザ端末２００で表示してもよい。 In the above embodiment, the operator terminal 300 edits a still image cut from a video captured by the user terminal 200, and displays the streaming image during the editing on the user terminal 200. However, as shown in FIG. 11, the operator terminal 300 may edit a video captured by the user terminal 200, and display the streaming image during the editing on the user terminal 200.

より詳細には、本実施の形態においては、図６のピアツーピア通信の開始（ステップＳ１２６）の後、以下のような処理が行われる。 More specifically, in this embodiment, after the peer-to-peer communication is started (step S126) in FIG. 6, the following processing is performed.

ユーザ端末２００のＣＰＵ２１０は、カメラ２９０による撮影を行いながら、図１１に示すように、撮影中の動画像をディスプレイ２３０の左側に表示したり、当該動画像やマイク２８０からの音声を通信インターフェイス３６０を介してオペレータ端末３００に送信したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、通信インターフェイス２６０を介して、オペレータ端末３００からの編集中の動画像ストリーミングデータや音声データを受信して、編集中の動画像をディスプレイ２３０の右側に表示したり、スピーカ２７０からオペレータの音声を出力したりする（ステップＳ１３０）。また、ＣＰＵ２１０は、オペレータとの通信を終了するためのボタンをディスプレイ２３０に表示したり、チャット画面２３５を表示したりする。 While capturing an image using the camera 290, the CPU 210 of the user terminal 200 displays the video being captured on the left side of the display 230 as shown in FIG. 11, and transmits the video and audio from the microphone 280 to the operator terminal 300 via the communication interface 360 (step S130). The CPU 210 also receives streaming video data and audio data being edited from the operator terminal 300 via the communication interface 260, and displays the video being edited on the right side of the display 230 and outputs the operator's audio from the speaker 270 (step S130). The CPU 210 also displays a button for ending communication with the operator on the display 230, and displays a chat screen 235.

オペレータ端末３００のＣＰＵ３１０は、図１１に示すように、ユーザ端末２００で撮影中の動画像をディスプレイ３３０の左側に表示したり、ユーザ端末２００からの音声をスピーカ３７０から出力したりする（ステップＳ１４０）。ＣＰＵ３１０は、操作部３４０からのオペレータによる編集開始を受け付けて、ユーザ端末２００からの動画像自体を、ディスプレイ３３０の右側の編集用画面３３２に表示させる。ＣＰＵ３１０は、タッチパネル３５０を介して静止画像に対して画像やテキストなどを上書きしたり編集したりしながら、当該編集されている画面自体の動画像やマイク３８０で拾った音声を通信インターフェイス３６０を介してユーザ端末２００に送信する。 As shown in FIG. 11, the CPU 310 of the operator terminal 300 displays the moving image being captured by the user terminal 200 on the left side of the display 330, and outputs the sound from the user terminal 200 from the speaker 370 (step S140). The CPU 310 accepts the start of editing by the operator from the operation unit 340, and displays the moving image itself from the user terminal 200 on the editing screen 332 on the right side of the display 330. The CPU 310 overwrites and edits images, text, etc. on the still image via the touch panel 350, and transmits the moving image of the screen itself being edited and the sound picked up by the microphone 380 to the user terminal 200 via the communication interface 360.

なお、撮影動画に対する編集としては、キーボードやペンや筆などによる編集に限らず、オペレータ端末３００のＣＰＵ３１０は、オペレータ端末３００のカメラ３９０や外付けのカメラ３９０によって撮影された静止画像や動画像などを、ＭＲ（Mixed Reality）技術を利用することによって、ユーザ端末２００の撮影動画に合成させることも可能である。この場合は、ユーザ端末２００やオペレータ端末３００では、ユーザ端末２００で撮影中の動画と、ユーザ端末２００で撮影中の動画に編集が加わった動画と、が並べて、または切り替わりながら表示される。 Editing of the captured video is not limited to editing with a keyboard, pen, brush, etc., and the CPU 310 of the operator terminal 300 can also use MR (Mixed Reality) technology to combine still images and video captured by the camera 390 of the operator terminal 300 or an external camera 390 with the video captured by the user terminal 200. In this case, the user terminal 200 and the operator terminal 300 display the video being captured by the user terminal 200 and the video that has been edited, side by side or in a switching manner.

なお、上記の実施の形態や本実施の形態の処理の方法を、ユーザ端末２００やオペレータ端末３００において、切り替えられることが好ましい。たとえば、ユーザ端末２００のＣＰＵ２１０が、操作部２４０を介してユーザからの指示を受け付けることによって、第１の実施の形態の表示態様から、第４の実施の形態の表示態様に切り替えてもよい。あるいは、オペレータ端末３００のＣＰＵ３１０が、操作部３４０を介してオペレータからの指示を受け付けることによって、第１の実施の形態の処理方法から、本実施の形態の処理方法に切り替えてもよい
＜第７の実施の形態＞ It is preferable that the above-described embodiments and the processing method of this embodiment can be switched in the user terminal 200 or the operator terminal 300. For example, the CPU 210 of the user terminal 200 may switch from the display mode of the first embodiment to the display mode of the fourth embodiment by receiving an instruction from a user via the operation unit 240. Alternatively, the CPU 310 of the operator terminal 300 may switch from the processing method of the first embodiment to the processing method of this embodiment by receiving an instruction from an operator via the operation unit 340. <Seventh embodiment>

上記の実施の形態のネットワークシステム１の各装置の役割の一部または全部を他の装置が実行してもよい。たとえば、サーバ１００やユーザ端末２００やオペレータ端末３００の各々の役割の一部または全部を別の装置が担ったり、それらの装置の１つ１つの役割の一部または全部を、複数の装置で分担したりしてもよい。たとえば、サーバ１００の役割が、クラウド上の複数の装置で実現されてもよいし、ＷＥＢページやＷＥＢブラウザの役割が、ユーザ端末２００やオペレータ端末３００の別のアプリケーションプログラムで実現されたり、サーバ１００によって実現されたりしてもよい。逆に、サーバ１００の役割の一部または全部がユーザ端末２００やオペレータ端末３００によって実現されてもよい。
＜まとめ＞ Some or all of the roles of each device in the network system 1 of the above embodiment may be performed by other devices. For example, some or all of the roles of the server 100, the user terminal 200, and the operator terminal 300 may be performed by another device, or some or all of the roles of each of these devices may be shared by multiple devices. For example, the role of the server 100 may be realized by multiple devices on the cloud, and the role of the WEB page or the WEB browser may be realized by another application program of the user terminal 200 or the operator terminal 300, or may be realized by the server 100. Conversely, some or all of the role of the server 100 may be realized by the user terminal 200 or the operator terminal 300.
<Summary>

上記の実施の形態においては、カメラを含むユーザ端末と、操作部を含むオペレータ端末と、を備えるネットワークシステムが提供される。ユーザ端末は、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するとともに、カメラで撮影中の画像とオペレータ端末からの動画像とを表示する。オペレータ端末は、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の画像を、インターネットを介して動画像としてユーザ端末に送信する。 In the above embodiment, a network system is provided that includes a user terminal including a camera and an operator terminal including an operation unit. The user terminal transmits an image being captured by the camera to the operator terminal via the Internet, and displays the image being captured by the camera and a video from the operator terminal. Based on a command input to the operation unit, the operator terminal transmits an image being edited from the image captured by the camera to the user terminal via the Internet as a video.

好ましくは、オペレータ端末は、編集中の画像として、カメラで撮影中の画像を切り取った静止画像に対する編集中のストリーミング画像を、ユーザ端末に送信する。 Preferably, the operator terminal transmits to the user terminal, as the image being edited, a streaming image being edited for a still image cropped from an image being captured by a camera.

好ましくは、オペレータ端末は、編集中の画像として、カメラで撮影中の動画像に対する編集中のストリーミング画像を、ユーザ端末に送信する。 Preferably, the operator terminal transmits to the user terminal a streaming image being edited for a video being captured by a camera as the image being edited.

好ましくは、ユーザ端末は、カメラで撮影中の画像と、オペレータ端末からの編集中の画像と、を同時に並べて表示する。 Preferably, the user terminal simultaneously displays the image being captured by the camera and the image being edited from the operator terminal side by side.

好ましくは、オペレータ端末は、カメラで撮影中の画像と、編集中の画像に対する編集中の画像と、を同時に並べて表示する。 Preferably, the operator terminal simultaneously displays the image being captured by the camera and the image being edited for the image being edited side by side.

上記の実施の形態においては、ユーザ端末が、カメラで撮影中の画像を表示しながら、カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するステップと、オペレータ端末が、操作部に入力される命令に基づいて、カメラで撮影された画像に対する編集中の動画像を、インターネットを介してユーザ端末に送信するステップと、ユーザ端末が、動画像を表示するステップと、を備える情報処理方法が提供される。 In the above embodiment, an information processing method is provided that includes the steps of: a user terminal transmitting an image being captured by the camera to an operator terminal via the Internet while displaying the image being captured by the camera; the operator terminal transmitting a video being edited for the image captured by the camera to the user terminal via the Internet based on a command input to an operation unit; and the user terminal displaying the video.

上記の実施の形態においては、オペレータ端末のためのプログラムが提供される。プログラムは、ユーザ端末で撮影された動画像を、インターネットを介して受信して表示するステップと、操作部に入力される命令に基づいて、ユーザ端末で撮影された画像に対する編集命令を受け付けるステップと、編集中の動画像を、インターネットを介してユーザ端末に送信するステップと、をプロセッサに実行させる。 In the above embodiment, a program for an operator terminal is provided. The program causes a processor to execute the steps of receiving and displaying a video captured by a user terminal via the Internet, accepting an editing command for the image captured by the user terminal based on a command input to the operation unit, and transmitting the video being edited to the user terminal via the Internet.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein should be considered to be illustrative and not restrictive in all respects. The scope of the present invention is indicated by the claims, not by the above description, and is intended to include all modifications within the meaning and scope of the claims.

１ ：ネットワークシステム
１００ ：サーバ
１１０ ：ＣＰＵ
１２０ ：メモリ
１４０ ：操作部
１６０ ：通信インターフェイス
２００ ：ユーザ端末
２１０ ：ＣＰＵ
２２０ ：メモリ
２３０ ：ディスプレイ
２４０ ：操作部
２５０ ：タッチパネル
２６０ ：通信インターフェイス
２７０ ：スピーカ
２８０ ：マイク
２９０ ：カメラ
３００ ：オペレータ端末
３１０ ：ＣＰＵ
３２０ ：メモリ
３３０ ：ディスプレイ
３４０ ：操作部
３５０ ：タッチパネル
３６０ ：通信インターフェイス
３７０ ：スピーカ
３８０ ：マイク
３９０ ：カメラ
３９０Ｂ ：外付けカメラ 1: Network system 100: Server 110: CPU
120: Memory 140: Operation unit 160: Communication interface 200: User terminal 210: CPU
220: Memory 230: Display 240: Operation unit 250: Touch panel 260: Communication interface 270: Speaker 280: Microphone 290: Camera 300: Operator terminal 310: CPU
320: Memory 330: Display 340: Operation unit 350: Touch panel 360: Communication interface 370: Speaker 380: Microphone 390: Camera 390B: External camera

Claims (7)

第１のカメラを含むユーザ端末と、
操作部を含むオペレータ端末と、を備え、
前記ユーザ端末は、前記第１のカメラで撮影中の画像をインターネットを介して前記オペレータ端末に送信する第１送信手段と、前記第１のカメラで撮影中の画像と前記オペレータ端末からの動画像とを表示する第１表示手段とを有し、
前記オペレータ端末は、前記第１のカメラで撮影中の画像に基づくストリーミング映像から所定の入力操作があったタイミングの静止画像を編集用画像として切り出す編集用画像切り出し手段と、前記操作部に入力される命令に基づいて、前記編集用画像に対する編集中の画像を、インターネットを介して前記動画像として前記ユーザ端末に送信する第２送信手段とを有している、ネットワークシステム。 a user terminal including a first camera;
An operator terminal including an operation unit,
the user terminal has a first transmission means for transmitting an image being captured by the first camera to the operator terminal via the Internet, and a first display means for displaying the image being captured by the first camera and a moving image from the operator terminal,
The operator terminal has an editing image extraction means for extracting a still image at the timing when a specified input operation is performed from a streaming video based on the image being captured by the first camera as an editing image, and a second transmission means for transmitting the image being edited for the editing image to the user terminal as the moving image via the Internet based on a command input to the operation unit. 前記編集用画像切り出し手段は、既に編集用画像がある場合に前記入力操作があった場合、当該入力操作があったタイミングの静止画像に編集用画像を更新する、
請求項１に記載のネットワークシステム。 when the input operation is performed while an image for editing already exists, the image for editing cutout means updates the image for editing to a still image at the timing of the input operation;
The network system according to claim 1 . 前記オペレータ端末は、第２のカメラを含み、
前記オペレータ端末は、前記動画像として、前記編集中の画像に前記第２のカメラによって撮影された静止画像または動画像を合成させた画像を、前記ユーザ端末に送信する、請求項１に記載のネットワークシステム。 the operator terminal includes a second camera;
2. The network system according to claim 1, wherein the operator terminal transmits to the user terminal an image in which the image being edited is combined with a still image or a moving image captured by the second camera as the moving image. 前記ユーザ端末は、前記第１のカメラで撮影中の画像と、前記オペレータ端末から送信された前記動画像と、を同時に並べて表示する、請求項１から３のいずれか１項に記載のネットワークシステム。 4. The network system according to claim 1, wherein the user terminal simultaneously displays the image being captured by the first camera and the video transmitted from the operator terminal side by side. 前記オペレータ端末は、前記第１のカメラで撮影中の画像と、前記編集中の画像と、を同時に並べて表示する、請求項１から４のいずれか１項に記載のネットワークシステム。 5. The network system according to claim 1, wherein the operator terminal simultaneously displays the image being captured by the first camera and the image being edited side by side. ユーザ端末が、カメラで撮影中の画像を表示しながら、前記カメラで撮影中の画像をインターネットを介してオペレータ端末に送信するステップと、
前記オペレータ端末が、前記カメラで撮影中の画像に基づくストリーミング映像から所定の入力操作があったタイミングの静止画像を編集用画像として切り出すステップと、
前記オペレータ端末が、操作部に入力される命令に基づいて、前記編集用画像に対する編集中の動画像を、インターネットを介して前記ユーザ端末に送信するステップと、
前記ユーザ端末が、前記動画像を表示するステップと、を備える情報処理方法。 a step of transmitting, via the user terminal, an image being captured by the camera to an operator terminal via the Internet while displaying the image being captured by the camera;
a step of the operator terminal extracting, as an image for editing, a still image at a timing when a predetermined input operation is performed from a streaming video based on an image being captured by the camera;
a step of transmitting, by the operator terminal, a moving image being edited for the image for editing to the user terminal via the Internet based on a command input to an operation unit;
and a step of the user terminal displaying the moving image. オペレータ端末のためのプログラムであって、
ユーザ端末で撮影中の画像に基づくストリーミング映像を、インターネットを介して受信して表示するステップと、
前記ストリーミング映像から所定の入力操作があったタイミングの静止画像を編集用画像として切り出すステップと、
操作部に入力される命令に基づいて、前記編集用画像に対する編集命令を受け付けるステップと、
前記編集用画像に対する編集中の動画像を、インターネットを介して前記ユーザ端末に送信するステップと、をプロセッサに実行させるプログラム。 A program for an operator terminal,
receiving and displaying a streaming video based on an image being captured by the user terminal via the Internet;
extracting a still image at a timing when a predetermined input operation is performed from the streaming video as an image for editing;
receiving an editing command for the image to be edited based on a command input to an operation unit;
and transmitting, to the user terminal via the Internet, a moving image being edited with respect to the image for editing.
JP2021019596A 2021-02-10 2021-02-10 NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM Active JP7489341B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021019596A JP7489341B2 (en) 2021-02-10 2021-02-10 NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021019596A JP7489341B2 (en) 2021-02-10 2021-02-10 NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2022122399A JP2022122399A (en) 2022-08-23
JP7489341B2 true JP7489341B2 (en) 2024-05-23

Family

ID=82939357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021019596A Active JP7489341B2 (en) 2021-02-10 2021-02-10 NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7489341B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123366A (en) 2006-11-14 2008-05-29 Nec Corp Remote work support system, remote work support program, and server
JP2013229672A (en) 2012-04-24 2013-11-07 Panasonic Corp Communication terminal, communication method, communication program, and communication system
JP2015159392A (en) 2014-02-24 2015-09-03 株式会社オプティム Operator terminal, mobile terminal, method for transmitting instruction, and operator terminal program
JP2017120588A (en) 2015-12-28 2017-07-06 株式会社オプティム Screen sharing system, screen sharing method, and screen sharing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123366A (en) 2006-11-14 2008-05-29 Nec Corp Remote work support system, remote work support program, and server
JP2013229672A (en) 2012-04-24 2013-11-07 Panasonic Corp Communication terminal, communication method, communication program, and communication system
JP2015159392A (en) 2014-02-24 2015-09-03 株式会社オプティム Operator terminal, mobile terminal, method for transmitting instruction, and operator terminal program
JP2017120588A (en) 2015-12-28 2017-07-06 株式会社オプティム Screen sharing system, screen sharing method, and screen sharing program

Also Published As

Publication number Publication date
JP2022122399A (en) 2022-08-23

Similar Documents

Publication Publication Date Title
JP6409857B2 (en) Transmission system
US10623700B2 (en) Dynamic speaker selection and live stream delivery for multi-party conferencing
US11956317B2 (en) Unified, browser-based enterprise collaboration platform
EP3996355B1 (en) Method for transferring media stream and user equipment
CN107431781B (en) Information processing apparatus, screen switching method, non-transitory recording medium, and transmission system
JP6634686B2 (en) Information processing apparatus, program, communication platform determination method, transmission system
US10834514B2 (en) Representation of contextual information by projecting different participants&#39; audio from different positions in a 3D soundscape
JP6286240B2 (en) Video communication system, video communication environment providing method, server, server control method, and computer program
JP2003203023A (en) Information processing system, information processor, information processing method, and information processing network program
JP5494129B2 (en) Communication system and communication method
JP7489341B2 (en) NETWORK SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2017028347A (en) Information processing device, communication system, program
JP2020144476A (en) Communication terminal, communication system, communication method, and program
WO2018126134A1 (en) Unified, browser-based enterprise collaboration platform
JP2021056840A (en) Program, communication method, communication terminal and communication system
JP2015156176A (en) Session control system, communication system, program, and session control method
JP6877727B1 (en) Connection method between terminals via the room site of the signaling server, cloud server and program
JP7398248B2 (en) Network systems, servers, and information processing methods
EP3563248B1 (en) Unified, browser-based enterprise collaboration platform
JP6861353B1 (en) Programs, methods, and information processing equipment
JP4573135B2 (en) Information processing apparatus, information processing method, and program
Sakomaa Analysis of a web conferencing system: development and customisation
Presta et al. Setting up CLUE telepresence sessions via the WebRTC data channel
JP2020144477A (en) Communication terminal, communication system, communication method, and program
JP2005073160A (en) Session control method and system arrangement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231110

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240513

R150 Certificate of patent or registration of utility model

Ref document number: 7489341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150