WO2022092126A1 - 秘匿性会話可能なＷｅｂ会議システム - Google Patents

秘匿性会話可能なＷｅｂ会議システム Download PDF

Info

Publication number
WO2022092126A1
WO2022092126A1 PCT/JP2021/039568 JP2021039568W WO2022092126A1 WO 2022092126 A1 WO2022092126 A1 WO 2022092126A1 JP 2021039568 W JP2021039568 W JP 2021039568W WO 2022092126 A1 WO2022092126 A1 WO 2022092126A1
Authority
WO
WIPO (PCT)
Prior art keywords
participants
conversation
web conferencing
conferencing system
participant
Prior art date
Application number
PCT/JP2021/039568
Other languages
English (en)
French (fr)
Inventor
昌也 森
Original Assignee
株式会社Personal AI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Personal AI filed Critical 株式会社Personal AI
Publication of WO2022092126A1 publication Critical patent/WO2022092126A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to a technique that is effective when applied to a program that realizes confidential conversation between some of the participants in a web conferencing system.
  • the web conferencing system is a standardized WebRTC technology that sends voice and image data between participants using a Peer-to-Peer connection, and SFU (Selective Forwarding Unit) that sends voice and image data via a server.
  • SFU Selective Forwarding Unit
  • the difference between the former and the latter, which uses technology, is the difference between sending data directly between participants or via a server, and the terminal performance used by the participants and the communication status of the Internet. Some of them are switched automatically.
  • WebRTC when there are conference participants at 4 locations, participants A, B, C, and D use their own voice and image data as the IP addresses of all participants (in the case of IPV4, as shown in Fig. 1).
  • the Web conferencing system is established by transmitting to (including port information) and receiving data from all participants to play back the voices of all the participants and display images.
  • SFU sends audio and image data to participants once via an arbitrary server.
  • some Web conferencing systems have a function that allows the organizer A to group participants A, B, C, and D including the organizer himself (B, C). It is possible to have a conversation within the group. Conversations within any group can be inaudible to other groups. The organizer who divided the groups can listen to the conversations of the participants in each group. Using this, it is used as a group discussion at the educational site.
  • the voice data is not transmitted from itself to others as shown in FIG. 3, and in the case of the image display setting, only the image is transmitted. Even in this case, reception from others will be performed.
  • the present invention asks another arbitrary participant to participate in a confidential conversation, and when the consulted participant permits it, the confidential conversation is made.
  • the destination of each voice data of the participants is not sent to anyone other than the confidential conversation participants.
  • the latter voice data reproduction volume is lowered compared to the voice data reproduction volume of the participants of the confidential conversation.
  • WebRTC reference example An example when the organizer makes a group setting similar to Participant's voice MUTE example Confidentiality of the current Web conferencing system Example of voice data flow during conversation WebRTC normal time Confidentiality Conversation Participation Request Confidentiality Conversation Participation Consent Confidentiality Data flow after the start of a conversation
  • the present invention can also be implemented as a web conferencing system device or a feasible program for web conferencing. Therefore, the present invention can take an embodiment as hardware, an embodiment as software, or an embodiment of a combination of software and hardware.
  • the program can be recorded on any computer-readable medium such as a hard disk, CD-ROM, optical storage device or magnetic storage device, semiconductor storage device, and the like.
  • a general computer the same microcomputer, a computer system, a smartphone, a tablet terminal device, and a dedicated semiconductor
  • the computer that can be used in the embodiment is a central processing unit (CPU), a main storage device (main memory: RAM), a non-volatile storage device (ROM), a coprocessor, an image accelerator, a cache memory, and an input / output control device. (I / O), etc., equivalent to or part of the hardware resources provided in the Web conferencing system device or computer system.
  • an external storage device such as a hard disk device and a communication means capable of connecting to a network such as the Internet can be provided.
  • the web conferencing system device or the web conferencing system includes various computers such as personal computers, workstations, and mainframe computers, and various portable information terminals such as tablet computers and smartphones.
  • the present invention is to realize confidential conversation among some participants in a Web conferencing system.
  • FIG. 5 is an example of a Web conferencing system realized by using WebRTC in a general Web conferencing system, and is a flow of transmission data (STR-X) from each participant of voice and image data.
  • STR-X transmission data
  • each participant including A whose organizer is A and participants are B, C, and D transmits audio and image data to all other participants by Peer to Peer.
  • the Web conference system terminal used by B (computer, smartphone, etc., the same applies hereinafter) is compared with the Web conference system terminal used by C as shown in FIG. Then, request to participate in the confidentiality conversation (Req in Fig. 6). Participant's screen confidentiality Make a participation request with the participation request button, etc.
  • Req is issued, the transmission of B's voice data to the Web conferencing system terminals of participants A and D other than C is stopped. Continue sending to C's web conferencing system terminal.
  • the audio data reception / playback volume from the web conferencing system terminals A and D can be arbitrarily set from the web conferencing system terminal C. Lower compared to.
  • the web conferencing system terminal B receives the participation refusal Ack from the web conferencing system terminal C, it returns to the transmission state of voice data to the web conferencing system terminals A and D.
  • the audio data reception / playback volume from the Web conferencing system terminals A and D continues to be set normally.
  • all the parties to the confidential conversation perform voice MUTE, and temporarily stop the transmission of voice data to all the participants.
  • the voice MUTE is canceled only for one or more persons in the confidential conversation, and MUTE is continued for the non-participants in the confidential conversation.
  • voice data transmission is resumed only for the participants.
  • Image data of a normal Web conferencing system is transmitted without processing except for processing the background image and changing the resolution.
  • the image of the participant of the confidential conversation roughens the image centering on the mouth by arbitrary setting for the non-participant of the confidential conversation.
  • Confidentiality Conversation participants will be sent normal image data.
  • the processing target specifies the position of the mouth of the image data to be transmitted from the image of the mouth, the relative position with the face, the color, etc. from the default image of itself.
  • image data is sent to non-participants.
  • the conversation image is given confidentiality by rearranging the order of the transmitted images and transmitting it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】Web会議参システムにおいて任意の参加者が、すべての話者の話を聞きながら、他の任意の人または人たちと随時秘匿性のある会話を行えるようにする 【解決手段】Web会議システムにおいて、任意の参加者が別の任意の参加者に対して、秘匿性会話の参加を打診し、それを打診された参加者が許可した場合に、秘匿性会話の参加者のそれぞれの音声データの送信先を秘匿性会話参加者以外には送信しない。そして秘匿性会話の参加者の参加者以外の音声データは受けとり続けながら、後者の音声データ再生音量を秘匿性会話の参加者の音声データ再生音量に比べて低くする。

Description

秘匿性会話可能なＷｅｂ会議システム
本発明は、Web会議システムにおいて参加者のうちの一部の参加者間で秘匿性会話を実現するプログラムに適用して有効な技術に関する
Web会議システムは、標準化された、Peer to Peer接続を使用して参加者間の音声、画像データを送信するWebRTC技術、および音声、画像データをサーバーを経由して送信するSFU(Selective Forwarding Unit)技術等を使用している、　前者と、後者の違いは直接参加者間でデータをお互いに送信するか、サーバーを介して行うかの違いで、参加者の使用する端末性能やインターネットの通信状況により、自動的に切り替えているものもある。
WebRTCの例として、4拠点で会議参加者がいる場合、図１のように参加者A,B,C,Dが、自身の音声、画像データをすべての参加者のIPアドレス（IPV４の場合はポート情報も含む）に対して送信し、受信者はすべての参加者からのデータを受け取ることで参加者すべての音声を再生、画像表示することでWeb会議システムが成り立っている。　SFUは、音声、画像データをいったん任意のサーバーを経由して参加者に送信するものである。
Web会議システムとしては、図２のように主催者Aが主催者本人を含む参加者A,B,C,Dをグループ分け（B,C)を行うことができる機能を持ったものもある。　そのグループ内で会話を行うことができるというものである。　任意のグループ内の会話は、他のグループ聞こえないようにすることができる。　グループ分けを行った主催者は、各グループ参加者の会話を聞くことができる。　これを利用して教育現場でのグループディスカッションとして利用されている。
参加者が音声MUTEを行った場合、図３のように自身から他者に対する音声データは送信されず、画像表示設定の場合、画像だけを送信する。　この場合でも他者からの受信は行う。
一方で営業などに使用するいわゆる打ち合わせ場合、　セールスする側とセールスされる側で、それぞれ複数の参加者が存在する場合において、相手の会社に教えたくない情報等をそれぞれの会社内の参加者同士で共有したい場合がある。例えば図４のようにセールスする側の説明を聞きながら、　セールスされる側の一部参加者間でセールスするほうに聞かれたくない情報について秘匿性の会話をしたい場合においても、主催者がセールスするほうであった場合は、秘匿性会話を実現することは難しかった。　
https://w3c.github.io/webrtc-pc/
Web会議参システムにおいて任意の参加者が、すべての話者の話を聞きながら、他の任意の人または人たちと随時秘匿性のある会話を行えるようにする
またWebRTC等の標準化技術を使用しながら最小限の機能追加で秘匿性会話を実現する
本願の発明の概略を説明すれば、以下のとおりである。すなわち本発明は、Web会議システムにおいて、任意の参加者が別の任意の参加者に対して、秘匿性会話の参加を打診し、それを打診された参加者が許可した場合に、秘匿性会話の参加者のそれぞれの音声データの送信先を秘匿性会話参加者以外には送信しない。そして秘匿性会話の参加者の参加者以外の音声データは受けとり続けながら、後者の音声データ再生音量を秘匿性会話の参加者の音声データ再生音量に比べて低くする。
さらに秘匿性を高めるため、秘匿性会話の参加者が非秘匿性会話参加者への送信画像データうち顔付近の画像を荒くすることにより、口の動きを分かりにくくする。
本発明により、Web会議システム利用時に一部の参加者間で秘匿性の高い会話が可能になることで、Web会議システムを営業ツールとして汎用性をもつことが可能になる。
WebRTCの参考例 主催者がに似のグループ設定を行う場合の例 参加者の音声MUTE時の例 現在のWeb会議システムの秘匿性会話時の音声データの流れ例 WebRTCの通常時 秘匿性会話参加要求 秘匿性会話参加同意 秘匿性会話開始後のデータの流れ
以下、本発明の実施の形態を図面に基づいて詳細に説明する。ただし、本発明は多くの異なる態様で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。なお、実施の形態の全体を通して同じ要素には同じ番号を付するものとする。
以下の実施の形態では、主に方法またはシステムについて説明するが、当業者であれば明らかなとおり、本発明は、Web会議システム装置またはWeb会議を実現可能なプログラムとしても実施できる。したがって、本発明は、ハードウェアとしての実施形態、ソフトウェアとしての実施形態またはソフトウェアとハードウェアとの組合せの実施形態をとることができる。プログラムは、ハードディスク、ＣＤ－ＲＯＭ、光記憶装置または磁気記憶装置、半導体記憶装置等の任意のコンピュータ可読媒体に記録できる。
また以下の実施の形態では、一般的なコンピュータ、同マイコン、コンピュータシステム、スマートフォン、タブレット型端末装置、専用半導体を用いることができる。実施の形態で用いることができるコンピュータは、中央演算処理装置（ＣＰＵ）、主記憶装置（メインメモリ：ＲＡＭ）、不揮発性記憶装置（ＲＯＭ）、コプロセッサ、画像アクセラレータ、キャッシュメモリ、入出力制御装置（Ｉ／Ｏ）等、Web会議システム装置または、コンピュータシステムに備えられるハードウェア資源と同等又は一部を備える。また、ハードディスク装置等の外部記憶装置、インターネット等のネットワークに接続可能な通信手段を備えることができる。Web会議システム装置、またはWeb会議システムには、パーソナルコンピュータ、ワークステーション、メインフレームコンピュータ等各種のコンピュータやタブレットコンピュータ、スマートフォン等各種携帯情報端末が含まれる。
本発明は、Web会議システムにおいて、一部の参加者間で秘匿性会話を実現することにある
図５は、一般的なWeb会議システムにおける、　WebRTCを使用して実現するWeb会議システム例で、音声及び画像データのそれぞれの参加者からの送信データ（STR-X)の流れである。 ここで主催者をA、参加者をB,C,DとするAを含む各参加者は、音声及び画像データを他の参加者すべてに対してPeer to Peerで音声及び画像データを送信する、　
会議参加者Bが、Cと秘匿性会話を行いたい場合、図６のようにBの使用するWeb会議システム端末（パソコン、スマホなど、以下同様）は、Cの使用するWeb会議システム端末に対して、秘匿性会話参加依頼(図６中のReq）をする。　参加者の画面の秘匿性参加依頼ボタン等で参加依頼を行う。　Reqを出した時点で、C以外の参加者A、DのWeb会議システム端末に対してBの音声データの送信を止める。CのWeb会議システム端末に対しては送信を継続する。
Bからの秘匿性会話参加依頼が表示されると、参加同意または参加拒否で返答する。（図７中のAck)　参加同意の場合、CのWeb会議システムは、同意のAckをBのWeb会議システム端末に返す。　Web会議システム端末Cは、Web会議システム端末A,Dに対して音声データの送信を止める。　受信データについては、Web会議システム端末Cは、Web会議システム端末A,Dからの音声データ受信再生音量をBのもの比較して、任意設定により下げる。　参加拒否の場合は、Web会議システム端末Cは、Web会議システム端末A,Dに対して、音声データの送信を継続する。　受信データも音声データ受信再生音量を変更しない。
Web会議システム端末Bが、Web会議システム端末Cからの参加同意Ackを受け取った場合は、Web会議システム端末A,Dからの音声データ受信再生音量を任意設定により、Web会議システム端末Cからのものに比べて下げる。Web会議システム端末Bが、Web会議システム端末Cからの参加拒否Ackを受け取った場合は、、Web会議システム端末A,Dに対して音声データの送信状態に戻す。Web会議システム端末A,Dからの音声データ受信再生音量は、通常設定を継続する。
また別の実施形態としては、秘匿性会話当事者全員がそれぞれ音声MUTEを行い、一時的に参加者全員に対して音声データの送信を止める。次に秘匿性会話の相手一人または複数人に対してのみ音声MUTE解除し、秘匿性会話非参加者に対して、MUTEを継続する。つまりは参加者に対してのみ、音声データ送信再開する。これにより段落００１８～００２１とは異なる方法で秘匿性会話を実現することは可能である。
通常のWeb会議システムの画像データは、背景画像の加工や解像度の変更等を除き、加工なしで送信される。　秘匿性会話において、秘匿性会話の参加者の画像は、秘匿性会話の非参加者に対しては、任意設定により、口を中心に画像を荒くする。　秘匿性会話の参加者に対しては、通常の画像データを送信する。　加工対象は、初期設定した自身の画像から、口の画像および顔との相対位置、色などから、送信する画像データの口の位置を特定する。　特定した口を中心とした任意に設定するサイズの画像を間引くなど荒く表示する処理を行った後、非参加者に画像データを送信する。　また画像を荒くする処理の他に、送信画像の並びを並び替えて送信することで、会話画像に秘匿性を持たせる

Claims (3)

  1. Web会議参加者において、同参加者の任意で他の一人または複数の参加者間で秘匿性の高い会話を実現するWeb会議システム
  2. 秘匿性の高い会話実施時に、その会話参加者が、参加していない他のWeb会議参加者からの声の音だけを任意の音量に下げることが可能なWeb会議システム
  3. 秘匿性会話参加者の口を含む画像を会話がわからないように処理した画像を秘匿性会話参加者以外の参加者に送信するWeb会議システム
PCT/JP2021/039568 2020-10-27 2021-10-26 秘匿性会話可能なＷｅｂ会議システム WO2022092126A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-179276 2020-10-27
JP2020179276 2020-10-27

Publications (1)

Publication Number Publication Date
WO2022092126A1 true WO2022092126A1 (ja) 2022-05-05

Family

ID=81382556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039568 WO2022092126A1 (ja) 2020-10-27 2021-10-26 秘匿性会話可能なＷｅｂ会議システム

Country Status (1)

Country Link
WO (1) WO2022092126A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294103A (ja) * 1995-04-20 1996-11-05 Canon Inc 通信端末装置及び通信システム
JP2006013723A (ja) * 2004-06-23 2006-01-12 Shienesu Technology:Kk 映像電話機間の通信方法
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
JP2008042889A (ja) * 2006-06-16 2008-02-21 Ericsson Ab インテリジェント音声制限方法、システム及びノード
WO2008105429A1 (ja) * 2007-02-27 2008-09-04 Kyocera Corporation 通信端末およびその制御方法
US20120128146A1 (en) * 2010-11-18 2012-05-24 International Business Machines Corporation Managing subconference calls within a primary conference call
US20170337692A1 (en) * 2015-01-27 2017-11-23 Apical Ltd Method, system and computer program product for automatically altering a video stream
US20170351476A1 (en) * 2016-06-03 2017-12-07 Avaya Inc. Create private interaction workspace
WO2018187212A1 (en) * 2017-04-03 2018-10-11 Listat Ltd. Methods and apparatus for hypersecure last mile communication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294103A (ja) * 1995-04-20 1996-11-05 Canon Inc 通信端末装置及び通信システム
JP2006013723A (ja) * 2004-06-23 2006-01-12 Shienesu Technology:Kk 映像電話機間の通信方法
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
JP2008042889A (ja) * 2006-06-16 2008-02-21 Ericsson Ab インテリジェント音声制限方法、システム及びノード
WO2008105429A1 (ja) * 2007-02-27 2008-09-04 Kyocera Corporation 通信端末およびその制御方法
US20120128146A1 (en) * 2010-11-18 2012-05-24 International Business Machines Corporation Managing subconference calls within a primary conference call
US20170337692A1 (en) * 2015-01-27 2017-11-23 Apical Ltd Method, system and computer program product for automatically altering a video stream
US20170351476A1 (en) * 2016-06-03 2017-12-07 Avaya Inc. Create private interaction workspace
WO2018187212A1 (en) * 2017-04-03 2018-10-11 Listat Ltd. Methods and apparatus for hypersecure last mile communication

Similar Documents

Publication Publication Date Title
EP1671464B1 (en) System and method for establishing a parallel conversation thread during a remote collaboration
US8630208B1 (en) Muting of communication session participants
KR100373323B1 (ko) 영상회의 시스템에서의 다자간 영상회의 방법
US8885298B2 (en) Conference roll call
US9736312B2 (en) Method and system for controlling audio signals in multiple concurrent conference calls
US9787844B2 (en) Conference bridge server
JP4738058B2 (ja) リアルタイムマルチメディア情報の効率的なルーティング
US20140171047A1 (en) Management of Mute and Unmute Requests During an Electronic-Conference Session
WO2015131709A1 (zh) 一种电视会议中与会者私聊的方法及装置
JP2005269347A (ja) Ｉｐネットワークを用いた多地点会議システムとその構成方法
US8995649B2 (en) System and method for multiple headset integration
US20230077971A1 (en) Parallel online meetings
JP2005057781A (ja) 改良型グループ通信システム
WO2022092126A1 (ja) 秘匿性会話可能なＷｅｂ会議システム
JP2001308855A (ja) 多地点間音声通信方法、多地点間音声通信方法で用いられるクライアント・サーバシステム、およびクライアントとサーバのプログラムを記録した記録媒体
JP2007135108A (ja) ネットワーク会議支援プログラムおよびネットワーク会議支援サーバ
US20080261576A1 (en) Communication system for oil and gas platforms
US20120150542A1 (en) Telephone or other device with speaker-based or location-based sound field processing
JP2000236330A (ja) クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置
JP2970645B2 (ja) 多地点接続会議システム構成方法及び多地点接続会議システム及びサーバ装置及びクライアント装置及び多地点接続会議システム構成プログラムを格納した記憶媒体
JP2006345103A (ja) メディア会議システム、その制御方法、プログラムおよび記憶媒体
US20230421620A1 (en) Method and system for handling a teleconference
WO2023223585A1 (ja) 会議管理装置、会議管理方法及びプログラム
JP7233787B1 (ja) ビデオ通話方法、コンピュータプログラム及びビデオ通話システム
JP4522332B2 (ja) 映像音声配信システムおよび方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21886244

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21886244

Country of ref document: EP

Kind code of ref document: A1