JP2023524930A - アバターを利用したカンファレンス処理方法およびシステム - Google Patents

アバターを利用したカンファレンス処理方法およびシステム Download PDF

Info

Publication number
JP2023524930A
JP2023524930A JP2022552270A JP2022552270A JP2023524930A JP 2023524930 A JP2023524930 A JP 2023524930A JP 2022552270 A JP2022552270 A JP 2022552270A JP 2022552270 A JP2022552270 A JP 2022552270A JP 2023524930 A JP2023524930 A JP 2023524930A
Authority
JP
Japan
Prior art keywords
avatar
avatars
conference
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022552270A
Other languages
English (en)
Inventor
ジョンナム グォック
グム ヨン ユ
スノー クォン
オヒョク クォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of JP2023524930A publication Critical patent/JP2023524930A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】アバターを利用したカンファレンス処理方法およびシステムを提供する。【解決手段】一実施形態に係るカンファレンス処理方法は、サーバを通じて複数のユーザが参加するカンファレンスのための通信セッションを設定する段階、前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報をサーバに送信する段階、前記座標情報に基づいて選定された周辺アバターのリソースを前記サーバから受信する段階、前記通信セッションを介して前記アバターの動作データを前記サーバに送信する段階、前記通信セッションを介して前記周辺アバターの動作データを前記サーバから受信する段階、および前記周辺アバターのリソースおよび前記周辺アバターの動作データに基づいて前記周辺アバターを前記仮想空間上に表現する段階を含む。【選択図】図３

Description

以下の説明は、アバターを利用したカンファレンス処理方法およびシステムに関する。
アバター（ａｖａｔａｒ）とは、オンライン上で自分自身の分身を表すキャラクタを意味するものであって、現実世界と同じように他人と作用し合うことでリアルな仮想環境を提供することができることから、ユーザの表現ツールとして注目を集めている。このようなアバターは、広告、映画製作、ゲームデザイン、遠隔会議（ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）などの多様な分野で広く利用されている。
しかし、従来技術では、多くの参加者が存在するサービス上で、予め設定された動作（アバターの動きおよび／または表情）のうちからユーザが選択した動作を遂行するだけのアバターしか提供されず、参加者の動作を模倣するアバターをリアルタイムでサービス上に表現することができなかった。
韓国公開特許第１０－２００９－００５８７６０号公報
仮想空間上で参加者の動作を模倣する参加者のアバターを参加者が共有する仮想空間上に表現し、このような仮想空間を利用してカンファレンスを進めることができる、カンファレンス処理方法およびシステムを提供する。
少なくとも１つのプロセッサを含むコンピュータ装置のカンファレンス処理方法であって、前記少なくとも１つのプロセッサにより、サーバを通じて複数のユーザが参加するカンファレンスのための通信セッションを設定する段階、前記少なくとも１つのプロセッサにより、前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報をサーバに送信する段階、前記少なくとも１つのプロセッサにより、前記座標情報に基づいて選定された周辺アバターのリソースを前記サーバから受信する段階、前記少なくとも１つのプロセッサにより、前記通信セッションを介して前記アバターの動作データを前記サーバに送信する段階、前記少なくとも１つのプロセッサにより、前記通信セッションを介して前記周辺アバターの動作データを前記サーバから受信する段階、および前記少なくとも１つのプロセッサにより、前記周辺アバターのリソースおよび前記周辺アバターの動作データに基づいて前記仮想空間上に前記周辺アバターを表現する段階を含む、カンファレンス処理方法を提供する。
一側面によると、前記カンファレンス処理方法は、前記アバターおよび前記周辺アバターが表現された前記仮想空間を画面に表示する段階をさらに含んでよい。
他の側面によると、前記動作データを受信する段階は、リアルタイム送信プロトコルを利用して、前記周辺アバターに対して生成される前記動作データをリアルタイムで受信することを特徴としてよい。
また他の側面によると、前記カンファレンス処理方法は、新たな周辺アバターの動作データを受信する場合、前記新たな周辺アバターのリソースを前記サーバに要請する段階、および前記新たな周辺アバターのリソースを前記サーバから受信する段階をさらに含んでよい。
また他の側面によると、前記カンファレンス処理方法は、前記通信セッションまたは前記通信セッションとは別に設定される他の通信セッションを介して、前記サーバを通じて前記複数のユーザの音声を共有する段階をさらに含んでよい。
また他の側面によると、前記動作データは、前記複数のユーザのポーズおよび表情のうちの少なくとも１つに対するデータを含むことを特徴としてよい。
また他の側面によると、前記アバターのポーズは、複数のボーンを含んで構成され、前記動作データは、前記複数のボーンそれぞれのインデックス、前記複数のボーンそれぞれの３次元空間での回転情報、前記複数のボーンそれぞれの前記仮想空間での位置情報、および前記複数のボーンそれぞれの現在のトラッキング状態（ｔｒａｃｋｉｎｇ ｓｔａｔｅ）のうちの少なくとも１つの情報を含むことを特徴としてよい。
また他の側面によると、前記動作データは、顔のブレンドシェイプ（ｆａｃｅ ｂｌｅｎｄｓｈａｐｅ）技法に基づいて、人間の顔に対して予め定義された複数のポイントに対して算出される係数値を含むことを特徴としてよい。
少なくとも１つのプロセッサを含むコンピュータ装置のカンファレンス処理方法であって、前記少なくとも１つのプロセッサにより、複数のユーザが参加するカンファレンスのための通信セッションを設定する段階、前記少なくとも１つのプロセッサにより、前記複数のユーザの端末それぞれから、前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報を受信する段階、前記少なくとも１つのプロセッサにより、前記座標情報に基づいて特定のアバターの周辺アバターを選定する段階、前記少なくとも１つのプロセッサにより、前記選定された周辺アバターのリソースを前記特定のアバターに対応するユーザの端末に送信する段階、前記少なくとも１つのプロセッサにより、前記複数のユーザの端末それぞれから、前記通信セッションを介してアバターの動作データを受信する段階、および前記少なくとも１つのプロセッサにより、前記特定のアバターに対応するユーザの端末に、前記通信セッションを介して前記選定された周辺アバターの動作データを送信する段階を含む、カンファレンス処理方法を提供する。
コンピュータ装置と結合して前記方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。
前記方法をコンピュータ装置に実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。
コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、サーバを通じて複数のユーザが参加するカンファレンスのための通信セッションを設定し、前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報をサーバに送信し、前記座標情報に基づいて選定された周辺アバターのリソースを前記サーバから受信し、前記アバターの動作データを前記サーバに送信し、前記周辺アバターの動作データを前記サーバから受信し、前記周辺アバターのリソースおよび前記周辺アバターの動作データに基づいて前記仮想空間上に前記周辺アバターを表現することを特徴とする、コンピュータ装置を提供する。
コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、複数のユーザが参加するカンファレンスのための通信セッションを設定し、前記複数のユーザの端末それぞれから前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報を受信し、前記座標情報に基づいて特定のアバターの周辺アバターを選定し、前記選定された周辺アバターのリソースを前記特定のアバターに対応するユーザの端末に送信し、前記複数のユーザの端末それぞれからアバターの動作データを受信し、前記特定のアバターに対応するユーザの端末に前記選定された周辺アバターの動作データを送信することを特徴とする、コンピュータ装置を提供する。
仮想空間上で参加者の動作を模倣する参加者のアバターを参加者が共有する仮想空間上に表現し、このような仮想空間を利用してカンファレンスを進めることができる。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、クライアントのアバター表現方法の例を示した図である。 本発明の一実施形態における、サーバのアバター表現方法の例を示した図である。 本発明の一実施形態における、アバター表現過程の例を示したフロー図である。 本発明の一実施形態における、アバター表現過程の例を示したフロー図である。 本発明の一実施形態における、アバター表現過程の例を示したフロー図である。 本発明の一実施形態における、アバター表現過程の例を示したフロー図である。 本発明の一実施形態における、アバターのボーン構造の例を示した図である。 本発明の一実施形態における、アバターを利用したカンファレンスの実施例を示した図である。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係るカンファレンス処理システムは、少なくとも１つのクライアントを実現するコンピュータ装置と少なくとも１つのサーバを実現するコンピュータ装置を含んでよく、本発明の実施形態に係るカンファレンス処理方法は、カンファレンス処理システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係るカンファレンス処理方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してカンファレンス処理方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されてはならない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されてはならない。
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、コンピュータ、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＢＢＮ（ＢｒｏａｄＢａｎｄ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、インスタントメッセージングサービス、ゲームサービス、グループ通話サービス（または、音声会議サービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービス、コンテンツ提供サービスなど）を提供するシステムであってよい。
図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。
このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではなく通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。
プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０のうちの少なくとも１つは、コンピュータ装置２００と１つの装置で構成されてもよい。例えば、スマートフォンのように、タッチスクリーン、マイク、スピーカなどがコンピュータ装置２００に含まれた形態で実現されてよい。
また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。
図３は、本発明の一実施形態における、クライアントのカンファレンス処理方法の例を示した図である。本実施形態に係るカンファレンス処理方法は、クライアント装置を実現するコンピュータ装置２００によって実行されてよい。ここで、クライアント装置は、クライアント装置にインストールされたクライアントプログラムの制御にしたがってサーバからカンファレンスサービスの提供を受ける主体であってよい。ここで、クライアントプログラムは、カンファレンスサービスを提供するためのアプリケーションに対応してよい。このとき、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図３の方法に含まれる段階３１０～３８０を実行するようにコンピュータ装置２００を制御してよい。
段階３１０で、コンピュータ装置２００は、サーバを通じて複数のユーザが参加するカンファレンスのための通信セッションを設定してよい。一例として、カンファレンスサービスで提供されるユーザインタフェースを利用して任意のユーザがカンファレンスを開設した後、このカンファレンスに他のユーザを招待する方式により、カンファレンスに参加する複数のユーザの端末のための通信セッションが設定されてよい。
段階３２０で、コンピュータ装置２００は、通信セッションまたは前記通信セッションとは別に設定される他の通信セッションを介して、サーバを通じて複数のユーザの音声を共有してよい。例えば、サーバが複数のユーザそれぞれの音声を受信し、受信した音声をミキシングして複数のユーザに送信することにより、音声が共有されてよい。このとき、特定のユーザに送信されるミキシングされた音声は、該当の特定のユーザの音声を除いた残りの音声をミキシングしたオーディオデータであってよい。実施形態によっては、音声の送受信のための通信プロトコルと以下で説明するデータの送受信のための通信プロトコルは相異してよい。例えば、音声の送受信にはＲＴＰ（Ｒｅａｌ ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が利用されてよく、以下で説明するデータの送受信にはＲＴＳＰ（Ｒｅａｌ－Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）が利用されてよい。このような段階３２０は段階３１０の後に実行されてよく、以下で説明する段階３３０～段階３８０と並列して実行されてよい。実施形態によっては、段階３２０は省略されることもある。
段階３３０で、コンピュータ装置２００は、カンファレンスのための仮想空間上に表現されるアバターの識別子およびアバターの仮想空間での座標情報をサーバに送信してよい。このとき、カンファレンスに参加する参加者それぞれが自身のアバターの識別子と座標情報をサーバに送信することにより、カンファレンスのためのアバターそれぞれに対する位置をサーバが把握することができる。
段階３４０で、コンピュータ装置２００は、座標情報に基づいて選定された周辺アバターのリソースをサーバから受信してよい。例えば、サーバは、特定のアバターに対して、特定のアバターから予め設定された距離以内に存在するアバターを周辺アバターとして選定してよく、選定された周辺アバターのリソースをコンピュータ装置２００に送信してよい。これは、コンピュータ装置２００がカンファレンスの参加者全員のアバターを表現する必要がなく、画面に表示される可能性のあるアバターだけを表現すれば良いためである。ここで、アバターのリソースは、該当のアバターを画面に表現するためのデータを含んでよい。
段階３５０で、コンピュータ装置２００は、通信セッションを介してアバターの動作データをサーバに送信してよい。一例として、コンピュータ装置２００は、コンピュータ装置２００が含むカメラで撮影されたイメージを分析してユーザの動作データを取得してよく、このようなユーザの動作データを対応するアバターの動作データとしてサーバに送信してよい。このような動作データは、該当のユーザのポーズおよび表情のうちの少なくとも１つに対するデータを含んでよい。他の実施形態として、動作データは、予め設定された多数の動作のうちから該当のユーザがコンピュータ装置２００で選択した動作のデータを含んでもよい。また他の実施形態として、動作データは、コンピュータ装置２００やウェブ上に保存済みのイメージや動画から抽出されてもよい。
一方、アバターのポーズは、複数のボーンを含んで構成されてよい。この場合、動作データは、複数のボーンそれぞれのインデックス、複数のボーンそれぞれの３次元空間での回転情報、複数のボーンそれぞれの仮想空間での位置情報、および複数のボーンそれぞれの現在のトラッキング状態（ｔｒａｃｋｉｎｇ ｓｔａｔｅ）のうちの少なくとも１つの情報を含んでよい。コンピュータ装置２００は、このような動作データを利用して、ユーザのポーズやユーザが希望するポーズをアバターのポーズに反映してよい。１つのフレームでのポーズや表情は静的であるが、多数のフレームでのポーズや表情の変化はアバターの動きに繋がる。さらに、動作データは、顔のブレンドシェイプ（ｆａｃｅ ｂｌｅｎｄｓｈａｐｅ）技法に基づいて、人間の顔に対して予め定義された複数のポイントに対して算出される係数値を含んでよい。この場合、コンピュータ装置２００は、このような動作データを利用して、ユーザの表情やユーザが希望する表情をアバターの表情に反映してよい。
段階３６０で、コンピュータ装置２００は、通信セッションを介して周辺アバターの動作データを受信してよい。一例として、コンピュータ装置２００は、リアルタイム送信プロトコルを利用して、周辺アバターに対して生成される動作データをリアルタイムで受信してよい。カンファレンスのためのビデオ画面を生成するために、動作データはビデオのフレームごとに生成されてよい。例えば、１０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）でカンファレンスのためのビデオを提供しようとする場合、１秒あたり１０回の動作データが受信されてよい。
段階３７０で、コンピュータ装置２００は、周辺アバターのリソースおよび周辺アバターの動作データに基づいて周辺アバターを仮想空間上に表現してよい。アバターのリソースを利用して仮想空間上にアバターを表現するようになるが、リアルタイムで受信する動作データを利用してアバターの動作を制御することにより、参加者の動作がリアルタイムで反映されたアバターを仮想空間上に表現することが可能となる。
一方、新たなアバターの登場やアバターの移動にともない、コンピュータ装置２００の観点では、新たな周辺アバターの動作データを受信するようにもなる。この場合、コンピュータ装置２００は、新たな周辺アバターのリソースをサーバに要請し、新たな周辺アバターのリソースをサーバから受信することにより、新たな周辺アバターを仮想空間上に表現することが可能となる。
段階３８０で、コンピュータ装置２００は、アバターおよび周辺アバターが表現された仮想空間を画面に表示してよい。したがって、カンファレンスの参加者は、自身のアバターが表現された仮想空間を利用しながらカンファレンスを進めることが可能となる。このとき、参加者のポーズや表情を含む動作、あるいは参加者が希望する動作をリアルタイムでアバターに適用することが可能となる。
図４は、本発明の一実施形態における、サーバのカンファレンス処理方法の例を示した図である。本実施形態に係るカンファレンス処理方法は、サーバを実現するコンピュータ装置２００によって実行されてよい。ここで、サーバは、クライアントプログラムがインストールされた多数のクライアント装置にカンファレンスサービスを提供する主体であってよい。また、クライアントプログラムは、上述したサービスのためのアプリケーションに対応してよい。このとき、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図４の方法に含まれる段階４１０～４７０を実行するようにコンピュータ装置２００を制御してよい。
段階４１０で、コンピュータ装置２００は、複数のユーザが参加するカンファレンスのための通信セッションを設定してよい。一例として、カンファレンスサービスで提供されるユーザインタフェースを利用して任意のユーザがカンファレンスを開設した後、このカンファレンスに他のユーザを招待してよく、コンピュータ装置２００は、該当の任意のユーザと招待された他のユーザを含む参加者に対してカンファレンスのための通信セッションを設定してよい。
段階４２０で、コンピュータ装置２００は、通信セッションまたは前記通信セッションとは別に設定される他の通信セッションを介して複数のユーザから受信される音声をミキシングして、複数のユーザに提供してよい。このとき、コンピュータ装置２００は、特定のユーザに提供する音声をミキシングするときに、該当の特定のユーザの音声を除いた残りの音声をミキシングして、該当の特定ユーザに提供するミキシングされた音声を生成してよい。
段階４３０で、コンピュータ装置２００は、複数のユーザの端末それぞれから、カンファレンスのための仮想空間上に表現されるアバターの識別子およびアバターの仮想空間での座標情報を受信してよい。これにより、コンピュータ装置２００は、該当のカンファレンスの参加者全員のアバターの位置を把握することが可能となる。
段階４４０で、コンピュータ装置２００は、座標情報に基づいて特定のアバターの周辺アバターを選定してよい。上述したように、コンピュータ装置２００は、特定のアバターに対して、特定のアバターから予め設定された距離以内に存在するアバターを周辺アバターとして選定してよく、選定された周辺アバターのリソースを該当の特定のアバターに対応するユーザの端末に送信してよい。これは、１つのユーザの端末の観点では、カンファレンスの参加者全員のアバターを表現する必要がなく、画面に表示される可能性のあるアバターだけを表現すれば良いためである。
段階４５０で、コンピュータ装置２００は、選定された周辺アバターのリソースを特定のアバターに対応するユーザの端末に送信してよい。ここで、アバターのリソースは、該当のアバターを画面に表現するためのデータを含んでよい。したがって、該当のユーザの端末は、このようなリソースを利用して、選定された周辺アバターを仮想空間上に表現することが可能となる。
段階４６０で、コンピュータ装置２００は、複数のユーザの端末それぞれから、通信セッションを介してアバターの動作データを受信してよい。上述したように、ユーザの端末それぞれは、該当の端末が含むカメラで撮影されたイメージを分析してユーザの動作データを取得してよく、このようなユーザの動作データを対応するアバターの動作データとしてサーバに送信してよい。このような動作データは、該当のユーザのポーズおよび表情のうちの少なくとも１つに対するデータを含んでよい。他の実施形態として、動作データは、予め設定された多数の動作のうちから該当のユーザがコンピュータ装置２００で選択する動作のデータを含んでもよい。また他の実施形態として、動作データは、コンピュータ装置２００やウェブ上に保存済みのイメージや動画から抽出されてもよい。
一方、アバターのポーズは、複数のボーンを含んで構成されてよい。この場合、動作データは、複数のボーンそれぞれのインデックス、複数のボーンそれぞれの３次元空間での回転情報、複数のボーンそれぞれの仮想空間での位置情報、および複数のボーンそれぞれの現在のトラッキング状態（ｔｒａｃｋｉｎｇ ｓｔａｔｅ）のうちの少なくとも１つの情報を含んでよい。また、動作データは、顔のブレンドシェイプ（ｆａｃｅｂｌｅｎｄ ｓｈａｐｅ）技法に基づいて、人間の顔に対して予め定義された複数のポイントに対して算出される係数値を含んでよい。
段階４７０で、コンピュータ装置２００は、特定のアバターに対応するユーザの端末に、通信セッションを介して選定された周辺アバターの動作データを送信してよい。この場合、ユーザの端末それぞれは、送信された動作データを利用して、該当のユーザのポーズおよび／または表情、または該当のユーザが希望するポーズおよび／または表情を周辺アバターに反映してよい。１つのフレームでのポーズや表情は静的であるが、多数のフレームでのポーズの変化はアバターの動きに繋がるようになる。このために、コンピュータ装置２００は、段階４６０で、リアルタイム送信プロトコルを利用して、複数のユーザの端末それぞれから生成される動作データをリアルタイムで受信してよく、段階４７０で、リアルタイム送信プロトコルを利用して、選定された周辺アバターの動作データをユーザの端末に送信してよい。このような動作データのリアルタイム伝達により、アバターが参加する単なるカンファレンスサービスではなく、ユーザの動作がリアルタイムで反映されたアバターが参加するカンファレンスサービスを提供することが可能となる。
一方、上述したように、新たなアバターの登場やアバターの移動にともない、ユーザの端末の観点では、新たな周辺アバターの動作データを受信するようにもなる。この場合、ユーザの端末は、新たな周辺アバターのリソースをサーバに要請してよい。例えば、コンピュータ装置２００は、ユーザの端末が新たな周辺アバターの動作データを受信することにより、新たな周辺アバターの識別子を含むリソース要請をユーザの端末から受信してよい。この場合、コンピュータ装置２００は、新たな周辺アバターの識別子に基づいて新たな周辺アバターのリソースを取得してよく、取得したリソースをユーザの端末に送信してよい。したがって、ユーザの端末は、新たな周辺アバターのリソースをサーバから受信することにより、新たな周辺アバターを仮想空間上に表現することが可能となる。
図５～８は、本発明の一実施形態における、アバター表現過程の例を示したフロー図である。図５～８は、ユーザ１（５１０）、ユーザ２（５２０）、ＡＳ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｅｒ）５３０、ＶＭＸ（Ｖｏｉｃｅ Ｍｉｘｅｒ）５４０、ＭＭＸ（Ｍｏｔｉｏｎ Ｍｉｘｅｒ）５５０、およびＣＭ（Ｃｈａｒａｃｔｅｒ Ｍａｎａｇｅｒ）５６０を示している。
ここで、ユーザ１（５１０）およびユーザ２（５２０）それぞれは、実質的には、ユーザがサービスの利用のために使用する物理的な装置である端末であってよく、このような端末は、図２を参照しながら説明したコンピュータ装置２００の形態で実現されてよい。例えば、ユーザ１（５１０）は、図２を参照しながら説明したコンピュータ装置２００の形態で実現されてよく、カンファレンスサービスの提供を受けるためにコンピュータ装置２００においてインストールされて実行されたアプリケーションの制御にしたがって、コンピュータ装置２００が含むプロセッサ２２０によってカンファレンス処理方法のための動作を実行してよい。このようなアプリケーションを通じてカンファレンスサービスの提供を受けるユーザ１（５１０）およびユーザ２（５２０）は、カンファレンスサービスのクライアントであってよい。
また、ＡＳ５３０、ＶＭＸ５４０、ＭＭＸ５５０、およびＣＭ５６０はそれぞれ、個別の物理的な装置に実現されるか１つの物理的な装置に実現されるソフトウェアモジュールであってよい。ＡＳ５３０、ＶＭＸ５４０、ＭＭＸ５５０、および／またはＣＭ５６０が実現される物理的な装置も、図２を参照しながら説明したコンピュータ装置２００の形態で実現されてよい。このようなＡＳ５３０、ＶＭＸ５４０、ＭＭＸ５５０、およびＣＭ５６０は、カンファレンスサービスを提供するためのサーバシステムの少なくとも一部であってよい。
図５を参照すると、準備過程５７０は、アバター情報送信過程５７１、リソース要請過程５７２、およびリソース伝達過程５７３、５７４を含んでよい。アバター情報送信過程５７１で、ユーザ１（５１０）は、アバターの識別子およびアバターの仮想空間上での座標情報をＡＳ５３０に伝達してよい。
リソース要請過程５７２で、ＡＳ５３０は、ＣＭ５６０にアバターの識別子と座標情報を伝達して周辺アバターのリソースを要請してよい。ＣＭ５６０は、カンファレンスに参加するユーザ（本実施形態では、ユーザ１（５１０）およびユーザ２（５２０））それぞれから伝達されたアバターの識別子とアバターの座標情報を記録することにより、仮想空間内に表現する全体アバターの座標情報を取得してよい。このとき、ＣＭ５６０は、ユーザ１（５１０）のアバターの座標情報を基準として予め設定された距離以内に位置するアバターを周辺アバターとして選定してよく、選定された周辺アバターのリソースを確認してよい。
リソース伝達過程５７３、５７４で、ＣＭ５６０は、ＡＳ５３０を経て周辺アバターのリソースをユーザ１（５１０）に伝達してよい。したがって、ユーザ１（５１０）は、自身のアバターの周辺に位置する周辺アバターを表現することが可能となる。
図５では、ユーザ１（５１０）に対して準備過程５７０が実行される例を示しているが、このような準備過程５７０は、カンファレンスの参加者それぞれに対して実行されてよい。
図６を参照すると、音声通信過程６００は、音声送信過程６１０、６２０および音声受信過程６３０、６４０を含んでよい。このような音声通信過程４００は、参加者同士が音声対話を行うために選択的に活用されてよい。言い換えれば、参加者同士の音声対話を提供しない場合には省略されてよい。
音声送信過程６１０、６２０で、ユーザ１（６１０）およびユーザ２（６２０）は、ＶＭＸ５４０に各自の音声を送信してよい。音声の送信は、カンファレンスの参加者から音声が認識された場合を前提とすることはもちろんである。一例として、ユーザ２（６２０）から音声が認識されなければ、ユーザ２（６２０）からＶＭＸ５４０への音声送信過程６２０は省略されてよい。
音声受信過程６３０、６４０で、ユーザ１（６１０）およびユーザ２（６２０）は、ミキシングされた音声をＶＭＸ５４０から受信してよい。ここで、ミキシングされた音声とは、自身の音声を除いた残りの音声がミキシングされたオーディオを意味してよい。例えば、ユーザＡ、Ｂ、Ｃ、Ｄ、Ｅが同時にＶＭＸ５４０に音声を送信した場合、ＶＭＸ５４０は、ユーザＡには、ユーザＡを除いたユーザＢ、Ｃ、Ｄ、Ｅの音声がミキシングされたオーディオを送信してよい。
上述したように、このような音声通信過程６００は、参加者同士が音声対話を行うために選択的に活用されてよい。また、以下で説明する図７のビデオ通信過程７００と図８の新規アバター処理過程８００は、このような音声通信過程６００と並列して実行されてよい。
図７を参照すると、ビデオ通信過程８００は、動作データ送信過程８１０、８２０および動作データ受信過程８３０、８４０を含んでよい。
動作データ送信過程８１０、８２０で、ユーザ１（５１０）およびユーザ２（５２０）は、自身の動作データをＭＭＸ５５０に送信してよい。このような動作データは、ユーザ１（５１０）およびユーザ２（５２０）それぞれのカメラで撮影されたイメージから取得されてよい。このような動作データは、該当のユーザのポーズおよび表情のうちの少なくとも１つに対するデータを含んでよい。他の実施形態として、動作データは、予め設定された多数の動作のうちから該当のユーザが選択した動作のデータを含んでもよい。また他の実施形態として、動作データは、該当のユーザの端末やウェブ上に保存済みのイメージや動画から抽出されてもよい。
動作データ受信過程８３０、８４０で、ユーザ１（５１０）およびユーザ２（５２０）は、周辺アバターの動作データをＭＭＸ５５０から受信してよい。例えば、ユーザ１（５１０）のアバターの識別子がＣＩＤ１であり、ユーザ２（５２０）のアバターの識別子がＣＩＤ２である場合、ユーザ１（５１０）はＣＩＤ１に対して選定された周辺アバターの動作データを受信してよく、ユーザ２（５２０）はＣＩＤ２に対して選定された周辺アバターの動作データを受信してよい。
このとき、ユーザ１（５１０）およびユーザ２（５２０）それぞれは、周辺アバターのリソースと動作データに基づいて、自身のアバターはもちろん、周辺アバターまでカンファレンスのための仮想空間に表現することが可能となる。これだけでなく、動的データを利用して、カンファレンスの参加者の動作（ポーズおよび／または表情）を対応するアバターにリアルタイムで適用することが可能となる。このために、上述したように、動作データの送信および受信過程はＲＴＳＰ（Ｒｅａｌ－Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）を利用して実行されてよく、動作データはＲＴＳＰのためにフレーム化されてよい。
図８を参照すると、新規アバター処理過程８００は、新規アバター探知過程８１０、リソース要請過程８２０、８３０、およびリソース伝達過程８４０、８５０を含んでよい。
新規アバター探知過程８１０で、ユーザ１（５１０）は、周辺アバターの動作データを受信するにあたり、ユーザ１（５１０）が保有しているアバターの識別子に基づいて新たな周辺アバターの登場を探知してよい。
リソース要請過程８２０、８３０で、ユーザ１（５１０）は、新たな周辺アバターのリソースをＡＳ５３０に要請してよい。このようなリソースの要請は、ＡＳ５３０からＣＭ５６０に伝達されてよい。
リソース伝達過程８４０、８５０で、ＣＭ５６０は、要請された新たな周辺アバターのリソースをＡＳ５３０からユーザ１（５１０）に伝達してよい。
このような新規アバター処理過程８００により、ユーザ１（５１０）は、周辺アバターとして新たに登場するアバターを表現することが可能となる。なお、図８では、ユーザ１（５１０）に対して新規アバター処理過程８００が実行される例を説明しているが、このような新規アバター処理過程８００は、新たな周辺アバターを探知するカンファレンスのすべてのユーザに対して実行されてよい。
以下の表１は、動作データとしてポーズを表現するためのデータ構造の例を示しており、図９は、本発明の一実施形態における、アバターのボーン構造の例を示した図である。アバターが表現されるビデオの１つのフレームの観点では、該当のフレームでのアバターのポーズが表現されさえすれば、このようなフレームの連結によって繋がるアバターのポーズによってアバターの動作を実現することができる。
Figure 2023524930000002
このように、アバターのポーズは、複数のボーンを含んで構成されてよく、動作データは、複数のボーンそれぞれのインデックス、複数のボーンそれぞれの３次元空間での回転情報、複数のボーンそれぞれの仮想空間での位置情報、および複数のボーンそれぞれの現在のトラッキング状態（ｔｒａｃｋｉｎｇ ｓｔａｔｅ）のうちの少なくとも１つの情報を含んでよい。
例えば、１０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で動作データを送る場合、１秒あたり１０回の動作データが送信されるようになるが、このとき、それぞれの動作データごとに、ボーンインデックス、ボーンそれぞれの回転情報、ボーンそれぞれの位置情報、およびボーンそれぞれのトラッキング状態に関する情報が含まれてよい。図８に示した実施形態のように、１１本のボーンで構成されたアバターの場合、一度に送信される動作データには、１１個のボーンインデックス、１１個の回転情報、１１個の位置情報、および１１個のトラッキング状態が含まれてよい。
一方、上述したように、動作データは、ユーザのポーズだけでなく、アバターの表情に対するデータをさらに含んでよい。このために、動作データは、顔のブレンドシェイプ（ｆａｃｅ ｂｌｅｎｄｓｈａｐｅ）技法に基づいて、人間の顔に対して予め定義された複数のポイントに対して算出される係数値を含んでよい。例えば、複数のポイントとして５２個の顔ポイントが定義されてよく、係数値は０．０から１．０までの値を有するように算出されてよい。例えば、「目（ｅｙｅ）」というポイントに対して、０．０の値は目を閉じた様子、０．１の値は目を大きく開いた様子にそれぞれ対応してよい。このような表情に対する動作データも、設定されたｆｐｓに応じて送信回数が決定されてよい。
図１０は、本発明の一実施形態における、アバターを利用して実施されるカンファレンスの例を示した図である。図１０は、カンファレンス画面１０００の例を示している。カンファレンスに参加する参加者全員のアバターがカンファレンス画面１０００に表示される必要はなく、該当のカンファレンス画面１０００を表示するようになる参加者のアバター１０１０の位置に基づいて設定された周辺アバター１０２０、１０３０、１０４０に対応する仮想空間の少なくとも一部分がカンファレンス画面１０００に表示されてよい。このとき、アバター１０１０、１０２０、１０３０、１０４０には、リアルタイムでサーバに伝達されるアバター１０１０、１０２０、１０３０、１０４０それぞれの動作データに基づいて、参加者のポーズや表情を含む動作または参加者が希望する動作がリアルタイムで適用されてよい。言い換えれば、カンファレンスのための仮想空間上に単にアバターが表示されるのではなく、ユーザの動作がリアルタイムで適用されたカンファレンスを実現することが可能となる。
このように、本発明の実施形態によると、仮想空間上で参加者の動作を模倣する参加者のアバターを参加者が共有する仮想空間上に表現することができ、このような仮想空間を利用してカンファレンスを進めることができる。
上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＵ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、望む動作をするように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｎｔ）コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体も挙げられる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (15)

  1. コンピュータ装置と結合してカンファレンス処理方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、
    前記カンファレンス処理方法は、
    サーバを通じて複数のユーザが参加するカンファレンスのための通信セッションを設定する段階、
    前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報をサーバに送信する段階、
    前記座標情報に基づいて選定された周辺アバターのリソースを前記サーバから受信する段階、
    前記通信セッションを介して前記アバターの動作データを前記サーバに送信する段階。
    前記通信セッションを介して前記周辺アバターの動作データを前記サーバから受信する段階、および
    前記周辺アバターのリソースおよび前記周辺アバターの動作データに基づいて前記仮想空間上に前記周辺アバターを表現する段階
    を含むことを特徴とする、コンピュータプログラム。
  2. 前記カンファレンス処理方法は、
    前記アバターおよび前記周辺アバターが表現された前記仮想空間を画面に表示する段階
    をさらに含むことを特徴とする、請求項１に記載のコンピュータプログラム。
  3. 前記動作データを受信する段階は、
    リアルタイム送信プロトコルを利用して、前記周辺アバターに対して生成される前記動作データをリアルタイムで受信すること
    を特徴とする、請求項１に記載のコンピュータプログラム。
  4. 前記カンファレンス処理方法は、
    新たな周辺アバターの動作データを受信する場合、前記新たな周辺アバターのリソースを前記サーバに要請する段階、および
    前記新たな周辺アバターのリソースを前記サーバから受信する段階
    をさらに含むことを特徴とする、請求項１に記載のコンピュータプログラム。
  5. 前記カンファレンス処理方法は、
    前記通信セッションまたは前記通信セッションとは別に設定される他の通信セッションを介して、前記サーバを通じて前記複数のユーザの音声を共有する段階
    をさらに含むことを特徴とする、請求項１に記載のコンピュータプログラム。
  6. 前記動作データは、前記複数のユーザのポーズおよび表情のうちの少なくとも１つに対するデータを含むこと
    を特徴とする、請求項１に記載のコンピュータプログラム。
  7. 前記アバターのポーズは、複数のボーンを含んで構成され、
    前記動作データは、前記複数のボーンそれぞれのインデックス、前記複数のボーンそれぞれの３次元空間での回転情報、前記複数のボーンそれぞれの前記仮想空間での位置情報、および前記複数のボーンそれぞれの現在のトラッキング状態のうちの少なくとも１つの情報を含むこと
    を特徴とする、請求項１に記載のコンピュータプログラム。
  8. 前記動作データは、顔のブレンドシェイプ技法に基づいて、人間の顔に対して予め定義された複数のポイントに対して算出される係数値を含むこと
    を特徴とする、請求項１に記載のコンピュータプログラム。
  9. 少なくとも１つのプロセッサを含むコンピュータ装置のカンファレンス処理方法であって、
    前記少なくとも１つのプロセッサにより、サーバを通じて複数のユーザが参加するカンファレンスのための通信セッションを設定する段階、
    前記少なくとも１つのプロセッサにより、前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報をサーバに送信する段階、
    前記少なくとも１つのプロセッサにより、前記座標情報に基づいて選定された周辺アバターのリソースを前記サーバから受信する段階、
    前記少なくとも１つのプロセッサにより、前記通信セッションを介して前記アバターの動作データを前記サーバに送信する段階、
    前記少なくとも１つのプロセッサにより、前記通信セッションを介して前記周辺アバターの動作データを前記サーバから受信する段階、および
    前記少なくとも１つのプロセッサにより、前記周辺アバターのリソースおよび前記周辺アバターの動作データに基づいて前記仮想空間上に前記周辺アバターを表現する段階
    を含む、カンファレンス処理方法。
  10. 少なくとも１つのプロセッサを含むコンピュータ装置のカンファレンス処理方法であって、
    前記少なくとも１つのプロセッサにより、複数のユーザが参加するカンファレンスのための通信セッションを設定する段階、
    前記少なくとも１つのプロセッサにより、前記複数のユーザの端末それぞれから、前記カンファレンスのための仮想空間上に表現されるアバターの識別子および前記アバターの前記仮想空間での座標情報を受信する段階、
    前記少なくとも１つのプロセッサにより、前記座標情報に基づいて特定のアバターの周辺アバターを選定する段階、
    前記少なくとも１つのプロセッサにより、前記選定された周辺アバターのリソースを前記特定のアバターに対応するユーザの端末に送信する段階、
    前記少なくとも１つのプロセッサにより、前記複数のユーザの端末それぞれから、前記通信セッションを介してアバターの動作データを受信する段階、および
    前記少なくとも１つのプロセッサにより、前記特定のアバターに対応するユーザの端末に、前記通信セッションを介して前記選定された周辺アバターの動作データを送信する段階
    を含む、カンファレンス処理方法。
  11. 前記通信セッションを介して前記アバターの動作データを受信する段階は、
    リアルタイム送信プロトコルを利用して、前記複数のユーザの端末それぞれから生成される動作データをリアルタイムで受信し、
    前記選定された周辺アバターの動作データを送信する段階は、
    前記リアルタイム送信プロトコルを利用して、前記選定された周辺アバターの動作データを前記ユーザの端末に送信すること
    を特徴とする、請求項１０に記載のカンファレンス処理方法。
  12. 前記少なくとも１つのプロセッサにより、前記ユーザの端末が新たな周辺アバターの動作データを受信することにより、前記ユーザの端末から前記新たな周辺アバターの識別子を含むリソース要請を受信する段階、
    前記少なくとも１つのプロセッサにより、前記新たな周辺アバターの識別子に基づいて前記新たな周辺アバターのリソースを取得する段階、および
    前記少なくとも１つのプロセッサにより、前記取得したリソースを前記ユーザの端末に送信する段階
    をさらに含む、請求項１０に記載のカンファレンス処理方法。
  13. 前記少なくとも１つのプロセッサにより、前記通信セッションまたは前記通信セッションとは別に設定される他の通信セッションを介して前記複数のユーザから受信される音声をミキシングして、前記複数のユーザに提供する段階
    をさらに含むことを特徴とする、請求項１０に記載のカンファレンス処理方法。
  14. 前記動作データは、前記複数のユーザのポーズおよび表情のうちの少なくとも１つに対するデータを含むこと
    を特徴とする、請求項１０に記載のカンファレンス処理方法。
  15. 前記ユーザの端末において前記選定された周辺アバターのリソースおよび前記選定された周辺アバターの動作データに基づいて前記選定された周辺アバターを前記仮想空間上に表現し、前記ユーザのアバターおよび前記選定された周辺アバターが表現された前記仮想空間を前記端末の画面に表示すること
    を特徴とする、請求項１０に記載のカンファレンス処理方法。
JP2022552270A 2020-03-20 2020-03-20 アバターを利用したカンファレンス処理方法およびシステム Pending JP2023524930A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/003874 WO2021187646A1 (ko) 2020-03-20 2020-03-20 아바타를 이용한 컨퍼런스 처리 방법 및 시스템

Publications (1)

Publication Number Publication Date
JP2023524930A true JP2023524930A (ja) 2023-06-14

Family

ID=77771067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552270A Pending JP2023524930A (ja) 2020-03-20 2020-03-20 アバターを利用したカンファレンス処理方法およびシステム

Country Status (4)

Country Link
US (1) US20230017421A1 (ja)
JP (1) JP2023524930A (ja)
KR (1) KR102701902B1 (ja)
WO (1) WO2021187646A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
US12008701B2 (en) * 2022-06-13 2024-06-11 Lemon Inc. Computing system and method for rendering avatars

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070043945A (ko) * 2007-03-12 2007-04-26 신유진 ３차원 가상 현실 공간에서의 집회 및 시위 개최 시스템 및그 방법
KR100957858B1 (ko) 2007-12-05 2010-05-14 에스케이커뮤니케이션즈 주식회사 아바타 표현 방법 및 이를 구현할 수 있는 컴퓨터로 읽을수 있는 기록 매체
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
JP2014225801A (ja) * 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
KR101655159B1 (ko) * 2015-02-04 2016-09-22 한국기술교육대학교 산학협력단 사용자의 ３차원 아바타 구현 시스템 및 방법
JP6017008B1 (ja) * 2015-12-01 2016-10-26 株式会社コロプラ アバター表示システム、ユーザ端末、及びプログラム
KR20170119352A (ko) * 2016-04-18 2017-10-27 알앤타임 주식회사 몰핑 기술을 이용하여 3차원 동영상 이미지를 생성하는 방법 및 3차원 동영상 이미지를 생성하기 위한 전자 장치

Also Published As

Publication number Publication date
KR102701902B1 (ko) 2024-09-02
US20230017421A1 (en) 2023-01-19
KR20220159968A (ko) 2022-12-05
WO2021187646A1 (ko) 2021-09-23

Similar Documents

Publication Publication Date Title
US12073362B2 (en) Systems, devices and methods for creating a collaborative virtual session
US10891014B2 (en) Remote view manipulation in communication session
US8732593B2 (en) Shared virtual area communication environment based apparatus and methods
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
CN109562296A (zh) 云游戏设备交接
KR20120118019A (ko) 공간 통신 환경을 위한 웹 브라우저 인터페이스
US20230017421A1 (en) Method and system for processing conference using avatar
CN104854574A (zh) 在实时通信和共享体验会话期间更新服务
US20230005206A1 (en) Method and system for representing avatar following motion of user in virtual space
US12086378B2 (en) Moving a digital representation of a video conference participant to a new location in a virtual environment
KR20240024012A (ko) 가상 환경들 내의 세밀도 관리
CN116320583A (zh) 视频通话方法、装置、电子设备及存储介质
US11895164B1 (en) Digital automation of virtual events
US11968476B2 (en) Virtual environment streaming to a video communications platform
US20240179354A1 (en) System and method enabling live broadcasting sessions in virtual environments
WO2024037001A1 (zh) 互动数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US20230401076A1 (en) Dynamic input interaction
KR20240019043A (ko) 특정 보안 딥 링크들을 통한 화상회의 미팅 슬롯들
KR20240019044A (ko) 특정 보안 딥 링크들을 통한 화상회의 미팅 슬롯들
KR20240019045A (ko) 특정 보안 딥 링크들을 통한 화상회의 미팅 슬롯들
Nijdam Context-Aware 3D rendering for User-Centric Pervasive Collaborative computing environments.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240917