JP7329209B1 - 情報処理システム、情報処理方法およびコンピュータプログラム - Google Patents

情報処理システム、情報処理方法およびコンピュータプログラム Download PDF

Info

Publication number
JP7329209B1
JP7329209B1 JP2022097871A JP2022097871A JP7329209B1 JP 7329209 B1 JP7329209 B1 JP 7329209B1 JP 2022097871 A JP2022097871 A JP 2022097871A JP 2022097871 A JP2022097871 A JP 2022097871A JP 7329209 B1 JP7329209 B1 JP 7329209B1
Authority
JP
Japan
Prior art keywords
user
information
character object
state
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022097871A
Other languages
English (en)
Other versions
JP2023184000A (ja
Inventor
大起 早田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2022097871A priority Critical patent/JP7329209B1/ja
Priority to US18/211,001 priority patent/US20230412766A1/en
Priority to JP2023122376A priority patent/JP2023184519A/ja
Application granted granted Critical
Publication of JP7329209B1 publication Critical patent/JP7329209B1/ja
Publication of JP2023184000A publication Critical patent/JP2023184000A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】 ユーザ間におけるコミュニケーションの活性化を図る。【解決手段】 本開示における情報処理システムは、一又は複数のコンピュータプロセッサを備える情報処理システムであって、一又は複数のコンピュータプロセッサは、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、受信部が受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、ユーザ端末の状態を特定する特定部と、特定部により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更することを特徴とする。【選択図】 図25

Description

特許法第30条第2項適用 2022年 1月24日 インターネット上の公式サイトで公開 https://reality.app/ (Android用ダウンロードサイト) https://play.google.com/store/apps/details?id=net.wrightflyer.le.reality
特許法第30条第2項適用 2022年 3月14日 インターネット上のiOS用ダウンロードサイトで公開 https://itunes.apple.com/us/app/reality/id1404176564?l=ja&ls=1&mt=8
本発明は、情報処理システム、情報処理方法およびコンピュータプログラムに関する。
アクターの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画を配信する情報処理システムが知られている(例えば、特許文献1参照)。
また、仮想空間を介してユーザとのビデオチャットを実行させるための技術も開発されている(例えば、特許文献2参照)。
特開2015-184689号公報 特開2016-152619号公報
このような動画の配信およびビデオチャットに係る技術分野において、参加するユーザ間におけるコミュニケーションの活性化は重要な課題の一つである。
本開示の目的は、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、ユーザ間におけるコミュニケーションの活性化を図る情報処理システム、情報処理方法およびコンピュータプログラムを提供することにある。
本開示における情報処理システムは、一又は複数のコンピュータプロセッサを備える情報処理システムであって、一又は複数のコンピュータプロセッサは、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、受信部が受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、ユーザ端末の状態を特定する特定部と、特定部により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更することを特徴とする。
特定部は、受信部がユーザ端末からユーザの動きに関する情報を受信していない場合、または、受信部が受信したユーザの動きに関する情報が第一の条件を満たす場合、ユーザ端末が第一の状態であると特定することができる。
第一の条件は、受信部が、同じ動きに関する情報を所定期間受信し続けていること、または、動きが変化した場合にのみ送信される動きの変化量に関する情報を所定期間受信しないこととすることができる。
特定部が、ユーザ端末が第一の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第一の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第一の特定の動作を適用させることができる。
第一の特定のオブジェクトは、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトであり、第一の特定の動作は、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作とすることができる。
特定部は、受信部がユーザ端末から音声に関する情報を受信していない場合、または、受信部が受信した音声に関する情報が第二の条件を満たす場合、ユーザ端末が第二の状態であると特定することができる。
特定部が、ユーザ端末が第二の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第二の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第二の特定の動作を適用させることができる。
第二の特定のオブジェクトは、キャラクタオブジェクトが発声していない様子を表すためのオブジェクトであり、第二の特定の動作は、キャラクタオブジェクトが発声していない様子を表すための動作とすることができる。
特定部は、受信部が、ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、ユーザ端末が第三の状態であると特定することができる。
特定部は、受信部が、ユーザ端末において音楽再生アプリを起動していることを示す情報を受信している場合、ユーザ端末が第三の状態であると特定することができる。
特定部が、ユーザ端末が第三の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第三の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第三の特定の動作を適用させることができる。
第三の特定のオブジェクトは、キャラクタオブジェクトが音楽を聴いている様子を表すためのオブジェクトであり、第三の特定の動作は、キャラクタオブジェクトが音楽を聴いている様子を表すための動作とすることができる。
特定部は、受信部が受信した音声に関する情報に含まれるユーザによる発声以外の他の音声の音量が第一の値以上である場合、ユーザ端末が第四の状態であると特定することができる。
特定部が、ユーザ端末が第四の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第四の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第四の特定の動作を適用させることができる。
第四の特定のオブジェクトは、キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトであり、第四の特定の動作は、キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作とすることができる。
特定部が、ユーザ端末が第四の状態であると特定した場合、制御部は、他の音声の音量が第二の値以上である場合に、音声に関する情報を含めずに動画を生成することができる。
特定部は、受信部がユーザ端末からユーザの動きに関する情報を受信していないが音声に関する情報を受信している場合、ユーザ端末が第五の状態であると特定することができる。
特定部が、ユーザ端末が第五の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第五の動作を適用させることができる。
第五の動作は、キャラクタオブジェクトの口を音声に関する情報に応じて動作させるものとすることができる。
受信部は、さらに、ユーザ端末から送信されるユーザ端末の位置情報を受信し、特定部は、位置情報が所定の条件を満たす場合に、ユーザ端末が第六の状態であると特定することができる。
特定部が、ユーザ端末が第六の状態であると特定した場合、制御部は、キャラクタオブジェクトの表示態様の変更として、位置情報に基づく移動速度に応じて、キャラクタオブジェクトに第六の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第六の特定の動作を適用させることができる。
第六の特定のオブジェクトは、キャラクタオブジェクトが移動している様子を表すためのオブジェクトであり、第六の特定の動作は、キャラクタオブジェクトが移動している様子を表すための動作とすることができる。
受信部は、さらに、ユーザ端末から送信される指示情報を受信し、制御部は、指示に応じてキャラクタオブジェクトの表示態様の変更を行うことができる。
制御部は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第七の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第七の特定の動作を適用させることができる。
第七の特定のオブジェクトは、所定のテキストが表示されたオブジェクトであり、第七の特定の動作は、キャラクタオブジェクトの少なくとも一部を所定の間隔で動かす動作とすることができる。
特定部は、受信部が受信した音声に関する情報に含まれるユーザによる発声の音量が所定の条件を満たす場合に、ユーザ端末が第八の状態であると特定することができる。
特定部が、ユーザ端末が第八の状態であると特定した場合、制御部は、さらに、発声の音量に応じて、キャラクタオブジェクトに第八の特定のオブジェクトを装着、および/または、動画に第八の特定のオブジェクトを表示させることができる。
本開示における情報処理方法は、一又は複数のコンピュータプロセッサに、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、受信ステップにおいて受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、ユーザ端末の状態を特定する特定ステップと、特定ステップにおいて特定された情報処理装置の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する制御ステップとを実行させることを特徴とする。
本開示における情報処理方法は、情報処理装置が備える一又は複数のコンピュータプロセッサに、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、情報処理装置の状態を特定する特定ステップと、特定ステップにおいて特定された情報処理装置の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する制御ステップとを実行させることを特徴とする。
本開示におけるコンピュータプログラムは、情報処理装置が備える一又は複数のコンピュータプロセッサに、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、情報処理装置の状態を特定する特定機能と、特定機能において特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する制御機能とを実現させることを特徴とする。
本開示によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、本開示によれば、ユーザ間におけるコミュニケーションの活性化を図る技術を提供することができる。
本開示における情報処理システムの一例を示すシステム構成図である。 本開示における情報処理システムの一例を示すシステム構成図である。 本開示における情報処理システムの一例を示すシステム構成図である。 本開示におけるサーバ装置、配信ユーザ端末および視聴ユーザ端末のハードウェア構成の一例を示す構成図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 本開示におけるサーバ装置の機能構成の一例を示す構成図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 ユーザ端末に表示される画面のイメージを示した概念図である。 キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。 キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。 キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。 キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。 キャラクタオブジェクトに適用させるオブジェクトまたは動作のイメージを示した概念図である。 本開示における情報処理方法のフローの一例を示すフロー図である。 本開示におけるコンピュータプログラムを実現するための回路構成の一例を示す回路構成図である。 本開示におけるユーザ端末の機能構成の一例を示す構成図である。 本開示におけるユーザ端末における情報処理方法のフローの一例を示すフロー図である。 本開示におけるユーザ端末で実行されるコンピュータプログラムを実現するための回路構成の一例を示す回路構成図である。
初めに、本開示の実施形態に係る情報処理システムの概要について図面を参照しながら説明する。
本開示における情報処理システムは、一以上のクライアント装置およびサーバ装置を備える情報処理システムであって、一又は複数のコンピュータプロセッサを備える。
各クライアント装置に表示される動画は、配信ユーザの動きに基づいて生成される3Dまたは2Dのキャラクタオブジェクトのアニメーションを含むものとして説明を行うが、これに限られるものではなく、配信ユーザの操作に応じて生成されるキャラクタオブジェクトのアニメーションを含むものとしてもよいし、配信ユーザ本人の画像を含むものとしてもよい。また、これらキャラクタオブジェクトや配信ユーザは表示されず、配信ユーザの声のみを含むものとしてもよい。
ここで、配信ユーザは、映像および/または音声に関する情報を送信する側のユーザを意味するものとする。例えば、配信ユーザは、単独での動画配信、複数人が参加可能なコラボ配信、複数人が参加および/または視聴可能なビデオチャットまたはボイスチャット、複数人が参加および/または視聴可能な仮想空間上でのイベント(パーティなど)を主催または開催するユーザ、すなわち、これらをメインで実行するユーザであればよい。そのため、本開示における配信ユーザは、ホストユーザ、主催ユーザまたは開催ユーザなどと言い換えることもできる。
一方で、視聴ユーザは、映像および/または音声に関する情報を受信する側のユーザを意味するものとする。ただし、視聴ユーザは上記情報を受信するのみならず、リアクションすることも可能なユーザとすることができる。例えば、視聴ユーザは、動画配信、コラボ配信を視聴するユーザ、または、ビデオチャット、ボイスチャットやイベントに参加および/またはこれらを視聴するユーザであればよい。そのため、本開示における視聴ユーザは、ゲストユーザ、参加ユーザ、リスナー、観覧ユーザ、応援ユーザなどと言い換えることもできる。
また、本開示の実施形態における情報処理システムは、多くの人が同時に参加してキャラクタオブジェクト(アバタ)を通じた交流や仕事、遊びなどを実社会に近いレベルの自由な活動ができるデジタル世界であって、現実と仮想の隔たりを超えて社会活動ができる、次のインターネット空間(メタバース)を提供するために用いられることができる。
このような空間において、ユーザのアバタはワールド内を自由に歩き回り、互いにコミュニケーションをとることが可能である。
そして、かかる仮想空間にいる複数のアバタの中の一のアバタ(キャラクタオブジェクト)が、配信ユーザのキャラクタオブジェクトとして動画を配信できる構成としてもよい。すなわち、多対多のメタバースな仮想空間において一対多の動画配信を行うことができるものとしてもよい。
このような空間において、配信ユーザと視聴ユーザとは特に区別されないものとすることができる。
また、動画に表される空間は仮想空間であってもよいし、現実空間であってもよいし、これらが融合した拡張現実空間であってもよい。また、動画は、少なくとも所定の映像および配信ユーザの声を再生するカラオケ動画やゲーム実況動画のようなものであってもよいし、これらにキャラクタオブジェクトまたは配信ユーザの実画像を重畳して表示したものであってもよい。
また、現実空間に配信ユーザが含まれる場合には、当該配信ユーザの実画像に当該配信ユーザの動きに基づいて生成されるキャラクタオブジェクトを重ねて表示させてもよい。また、現実空間の撮影画像に、ギフトオブジェクト等のアニメーションを重ねて表示してもよい。
<システム構成>
図1に一例として示されるように、本開示に係る情報処理システム1000は、1以上の視聴ユーザ端末1100、および、これら視聴ユーザ端末1100とネットワーク1200を介して接続される、動画の配信スタジオ等に配置された情報処理装置(サポートコンピュータ)1300を含むことができる。
また、当該情報処理装置1300は、インターネットを介して所定のサーバ装置と接続され、情報処理装置1300で行われるべき処理の一部または全部は当該サーバ装置で行われるものとしてもよい。なお、かかるサーバ装置は、図2に示す情報処理装置2400としてもよい。
本明細書において、かかる情報処理システム1000による配信を、スタジオ配信と呼ぶものとする。
スタジオ配信において、配信ユーザ(アクター)の全身の動きは、配信ユーザに取り付けられたマーカをスタジオに備え付けられたカメラで撮影し、既知のモーションキャプチャ技術を用いてリアルタイムでキャラクタに反映させるものとする。
また、本発明の情報処理システム1000は、図2に一例として示される別の情報処理システム2000と連携することができる。図2に示される情報処理システム2000は、配信ユーザ端末2100、1以上の視聴ユーザ端末2200、および、これら配信ユーザ端末2100および視聴ユーザ端末2200とネットワーク2300を介して接続される情報処理装置(サーバ装置)2400を含むことができる。
上記の例において、配信ユーザ端末2100はスマートフォン等の情報処理端末とすることができる。本明細書において、かかる情報処理システム2000による配信を、モバイル配信と呼ぶものとする。
モバイル配信において、配信ユーザの顔の動きは、配信ユーザの顔を配信ユーザ端末2100が備えるカメラで撮影し、既知のフェイストラッキング技術を用いてリアルタイムでキャラクタの顔に反映させるものとする。
なお、モバイル配信における配信ユーザと視聴ユーザの区別は特になく、視聴ユーザはいつでもモバイル配信が可能であり、配信ユーザは他の配信ユーザの動画を視聴する場合には視聴ユーザとなりうる。
上記情報処理システム1000および情報処理システム2000により生成される動画は、一例として、一の動画配信プラットフォームから、視聴ユーザへ配信することができる。
また、いずれの配信においても、モーションをキャラクタに反映させてアニメーションを生成する処理および後述するギフトを表示する処理等は、配信ユーザ端末、視聴ユーザ端末、情報処理装置および他の装置により分担して行われてもよい。
すなわち、ここでいう「配信」は、視聴ユーザの端末において動画を視聴可能とするための情報を送信することをいい、動画のレンダリングは情報処理装置1300,2400側で行われるものであってもよいし、配信ユーザ端末2100,視聴ユーザ端末1100,2200側で行われるものであってもよい。
具体的には、キャラクタオブジェクトのアニメーションを生成する(レンダリングする)端末または装置には、配信ユーザ端末または情報処理装置から、配信ユーザのフェイスモーションデータおよび音声データが送信される。また、フェイスモーションに加えてボディモーションが送信されてもよい。
本開示において、アニメーションを生成する処理は配信ユーザ端末および視聴ユーザ端末のそれぞれで行うものとして説明を行うが、これに限られるものではない。
そして、本開示における情報処理システムは、図1および図2に示した例のいずれの場合にも適用が可能である。そこで、本開示の実施形態における情報処理システム3000は、図3に示されるように、配信ユーザ端末100、視聴ユーザ端末200、および、これら配信ユーザ端末100および視聴ユーザ端末200とネットワーク300を介して接続可能なサーバ装置400を備えるものとして説明を行う。
配信ユーザ端末100および視聴ユーザ端末200は、例えば、基地局、移動体通信網、ゲートウェイおよびインターネットを介してサーバ装置400と相互に接続される。配信ユーザ端末100および視聴ユーザ端末200とサーバ装置400との間では、ハイパーテキスト転送プロトコル(Hypertext Transfer Protocol,HTTP)等の通信プロトコルに基づいて通信が行われる。また、配信ユーザ端末100および視聴ユーザ端末200とサーバ装置400との間において、最初にHTTP通信によりコネクションが確立され、その後は、HTTP通信よりも小コスト(通信負荷及び処理負荷が少ない)の双方向通信が行われるWebSocketに基づいて通信が行われてもよい。なお、配信ユーザ端末100および視聴ユーザ端末200とサーバ装置400との間の通信方式は、上述の方式に限定されず、本実施形態を実現できるものであれば、どのような通信方式の技術が用いられてもよい。
配信ユーザ端末100は、少なくとも上述した情報処理装置1300または配信ユーザ端末2100として機能するものであり、視聴ユーザ端末200は、少なくとも上述した一以上の視聴ユーザ端末1100,2200として機能するものであり、サーバ装置400は、少なくとも上述した所定のサーバ装置または情報処理装置2400として機能するものである。
本開示において配信ユーザ端末100および視聴ユーザ端末200は、スマートフォン(多機能電話端末)、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ(HMD)、眼鏡型のウェアラブル端末(ARグラス等)等のウェアラブルコンピュータ、及びこれらの装置以外の動画を再生可能な情報処理装置とすることができる。また、これら端末は、単独で動作するスタンドアロン型の装置であってもよく、互いに各種のデータを送受信可能に接続された複数の装置から構成されるものであってもよい。
<ハードウェア構成>
ここで、図4を用いて、配信ユーザ端末100のハードウェア構成について説明する。配信ユーザ端末100は、プロセッサ101と、メモリ102と、ストレージ103と、入出力インターフェース(入出力I/F)104と、通信インターフェース(通信I/F)105とを含む。各構成要素は、バスBを介して相互に接続される。
配信ユーザ端末100は、プロセッサ101と、メモリ102と、ストレージ103と、入出力I/F104と、通信I/F105との協働により、本実施形態に記載される機能、方法を実現することができる。
プロセッサ101は、ストレージ103に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び/又は、方法を実行する。プロセッサ101は、例えば、中央処理装置(CPU)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を含み、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、1又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を1つの集積回路により実現されることとしてもよい。また、LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。
メモリ102は、ストレージ103からロードしたプログラムを一時的に記憶し、プロセッサ101に対して作業領域を提供する。メモリ102には、プロセッサ101がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ102は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む。
ストレージ103は、プログラムを記憶する。ストレージ103は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等を含む。
通信I/F105は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク300を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信I/F105は、ネットワーク300を介して、他の情報処理装置との通信を実行する。通信I/F105は、各種データをプロセッサ101からの指示に従って、他の情報処理装置に送信する。また、通信I/F105は、他の情報処理装置から送信された各種データを受信し、プロセッサ101に伝達する。
入出力I/F104は、配信ユーザ端末100に対する各種操作を入力する入力装置、及び、配信ユーザ端末100で処理された処理結果を出力する出力装置を含む。入出力I/F104は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。
入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ101に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ(画像を介した操作入力)、マイク(音声による操作入力)を含む。
入力装置は、センサユニットを含むことができる。センサユニットは、ユーザの表情の変化を示すフェイスモーション、及びセンサユニットに対するユーザの身体の相対位置の変化を示すボディモーションを検出する1以上のセンサである。フェイスモーションは、瞬きや口の開閉等の動きを含む。センサユニットは、公知の物を使用することができる。センサユニットの一例は、ユーザに向かって照射された光がユーザの顔等に反射して返ってくるまでの飛行時間(Time of Flight)を測定検出するToFセンサ、ユーザの顔を撮影するカメラ及びカメラが撮影したデータを画像処理する画像処理部を含むものである。また、センサユニットは、可視光線を撮像するRGBカメラと、近赤外線を撮像する近赤外線カメラとを含んでいてもよい。RGBカメラや近赤外線カメラは、例えば「iphoneX(登録商標)」のトゥルーデプス(True Depth)、又は「iPad Pro(登録商標)」の「LIDER」や、スマートフォンに搭載されるその他のToFセンサを用いることが可能である。このカメラは、具体的には、ドットプロジェクタによってユーザの顔等に数万の不可視のドット(点)を投影する。そして、ドットパターンの反射光を検出し、分析して顔の深度マップを形成し、顔等の赤外線画像をキャプチャすることで、正確な顔データをキャプチャする。センサユニットの演算処理部は、深度マップと赤外線画像に基づいて各種の情報を生成し、その情報を登録済みの参照データと比較して、顔の各ポイントの深度(各ポイントと近赤外線カメラとの間の距離)や深度以外の位置のずれを算出する。
また、センサユニットは、ユーザの顔だけでなく、手をトラッキングする(ハンドトラッキング)機能を有していてもよい。センサユニットは、加速度センサやジャイロセンサ等といった上記のセンサ以外のセンサ、をさらに含むものであってもよい。センサユニットは、上記のToFセンサや公知の他のセンサの検出結果に基づきユーザが存在する現実空間の物体を認識し、認識した物体を空間地図にマッピングする空間マッピング機能を有していてもよい。以下、フェイスモーションの検出データ及びボディモーションの検出データを特に区別しないで説明する場合には単に「トラッキングデータ」という。なお、センサユニットの画像処理部は、本発明の情報処理システムが具備可能な制御部が備えていてもよい。
入力装置としての操作部は、ユーザ端末の種類に応じたものを用いることができる。操作部の一例は、ディスプレイと一体化されたタッチパネルや、ユーザ端末の筐体等に設けられた操作ボタン、キーボード、マウス、ユーザが手で操作するコントローラ等である。コントローラは、加速度センサ、ジャイロ等の慣性計測センサ(IMU:Inertial Measurement Unit)等の公知の各種のセンサを内蔵していてもよい。また、操作部の他の一例は、ユーザの手の動き、目の動き、頭部の動き、視線の方向等を特定するトラッキング装置であってもよい。この態様では、例えば、ユーザの手の動きに基づいて、ユーザの指示を判定し、動画の配信を開始又は終了したり、メッセージや動画への評価、所定のオブジェクト(例えば後述するギフト)の表示要求等の各種操作を実行したりすることができる。なお、センサユニットがハンドトラック機能等の入力インターフェース機能も有する場合には、操作部は省略可能である。
出力装置は、プロセッサ101で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、スピーカ等を含む。
また、本開示における視聴ユーザ端末200およびサーバ装置400についても、特筆すべき場合を除き、図4と同様のハードウェア構成で構成されることができる。
続いて、本開示の実施形態における情報処理システムにより実現されるアプリケーションを起動したユーザ端末において実行可能な各種機能、および、表示される画面の遷移について図面を参照しながら説明する。
図5は、動画の配信・視聴アプリケーションを起動した際にユーザ端末(ここでは未だユーザが視聴/配信を行うか否かは特定されない)に表示されるトップ画面T10を示したものである。
図5に示されるように、ユーザは、トップ画面T10においておすすめタブT11内で一覧表示されるおすすめの一以上の配信チャンネルT12のサムネイル画像の中から一の配信チャンネル(配信枠、配信番組、配信動画などと呼ばれる)を選ぶことにより、当該一の配信チャンネルで再生される動画を視聴することができる。
あるいは、ユーザは、特定の一の配信チャンネルの固定リンクへアクセスすることにより、当該特定の一の配信チャンネルで再生される動画を視聴することができる。かかる固定リンクは、フォロー中の配信ユーザからのお知らせ、または、他のユーザから送られたシェアの通知などにより得ることができる。
このように、動画を視聴するユーザは視聴ユーザとなり、動画を視聴する端末は視聴ユーザ端末200となる。
また、図5に示すように、トップ画面T10にはキャンペーンやイベントなどのお知らせの表示欄T13が表示されてもよい。このお知らせの表示欄T13は、スライド操作により他のお知らせへの表示の切り替えが可能である。
そして、トップ画面T10からは、フォロータブT14、ゲームカテゴリを表示するためのゲームタブT15、コラボ待ちの配信チャンネルを表示するためのコラボ待ちタブT16、ビギナーの配信チャンネルを表示するためのビギナータブT17が表示される。これらを選択することにより(タブを切り替えることにより)、トップ画面T10からそれぞれ別の画面へと遷移する。
なお、トップ画面T10の上部枠のサービス名表示T18および検索ボタンT19については、遷移先の画面で固定して表示されたままとしてもよい。
同様に、トップ画面T10の下部枠のホームボタンT20、メッセージボタンT21、配信準備ボタンT22、ガチャボタンT23、プロフィールボタンT24についても、遷移先の画面で固定して表示されたままとしてもよい。
図5に示したトップ画面T10等において、表示されているサムネイル画像T12を選択したユーザは、上述したように動画を視聴する視聴ユーザとなり、配信準備ボタンT22を選択したユーザは、動画を配信する配信ユーザとなりうる。
一例として、図5に示したトップ画面T10において配信準備ボタンT22を選択すると、図6に示すアバタ設定画面D10へと遷移する。そして、アバタ設定画面D10において配信ボタンD11を選択すると、図7に示す配信設定画面D20へと遷移する。そして、配信設定画面D20において配信開始ボタンD25を選択すると、図8に示すアバタ配信画面D30へと遷移する。
続いて、動画の配信を開始するまでのフローの詳細について説明を行う。
本開示における一又は複数のコンピュータプロセッサは、配信開始要求受付部と、配信設定部と、配信開始部とを備えることができる。
配信開始要求受付部は、配信ユーザの配信ユーザ端末から、キャラクタオブジェクトのアニメーションを含む第一の動画の配信開始要求を受け付ける。
ここでは、第一の動画は、キャラクタオブジェクトのアニメーションを含む動画のことをいう。なお、本明細書において、キャラクタオブジェクトのことを「アバタ」と呼ぶ場合がある。
そして、上記配信開始要求は、上記動画配信プラットフォームにアクセスするための専用のアプリケーション(動画の配信・視聴アプリケーション)を起動したユーザ端末(後に配信ユーザ端末となる)に表示される上述したトップ画面から遷移したアバタ設定画面D10等に配置される配信ボタンD11を選択することにより、ユーザ端末から情報処理装置400に送信されるものとすることができる。
図6は、アバタ設定画面D10の一例を示したものである。アバタ設定画面D10には、キャラクタオブジェクトCO、配信ボタンD11、ガチャボタンD12、着替えボタンD13、フォトボタンD14等が表示されることができる。
ユーザによって着替えボタンD13が選択されると、キャラクタオブジェクトCOの目、鼻、口、髪、アクセサリ、洋服、背景などの各種アバタパーツを選択するためのクローゼット画面が展開する。
ユーザによってガチャボタンD12が選択されると、上記アバタパーツを入手するための抽選画面が展開する。
ユーザによってフォトボタンD14が選択されると、キャラクタオブジェクトの静止画を撮影するための撮影画面が展開する。
そして、ユーザによって配信ボタンD11が選択されると、情報処理装置400に対して配信開始要求が送信される。
配信設定部は、配信開始要求受付部が受け付けた第一の動画の配信開始要求に応じて、第一の動画の配信設定を配信ユーザ端末100からの指定に基づいて設定する。
一例として、上記配信ボタンD11が選択されると、配信ユーザ端末100に表示される画面は、図6に示したアバタ設定画面D10から図7に示す配信設定画面D20へと遷移する。
配信設定には、第一の動画のタイトルに関する設定、第一の動画への他のユーザの出演可否に関する設定、および、第一の動画へ出演可能な人数に関する設定、パスワードに関する設定の少なくとも一つが含まれることができる。
これらの配信設定は、それぞれ図7におけるタイトル設定欄D21、コラボ可否設定欄D22、人数設定欄D23、パスワード設定欄D24において設定が可能である。なお、図7では、さらに、誰でもコラボ可否設定欄D26、SNS投稿可否欄D27が表示されている。
第一の動画のタイトルは、許容される上限までの文字数の範囲において配信ユーザが自由に決定することができるものである。なお、配信ユーザによる入力が無い場合には「〇〇〇の配信だよ♪」等の、キャラクタオブジェクト(配信ユーザ)の名前を含む、予め設定されたタイトルが自動的に決定されるものとしてもよい。
第一の動画への他のユーザの出演可否は、配信ユーザが自由に決定することができるものである。可の場合には、他のユーザは配信ユーザに対して出演申請を行うことが可能であり、否の場合には、他のユーザは配信ユーザに対して出演申請を行うことができない。配信ユーザの動画に他のユーザが出演している状態を、本明細書では「コラボ」と呼ぶことがある。コラボについての詳細は後述する。
第一の動画へ出演可能な人数は、前述した第一の動画への他のユーザの出演が可の場合にのみ設定が可能であり、許容される上限までの人数の範囲において配信ユーザが自由に決定することができるものである。
パスワードは、前述した第一の動画への他のユーザの出演が可の場合にのみ任意で設定が可能であり、指定された桁数の数字を配信ユーザが自由に決定することができるものである。他のユーザが第一の動画への出演申請を行う際、かかるパスワードの入力が要求される。なお、誰でもコラボ可否設定欄D26がOFFの場合にのみ、パスワード設定欄D24がアクティブとなる構成としてもよい。
配信開始部は、配信設定部により設定された条件に基づいて、第一の動画に関する情報を、視聴ユーザの視聴ユーザ端末200に配信する。
かかる配信の開始指示は、図7に示した配信開始ボタンD25の選択により送信される。
一例として、配信開始部は、配信ユーザのキャラクタオブジェクトのアニメーションを含む動画(第一の動画)に関する情報を、視聴ユーザの視聴ユーザ端末200に配信する(アバタ配信する)。
第一の動画に関する情報には、例えばキャラクタオブジェクトの動作を示すモーション情報や、配信ユーザの音声情報や、他の視聴ユーザから送られたギフトを示すギフトオブジェクト情報などが含まれる。そして、ギフトオブジェクト情報は、少なくとも、ギフトオブジェクトの種類を特定するギフトオブジェクト識別情報と、ギフトオブジェクトが表示される位置を示す位置情報とを含む。
そして、配信開始部は、上述した動画配信プラットフォームを介して動画をライブ配信することができる。
図8は、配信ユーザ端末100に表示されるアバタ配信画面D30を示したものである。
アバタ配信画面D30には、キャラクタオブジェクトCOが表示される他、配信ユーザがコメントを入力するためのコメント入力ボタンD31、画面の静止画を保存するためのフォトボタンD32、後述するゲームをプレイするためのプレイ開始ボタンD33、外部サービスにより提供される動画を視聴するための外部サービス連携ボタンD34、アバタパーツを入手するためのガチャボタンD12が表示されることができる。
また、アバタ配信画面D30の上部には累計視聴者数表示D35、累計いいね数表示D36、コラボ人数表示D37、外部SNSへのシェアボタンD38、ゲスト詳細ボタンD39、ランキング表示ボタンD40、設定ボタンD41、音声のON/OFFを切り替えるための音声切替ボタンD42が表示されることができる。また、配信を終了するための終了ボタンD43も表示される。
これらの表示およびボタンの詳細な説明は省略するが、設定ボタンD41の選択により、配信設定画面D20で設定した配信設定の変更を行うことが可能である。
なお、図8は、配信設定画面D20において、第一の動画への他のユーザの出演を可、第一の動画へ出演可能な人数を3人として配信を開始した例を示したものであるため、キャラクタオブジェクトCOは左下に寄った状態で表示されている。空いている空間には他のユーザのキャラクタオブジェクトが3人まで出演可能な状態である。
以上が、本開示における発明のアバタ配信を行う際の画面遷移の説明である。
続いて、配信ユーザが配信中にゲームを行う際の画面遷移について説明を行う。
本開示における一又は複数のコンピュータプロセッサは、ゲーム要求受付部と、ゲーム動画配信部と、ゲーム表示処理部とを備えることができる。
配信ユーザは、図8に示したようなアバタ配信の最中に、プレイ開始ボタンD33を選択することによりゲームのプレイ開始要求を行うことが可能である。
なお、プレイ開始ボタンD33の選択により表示されるゲームは、本開示における情報処理システムにより実現されるアプリケーションに実装される専用のゲームであり、外部サービスにより提供される汎用的なゲームとは異なるものとすることができる。よって、本開示におけるゲーム配信は、外部サービスにより提供される汎用的なゲームのプレイ動画を配信ユーザの実況と共に配信するものとは区別されるものとしてもよい。
あるいは、プレイ開始要求は、配信ユーザの配信ユーザ端末100に表示される所定の画面に配置されるプレイ開始ボタンを選択することにより、配信ユーザ端末100から情報処理装置400に送信されるものとすることができる。
図9は、上記所定の画面として、プレイ開始ボタンG11が配置された画面G10の一例を示したものである。図9に示す画面G10は、本開示における情報処理システムにより実現されるアプリケーションを起動したユーザ端末に表示されるトップ画面T10(図5)から、ゲームタブT15の選択により遷移してきた画面である。
画面G10には、少なくとも、所定のゲームのプレイ開始要求を送信可能なプレイ開始ボタンG11が表示される。
そして、ゲーム要求受付部が所定のゲームのプレイ開始要求を受け付けた場合、ゲーム動画配信部は、第二の動画に関する情報を視聴ユーザ端末200に配信する。
ここで、第二の動画は、所定のゲームのプレイ動画である。本明細書において、かかる動画が視聴ユーザ端末200の画面に表示されるよう配信を行うことを「ゲーム配信」と呼ぶ。
また、ユーザは、本開示の発明により実現されるアプリケーションの起動後、ゲーム一覧画面およびゲーム詳細画面に配置されるプレイ開始オブジェクトを選択することにより、配信ユーザとして、第二の動画の配信開始要求を情報処理装置2400に送信することができる。
これらゲーム一覧画面またはゲーム詳細画面は、次に詳説する第一の画面である。
すなわち、ゲーム表示処理部は、配信開始要求を送信可能な配信開始オブジェクト、所定のゲームのプレイ開始要求を送信可能なプレイ開始オブジェクト、および、所定のゲームのプレイ動画を配信中の動画のサムネイル画像を含む第一の画面の表示処理を行う。
図9において示した画面G10は、当該第一の画面のうちゲーム一覧画面に相当する。ゲーム一覧画面である第一の画面は、トップ画面T10から、ゲームタブT15の選択により遷移してきた画面である。
かかる第一の画面には、配信開始オブジェクトとしての配信準備ボタンT22、プレイ開始オブジェクトとしてのプレイ開始ボタンG11、および、動画の配信チャンネルを示すサムネイル画像が含まれる。
第一の画面には、プレイ可能な複数のゲームごとに、プレイ開始ボタンG11、ゲームアイコンG12、ゲーム名G13、当該ゲームの配信チャンネルの総視聴者数G14、そしてゲーム配信中の配信チャンネルのサムネイル画像を含む配信リストG15がそれぞれ表示されている。
なお、ここで表示される配信リストG15に表示されるサムネイル画像の順序は、視聴ユーザによって表示を異ならせることができる。一例として、順序は、視聴ユーザがフォローしている、かつ、その視聴ユーザによる視聴回数が多い順、累計視聴者数が多い順、配信開始が古い順、の優先順位で並べられている。なお、この配信リストG15のサムネイル画像は横スクロールにより表示範囲の変更が可能であるものとする。
また、このゲーム一覧画面に表示されるゲームは、以下の優先度の上位10タイトルを読み込むものとする。一例として、優先度は、ゲーム配信開始日時から48時間以内、視聴ユーザが30日以内で最後にプレイした日付の新しい順、期間IDの優先度の高い順、期間IDの降順、により定められている。
この配信リストG15は、他のタブの画面から戻ってきた場合、および、更新操作(Pull-to-Refresh)を行った際に更新されるものとする。
そして、図10は、第一の画面のうちゲーム詳細画面に相当する。ゲーム詳細画面である第一の画面は、図9に示したゲーム一覧画面に表示されたゲームアイコンG12またはゲーム名G13を選択することにより遷移してきた画面でG20である。
かかる第一の画面には、配信開始オブジェクトである配信準備ボタンT22、プレイ開始オブジェクトであるプレイ開始ボタンG21、および、動画の配信チャンネルを示すサムネイル画像が含まれる。
また、第一の画面には、ゲームアイコンG22、ゲーム名G23、当該ゲームの配信チャンネルの総視聴者数G24、そしてゲーム配信中の配信チャンネルのサムネイル画像を含む配信リストG25がそれぞれ表示されている。
なお、ここで表示される配信リストG25に表示されるサムネイル画像の順序は、視聴ユーザによって表示を異ならせることができる。一例として、順序は、視聴ユーザがフォローしている、かつ、その視聴ユーザによる視聴回数が多い順、累計視聴者数が多い順、配信開始が古い順、の優先順位で並べられている。なお、この配信リストG25のサムネイル画像は縦スクロールにより表示範囲の変更が可能であるものとする。
この配信リストG25は、他のタブの画面から戻ってきた場合、および、更新操作(Pull-to-Refresh)を行った際に更新されるものとする。
上述したように、配信開始オブジェクト(配信準備ボタンT22)またはプレイ開始オブジェクト(プレイ開始ボタンG11,21)を選択したユーザは、配信開始要求またはプレイ開始要求を行う配信ユーザとなる。
また、サムネイル画像を選択したユーザは、第二の動画を視聴する視聴ユーザとなる。
また、第一の画面は、スクロール操作が不可能な第一の領域と、スクロール操作が可能な第二の領域とを含む。
ここでいう第一の画面は図10に示す第一の画面とする。そして、第一の画面は、第一の領域R1と第二の領域R2とを含む。具体的には、第一の領域R1には、ゲームタイトルが表示され、第二の領域R2には上述したプレイ開始ボタンG21、ゲームアイコンG22、ゲーム名G23、視聴者数G24、そして配信リストG25が表示されている。
そして、第一の領域R1はスクロール操作が不可能な、表示画面上で固定表示される部分であり、第二の領域R2はユーザによってスクロール操作が可能な部分である。第二の領域R2をスクロールすることにより、ユーザは画面外に隠れたサムネイル画像を確認することができるようになる。
ところが、第二の領域のスクロールによってプレイ開始ボタンG21が画面外へ隠れてしまうおそれがあるため、本開示における表示処理部は、第二の領域R2に表示されたプレイ開始オブジェクト(プレイ開始ボタンG21)の表示状態に応じて、第一の領域R1にプレイ開始オブジェクト(プレイ開始ボタンG21)を表示させることができる。
一例として、図10ではプレイ開始ボタンG21は第二の領域R2に表示されるが、図11では第一の領域R1に表示される。すなわち、プレイ開始ボタンG21の一部またはすべてが第二の領域R2に表示されなくなると、プレイ開始ボタンG21が第一の領域に出現するようにしたものである。
また、ゲーム表示処理部は、第二の領域R2に表示されたプレイ開始オブジェクトの表示状態に応じて、第一の領域R1にプレイ開始オブジェクトを段階的に表示させてもよい。
かかる表現は、第二の領域R2のスクロール量に合わせてプレイ開始オブジェクトの透明度を変化させることにより実現することができる。
一例として、スクロール量(単位はピクセル)0~50をボタンの透明度0.0(完全に透明)~1.0(完全に不透明)に対応させる。すると、初期表示状態ではオブジェクトは完全に透明なので見えず、50ピクセル以上スクロールするとオブジェクトが完全に表示されるようになる。その間(0~50)はオブジェクトの透明度を線形に変化させるのが好ましい。なお、スクロール量の単位は論理ピクセルであって、ディスプレイの実際のピクセルとは異なってもよい。
また、ゲーム要求受付部は、ゲーム動画配信部による第二の動画に関する情報の配信後、配信ユーザ端末100からの所定のゲームのプレイ終了要求を受け付け可能であるものとする。
プレイ終了要求は、ゲーム画面に配置された終了ボタンの選択により送信することができる。
そして、ゲーム要求受付部が所定のゲームのプレイ終了要求を受け付けた場合、配信開始部は、第二の動画に関する情報の配信を終了し、第一の動画に関する情報を配信することができる。
すなわち、ここで配信されるのは第一の動画の情報の一部ではなく、第一の動画の情報の全てである。
そして、配信開始部が、第二の動画に関する情報の配信を終了し、第一の動画に関する情報を配信した場合に、視聴ユーザ端末200に表示されるのは、第一の動画であるものとする。
続いて、動画の視聴を開始するためのフローについて説明を行う。
本開示における一または複数のプロセッサは、さらに、視聴受付部を備えることができる。
視聴受付部は、ユーザからの動画の視聴要求を受け付ける。
上記配信開始部は、視聴要求に応じて、ユーザの情報処理端末に、動画情報として映像および音声に関する情報を配信する。
図12は、視聴ユーザ端末200に表示されるアバタ動画の視聴画面V10を示した例である。
視聴ユーザは、コメント入力欄V11にテキストの入力を行い、送信ボタンV12を押すことでコメントを投稿することができる。
また、ギフトボタンV13を押すことで視聴ユーザにはギフトの一覧(図13の画面V30)が表示され、選択により指定したギフトの表示要求を送信することができる。
このとき、本開示における一又は複数のプロセッサは、判定部を備えることができる。判定部は、視聴ユーザ端末200からギフトの表示要求があったか否かを判定する。
表示要求には、ギフトオブジェクト情報が含まれることができる。ギフトオブジェクト情報は、少なくともギフトオブジェクトの種類を特定するギフトオブジェクト識別情報と、ギフトオブジェクトが表示される位置を示す位置情報とを含む。
また、図13に示されるように、ギフトは分類(無料(有料)ギフト、アクセサリ、応援グッズ、アピール、バラエティ等)ごとに分けて表示されることができる。
ここで、有料ギフトとは、視聴ユーザが購入したマイコインの消費により購入可能なギフト(コインギフト)であり、無料ギフトとは、視聴ユーザが無料で入手したマイポイントの消費または消費なしで入手可能なギフト(ポイントギフト)である。
なお、本出願において用いられる「ギフト」という用語は、「トークン(token)」という用語と同様の概念を意味する。したがって、「ギフト」という用語を「トークン(token)」という用語に置き換えて、本件出願に記載された技術を理解することも可能である。
また、視聴ユーザは、いいねボタンV14を押すことで好意を示す評価を投稿することができる。なお、いいねボタンV14に加えて/代えて、否定的な評価やその他の感情を投稿するボタンを表示することも可能である。
また、配信ユーザが配信設定で他のユーザの出演可否を可に設定している場合、コラボ申請ボタンV15を選択することで動画への出演申請を送信することができる。
また、視聴ユーザが未だフォローしていない配信ユーザが配信する動画の画面には、視聴ユーザが配信ユーザをフォローするためのフォローボタンV16が表示される。このフォローボタンは、視聴ユーザが既にフォローしている配信ユーザが配信する動画の画面では、フォロー解除ボタンとして機能する。
なお、この「フォロー」は視聴ユーザから視聴ユーザへ、配信ユーザから視聴ユーザへ、配信ユーザから配信ユーザへ行われるものであってもよい。ただし、フォローは一方向のみの関連付けとして管理され、逆方向の関連付けはフォロワーとして別に管理されるものとする。
また、画面の静止画を保存するためのフォトボタンV25も表示されることができる。
また、視聴画面V10には、応援ランキング表示ボタンV17、シェアボタンV18、ランキング表示ボタンV19も表示される。
応援ランキングは、配信ユーザを応援している視聴ユーザのランキングを表示するものであり、ランキングはギフトの額(ポイント/コイン)等に応じて算出されることができる。
また、動画のシェアに関し、視聴ユーザはシェアボタンV18を押すことでシェア可能なSNS(ソーシャル・ネットワーキング・サービス)一覧を確認し、選択により指定したSNSの指定した場所に固定リンクを送信することができる。
また、コラボ申請ボタンV15を押すことで配信ユーザに対してコラボ配信をリクエストすることができる。コラボ配信とは、配信ユーザの配信動画に視聴ユーザのキャラクタオブジェクトを登場させることをいう。
視聴画面V10の上部には、配信ユーザアイコンV21、配信ユーザ名(キャラクタオブジェクト名)V22、累計視聴者数表示V23、累計いいね数表示V24が表示されることができる。
また、視聴終了ボタンV20を選択すると、視聴を終了するための画面が展開し、視聴終了要求を送信することができるようになる。
かかる視聴を終了するための画面について、詳細に説明する。かかる画面は、「小窓音声配信」と呼ばれ、動画の映像は表示させに音声のみを再生する態様での視聴を行うためのものである。
上記視聴終了ボタンV20の選択は、動画の視聴終了要求として視聴受付部によって受け付けられる。
このとき、配信開始部は、視聴終了要求に応じて、映像に関する情報の配信を終了する一方で、音声に関する情報の配信は終了させない。
そして、ユーザ端末において、映像および音声に関する情報が配信されている場合には、ユーザ端末には映像が主画面に表示され、音声に関する情報のみが配信されている場合には、ユーザ端末には映像は表示されず動画を視聴中であることを示す副画面が表示されることを特徴とする。
図14は、上記副画面V51が表示された画面V50のイメージを示したものである。
この副画面V51が表示される際、バックに表示される主画面は動画を視聴する前の画面へと遷移する。例えば、おすすめタブから視聴枠へ移動した場合にはおすすめタブの表示へと戻り、フォロータブから視聴枠へ移動した場合にはフォロータブへと遷移する。
この副画面V51が表示されている場合、主画面での操作が可能となり、他の画面への遷移が可能となる。
副画面V51には、プロフィール画像、名前、タイトルおよび、音声が流れていることが視覚的に識別可能な音声アイコンが表示される。
そして、副画面V51に表示された終了アイコンV52の選択により、視聴を完全に終了させることができる。
なお、映像の表示の終了については、サーバ装置から情報は送信するものの端末側で表示をしないものとしてもよいし、サーバ装置から情報の送信自体を停止するものとしてもよい。
かかる構成によれば、音声のみ聞きながら他の配信を探したり、他のユーザとのチャットを楽しんだりすることができるようになる。
続いて、配信ユーザの動画に他のユーザが出演する「コラボ」について説明する。
上述したとおり、視聴ユーザは、図12に示すコラボ申請ボタンV15を押すことで表示されるコラボ配信参加リクエストの確認画面を経て、上記動画への参加要求を送信することができる。
本開示における一又は複数のコンピュータプロセッサが備えるコラボアバタ表示部は、受け付けた参加要求に応じて、当該参加要求を行った視聴ユーザの動きに基づいて生成されるキャラクタオブジェクトを動画に表示させる。
図15は、一例として、ホストユーザのキャラクタオブジェクトである第1のアバタCO3が表示された動画に、ゲストユーザのキャラクタオブジェクトである第2のアバタCO4が参加している場合の視聴または配信画面を示したものである。なお、図15ではアバタ以外のオブジェクトの表示については省略されている。
また、図16に示すように、さらに、別の視聴ユーザの動きに基づいて生成されるキャラクタオブジェクトである第3のアバタCO1が動画に参加してもよい。なお、図16では第3のアバタCO1が、第1のアバタCO3およびCO4のアバタA2の後方に配置されているが、3人が横一列に並ぶように配置されてもよい。また、アバタの配置位置は配信ユーザが指定できるようにしてもよい。
図17は、図5に示したトップ画面のフォロータブT14の選択により表示される、相互フォロー関係を有するユーザの一覧画面T30を示したものである。相互フォローとは、互いに相手のフォロワーとなっている関係をいう。
この一覧画面T30には、相互フォロー関係を有するユーザのプロフィール画像および名前が表示されている。
図17に示されるように、一覧画面T30には、相互フォロー関係を有するユーザの各々に対して第一のオブジェクトT31が表示されるものとする。また、第一のオブジェクトT31とともに、チャットオブジェクトT32が表示されるものとしてもよい。このチャットオブジェクトを選択することにより、第二ユーザとの個別のチャット画面へと遷移することができる。
第一のオブジェクトT31は、当該第一のオブジェクトT31に関連付けられたユーザの端末に対して、所定の通知を送信する。
所定の通知は、一例として、呼び出し通知とすることができる。
続いて、本開示の実施形態におけるビデオチャットを実行するためのフローの詳細について説明を行う。
一例として、ユーザは、個別のチャット画面またはグループのチャット画面からビデオチャットを実行することが可能である。
これらのチャット画面は、例えば、トップ画面T10(図5)のメッセージボタンT21を選択することにより展開したチャット一覧画面C10(図18)から遷移することができる。
図18に示すチャット一覧画面C10には、過去にメッセージ(チャット)の送信または受信を行ったことがあるユーザ(キャラクタオブジェクト)のアイコンまたはグループのアイコンが名前または名称とともに表示されている。なお、グループのアイコンはグループに参加するユーザ(キャラクタオブジェクト)のアイコンを含むものとすることができる。
そして、ユーザは、上記チャット一覧画面C10において一のユーザまたはグループを選択し、個人のチャット画面C20(図19)またはグループのチャット画面を開き、ビデオチャットボタンC21を選択することによりビデオチャットを開始することができる。
また、チャット一覧画面C10の編集ボタンC11を選択することにより表示されるチャット作成ボタンC12またはグループ作成ボタンC13を選択することにより(図20)、チャット一覧画面C10には表示されていないユーザまたはグループのチャット画面を作成することができる。
図21は、チャット作成ボタンC12を選択した場合に展開するユーザ選択画面C30であり、表示されているおすすめユーザまたは検索欄C31を用いて検索されたユーザとのチャット画面が表示/生成される。生成されたチャット画面の構成は図19に示したチャット画面C20と同様であり、ビデオチャットボタンC21を選択することによりビデオチャットを開始することができる。
同様に、図22は、グループ作成ボタンC13を選択した場合に展開するグループ作成画面C40である。ユーザは、ユーザ追加ボタンC41を選択することにより自分以外のユーザをグループメンバとして追加することができる。追加できるグループメンバの数は一例として7名までとする。また、グループ名の設定もこの画面で行うことができる。
グループが作成されると、グループのチャット画面C50が表示される(図23)。グループのチャット画面C50においても、ビデオチャットボタンC51を選択することによりビデオチャットを開始することができる。
なお、上記チャット画面C20は、フォロー一覧画面T30(図17)のチャットアイコンT32から遷移することもできる。
また、他のユーザのプロフィール画面にもチャットアイコンが配置されることができ、ユーザは多様なページからチャット画面へと遷移し、ビデオチャットを開始することができる。
なお、ビデオチャットが開始されると、相手方へ通知が送信され、相手方は、かかる通知に応答することによりビデオチャットへと参加が可能となる。かかる通知の受け取り可否はユーザにより設定することができる。
また、相互フォロー関係にあるユーザとのビデオチャットのみ実行できる構成としてもよい。このとき、相互フォロー関係にあるユーザが他のユーザとビデオチャット中であることを示すアイコンをフォロー一覧画面に表示し、かかるアイコンを選択することによりかかる開催中のビデオチャットに参加できる構成としてもよい。
本開示におけるビデオチャットは、上述したコラボ配信を、特定のユーザのみが視聴できる機能であるということができる。ここでいう特定のユーザとは、ビデオチャットに参加しているユーザを指すものとする。
続いて、本開示における実施形態にかかる情報処理システム3000において実行可能な各種機能について図面を参照しながら説明する。
なお、本実施形態においては、情報処理システム3000が備える配信ユーザ端末100が、ビデオチャットに参加するユーザのユーザ端末であるものとして説明を行うが、ビデオチャットを実行するに際して配信ユーザ端末100と視聴ユーザ端末200との区別は特にない。
すなわち、本開示の実施形態にかかるビデオチャットは、上述したような動画を配信するシステムに組み込まれる機能の一部であってもよいし、アバタを用いたビデオチャットに特化した独立したシステムとしても実現可能である。
本開示の実施形態にかかる情報処理システム3000が備える一又は複数のコンピュータプロセッサは、図24に示されるように、受信部410、実行部420、特定部430および制御部440を備える。
受信部410は、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能である。
なお、上述したアバタ配信における説明では、動画に関する情報(動画を生成するための情報)には、キャラクタオブジェクトの動作を示すモーション情報、配信ユーザの音声情報、他の視聴ユーザから送られたギフトを示すギフトオブジェクト情報などが含まれるものとして説明を行ったが、ここでは、少なくとも、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報が含まれるものとする。
ユーザの動きに関する情報には、一例として、ユーザ端末が備える、または、ユーザ端末に接続されたカメラによって撮像されたユーザの少なくとも顔の動きに関する情報が含まれることができる。
音声に関する情報には、一例として、ユーザ端末が備える、または、ユーザ端末に接続されたマイクによって収音されたユーザによる発声に応じた音声、および/または、当該ユーザによる発声以外の他の音声に関する情報が含まれることができる。
他の音声とは、例えば、他のユーザの発声や環境音などである。発声がユーザによるものなのか、他のユーザによるものなのかについては公知の音声認識技術を用いることで識別することができる。また、環境音には、テレビの音、インターフォンの音、電話の呼び出し音、動物の鳴き声の音、駅のアナウンスの音、電車・車・バイク等の音、複数の人物の話し声の音などが含まれる。
実行部420は、受信部410が受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させるものである。
図25は、ビデオチャットを実行中のビデオチャット画面VC10のイメージの一例を示したものである。
図25は、4名のユーザがキャラクタオブジェクトCO1,CO2,CO3,CO4を用いてビデオチャットに参加している例を示したものである。ビデオチャット画面VC10は、参加人数に応じて表示枠が分割されるものとしてもよいし、一の画面に複数人が一緒に表示される構成としてもよい。
図25に示す例では、ビデオチャット画面VC10が4つの表示枠に分割されている。かかる表示枠の数、形状、サイズ等については図示したものに限定されず、後述するユーザのユーザ端末の状態に応じてリアルタイムに変化するものであってもよい。
また、ビデオチャットに参加するユーザは、ビデオチャットを開始する開始ユーザと開始されたビデオチャットに参加する参加ユーザで構成されることができる。図25に示す例では、開始ユーザに対応するキャラクタオブジェクトCO1が左上に表示されているが、これらユーザの表示場所については図示したものに限定されず、後述するユーザのユーザ端末の状態に応じてリアルタイムに変化するものであってもよい。
開始ユーザのユーザ端末は、ビデオチャットの開始とともに上記動画を生成するための情報をサーバ装置に送信する。また、参加ユーザのユーザ端末は、ビデオチャットの開始の通知に応答し、ビデオチャットに参加する際に上記動画を生成するための情報をサーバ装置に送信するものとする。
ユーザ端末はカメラによる撮像機能およびマイクによる収音機能するものであり、これらの機能により撮像/収音された画像/音声データが、ネットワークを介してサーバ装置に送信される。これらデータのサーバ装置への送信の可否は、ビデオチャット画面VC10に表示されるビデオオブジェクトVC12およびマイクオブジェクトVC11がユーザ操作により選択されることにより切り替えることができる。
あるいは、ビデオチャット画面VC10に表示されるビデオオブジェクトVC12およびマイクオブジェクトVC11がユーザ操作により選択されることにより、ユーザ端末におけるこれら機能のオン/オフが切り替えられるものとしてもよい。
また、退室オブジェクトVC13は、ビデオチャットから退室する際に用いられるものである。
本実施形態においては、上述したサーバ装置への送信の可否およびユーザ端末における機能のオン/オフの両場合を含めて、カメラのオン/オフ、および/または、マイクのオン/オフが切り替えられるという表現を用いて説明を行う。
また、ビデオオブジェクトVC12および/またはマイクオブジェクトVC11がユーザ操作により選択される場合のみならず、ユーザ操作に依らずに自動的にカメラのオン/オフ、および/または、マイクのオン/オフが切り替えられるものとすることもできる。例えば、ユーザ端末において表示される画面がビデオチャット画面VC10なのか、別の画面なのかに応じて、ユーザ操作に依らずに自動的にカメラのオン/オフ、および/または、マイクのオン/オフを切り替える構成とすることができる。
図26は、キャラクタオブジェクトCO1に対応するユーザ端末において、マイクがオフにされている場合の表示の例を示したものである。マイクオブジェクトVC11は斜線が付与されたオブジェクトVC14に変化するとともに、キャラクタオブジェクトCO1に関連する位置にはマイクがオフであることを示すアイコンVC15が表示される。なお、マイクがオンの状態のキャラクタオブジェクトCO2,CO3,CO4に関連する位置には、マイクがオンであることを示すアイコンVC16が表示されるものとしてもよい。
そして、図27は、キャラクタオブジェクトCO1に対応するユーザ端末において、カメラがオフにされている場合の表示の一般的な例を示したものである。このとき、ビデオオブジェクトVC12は斜線が付与されたオブジェクトVC17に変化する。
このように、一般的な例では、ユーザ端末においてカメラがオフにされている場合には、ユーザ(キャラクタオブジェクト)のプロフィールアイコンなどの別の画像が表示される。また、この別の画像は、マイクのオン/オフを問わずに常に同じものが表示されているのが一般的である。
しかしながら、このような表示では現実のユーザの状態が分かり辛い。単にカメラをオフ(およびマイクをオフ)にしてビデオチャットを視聴するのみなのか、あるいは、ユーザが実際にユーザ端末の前からいなくなっているのかなど、現実のユーザの状態は多様であるが、これに対して上記のような一辺倒なプロフィールアイコンの表示では、会話が適切に成立せずに、ビデオチャットに参加するユーザ間におけるコミュニケーションが阻害されるおそれがある。
また、キャラクタオブジェクトを用いたビデオチャット特有の問題点として、ユーザの動きに関する情報がなくともキャラクタオブジェクトを表示し続けることが可能であり、この場合においても、会話が適切に成立せずに、ビデオチャットに参加するユーザ間におけるコミュニケーションが阻害されるおそれがある。
このようなビデオチャットに参加するユーザ間におけるコミュニケーションの阻害は、ユーザのビデオチャットへの参加意欲を低下させるおそれもあり、改善すべき課題の一つとなっている。
そのため、本実施形態における特定部430は、ユーザ端末の状態を特定する。
ここで、ユーザ端末の状態には、ユーザ端末を操作するユーザの状態も含まれるものとする。
例えば、ユーザの状態は、主に、ビデオチャット画面を視ることができる/できない状態、音声を聞くことができる/できない状態、話すことができる/できない状態であるか等に分類され得る。
このような状態には、ユーザ端末において本実施形態にかかるビデオチャットのアプリケーションとは異なるアプリケーションを実行することにより、ゲームをプレイしながら、音楽を再生しながら、または、動画を再生しながらビデオチャットをしている場合等が含まれる。
また、上記状態には、本実施形態にかかるビデオチャットのアプリケーション内の他の画面を開きながらビデオチャットをしている場合等も含まれ得る。他の画面とは、例えば、キャラクタオブジェクトの洋服等を変更するクローゼット画面、ゲーム画面、メニュー画面、配信動画の視聴画面等が含まれる。
また、上記状態には、ユーザの周囲の音がユーザの気を引いている場合等も含まれ得る。ユーザの周囲の音には、他のユーザの発声や環境音等が含まれる。
本開示の実施形態において、これらの状態は、ユーザ端末の状態を特定することにより推定することができる。
ユーザ端末の状態については、後述する実施例において第一の状態から第八の状態を例示して説明するが、ユーザ端末の状態はこれらの状態に限られるものではなく、生じ得る様々な状態に応じて後述する表示態様の変更を行うことができる。
そして、本開示における制御部440は、特定部430により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。
表示態様の変更には、キャラクタオブジェクトに他のオブジェクトを重畳または合成して表示させること、および、ユーザのモーショントラッキングに代えて予め用意された特定の動作をキャラクタオブジェクトに適用させることを含む。
特定されたユーザ端末の状態に応じた表示態様の変更は、例えば、キャラクタオブジェクトを、ビデオチャット画面を視ることができない状態、音声を聞くことができない状態または話すことができない状態等を表現するためのオブジェクトを装着したキャラクタオブジェクトに変更すること、および、ユーザのモーションが適用された状態のキャラクタオブジェクトから、ビデオチャット画面を視ることができない状態、音声を聞くことができない状態または話すことができない状態等を表現するための動作を適用したキャラクタオブジェクトに変更することを含むものとする。
以上の構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
特定部430は、受信部410がユーザ端末からユーザの動きに関する情報を受信していない場合、または、受信部410が受信したユーザの動きに関する情報が第一の条件を満たす場合、ユーザ端末が第一の状態であると特定することができる。
受信部410がユーザ端末からユーザの動きに関する情報を受信していない場合には、ビデオがオフにされている場合、または、ビデオはオンの状態であるが、通信等が原因で受信部410が動きに関する情報を受信していない場合等が含まれる。
また、受信部410が受信したユーザの動きに関する情報が第一の条件を満たす場合には、一例として、ユーザ端末におけるカメラがオンであり、ユーザの動きに関する情報は受信しているものの、動きがないと判断される場合等が含まれる。
一例として、第一の条件は、受信部410が、同じ動きに関する情報を所定期間受信し続けていること、または、動きが変化した場合にのみ送信される動きの変化量に関する情報を所定期間受信しないことである。
同じ動きとは、動いていないと判断される程度の動きである。かかる動きの程度については画像解析により判断するものとしてもよいし、動きを数値化することにより判断するものとしてもよい。また、ここでいう所定時間とは、例えば5分程度とすることができるが、これに限定されるものではなく、ユーザが設定できるものとしてもよい。
また、ユーザ端末において、ユーザの動きが変化した場合にのみ動きの変化量を送信する場合においては、かかる変化量に関する情報を受信していないことが第一の条件となる。また、ここでいう所定時間とは、例えば5分程度とすることができるが、これに限定されるものではなく、ユーザが設定できるものとしてもよい。
特定部430が、ユーザ端末が第一の状態であると特定した場合、制御部440は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第一の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第一の特定の動作を適用させることができる。
第一の特定のオブジェクトは、一例として、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトとすることができる。
キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトには、一例として、図28に示されるようなお面オブジェクトやサングラスオブジェクトなど、少なくともキャラクタオブジェクトの目を覆うオブジェクトなどが含まれる。
これら装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。
かかる特定の部位は、ユーザ端末の状態(ここでは第一の状態)に関する部位、例えば、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を示す場合には、「視る」という行為に関する部位(例えば目や顔)とすることができる。
第一の特定の動作は、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作である。
キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作には、一例として、手で目や顔を隠す動作などが含まれる。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
また、上記構成によれば、フェイストラッキングに応じて目を動かすキャラクタオブジェクトを表示する場合に比べて、低負荷でかつバラエティーに富んだアバターを表示させることができるというメリットも生じる。
ここで、上記特定部430をサーバ装置400が備える構成の場合、サーバ装置400は、キャラクタオブジェクトの表示態様を変更するための表示変更情報を生成し、当該表示変更情報をビデオチャットに参加するすべてのユーザのユーザ端末に送信することができる。そして、ユーザ端末において、かかる表示変更情報に基づく一のユーザに係るキャラクタオブジェクトの表示態様の変更が行われるものとすることができる。
あるいは、上記特定部430をユーザ端末が備える構成の場合、一のユーザのユーザ端末は、キャラクタオブジェクトの表示態様を変更するための表示変更情報を生成し、当該表示変更情報をサーバ装置400に送信し、サーバ装置400が、当該表示変更情報をビデオチャットに参加する他のユーザのユーザ端末に送信することができる。そして、一のユーザのユーザ端末においては、自端末が保有する上記表示変更情報に基づいて、そして、他のユーザのユーザ端末においては、サーバ装置400から受信した表示変更情報に基づいて、一のユーザに係るキャラクタオブジェクトの表示態様の変更が行われるものとすることができる。
特定部430は、受信部410がユーザ端末から音声に関する情報を受信していない場合、または、受信部410が受信した音声に関する情報が第二の条件を満たす場合、ユーザ端末が第二の状態であると特定することができる。
受信部410がユーザ端末から音声に関する情報を受信していない場合には、マイクがオフにされている場合、または、マイクはオンの状態であるが、通信等が原因で受信部410が音声に関する情報を受信していない場合等が含まれる。
また、受信部410が受信した音声に関する情報が第二の条件を満たす場合には、一例として、ユーザ端末におけるマイクがオンであり、音声に関する情報は受信しているものの、ユーザの発声が所定時間ないと判断される場合等が含まれる。
ユーザの発声がないとの判断は、音声解析により判断するものとしてもよいし、音声を数値化することにより判断するものとしてもよい。また、ここでいう所定時間とは、例えば5分程度とすることができるが、これに限定されるものではなく、ユーザが設定できるものとしてもよい。
特定部430が、ユーザ端末が第二の状態であると特定した場合、制御部440は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第二の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第二の特定の動作を適用させることができる。
第二の特定のオブジェクトは、キャラクタオブジェクトが発声していない様子を表すためのオブジェクトとすることができる。
キャラクタオブジェクトが発声していない様子を表すためのオブジェクトには、一例として、図29に示されるような口チャックオブジェクトやマスクオブジェクトなど、少なくともキャラクタオブジェクトの口を覆うオブジェクトなどが含まれる。
これら装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。
かかる特定の部位は、ユーザ端末の状態(ここでは第二の状態)に関する部位、例えば、キャラクタオブジェクトが発声していない様子を示す場合には、「話す」という行為に関する部位(例えば口)とすることができる。
第二の特定の動作は、キャラクタオブジェクトが発声していない様子を表すための動作とすることができる。
キャラクタオブジェクトが発声していない様子を表すための動作には、一例として、手で口を隠す動作などが含まれる。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
また、上記構成によれば、フェイストラッキングに応じて口を動かすキャラクタオブジェクトを表示する場合に比べて、低負荷でかつバラエティーに富んだアバターを表示させることができるというメリットも生じる。
特定部430は、受信部410が、ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、ユーザ端末が第三の状態であると特定することができる。
ユーザ端末において特定のアプリケーションが起動されているとは、ユーザ端末においてバックグラウンドまたはフォアグランドで特定のアプリケーションが起動している場合であり、ユーザ端末において特定のアプリケーションが表示されているとは、ユーザ端末においてフォアグランドで特定のアプリケーションが起動している場合である。
特定のアプリケーションは、一例として、音楽再生アプリ、動画再生アプリ、ゲームアプリ、通話アプリ等とすることができる。
なお、上記特定のアプリケーションの起動または表示により自動的にビデオがオフに切り替えられる構成においては、第三の状態は第一の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的にまたは追加的に実行されるものとする。
同様に、上記特定のアプリケーションの起動または表示により自動的にマイクがオフに切り替えられる構成においては、第三の状態は第二の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的にまたは追加的に実行されるものとする。
特定部430が、ユーザ端末が第三の状態であると特定した場合、制御部440は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第三の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第三の特定の動作を適用させることができる。
第三の特定のオブジェクトは、一例として、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクト、キャラクタオブジェクトが発声していない様子を表すためのオブジェクト、および、キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すためのオブジェクトの少なくとも一のオブジェクトとすることができる。
キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すためのオブジェクトおよびキャラクタオブジェクトが発声していない様子を表すためのオブジェクトについては上述した通りである。
キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すためのオブジェクトには、一例として、図30に示されるようなイヤホンオブジェクトなど、少なくともキャラクタオブジェクトの耳を覆うオブジェクトなどが含まれる。
かかる装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。
かかる特定の部位は、ユーザ端末の状態(ここでは第三の状態)に関する部位、例えば、キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を示す場合には、「聞く」という行為に関する部位(例えば耳)とすることができる。
第三の特定の動作は、一例として、キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作、キャラクタオブジェクトが発声していない様子を表すための動作、および、キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すための動作の少なくとも一の動作とすることができる。
キャラクタオブジェクトがビデオチャットの画面を視ていない様子を表すための動作およびキャラクタオブジェクトが発声していない様子を表すための動作については上述した通りである。
キャラクタオブジェクトがビデオチャットの音声を聞いていない様子を表すための動作には、一例として、手で耳を覆う動作などが含まれる。
また、制御部440は、ユーザ端末において起動または表示されている特定のアプリケーションの種類に応じて、キャラクタオブジェクトの表示態様の変更を行うものとしてもよい。
例えば、特定のアプリケーションが音楽再生アプリである場合、キャラクタオブジェクトが音楽を聴いているような表示となるように表示態様の変更を行う。
具体的には、第三のオブジェクトとして、キャラクタオブジェクトにイヤホンオブジェクトやヘッドフォンオブジェクトを装着させたり、キャラクタオブジェクト付近に音符オブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトに音楽に合わせてリズムをとる動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。
あるいは、特定のアプリケーションが動画再生アプリである場合、キャラクタオブジェクトが動画(映画等)を視聴しているような表示となるように表示態様の変更を行う。
具体的には、第三のオブジェクトとして、キャラクタオブジェクトにポップコーンオブジェクトやドリンクオブジェクトを装着させたり、キャラクタオブジェクト付近にスクリーンオブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトに映画を観る動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。
あるいは、特定のアプリケーションがゲームアプリである場合、キャラクタオブジェクトがゲームをプレイしているような表示となるように表示態様の変更を行う。
具体的には、第三のオブジェクトとして、キャラクタオブジェクトにコントローラオブジェクトを装着させたり、キャラクタオブジェクト付近にゲーム機オブジェクトやモニタオブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトにゲームをプレイする動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。
あるいは、特定のアプリケーションが通話アプリである場合、キャラクタオブジェクトが通話をしているような表示となるように表示態様の変更を行う。
具体的には、第三のオブジェクトとして、キャラクタオブジェクトに電話の受話器オブジェクトやスマートフォンオブジェクトを装着させたり、キャラクタオブジェクト付近に電話オブジェクトを表示させたり、第三の動作として、キャラクタオブジェクトに通話を行う動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。
以上の構成によれば、ユーザの状況を、より具体的に他のユーザにわかりやすく表示することができるようになる。
特定部430は、受信部410が受信した音声に関する情報に含まれるユーザによる発声以外の他の音声の音量が第一の値以上である場合、ユーザ端末が第四の状態であると特定することができる。
他の音声とは、一例として、他のユーザの発声や環境音などである。発声がユーザによるものなのか、他のユーザによるものなのかについては公知の音声認識技術を用いることで識別することができる。また、環境音には、テレビの音、インターフォンの音、電話の呼び出し音、動物の鳴き声の音、駅のアナウンスの音、電車・車・バイク等の音、複数の人物の話し声の音などが含まれる。
第一の値とはユーザによる発声の音量と同等かそれ以上の値とすることができる。
このとき、本開示における一又は複数のコンピュータプロセッサは、さらに、音声判定部を備えることができる。音声判定部は、受信部410が受信した音声に関する情報に、他の音声が含まれるか否か、そして、ユーザによる発声以外の他の音声の音量が第一の値以上であるか否かを判定するものである。また、音声判定部は、上記他の音声の種類を解析するものとしてもよい。
なお、第四の状態は、第一の状態、第二の状態および第三の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的にまたは追加的に適用されるものとすることができる。
特定部430が、ユーザ端末が第四の状態であると特定した場合、制御部440は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第四の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第四の特定の動作を適用させることができる。
第四の特定のオブジェクトは、キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトとすることができる。
キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトには、一例として、耳栓オブジェクトなど、少なくともキャラクタオブジェクトの耳を覆うオブジェクトなどが含まれる。
第四の特定の動作は、キャラクタオブジェクトがビデオチャットの音声を聞き辛い様子を表すための動作であるものとすることができる。
キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作には、一例として、手で耳を覆う動作などが含まれる。
また、制御部440は、音声判定部により解析された他の音声の種類に応じて、キャラクタオブジェクトの表示態様の変更を行うものとしてもよい。このときの表示態様の変更は、他の音声の音量に関わらず適用されるものとしてもよい。
例えば、他の音声が駅における騒音である場合、キャラクタオブジェクトが音をうるさく感じているような、または、ビデオチャットの音声が聞こえていないような表示となるように表示態様の変更を行う。
具体的には、第四のオブジェクトとして、キャラクタオブジェクトに騒音オブジェクトを装着させたり、キャラクタオブジェクトの近くに騒音オブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトに耳をふさぐ動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。また、ここで表示される騒音オブジェクトは、他の音声から解析された種類に応じて決定されるものとすることもできる。例えば、他の音声がテレビの音である場合、騒音オブジェクトはテレビオブジェクトとなり、騒音の原因となる音の発生源を表すようなオブジェクトとすることができる。
また、他の音声がインターフォンの音である場合、キャラクタオブジェクトが荷物を取りに行くような表示となるように表示態様の変更を行う。
具体的には、第四のオブジェクトとして、キャラクタオブジェクトに荷物オブジェクトを装着させたり、キャラクタオブジェクトの近くに荷物オブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトに荷物を取りに行く動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。
あるいは、他の音声が動物(ペット)の鳴き声である場合、キャラクタオブジェクトがペットを気にするような/餌を与えるような表示となるように表示態様の変更を行う。
具体的には、第四のオブジェクトとして、キャラクタオブジェクトにペットオブジェクトを装着させたり、キャラクタオブジェクトの近くにペットオブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトにペットをなでるような動作や餌を与えるような動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。また、ここで表示されるペットオブジェクトおよび餌を表すオブジェクトは、鳴き声から解析された動物の種類に応じて決定されるものとすることもできる。
あるいは、他の音声が子供の声である場合、キャラクタオブジェクトが子供を気にするような表示となるように表示態様の変更を行う。
具体的には、第四のオブジェクトとして、キャラクタオブジェクトに子供オブジェクトを装着させたり、キャラクタオブジェクトの近くに子供オブジェクトを表示させたり、第四の動作として、キャラクタオブジェクトに子供をあやすような動作を適用させたりする。これらの適用は一つに限られず、複数のオブジェクトや動作をキャラクタオブジェクトに適用させることができる。また、ここで表示される子供オブジェクトは、声から解析された性別および/または年齢に応じて決定されるものとすることもできる。
以上の構成によれば、ユーザの状況を、より具体的に他のユーザにわかりやすく表示することができるようになる。
特定部430が、ユーザ端末が第四の状態であると特定した場合、制御部440は、他の音声の音量が第二の値以上である場合に、音声に関する情報を含めずに動画を生成することができる。
第二の値は、上述した第一の値よりも大きな値であって、ユーザの音声がかき消されて聞こえないような音量を示す値であるものとする。かかる第二の値は、ユーザの音声の音量に応じて相対的に変更されるものであってもよいし、予め定められる絶対値としてもよい。
このとき、上述した音声判定部は、さらに、受信部410が受信した音声に関する情報に含まれるユーザによる発声以外の他の音声の音量が第一の値または第二の値以上であるか否かを判定するものとする。
なお、すべての音声に関する情報を含めないのではなく、他の音声に関する情報のみを含めずに動画を生成することも可能である。この場合は、公知のノイズキャンセル技術を適用することにより実現が可能である。
以上の構成によれば、ビデオチャットにおけるユーザの音声をより聞き取り易くすることができる。
特定部430は、受信部410がユーザ端末からユーザの動きに関する情報を受信していないが音声に関する情報を受信している場合、ユーザ端末が第五の状態であると特定することができる。
かかる第五の状態は第一の状態に含まれ得る状態であるが、本実施例においては後述する表示態様の変更が優先的にまたは追加的に適用されるものとすることができる。
なお、受信部410がユーザ端末からユーザの動きに関する情報を受信していないが音声に関する情報を受信している場合には、一例として、ユーザがビデオをオフ、かつ、マイクをオンの状態でビデオチャットにおいて発声している場合や、ビデオおよびマイクがオンの状態で動かずにビデオチャットにおいて発生している場合が含まれる。
特定部430が、ユーザ端末が第五の状態であると特定した場合、制御部440は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第五の動作を適用させることができる。
第五の動作は、キャラクタオブジェクトの口を音声に関する情報に応じて動作させるものとすることができる。
ユーザの動きに関する情報にはユーザの口の動きに関する情報が含まれるため、通常は、キャラクタオブジェクトの口の動きはユーザの口の動きがキャプチャされている。一方、本実施例においては、ユーザの動きに関する情報を得ていないという状況であるため、ユーザの音声に関する情報に基づいて、キャラクタオブジェクトの口を音声に同期させる(リップシンク)。かかるリップシンクの技術については公知の技術を適用することが可能である。
なお、このとき、本開示における一又は複数のコンピュータプロセッサは、音声解析部を備えることができるものとする。
以上の構成によれば、ユーザの動きに関する情報を取得していない場合であっても、キャラクタオブジェクトの口の動きを適切に制御することができるようになる。
受信部410は、さらに、ユーザ端末から送信されるユーザ端末の位置情報を受信することができる。このとき、特定部430は、位置情報が所定の条件を満たす場合に、ユーザ端末が第六の状態であると特定する。
位置情報に係る所定の条件とは、位置情報に基づいて算出される移動速度に基づくものとすることができる。位置情報が所定の条件を満たすとは、移動速度が所定の値以上である場合とすることができる。所定の値は、人間が走っていると認められる速度等とすることができるが、これに限られるものではない。
かかる状態は、上述した第一の状態から第五の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的に適用されるものとすることができる。
特定部430が、ユーザ端末が第六の状態であると特定した場合、制御部440は、キャラクタオブジェクトの表示態様の変更として、位置情報に基づく移動速度に応じて、キャラクタオブジェクトに第六の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第六の特定の動作を適用させることができる。
第六の特定のオブジェクトは、キャラクタオブジェクトが移動している様子を表すためのオブジェクトとすることができる。
キャラクタオブジェクトが移動している様子を表すためのオブジェクトには、一例として、図31に示されるような飛行機オブジェクト、電車オブジェクトや車オブジェクトなど、キャラクタオブジェクトが乗り物に乗っていることを示すオブジェクトが含まれる。
これら装着オブジェクトは、キャラクタオブジェクトの特定の部位に関連付けて表示されることができる。
かかる特定の部位は、ユーザ端末の状態(ここでは第六の状態)に関する部位、例えば、キャラクタオブジェクトが移動している様子を示す場合には、「移動」という行為に関する部位(例えば足や腰)とすることができる。
第六の特定の動作は、キャラクタオブジェクトが移動している様子を表すための動作とすることができる。
キャラクタオブジェクトが移動している様子を表すための動作には、一例として、図31に示されるような走る動作等が含まれる。
以上の構成によれば、ユーザの状況を、より具体的に他のユーザにわかりやすく表示することができるようになる。
受信部410は、さらに、ユーザ端末から送信される指示情報を受信することができる。このとき、制御部440は、指示情報に含まれる指示に応じてキャラクタオブジェクトの表示態様の変更を行うものとする。
上記指示情報は、具体的には、ユーザ端末に表示されたビデオオブジェクトVC12および/またはマイクオブジェクトVC11に対するユーザ操作により、カメラ機能および/またはマイク機能がオフにされた場合に追加的に表示される指示オブジェクトの選択により送信されるものとすることができる。
かかる状態は、上述した第一の状態から第六の状態に含まれ得る状態であるが、本例においては後述する表示態様の変更が優先的に適用されるものとすることができる。
制御部440は、キャラクタオブジェクトの表示態様の変更として、キャラクタオブジェクトに第七の特定のオブジェクトを装着、および/または、キャラクタオブジェクトに第七の特定の動作を適用させることができる。
第七の特定のオブジェクトは、所定のテキストが表示されたオブジェクトとすることができる。
所定のテキストが表示されたオブジェクトには、一例として、プラカードオブジェクトや看板オブジェクト等が含まれる。プラカードオブジェクトには、ユーザの状態を表す文字などが表示されるものとすることができる。ユーザの状態としては、例えば、「離席中」「ゲーム中」「移動中」などの文字が挙げられるが、これらに限られるものではない。
第七の特定の動作は、キャラクタオブジェクトの少なくとも一部を所定の間隔で動かす動作とすることができる。
キャラクタオブジェクトの少なくとも一部を所定の間隔で動かす動作には、一例として、キャラクタオブジェクトが瞬きをする動作、頷く動作、笑う動作等が含まれる。
これら第七の特定のオブジェクトの装着、および/または、第七の特定の動作の適用は、上記指示オブジェクトの操作によりユーザが所望するものを選択できるものとしてもよい。
このとき、第七の特定のオブジェクトには、上述した第一のオブジェクト、第二のオブジェクト、第三のオブジェクト、第四のオブジェクト、第五のオブジェクトおよび第六のオブジェクトのすべてが含まれるものとすることができる。そして、ユーザは、これらオブジェクトのそれぞれに対応する複数の指示オブジェクトの中から所望のオブジェクトを選択し、キャラクタオブジェクトに装着させることができる。
同様に、第七の特定の動作には、上述した第一の特定の動作、第二の特定の動作、第三の特定の動作、第四の特定の動作、第五の特定の動作および第六の特定の動作のすべてが含まれるものとすることができる。そして、ユーザは、これら動作のそれぞれに対応する複数の指示オブジェクトの中から所望の動作を選択し、キャラクタオブジェクトに適用させることができる。
以上の構成によれば、ユーザ自身の状況をより具体的にキャラクタオブジェクトを介して他のユーザにわかりやすく表示することができるようになる。
特定部430は、受信部410が受信した音声に関する情報に含まれるユーザによる発声の音量が所定の条件を満たす場合に、ユーザ端末が第八の状態であると特定することができる。
このとき、上述した音声判定部は、受信部410が受信した音声に関する情報に含まれるユーザによる発声の音声の音量が、所定の範囲外の値であるか否かを判定するものとする。
ここでいう音量の所定範囲外とは、ビデオチャットにおけるユーザによる発声の音量として適切な範囲外をいうものとする。例えば、ユーザの声がビデオチャットの音声として大きすぎる場合や、ユーザの声が小さすぎる場合が上記適切な範囲外に該当する。かかる音量の値は、具体的に数値で定義されるものであってもよいし、他のユーザによる発声の音量、および/または、ユーザによる発声以外の他の音声の音量等に基づいて相対的に定められるものとしてもよい。
そして、特定部430が、ユーザ端末が第八の状態であると特定した場合、制御部440は、発声の音量に応じて、キャラクタオブジェクトに第八の特定のオブジェクトを装着、および/または、動画に第八の特定のオブジェクトを表示させることができる。
第八の特定のオブジェクトには、一例として、発声の音量を表すためのオブジェクト等が含まれる。
発生の音量を表すためのオブジェクトは、具体的には、マイクオブジェクトやメガホンオブジェクト(図32)、音量メータオブジェクトなどが挙げられるが、これらに限られるものではない。
なお、マイクオブジェクトおよびメガホンオブジェクトのサイズは、発声の音量が大きい程大きいものとなるよう表示されるものとしてもよく、音量メータオブジェクトは、発声の音量に応じてメータが変化するものとしてもよい。
そして、これら装着オブジェクトは、キャラクタオブジェクトの特定の部位(例えば口)に関連付けて表示されるものとしてもよいし、キャラクタオブジェクトの周囲に表示されるものとしてもよい。
第八の特定の動作には、一例として、発声の音量を表すための動作等が含まれる。
発生の音量を表すための動作は、具体的には、口に手を添えてメガホンのようにする動作や、口に人差し指を添えて秘密の話をする動作などが挙げられる。
なお、上記音量メータオブジェクトについては、ユーザ端末が第八の状態でない場合にも画面に表示されるものとしてもよい。
以上の構成によれば、ビデオチャットにおけるユーザの声の大小をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することができるようになる。
続いて、本開示の実施形態における情報処理方法について説明を行う。
本開示の実施形態における情報処理方法は、一以上のユーザ端末およびサーバ装置400を備える情報処理システム3000において実行されることができるものである。
本開示における情報処理方法は、図33に一例として示されるように、情報処理システム3000が備える一又は複数のコンピュータプロセッサに、受信ステップS410、実行ステップS420、特定ステップS430および制御ステップS440を実行させる。
受信ステップS410では、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信することができる。かかる受信ステップS410は、上述した受信部410により実行されることができる。
受信ステップS410は、サーバ側(サーバ装置400)で実行されるものとすることができる。
実行ステップS420では、受信ステップS410において受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。かかる実行ステップS420は、上述した実行部420により実行されることができる。
実行ステップS420は、サーバ側(サーバ装置400)で実行されるものとしてもよいし、クライアント側(ユーザ端末)で実行されるものであってもよい。
特定ステップS430では、ユーザ端末の状態を特定する。かかる特定ステップS430は、上述した特定部430により実行されることができる。
特定ステップS430は、サーバ側(サーバ装置400)で実行されるものとしてもよいし、クライアント側(ユーザ端末)で実行されるものであってもよい。
制御ステップS440では、特定ステップS430において特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。かかる制御ステップS440は、上述した制御部440により実行されることができる。
制御ステップS440は、サーバ側(サーバ装置400)で実行されるものとしてもよいし、クライアント側(ユーザ端末)で実行されるものであってもよい。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
続いて、本開示の実施形態におけるコンピュータプログラムについて説明を行う。
本開示の実施形態におけるコンピュータプログラムは、一以上のユーザ端末およびサーバ装置400を備える情報処理システム3000において実行されることができるものである。
本開示におけるコンピュータプログラムは、情報処理システム3000が備える一又は複数のコンピュータプロセッサに、受信機能、実行機能、特定機能および制御機能を実現させる。
受信機能は、ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信することができる。
実行機能は、受信機能により受信した、動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。
特定機能では、ユーザ端末の状態を特定する。
制御機能は、特定機能により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。
上記機能は、図34に示す受信回路1410、実行回路1420、特定回路および制御回路1430により実現されることができる。受信回路1410、実行回路1420、特定回路1430および制御回路1440は、それぞれ上述した受信部410、実行部420、特定部430および制御部440により実現されるものとする。各部の詳細については上述したとおりである。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
続いて、本開示の実施形態における情報処理装置について説明を行う。情報処理装置は、上述した情報処理システム3000におけるユーザ端末に相当するものである。
情報処理装置は、一又は複数のコンピュータプロセッサを備える情報処理装置であって、当該一又は複数のコンピュータプロセッサは、図35に示されるように、送信部110、受信部120、実行部130、特定部140および制御部150を備える。
送信部110は、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能なものである。動画を生成するための情報については上述したとおりである。
受信部120は、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置400から受信可能なものである。
実行部130は、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。実行部130は上述した実行部420と同様の構成とすることができる。
特定部140は、情報処理装置の状態を特定する。特定部140は上述した特定部430と同様の構成とすることができる。
制御部150は、特定部140により特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。制御部150は、上述した制御部440と同様の構成とすることができる。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
続いて、本開示の実施形態における情報処理方法の一例について説明を行う。かかる情報処理方法は、上述した情報処理装置(ユーザ端末)において実行される情報処理方法である。
本開示における情報処理方法は、図36に一例として示されるように、情報処理装置が備える一又は複数のコンピュータプロセッサに、送信ステップS110、受信ステップS120、実行ステップS130、特定ステップS140および制御ステップS150を実行させることを特徴とする。
送信ステップS110では、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信することができる。かかる送信ステップS110は、上述した送信部110により実行されることができる。
受信ステップS120では、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信することができる。かかる受信ステップS120は、上述した受信部120により実行されることができる。
実行ステップS130では、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。かかる実行ステップS130は、上述した実行部130により実行されることができる。
特定ステップS140では、情報処理装置の状態を特定する。かかる特定ステップS140は、上述した特定部140により実行されることができる。
制御ステップS150では、特定ステップにおいて特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。かかる制御ステップS160は、上述した制御部150により実行されることができる。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
最後に、本開示の実施形態におけるコンピュータプログラムについて説明を行う。かかるコンピュータプログラムは、上述した情報処理装置(ユーザ端末100)において実行されるコンピュータプログラムである。
本開示におけるコンピュータプログラムは、情報処理装置が備える一又は複数のプロセッサに、送信機能、受信機能、実行機能、特定機能および制御機能を実現させることを特徴とする。
送信機能は、ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、ユーザに係る動画を生成するための情報をサーバ装置に送信可能なものである。
受信機能は、他のユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、他のユーザに係る動画を生成するための情報をサーバ装置から受信可能なものである。
実行機能は、ユーザに係る動画を生成するための情報、および、他のユーザに係る動画を生成するための情報に基づいて、キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる。
特定機能は、情報処理装置の状態を特定する。
制御機能は、特定機能において特定されたユーザ端末の状態に応じて、当該ユーザ端末に対応するキャラクタオブジェクトの表示態様を変更する。
上記機能は、図37に示す送信回路1110、受信回路1120、実行回路1130、特定回路1140および制御回路1150により実現されることができる。送信回路1110、受信回路1120、実行回路1130、特定回路1140および制御回路1150は、それぞれ上述した送信部110、受信部120、実行部130、特定部140および制御部150により実現されるものとする。各部の詳細については上述したとおりである。
上記構成によれば、上述した従来技術の課題の少なくとも一部を解決又は緩和する技術的な改善を提供することができる。具体的には、ビデオチャット中のユーザの状況をキャラクタオブジェクトを介して他のユーザにわかりやすく表示することでコミニュケーションの行き違いを防止し、ユーザ間におけるコミュニケーションの活性化を図ることができる。
また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のCPUによって当該プログラムを読み出して実行させることによって実現可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラムとして、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
100 配信ユーザ端末(ユーザ端末)
200 視聴ユーザ端末(ユーザ端末)
300 ネットワーク
400 サーバ装置
410 受信部
420 実行部
430 特定部
440 制御部


Claims (20)

  1. 一又は複数のコンピュータプロセッサを備える情報処理システムであって、
    前記一又は複数のコンピュータプロセッサは、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
    前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
    前記ユーザ端末の状態を特定する特定部と、
    前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
    を備え
    前記特定部は、前記受信部が前記ユーザ端末から前記ユーザの動きに関する情報を受信していない場合、または、前記受信部が受信した前記ユーザの動きに関する情報が第一の条件を満たす場合、前記ユーザ端末が第一の状態であると特定し、
    前記制御部は、前記特定部が、前記ユーザ端末が第一の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させる情報処理システム。
  2. 前記第一の条件は、前記受信部が、同じ動きに関する情報を所定期間受信し続けていること、または、動きが変化した場合にのみ送信される動きの変化量に関する情報を所定期間受信しないことであることを特徴とする請求項に記載の情報処理システム。
  3. 一又は複数のコンピュータプロセッサを備える情報処理システムであって、
    前記一又は複数のコンピュータプロセッサは、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
    前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
    前記ユーザ端末の状態を特定する特定部と、
    前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
    を備え、
    前記特定部は、前記受信部が前記ユーザ端末から前記音声に関する情報を受信していない場合、または、前記受信部が受信した前記音声に関する情報が第二の条件を満たす場合、前記ユーザ端末が第二の状態であると特定し、
    前記制御部は、前記特定部が、前記ユーザ端末が第二の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトに発声していない様子を表すための動作を適用させる情報処理システム。
  4. 一又は複数のコンピュータプロセッサを備える情報処理システムであって、
    前記一又は複数のコンピュータプロセッサは、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
    前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
    前記ユーザ端末の状態を特定する特定部と、
    前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
    を備え、
    前記特定部は、前記受信部が、前記ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記ユーザ端末が第三の状態であると特定し、
    前記制御部は、前記特定部が、前記ユーザ端末が第三の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させる情報処理システム。
  5. 前記特定部は、前記受信部が、前記ユーザ端末において音楽再生アプリ、動画再生アプリ、ゲームアプリまたは通話アプリを起動していることを示す情報を受信している場合、前記ユーザ端末が第三の状態であると特定することを特徴とする請求項に記載の情報処理システム。
  6. 一又は複数のコンピュータプロセッサを備える情報処理システムであって、
    前記一又は複数のコンピュータプロセッサは、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信部と、
    前記受信部が受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行部と、
    前記ユーザ端末の状態を特定する特定部と、
    前記特定部により特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御部と
    を備え、
    前記特定部は、前記受信部が受信した前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記ユーザ端末が第四の状態であると特定し、
    前記制御部は、前記特定部が、前記ユーザ端末が第四の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させる情報処理システム。
  7. 前記特定部が、前記ユーザ端末が第四の状態であると特定した場合、
    前記制御部は、前記他の音声の音量が第二の値以上である場合に、前記音声に関する情報を含めずに前記動画を生成することを特徴とする請求項に記載の情報処理システム。
  8. 前記受信部は、さらに、前記ユーザ端末から送信される指示情報を受信し、
    前記制御部は、前記指示に応じて前記キャラクタオブジェクトの表示態様の変更を行うことを特徴とする請求項1から7のいずれか一項に記載の情報処理システム。
  9. 一又は複数のコンピュータプロセッサに、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
    前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記ユーザ端末の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ
    前記特定ステップでは、前記受信ステップにおいて前記ユーザ端末から前記ユーザの動きに関する情報を受信していない場合、または、前記受信ステップにおいて受信した前記ユーザの動きに関する情報が第一の条件を満たす場合、前記ユーザ端末が第一の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第一の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させる情報処理方法。
  10. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記情報処理装置の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ
    前記特定ステップでは、前記ユーザの動きに関する情報を受信していない場合、または、前記ユーザの動きに関する情報が第一の条件を満たす場合、前記情報処理装置が第一の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第一の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させる情報処理方法。
  11. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
    前記情報処理装置の状態を特定する特定機能と、
    前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
    を実現させ
    前記特定機能は、前記ユーザの動きに関する情報を受信していない場合、または、前記ユーザの動きに関する情報が第一の条件を満たす場合、前記情報処理装置が第一の状態であると特定し、
    前記制御機能は、前記特定機能により、前記情報処理装置が第一の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトに前記ビデオチャットの画面を視ていない様子を表すための動作を適用させるコンピュータプログラム。
  12. 一又は複数のコンピュータプロセッサに、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
    前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記ユーザ端末の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ、
    前記特定ステップでは、前記受信ステップにおいて前記ユーザ端末から前記音声に関する情報を受信していない場合、または、前記受信ステップにおいて受信した前記音声に関する情報が第二の条件を満たす場合、前記ユーザ端末が第二の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第二の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトに発声していない様子を表すための動作を適用させる情報処理方法。
  13. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記情報処理装置の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ
    前記特定ステップでは、前記音声に関する情報を受信していない場合、または、前記音声に関する情報が第二の条件を満たす場合、前記情報処理装置が第二の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第二の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトに発声していない様子を表すための動作を適用させる情報処理方法。
  14. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
    前記情報処理装置の状態を特定する特定機能と、
    前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
    を実現させ、
    前記特定機能は、前記音声に関する情報を受信していない場合、または、前記音声に関する情報が第二の条件を満たす場合、前記情報処理装置が第二の状態であると特定し、
    前記制御機能は、前記特定機能が、前記情報処理装置が第二の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに発声していない様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトに発声していない様子を表すための動作を適用させるコンピュータプログラム。
  15. 一又は複数のコンピュータプロセッサに、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
    前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記ユーザ端末の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ、
    前記特定ステップでは、前記受信ステップにおいて、前記ユーザ端末において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記ユーザ端末が第三の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第三の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させる情報処理方法。
  16. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記情報処理装置の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ、
    前記特定ステップでは、前記情報処理装置において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記情報処理装置が第三の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第三の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させる情報処理方法。
  17. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
    前記情報処理装置の状態を特定する特定機能と、
    前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
    を実現させ、
    前記特定機能は、前記情報処理装置において特定のアプリケーションが起動または表示されていることを示す情報を受信している場合、前記情報処理装置が第三の状態であると特定し、
    前記制御機能は、前記特定機能により、前記情報処理装置が第三の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトに音楽を聴いている様子を表すための動作を適用させるコンピュータプログラム。
  18. 一又は複数のコンピュータプロセッサに、
    ユーザのユーザ端末から送信される、当該ユーザの動きに関する情報、音声に関する情報およびキャラクタオブジェクトに関する情報を含む、動画を生成するための情報を受信可能な受信ステップと、
    前記受信ステップにおいて受信した、前記動画を生成するための情報に基づいて、前記キャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記ユーザ端末の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記ユーザ端末の状態に応じて、当該ユーザ端末に対応する前記キャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ、
    前記特定ステップでは、前記受信ステップにおいて受信した前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記ユーザ端末が第四の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記ユーザ端末が第四の状態であると特定した場合における前記キャラクタオブジェクトの表示態様の変更として、前記キャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および/または、前記キャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させる情報処理方法。
  19. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信ステップと、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信ステップと、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行ステップと、
    前記情報処理装置の状態を特定する特定ステップと、
    前記特定ステップにおいて特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御ステップと
    を実行させ、
    前記特定ステップでは、前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記情報処理装置が第四の状態であると特定し、
    前記制御ステップでは、前記特定ステップにおいて、前記情報処理装置が第四の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させる情報処理方法。
  20. 情報処理装置が備える一又は複数のコンピュータプロセッサに、
    ユーザの動きに関する情報、前記ユーザの音声に関する情報および前記ユーザのキャラクタオブジェクトに関する情報を含む、前記ユーザに係る動画を生成するための情報をサーバ装置に送信可能な送信機能と、
    他のユーザの動きに関する情報、前記他のユーザの音声に関する情報および前記他のユーザのキャラクタオブジェクトに関する情報を含む、前記他のユーザに係る動画を生成するための情報をサーバ装置から受信可能な受信機能と、
    前記ユーザに係る動画を生成するための情報、および、前記他のユーザに係る動画を生成するための情報に基づいて、前記ユーザおよび前記他のユーザのキャラクタオブジェクトを用いた複数のユーザ間におけるビデオチャットを実行させる実行機能と、
    前記情報処理装置の状態を特定する特定機能と、
    前記特定機能において特定された前記情報処理装置の状態に応じて、当該情報処理装置に対応する前記ユーザのキャラクタオブジェクトの表示態様を変更する制御機能と
    を実現させ、
    前記特定機能は、前記音声に関する情報に含まれる前記ユーザによる発声以外の他の音声の音量が第一の値以上である場合、前記情報処理装置が第四の状態であると特定し、
    前記制御機能は、前記特定機能により、前記情報処理装置が第四の状態であると特定した場合における前記ユーザのキャラクタオブジェクトの表示態様の変更として、前記ユーザのキャラクタオブジェクトにビデオチャットの音声を聞き辛く感じている様子を表すためのオブジェクトを装着、および/または、前記ユーザのキャラクタオブジェクトがビデオチャットの音声を聞き辛く感じている様子を表すための動作を適用させるコンピュータプログラム。
JP2022097871A 2022-06-17 2022-06-17 情報処理システム、情報処理方法およびコンピュータプログラム Active JP7329209B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022097871A JP7329209B1 (ja) 2022-06-17 2022-06-17 情報処理システム、情報処理方法およびコンピュータプログラム
US18/211,001 US20230412766A1 (en) 2022-06-17 2023-06-16 Information processing system, information processing method, and computer program
JP2023122376A JP2023184519A (ja) 2022-06-17 2023-07-27 情報処理システム、情報処理方法およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022097871A JP7329209B1 (ja) 2022-06-17 2022-06-17 情報処理システム、情報処理方法およびコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023122376A Division JP2023184519A (ja) 2022-06-17 2023-07-27 情報処理システム、情報処理方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP7329209B1 true JP7329209B1 (ja) 2023-08-18
JP2023184000A JP2023184000A (ja) 2023-12-28

Family

ID=87568982

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022097871A Active JP7329209B1 (ja) 2022-06-17 2022-06-17 情報処理システム、情報処理方法およびコンピュータプログラム
JP2023122376A Pending JP2023184519A (ja) 2022-06-17 2023-07-27 情報処理システム、情報処理方法およびコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023122376A Pending JP2023184519A (ja) 2022-06-17 2023-07-27 情報処理システム、情報処理方法およびコンピュータプログラム

Country Status (2)

Country Link
US (1) US20230412766A1 (ja)
JP (2) JP7329209B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009073A (ja) 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
WO2015079865A1 (ja) 2013-11-27 2015-06-04 シャープ株式会社 入力装置、コミュニケーション情報の特定方法、処理装置、表示装置、プログラム、および記録媒体
WO2018158852A1 (ja) 2017-02-28 2018-09-07 サン電子株式会社 通話システム及びコミュニケーションシステム
JP2020119425A (ja) 2019-01-28 2020-08-06 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2022079933A1 (ja) 2020-10-14 2022-04-21 住友電気工業株式会社 コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013009073A (ja) 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
WO2015079865A1 (ja) 2013-11-27 2015-06-04 シャープ株式会社 入力装置、コミュニケーション情報の特定方法、処理装置、表示装置、プログラム、および記録媒体
WO2018158852A1 (ja) 2017-02-28 2018-09-07 サン電子株式会社 通話システム及びコミュニケーションシステム
JP2020119425A (ja) 2019-01-28 2020-08-06 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
WO2022079933A1 (ja) 2020-10-14 2022-04-21 住友電気工業株式会社 コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム

Also Published As

Publication number Publication date
JP2023184000A (ja) 2023-12-28
US20230412766A1 (en) 2023-12-21
JP2023184519A (ja) 2023-12-28

Similar Documents

Publication Publication Date Title
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
CN114845081A (zh) 信息处理装置、记录介质及信息处理方法
JP6883140B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11651541B2 (en) Integrated input/output (I/O) for a three-dimensional (3D) environment
WO2021257868A1 (en) Video chat with spatial interaction and eye contact recognition
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7199791B2 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7317325B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7301263B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US20240152311A1 (en) Information processing system, information processing method, and computer program
JP7253597B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7229400B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
WO2024040571A1 (en) Delay optimization for multiple audio streams
JP7253026B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7150114B1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム
JP7455300B2 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2024088629A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2024087887A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2023067679A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2023098892A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220712

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R150 Certificate of patent or registration of utility model

Ref document number: 7329209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150