JP7055453B1 - Information processing equipment, information processing methods and information processing programs - Google Patents
Information processing equipment, information processing methods and information processing programs Download PDFInfo
- Publication number
- JP7055453B1 JP7055453B1 JP2020178768A JP2020178768A JP7055453B1 JP 7055453 B1 JP7055453 B1 JP 7055453B1 JP 2020178768 A JP2020178768 A JP 2020178768A JP 2020178768 A JP2020178768 A JP 2020178768A JP 7055453 B1 JP7055453 B1 JP 7055453B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- live
- name
- information processing
- call
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】本発明によれば、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。【解決手段】通信端末を介したライブ参加者との双方向ライブを含むコンテンツを提供する双方向ライブ提供部と、ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、双方向ライブの提供中に、コンテンツに含まれるライブ参加者に呼びかける場面において、呼び名登録部に登録された呼び名を用いてユーザに呼びかけるよう制御する制御部と、を備える。【選択図】 図１PROBLEM TO BE SOLVED: To enhance a sense of realism for each user who does not participate in a live in a two-way live distribution according to the present invention. SOLUTION: A two-way live providing unit that provides contents including a two-way live with a live participant via a communication terminal, a name registration unit that accepts and registers a user's name that is not included in the live participant, and the like. It is provided with a control unit that controls to call the user by using the name registered in the name registration unit in the scene of calling the live participant included in the content during the provision of the two-way live. [Selection diagram] Fig. 1
Description
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing apparatus, an information processing method and an information processing program.
上記技術分野において、特許文献１には、デジタル映画の上映において、シーン内の俳優の呼びかけ名を館内に居る観客の一人の呼び名に置換する技術が開示されている。 In the above technical field, Patent Document 1 discloses a technique for replacing the call name of an actor in a scene with the name of one of the spectators in the hall in the screening of a digital movie.
しかしながら、上記文献に記載の技術では、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができなかった。 However, with the technique described in the above document, in the two-way live distribution, it is not possible to enhance the sense of presence for each user who does not participate in the live.
本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above-mentioned problems.
上記目的を達成するため、本発明に係る情報処理装置は、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記制御部は、前記呼び名登録部に登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理装置は、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記通信端末からの前記ユーザに関する情報を取得する情報取得部をさらに備え、
前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
In order to achieve the above object, the information processing apparatus according to the present invention is
An interactive live provider that provides content that records interactive live concerts with live participants via communication terminals.
The name registration unit that accepts and registers the names of users who are not included in the live participants,
A control unit that controls to call the user using the name registered in the name registration unit in a scene of calling the live participant included in the content during playback of the content.
Equipped with
The control unit controls so that the image of the user is enlarged and displayed on the communication terminal when calling using the name registered in the name registration unit .
Further, in order to achieve the above object, the information processing apparatus according to the present invention is
An interactive live provider that provides content that records interactive live concerts with live participants via communication terminals.
The name registration unit that accepts and registers the names of users who are not included in the live participants,
A control unit that controls to call the user using the name registered in the name registration unit in a scene of calling the live participant included in the content during playback of the content.
Equipped with
Further, an information acquisition unit for acquiring information about the user from the communication terminal is provided.
The control unit controls to call the user using the name by a different call phrase corresponding to the information about the user.
上記目的を達成するため、本発明に係る情報処理方法は、
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
前記制御ステップでは、前記呼び名登録ステップで登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理方法は、
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
情報取得部が、前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらに含み、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
In order to achieve the above object, the information processing method according to the present invention is:
A two-way live provision step in which the provider provides content recorded with a two-way live with a live participant via a communication terminal.
The registration unit accepts and registers the names of users who are not included in the live participants, and the name registration step.
A control step for controlling the control unit to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
Including
In the control step, when calling using the nickname registered in the nickname registration step, the user's image is controlled to be enlarged and displayed on the communication terminal .
Further, in order to achieve the above object, the information processing method according to the present invention is used.
A two-way live provision step in which the provider provides content recorded with a two-way live with a live participant via a communication terminal.
The registration unit accepts and registers the names of users who are not included in the live participants, and the name registration step.
A control step for controlling the control unit to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
Including
The information acquisition unit further includes an information acquisition step of acquiring information about the user from the communication terminal.
In the control step, the user is controlled to be called by using the name by a different call phrase corresponding to the information about the user.
上記目的を達成するため、本発明に係る情報処理プログラムは、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記制御ステップでは、前記呼び名登録ステップにて登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理プログラムは、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらにコンピュータに実行させ、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
In order to achieve the above object, the information processing program according to the present invention is
A two-way live provision step that provides content that records a two-way live with live participants via a communication terminal,
The name registration step of accepting and registering the names of users who are not included in the live participants, and
A control step for controlling to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
Is an information processing program that causes a computer to execute
In the control step, when calling using the nickname registered in the nickname registration step, the user's image is controlled to be enlarged and displayed on the communication terminal .
Further, in order to achieve the above object, the information processing program according to the present invention is
A two-way live provision step that provides content that records a two-way live with live participants via a communication terminal,
The name registration step of accepting and registering the names of users who are not included in the live participants, and
A control step for controlling to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
Is an information processing program that causes a computer to execute
Further, the computer is made to execute an information acquisition step of acquiring information about the user from the communication terminal.
In the control step, the user is controlled to be called by using the name by a different call phrase corresponding to the information about the user.
本発明によれば、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。 According to the present invention, in two-way live distribution, it is possible to enhance the sense of presence for each user who does not participate in the live.
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, embodiments of the present invention will be described in detail exemplary with reference to the drawings. However, the components described in the following embodiments are merely examples, and the technical scope of the present invention is not intended to be limited thereto.
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、双方向ライブが可能なコンテンツを提供する装置である。
[First Embodiment]
The
図１に示すように、情報処理装置１００は、双方向ライブ提供部１０１と、呼び名登録部１０２と、制御部１０３と、を含む。双方向ライブ提供部１０１は、通信端末１４１を介したライブ参加者１５１との双方向ライブを含むコンテンツを提供する。呼び名登録部１０２は、ライブ参加者に含まれないユーザ１５２の呼び名１２１を通信端末１４２から受け付けて登録する。制御部１０３は、双方向ライブの提供中に、コンテンツに含まれるライブ参加者１５１に呼びかける場面において、呼び名登録部１０２に登録された呼び名１２１を用いてユーザ１５２に呼びかけるよう制御する。
As shown in FIG. 1, the
本実施形態によれば、ライブ参加者に含まれないユーザそれぞれに対して、ユーザの呼び名を用いて呼びかけることで、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。 According to the present embodiment, by calling each user who is not included in the live participant by using the user's name, it is possible to enhance the sense of presence for each user who does not participate in the live in the two-way live distribution. Can be done.
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムにおいては、ライブ参加者に含まれないユーザそれぞれに対して、ライブ参加者名をあらかじめ登録されたユーザの呼び名に置換して呼びかけを行う。置換する呼び名としては、あらかじめ登録されたユーザの呼び名に対応する音声データが用いられたり、呼び名に対応して合成された音声データが用いられたりする。
[Second Embodiment]
Next, an information processing system including the information processing apparatus according to the second embodiment of the present invention will be described. In the information processing system including the information processing device according to the present embodiment, each user who is not included in the live participant is called by replacing the live participant name with the name of the user registered in advance. As the nickname to be replaced, the voice data corresponding to the nickname of the user registered in advance may be used, or the voice data synthesized corresponding to the nickname may be used.
＜情報処理システム＞
以下、図２から図４を参照して、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の構成および動作を説明する。
<Information processing system>
Hereinafter, the configuration and operation of the
（動作概要）
図２は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００における動作概要を説明する図である。
(Outline of operation)
FIG. 2 is a diagram illustrating an outline of operation in the
情報処理システム２００は、情報処理装置２１０と通信端末２２０とを備える。情報処理装置２１０は双方向ライブコンテンツ２１１を格納しており、通信端末２２０に対して双方向ライブコンテンツを提供する。通信端末２２０では、提供された双方向ライブコンテンツを再生する。
The
図２の左下の通信端末２２０の表示領域２２１からは、双方向ライブコンテンツに参加していないユーザの属性、特に呼び名が入力されて情報処理装置２１０に登録される。ユーザの属性には、呼び名の外に年齢や性別が含まれる。また、呼び名については、マイク２２２から家族が呼びかける音声入力を取得して情報処理装置２１０に登録してもよい。図２の例では、双方向ライブコンテンツに参加していない５歳の男子“かいと”が登録されている。
From the
図２の右下の通信端末２２０では、“ひろゆき”と“れいな”を含む９人の子供が参加する双方向ライブコンテンツが再生されている。ここでは、音楽に合わせてみんなで踊っているシーンが表示されている。この時に、双方向ライブコンテンツには参加していないユーザ“かいと”に対して、スピーカ２２５から“かいとくん、しっかり踊れてるかなぁ？”との呼びかけが出力される。これは、例えば、双方向ライブコンテンツ内の“ひろゆきくん、しっかり踊れてるかなぁ？”との呼びかけにおいて、“ひろゆき”をユーザ登録された“かいと”に置き換えた出力である。ここで、双方向ライブコンテンツ内の呼びかけが“れいなちゃん、しっかり踊れてるかなぁ？”であった場合、性別を考慮して、“れいなちゃん”が“かいとくん”に置き換えられる。
On the
なお、本実施形態においては、あらかじめ双方向ライブコンテンツ内に有る呼びかけフレーズの呼び名を置換する処理を示すが、図２のように呼びかけ者が表示されていない時間帯であれば、ユーザの呼び名を含む新しいフレーズで呼びかけてもよい。 In this embodiment, the process of replacing the call name of the call phrase in the two-way live content in advance is shown, but if the caller is not displayed as shown in FIG. 2, the user's name is used. You may call with a new phrase that includes.
（構成）
図３は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の構成を示すブロック図である。なお、図３において、図２と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
(Constitution)
FIG. 3 is a block diagram showing a configuration of an
図３の情報処理システム２００は、情報処理装置２１０と、情報処理装置２１０とユーザの通信端末とを接続するネットワーク３４０と、を備える。ユーザの通信端末は、双方向ライブの参加者である“ひろゆき”３４１および“れいな”３４２の通信端末３３１および３３２と、双方向ライブの非参加者である“かいと”３２０および“みき”３２２の通信端末２２０および３２１と、を含む。
The
情報処理装置２１０は、参加者名を含む双方向ライブコンテンツ２１１と、コンテンツに含まれないユーザの呼び名３１２と、を有する。情報処理装置２１０は、通信端末３３１および３３２を用いた双方向ライブを実行して、双方向ライブコンテンツ２１１を生成する。そして、情報処理装置２１０は、双方向ライブコンテンツ２１１の参加者名をコンテンツに含まれないユーザの呼び名３１２にそれぞれ置き換えた呼びかけを、通信端末２２０および２２１から出力する。すなわち、双方向ライブコンテンツ２１１内の“ひろゆき”や“れいな”の幾つかは“かいと”や“みき”に置き換えられて、通信端末２２０や３２１に出力される。
The
これにより、双方向ライブに参加していないユーザに対し、あたかも参加しているかのような臨場感を提供できる。 As a result, it is possible to provide a user who has not participated in the two-way live with a sense of reality as if he / she is participating.
（動作シーケンス）
図４は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の動作手順を示すシーケンス図である。図４には、情報処理装置２１０と通信端末（かいと）２２０および通信端末（みき）３２１が示されているが、ユーザの通信端末は２つに限定されず、双方向ライブコンテンツ２１１を提供されるユーザ分接続される。なお、図４には、双方向ライブコンテンツ２１１を収録する手順は省略されている。
(Operation sequence)
FIG. 4 is a sequence diagram showing an operation procedure of the
ステップＳ４０１において、情報処理装置２１０と通信端末（かいと）２２０、および、情報処理装置２１０と通信端末（みき）３２１、の間で双方向ライブアプリケーションが機能される。双方向ライブアプリケーションの開始時において、情報処理装置２１０は、ステップＳ４０３において、各ユーザの通信端末にユーザの呼び名を問い合わせる。通信端末（かいと）２２０からは、問い合わせに応答して、ステップＳ４０５において、呼び名“かいと(kaito)”が入力されて情報処理装置２１０に送信される。一方、通信端末（みき）３２１からは、問い合わせに応答して、ステップＳ４０７において、呼び名“みき(miki)”が入力されて情報処理装置２１０に送信される。情報処理装置２１０は、ステップＳ４０９において、受信した呼び名“かいと(kaito)”および“みき(miki)”を送信元の通信端末２２０、３２１の識別子に対応付けて登録する。なお、図４では、呼び名のみの登録を示したが、実際には年齢や性別、嗜好などの他のユーザ属性も登録される。
In step S401, a bidirectional live application is functioned between the
ステップＳ４１１において、双方向ライブコンテンツ２１１が再生されて開始される。情報処理装置２１０は、双方向ライブコンテンツ２１１に含まれるユーザへの呼びかけを検索して、検知する。なお、ユーザへの呼びかけの検知は、あらかじめ双方向ライブコンテンツ２１１にタグなどを挿入してそれを検知しても、双方向ライブコンテンツ２１１から実時間で検出してもよい。
In step S411, the bidirectional
ユーザへの呼びかけが検知されると、情報処理装置２１０は、ステップＳ４１５において、呼びかけフレーズの呼び名を“かいと”に置換して、通信端末（かいと）２２０にユーザへの呼びかけを出力する。そして、通信端末（かいと）２２０は、ステップＳ４１７において、提供されたユーザへの呼びかけをスピーカから発声する。一方、情報処理装置２１０は、ステップＳ４１９において、呼びかけフレーズの呼び名を“みき”に置換して、通信端末（みき）３２１にユーザへの呼びかけを出力する。そして、通信端末（みき）３２１は、ステップＳ４２１において、提供されたユーザへの呼びかけをスピーカから発声する。
When the call to the user is detected, the
双方向ライブコンテンツ２１１が終了する、あるいは、中止指示がされると、ステップＳ４３１において、情報処理装置２１０と通信端末（かいと）２２０、および、情報処理装置２１０と通信端末（みき）３２１、の間で双方向ライブコンテンツの提供が終了する。そして、双方向ライブアプリケーションが終了（停止）する。
When the bidirectional
＜情報処理装置の機能構成＞
図５は、本実施形態に係る情報処理装置２１０の機能構成を示すブロック図である。
<Functional configuration of information processing device>
FIG. 5 is a block diagram showing a functional configuration of the
情報処理装置２１０は、通信制御部５１０と、双方向ライブコンテンツ収録部５０２と、データベース５０３と、仮想双方向ライブ配信アプリケーション５０４と、を備える。
The
通信制御部５１０は、ネットワーク３４０を介して、通信端末２２０、３２１、３３１、３３２などとの通信を制御する。双方向ライブコンテンツ収録部５０２は、通信端末３３１および３３２などにより双方向ライブの参加者と接続して、双方向ライブコンテンツを収録する。なお、双方向ライブコンテンツ収録部５０２についての詳説は省略する。
The communication control unit 510 controls communication with
データベース５０３は、双方向ライブコンテンツ記録部５３１と、ユーザ呼び名登録部５３２と、呼び名音声登録部５３３と、を備える。双方向ライブコンテンツ記録部５３１は、収録された双方向ライブコンテンツ２１１を記憶する。ユーザ呼び名登録部５３２は、双方向ライブコンテンツ２１１に含まれないユーザの呼び名を登録する。呼び名音声登録部５３３は、呼び名の音声データを登録する。かかる呼び名の音声データは、子供の名前トップ１００ぐらいを予めリアル音声で録音した音声データであっても、ユーザの呼び名登録時にユーザ側から入力された音声データであってもよい。
The
仮想双方向ライブ配信アプリケーション５０４は、ユーザ呼び名問い合せ部５４１と、ユーザ呼び名取得部５４２と、仮想双方向ライブ配信部５４３と、ユーザ呼び名置換制御部５４４と、オプションとしての呼び名音声合成部５４５と、を有する。ユーザ呼び名問い合せ部５４１は、通信端末（かいと）２２０および通信端末（みき）３２１に対してユーザの呼び名などを問い合わせる。ユーザ呼び名取得部５４２は、通信端末（かいと）２２０および通信端末（みき）３２１から返信されたユーザの呼び名などを取得する。
The virtual bidirectional
仮想双方向ライブ配信部５４３は、双方向ライブコンテンツ記録部５３１に記録された双方向ライブコンテンツ２１１を仮想双方向ライブとして通信端末（かいと）２２０および通信端末（みき）３２１に配信する。ユーザ呼び名置換制御部５４４は、双方向ライブコンテンツ２１１に含まれるユーザ呼びかけフレーズを検知して、フレーズ中の双方向ライブ参加者名をユーザの呼び名に置換するよう、仮想双方向ライブ配信部５４３を制御する。オプションとしての呼び名音声合成部５４５は、呼び名音声登録部５３３に登録されていない呼び名音声を人工的に合成して、ユーザ呼び名置換制御部５４４に渡す。
The virtual bidirectional
（双方向ライブコンテンツ記録部）
図６Ａは、本実施形態に係る双方向ライブコンテンツ記録部５３１の構成を示す図である。双方向ライブコンテンツ記録部５３１は、参加者と共に収録した双方向ライブコンテンツを、呼びかけフレーズにおける呼び名置換のための情報と共に記録し、本実施形態の呼びかけフレーズにおける呼び名置換に使用される。
(Two-way live content recording section)
FIG. 6A is a diagram showing the configuration of the bidirectional live
双方向ライブコンテンツ記録部５３１は、双方向ライブコンテンツＩＤ６１１に対応付けて、少なくとも１つの置換位置情報６１２を記憶する。置換位置情報６１２は、双方向ライブコンテンツ中の呼びかけフレーズのタイミングと長さとを含む。なお、本実施形態においては、呼びかけフレーズのタイミングと長さとは、１００分の１秒単位で調整できる。そのため、呼び名が決まったブランクの中に自然にはいるように再生できる。また、双方向ライブコンテンツ記録部５３１は、各置換位置情報６１２に対応付けて、呼びかけフレーズのデータ６１３と置換制御情報６１４とを記憶する。なお、呼びかけフレーズのデータ６１３としては、呼び名の置換（図中、［呼び名］）と敬称の置換（図中、［敬称］）が設定される。また、置換制御情報６１４は、フレーズ内の呼び名位置や音声整合用情報（高低、速度、…）などが含まれるが、これらに限定されない。
The bidirectional live
（ユーザ呼び名登録部）
図６Ｂは、本実施形態に係るユーザ呼び名登録部５３２の構成を示す図である。ユーザ呼び名登録部５３２は、呼びかけフレーズにおける呼び名置換のためのユーザの呼び名を登録し、ユーザ呼び名置換制御部５４４が使用する。
(User name registration department)
FIG. 6B is a diagram showing a configuration of a user
ユーザ呼び名登録部５３２は、双方向ライブコンテンツＩＤ６２１に対応付けて、仮想双方向ライブを提供する少なくとも１つの通信端末ＩＤ６２２を記憶する。そして、ユーザ呼び名登録部５３２は、各通信端末ＩＤ６２２に対応付けて、ユーザ呼び名登録情報６２３を記憶する。なお、ユーザ呼び名登録情報６２３には、ユーザの呼び名、ユーザの年齢、ユーザの性別、使用される敬称、呼び名音声が録音か合成か、呼び名の音声データなどが含まれるが、これに限定されるものではない。
The user
＜情報処理装置のハードウェア構成＞
図７は、本実施形態に係る情報処理装置２１０のハードウェア構成を示すブロック図である。図７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
<Hardware configuration of information processing equipment>
FIG. 7 is a block diagram showing a hardware configuration of the
図７で、ＣＰＵ７１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成を実現する。ＲＯＭ７２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース７３０は、ネットワーク３４０を介して通信端末２２０、３２１、３３１、３３２との通信を制御する。
In FIG. 7, the
ＲＡＭ７４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。双方向ライブコンテンツ７４１は、仮想双方向ライブのコンテンツであり、本実施形態においては呼び名置換位置のフレーズを検出するための呼び名置換タグ７４２を含んでいる。なお、双方向ライブコンテンツ７４１から呼び名置換フレーズを実時間で検出する場合には、呼び名置換タグ７４２を必要としない。配信先ＩＤ/配信先呼び名７４３は、仮想双方向ライブの配信先の通信端末ＩＤと、その通信端末ＩＤに配信する時に置換する呼び名である。呼び名置換用フレーズ７４４は、双方向ライブコンテンツ７４１から検知された呼び名を置換する前の呼びかけフレーズである。呼び名置換後フレーズ７４５は、呼び名を置換した後の呼びかけフレーズである。送受信データ７４６は、ネットワークインタフェース７３０を介して送受信されるデータである。
The
ストレージ７５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ７５０には、データベースとして、図５で前出した、双方向ライブコンテンツ記録部５３１と、コンテンツに含まれないユーザ呼び名登録部５３２と、呼び名音声登録部５３３とが記憶される。
The
ストレージ７５０には、以下のプログラムが格納される。情報処理装置の制御プログラム７５１は、情報処理装置２１０の全体を制御するプログラムである。双方向ライブコンテンツ生成モジュール７５２は、参加者を含む双方向ライブの収録に基づいて双方向ライブコンテンツを生成するモジュールである。仮想双方向ライブ配信モジュール７５３は、双方向ライブコンテンツを用いて仮想双方向ライブを配信するモジュールである。ユーザ呼び名登録モジュール７５４は、置換するユーザの呼び名を取得して登録するモジュールである。ユーザ呼び名置換モジュール７５５は、仮想双方向ライブの配信中に、双方向ライブの参加者名をユーザの呼び名に置き換えるモジュールである。呼び名音声合成モジュール７５６は、ユーザの呼び名で音声データが登録されていないものを合成するためのモジュールである。
The following programs are stored in the
なお、図７のＲＡＭ７４０やストレージ７５０には、情報処理装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
The
＜情報処理装置の処理手順＞
図８Ａは、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行し、図５の機能構成を実現する。
<Processing procedure of information processing device>
FIG. 8A is a flowchart showing a processing procedure of the
情報処理装置２１０は、ステップＳ８１１において、コンテンツの収録か否かを判定する。コンテンツの収録であると判定すると、情報処理装置２１０は、ステップＳ８１３において、参加者を含む双方向ライブの収録を開始する。そして、情報処理装置２１０は、ステップＳ８１５において、双方向ライブのストーリーに沿って呼びかけをユーザの呼び名に置換するタイミングか否かを判定する。呼びかけをユーザの呼び名に置換するタイミングが来ると、情報処理装置２１０は、ステップＳ８１７において、再生時に呼び名の置換位置を検知するための呼び名置換タグを付与する。情報処理装置２１０は、ステップＳ８１９において、双方向ライブを収録する。情報処理装置２１０は、ステップＳ８２１において、ライブの収録終了であるか否かを判定し、収録終了でなければ、ステップＳ８１５に戻って収録を継続する。
In step S811, the
コンテンツの収録でないと判定すると、情報処理装置２１０は、ステップＳ８３１において、仮想双方向ライブの配信か否かを判定する。仮想双方向ライブの配信と判定すると、情報処理装置２１０は、ステップＳ８３３において、仮想双方向ライブ配信アプリケーションを起動する。そして、情報処理装置２１０は、ステップＳ８３５において、置換する呼び名をユーザの通信端末に問合せる。情報処理装置２１０は、ステップＳ８３７において、ユーザの通信端末からの返信を待って、返信があると、ステップＳ８３９において、受信した呼び名をユーザ呼び名登録部５３２に登録する。この場合に、呼び名の音声入力があると、呼び名音声登録部５３３に登録する。
If it is determined that the content is not recorded, the
情報処理装置２１０は、ステップＳ８４１において、仮想双方向ライブ配信処理を実行する。そして、仮想双方向ライブ配信処理が終了すると、情報処理装置２１０は、ステップＳ８４３において、仮想双方向ライブ配信アプリケーションを終了する。なお、コンテンツの収録でなく仮想双方向ライブの配信でなければ、他の処理を実行する。
The
（仮想双方向ライブ配信処理）
図８Ｂは、本実施形態に係る仮想双方向ライブ配信処理Ｓ８４１の手順を示すフローチャートである。
(Virtual two-way live distribution processing)
FIG. 8B is a flowchart showing the procedure of the virtual bidirectional live distribution process S841 according to the present embodiment.
情報処理装置２１０は、ステップＳ８５１において、仮想双方向ライブの配信を開始する。情報処理装置２１０は、ステップＳ８５３において、呼び名置換タグが有るか否かを判定する。呼び名置換タグが無ければ、情報処理装置２１０は、ステップＳ８５９に進む。呼び名置換タグが有れば、情報処理装置２１０は、ステップＳ８５５において、配信先の通信端末ＩＤに対応する呼び名をユーザ呼び名登録部５３２から取得する。そして、情報処理装置２１０は、ステップＳ８５７において、呼び名置換タグの呼びかけフレーズ中の呼び名をユーザの呼び名に置換して、配信先の通信端末に出力する。情報処理装置２１０は、ステップＳ８５９において、仮想ライブ配信の終了か否かを判定し、終了でなければ、ステップＳ８５３に戻って配信を継続する。
The
本実施形態によれば、ライブ参加者に含まれないユーザそれぞれに対して、ユーザの呼び名を用いて呼びかけることで、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。特に、登録されてない呼び名を合成して使用したり、ユーザの呼び名にユーザ側から登録した音声データを使用したりすることで、より臨場感を高めることができる。 According to the present embodiment, by calling each user who is not included in the live participant by using the user's name, it is possible to enhance the sense of presence for each user who does not participate in the live in the two-way live distribution. Can be done. In particular, by synthesizing and using unregistered nicknames, or by using voice data registered from the user side for the user's nickname, it is possible to further enhance the sense of presence.
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態と比べると、通信端末に搭載されたカメラで撮像した映像から、ユーザの顔認識をすることでユーザの状態に対応した呼びかけを行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Third Embodiment]
Next, an information processing system including the information processing apparatus according to the third embodiment of the present invention will be described. Compared with the second embodiment, the information processing system including the information processing apparatus according to the present embodiment responds to the user's state by recognizing the user's face from the image captured by the camera mounted on the communication terminal. It differs in that it makes a call. Since other configurations and operations are the same as those in the second embodiment, the same configurations and operations are designated by the same reference numerals and detailed description thereof will be omitted.
＜情報処理システム＞
以下、図９および図１０を参照して、本実施形態に係る情報処理装置９１０を含む情報処理システム９００の構成および動作を説明する。
<Information processing system>
Hereinafter, the configuration and operation of the
（動作概要）
図９は、本実施形態に係る情報処理装置９１０を含む情報処理システム９００における動作概要を説明する図である。なお、図９において、図２と同様の構成要素には同じ参照番号を付して、重複する説明を終了する。
(Outline of operation)
FIG. 9 is a diagram illustrating an outline of operation in the
通信端末（かいと）２２０には、撮像部（カメラ）９２２が搭載され、ユーザの撮像が可能である。図９の左図の表示領域９２１には、顔認識のためのユーザの顔画像入力が追加されている。図９の中央図の表示画面９３２には、呼びかけフレーズがユーザの呼び名に置換されるタイミングで、拡大されたユーザ像が表示され、演者の表示領域９２４はピクチャー・イン・ピクチャー（ＰＩＰ）により表示される。そして、拡大されたユーザ像が得られる場合には、顔認識部によってユーザの顔認識が登録した顔画像との比較で実行される。
The communication terminal (kaito) 220 is equipped with an image pickup unit (camera) 922, and can take an image of a user. A user's face image input for face recognition is added to the
例えば、かくれんぼをするシーンであれば、図９の中央図に示すユーザの顔認識において、一定時間、顔認識ができなければ、図９の右上図のように、演者の表示領域９２５が表示されて、ユーザの呼び名に置換された“かいとくんどこにいるかなぁ？”とのフレーズが発声される。一方、図９の中央図に示すユーザの顔認識において、顔認識が一致すれば、図９の右下図のように、演者の表示領域９２５が表示されて、ユーザの呼び名に置換された“かいとくんちゃんとかくれてぇ～”とのフレーズが発声される。
For example, in the case of a hide-and-seek scene, if the user's face recognition shown in the central figure of FIG. 9 cannot recognize the face for a certain period of time, the performer's
本実施形態により、ユーザの状態を顔認識に基づいて判定し、判定結果に応じたフレーズを選択し、かつ、ユーザの呼び名に置換した呼びかけを実現する。 According to the present embodiment, the user's state is determined based on face recognition, a phrase corresponding to the determination result is selected, and a call is realized in which the user's name is replaced.
（動作シーケンス）
図１０は、本実施形態に係る情報処理装置９１０を含む情報処理システム９００の動作手順を示すシーケンス図である。なお、図１０において、図４と同様のステップには同じステップ番号を付して、重複する説明は省略する。また、図１０において、図４内で同様の複数の処理（例えば、Ｓ４０５とＳ４０７）は、１つの箱で省略して示している。また、図１０においては、図４のステップＳ４３１の終了処理は省略されている。
(Operation sequence)
FIG. 10 is a sequence diagram showing an operation procedure of the
情報処理装置２１０は、ステップＳ１００９において、通信端末２２０、３２２１からユーザの顔画像を取得する。そして、情報処理装置２１０は、ステップＳ１０１０において、取得したユーザの顔画像を提供先の通信端末に対応付けて登録する。
In step S1009, the
仮想双方向ライブの開始後、情報処理装置２１０は、ステップＳ１０１１において、通信端末２２０、３２２１からユーザ映像を取得する。そして、情報処理装置２１０は、ステップＳ１０１２において、ユーザ映像から認識されたユーザ状態の応じて、少なくとも２つの呼びかけフレーズから適切な呼びかけフレーズを選択する。なお、択一的な呼びかけであれば、１つのフレーズをＹＥＳとＮＯとなるように変形してもよい。
After the start of the virtual bidirectional live, the
＜情報処理装置の機能構成＞
図１１は、本実施形態に係る情報処理装置９１０の機能構成を示すブロック図である。なお、図１１において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
<Functional configuration of information processing device>
FIG. 11 is a block diagram showing a functional configuration of the
データベース１１０３は、選択する複数のフレーズを格納するフレーズ格納部１１３４を含む、双方向ライブコンテンツ記録部１１３１と、コンテンツに含まれないユーザ呼び名および顔画像登録部１１３２とを含む。
The
仮想双方向ライブ配信アプリケーション１１０４は、さらに、ユーザ映像取得部１１４６と、フレーズ選択部１１４７と、を有する。ユーザに関する情報取得部としてのユーザ映像取得部１１４６は、通信端末が撮像したユーザ画像を取得し、ユーザ呼び名および顔画像登録部１１３２に格納し、フレーズ選択部１１４７に送付する。フレーズ選択部１１４７は、ユーザへの呼びかけタイミングにおいて、ユーザ映像取得部１１４６からのユーザ映像に基づいて、顔認識部による顔認識に基づいて認識されたユーザの状態に応じて、フレーズ格納部１１３４から適切なフレーズを選択して仮想双方向ライブ配信部５４３に出力する。その後は、図５と同様に、仮想双方向ライブ配信部５４３では、ユーザ呼び名置換制御部５４４の制御により選択されたフレーズの呼び名をユーザの呼び名に置換して配信する。
The virtual bidirectional
（双方向ライブコンテンツ記録部）
図１２Ａは、本実施形態に係る双方向ライブコンテンツ記録部１１３１の構成を示す図である。図１２Ａにおいて、図６Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
(Two-way live content recording section)
FIG. 12A is a diagram showing the configuration of the bidirectional live
呼びかけフレーズ格納部１１３４は、使用するフレーズを選択する条件と、条件を満たす場合のフレーズとを含む。例えば、一定時間にユーザの顔認識がなければ、“[呼び名][敬称]ちゃんとかくれてるね”が使用され、ユーザの顔認識があれば、“[呼び名][敬称]ちゃんとかくれてぇ～”が使用される。また、表示制御情報１２１５として、このタイミングでの通常と異なる表示が指示されている。
The calling
（ユーザ呼び名および顔画像登録部）
図１２Ｂは、本実施形態に係るユーザ呼び名および顔画像登録部１１３２の構成を示す図である。図１２Ｂにおいて、図６Ｂと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
(User name and face image registration unit)
FIG. 12B is a diagram showing the configuration of the user name and face
顔画像情報１２２４は、ユーザが登録したユーザの顔画像であり、画像データとその特徴量とを含む。
The
＜情報処理装置の処理手順＞
図１３Ａは、本実施形態に係る情報処理装置９１０の処理手順を示すフローチャートである。図１３Ａにおいて、図８Ａと同様のステップには同じステップ番号を付して、重複する説明は省略する。
<Processing procedure of information processing device>
FIG. 13A is a flowchart showing a processing procedure of the
情報処理装置９１０は、ステップＳ１３３５において、置換する呼び名とユーザ顔画像とをユーザの通信端末に問い合せる。情報処理装置９１０は、ステップＳ１３３７において、置換する呼び名とユーザ顔画像との応答をまって、応答があれば、ステップＳ１３３９において、呼び名とユーザ顔画像とをユーザ呼び名および顔画像登録部１１３２に登録する。そして、情報処理装置９１０は、ステップＳ１３４１において、仮想双方向ライブ配信処理を実行する。
In step S1335, the
（仮想双方向ライブ配信処理）
図１３Ｂは、本実施形態に係る仮想双方向ライブ配信処理Ｓ１３４１の手順を示すフローチャートである。図１３Ｂにおいて、図８Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
(Virtual two-way live distribution processing)
FIG. 13B is a flowchart showing the procedure of the virtual bidirectional live distribution process S1341 according to the present embodiment. In FIG. 13B, the same steps as in FIG. 8B are designated by the same step numbers, and duplicate description is omitted.
情報処理装置９１０は、ステップＳ１３５４において、ユーザ顔画像に基づいてユーザ状態を判別する。そして、情報処理装置９１０は、ステップＳ１３５５において、ユーザ状態に対応して呼びかけフレーズを選択する。
In step S1354, the
本実施形態によれば、映像中のユーザの顔認識によりユーザの状態を判定して、ユーザの呼び名を用いて異なる呼びかけをするので、ライブに参加してないユーザそれぞれにおいてさらに臨場感を高めることができる。 According to the present embodiment, the user's state is determined by the user's face recognition in the video, and different calls are made using the user's name, so that each user who does not participate in the live can further enhance the sense of presence. Can be done.
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態および第３実施形態と比べると、ユーザの声の音声認識、じゃんけんの画像認識、通信端末の画面上のスイッチ選択などにより、ユーザの呼び名を用いた呼びかけを選択する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Fourth Embodiment]
Next, an information processing system including the information processing apparatus according to the fourth embodiment of the present invention will be described. Compared with the second embodiment and the third embodiment, the information processing system including the information processing apparatus according to the present embodiment has voice recognition of user's voice, image recognition of rock-paper-scissors, switch selection on the screen of the communication terminal, and the like. The difference is that the call using the user's name is selected. Since other configurations and operations are the same as those in the second embodiment, the same configurations and operations are designated by the same reference numerals and detailed description thereof will be omitted.
（双方向ライブコンテンツ記録部）
図１４は、本実施形態に係る双方向ライブコンテンツ記録部１４３１の構成を示す図である。図１４において、図６Ａおよび図１２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
(Two-way live content recording section)
FIG. 14 is a diagram showing the configuration of the bidirectional live
呼びかけフレーズのデータ１４３４は、使用するフレーズを選択する条件と、条件を満たす場合のフレーズとを含む。例えば、“[呼び名][敬称]これはなにかなぁ？”との問いかけへのユーザの答えを音声認識部により音声認識して正解と判定すると、“[呼び名][敬称]よくしってるね”が使用され、間違いであれば、“[呼び名][敬称]これは○○ですよ”が使用される。また、“[呼び名][敬称] じゃんけんしよう～”との呼びかけに応答したユーザの手を画像認識する。そして、ユーザの勝ちと判定すると、“[呼び名][敬称]つよいねぇ～”が使用され、ユーザの負けであれば、“[呼び名][敬称]ざんねん！”が使用され、相子であれば、“[呼び名][敬称]もういちどだよ”が使用される。また、“[呼び名][敬称]好きなのをえらんでね”との問いかけへのユーザの画面上のタッチ位置を判定して、“[呼び名][敬称]りんごがすきなんだぁ～”、あるいは、“[呼び名][敬称]いちごがすきなんだぁ～”などが使用される。
The calling
また、何を条件とするかの条件入力１４１５として、音声認識部によるユーザの声の音声認識結果、画像認識部によるユーザの手の画像認識結果、表示画面からのスイッチ入力などが指示されている。条件入力１４１５は、これらに限定されるものではない。ここで、条件入力１４１５は、それぞれユーザに関する情報を取得する情報取得部により取得される。さらに、選択肢のボタンを押しながら名前を入力することによって、例えば、選択した“もの”とその“名前”とが一致しているか否かなどを伝えるような臨場感も生成できる。
Further, as the
本実施形態によれば、ユーザによる能動的な動作に応じて、ユーザの呼び名を用いて異なる呼びかけをするので、ライブに参加してないユーザそれぞれにおいてより一層、臨場感を高めることができる。 According to the present embodiment, different calls are made using the user's name according to the active action by the user, so that each user who does not participate in the live can further enhance the sense of presence.
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態から第４実施形態と比べると、ユーザの呼び名を用いた呼びかけを通信端末側で行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Fifth Embodiment]
Next, an information processing system including the information processing apparatus according to the fifth embodiment of the present invention will be described. The information processing system including the information processing apparatus according to the present embodiment is different from the second to fourth embodiments in that the communication terminal side makes a call using the user's name. Since other configurations and operations are the same as those in the second embodiment, the same configurations and operations are designated by the same reference numerals and detailed description thereof will be omitted.
＜情報処理システムの動作手順＞
図１５は、本実施形態に係る情報処理装置１５１０を含む情報処理システムの動作手順を示すシーケンス図である。なお、図１５において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。また、図１５において、複数の通信端末で同様の複数の処理（例えば、Ｓ１５０３～Ｓ１５０７）は、それぞれ１つの箱で省略して示している。また、図１５においては、図４のステップＳ４３１の終了処理は省略されている。
<Operation procedure of information processing system>
FIG. 15 is a sequence diagram showing an operation procedure of an information processing system including the information processing apparatus 1510 according to the present embodiment. In FIG. 15, the same steps as in FIG. 4 are assigned the same step numbers, and duplicate description will be omitted. Further, in FIG. 15, a plurality of similar processes (for example, S1503 to S1507) in a plurality of communication terminals are omitted in one box. Further, in FIG. 15, the end processing of step S431 in FIG. 4 is omitted.
情報処理装置１５１０は、ステップＳ１５０２において、呼び名置換用のプログラムを通信端末１５２０および１５２１に提供する。呼び名置換用のプログラムに従って、通信端末１５２０および１５２１は、ステップＳ１５０３において、ユーザ（ユーザの保護者）に呼び名を問い合わせる。そして、通信端末１５２０および１５２１は、ステップＳ１５０５において、ユーザ（ユーザの保護者）からの呼び名の入力を取得して、ステップＳ１５０７において、取得した呼び名をユーザの通信端末ＩＤに対応付けて登録する。 In step S1502, the information processing apparatus 1510 provides the communication terminals 1520 and 1521 with a program for name replacement. According to the program for nickname replacement, the communication terminals 1520 and 1521 inquire the user (guardian of the user) for the nickname in step S1503. Then, the communication terminals 1520 and 1521 acquire the input of the nickname from the user (guardian of the user) in step S1505, and register the acquired nickname in association with the communication terminal ID of the user in step S1507.
仮想双方向ライブの開始後、情報処理装置１５１０がユーザへの呼びかけを検知して、呼びかけフレーズを通信端末１５２０、１５２１に出力する。すると、通信端末１５２０は、ステップ１５１５において、呼び名置換用のプログラムを用いて、フレーズの呼び名を“かいと”に置換する。一方、通信端末１５２０は、ステップ１５１９において、呼び名置換用のプログラムを用いて、フレーズの呼び名を“みき”に置換する。 After the start of the virtual bidirectional live, the information processing device 1510 detects the call to the user and outputs the call phrase to the communication terminals 1520 and 1521. Then, in step 1515, the communication terminal 1520 replaces the nickname of the phrase with "kaito" by using the nickname replacement program. On the other hand, in step 1519, the communication terminal 1520 replaces the nickname of the phrase with "Miki" by using the nickname replacement program.
本実施形態によれば、情報処理装置側において各ユーザに対応した処理が必要なくなるので、情報処理装置の負荷を低減しつつ、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。 According to the present embodiment, since the processing corresponding to each user is not required on the information processing apparatus side, it is possible to reduce the load on the information processing apparatus and enhance the sense of presence for each user who does not participate in the live performance.
［他の実施形態］
なお、上記実施形態においては、呼びかけフレーズの呼び名を登録されたユーザの呼び名に置換して呼びかけたが、予めコンテンツに口パクの部分を設定しておいて、この部分にユーザの呼び名を挿入してもよい。さらに、ライブ参加者との会話の一部にユーザの呼び名に置換したフレーズを挟むことで、さらに参加の臨場感を増すことができる。また、ユーザの属性情報として、好きな食べ物やスポーツ（運動）などを登録しておき、ユーザにの呼び名のみでなく、例えば“○○ちゃんの好きな△△だよ！”と好きな食べ物（△△）にそれぞれ置き換えて呼びかけてもよい。さらに、折り紙や絵、なぞなぞ、九九などにも応用ができ、参加の臨場感を増すことができる。
[Other embodiments]
In the above embodiment, the call name of the call phrase is replaced with the registered user's call name, but the lip-syncing part is set in the content in advance, and the user's name is inserted in this part. You may. Furthermore, by inserting a phrase replaced with the user's name in a part of the conversation with the live participant, the presence of the participation can be further increased. In addition, favorite foods and sports (exercises) are registered as user attribute information, and not only the user's name but also favorite foods such as "○○ -chan's favorite △△!" ( You may call by replacing each with △△). Furthermore, it can be applied to origami, paintings, riddles, multiplication tables, etc., increasing the sense of presence of participation.
また、上記実施形態においては、１人のユーザが参加する例を示したが、複数のユーザが呼び名と属性を登録して、呼びかけフレーズに適切な呼び名を選択して呼びかけを行ってもよい。例えば、男子への呼びかけでは男子のユーザの呼び名に置換し、女子への呼びかけでは女子のユーザの呼び名に置換するなども可能である。また、第３実施形態や第４実施形態における、ユーザの呼び名を用いたフレーズの選択は、フレーズ部分のみとして記載したが、さらに、複数のシナリオが容易されており、選択の条件に応じてフレーズの選択後に異なるシナリオに進むような、コンテンツであってもよい。この場合には、一方の選択がミッションの成功、他方の選択がミッションの失敗などとすると、さらに達成感を提供することができる。 Further, in the above embodiment, although an example in which one user participates is shown, a plurality of users may register a call name and an attribute, select an appropriate call name for the call phrase, and make a call. For example, it is possible to replace it with the name of a male user when calling a boy, and replace it with the name of a female user when calling a girl. Further, in the third embodiment and the fourth embodiment, the selection of the phrase using the user's name is described only as the phrase part, but further, a plurality of scenarios are facilitated, and the phrase is selected according to the selection condition. The content may be such that it proceeds to a different scenario after the selection of. In this case, if one choice is the success of the mission and the other choice is the failure of the mission, a sense of accomplishment can be further provided.
また、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。 Further, although the invention of the present application has been described with reference to the embodiments, the invention of the present application is not limited to the above-described embodiment. Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the technical scope of the present invention. Also included in the technical scope of the invention are systems or devices in any combination of the different features contained in each embodiment.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Further, the present invention is also applicable when an information processing program that realizes the functions of the embodiment is supplied to a system or an apparatus and executed by a built-in processor. In order to realize the functions of the present invention on a computer, the technical scope of the present invention includes a program installed in the computer, a medium containing the program, a server for downloading the program, and a processor for executing the program. .. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the technical scope of the present invention.
Claims (10)
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記制御部は、前記呼び名登録部に登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する情報処理装置。 An interactive live provider that provides content that records interactive live concerts with live participants via communication terminals.
The name registration unit that accepts and registers the names of users who are not included in the live participants,
A control unit that controls to call the user using the name registered in the name registration unit in a scene of calling the live participant included in the content during playback of the content.
Equipped with
The control unit is an information processing device that controls the user's image to be enlarged and displayed on the communication terminal when calling using the name registered in the name registration unit .
前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する請求項１に記載の情報処理装置。 Further, an information acquisition unit for acquiring information about the user from the communication terminal is provided.
The information processing device according to claim 1 , wherein the control unit controls to call the user by using a different call phrase corresponding to information about the user.
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、 The name registration unit that accepts and registers the names of users who are not included in the live participants,
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、 A control unit that controls to call the user using the name registered in the name registration unit in a scene of calling the live participant included in the content during playback of the content.
を備え、 Equipped with
前記通信端末からの前記ユーザに関する情報を取得する情報取得部をさらに備え、 Further, an information acquisition unit for acquiring information about the user from the communication terminal is provided.
前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する情報処理装置。 The control unit is an information processing device that controls to call the user using the name by different call phrases corresponding to information about the user.
前記制御部は、前記ユーザの顔認識に応じた異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する請求項３に記載の情報処理装置。 The information acquisition unit has a face recognition unit that recognizes a face from the user's face image during playback of the content .
The information processing device according to claim 3 , wherein the control unit controls to call the user using the name by using different calling phrases according to the face recognition of the user.
前記制御部は、前記ユーザの声の認識結果に応じた異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する請求項３に記載の情報処理装置。 The information acquisition unit has a voice recognition unit that performs voice recognition from the user's voice during playback of the content .
The information processing device according to claim 3, wherein the control unit controls to call the user using the name by using different calling phrases according to the recognition result of the user's voice.
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
前記制御ステップでは、前記呼び名登録ステップで登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する情報処理方法。 A two-way live provision step in which the provider provides content recorded with a two-way live with a live participant via a communication terminal.
The registration unit accepts and registers the names of users who are not included in the live participants, and the name registration step.
A control step for controlling the control unit to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
Including
In the control step, an information processing method for controlling the user's image to be enlarged and displayed on the communication terminal when calling using the nickname registered in the nickname registration step .
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、 The registration unit accepts and registers the names of users who are not included in the live participants, and the name registration step.
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、 A control step for controlling the control unit to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
を含み、 Including
情報取得部が、前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらに含み、 The information acquisition unit further includes an information acquisition step of acquiring information about the user from the communication terminal.
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する情報処理方法。 In the control step, an information processing method for controlling to call the user by using the name by different call phrases corresponding to the information about the user.
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記制御ステップでは、前記呼び名登録ステップにて登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する情報処理プログラム。 A two-way live provision step that provides content that records a two-way live with live participants via a communication terminal,
The name registration step of accepting and registering the names of users who are not included in the live participants, and
A control step for controlling to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
Is an information processing program that causes a computer to execute
In the control step, an information processing program that controls so that the image of the user is enlarged and displayed on the communication terminal when calling using the name registered in the name registration step .
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、 The name registration step of accepting and registering the names of users who are not included in the live participants, and
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、 A control step for controlling to call the user using the registered name in a scene of calling the live participant included in the content during playback of the content.
をコンピュータに実行させる情報処理プログラムであって、 Is an information processing program that causes a computer to execute
前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらにコンピュータに実行させ、 Further, the computer is made to execute an information acquisition step of acquiring information about the user from the communication terminal.
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する情報処理プログラム。 In the control step, an information processing program that controls to call the user by using a different call phrase corresponding to information about the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020178768A JP7055453B1 (en) | 2020-10-26 | 2020-10-26 | Information processing equipment, information processing methods and information processing programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020178768A JP7055453B1 (en) | 2020-10-26 | 2020-10-26 | Information processing equipment, information processing methods and information processing programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7055453B1 true JP7055453B1 (en) | 2022-04-18 |
| JP2022069867A JP2022069867A (en) | 2022-05-12 |
Family
ID=81289268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020178768A Active JP7055453B1 (en) | 2020-10-26 | 2020-10-26 | Information processing equipment, information processing methods and information processing programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7055453B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003153114A (en) | 2001-09-08 | 2003-05-23 | Samsung Electronics Co Ltd | Digital broadcasting system and method for switching and displaying name called on television program acceding to user's request |
| JP2003339972A (en) | 2002-05-27 | 2003-12-02 | Daiichi Shokai Co Ltd | Game machine |
| JP2004069815A (en) | 2002-08-02 | 2004-03-04 | Yamaha Corp | System, method, and program for editing content |
| JP2019166299A (en) | 2018-03-22 | 2019-10-03 | カシオ計算機株式会社 | Content changing device, content change method, and program |
-
2020
- 2020-10-26 JP JP2020178768A patent/JP7055453B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003153114A (en) | 2001-09-08 | 2003-05-23 | Samsung Electronics Co Ltd | Digital broadcasting system and method for switching and displaying name called on television program acceding to user's request |
| JP2003339972A (en) | 2002-05-27 | 2003-12-02 | Daiichi Shokai Co Ltd | Game machine |
| JP2004069815A (en) | 2002-08-02 | 2004-03-04 | Yamaha Corp | System, method, and program for editing content |
| JP2019166299A (en) | 2018-03-22 | 2019-10-03 | カシオ計算機株式会社 | Content changing device, content change method, and program |
Non-Patent Citations (1)
| Title |
|---|
| パソコン＆ネットの"これまで"と"これから"を完全理解！ 動画配信の"今"がわかる！ 第18回，Windows 100%，2011年08月，第14巻，第9号，p.66-71 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022069867A (en) | 2022-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10649724B2 (en) | Voice interface for virtual area interaction | |
| JP3644580B2 (en) | Display control method and apparatus | |
| CN101557440B (en) | Emotion recognition message system, mobile communication terminal therefor and message storage server therefor | |
| CN109429075A (en) | A kind of live content processing method, device and system | |
| US20140325395A1 (en) | Voice link system | |
| TW201222271A (en) | System and method for providing and managing interactive services | |
| CN111870935B (en) | Business data processing method and device, computer equipment and storage medium | |
| US11803579B2 (en) | Apparatus, systems and methods for providing conversational assistance | |
| JP6485935B1 (en) | Online communication review system, method, and computer program | |
| JP6751919B2 (en) | Social media systems and programs | |
| JP4077656B2 (en) | Speaker specific video device | |
| US10721281B2 (en) | Method, system and non-transitory computer-readable recording medium for providing a multilateral communication service | |
| JP7055453B1 (en) | Information processing equipment, information processing methods and information processing programs | |
| JP5491590B2 (en) | Communication system, communication method, program | |
| CN112291497B (en) | Intelligent video customer service access method and device | |
| CN115623133A (en) | Online conference method and device, electronic equipment and readable storage medium | |
| JP5059901B2 (en) | Communication system, communication method, program | |
| JP2022016424A (en) | System for streaming distribution and video conferencing | |
| JP5777233B1 (en) | Movie generation apparatus and movie generation method | |
| US10839801B2 (en) | Configuration for remote multi-channel language interpretation performed via imagery and corresponding audio at a display-based device | |
| JP7284204B2 (en) | Information processing device, information processing method and information processing program | |
| KR100596001B1 (en) | A method for providing contents with a user terminal and a system thereof | |
| KR20000054437A (en) | video chatting treatment method | |
| JP2002009963A (en) | Communication system device and communication system | |
| CN115206309A (en) | Voice data processing method, device and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7055453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |