JP6299531B2 - Singing video editing device, singing video viewing system - Google Patents
Singing video editing device, singing video viewing system Download PDFInfo
- Publication number
- JP6299531B2 JP6299531B2 JP2014175826A JP2014175826A JP6299531B2 JP 6299531 B2 JP6299531 B2 JP 6299531B2 JP 2014175826 A JP2014175826 A JP 2014175826A JP 2014175826 A JP2014175826 A JP 2014175826A JP 6299531 B2 JP6299531 B2 JP 6299531B2
- Authority
- JP
- Japan
- Prior art keywords
- singing
- video
- videos
- song
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、楽曲を歌唱している歌唱者の映像及び音声が記録された複数の歌唱動画を編集する技術に関する。 The present invention relates to a technique for editing a plurality of singing videos in which video and audio of a singer singing a song are recorded.
近年、カラオケの楽曲を歌唱しているユーザの映像及び音声が記録された歌唱動画を視聴可能に公開するサービスが提供されている。この種のカラオケサービスとして、特許文献1に記載の視聴システムが知られている。 2. Description of the Related Art In recent years, services have been provided that allow a user to sing a song of karaoke music and singing a moving image in which a video and audio of the user are recorded. As this kind of karaoke service, a viewing system described in Patent Document 1 is known.
特許文献1には、視聴回数や採点結果に基づいて複数の歌唱動画を抽出し、抽出された複数の歌唱動画を採点区間毎に割振り、割振られた当該歌唱動画における当該採点区間の部分を結合することによって編集した歌唱動画を公開する技術が記載されている。 In Patent Document 1, a plurality of song videos are extracted based on the number of times of viewing and scoring results, the plurality of extracted song videos are allocated for each scoring section, and the portions of the scoring sections in the allocated song videos are combined. The technique of publishing the song animation edited by doing is described.
しかしながら、特許文献1に記載の技術では、必ずしも、歌唱動画を視聴するユーザの関心に適合した歌唱動画が選択されて編集されるとは限らない。また、採点区間ごとに単独の歌唱動画をつなぎ合わせて編集するだけでは、ユーザに対して十分なエンターテイメント性を提供することができない。 However, with the technique described in Patent Document 1, a song video that matches the interest of the user who views the song video is not necessarily selected and edited. Moreover, it is not possible to provide sufficient entertainment to the user simply by connecting and editing single singing moving images for each scoring section.
本発明は上記問題を解決するためになされたものである。その目的は、歌唱動画を視聴するユーザの関心やエンターテイメント性を考慮した態様にて、複数の歌唱動画を編集する技術を提供することである。 The present invention has been made to solve the above problems. The purpose is to provide a technique for editing a plurality of song videos in a manner that takes into account the interest and entertainment of the user who views the song videos.
本発明の歌唱動画編集装置は、記憶手段と、取得手段と、決定手段と、出力制御手段とを備える。記憶手段は、楽曲を歌唱している歌唱者の映像及び音声が記録された複数の歌唱動画と、歌唱評価情報とを対応付けて記憶する。この歌唱評価情報は、歌唱動画に記録されている歌唱が、所定期間ごとに所定の評価項目について評価された評価結果を表すものである。取得手段は、記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画の視聴を要求したユーザについて、評価項目に対する関心の度合を表すユーザパラメータを取得する。 The song moving image editing apparatus of the present invention includes a storage unit, an acquisition unit, a determination unit, and an output control unit. A memory | storage means matches and memorize | stores the some song moving image by which the video and audio | voice of the singer who is singing a music were recorded, and song evaluation information. This singing evaluation information represents an evaluation result in which a singing recorded in a singing video is evaluated for a predetermined evaluation item every predetermined period. An acquisition unit acquires a user parameter representing a degree of interest in an evaluation item for a user who has requested viewing of a song video corresponding to a specific song from among the song videos stored in the storage unit.
決定手段は、特定の楽曲に該当する複数の歌唱動画について、特定の楽曲を複数の演奏区間に分けたそれぞれの演奏区間ごとに、複数の歌唱動画同士で互いの歌唱の旋律が同調するか否かを判定する。また、決定手段は、複数の歌唱動画それぞれの各演奏区間における歌唱の評価結果とユーザパラメータとの適合度合を判定する。そして、決定手段は、それらの判定結果に基づいて単独の歌唱動画を出力するか、複数の歌唱動画を出力するかを演奏区間ごとに決定する。 The determination means determines whether or not the melody of each song is synchronized between the plurality of song videos for each of the performance segments obtained by dividing the specific song into the plurality of performance segments for the plurality of song videos corresponding to the specific song. Determine whether. Moreover, a determination means determines the matching degree of the evaluation result of a song in each performance area of each of several song animation, and a user parameter. Then, the determining means determines for each performance section whether to output a single singing moving image or a plurality of singing moving images based on the determination results.
出力制御手段は、前記特定の楽曲に該当する複数の歌唱動画の中から、決定手段によって決定された出力方法に従って、演奏区間ごとに出力対象となる歌唱動画を切替えて、各演奏区間の出力対象の歌唱動画における当該演奏区間の部分を順次つなぎ合わせて出力することで、全演奏区間分の一連の歌唱動画として出力する。その際、出力制御手段は、決定手段より単独の歌唱動画を出力すると決定された場合、複数の歌唱動画の中から、所定の演奏区間における歌唱の評価結果とユーザパラメータで表される関心の度合との適合度合が最も高い単独の歌唱動画を出力対象に決定する。一方、出力制御手段は、決定手段により複数の歌唱動画を出力すると決定された場合、所定の演奏区間における歌唱の旋律が同調している複数の歌唱動画同士を合成し、その合成した歌唱動画を出力対象に決定する。 The output control means switches the singing video to be output for each performance section from the plurality of singing videos corresponding to the specific music according to the output method determined by the determination means, and outputs the performance target for each performance section. By sequentially connecting and outputting the sections of the performance section in the singing moving image, a series of singing moving images for the entire performance section is output. At that time, if the output control means decides to output a single singing video from the deciding means, the singing evaluation result in a predetermined performance section and the degree of interest represented by the user parameter from the plurality of singing videos. A single singing movie with the highest degree of matching with is determined as an output target. On the other hand, when it is determined by the determining means to output a plurality of song videos, the output control means synthesizes a plurality of song videos in which the melody of the song in a predetermined performance section is synchronized, and the synthesized song videos Determine the output target.
本発明によれば、歌唱の評価に関する視聴者の嗜好に適合する歌唱動画を単独で提示したり、歌唱の旋律が互いに同調(ハーモナイズ)する複数の歌唱動画同士を合成した歌唱動画を提示したりといった具合に、演奏区間ごとに複数の歌唱動画を様々な態様にてつなぎ合わせて提示できる。このようにすることで、視聴者の嗜好に合った態様やエンターテイメント性の高い態様にて、より多くの歌唱動画を視聴者に対して提供できる。 According to the present invention, a singing video that suits the viewer's preference regarding the evaluation of the singing is presented alone, or a singing video obtained by synthesizing a plurality of singing videos that harmonize with each other For example, a plurality of song videos can be connected and presented in various manners for each performance section. By doing in this way, more song animation can be provided with respect to a viewer in the mode suitable for a viewer's taste, and the mode with high entertainment nature.
ところで、近年、カラオケの採点機能においては、音高やリズム、歌唱技巧(テクニック)等といった複数の評価項目についてそれぞれ評価するものが普及している。そこで、請求項2に記載のように構成するとよい。すなわち、歌唱動画に対応付けて記憶されている歌唱評価情報は、当該歌唱動画に記録されている歌唱が複数種類の評価項目について評価された評価結果を表す。そして、取得手段は、複数の評価項目それぞれに対する関心の度合を表すユーザパラメータを取得する。このようにすることで、複数の評価項目に基づく評価結果が対応付けられた歌唱動画について、それぞれの評価項目に対する視聴者の嗜好を的確に反映した態様にて編集した歌唱動画を視聴者に提供できる。 By the way, in recent years, in the scoring function of karaoke, what evaluates each of a plurality of evaluation items such as pitch, rhythm, singing technique (technique) and the like has become widespread. Therefore, it is preferable to configure as described in claim 2. That is, the singing evaluation information stored in association with the singing video represents an evaluation result in which the singing recorded in the singing video is evaluated for a plurality of types of evaluation items. And an acquisition means acquires the user parameter showing the degree of interest with respect to each of a plurality of evaluation items. By doing in this way, about the song video in which the evaluation results based on a plurality of evaluation items are associated, the song video edited in a manner that accurately reflects the viewer's preference for each evaluation item is provided to the viewer it can.
つぎに、請求項3に記載の歌唱動画視聴システムは、記憶手段と、受付手段と、決定手段と、出力制御手段と、受付手段と、再生手段とを備える。このうち、受付手段は、記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画に対する視聴要求と、評価項目に対する関心の度合を表すユーザパラメータを指定する指示とをユーザから受付ける。受信手段は、出力制御手段により出力された歌唱動画を受信する。再生手段は、受信手段により受信された歌唱動画を再生し、所定の表示手段及び音声出力手段に出力させる。本発明によれば、ユーザにより指定された特定の楽曲に関する歌唱動画及びユーザパラメータに基づいて、請求項1に記載の歌唱動画編集装置によって編集された歌唱動画を受信し、その歌唱動画を再生可能なシステムを実現できる。
Next, the singing moving image viewing system according to
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
[カラオケシステム1の構成の説明]
図1に示すように、カラオケシステム1は、配信サーバ2及びユーザ視聴端末3それぞれがインターネット10に接続されており、互いに通信可能に構成されている。なお、図1においては、説明を簡潔にするためユーザ視聴端末3を1台のみ記載した。しかしながら、実際には、これらの機器が数多くの接続された態様で実施される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, this invention is not limited to the following embodiment, It is possible to implement in various aspects.
[Description of configuration of karaoke system 1]
As shown in FIG. 1, the karaoke system 1 is configured such that the distribution server 2 and the
配信サーバ2は、コンピュータシステムによって構成されたサーバ装置であり、制御部21、記憶部22、通信部23を備える。この配信サーバ2は、ユーザ視聴端末3からの要求に応じて、楽曲を歌唱している歌唱者の映像及び音声が記録された歌唱動画を、インターネット10経由でユーザ視聴端末3に配信する。なお、配信サーバ2による歌唱動画の配信は、データをダウンロードしながら再生可能なストリーミング方式で行われる。
The distribution server 2 is a server device configured by a computer system, and includes a
制御部21は、CPU、RAM、ROM等を中心に構成された情報処理デバイスであり、装置全体の制御を司る。制御部21は、所定のプログラムに従って処理を実行することにより、配信サーバ2各部に対する制御及び各種演算を実行する。記憶部22は、プログラムや、各種データベース等を保存しておくための記憶装置である。通信部23は、配信サーバ2をインターネット10に接続してユーザ視聴端末とデータ通信を行うための通信インタフェースである。
The
配信サーバ2は、本システムが提供する歌唱動画配信サービスにおいて公開する複数の歌唱動画のデータを蓄積する歌唱動画データベースを記憶部22に備える。この歌唱動画データベースには、インターネットを介してカラオケ演奏機器(例えば、ユーザ視聴端末3や他の業務用のカラオケ装置)からアップロードされた複数の歌唱動画及び分析採点結果のデータが蓄積されている。カラオケ演奏機器は、カラオケ演奏時に撮影した歌唱動画、及びそのときの歌唱音声を複数の項目(例えば、音程、リズム、安定感、熱唱度、テクニック等)で分析して評価した分析採点結果のデータを、楽曲の識別情報と対応付けて配信サーバ2にアップロードする。これにより、多くの歌唱者の歌唱動画及び分析採点結果のデータが配信サーバ2に蓄積される。歌唱動画には、カラオケ演奏機器を利用して楽曲を歌唱している歌唱者の映像及び歌唱音声が記録された動画情報が含まれている。また、個々の歌唱動画には、歌唱された楽曲を識別するための楽曲識別情報が対応付けられている。
The distribution server 2 includes a singing moving image database that accumulates data of a plurality of singing moving images to be disclosed in the singing moving image distribution service provided by the system in the
分析採点結果のデータは、カラオケ演奏機器の備える分析採点機能によって、上述の歌唱動画に係る歌唱の巧拙度合が精密に分析された分析結果を表す情報である。この分析採点結果のデータは、採点対象の歌唱が記録されている歌唱動画に対応付けられている。分析採点結果のデータには、ユーザによる歌唱を「音程」、「リズム」、「安定感」、「熱唱度」、「テクニック」といった複数の評価項目それぞれについて、所定の演奏区間ごとに評価した結果を数値化した情報が含まれる。また、分析採点結果のデータには、「ビブラート」等の特定の歌唱技巧(テクニック)の出現回数を、所定の演奏区間ごとに検出した結果を数値化した情報も含まれる。なお、カラオケにおける分析採点の方法は周知の技術につき、詳しい説明については省略する。 The data of the analysis scoring result is information representing the analysis result in which the skill level of the song related to the above-mentioned singing movie is precisely analyzed by the analysis scoring function of the karaoke performance device. The data of this analysis scoring result is matched with the song moving image in which the singing target song is recorded. Analytical scoring result data is the result of evaluating the singing by the user for each of several performance items, such as “pitch”, “rhythm”, “stability”, “enthusiasm”, and “technique” Information that is digitized is included. The analysis scoring result data also includes information obtained by quantifying the result of detecting the number of appearances of a specific singing technique (technique) such as “vibrato” for each predetermined performance section. In addition, the analysis scoring method in karaoke is a well-known technique, and detailed description is omitted.
ユーザ視聴端末3は、配信サーバ2から歌唱動画のデータを取得して再生出力する機能を有する情報処理装置である。このユーザ視聴端末3は、例えば、カラオケ店舗に設置される業務用のカラオケ装置や、ユーザ個人が所有するスマートフォン等の高機能携帯電話端末、パーソナルコンピュータ等によって具現化される。ユーザ視聴端末3は、インターネット10経由で配信サーバ2とデータ通信を行う。ユーザ視聴端末3は、ユーザから特定の楽曲に関する歌唱動画のリクエスト指示を受付ける。そして、リクエストに応じて配信サーバ2から取得した歌唱動画をストリーミング形式で再生し、再生した映像及び音声を出力する。
The
[通信処理の手順]
配信サーバ2とユーザ視聴端末3との間で行われる通信処理の手順について、図2のフローチャートを参照しながら説明する。
[Communication processing procedure]
The procedure of communication processing performed between the distribution server 2 and the
S10では、ユーザ視聴端末3が、動画検索要求を配信サーバ2に送信する。この動画検索要求には、ユーザ視聴端末3がユーザからリクエストを受付けた楽曲の識別情報が含まれる。S11では、配信サーバ2は、動画検索要求で表される楽曲に該当する歌唱動画を記憶部22の歌唱動画データベースの中から検索し、該当する歌唱動画の識別情報を含む動画検索結果を、要求元のユーザ視聴端末3に返信する。
In S <b> 10, the
S12では、ユーザ視聴端末3は、複数の再生候補動画とユーザ関心パラメータとを指定する情報を送信する。再生候補動画は、ユーザ視聴端末3が配信サーバ2から受信した動画検索結果の中から、ユーザから視聴を希望する候補として指定を受付けた歌唱動画である。ユーザ関心パラメータは、歌唱動画の分析採点結果における評価項目についてユーザの関心の度合を表す数値である。ユーザ視聴端末3は、ユーザからユーザ関心パラメータの指定を受付け、受付けたユーザ関心パラメータの数値を配信サーバ2に通知する。
In S12, the
ここで、ユーザ関心パラメータの指定方法について、図3を参照しながら説明する。ユーザ視聴端末3は、図3に例示されるグラフィカルユーザインタフェース(GUI)をユーザに対して提示することで、ユーザ関心パラメータの指定をユーザから受付ける。このGUIは、図3に例示されるとおり、採点項目に対する関心の度合を入力するためのレーダーチャート31と、採点項目の1つであるテクニックについて、複数種類のビブラートに対する関心の有無を入力するためのチェックリスト32からなる。
Here, a user interest parameter designation method will be described with reference to FIG. The
レーダーチャート31は、歌唱動画の分析採点結果の評価項目と共通する「音程」、「リズム」、「安定感」、「熱唱度」、「テクニック」の5つの評価項目それぞれについて、ユーザが関心の度合を0〜3の4段階の数値で指定できるようになっている。ユーザ視聴端末3は、レーダーチャート31を介してユーザから入力された各評価項目の数値の集合をベクトル化して、採点項目関心ベクトルP1{音程,リズム,安定感,熱唱度,テクニック}を得る。図3の事例では、P1={1,1,1,3,3}となる。
The
チェックリスト32は、分析採点機能による検出対象であって発声方法が異なる8種類のビブラートV1〜V8それぞれについて、ユーザが関心の有無をチェックボックスで指定できるようになっている。ユーザ視聴端末3は、チェックリスト32においてユーザからチェックが入れられたビブラートに「1」の値を付与し、チェックが入れられていないビブラートに「0」の値を付与する。そして、各ビブラートに対応する数値の集合をベクトル化して、ビブラート関心ベクトルP2{V1,V2,V3,V4,V5,V6,V7,V8}を得る。図3の事例では、P2={0,1,0,0,0,0,1,0}となる。
In the
ユーザ視聴端末3は、レーダーチャート31及びチェックリスト32を介して得られた採点項目関心ベクトルP1及びビブラート関心ベクトルP2を、ユーザ関心パラメータとして配信サーバ2に送信する。図2のシーケンス図の説明に戻る。S13では、配信サーバ2は、再生対象となる歌唱動画のストリーミングデータを時刻順にユーザ視聴端末3に送信する。
このとき、配信サーバ2は、ユーザ視聴端末3から通知されたユーザ関心パラメータに基づいて、歌唱動画に対応する楽曲を構成するフレーズごとに、複数の再生候補動画の中から何れかの単独の歌唱動画を出力するか、何れかの複数の歌唱動画を合成して出力するかを決定する。そして、配信サーバ2は、決定した出力方法に従ってフレーズごとに出力対象となる歌唱動画を切替えて、各フレーズの出力対象の歌唱動画のデータを順次つなぎ合わせて配信することで、全演奏区間分の一連の歌唱動画として出力する。この一連の処理の詳細な内容については、後述する。
At this time, based on the user interest parameter notified from the
その後、歌唱動画のストリーミング配信の途中で、ユーザ視聴端末3においてユーザ関心パラメータを再指定する操作が行われた場合、ユーザ視聴端末3は、新たに得られたユーザ関心パラメータを、配信サーバ2に送信する(S14)。これに対し、S15では、配信サーバ2は、以降の歌唱動画の出力方法を新たに通知されたユーザ関心パラメータに基づいて決定し、決定した出力方法に従ってストリーミングデータをユーザ視聴端末3に送信する。
Thereafter, when the
[歌唱動画配信処理の説明]
配信サーバ2の制御部21が実行する歌唱動画配信処理の手順について、図4,5のフローチャートに基づいて説明する。この処理は、ユーザ視聴端末3から動画検索要求(図2のS10参照)が送信されたときに実行される処理である。
[Description of singing video delivery processing]
The procedure of the song moving image distribution process executed by the
S100では、制御部21は、ユーザ視聴端末3から動画検索要求を受信する。この動画検索要求には、ユーザが視聴を希望する楽曲の識別情報が含まれている。S102では、制御部21は、受信した動画検索要求に含まれる楽曲の識別情報に該当する歌唱動画を記憶部22の歌唱動画データベースの中から探索し、該当する複数の歌唱動画の一覧を要求元のユーザ視聴端末3に返信する。
In S <b> 100, the
S104では、制御部21は、ユーザ視聴端末3から再生候補動画の識別情報と、ユーザ関心パラメータとを受信する。なお、ここでは、再生候補動画として複数の歌唱動画が指定されていることを前提とする。また、ユーザ関心パラメータには、採点項目関心ベクトルP1及びビブラート関心ベクトルP2の情報が含まれている。ここで受信した各情報は、制御部21のメモリに記憶される。
In S <b> 104, the
S106では、制御部21は、再生候補動画に対応する楽曲のフレーズの順序を表すフレーズ番号iのカウンタを初期化(i=1)する。なお、ここでいう「フレーズ」とは、楽曲のメロディを複数の演奏区間ごとに分けたひと区切りを表す単位である。メロディのどこからどこまでを1つのフレーズとするかは、楽曲ごとに予め定義されたフレーズ割りを表すメタデータに基づいて特定することが考えられる。
In S106, the
S108では、制御部21は、全ての再生候補動画のi番目のフレーズに相当する区間の歌唱の旋律について、各歌唱動画同士の同調(ハーモナイズ)の状態を検査する。そして、S110では、制御部21は、S108の検査の結果、再生候補動画の中に歌唱の旋律が同調する複数の歌唱動画が存在するか否かを判定する。歌唱の旋律が同調する複数の歌唱動画が存在する場合(S110:YES)、制御部21はS116に進む。一方、歌唱の旋律が同調する複数の歌唱動画が存在しない場合(S110:NO)、制御部21はS112に進む。
In S108, the
S112では、制御部21は、全ての再生候補動画について、i番目のフレーズに相当する区間の分析採点結果と、ユーザ関心パラメータとの類似度を計算する。具体的には、再生候補動画ごとに、次の2種類の類似度をそれぞれ算出する。
In S112, the
1つは、再生候補の歌唱動画Xのi番目のフレーズにおける平均採点結果S1-Xiと、採点項目関心ベクトルP1との類似度Sim1-Xiである。ここで、S1-Xiは、歌唱動画Xに対応する分析採点結果の「音程」、「リズム」、「安定感」、「熱唱度」、「テクニック」の各採点項目におけるi番目のフレーズに相当する区間の平均値の集合を、ベクトル{音程,リズム,安定感,熱唱度,テクニック}として表したものである。 One is a similarity Sim 1-Xi between the average scoring result S 1 -Xi in the i-th phrase of the song video X to be played and the scoring item interest vector P 1 . Here, S 1 -Xi is the i-th phrase in each of the scoring items “pitch”, “rhythm”, “stability”, “degree of enthusiasm”, and “technique” in the analysis scoring results corresponding to the song video X. The set of average values for the corresponding interval is represented as a vector {pitch, rhythm, stability, enthusiasm, technique}.
類似度Sim1-Xiは下記式1によって表される。なお、下記式1では、類似度Sim1-Xiは1以下の正数となる。 The similarity Sim 1-Xi is expressed by the following formula 1. In the following formula 1, similarity Sim 1-Xi is a positive number of 1 or less.
類似度Sim2-Xiは下記式2によって表される。なお、下記式2では、類似度Sim2-Xiは1以下の正数となる。 The similarity Sim 2-Xi is expressed by the following formula 2. In the following formula 2, the similarity Sim 2-Xi is a positive number of 1 or less.
S116では、制御部21は、該当する複数の歌唱動画のi番目のフレーズに該当する部分を合成した合成動画を作成する。具体的には、歌唱動画の表示領域全体を複数の部分領域に分割し、複数の部分領域それぞれに別々の歌唱動画の映像を割当てる。また、該当する複数の歌唱動画の音声を混合する。ここでは、制御部21は、1つ前のフレーズ(i−1番目)において単独の歌唱動画が出力された状態から次のフレーズで合成動画に推移する過程として、例えば、ワイプ処理、フェード処理、スプリット処理等の演出効果を合成動画の映像に付与する。
In S116, control
次のS118では、制御部21は、S116で作成したi番目のフレーズに対応する合成動画のフレームデータを、要求元のユーザ視聴端末3に順次ストリーミング形式で配信する。S120では、制御部21は、i番目のフレーズに対応する合成動画の配信が終了したか否かを判定する。配信が終了していない場合(S120:NO)、制御部21はS118に戻り、配信を継続する。一方、配信が終了した場合(S120:YES)、制御部21はS134(図5)に進む。
In next S118, the
一方、S114において否定判定をした場合に進むS122では、制御部21は、1つ前(i−1番目)のフレーズにおいて出力した歌唱動画が合成動画であった否かを判定する。前のフレーズが合成動画であった場合(S122:YES)、制御部21はS128に進む。一方、前のフレーズが合成動画でなかった場合(S122:NO)、制御部21はS130に進む。
On the other hand, in S122 which proceeds when a negative determination is made in S114, the
S128では、制御部21は、1つ前のフレーズにおいて複数の歌唱動画からなる合成動画が出力された状態から、次のフレーズで単独の歌唱動画に推移する過程として、例えば、ワイプ処理、フェード処理、スプリット処理等の演出効果を付与する。S130では、制御部21は、S112で算出した類似度が最大となった単独の歌唱動画のi番目のフレーズに該当する部分のフレームデータを、要求元のユーザ視聴端末3に順次ストリーミング形式で配信する。
In S128, the
S132では、制御部21は、i番目のフレーズに対応する歌唱動画の配信が終了したか否かを判定する。配信が終了していない場合(S132:NO)、制御部21はS130に戻り、配信を継続する。一方、配信が終了した場合(S132:YES)、制御部21はS134(図5)に進む。
In S132, the
次のS134では、制御部21は、フレーズ番号iのカウンタをインクリメントする。S136では、制御部21は、要求元のユーザ視聴端末3から新たにユーザ関心パラメータを受信したか否かを判定する。ユーザ関心パラメータを受信した場合(S136:YES)、制御部21はS138に進む。一方、ユーザ関心パラメータを受信していない場合(S136:NO)、制御部21はS140に進む。
In next step S134, the
S138では、制御部21は、メモリに記憶しているユーザ関心パラメータを、今回新たに受信したユーザ関心パラメータに更新する。S140では、制御部21は、楽曲を構成する全てのフレーズについて、歌唱動画のデータの配信が完了したか否かを判定する。全てのフレーズについて配信が完了していない場合(S140:NO)、制御部21はS108(図4)に戻る。一方、全てのフレーズについて配信が完了した場合(S140:ES)、制御部21は本処理を終了する。
In S138, the
[歌唱動画の出力態様の推移]
上述の歌唱動画配信処理(図4,5参照)による歌唱動画の出力態様の一例について、図6を参照しながら説明する。図6(a)〜(f)は、2つの歌唱動画A,Bについて、楽曲のフレーズごとに出力態様が切替わる様子を時系列で表したものである。
[Transition of output mode of singing video]
An example of the output mode of the song moving image by the above-described song moving image distribution process (see FIGS. 4 and 5) will be described with reference to FIG. FIGS. 6A to 6F show, in chronological order, how the output mode is switched for each phrase of music for the two song videos A and B. FIG.
図6(a)は、動画Aの1番目のフレーズに相当する区間が出力されている状態を表している。次の図6(b)は、引き続き動画Aの2番目のフレーズに相当する区間が単独で出力されている状態を表している。次の図6(c)は、3番目のフレーズおいて、動画A及び動画Bからなる合成動画に切替わる過程を表している。ここでは、2番目のフレーズから引き続いて動画Aの映像が表示されているところに、新たに動画Bの映像がフレームインする演出効果が挿入される。 FIG. 6A shows a state in which a section corresponding to the first phrase of the moving image A is output. Next, FIG. 6B shows a state in which the section corresponding to the second phrase of the moving image A is continuously output. Next, FIG. 6C shows a process of switching to a composite video composed of video A and video B in the third phrase. Here, the effect that the video of video B is newly framed in is inserted where the video of video A is displayed following the second phrase.
次の図6(d)は、演出効果の後で動画A,Bの3番目のフレーズに相当する区間の合成動画出力されている状態を表している。この合成動画は、歌唱動画の表示領域全体を左右2つに分割し、それぞれの分割領域に歌唱動画A,Bの映像が同時に表示されるものである。次の図6(e)は、4番目のフレーズにおいて、動画Bが単独で出力される状態に切替わる過程を表している。ここでは、3番目のフレーズにおいて合成されて出力されていた動画A,Bのうち、動画Aの映像がフレームアウトする演出効果が挿入される。次の図6(f)は、演出効果の後で単独の動画Bの4番目のフレーズに相当する区間が出力されている状態を表している。 Next, FIG. 6D shows a state in which the synthesized moving image is output in the section corresponding to the third phrase of the moving images A and B after the effect. In this synthesized moving image, the entire display area of the singing moving image is divided into left and right two parts, and the images of the singing moving images A and B are simultaneously displayed in the respective divided areas. FIG. 6E shows a process of switching to a state in which the moving image B is output alone in the fourth phrase. Here, an effect of inserting the video of the video A out of the videos A and B synthesized and output in the third phrase is inserted. FIG. 6F shows a state where a section corresponding to the fourth phrase of the single video B is output after the effect.
[効果]
実施形態のカラオケシステム1によれば、次の効果を奏する。
視聴者のユーザ関心パラメータとの類似度が高い歌唱動画を単独で提示したり、歌唱の旋律が互いに同調する複数の歌唱動画同士を合成した歌唱動画を提示したりといった具合に、楽曲のフレーズごとに複数の歌唱動画を様々な態様にてつなぎ合わせて提示できる。このようにすることで、エンターテイメント性の高い態様にて歌唱動画を視聴者に対して提供できる。例えば、歌唱の旋律が同調する複数の歌唱動画を同時に表示させることによって、演奏をより一層盛り上げることができる。
[effect]
The karaoke system 1 according to the embodiment has the following effects.
For each phrase of a song, such as presenting a single singing video that has a high degree of similarity to the user interest parameter of the viewer, or presenting a singing video that combines multiple singing videos that synchronize the melody of the song. A plurality of song videos can be connected and presented in various ways. By doing in this way, a song animation can be provided with respect to a viewer in the aspect with high entertainment property. For example, the performance can be further enhanced by simultaneously displaying a plurality of singing moving images synchronized with the melody of the singing.
また、楽曲のフレーズごとに単独の歌唱動画と、複数の歌唱動画からなる合成動画とを切替える際に、所定の演出効果を挿入することで、歌唱動画のエンターテイメント性を高めることができる。また、カラオケの分析採点に適用されている複数の評価項目に対する関心の度合を、ユーザ関心パラメータとして指定することができるので、それぞれの評価項目に対する視聴者の嗜好を的確に反映した態様にて編集した歌唱動画を視聴者に提供できる。 Moreover, the entertainment property of a song moving image can be improved by inserting a predetermined production effect when switching between a single song moving image and a synthesized moving image composed of a plurality of song moving images for each phrase of a song. In addition, since the degree of interest in a plurality of evaluation items applied to karaoke analysis scoring can be specified as a user interest parameter, it is edited in a manner that accurately reflects the viewer's preference for each evaluation item. Can be provided to viewers.
[変形例]
上述の実施形態では、配信サーバ2からネットワークを介してユーザ視聴端末3に歌唱動画が配信される事例について説明した。これとは別に、単体のコンピュータシステムにおいて、ユーザ関心パラメータを取得し、それに基づいて複数の歌唱動画を編集して再生するといった具合に、配信サーバ2及びユーザ視聴端末3の機能を併せ持つ装置単体で構成されるものであってもよい。
[Modification]
In the above-described embodiment, the example in which the singing moving image is distributed from the distribution server 2 to the
[特許請求の範囲に記載の構成との対応]
実施形態のカラオケシステム1の各構成と、特許請求に記載の構成との対応は次のとおりである。
[Correspondence with configuration described in claims]
The correspondence between each configuration of the karaoke system 1 of the embodiment and the configuration described in the claims is as follows.
配信サーバ2の制御部21が、取得手段、決定手段、出力制御手段に相当する。配信サーバ2の記憶部22が、記憶手段に相当する。ユーザ視聴端末3が、受付手段、受信手段、再生手段に相当する。
The
1…カラオケシステム、2…配信サーバ、21…制御部、22…記憶部、23…通信部、3…ユーザ視聴端末、10…インターネット。 DESCRIPTION OF SYMBOLS 1 ... Karaoke system, 2 ... Distribution server, 21 ... Control part, 22 ... Memory | storage part, 23 ... Communication part, 3 ... User viewing terminal, 10 ... Internet.
Claims (3)
前記記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画の視聴を要求したユーザについて、前記評価項目に対する関心の度合を表すユーザパラメータを取得する取得手段と、
前記特定の楽曲に該当する複数の歌唱動画について、前記特定の楽曲を複数の演奏区間に分けたそれぞれの演奏区間ごとに、前記複数の歌唱動画同士で互いの歌唱の旋律が同調するか否かを判定し、また、前記複数の歌唱動画それぞれの各演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合を判定し、それらの判定結果に基づいて単独の歌唱動画を出力するか、複数の歌唱動画を出力するかを前記演奏区間ごとに決定する決定手段と、
前記特定の楽曲に該当する複数の歌唱動画の中から、前記決定手段によって決定された出力方法に従って、演奏区間ごとに出力対象となる歌唱動画を切替えて、各演奏区間の出力対象の歌唱動画における当該演奏区間の部分を順次つなぎ合わせて出力することで、全演奏区間分の一連の歌唱動画として出力する出力制御手段とを備え、
前記出力制御手段は、前記決定手段より単独の歌唱動画を出力すると決定された場合、前記複数の歌唱動画の中から、所定の演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合が最も高い単独の歌唱動画を出力対象に決定する一方、前記決定手段により複数の歌唱動画を出力すると決定された場合、所定の演奏区間における歌唱の旋律が同調している複数の歌唱動画同士を合成し、その合成した歌唱動画を出力対象に決定すること、
を特徴とする歌唱動画編集装置。 A plurality of singing videos in which video and audio of a singer singing a song are recorded, and singing that represents an evaluation result in which the singing recorded in the singing video is evaluated for a predetermined evaluation item every predetermined period Storage means for storing evaluation information in association with each other;
An acquisition means for acquiring a user parameter indicating a degree of interest in the evaluation item for a user who has requested viewing of a song video corresponding to a specific song from among the song videos stored in the storage unit;
Whether or not the singing melody of each of the plurality of singing videos synchronizes with each other for each performance section obtained by dividing the specific music into a plurality of performance sections for the plurality of singing videos corresponding to the specific music And determining the degree of conformity between the singing evaluation results and the user parameters in each performance section of each of the plurality of singing videos, and outputting a single singing video based on the determination results, Determining means for determining for each performance section whether to output the singing video of
According to the output method determined by the determining means, among the plurality of song videos corresponding to the specific music, the song videos to be output for each performance section are switched, and the song videos to be output in each performance section The output control means for outputting as a series of singing videos for all performance sections by sequentially connecting and outputting the sections of the performance sections,
When the output control unit determines that the determination unit outputs a single singing video, the matching degree between the evaluation result of the singing in a predetermined performance section and the user parameter is the highest among the plurality of singing videos. While deciding to output a plurality of singing videos by the deciding means while deciding a high single singing video as an output target, a plurality of singing videos in which the melody of the singing in a predetermined performance section is synchronized are synthesized. , To determine the synthesized song video as the output target,
A singing video editing device characterized by this.
前記歌唱動画に対応付けて前記記憶手段に記憶されている歌唱評価情報は、前記歌唱動画に記録されている歌唱が複数種類の評価項目について評価された評価結果を表すものであり、
前記取得手段は、前記複数の評価項目それぞれに対する関心の度合を表すユーザパラメータを取得すること、
を特徴とする歌唱動画編集装置。 The singing video editing apparatus according to claim 1,
The singing evaluation information stored in the storage means in association with the singing video represents an evaluation result in which the singing recorded in the singing video is evaluated for a plurality of types of evaluation items.
The acquisition means acquires a user parameter representing a degree of interest in each of the plurality of evaluation items;
A singing video editing device characterized by this.
前記記憶手段に記憶されている歌唱動画の中から特定の楽曲に対応する歌唱動画に対する視聴要求と、前記評価項目に対する関心の度合を表すユーザパラメータを指定する指示とをユーザから受付ける受付手段と、
前記特定の楽曲に該当する複数の歌唱動画について、前記特定の楽曲を複数の演奏区間に分けたそれぞれの演奏区間ごとに、前記複数の歌唱動画同士で互いの歌唱の旋律が同調するか否かを判定し、また、前記複数の歌唱動画それぞれの各演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合を判定し、それらの判定結果に基づいて単独の歌唱動画を出力するか、複数の歌唱動画を出力するかを前記演奏区間ごとに決定する決定手段と、
前記特定の楽曲に該当する複数の歌唱動画の中から、前記決定手段によって決定された出力方法に従って、演奏区間ごとに出力対象となる歌唱動画を切替えて、各演奏区間の出力対象の歌唱動画における当該演奏区間の部分を順次つなぎ合わせて出力することで、全演奏区間分の一連の歌唱動画として出力する出力制御手段と、
前記出力制御手段により出力された歌唱動画を受信する受信手段と、
前記受信手段により受信された歌唱動画を再生し、所定の表示手段及び音声出力手段に出力させる再生手段とを備え、
前記出力制御手段は、前記決定手段より単独の歌唱動画を出力すると決定された場合、前記複数の歌唱動画の中から、所定の演奏区間における歌唱の評価結果と前記ユーザパラメータとの適合度合が最も高い単独の歌唱動画を出力対象に決定する一方、前記決定手段により複数の歌唱動画を出力すると決定された場合、所定の演奏区間における歌唱の旋律が同調している複数の歌唱動画同士を合成し、その合成した歌唱動画を出力対象に決定すること、
を特徴とする歌唱動画視聴システム。 A plurality of singing videos in which video and audio of a singer singing a song are recorded, and singing that represents an evaluation result in which the singing recorded in the singing video is evaluated for a predetermined evaluation item every predetermined period Storage means for storing evaluation information in association with each other;
A receiving unit that receives from the user a viewing request for a song video corresponding to a specific song from among the song videos stored in the storage unit, and an instruction that specifies a user parameter indicating the degree of interest in the evaluation item;
Whether or not the singing melody of each of the plurality of singing videos synchronizes with each other for each performance section obtained by dividing the specific music into a plurality of performance sections for the plurality of singing videos corresponding to the specific music And determining the degree of conformity between the singing evaluation results and the user parameters in each performance section of each of the plurality of singing videos, and outputting a single singing video based on the determination results, Determining means for determining for each performance section whether to output the singing video of
According to the output method determined by the determining means, among the plurality of song videos corresponding to the specific music, the song videos to be output for each performance section are switched, and the song videos to be output in each performance section Output control means for outputting a series of singing videos for all performance sections by sequentially connecting and outputting the parts of the performance sections;
Receiving means for receiving the singing video output by the output control means;
Reproducing means for reproducing the singing video received by the receiving means and outputting to a predetermined display means and audio output means,
When the output control unit determines that the determination unit outputs a single singing video, the matching degree between the evaluation result of the singing in a predetermined performance section and the user parameter is the highest among the plurality of singing videos. While deciding to output a plurality of singing videos by the deciding means while deciding a high single singing video as an output target, a plurality of singing videos in which the melody of the singing in a predetermined performance section is synchronized are synthesized. , To determine the synthesized song video as the output target,
Singing video viewing system characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014175826A JP6299531B2 (en) | 2014-08-29 | 2014-08-29 | Singing video editing device, singing video viewing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014175826A JP6299531B2 (en) | 2014-08-29 | 2014-08-29 | Singing video editing device, singing video viewing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016051031A JP2016051031A (en) | 2016-04-11 |
JP6299531B2 true JP6299531B2 (en) | 2018-03-28 |
Family
ID=55658580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014175826A Active JP6299531B2 (en) | 2014-08-29 | 2014-08-29 | Singing video editing device, singing video viewing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6299531B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5986395B2 (en) * | 2012-02-24 | 2016-09-06 | ブラザー工業株式会社 | Program for portable terminal device, information presentation method, and portable terminal device |
JP6058991B2 (en) * | 2012-11-30 | 2017-01-11 | 株式会社第一興商 | Singing video selection system corresponding to singing voice |
JP6051066B2 (en) * | 2013-01-31 | 2016-12-21 | 株式会社第一興商 | Singing video playback system for karaoke |
-
2014
- 2014-08-29 JP JP2014175826A patent/JP6299531B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016051031A (en) | 2016-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112565825B (en) | Video data processing method, device, equipment and medium | |
CN109218746B (en) | Method, device and storage medium for acquiring video clip | |
US10057651B1 (en) | Video clip creation using social media | |
CN108292314B (en) | Information processing apparatus, information processing method, and program | |
CN110691633B (en) | Method and system for determining reaction time of response and synchronizing user interface with content being rendered | |
US10178365B1 (en) | System and method for combining audio tracks with video files | |
US20180376224A1 (en) | Apparatus and method for manufacturing viewer-relation type video | |
JP2011135183A (en) | Information processing apparatus and method | |
CN103999473A (en) | Audio fingerprint for content identification | |
KR101800193B1 (en) | Method and system for searching content creators | |
US11330329B2 (en) | System and method for detecting and classifying direct response advertisements using fingerprints | |
US10560657B2 (en) | Systems and methods for intelligently synchronizing events in visual content with musical features in audio content | |
KR20150093425A (en) | Method and apparatus for recommending content | |
CN105872717A (en) | Video processing method and system, video player and cloud server | |
JP2014010458A (en) | Music relevant information providing device and method by music recognition in television system, and computer readable recording medium | |
KR20130055748A (en) | System and method for recommending of contents | |
JP2007166113A (en) | Content guide system, content guide method, content guide support server, content guide support method, program, and information storage medium | |
JP6635120B2 (en) | Information processing apparatus, information processing method, and program | |
JP2003085207A (en) | Video information recommend system, method and device, video recommend program, and recording medium with its program recorded | |
US20130247085A1 (en) | Method for generating video markup data on the basis of video fingerprint information, and method and system for providing information using same | |
JP6065703B2 (en) | Reference data creation system and performance terminal device | |
JP4534791B2 (en) | CM search method, CM search result receiving method, CM search device, CM search result receiving device, and CM recording reservation system | |
KR101713242B1 (en) | Apparatus for providing search service based musical score and method using the same | |
JP6299531B2 (en) | Singing video editing device, singing video viewing system | |
US10219047B1 (en) | Media content matching using contextual information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6299531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |