JP5291031B2 - カラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラム - Google Patents

Description

本発明は、映像編集を行うカラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラムの技術分野に関する。

近年、多数の演奏曲のうちから選択される演奏曲を出力させる情報記録再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置、サーバ装置等の情報記録再生装置である。このようなカラオケ装置では、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオ演奏を楽しむことが可能である。

このようなカラオケ装置において、タイトル名やシーン名等を覚えていない場合に、コンテンツの分野（ヒーロー、学園、ロボット、刑事・・・・）をユーザが選択することで、アフレコする素材を絞り込めるアフレコシステム（検索対象分野が表示され、ユーザがその検索対象分野を選択できるインターフェースが用意され、適合度に応じてコンテンツをソートしてその検索結果を表示する。）技術が特許文献１に開示されている。

また、再生する音楽にあった画像を選択表示し、また、順次に表示する画像に最適なＢＧＭを付加するシステム（音声データに付加されたメタデータをもとに画像データに付加されたメタデータを参照して、音声データと関連性の高い画像データを検索し、音楽と画像を関連付けて再生する。）技術が特許文献２に開示されている。

また、関連性のある画像、音声データを連続して再生するシステム（画像、音声それぞれのメタデータを比較して、同じ場合に両コンテンツを再生する。また、画像のテーマとなるメタデータを有する画像が存在しない場合には、その画像における次ぎのメタデータをテーマとして選択し、その選択されたテーマと同じテーマの画像を連続再生する）技術が特許文献３に開示されている。

特開２００８−０２７０５１号公報 特開２００６−２４４００２号公報 特開２００８−１４７９０１号公報

以上の技術を活用しつつ、動画共有サービスが浸透している昨今、「ユーザがパロディ映像制作」そして「その映像を共有し、評価しあう」という楽しみ方が流行している。

しかしながら映像の制作・編集(以下に掲げる工程作業：１；自らが吹き替えを制作したいイメージにあわせた映像を探す、２；前記１で探した映像から「自らが使用したい部分」を素材として切り出す、３； 切り出した複数素材の編集を行う、４；動画の動きに合わせて声や効果音を吹き込む)には相応のスキルとコンピュータ設備を必要とし、誰でも気軽に作れるものではなかった。

そこで、本発明は上記の課題に鑑みて為されたもので、その目的の一例は、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚、入力音圧レベル等）によって好みに応じた最適なアフレコ素材を検索することができ、機械に詳しくないユーザでも視覚的に映像編集が容易に行える情報記録再生装置、情報記録再生の制御方法、及び情報記録再生の制御プログラムを提供することにある。

上記課題を解決するために、請求項１に記載の発明は、カラオケシステムにおいて、ユーザ情報が入力されるユーザ情報入力手段としてのユーザ情報入力部４６ａと、前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段としての楽曲データ付加情報抽出部１０１と、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するたカット情報を抽出するカット情報抽出手段としてのカット情報抽出部１０２と、ユーザの音声情報が入力されるユーザ音声情報入力手段としてのユーザ音声情報入力部４０と、前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段としての動画特定情報抽出部１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段としてのカット画像情報抽出部１０４と、前記カット画像情報を表示する表示手段としての表示部３０、前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段としてのカット画像情報選択部１０５と、前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段としての合成部１０６と、前記カット画像情報を関連付けるカット画像情報関連付手段としてのカット画像情報関連付部１０７と、を備えることを特徴とする情報記録再生装置。

この構成によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６またはサーバ装置２０等の情報記録再生装置に、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）するとユーザＩＤに対応する演奏曲（楽曲データ）情報から楽曲データ付加情報が楽曲データ付加情報抽出手段によって抽出される。

楽曲データ付加情報には、楽曲データの曲名、歌手名、作詞・作曲者名、番組情報、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）等が含まれる。

楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、番組情報に対応するカット情報（カット情報には静止画及び動画に対応するセリフ、音量情報、音程情報、カット内で主となる人物名、カット内で主となる人物の性別（カット情報中の動画検索用情報（図１０参照））等の情報が含まれる）を少なくとも一つ以上カット情報抽出手段が抽出する。

そして、ユーザの音声情報が、マイク等を介してユーザ音声情報入力手段に入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）が動画特定情報抽出手段によって抽出される。

動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致する、カット情報に含まれる動画検索用情報（カット画像情報におけるセリフ、音量情報、音程情報）が検索され、検索された動画検索用情報に対応する静止画情報または動画情報（カット画像情報）がカット画像情報抽出手段によって抽出される。

抽出されたカット画像情報が表示手段によって表示され、ユーザは表示されたカット画像情報から自分の好みのカット画像情報をカット画像情報選択手段で選択する（操作パネル４６、カラオケ装置１６の遠隔操作装置または遠隔入力装置としての電子装置２２、リモコン装置６４、携帯電話機２８等を介してユーザが選択したカット画像情報に関する情報がカラオケ装置１６等の情報記録再生装置のＣＰＵ５０のカット画像情報選択部１０５に入力されて情報記録再生装置が選択されたカット画像情報を認識する）。

選択されたカット画像情報と入力されたユーザの音声情報とが合成され、カット画像情報が関連づけられると、ユーザ自身の声による（複数のカット画像が繋がった）動画が作成される。

このようにして、請求項１に係る発明によれば、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚（音程情報）、入力音圧レベル（音量情報）等）およびユーザの好み（ユーザが選択）に応じた最適なアフレコ素材（ユーザの音声情報と合成されるべきカット画像）を検索することよって、機械に詳しくないユーザでも視覚的に映像編集が容易に行うことが可能になる。

また、カラオケで歌う楽曲は、好きなテレビ番組で流れる（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、有名なCMで流れる、好きな映画で流れる、または好きなアーティストが歌っている楽曲であるので、これらのユーザが選択した楽曲（カラオケで歌う楽曲）に関する情報から、関連する映像を抽出することで、ユーザの嗜好に合致していると思われる映像を抽出することが可能になる。

また、単なる動画の閲覧履歴等の動画の見た目に関する情報だけではなく、潜在的にユーザが好むと思われる動画を抽出する（ユーザ情報に関連付けられたカット画像）ことで、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。

また、ユーザが、豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽に、パロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。

上記課題を解決するために、請求項２に記載の発明は、請求項１に記載のカラオケシステムであって、前記ユーザが選択した前記カット画像情報の履歴を示す動画選択履歴情報に含まれる、前記ユーザ情報に対応する動画データ付加情報を抽出する動画データ付加情報抽出手段としての動画データ付加情報抽出部１０８を更に備え、前記カット情報抽出手段は、前記動画データ付加情報に含まれるカット情報を抽出し、前記動画データ付加情報に含まれる前記カット情報に対応するカット画像情報を抽出することを特徴とする。

このようにして、請求項２に係る発明によれば、単なる動画の閲覧履歴等の情報ではなく、ユーザが以前に選択したことのある興味のある画像（本発明のカット画像情報とユーザ音声情報が合成された吹き替え画像ＭＩＸを含む）を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報等）を抽出するので、潜在的にユーザが好むと思われる動画を抽出することができ、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。

上記課題を解決するために、請求項３に記載の発明は、請求項１または２に記載のカラオケシステムであって、前記カット画像情報抽出手段は、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を有し、かつ、直前に選択された前記カット画像情報に対応する前記カット情報に含まれる動画連結用情報と連結するべきカット画像情報を抽出することを特徴とする。

この構成によれば、カット画像情報抽出手段は、入力されたユーザの音声情報に基づいてカット画像情報を抽出するだけではなく、直前に選択されたカット画像情報に対応するカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（話者の向き、場面描写情報（室内、室外、明るい、暗い等の情報等の情報（図１０参照））に対応する連結されるべき（話者の向きであれば、一例として、直前に選択されたカット画像情報内の話者が「右向き」であれば、対応する連結されるべき画像情報内の話者は「左向き」である。場面描写情報であれば、一例として、直前に選択されたカット画像情報内の場面情報が「室内」であれば、対応する連結されるべき画像情報内の場面情報は「室内」である。）カット画像情報が抽出される。

このようにして、請求項３に係る発明によれば、複数の動画をつなぎ合わせたコンテンツを作成するためには、動画同士の関連性が重要であるが、直前の動画の場面描写、登場人物、登場人数、アングル情報をもとに、次に選択されるべき候補となるカット画像情報が抽出されるので、直前の動画に自然につながる次の動画（カット画像情報）を抽出することが可能である。

すなわち、動画同士のつなぎが自然になるように、先の動画素材（動画データ（図１０参照））に関連するものを優先的に抽出することが可能になる。

上記課題を解決するために、請求項４に記載の発明は、請求項１乃至３の何れかに記載のカラオケシステムであって、前記表示手段は、前記カット情報に含まれる付加情報と、楽曲データ付加情報または動画データ付加情報の少なくとも何れか一方の付加情報との関連性に基づいて前記カット画像情報を区別して表示することを特徴とする。

この構成によれば、ユーザがカラオケで歌唱した楽曲の付加情報（曲名、アーティスト名、番組名（主題歌、挿入歌）、発表年度、ジャンル等）およびユーザが以前に選択した動画の動画データ付加情報とは一致しない画像を、一致しない程度に応じて区別し、その区別毎にその画像を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。

また、付加情報に含まれる情報において一致する情報の数を全体の情報の個数で除算したものを一致割合として、一致割合ごとに区分してカット画像情報を表示することも可能である。

このようにして、請求項４に係る発明によれば、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。

上記課題を解決するために、請求項５に記載の発明は、請求項４に記載のカラオケシステムであって、前記付加情報にはジャンル情報および年代情報（年代情報には、発表年代／放送年代、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）が含まれる）が含まれ、前記表示手段は、前記カット画像情報の付加情報に含まれるジャンル情報および年代情報と、前記楽曲データ付加情報または前記動画データ付加情報の少なくとも何れか一方に含まれるジャンル情報および年代情報との一致する割合に基づいて前記カット画像情報を区別して表示することを特徴とする。

この構成によれば、ジャンル情報および年代情報が合致している場合には、関連性が大きいと判断し、ジャンル情報または年代情報の何れか一方が合致している場合には、関連性が中程度であると判断し、ジャンル情報および年代情報の何れも合致していない場合には、関連性が小さいと判断する。

この関連性の大きさに基づいて、区別して（優先順位を決めて）カット画像情報を表示する（図８参照）。

このようにして、請求項５に係る発明によれば、映像検索の場合には、ユーザと関連性の大きい動画を提示するばかりではなく、ユーザと関連性の小さい動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。

上記課題を解決するために、請求項６に記載の発明は、カラオケシステムの制御方法であって、ユーザ情報が入力されるユーザ情報入力工程と、前記ユーザ情報入力工程によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出工程と、ユーザの音声情報が入力されるユーザ音声情報入力工程と、前記ユーザ音声情報入力工程において入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出工程と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出工程と、前記カット画像情報を表示する表示工程と、前記表示工程において表示された前記カット画像情報が選択されるカット画像情報選択工程と、前記カット画像情報選択工程においてよって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、前記カット画像情報を関連付けるカット画像情報関連付工程と、を備えることを特徴とする。

上記課題を解決するために、請求項７に記載の発明は、カラオケシステムの制御プログラムであって、ユーザ情報が入力されるユーザ情報入力手段、前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段、前記楽曲データ付加情報に含まれる番組情報（番組情報には、カラオケ楽曲が使用されている番組名、その番組のジャンル（ＴＶ番組（ニュース・スポーツ・ドラマ・バラエティ・アニメ等）、ＣＭ、映画等）、年代情報（発表年代／放送年代）、主な登場人物、主に話題となった人物等が記述されている。）を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段、ユーザの音声情報が入力されるユーザ音声情報入力手段、前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段、前記カット画像情報を表示する表示手段、前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段、前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段、前記カット画像情報を関連付けるカット画像情報関連付手段、として機能させることを特徴とする。

上記課題を解決するために、請求項８に記載の発明は、請求項７に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。

上記課題を解決するために、請求項９に記載の発明は、カラオケシステム１０において、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段としての楽曲情報入力部４６ｃと、前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段としての楽曲データ付加情報抽出部１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段としてのカット情報抽出部１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０と、前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段としての動画特定情報抽出部１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａと、前記カットデータ情報を表示する表示手段としての表示部３０と、前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段としてのカットデータ情報選択部１０５ａと、前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段としての合成部１０６と、を備えることを特徴とする。

この構成によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケシステムにおいて、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報を基に、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を抽出および選択し、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うことができる。

また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。

上記課題を解決するために、請求項１０に記載の発明は、請求項９に記載のカラオケシステム１０であって、前記表示手段は前記カットデータ情報選択手段によって選択された前記カットデータ情報を表示、または、前記カットデータ情報及び前記ユーザ歌唱情報を同時に表示することを特徴とする。

この構成によれば、ユーザはカット画像情報を表示させながら、選択された音声情報を試聴して、画像と音声とのさまざまな組み合わせを楽しむことが可能になる。

また、ユーザ自身が歌唱している姿だけでなく、他のユーザと一緒に楽曲を歌唱しているコラボ画像を容易に作成することができる。

また、他のユーザの歌唱画像情報を表示させながら、別の他のユーザの音声情報を再生させることが手軽にできるので、機械に詳しくないユーザでも視覚的に映像編集を容易に行い、カラオケを通じた映像編集を楽しむことができる。

さらに、他のユーザが楽曲を歌唱している姿を示す歌唱画像情報であるカット画像情報を表示させながら、ユーザは楽曲を歌唱してカラオケを楽しむことができる。

上記課題を解決するために、請求項１１に記載の発明は、カラオケシステム１０を制御する方法において、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力工程４６ｃと、前記楽曲情報入力工程において入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出工程１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力工程７０と、前記ユーザ歌唱情報入力工程において入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出工程１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出工程１０４ａと、前記カットデータ情報を表示する表示工程３０と、前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択工程１０５ａと、前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成工程１０６と、を備えることを特徴とする。

上記課題を解決するために、請求項１２に記載の発明は、カラオケシステム１０に含まれるコンピュータを制御する制御プログラムであって、ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段４６ｃと、前記楽曲情報入力手段４６ｃによって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段１０１と、前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段１０２と、ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段７０と、前記ユーザ歌唱情報入力手段７０に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段１０３と、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段１０４ａと、前記カットデータ情報を表示する表示手段３０と、前記表示手段３０に表示された前記カットデータ情報が選択されるカットデータ情報選択手段１０５ａと、前記カットデータ情報選択手段１０５ａによって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段１０６と、を備えることを特徴とする。

上記課題を解決するために、請求項１３に記載の発明は、請求項１２に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記憶されていることを特徴とする記憶媒体。

本発明によれば、あらかじめ用意されている映像素材の中から、ユーザの音声認識（声の抑揚（音程情報）、入力音圧レベル（音量情報）等）およびユーザの好み（ユーザが選択）に応じた最適なアフレコ素材（ユーザの音声情報と合成されるべきカット画像）を検索することよって、機械に詳しくないユーザでも視覚的に映像編集が容易に行うことが可能になる。

また、カラオケで歌う楽曲は、好きなテレビ番組で流れる（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、有名なCMで流れる、好きな映画で流れる、または好きなアーティストが歌っている楽曲であるので、これらのユーザが選択した楽曲（カラオケで歌う楽曲）に関する情報から、関連する映像を抽出することで、ユーザの嗜好に合致していると思われる映像を抽出することが可能になる。

また、単なる動画の閲覧履歴等の動画の見た目に関する情報だけではなく、潜在的にユーザが好むと思われる動画を抽出する（ユーザ情報に関連付けられたカット画像）ことで、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。

また、ユーザが、豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽に、パロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。

また、単なる動画の閲覧履歴等の情報ではなく、ユーザが以前に選択したことのある興味のある画像（本発明のカット画像情報とユーザ音声情報が合成された吹き替え画像ＭＩＸを含む）を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報等）を抽出するので、潜在的にユーザが好むと思われる動画を抽出でき、ユーザにとって、面白みや意外性のあるコンテンツの作成が可能になる。

また、複数の動画をつなぎ合わせたコンテンツを作成するためには、動画同士の関連性が重要であるが、直前の動画の場面描写、登場人物、登場人数、アングル情報をもとに、次に選択されるべき候補となるカット画像情報が抽出されるので、直前の動画に自然につながる次の動画（カット画像情報）を抽出することが可能である。

すなわち、動画同士のつなぎが自然になるように、先の動画素材（動画データ（図１０参照））に関連するものを優先的に抽出することが可能になる。

また、ユーザがカラオケで歌唱した楽曲の付加情報（曲名、アーティスト名、番組名（主題歌、挿入歌）、発表年度、ジャンル等）およびユーザが以前に選択した動画の動画データ付加情報とは一致しない画像を、一致しない程度に応じて区別し、その区別毎にその画像を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。

すなわち、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。

また、関連性の大きさに基づいて、区別して（優先順位を決めて）カット画像情報を表示することが可能である（図８参照）。

また、映像検索の場合には、ユーザと関連性の大きい動画を提示するばかりではなく、ユーザと関連性の小さい動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。

本発明によれば、カラオケ情報提供サービス会社が提供するサービスを有するカラオケシステムにおいて、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報を基に、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を抽出および選択し、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うことができる。

また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。

さらに、ユーザはカット画像情報を表示させながら、選択された音声情報を試聴して、画像と音声とのさまざまな組み合わせを楽しむことが可能になる。

このように、他のユーザの歌唱画像情報を表示させながら、合成された別の他のユーザの音声情報を再生させることが手軽にできるので、機械に詳しくないユーザでも視覚的に映像編集を容易に行い、カラオケを通じた映像編集を楽しむことができる。

また、ユーザ自身が歌唱している姿だけでなく、他のユーザと一緒に楽曲を歌唱しているコラボ画像を容易に作成することができる。

また、他のユーザが楽曲を歌唱している姿を示す歌唱画像情報であるカット画像情報を表示させながら、ユーザは楽曲を歌唱してカラオケを楽しむことができる。

また、ユーザが歌唱した楽曲の楽曲情報に、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けることができる。

したがって、ユーザは楽曲情報から自分が編集した歌唱画像情報を検索することが容易になり、いつでも自由なときに、自分が編集した歌唱画像情報を利用することが可能になる。

また、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けたカット画像情報をカラオケシステムにアップロードすることによって他のユーザもカラオケシステムを介してカット画像情報を利用できることができ、情報をユーザ同士で共有することが可能になる。

さらに、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくともテンポ情報および音程情報が略同一であるので、画像情報および／または音声情報を入れ替えても、違和感のない同一の楽曲にかかわる歌唱画像情報またはカット画像情報を抽出することができる。

さらに、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくとも前記楽曲名称情報が同一であるので、画像情報および／または音声情報を入れ替えても、同一の楽曲にかかわる歌唱画像情報またはカット画像情報を抽出することができる。

なお、ユーザが歌唱した楽曲と同一楽曲とは、楽曲に関する属性情報が完全に一致する楽曲の他に、バージョン情報が異なる楽曲、演奏が異なる楽曲、収録された時刻が異なる楽曲、歌手が異なる楽曲を含んでいてもよい。

また、ユーザが楽曲を歌唱している歌唱画像情報と、他のユーザが楽曲を歌唱しているカット画像情報の少なくとも歌唱されている楽曲の歌詞が同一または類似する楽曲歌詞情報が抽出されるので、画像情報および／または音声情報を入れ替えても、違和感のない歌唱画像情報またはカット画像情報を抽出することができる。
さらに、ユーザが楽曲を歌唱している歌唱画像情報においてユーザが楽曲に合わせて体を動かせて歌唱している場合、ユーザが楽曲の振り付けに合わせて踊っている場合などに、同様の動きをしている他のユーザにかかわるカット画像情報が抽出されるので、ユーザは容易に同様の動きをしている他のユーザのカット画像情報を選択することができ、連続性のある画像編集を容易に楽しむことが可能になる。

さらに、歌唱画像情報にかかわる楽曲を歌唱しているユーザと、カット画像情報にかかわる楽曲を歌唱している他のユーザとユーザの嗜好情報、歌唱履歴の情報等の情報が一致するので、ユーザは同じ嗜好を持つ他のユーザからカット画像情報を選択することができ、関連性のある画像編集を容易に楽しむことが可能になる。

さらに、本願の図８に記載されているように、楽曲を歌唱しているユーザに関する関連情報に基づいて、動画同士のつなぎが自然になるように、先の歌唱画像情報に関連するカット画像情報を優先的に抽出することが可能になる。

さらに、ユーザがカラオケで歌唱した歌唱画像情報に関する動画特定情報とは一致しないカット画像情報を、一致しない程度に応じて区別し、その区別毎にそのカット画像情報を表示する。例えば、全くユーザ情報に関係のない画像を優先的に表示することも可能である。

すなわち、いわゆる一般のテキスト検索により情報を得る場合だと、ユーザと関連性の低い結果を出してもなんら効果はないが、映像検索の場合、ユーザと関連性の低い動画を提示することで、新たな発見があり、より意外性のある映像を作成することが可能である。

本実施形態におけるシステム構成の一例を示す図である。 本実施形態におけるカラオケ装置のブロック図の一例である。 本実施形態におけるカラオケ装置の機能ブロック図の一例である。 本実施形態における動作を説明するフローチャートの一例である。 本実施形態における動作を説明するフローチャートの一例である。 本実施形態における動作を説明するフローチャートの一例である。 本実施形態における動作を説明するフローチャートの一例である。 （ａ）、（ｂ）、（ｃ）、（ｄ）本実施形態における表示画面の一例である。 （ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）本実施形態におけるデータテーブルの一例である。 本実施形態におけるデータテーブルの一例である。 本発明の第２実施形態におけるシステム構成の一例を示す図である。 本発明の第２実施形態におけるカラオケ装置の機能ブロック図の一例である。 本発明の第２実施形態における動作を説明するフローチャートの一例である。 本発明の第２実施形態における表示部に表示される画像の一例である。

以下、本発明の最良の実施形態を図面に基づいて説明する。なお、本発明は、有線または無線による電子通信回線を通じて情報をダウンロードできる全ての電子情報機器に対して適用することも可能である。

［１．システム構成の一例］
図１は、本発明が好適に適用されるカラオケシステム１０を説明するブロック図である。この図１に示すように、カラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ本発明の一実施例である１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。

これら複数のカラオケ装置１６は、ルータ１７を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能になっている。

このカラオケサービス提供会社のサーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うサーバであり、通信回線１８を介してカラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信するものである。

また、カラオケシステム１０は、複数の電子装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子装置２２と称する）を備えており、カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台ずつの電子装置２２が貸与され、各個室１４において後述するようにカラオケ装置１６の遠隔操作装置として用いられるようになっている。

店舗１２内には複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、電子装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。

また、カラオケシステム１０は、所定のアプリがインストールされることによりカラオケ装置１６の遠隔操作装置等として機能する複数の携帯電話機２８ａ、２８ｂ、２８ｃ、・・・（以下、特に区別しない場合には単に携帯電話機２８と称する）を備えている。これら携帯電話機２８は、例えば、前記カラオケ装置１６によりカラオケ演奏を行う各利用者の個人所有に係るものである。

図２は、本実施例のカラオケ装置１６の構成を例示するブロック線図である。

この図２に示すように、カラオケ装置１６は、ＣＲＴ（Cathode-ray Tube）やＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、ＣＲＴコントローラ等の映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェース４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、電子装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。

映像出力制御部３２は、ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他に、映像表示装置３０による種々の映像表示を制御する表示制御装置として機能する。

また、映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際にハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。このような背景映像情報に基づいて映像情報デコーダ３４により再生された背景映像は、ビデオミキサ３６へ送られる。

また、ビデオミキサ３６は、ＣＰＵ５０において生成され且つ映像出力制御部３２から出力される文字映像と、映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。

シンセサイザ３８は、ハードディスク５６から読み出されて転送されるカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。

この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいてシンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。そのアンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されてスピーカ４４から出力される。

操作パネル４６は、カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。

また、カラオケ装置１６には、操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられている。リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信してＣＰＵ５０へ供給する。

また、カラオケ装置１６と電子装置２２との対応付け処理もリモコン受信部６２を介して行われ、そのようにしてカラオケ装置１６に対応付けられた電子装置２２も同様に入力装置として機能する。

また、前述のように、カラオケ装置１６に対する情報送信機能を有する携帯電話機２８も同様に入力装置として機能する。なお、本実施例においては、カラオケ装置１６の入力装置として機能する電子装置２２、携帯電話機２８、及びリモコン装置６４等は、そのカラオケ装置１６の一部として備えられたものとして以下の説明を行う。

ＣＰＵ５０は、ＲＡＭ５４の一時記憶機能を利用しつつＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。

電子装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲をＲＡＭ５４に設けられた予約曲テーブルに登録する。

また、その予約曲テーブルの演奏順に従ってハードディスク５６からＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出し、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４からシンセサイザ３８へ演奏情報を送信し、歌詞情報に基づいて歌詞文字映像を生成して映像出力制御部３２へ送り、選曲時には曲名文字映像を生成して映像出力制御部３２へ送り、映像情報デコーダ３４を制御して所定の背景映像を再生させる。

カラオケ演奏が行われていない間、すなわち曲間においては、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させ、通信回線１８を介したサーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述するカラオケのメドレーの自動作成を実行する。

モデム５８は、カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置である。

ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換してＣＰＵ５０に供給する処理を実行する。

なお、店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６がルータ１７の機能を備えてマスターコマンダとして通信回線１８に接続されてもよい。

この場合、モデム５８はそのマスターコマンダとして機能するカラオケ装置１６に必要とされるが、マスターコマンダを介してサーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。

ＬＡＮポート６０は、カラオケ装置１６がＬＡＮ２４を介して他のカラオケ装置１６や電子装置２２等の他の機器と接続するための接続器である。

カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子装置２２等の他の機器との間で情報の送受信が可能となる。

例えば、アクセスポイント２６を介して受信される電子早見本装置２２からの選曲入力を受け付けてＲＡＭ５４に設けられた予約曲テーブルに記憶し、そのアクセスポイント２６を介してカラオケ装置１６から電子装置２２へ所定の情報を送信するなど、電波を介してカラオケ装置１６と電子装置２２との間において相互の情報のやりとりが実行される。

ハードディスク５６には、カラオケ演奏曲を出力させるための多数のカラオケデータ（楽曲データ）を記憶するカラオケデータベース１２８及び背景映像を出力させるための複数の背景映像情報（映像データ）を記憶する背景映像データベース１３０をはじめとする各種データベースが設けられている。

カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６（例えばカラオケ装置１６ａ）は、モデム５８を介して通信回線１８に接続されており、複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、或いは常に新しい背景映像が出力可能とされるように、随時新たな楽曲データや映像データ等がサーバ装置２０から通信回線１８を介して配信され、ハードディスク５６のカラオケデータベース１２８等に記憶される。

また、そのようにしてサーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間でＬＡＮ２４を介した通信が行われ、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、カラオケデータベース１２８や背景映像データベース１３０等の内容が同一のものとなる。

カラオケデータベース１２８には、カラオケ装置１６のカラオケ演奏に用いられる多数（例えば、数万曲）のカラオケ情報が記憶されている。このカラオケ情報は、例えば、シンセサイザ３８により所定の出力音（楽器の演奏音）を生成するための演奏情報、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を表示させるための歌詞情報、演奏曲の出力と併行してその歌詞文字映像を順次色替表示させるための歌詞色替情報、及びその歌詞文字映像の背面側レイヤに表示される背景映像を指定する背景映像指定情報等から成るものであり、コンテンツＩＤである各演奏曲に固有の選曲番号により識別される。

また、背景映像データベース１３０には、映像情報デコーダ３４により所定の映像を再生するための複数の背景映像情報が記憶されている。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、各映像情報に固有の識別情報により識別される。

［２．カラオケ装置の処理機能ブロックの説明］
ここで、本発明の機能を発揮するための構成について、図３に示す機能ブロック図を用いて説明する。

カラオケ装置１６等の記憶部１０９は、演奏曲に対応する演奏曲（楽曲データ）情報、ユーザ情報に対応する楽曲データ情報、楽曲データ情報の楽曲データ付加情報（曲名、歌手名、作曲・作詞者名、楽曲データが使用された番組名、ジャンル名、発表年代／放送年代等の情報（図９（ｃ）参照））、楽曲データが使用された番組名に関する画像情報および、その他の付加情報（図９、１０参照）等を含ませて記憶する。

これらの情報はカラオケ情報提供サービス会社等の会社がサーバ装置２０にアップロードするので、カラオケ装置１６はアップロードされた情報を予めカラオケ装置１６の記憶部１０９にダウンロードして記憶しておく。

なお、これらの情報はサーバ装置２０に記憶され、必要な場合に必要な情報を、適宜、サーバ装置２０からカラオケ装置１６の記憶部１０９にダウンロードしてカラオケ装置１６がダウンロードした情報を使用することも可能である。

カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）するとユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報から楽曲データ付加情報が楽曲データ付加情報抽出部１０１によって抽出される。

なお、楽曲データ付加情報抽出部１０１は、ユーザ情報入力部４６ａに入力されたユーザ情報が正規の会員として登録されたものでない場合には、以降の処理を継続せずに中断、もしくは、エラーメッセージを映像表示装置３０に表示して次のユーザ情報の入力を待機することも可能である。

カット情報抽出部１０２は、楽曲データ付加情報に含まれる番組情報を抽出し、番組情報に含まれる少なくとも一つ以上の静止画情報または動画画情報（カット画像情報）に対応し、その静止画情報を特徴付けるカット情報（カット画像情報におけるセリフ、音量情報、音程情報、カット内で主となる人物名、カット内で主となる人物の性別等であって、番組情報に対応される情報）を抽出する。

動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。

入力された音声情報の内容を示すセリフの抽出には、従来から知られている音声認識手段を使用してもよい。

カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。

また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。

ここで、抽出されるカット画像情報は一つに限られず、動画特定情報に一致する動画検索用情報を有するカット情報に対応する複数のカット画像情報が抽出され得る。

映像表示装置等の表示部３０には、カット画像情報抽出部１０４によって抽出されたカット画像情報が表示される。

ユーザは、表示部３０に表示された少なくもと一つ以上のカット画像情報からユーザ好みのカット画像情報を、操作パネル４６等の入力部４６ｂを介して選択する。

選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力されると、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択し、合成部１０６へ送る。

合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。

合成されたカット画像情報にはユーザの音声情報が合成されているので、この合成情報が再生されるとユーザ好みの画像においてユーザの音声が視聴可能になる。

カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報を関連付ける（一例として、関連付けはユーザの選択順に行うことができる）。

カット画像情報関連付部１０７によって関連づけられたカット画像情報を連続して再生すると、ユーザの音声で吹き替えられた動画が視聴可能になる（図８（ｄ）参照）。

動画データ付加情報抽出部１０８は、ユーザが選択したカット画像情報の履歴を示す動画選択履歴情報に含まれる、ユーザ情報に対応する動画データ付加情報を抽出する。

動画選択履歴情報は、ユーザが動画を過去に閲覧し選択した履歴情報であり、ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）が含まれる。

このように本発明によれば、ユーザが豊富に用意された動画素材の中から好みのものを選択・編集し、オリジナルの音声（ユーザの音声）をアフレコ（吹込み）して、ミックスダウン（映像音声合体）を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することで、ユーザの誰でもが、気軽にパロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。

［３．処理動作を示すフローチャートの一例］
次に、図４乃至図７を用いて、本願のカラオケ装置１６において、ユーザが、豊富に用意された動画素材の中からユーザの音声および好みに合致したシーンを選択・編集し、オリジナルの音声をアフレコ(吹込み)して、ミックスダウン(映像音声合体)を行うしくみの動作概要を説明する。

なお、カラオケ装置１６に限られず、図４乃至図７に記載される機能をサーバ装置２０において実行することも可能である。この場合には、サーバ装置２０を介してネットワークサービスに発表することで、ユーザの誰でもが、気軽にパロディ映像を作って、他のユーザに見せ合うことが可能なサービスを提供できる。

また、本発明を適用した場合において実現され得る具体的な処理手順である以下に示す処理手順は、一例であってこれ以外にも実現され得る処理手順は無数に存在する。

まず、図４のステップＳ１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）する。

なお、ステップＳ１、Ｓ９、Ｓ１５およびＳ２２における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置はステップＳ２以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。

ステップＳ２において、カラオケ装置１６はユーザＩＤを取得し、ユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報を取得する。

なお、ステップＳ２以降におけるカラオケ装置１６の動作をサーバ装置２０等の情報処理装置で実行することも可能である。

ステップＳ３において、カラオケ装置１６の楽曲データ付加情報抽出部１０１は、
ユーザＩＤと対応された、ユーザの歌唱履歴（演奏曲（楽曲））およびその楽曲データ付加情報を抽出する。

ステップＳ４において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組情報を抽出できるか否かを判断する。

楽曲データ付加情報に番組情報が含まれる場合（ステップＳ４：ＹＥＳ）にはステップＳ５に進み、楽曲データ付加情報に番組情報が含まれない場合（ステップＳ４：ＮＯ）にはステップＳ６に進む。

ステップＳ５において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組名、ジャンル、発表年代、登場人物等の番組情報を抽出する。

ステップＳ６において、カラオケ装置１６の動画データ付加情報抽出部１０８は、ユーザが動画閲覧または動画検索をして、画像情報を選択したか否かを判断する。画像情報を選択したか否かはユーザ情報に対応する動画選択履歴情報を検索することによって判断することが可能になる。ユーザが動画閲覧または動画検索をして、画像情報を選択した場合（ステップＳ６：ＹＥＳ）にはステップＳ７に進み、ユーザが動画閲覧または動画検索をせず、または画像情報を選択していない場合（ステップＳ６：ＮＯ）にはステップＳ１０に進む。

ステップＳ７において、カラオケ装置１６の動画データ付加情報抽出部１０８は、動画データ付加情報を読み込む（抽出する）。

ステップＳ８において、動画データ付加情報抽出部１０８は、読み込んだ（抽出した）ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）を取得する。

ステップＳ９において、ユーザはアフレコ（吹込み）しようとするセリフをユーザ音声情報入力部４０に入力する。

ステップＳ１０において、動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。

ステップＳ１１において、ユーザのセリフ発音が一回目の場合（ステップＳ１１：ＹＥＳ）にはステップＳ１４に進み、ユーザのセリフ発音が一回目でない場合（ステップＳ１１：ＮＯ）にはステップＳ１２に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。

ステップＳ１２において、動画選択履歴情報から直前に選択された動画データ付加情報が読み込まれる。

ステップＳ１３において、動画データ付加情報からカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである。）カット画像情報を抽出する。

ステップＳ１４において、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。

また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。

これらのカット画像情報（静止画情報または動画情報）は表示部３０に表示される。

ステップＳ１５において、ユーザは表示部３０に表示されたカット画像情報から操作パネル４６等の入力インターフェースを介してユーザのお好みのカット画像情報を選択する。

ステップＳ１６において、選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力され、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択する。

ステップＳ１７において、ユーザのカット画像情報の選択履歴が動画選択履歴に追加される。

ステップＳ１８において、合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。

ステップＳ１９において、直前に合成された（繋がるべき）カット画像情報があるか否かが判断される。直前に合成された動画がある場合には（ステップＳ１９：ＹＥＳ）にはステップＳ２０に進み、直前に合成された動画がない場合には（ステップＳ１９：ＮＯ）にはステップＳ２１に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。

ステップＳ２０において、カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報と直前に選択されたカット画像情報とを関連付ける（アフレコ動画を作成する）（一例として関連付けは選択順に行うことができる）。

ステップＳ２１において、ユーザの次のセリフを動画特定情報抽出部１０３が検出した場合には（ステップＳ２１：ＹＥＳ）にはステップＳ１０に進み、ユーザの次のセリフを動画特定情報抽出部１０３が検出しない場合には（ステップＳ２１：ＮＯ）には処理を終了する。

ステップＳ２２において、ユーザの次のセリフが検出された場合には（ステップＳ２２：ＹＥＳ）にはステップＳ９に進み、ユーザの次のセリフが検出されない場合には（ステップＳ２２：ＮＯ）には処理を終了する。

次に、図６および図７を用いて、ユーザとの関連性の低い（意外性のある）動画を合成する手順を説明する。

まず、図６のステップＳ３１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６等の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがログイン（ユーザＩＤ等のユーザ情報を入力）する。

なお、ステップＳ３１、Ｓ４１、Ｓ４８およびＳ５５における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置は、ステップＳ３２以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。

ステップＳ３２において、カラオケ装置１６はユーザＩＤを取得し、ユーザＩＤと対応するハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された演奏曲（楽曲データ）情報を取得する。なお、ステップＳ３２以降におけるカラオケ装置１６の動作をサーバ装置２０等の情報処理装置で実行することも可能である。

ステップＳ３３において、カラオケ装置１６はユーザＩＤと対応する、ユーザの歌唱履歴、その楽曲データ付加情報、動画選択履歴中の動画データ付加情報を抽出する。

ステップＳ３４において、カラオケ装置１６のカット情報抽出部１０２は、楽曲データ付加情報に含まれる番組名、ジャンル、発表年代、登場人物等の番組情報を抽出する。また、動画データ付加情報抽出部１０８は、読み込んだ（抽出した）ユーザ情報に対応する動画データ付加情報（動画のジャンル、番組名、登場人物、作者、発表年代、カット情報中の動画検索用情報（話者のセリフ、音量情報、音程情報）等の情報）を取得する。

ステップＳ３５において、カット画像情報抽出部１０４は、楽曲データ付加情報および動画データ付加情報に含まれるジャンル情報および年代情報（年代情報には、発表年代／放送年代、楽曲が作成された年代、楽曲が発売された年代、楽曲の売り上げが最も多かった年代、楽曲のランキングされた年代（楽曲が上位にランキングされた年代を含む）が含まれる）と、ハードディスク５６の記憶部１０９またはサーバ装置２０に記憶された動画を構成するカット画像情報のジャンル情報および年代情報を比較する。

ステップＳ３６において、ユーザ情報に対応する楽曲データ付加情報または動画データ付加情報に含まれるジャンル情報および年代情報が、動画を構成するカット画像情報のジャンル情報および年代情報と合致している場合には、関連性が大きいと判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が大きいことを示す情報が関連付けされる。

ステップＳ３７において、ユーザ情報に対応する付加情報のジャンル情報が動画を構成するカット画像情報のジャンル情報と合致しており、年代情報が動画を構成するカット画像情報の年代情報と合致していない場合には、関連性が中程度であると判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が中程度であることを示す情報が関連付けされる。

ステップＳ３８において、ユーザ情報に対応する付加情報の年代情報が動画を構成するカット画像情報のジャンル情報と合致しており、ジャンル情報が動画を構成するカット画像情報の年代情報と合致していない場合には、関連性が中程度であると判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が中程度であることを示す情報が関連付けされる。

ステップＳ３９において、ユーザ情報に対応する楽曲データ付加情報または動画データ付加情報に含まれるジャンル情報および年代情報が、動画を構成するカット画像情報のジャンル情報および年代情報と合致しない場合には、関連性が小さい判断され、ステップＳ３１においてログインしているユーザのユーザ情報とそのカット画像情報に関連性が小さいことを示す情報が関連付けされる。

ステップＳ４０において、カット画像情報抽出部１０４は、ステップＳ３６乃至ステップＳ３９においてカット画像情報に関連付けされた関連性の大小に基づいて、カット画像情報を区別して抽出する。

ステップＳ４１において、ユーザはアフレコ（吹込み）しようとするセリフをユーザ音声情報入力部４０に入力する。

ステップＳ４２において、動画特定情報抽出部１０３は、ユーザの音声情報が、マイク等の音声情報入力部４０を介して入力されると、入力された音声情報から、カット画像情報を特定するための動画特定情報（セリフ（入力された音声情報の内容）、音量情報、音程情報等）を抽出する。

ステップＳ４３において、ユーザのセリフ発音が一回目の場合（ステップＳ４３：ＹＥＳ）にはステップＳ４６に進み、ユーザのセリフ発音が一回目でない場合（ステップＳ４３：ＮＯ）にはステップＳ４４に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。

ステップＳ４４において、動画選択履歴情報から直前に選択された動画データ付加情報が読み込まれる。

ステップＳ４５において、動画データ付加情報からカット画像情報を特徴付けるカット情報に含まれる動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである。）カット画像情報を抽出する。

ステップＳ４６において、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、カット情報抽出部１０２によって抽出されたカット情報に含まれる動画検索用情報（カット画像情報における話者のセリフ、音量情報、音程情報）を検索し、検索された動画検索用情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。

また、カット画像情報抽出部１０４は、動画特定情報抽出部１０３で抽出された動画特定情報（入力された音声情報の内容を示すセリフ、音量情報、音程情報）に合致（一致）する、動画データ付加情報抽出部１０８によって抽出された動画データ付加情報を検索し、カット情報に対応するカット画像情報（静止画情報または動画情報）を抽出する。

これらのカット画像情報（静止画情報または動画情報）は表示部３０で、ステップＳ３６乃至ステップＳ３９においてカット画像情報に関連付けされた関連性の大小に基づいて、カット画像情報が区別されて抽出される。

ステップＳ４７において、カット画像情報に関連付けされた関連性の大小に基づいて区別して、表示部３０はカット画像情報を表示する（図８（ｂ）参照）。

ステップＳ４８において、ユーザは表示部３０に表示されたカット画像情報から操作パネル４６等の入力インターフェースを介してユーザのお好みのカット画像情報を選択する。

ステップＳ４９において、選択されたカット画像情報に関する情報がカット画像情報選択部１０５に入力され、カット画像情報選択部１０５は表示部３０に表示されているカット画像情報から選択されたカット画像情報を選択する。

ステップＳ５０において、ユーザのカット画像情報の選択履歴が動画選択履歴に追加される。

ステップＳ５１において、合成部１０６は、カット画像情報選択部１０５において選択されたカット画像情報と音声情報入力部４０を介して入力されたユーザの音声情報とを合成する。

ステップＳ５２において、直前に合成されたカット画像情報が繋がった動画があるか否かが判断される。直前に合成された動画がある場合には（ステップＳ５２：ＹＥＳ）にはステップＳ５３に進み、直前に合成された動画がない場合には（ステップＳ５２：ＮＯ）にはステップＳ５４に進む。この判断はカラオケ装置１６のＣＰＵ５０の内部で実行される。

ステップＳ５３において、カット画像情報関連付部１０７は、カット画像情報選択部１０５によって選択されたカット画像情報と直前に選択されたカット画像情報とを関連付ける（アフレコ動画を作成する）（一例として関連付けは選択順に行うことができる）。

ステップＳ５３において、ユーザの次のセリフを動画特定情報抽出部１０３が検出した場合には（ステップＳ５３：ＹＥＳ）にはステップＳ４２に進み、ユーザの次のセリフを動画特定情報抽出部１０３が検出しない場合には（ステップＳ５３：ＮＯ）には処理を終了する。

ステップＳ５５において、ユーザの次のセリフが検出された場合には（ステップＳ５５：ＹＥＳ）にはステップＳ４１に進み、ユーザの次のセリフが検出されない場合には（ステップＳ５５：ＮＯ）には処理を終了する。

以上説明したように、ユーザが、豊富に用意された動画素材の中からユーザの音声および好みに合致したシーンを選択・編集し、オリジナルの音声をアフレコ(吹込み)して、ミックスダウン(映像音声合体)を行い、その映像をカラオケ情報提供サービス会社が提供するネットワークサービスに発表することが可能になる。

［４．映像表示装置３０等に表示される画面の一例］
次に、映像表示装置３０等に表示される画面の一例を図８に示す。

図８（ａ）は、ユーザであるＡさんがカラオケ装置１６にユーザ情報を入力してログインした場合に、映像表示装置３０に表示される本発明のアフレコ動画検索画面のトップページの一例である。

図８（ａ）の右下には、“音声収録をスタートする場合にはここをクリック！！”等の図４乃至図７に記載されたフローチャートの実行を開始するか否かをユーザに判断させるメッセージが表示される。このメッセージをユーザがユーザインターフェースを介して選択すると図８（ｂ）の画面が表示される。

図８（ｂ）では、ユーザ情報と関連性が大きいカット画像情報（映像１、映像１００等）が他のカット画像情報とは区別されて図８（ｂ）に向かって左側の画面の側面に表示され、ユーザ情報と関連性が中程度のカット画像情報（映像３２、映像２１１等）が他のカット画像情報とは区別されて図８（ｂ）に向かって画面の中央の列に表示され、ユーザ情報と関連性が小さいカット画像情報（映像１２４、映像１５０等）が他のカット画像情報とは区別されて図８（ｂ）に向かって右側の画面の側面に表示されている。

また、ユーザ情報と関連性が大きいカット画像情報（映像１、映像１００等）の見出しには、ユーザ情報によって特定される“Ａ子さん”等の名前と、ユーザと関連性が大きいことを示す“ピッタリの動画です”等の文字情報が表示される。また、ユーザ情報と関連性が中程度であるカット画像情報（映像３２、映像２１１等）の見出しには、“こんな動画も面白いのでは”等のユーザと関連性が中程度であることを示唆する文字情報が表示され、ユーザ情報と関連性が小さいカット画像情報（映像１２４、映像１５０等）の見出しには、“いままで見たことが無いような動画です、意外な発見があるかもしれません”等のユーザと関連性が小さいことを示す文字情報が表示される。

図８（ｂ）においてユーザが所望するカット画像情報（映像１５０）を選択すると、図８（ｃ）が表示される。

図８（ｃ）では、選択されたカット画像情報と入力されたユーザの音声情報との合成が実行中であることを示す情報が表示され、図８（ｃ）の右下には、アフレコ動画を作成するための音声収録を終了するか、次のカット画像情報を作成するための音声収録を開始するか否かをユーザに判断してもらうためのメッセージが表示される。

次のカット画像情報を作成するための音声収録を開始するメッセージがユーザによって選択された場合には、再び図８（ａ）の表示画面に戻り、アフレコ動画を作成するための音声収録を終了するメッセージがユーザによって選択された場合には、図８（ｄ）の表示画面が表示される。

図８（ｄ）では、図８（ａ）乃至図８（ｃ）の作業を通して作成されたアフレコ動画（カット画像情報にユーザの音声情報が合成された情報の繋がり）をプレビューするか否かをユーザに判断してもらうためのメッセージが表示される。

図８（ｄ）のプレビューメッセージをユーザが選択すると、アフレコ動画の再生が始まり、動画閲覧メッセージをユーザが選択すると、他のアフレコ動画等の動画をユーザが閲覧することが可能になり、そこでユーザが動画の画像を選択すると動画選択履歴に選択された画像の情報がユーザ情報に関連付けされて記録される。

［５．データテーブルの一例］
次に、本実施形態に使用されるデータテーブルの一例を図９および図１０に示す。

なお、これらのデータテーブルはハードディスク５６の記憶部１０９またはサーバ装置２０の記憶部（図示せず）に記憶され、カラオケ装置１６のＣＰＵ５０またはカラオケ装置１６のＣＰＵ５０の機能を実行可能であるサーバ装置２０のＣＰＵ（図示せず）が、その機能を実行する場合に参照する。

図９（ａ）はユーザの歌唱履歴を示すデータテーブルの一例である。ユーザ名はユーザＩＤ等のユーザ情報によって特定される。選曲した楽曲の欄には、ユーザが過去にカラオケ装置１６で歌唱した楽曲の曲名とその楽曲の選曲番号が記載されている。

例えば、３番目に選曲した曲名が「森のくまさん」の場合には、選曲番号「２３４５６７」とともにユーザ情報に対応付けられて記憶されている。

ここで、図９（ａ）のデータテーブルの一例の項目に「うた年齢」という欄がある。この「うた年齢」とは、ユーザの歌の好みの傾向が何歳くらいなのかを、歌唱された楽曲のデータを元に計算した数値であって、ユーザの歌唱曲履歴から算出される（カラオケ情報提供サービス会社が提供するサービスの一つである）。若年層に歌われている曲を歌えば、『うた年齢』は若くなり、年配層に歌われている曲を歌えば、『うた年齢』は高くなるものである。

例えば、「うた年齢」に基づいて、カット画像情報を抽出することも可能である。一例として、楽曲の番組情報のジャンル情報に含まれている「ＴＶドラマ・青春」という情報の「青春」に対応する、「うた年齢」が１２才以上２５才以下と予め決定されていれば、ユーザ情報に対応するカット画像情報の候補を抽出することが可能になる。

図９（ｂ）はユーザの動画選択履歴情報（本発明によるユーザ音声とカット画像情報が合成されたアフレコ動画の視聴選択を含む）を示すデータテーブルの一例である。動画選択履歴情報には、動画データ付加情報および動画データ付加情報に含まれるカット情報が含まれる。

ユーザ名はユーザＩＤ等のユーザ情報によって特定される。選択した動画情報の欄には静止画像である動画ＩＤが映像番号として記述されている。

各映像番号には、ユーザの音声情報である「セリフ」情報、「音量」情報、「音程」情報が対応して記述されている。

従って、ユーザの動画選択履歴を抽出することで、ユーザ好みのカット画像情報の候補を抽出でき、カット情報に含まれるユーザの音声情報と合成処理を実行するために入力されたユーザの音声情報とを比較（合致するか否かの判断）をすることが可能となる。

次に、図９（ｃ）のカラオケ楽曲データの付加情報（楽曲データ付加情報）について説明する。

カラオケ楽曲データの付加情報には楽曲の基本情報と番組情報が含まれる。

楽曲の基本情報には、カラオケ楽曲データの選曲番号に対応して、曲名、歌手名、作詞・作曲者名の情報が記述されている。

番組情報には、カラオケ楽曲が使用されている番組名、ジャンル、発表年代（放送年代）、主に話題となった人物等が記述されている。

なお、番組情報には、カラオケ楽曲がテレビ番組（ニュース、スポーツ、ドラマ、バラエティ、アニメetc）、CM、映画等で使用されていない場合には記述される内容が無い。

従って、楽曲データ付加情報を抽出すれば、その楽曲データ付加情報に含まれる番組情報から、その番組で使用されるカット画像情報（動画の候補となる一枚の静止画像または動画情報）を抽出することが可能になる。

次に、図９（ｄ）に記載のユーザ音声を特徴付けるパラメータの一つである音量情報について説明する。

音量情報は、一例としてユーザ音声の大きさをデシベル（ｄｂ）の大きさで区分する。例えば、ユーザ音声が予め定められたデシベル値よりも小さい場合には音量を小さいと区分して音量コードを「１」で示し、ユーザ音声が予め定められた二つのデシベルで表した閾値の間である場合には音量を標準と区分して音量コードを「２」で示し、ユーザ音声が予め定められたデシベル値よりも大きい場合には音量を大きいと区分して音量コードを「３」で示す。

このように区分された音量情報の音量コードを比較することによって、合致する音量情報に対応するカット画像（例えば、図９（ｂ）参照）を抽出することが可能になる。

次に、図９（ｅ）に記載のユーザ音声を特徴付けるパラメータの一つである音程情報について説明する。

音程情報は、一例としてユーザ音声の音程を周波数（Ｈｚ）の大きさで区分する。例えば、ユーザ音声が予め定められた周波数値よりも小さい場合には音程が低いと区分して音程コードを「１」で示し、ユーザ音声が予め定められた二つの周波数で表した閾値の間である場合には音程を標準と区分して音程コードを「２」で示し、ユーザ音声が予め定められた周波数値よりも大きい場合には音程が高いと区分して音程コードを「３」で示す。

このように区分された音程コードを比較することによって、合致する音程情報に対応するカット画像（例えば、図９（ｂ）参照）を抽出することが可能になる。
次に、図１０の動画素材データの付加情報（動画データ付加情報）について説明する。

動画素材データの付加情報には動画の基本情報と、カットの情報（カット情報）に含まれる動画検索用情報と動画連結用の情報（カット画像情報間の関連性を示す情報）が含まれる。

動画の基本情報には、番組名、ジャンル情報、ジャンル情報に含まれる種別情報、主に話題となった人物、作者／監督、発表年代（放送年代）、が記述されている。

図１０における動画素材データの付加情報中のジャンル情報およびジャンル情報に含まれる種別情報は、図９（ｃ）の楽曲データ付加情報のジャンル情報に対応する。

カットの情報（カット情報）に含まれる動画検索用情報には、ユーザの音声情報である「セリフ」情報、「音量」情報、「音程」情報、カット内で主となる人物名、カット内で主となる人物の性別が対応して記述されている。

従って、動画検索用情報と、ユーザ音声情報から抽出された動画特定情報（カット情報に含まれる）とを比較することで、カット画像情報を抽出することが可能になる。

カットの情報（カット情報）に含まれる動画連結用の情報には、カット画像情報の画面内に登場する人数、話者のアングル、カット画像情報の場面描写タグが記述されている。

従って、動画連結用情報（画面内に登場する人数、画面内の話者のアングル情報（右向き、左向き、上向き、下向き等の情報）、画面を描写するタグ情報等の情報）に対応する連結されるべき（直前に選択されたカット画像情報の話者が右向きであれば、対応する連結されるべきカット画像情報の話者は左向きである）カット画像情報を抽出することが可能になる。
以上、述べてきたデータテーブルの一例によってカット画像（動画ＩＤによって示される映像番号）を各種の付加情報から抽出することが可能になる。

また、付加情報に含まれる情報において一致する情報の数を全体の情報の個数で除算したものを一致割合として、一致割合ごとに区分してカット画像情報を表示することも可能である。

入力されたユーザＩＤ情報はユーザが持つ識別（ＩＤ：Identification）情報と関連づけされているので、ネットワークに接続されている電子機器であればユーザの識別情報を入力すれば、いつでもどこでもユーザＩＤ情報によって特定される識別情報に基づいてそのユーザに関連した情報が読み出し可能になる。

なお、図４乃至図７における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。

また各電子情報機器間の情報の送受信は有線、無線に限定されず、いずれの方法においても情報の送受信を行うことができる。

＜実施形態２＞
本発明の実施形態２について以下に説明する。

本発明の実施形態２はカラオケシステムにおいて従来は動画編集が困難であったことに鑑みて為されたもので、その目的の一例は、あらかじめ用意されている映像素材の中から、ユーザの歌唱画像情報、ユーザの音声情報（テンポ情報、音程情報、声の抑揚、入力音圧レベル等）、楽曲情報（楽曲名称情報、歌詞情報等）およびユーザ情報に対応する関連情報（ユーザの歌唱履歴情報、嗜好情報（好みのジャンル、アーティスト等の情報））の少なくとも一つに基づいて、ユーザの好みに応じた最適なアフレコ素材を検索し、検索されたアフレコ素材の中からユーザが動画を選択することによって、機械に詳しくないユーザでも視覚的に映像編集を容易に行えるカラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラムを提供することにある。

［６．システム構成の一例］
図１１は、本発明が好適に適用されるカラオケシステム１０を説明するブロック図である。この図１１に示すように、カラオケシステム１０では、通信回線１８を介して複数のカラオケ装置１６が相互に接続されており、図１１では一例として二台のカラオケ装置１６ａおよびカラオケ装置１６ｂが通信回線１８を介して相互に接続されている。

例えば、カラオケ装置１６ａを使用してユーザが楽曲を歌唱し、ユーザが楽曲を歌唱している姿が撮影された歌唱画像情報がデジタルカメラ等を含むユーザ歌唱情報入力部７０を介してカラオケサービス提供会社のサーバ装置２０に送信され、ユーザが楽曲を歌唱しているユーザ音声情報がマイク等を含むユーザ歌唱情報入力部７０を介してカラオケサービス提供会社のサーバ装置２０に送信される。

歌唱画像情報とユーザ音声情報はカラオケ装置１６ａにおいて関連付けされているので、他のユーザは他のカラオケ装置１６ｂを使用して、サーバ装置２０に送信された関連付された歌唱画像情報とユーザ音声情報を共有して利用することが可能になる。

また、サーバ装置２０に送信された関連付された歌唱画像情報とユーザ音声情報にユーザ情報が関連付けされているので、ユーザ情報から容易に歌唱画像情報とユーザ音声情報を利用することができる。

例えば、カラオケシステムへログインするためのユーザ情報に歌唱画像情報とユーザ音声情報が関連付けされることができるので、ユーザ情報から容易に歌唱画像情報とユーザ音声情報を利用することができる。

［７．実施形態２にかかわるカラオケ装置の処理機能ブロックの説明］
ここで、本発明の実施形態２にかかわる機能を発揮するための構成について、図１２に示す機能ブロック図を用いて説明する。

なお、図３に示す機能ブロック図と重複する部分はその説明を省略する。

カラオケ装置１６の記憶部１０９には、ユーザが歌唱する楽曲に関する楽曲情報（楽曲情報には楽曲名称情報、楽曲のテンポ情報、楽曲の音程情報、楽曲の歌詞情報等の情報が含まれる）、ユーザが楽曲を歌唱しているユーザ音声情報（ユーザ音声情報には、動画特定情報抽出手段で抽出されたユーザのテンポ情報、ユーザの音程情報等の情報が含まれる）、ユーザが歌唱している姿が記録されている歌唱画像情報（歌唱画像情報には歌唱しているユーザの動き情報等の情報が含まれる）、歌唱画像情報を特定するための動画特定情報、動画特定情報に関連するカラオケシステムに送信されたカット情報に含まれる動画検索用情報、動画検索用情報に対応するカット画像情報、カット画像情報に関連付けされた関連音声情報またはユーザ音声情報が選択された選択音声情報、選択音声情報とカット画像情報との合成情報、ユーザ情報に関連付けされた関連情報（ユーザの嗜好情報、歌唱履歴の情報等の情報が含まれる）等の情報が記憶されている。

なお、楽曲情報には楽曲の歌詞情報、アーティスト情報、ジャンル情報およびその他の楽曲付加情報（曲名、作曲・作詞者名、ジャンル名、発表年代／放送年代、主に話題となった人物、楽曲情報が使用された番組名等の情報）が含まれ、ユーザが歌唱した楽曲に関する楽曲情報はユーザ情報に関連付けされた関連情報に含まれる歌唱履歴情報の一部として記憶部１０９に記憶されている。

これらの情報はカラオケ情報提供サービス会社等の会社がサーバ装置２０にアップロードするので、カラオケ装置１６はアップロードされた情報を予めカラオケ装置１６の記憶部１０９にダウンロードして記憶しておく。

あるいは、ユーザがこれらの情報をカラオケ装置１６に入力することで、必要に応じて関連付けされて記憶部１０９に記憶されてもよい。

なお、これらの情報はサーバ装置２０に記憶され、必要な場合に必要な情報を、適宜、サーバ装置２０からカラオケ装置１６の記憶部１０９にダウンロードしてカラオケ装置１６がダウンロードした情報を使用することも可能である。

楽曲情報入力手段としての楽曲情報入力部４６ｂは、ユーザが歌唱する楽曲に関する楽曲情報が入力される機能を有する。

楽曲情報入力部４６ｂに入力される楽曲情報は、カラオケ情報提供サービス会社等の会社によって予め定められている任意の数字または／および文字からなる情報、楽曲の名称等の任意の情報である。

ユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０は、楽曲を歌唱しているユーザの画像を示す歌唱画像情報が入力される機能を有する。

ユーザの歌唱画像情報は、ユーザ歌唱情報入力部７０に設けられたＡ／Ｄ（アナログ／ディジタル）変換器によってディジタル信号に変換される。

また、ユーザ歌唱情報入力手段としてのユーザ歌唱情報入力部７０は、楽曲情報入力部４６ｂによって入力された楽曲情報に対応する楽曲を歌唱するユーザの歌唱音声情報が入力される機能を有する。

ユーザの音声情報は、ユーザ歌唱情報入力部７０に設けられたＡ／Ｄ（アナログ／ディジタル）変換器によってディジタル信号に変換される。

ユーザ情報入力手段としてのユーザ情報入力部４６ａはユーザ情報が入力される機能を有する。ユーザ情報は任意の数字または／および文字からなる情報であって、ユーザを特定するための情報である。

歌唱画像を特定するための動画特定情報抽出手段としての動画特定情報抽出部１０３は、楽曲情報入力部４６ｂから入力された楽曲情報、ユーザ歌唱情報入力部７０から入力されたユーザ音声情報および歌唱画像情報の少なくとも一つから動画特定情報を抽出する機能を有する。

また、動画特定情報抽出部１０３は、ユーザ歌唱情報入力部７０によって入力された歌唱画像情報を予め定められた長さに分割し、歌唱画像情報が分割された分割歌唱画像情報を生成し、前記分割歌唱画像情報ごとに動画特定情報を抽出する機能を有する。

すなわち、動画特定情報抽出部１０３は、ユーザが歌唱する歌唱画像情報をＡメロ、Ｂメロ、さび部分等に区分し、あらかじめ決められた小節数で歌唱画像情報を区分し、または、歌詞が連続する部分毎に歌唱画像情報を区分する。

このように一つの楽曲における歌唱画像情報をいくつかの部分に区分することによって、区分された分割歌唱画像情報をつなぎ合わせて、ユーザにとって楽しみのある動画画像を生成することが可能になる。

例えば、Ａメロ、Ｂメロ、さび部分毎に異なるユーザの歌唱画像をつなぎ合わせることが可能になるので、ユーザは容易に動画編集をしながらカラオケを楽しく歌唱することが可能になる。

さらに、Ａメロ、Ｂメロ、さび部分毎に異なるユーザのユーザ音声をつなぎ合わせることが可能になるので、ユーザは動画編集を楽しみながらカラオケを楽しく歌唱することが可能になる。

また、動画特定情報抽出部１０３は、ユーザ音声情報から少なくともテンポ情報および音程情報を動画特定情報として抽出する機能を有する。

さらに、動画特定情報抽出部１０３は、楽曲情報から少なくとも楽曲名称情報を動画特定情報として抽出する機能を有する。

さらに、動画特定情報抽出部１０３は、楽曲情報から少なくとも楽曲歌詞情報を動画特定情報として抽出する機能を有する。

さらに、動画特定情報抽出部１０３は、歌唱画像情報からユーザの動き情報を動画特定情報として抽出する機能を有する。

さらに、動画特定情報抽出部１０３は、ユーザ情報入力部４６ａから入力されるユーザ情報に対応する関連情報（ユーザの嗜好情報、歌唱履歴情報等の情報）を動画特定情報として抽出する機能を有する。

カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、動画特定情報に関連する、カラオケシステムに送信されたカット画像情報に関連付けされた動画検索用情報を検索し、検索された動画検索用情報に関連付けされたカット画像情報を抽出する機能を有する。

カット画像情報は、あらかじめユーザが楽曲を歌唱した歌唱画像であり、携帯端末電話、携帯端末、あるいはパソコン等の電子情報処理装置でカラオケシステムにカット画像情報に動画検索用情報を関連付けて、あらかじめ送信しておくことができる。

また、カット画像情報には、現在歌唱しているユーザおよび／または他のユーザが以前にカット画像情報として選択したカット画像情報が含まれる。

ここで、動画検索用情報には、動画特定情報に含まれる情報と同一種類の情報が含まれる。例えば、動画特定情報にはテンポ情報、音程情報、楽曲名称情報、動き情報、および、ユーザ情報に対応する関連情報に含まれる歌唱履歴情報並びに嗜好情報等の情報が含まれ、これらの情報は動画検索用情報にも含まれる。

カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくともテンポ情報と音程情報が略同一の動画検索用情報を有するカット画像情報を抽出する機能を有する。

また、カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくとも楽曲名称情報が同一の動画検索用情報を有するカット画像情報を抽出する機能を有する。

さらに、カットデータ情報抽出手段としてのカットデータ情報抽出部１０４ａは、少なくとも楽曲歌詞情報が類似する動画検索用情報を有するカット画像情報を抽出する機能を有する。

表示手段としての表示部３０は、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報を表示する機能を有する。

また、表示部３０は、カットデータ情報選択部１０５ａによって選択されたカット画像情報を表示、または、カット画像情報および歌唱画像情報を同時に表示する機能を有する。

すなわち、カット画像情報の中で他人が歌唱している歌唱画像だけを表示、または、自分の歌唱画像と他人の歌唱画像を表示部３０に同時に表示して、表示部３０に表示されている歌唱画像に対応した楽曲、たとえば表示部３０に表示されている歌唱画像で歌唱されている楽曲と同一の楽曲をカラオケ装置１６に伴奏させながら、カラオケを楽しむことができる。

カットデータ情報選択手段としてのカットデータ情報選択部１０５ａは、表示部３０に表示されたカット画像情報が選択される機能を有する。カットデータ情報選択部１０５ａはタッチパネル、キーボード等の入力部４６ｂを介して入力された情報に基づいてカット画像情報を選択する。ここで、カット画像情報には現在ユーザが歌唱している歌唱画像情報が含まれてもよく、歌唱画像情報が動画特定情報抽出部１０３によって区分されている場合には区分されている歌唱画像情報毎に、カットデータ情報選択部１０５ａによって選択されてもよい。

また、カットデータ情報選択手段としてのカットデータ情報選択部１０５ａは、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に関連付けられた関連音声情報と、ユーザ歌唱情報入力部７０によって入力されたユーザ音声情報の何れかが、選択音声情報としてユーザによって選択される機能を有する。

すなわち、ユーザ自身が楽曲を歌唱したユーザ音声情報またはカット画像情報にあらかじめ対応して記録されていた他のユーザの音声情報等の音声情報の何れかをユーザが選択し、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に選択された音声情報を新たに関連付けることができる。

合成手段としての合成部１０６は、カットデータ情報選択部１０５ａによって選択された選択音声情報とカット画像情報を合成する機能を有する。合成された選択音声情報とカット画像情報とは関連付けられる。

カット画像情報関連付手段としてのカット画像情報関連付部１０７は、カットデータ情報選択部１０５ａによって選択されたカット画像情報または分割歌唱画像情報をユーザが歌唱した楽曲情報と関連付ける機能を有する。すなわち、ユーザが歌唱した楽曲の楽曲情報に、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けて、記憶部１０９に記憶しておくことができる。

また、カット画像情報関連付部１０７は歌唱画像情報または分割歌唱画像情報をカット画像情報とし、歌唱画像情報または分割歌唱画像情報から抽出された動画特定情報を動画検索用情報とし、カット画像情報と動画検索用情報とを関連付けてカラオケシステムにアップロードする機能を有する。

すなわち、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報を関連付けたカット画像情報をカラオケシステムにアップロードすることによって他のユーザもカラオケシステムを介してカット画像情報を利用できることができる。

［８．処理動作を示すフローチャートの一例］
次に、図１３を用いて、本願のカラオケ装置１６において、ユーザが、豊富に用意された動画素材の中からユーザの音声、歌唱画像、またはユーザの好みの少なくとも一つに合致したシーンを選択・編集し、機械に詳しくないユーザでも視覚的にミックスダウン(映像音声合体)を行いながらカラオケを楽しむことができる動作の概要を説明する。

なお、カラオケ装置１６に限られず、図１３に記載される機能をサーバ装置２０において実行することも可能である。この場合には、サーバ装置２０を介してネットワークサービスに発表することで、ユーザの誰でもが、映像と音声が合成された情報を他のユーザに見せ合うことが可能なサービスを提供できる。

また、本発明を適用した場合において実現され得る具体的な処理手順である以下に示す処理手順は、一例であってこれ以外にも実現され得る処理手順は無数に存在する。

まず、図１３のステップＳ６１において、カラオケ情報提供サービス会社が提供するサービスを有するカラオケ装置１６の操作パネル４６等のユーザ情報入力部４６ａに、ユーザがユーザＩＤ等のユーザ情報を入力し、ログインする。

そして、カラオケ装置１６の操作パネル４６等の楽曲情報入力部４６ｃを介して、ユーザが歌唱しようとしている楽曲情報をユーザが入力する。カラオケ装置１６は入力された楽曲情報に対応する楽曲の伴奏を再生する。

なお、ステップＳ６１、Ｓ６２、Ｓ６５およびＳ６６における動作をユーザ端末（図示せず）等の情報処理装置で実行することも可能である。この場合には、この情報処理装置はステップＳ６３以下の処理を実行するカラオケ装置１６またはサーバ装置２０と無線または有線で接続される。

ステップＳ６２において、ステップＳ６１において入力された楽曲情報に対応する楽曲の伴奏に合わせて楽曲を歌唱しているユーザの画像情報およびユーザのユーザ音声情報がユーザ歌唱情報入力部７０を介して入力される。

ステップＳ６３において、動画特定情報抽出部１０３は、楽曲情報入力部４６ｂから入力された楽曲情報、ユーザ歌唱情報入力部７０から入力されたユーザ音声情報および歌唱画像情報の少なくとも一つから歌唱画像特定情報としての動画特定情報を抽出する。

動画特定情報には、ユーザ音声情報から抽出されるテンポ情報および音程情報、楽曲情報から抽出される楽曲名称情報および楽曲歌詞情報、歌唱画像情報から抽出されるユーザの動き情報、ユーザ情報に対応するユーザの嗜好情報、歌唱履歴情報等の関連情報などがある。これらの情報のいずれか一つの情報を動画特定情報としてもよく、またこれらの情報のどのような組み合わせをも動画特定情報とすることができる。

ステップＳ６４において、カットデータ情報抽出部１０４ａは、動画特定情報に関連する、あらかじめカラオケシステムに送信されたカット画像情報に関連付けされた動画検索用情報を検索し、検索された動画検索用情報に関連付けされたカット画像情報を抽出する。

カット画像情報に関連付けされた動画検索用情報には、動画特定情報に含まれる、テンポ情報および音程情報、楽曲名称情報および楽曲歌詞情報、ユーザの動き情報、ユーザの嗜好情報、歌唱履歴情報等の関連情報が含まれ、動画特定情報に含まれる情報と動画検索用情報に含まれる情報とが同一情報または近似する情報である場合に動画検索用情報に対応するカット画像情報が抽出される。

カット画像情報は、あらかじめ他のユーザが楽曲を歌唱した歌唱画像であり、携帯端末電話、携帯端末、あるいはパソコン等の電子情報処理装置でカラオケシステムにカット画像情報に動画検索用情報を対応させてあらかじめ送信しておくことができる。

またカット画像情報には、現在、楽曲を歌唱しているユーザの歌唱画像情報が含まれてもよい。

ステップＳ６５において、ステップＳ６４でカットデータ情報抽出部１０４ａによって抽出されたカット画像情報が表示部３０に表示されるので、ユーザは好みのカット画像情報を操作パネル４６等の入力部４６ｂを介して選択する。

ステップＳ６６において、ユーザは好みのカット音声情報を操作パネル４６等の入力部４６ｂを介して選択する。

すなわち、カットデータ情報選択部１０５ａで、カットデータ情報抽出部１０４ａによって抽出されたカット画像情報に関連付けられた関連音声情報と、ユーザ歌唱情報入力部７０によって入力されたユーザ音声情報の何れかが、選択音声情報としてユーザによって選択される。

カット画像情報に関連付けられた関連音声情報は、他のユーザが楽曲を歌唱している画像情報等のカット画像情報に関連付けられた他のユーザが楽曲を歌唱している音声情報等の情報である。

ステップＳ６７において、合成部１０６はステップＳ６５においてユーザに選択されたカット画像情報とステップＳ６６においてユーザに選択された選択音声情報とを合成する。また、ユーザが歌唱した楽曲の楽曲情報も合成される。

すなわち、ユーザが歌唱した楽曲の楽曲情報、ユーザ自身が歌唱したユーザ音声情報または他のユーザが歌唱したユーザ音声情報、および、ユーザ自身の歌唱画像情報または他のユーザの歌唱画像情報が関連付けられて、カット画像情報としてカラオケシステムにアップロードされることによって他のユーザがカラオケシステムを介してこのカット画像情報を利用でき、また、ユーザ自身もこのカット画像情報を視聴して楽しむことができる。

このように、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報から、カラオケシステムに送信された他のユーザが楽曲を歌唱している姿を示すカット画像情報を選択して、ユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することをユーザ自身が容易に行うができる。

また、ユーザ自身が楽曲を歌唱している姿を示す歌唱画像情報にユーザ自身の音声情報または他のユーザの音声情報を関連付けて合成することもユーザ自身が容易に行うことができる。

［９．映像表示装置３０等に表示される画面の一例］
次に、映像表示装置３０等に表示される画面の一例を図１４に示す。

図１４は、ユーザであるＡさんがカラオケ装置１６にユーザ情報を入力してログインし、図１３おける手順を実行した後に表示部３０に表示される本発明のページの一例である。

図１４では、ユーザが楽曲を歌唱している映像と、その映像に基づいて抽出および選択された他のユーザが楽曲を歌唱している映像とを並べて一画面で表示部３０に表示している様子を示したものである。

すなわち、図１４における左半分の画面は、ユーザＡさんがカラオケ装置１６を使用して楽曲を歌唱したときに、ユーザ歌唱情報入力部７０を介して入力された歌唱画像情報を表示している様子を表した画面である。

図１４における右半分の画面は、左半分の画面に表示されているユーザＡさんの歌唱画像を基に、カットデータ情報抽出部１０４ａが抽出し、カットデータ情報選択部１０５ａを介してユーザが選択した他のユーザであるＢさんの歌唱画像であるカット画像情報が表示されている様子を表した画面である。

図１４における左半分の画面と右半分の画面とは、ユーザが歌唱している楽曲に同期しているので、同一の楽曲をユーザＡさんと他のユーザであるＢさんが同時に歌唱している様子が再生される。したがって、ユーザＡさんは、同一の楽曲をユーザＡさんと他のユーザであるＢさんが同時に歌唱している画像を選択および再生して楽しむことが容易にできることが分かる。

また、図１４における映像が再生されている間に流れる音声情報は、ユーザＡさんの音声情報または他のユーザであるＢさんの音声情報がカットデータ情報選択部１０５ａによって選択されることができる。

さらに、図１４において歌唱されている楽曲が、Ａメロ、Ｂメロ、さびの部分などの小節毎に、動画特定情報抽出部１０３で区分されている場合には、区分されている部分毎にユーザＡさんの音声情報または他のユーザであるＢさんの音声情報がカットデータ情報選択部１０５ａを介して選択されることができる。

また、さらに、図１４において歌唱されている楽曲が、Ａメロ、Ｂメロ、さびの部分などの小節毎に、動画特定情報抽出部１０３で区分されている場合には、区分されている部分毎にユーザＡさんの歌唱画像情報または他のユーザであるＢさんの歌唱画像情報がカットデータ情報選択部１０５ａを介して選択されることができる。

このように、ユーザは、歌唱画像情報と音声情報との組み合わせをカラオケ装置１６を介して自由かつ容易に楽しむことが可能になり、機械に詳しくないユーザでも視覚的に映像編集を容易に行える。

また、ユーザがカラオケ装置１６にログインする場合に使用するユーザ情報と、歌唱画像情報と音声情報とを関連付けしておくことも可能である。

入力されたユーザＩＤ情報はユーザが持つ識別情報と関連づけされているので、ネットワークに接続されている電子機器であればユーザの識別情報を入力すれば、いつでもどこでもユーザＩＤ情報によって特定される識別情報に基づいてそのユーザに関連した情報が読み出し可能になる。すなわち、ユーザはカラオケシステムにユーザＩＤ情報を入力してログインすることによって、カット画像情報およびカット画像情報に関連付けされた音声情報をいつでもどこでも利用することが可能である。

なお、図１３における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。

また各電子情報機器間の情報の送受信は有線、無線に限定されず、いずれの方法においても情報の送受信を行うことができる。

１６ ・・・ カラオケ装置
３０ ・・・ 表示部
７０ ・・・ ユーザ歌唱情報入力部
４６ｃ ・・・ 楽曲情報入力部
１０１ ・・・ 楽曲データ付加情報抽出部
１０２ ・・・ カット情報抽出部
１０３ ・・・ 動画特定情報抽出部
１０４ ・・・ カット画像情報抽出部
１０４ａ ・ カットデータ情報抽出部
１０５ ・・・ カット画像情報選択部
１０５ａ ・ カットデータ情報選択部
１０６ ・・・ 合成部
１０７ ・・・ カット画像情報関連付部
１０８ ・・・ 動画データ付加情報抽出部
１０９ ・・・ 記憶部

Claims (13)

1. カラオケシステムにおいて、
   ユーザ情報が入力されるユーザ情報入力手段と、
   前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
   前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段と、
   ユーザの音声情報が入力されるユーザ音声情報入力手段と、
   前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
   前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段と、
   前記カット画像情報を表示する表示手段と、
   前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段と、
   前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、
   前記カット画像情報を関連付けるカット画像情報関連付手段と、
   を備えることを特徴とするカラオケシステム。
2. 請求項１に記載のカラオケシステムであって、
   前記ユーザが選択した前記カット画像情報の履歴を示す動画選択履歴情報に含まれる、前記ユーザ情報に対応した動画データ付加情報を抽出する動画データ付加情報抽出手段を更に備え、
   前記カット画像情報抽出手段は、前記動画データ付加情報に含まれるカット情報を抽出し、前記動画データ付加情報に含まれる前記カット情報に対応したカット画像情報を抽出することを特徴とするカラオケシステム。
3. 請求項１または２に記載のカラオケシステムであって、
   前記カット画像情報抽出手段は、前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を有し、かつ、直前に選択された前記カット画像情報に対応する前記カット情報に含まれる動画連結用情報に対応する連結されるべきカット画像情報を抽出することを特徴とするカラオケシステム。
4. 請求項１乃至３の何れかに記載のカラオケシステムであって、
   前記表示手段は、前記カット画像情報に含まれる付加情報と、楽曲データ付加情報または動画データ付加情報の少なくとも何れか一方の付加情報との関連性に基づいて前記カット画像情報を区別して表示することを特徴とするカラオケシステム。
5. 請求項４に記載のカラオケシステムであって、
   前記付加情報にはジャンル情報および年代情報が含まれ、前記表示手段は、前記カット画像情報の付加情報に含まれるジャンル情報および年代情報と、前記楽曲データ付加情報または前記動画データ付加情報の少なくとも何れか一方に含まれるジャンル情報および年代情報との一致する割合に基づいて前記カット画像情報を区別して表示することを特徴とするカラオケシステム。
6. カラオケシステムの制御方法であって、
   ユーザ情報が入力されるユーザ情報入力工程と、
   前記ユーザ情報入力工程によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、
   前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出工程と、
   ユーザの音声情報が入力されるユーザ音声情報入力工程と、
   前記ユーザ音声情報入力工程において入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出工程と、
   前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出工程と、
   前記カット画像情報を表示する表示工程と、
   前記表示工程において表示された前記カット画像情報が選択されるカット画像情報選択工程と、
   前記カット画像情報選択工程において選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段と、
   前記カット画像情報を関連付けるカット画像情報関連付工程と、
   を備えることを特徴とするカラオケシステムの制御方法。
7. カラオケシステムの制御プログラムであって、
   ユーザ情報が入力されるユーザ情報入力手段、
   前記ユーザ情報入力手段によって入力された前記ユーザ情報に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段、
   前記楽曲データ付加情報に含まれる番組情報を抽出し、前記番組情報に対応するカット情報を抽出するカット情報抽出手段、
   ユーザの音声情報が入力されるユーザ音声情報入力手段、
   前記ユーザ音声情報入力手段に入力された前記音声情報から動画特定情報を抽出する動画特定情報抽出手段、
   前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像情報を抽出するカット画像情報抽出手段、
   前記カット画像情報を表示する表示手段、
   前記表示手段に表示された前記カット画像情報が選択されるカット画像情報選択手段、
   前記カット画像情報選択手段によって選択された前記カット画像情報と前記ユーザの前記音声情報を合成する合成手段、
   前記カット画像情報を関連付けるカット画像情報関連付手段、
   として機能させることを特徴とするカラオケシステムの制御プログラム。
8. 請求項７に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。
9. カラオケシステムにおいて、
   ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段と、
   前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
   前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段と、
   ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段と、
   前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
   前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段と、
   前記カットデータ情報を表示する表示手段と、
   前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段と、
   前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段と、
   を備えることを特徴とするカラオケシステム。
10. 請求項９に記載のカラオケシステムであって、
    前記表示手段は前記カットデータ情報選択手段によって選択された前記カットデータ情報を表示、または、前記カットデータ情報及び前記ユーザ歌唱情報を同時に表示することを特徴とするカラオケシステム。
11. カラオケシステムを制御する方法において、
    ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力工程と、
    前記楽曲情報入力工程において入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出工程と、
    前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出工程と、
    ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力工程と、
    前記ユーザ歌唱情報入力工程において入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出工程と、
    前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出工程と、
    前記カットデータ情報を表示する表示工程と、
    前記表示工程において表示された前記カットデータ情報が選択されるカットデータ情報選択工程と、
    前記カットデータ情報選択工程において選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成工程と、
    を備えることを特徴とするカラオケシステムの制御方法。
12. カラオケシステムに含まれるコンピュータを制御する制御プログラムであって、
    ユーザが歌唱する楽曲に関する楽曲情報が入力される楽曲情報入力手段と、
    前記楽曲情報入力手段によって入力された楽曲に対応する楽曲データ付加情報を抽出する楽曲データ付加情報抽出手段と、
    前記楽曲データ付加情報に対応するカット情報を抽出するカット情報抽出手段と、
    ユーザが歌唱した際のユーザの画像情報及び/又は音声情報が入力されるユーザ歌唱情報入力手段と、
    前記ユーザ歌唱情報入力手段に入力された前記画像情報及び/又は音声情報から動画特定情報を抽出する動画特定情報抽出手段と、
    前記動画特定情報に合致する、前記カット情報に含まれる動画検索用情報を検索し、検索された前記動画検索用情報に対応するカット画像及び/又はカット音声情報を抽出するカットデータ情報抽出手段と、
    前記カットデータ情報を表示する表示手段と、
    前記表示手段に表示された前記カットデータ情報が選択されるカットデータ情報選択手段と、
    前記カットデータ情報選択手段によって選択された前記カットデータ情報と前記ユーザの前記ユーザ歌唱情報を合成する合成手段と、
    を備えることを特徴とするカラオケシステムの制御プログラム。
13. 請求項１２に記載のカラオケシステムの制御プログラムがコンピュータに読み取り可能に記憶されていることを特徴とする記憶媒体。