JP5498341B2 - カラオケシステム - Google Patents
カラオケシステム Download PDFInfo
- Publication number
- JP5498341B2 JP5498341B2 JP2010222983A JP2010222983A JP5498341B2 JP 5498341 B2 JP5498341 B2 JP 5498341B2 JP 2010222983 A JP2010222983 A JP 2010222983A JP 2010222983 A JP2010222983 A JP 2010222983A JP 5498341 B2 JP5498341 B2 JP 5498341B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- singer
- karaoke
- information
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Description
はじめに、図1〜図4の各図を用いて本願に係る第1実施形態におけるネットワークシステム10とカラオケシステム100について説明する。
まず、図1を用いて本実施形態のネットワークシステム10及びカラオケシステム100の概要について説明する。なお、図1は、本実施形態におけるネットワークシステム10の構成を示す構成図である。
次に、図2または図3を用いてを用いて本実施形態のカラオケシステム100の具体的な構成及びその動作について説明する。なお、図2は、本実施形態におけるカラオケシステム100の構成を示す構成図であり、図3は、システム用データベースに記録されているキャラクタ画像の例である。
次に、図3を用いて本実施形態におけるカラオケ画像生成処理を含むアップロード処理の動作について説明する。なお、図3は、本実施形態におけるカラオケ画像生成処理を含むアップロード処理の動作について説明するフローチャートである。
以上本実施形態のカラオケシステム100は、撮像された歌唱者の顔にキャラクタ画像を重畳するとともに、歌唱者の表情及び向きに基づいて撮像された歌唱者の顔に重畳する創作画像を変化させることができるので、歌を歌う、または、他人の歌を聴く娯楽の他に、歌唱者のユニークな画像を楽しむ新たな娯楽性を提供することができる。
本実施形態においては、歌唱者の表情または向きに加えて、カラオケ再生部104によって、カラオケデータに含まれる曲調情報、基準音高情報及び楽曲構成情報を取得し、画像変換処理部133は、当該取得された曲調情報または基準音高情報に基づいて撮像された歌唱者の顔に重畳するキャラクタ画像を変化させてよい。例えば、バラードを歌唱している場合には、キャラクタ画像の表情をしかめて雰囲気を暗くするキャラクタ画像を用い、ノリの激しい曲を歌唱している場合には、左右に向くときにその向きの変化を大きくするようにキャラクタ画像を重畳する。したがって、この場合には、歌を歌う、または、他人の歌を聴く娯楽の他に、歌唱者のユニークな画像を更に楽しむ新たな娯楽性を提供することができる。なお、例えば、この場合においては、カラオケ再生部104は、本発明の制御情報取得手段を構成する。
次に、図5及び図6を用いて本願に係る本実施形態における第2実施形態のカラオケシステム100について説明する。
本実施形態の画像処理部130は、カラオケ画像生成処理を実行する際に、声情報としてマイクロホンMによって集音された歌唱者の声量情報、及び、当該集音された歌唱者の声の高さを示す歌唱者声高情報、並びに、歌パート情報として、楽曲で想定されている前記歌唱者が歌う歌のパートにおける音の高さを示す歌パート音高情報に基づいて、撮像カメラ装置118と連動して歌唱者の撮像を行いつつ、当該歌唱者の顔部分にキャラクタ画像を重畳表示するカラオケ画像生成するための各種の処理を行うようになっている。
(1)再生中のカラオケデータを受信し、当該再生に伴ってカラオケデータに含まれる歌パート音高情報が予め定められた音以上であるか否か、
(2)カラオケデータに沿って歌唱する歌唱者の声量をマイクロホンM及び音声入力処理部110を介して声量情報として受信し、受信した歌唱者の声量値が予め定められた値以上であるか否か、または、
(3)カラオケデータに沿って歌唱する歌唱者の声高をマイクロホンM及び音声入力処理部110を介して声量情報として受信し、受信した歌唱者の声の高さを示す歌唱者声高情報が予め定められた音以上であるか否かを段階的に判定するようになっている。
システム用データベース120には、各キャラクタ毎に、歌唱することが辛い表情のレベルが異なる複数種類のキャラクタ画像を有している。例えば、上記のように、レベル1の場合には、キャラクタの顔が「ピンク」色に染まっている画像、レベル2の場合には、キャラクタの顔が「赤」色に染まり、頭から煙りが出ている画像、及び、レベル3の場合には、キャラクタの顔が「青」色となり、疲れ切っている表情を有する画像が、キャラクタ毎に記憶されている。
次に、図6を用いて本実施形態におけるカラオケ画像生成処理を含むアップロード処理の動作について説明する。なお、図6は、本実施形態におけるカラオケ画像生成処理を含むアップロード処理の動作について説明するフローチャートである。
以上本実施形態のカラオケシステム100は、撮像された歌唱者の顔にキャラクタ画像を重畳するとともに、歌パート音高情報、声量情報または歌唱者声高情に基づいて撮像された歌唱者の顔に重畳するキャラクタ画像を変化させることができるので、歌を歌う、または、他人の歌を聴く娯楽の他に、歌唱者のユニークな画像を楽しむ新たな娯楽性を提供することができる。
本実施形態のレベル判定部142は、歌パート情報として歌パート音高情報を用いているが、歌唱者が歌う歌パートにおける歌詞を歌うタイミングを示す歌パートタイミング情報、または、当該歌パートにおける音量を示す歌パート音量情報を用いてもよい。なお、歌パートタイミング情報の場合には、上述のようにしきい値によって画像を切り替えるのではなく、そのタイミングで適切な画像に切り替える。
次に、図7を用いて本願に係る本実施形態における第3実施形態のカラオケシステム100について説明する。
カラオケ再生部104は、システム制御部106の制御の下、カラオケ画像データから当該カラオケ画像データに録音されているオーディオデータを取得し、取得したオーディオデータを拡声処理部112に出力するようになっている。また、カラオケ再生部104は、カラオケ画像データを表示制御部116に出力するようになっている。
次に、図7を用いて本実施形態におけるカラオケ画像生成処理を含むアップロード処理の動作について説明する。なお、図7は、本実施形態におけるカカラオケ画像生成処理を含むアップロード処理の動作について説明するフローチャートである。
以上本実施形態のカラオケシステム100は、第1実施形態に加えて、プライバシーの保護と自己の表現の公開との両立を実現することができるとともに、当歌唱者の顔の部分がキャラクタとなっている歌唱者画像の利用を通じて該歌唱者画像の生成するためのカラオケシステム100の利用の促進を図ることができる。
本実施形態のレベル判定部142は、撮像された歌唱者の顔にキャラクタ画像を重畳するとともに、歌パート音高情報、声量情報または歌唱者声高情に基づいて撮像された歌唱者の顔に重畳するキャラクタ画像を変化させているが、カラオケ中に歌唱者声高情報と歌パート音高情報の一致度を示す一致度情報、すなわち、歌唱者の歌唱力の採点を実行し、予め定められた点数でレベルを設定し、画像変換処理が当該レベルに基づいてキャラクタ画像を重畳するようにしてもよい。
100 … カラオケシステム
100 … データベース
102 … 通信制御部
104 … カラオケ再生部
106 … システム制御部
108 … 操作部
110 … 音声入力処理部
112 … 拡声処理部
114 … 表示部
116 … 表示制御部
118 … 撮像カメラ装置
120 … システム用データベース
130 … 画像処理部
131 … 認識処理部
132 … 表情/向き判別部
133 … 画像変換処理部
200 … カラオケデータ用データベース
142 … レベル判定部
300 … 管理サーバ装置
400 … 端末装置
Claims (11)
- 複数の楽曲データから一の楽曲データを選択して当該選択された楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲の歌詞を表示手段に表示するカラオケシステムであって、
前記楽曲データを再生する再生手段と、
前記再生された楽曲の楽音を出力するとともに集音手段によって集音された歌唱者の声を拡声する出力手段と、
前記楽曲の再生に合わせて歌唱する歌唱者を撮像し、フレーム毎に撮像した画像を撮像画像として出力する撮像手段と、
前記フレーム毎に、前記出力された撮像画像の中から当該歌唱者の顔部分の画像領域である顔領域を認識する認識手段と、
前記認識された顔領域に、予め設定され画像であって人間の顔または擬人化されたものの顔を題材として創作された創作画像を重畳する画像処理を行う画像処理手段と、
前記画像処理された画像を前記表示手段に表示させる表示制御手段と、
を備え、
前記画像処理手段が、
前記集音手段によって集音された歌唱者の声に関する声情報、及び、前記再生された楽曲データから前記歌唱者が歌う歌のパートに関する歌パート情報の少なくとも何れか一方の情報を順次カラオケ情報として取得するカラオケ情報取得手段と、
前記取得されたカラオケ情報に含まれる値が予め定められた値以上の場合に、前記重畳する創作画像を変化させる画像変換処理手段と、
を含むことを特徴とするカラオケシステム。 - 請求項1に記載のカラオケシステムにおいて、
前記声情報には、前記集音手段よって集音された歌唱者の声量値を示す声量情報、及び、当該集音された歌唱者の声の高さを示す歌唱者声高情報の少なくとも何れか一方の情報が含まれるとともに、
前記歌パート情報には、前記歌唱者が歌う歌のパートにおける音の高さを示す歌パート音高情報、当該歌パートにおける歌詞を歌うタイミングを示す歌パートタイミング情報、及び、当該歌パートにおける音量を示す歌パート音量情報の少なくとも何れか一方の情報が含まれる、カラオケシステム。 - 請求項1または2に記載のカラオケシステムであって、
前記カラオケ情報に前記声情報と前記歌パート情報の双方が含まれる場合に、
前記画像変換処理手段が、前記声情報と前記歌パート情報の同一の性質を有する情報の一致度に基づいて前記重畳する創作画像を変化させる、カラオケシステム。 - 請求項1〜3の何れか一項に記載のカラオケシステムであって、
一の顔を題材として創作された顔のパターンが異なる複数の創作画像から構成される創作画像群が複数記憶される記憶手段を更に備え、
前記画像変換処理手段が、前記取得手段によって取得されたカラオケ情報に基づいて、一の創作画像を選択し、前記選択された創作画像を前記撮像画像に重畳することによって、前記重畳する創作画像を変化させる、カラオケシステム。 - 請求項4に記載のカラオケシステムであって、
前記楽曲データから曲調を示す曲調情報、曲構成部分を示す構成情報及び楽曲の基準音の高さを示す基準音高情報の少なくとも何れか一の情報から構成される制御情報を取得する制御情報取得手段を更に備え、
前記画像処理手段が、前記記憶手段に記憶された創作画像群の中から、前記取得されたカラオケ情報及び前記制御情報に基づいて一の創作画像を選択し、前記選択された創作画像を前記撮像画像に重畳することによって、前記重畳する創作画像を変化させる、カラオケシステム。 - 複数の楽曲データから一の楽曲データを選択して当該選択された楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲の歌詞を表示手段に表示するカラオケシステムであって、
前記楽曲データを再生する再生手段と、
前記再生された楽曲の楽音を出力するとともに集音手段によって集音された歌唱者の声を拡声する出力手段と、
前記楽曲の再生に合わせて歌唱する歌唱者を撮像し、フレーム毎に撮像した画像を撮像画像として出力する撮像手段と、
前記フレーム毎に、前記出力された撮像画像の中から当該歌唱者の顔部分の画像領域である顔領域を認識する認識手段と、
前記認識された顔領域に、予め設定され画像であって人間の顔または擬人化されたものの顔を題材として創作された創作画像を重畳する画像処理を行う画像処理手段と、
前記画像処理された画像を前記表示手段に表示させる表示制御手段と、
を備え、
前記画像処理手段が、
前記認識された顔領域の画像に基づいて前記歌唱者の表情または当該歌唱者の顔の向きを判別する判別手段と、
前記集音手段によって集音された歌唱者の声に関する声情報、及び、前記再生された楽曲データから前記歌唱者が歌う歌のパートに関する歌パート情報の少なくとも何れか一方の情報を順次カラオケ情報として取得するカラオケ情報取得手段と、
前記判別された顔の表情または顔の向きと、前記取得されたカラオケ情報と、に基づいて前記重畳する創作画像を変化させる画像変換処理手段と、
を含むことを特徴とするカラオケシステム。 - 請求項6に記載のカラオケシステムであって、
一の顔を題材として創作された顔のパターンが異なる複数の創作画像から構成される創作画像群が複数記憶される記憶手段を更に備え、
前記画像変換理手段が、前記記憶された創作画像群の中から、前記判別された顔の表情または顔の向きと、に基づいて、一の創作画像を選択し、前記選択された創作画像を前記撮像画像に重畳することによって、前記重畳する創作画像を変化させる、カラオケシステム。 - 請求項7に記載のカラオケシステムであって、
前記楽曲データから曲調を示す曲調情報、曲構成部分を示す構成情報及び楽曲の基準音の高さを示す基準音高情報の少なくとも何れか一の情報から構成される制御情報を取得する制御情報取得手段を更に備え、
前記画像処理手段が、前記記憶手段に記憶された創作画像群の中から、前記判別された顔の表情または顔の向きと前記取得された制御情報に基づいて一の創作画像を選択し、前記選択された創作画像を前記撮像画像に重畳することによって、前記重畳する創作画像を変化させる、カラオケシステム。 - 請求項1〜8の何れか一項に記載のカラオケシステムであって、
前記認識手段が、前記撮像画像に、前記歌唱者とは異なる非歌唱者が存在する場合に、前記フレーム毎に、前記出力された撮像画像の中から前記非歌唱者の顔領域を認識し、
前記画像変換処理手段が、前記認識された非歌唱者の顔領域に、前記歌唱者とは異なる種類の創作画像または同一の創作画像を重畳させることを特徴とするカラオケシステム。 - 請求項1〜9の何れか一項に記載のカラオケシステムであって、
前記再生手段が、前記創作画像が既に重畳された歌唱者の画像を、第1歌唱者画像として、当該第1歌唱者画像を生成したときの楽曲データ及び第1歌唱者の声データとともに再生し、
前記出力手段、前記撮像手段、認識手段及び画像処理手段が当該再生された第1歌唱者画像に基づいて、第2歌唱者に対して動作するとともに、
前記表示制御手段が、前記第1歌唱者画像に第2歌唱者の画像を合成した合成画像を前記表示手段に表示させる、カラオケシステム。 - 請求項1〜10の何れか一項に記載のカラオケシステムであって、
前記表示手段に表示された前記画像を画像データとしてネットワークに接続され、通信端末装置にて閲覧可能にサーバ装置にアップロードする通信手段を更に有する、カラオケシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010222983A JP5498341B2 (ja) | 2010-09-30 | 2010-09-30 | カラオケシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010222983A JP5498341B2 (ja) | 2010-09-30 | 2010-09-30 | カラオケシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012078526A JP2012078526A (ja) | 2012-04-19 |
JP5498341B2 true JP5498341B2 (ja) | 2014-05-21 |
Family
ID=46238856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010222983A Active JP5498341B2 (ja) | 2010-09-30 | 2010-09-30 | カラオケシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5498341B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014162788A1 (ja) * | 2013-04-02 | 2014-10-09 | Necソリューションイノベータ株式会社 | 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置 |
JP2016033759A (ja) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
KR101894955B1 (ko) * | 2017-01-05 | 2018-09-05 | 주식회사 미디어프론트 | 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버 |
CN110796089B (zh) * | 2019-10-30 | 2023-12-12 | 上海掌门科技有限公司 | 用于训练换脸模型的方法和设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110480A (ja) * | 1992-09-25 | 1994-04-22 | Yamaha Corp | カラオケ装置 |
JPH07146687A (ja) * | 1993-04-02 | 1995-06-06 | J M C:Kk | カラオケ演出装置 |
JP3872855B2 (ja) * | 1996-12-11 | 2007-01-24 | ブラザー工業株式会社 | 楽音再生装置 |
JPH11306318A (ja) * | 1998-04-16 | 1999-11-05 | Image Joho Kagaku Kenkyusho | 顔すげ替え編集装置 |
JP2003248837A (ja) * | 2001-11-12 | 2003-09-05 | Mega Chips Corp | 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体 |
JP4504216B2 (ja) * | 2005-02-08 | 2010-07-14 | 株式会社エクシング | 画像処理装置および画像処理プログラム |
JP2006251271A (ja) * | 2005-03-10 | 2006-09-21 | Oki Electric Ind Co Ltd | カラオケシステム |
JP4748568B2 (ja) * | 2005-03-18 | 2011-08-17 | 株式会社河合楽器製作所 | 歌唱練習システムおよび歌唱練習システム用プログラム |
JP4424364B2 (ja) * | 2007-03-19 | 2010-03-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP5198195B2 (ja) * | 2008-09-18 | 2013-05-15 | 株式会社エクシング | カラオケ装置 |
JP5310682B2 (ja) * | 2010-09-23 | 2013-10-09 | ブラザー工業株式会社 | カラオケ装置 |
-
2010
- 2010-09-30 JP JP2010222983A patent/JP5498341B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012078526A (ja) | 2012-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6058192B1 (ja) | 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体 | |
JP4755672B2 (ja) | コンテンツ編集装置、方法及びプログラム | |
JP2009244789A (ja) | ガイドボーカル生成機能を備えるカラオケシステム | |
JP5498341B2 (ja) | カラオケシステム | |
JP5132413B2 (ja) | 歌唱採点結果に応じた歌唱者画像合成表示システム | |
JP4471640B2 (ja) | 音楽再生装置 | |
JP5018797B2 (ja) | カラオケネットワークシステム | |
JP2010078926A (ja) | デュエット相手抽出システム | |
JP2011053276A (ja) | 背景映像可変表示機能を備えるカラオケシステム | |
JP2013156543A (ja) | 投稿再生装置及びプログラム | |
JP5310682B2 (ja) | カラオケ装置 | |
JP5550593B2 (ja) | カラオケ装置 | |
JP5803956B2 (ja) | カラオケシステム及びカラオケ装置 | |
JP2022176206A (ja) | 情報処理装置、動画合成方法及び動画合成プログラム | |
JP2008268774A (ja) | カラオケシステム | |
JP2006259510A (ja) | カラオケ装置及びプログラム | |
JP6144477B2 (ja) | コラボレーション歌唱映像表示システム | |
JP5780258B2 (ja) | 携帯端末装置、携帯端末用プログラム、サーバ、及び画像閲覧システム | |
JP5198195B2 (ja) | カラオケ装置 | |
JP5772124B2 (ja) | カラオケ装置 | |
JP5800247B2 (ja) | カラオケシステム及びカラオケ装置 | |
JP5789477B2 (ja) | 画像再生装置及び画像再生システム | |
JP2002006900A (ja) | 音声還元再生システム及び音声還元再生方法 | |
JP6502728B2 (ja) | カラオケシステム及びプログラム | |
JP2006251271A (ja) | カラオケシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5498341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |