JP6428066B2 - 採点装置及び採点方法 - Google Patents
採点装置及び採点方法 Download PDFInfo
- Publication number
- JP6428066B2 JP6428066B2 JP2014181115A JP2014181115A JP6428066B2 JP 6428066 B2 JP6428066 B2 JP 6428066B2 JP 2014181115 A JP2014181115 A JP 2014181115A JP 2014181115 A JP2014181115 A JP 2014181115A JP 6428066 B2 JP6428066 B2 JP 6428066B2
- Authority
- JP
- Japan
- Prior art keywords
- singer
- score
- feature
- facial
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013077 scoring method Methods 0.000 title claims description 10
- 230000008921 facial expression Effects 0.000 claims description 197
- 230000014509 gene expression Effects 0.000 claims description 78
- 238000001514 detection method Methods 0.000 claims description 59
- 238000004364 calculation method Methods 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 52
- 230000001815 facial effect Effects 0.000 claims description 49
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 92
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 210000000056 organ Anatomy 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 7
- 230000008451 emotion Effects 0.000 description 3
- 239000013604 expression vector Substances 0.000 description 3
- 230000008450 motivation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/46—Computing the game score
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Image Analysis (AREA)
Description
の濃淡値、特徴点近傍の濃淡値の周期性、特徴点近傍の濃淡値の方向性、色分布、輝度分布、等である。
以下、本発明の実施例1に係る採点装置及び採点方法について説明する。
本実施例に係る採点装置は、歌唱者の歌唱行為を採点する装置であり、例えば、カラオケのシステム(カラオケシステム)において使用される。
図1は、本実施例に係るカラオケシステムの構成の一例を示す図である。
図1に示すように、本実施例に係るカラオケシステムは、採点装置100、撮影装置101、カラオケ装置102、表示装置103、スピーカー104、マイクロフォン105、等を有する。
また、カラオケ装置102は、音を表す電気信号をマイクロフォン105から受信する。例えば、カラオケ装置102は、歌唱者の歌声を表す電気信号をマイクロフォン105から受信する。
そして、カラオケ装置102は、音を表す電気信号をスピーカー104に送信する。例えば、カラオケ装置102は、楽曲、歌唱者の歌声、または、それら両方を表す電気信号を生成し、生成した電気信号をスピーカー104に送信する。
また、カラオケ装置102は、画像データを表示装置103に出力する。例えば、カラオケ装置102は、楽曲に応じた画像データ(カラオケの画像(映像)を表す画像データ;カラオケ画像データ)、採点結果を表す画像データ(スコア画像データ)、等を表示装置103に出力する。
なお、採点装置100はカラオケ装置102の内部に設けられていてもよい。
なお、本実施例では、撮影画像データのみに基づいてスコアが算出される例を説明するが、これに限らない。例えば、歌唱行為における音程、抑揚、声量、等の音に関する情報をさらに考慮してスコアが算出されてもよい。
図2は、採点装置100の機能構成の一例を示すブロック図である。
採点装置100は、画像取得部201、特徴検出部202、記憶部203、スコア算出部204、等を有する。
フレーム毎の特徴を検出して使用する例を説明するが、これに限らない。例えば、撮影画像データは静止画の画像データであってもよい。そして、1枚の画像データ(静止画の画像データ、または、動画像の1フレームの画像データ)から特徴が検出されてもよい。但し、Nフレーム毎の特徴を使用することにより、楽曲全体を歌唱者が歌唱する歌唱行為に対するスコアとして、より適切な値を得ることができる。また、楽曲全体に渡って、歌唱者に歌い方をより工夫させることができる。その結果、歌唱者に歌唱行為をより楽しませることができる。
本実施例に係る特徴の検出方法の一例について、図13を用いて説明する。
以下では、顔の特徴として表情を検出する例を説明する。
なお、表情の検出に特化した特徴点を検出することが好ましい。例えば、表情変化の生じやすい器官(例えば、両目、眉、頬、額、口元など)などの特徴点を検出することが好ましい。図13の例では、目頭、目じり、口元、上唇の中心、及び、下唇の中心の5か所が特徴点として検出されている。
なお、表情の検出方法は、上記方法に限らない。例えば、顔器官の動きの大きさ、視線方向、目の開き具合、特徴点近傍の濃淡値、特徴点近傍の濃淡値の周期性、特徴点近傍の濃淡値の方向性、色分布、輝度分布、等を使用して、表情が検出されてもよい。
本実施例に係る目標特徴情報の生成方法の一例について、図14〜18を用いて説明する。
以下では、正解表情を決定する例を説明する。
なお、以下で説明する方法はあくまで一例であり、本実施例に係る目標特徴情報の生成方法は以下の方法に限定されない。
1つ目の方法では、図14に示すように、楽曲を歌唱しているアーティストの表情に基づいて正解表情が決定される。1つ目の方法では、楽曲を歌唱しているアーティストを表す画像データ(アーティスト画像データ)が使用される。アーティスト画像データは、例えば、歌番組、プロモーションビデオ(PV)、等の画像データである。
S601では、アーティスト画像データからアーティストの表情が検出される。
なお、詳細は他の実施例で説明するが、楽曲の期間(フレーズ等)毎に目標の特徴が定められていてもよい。その場合には、楽曲の期間毎に、その期間に対して検出された複数の特徴に基づいて、当該期間の目標の特徴が決定されてもよい。
2つ目の方法では、図16に示すように、楽曲のPVのシーンの特徴に基づいて、正解表情が決定される。2つ目の方法では、楽曲のPVの画像データ(PV画像データ)が使用される。
S701では、PV画像データからシーンの特徴が検出される。シーンの特徴は、例えば、色の数、輝度、エッジの数、色分布、輝度分布、等である。
なお、楽曲の期間毎に、その期間に対して取得された複数の特徴(シーンの特徴、または、顔の特徴)に基づいて、当該期間の目標の特徴が決定されてもよい。
本実施例に係る採点装置100の動作の流れの一例について、図3のフローチャートを用いて説明する。図3のフローチャートは、歌唱者が楽曲の歌唱を開始することをトリガとして開始される。具体的には、図3のフローチャートは、歌唱者が歌唱する楽曲が再生されることをトリガとして開始される。
レーム毎(所定時間毎)に、S101〜S104の処理が行われる。採点期間は、楽曲の少なくとも一部の期間である。楽曲の開始から終了までの期間が採点期間として使用されてもよい。
S102では、特徴検出部202が、S101で取得された撮影画像データから、歌唱者の表情を検出する。その後、S103に処理が進められる。
S103では、スコア算出部204が、S102で検出された表情(検出表情)が記憶部203に記録されている正解表情と一致するか否かを判定する。検出表情が正解表情と一致する場合には、S104に処理が進められる。検出表情が正解表情と一致しない場合には、S104の処理は行われない。なお、正解表情と完全に一致する検出表情のみが“正解表情と一致する検出表情”として判定されてもよいし、そうでなくてもよい。正解表情と完全に一致する検出表情と、正解表情に類似した検出表情と、が“正解表情と一致する検出表情”として判定されてもよい。
S104では、スコア算出部204が、カウント値Cntを1だけインクリメントする。カウント値Cntは、正解表情と一致する検出表情が検出された回数を表す。カウント値Cntは、図3のフローチャートの開始時に、0に初期化される。
S105では、スコア算出部204が、カウント値Cntに基づいてスコアを算出する。本実施例では、採点期間のうち正解表情と一致する検出表情が検出された期間の長さの総和が大きいほど高い値が、スコアとして算出される。具体的には、カウント値Cntが大きいほど高い値が、スコアとして算出される。例えば、検出表情の総検出回数に対するカウント値の割合が、スコアとして算出される。スコア算出部205は、算出したスコアを表すスコアデータをカラオケ装置102に出力する。
なお、S106の処理は、採点装置100が行ってもよい。即ち、スコアを表示装置103の画面に表示する機能を、採点装置100が有していてもよい。
本実施例に係る採点装置100の動作の具体例について、図4を用いて説明する。
図4の例では、楽曲に対して1つの正解表情「楽しい表情」が予め定められている。そして、図4の例では、歌唱者の表情が合計6回検出されている。
2回目では、図3のS102において、歌唱者の表情として「悲しい表情」が検出されている。そして、検出表情が正解表情と一致しないため、S104の処理は行われず、カウント値Cnt=1が維持される。
3回目では、図3のS102において、歌唱者の表情として「楽しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S104において、カウント値Cntに1が加算される。その結果、カウント値Cntが1から2に更新される。
4回目では、図3のS102において、歌唱者の表情として「悲しい表情」が検出されている。そして、検出表情が正解表情と一致しないため、S104の処理は行われず、カ
ウント値Cnt=2が維持される。
5回目では、図3のS102において、歌唱者の表情として「楽しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S104において、カウント値Cntに1が加算される。その結果、カウント値Cntが2から3に更新される。
6回目では、図3のS102において、歌唱者の表情として「真剣な表情」が検出されている。そして、検出表情が正解表情と一致しないため、S104の処理は行われず、カウント値Cnt=3が維持される。
なお、検出表情として、「楽しい表情」、「悲しい表情」、及び、「真剣な表情」以外の表情が検出されてもよい。正解表情として、「楽しい表情」、「悲しい表情」、及び、「真剣な表情」以外の表情が使用されてもよい。
以下、本発明の実施例2に係る採点装置及び採点方法について説明する。
なお、本実施例に係るカラオケシステムの構成、及び、本実施例に係る採点装置の構成は、実施例1(図1,2)と同じであるため、それらの説明は省略する。
なお、実施例1では説明を省略したが、カラオケの画像として、正解表情をさらに表す画像が表示されることが好ましい。例えば、本実施例の場合には、フレーズ毎に、そのフレーズに対応付けて、当該フレーズの正解表情が表示されることが好ましい(図19(a))。それにより、歌唱者の歌唱中に、歌唱者に正解表情を把握させることができ、正解表情への表情づくりを歌唱者に促すことができる。その結果、歌い方を工夫させる効果、及び、歌唱行為をより楽しませる効果を、より確実に得ることができる。
また、カラオケの画像として、現在の検出表情をさらに表す画像が表示されることが好ましい(図19(b))。それにより、歌唱者の歌唱中に、歌唱者に自身の表情を把握させることができる。その結果、歌唱者に表情づくりをより工夫させたり、歌唱行為に対する歌唱者のやる気を高めたりすることができる。
また、カラオケの画像として、正解表情と検出情報の比較結果を表すグラフィック画像(アイコンやメッセージ)が重畳された画像が表示されることが好ましい。例えば、「もっと真剣な表情で!」、「いい表情だ!」、などのメッセージが重畳された画像が表示されることが好ましい(図19(c))。これによっても、歌唱者に表情づくりをより工夫させたり、歌唱行為に対する歌唱者のやる気を高めたりすることができる。
本実施例に係る採点装置100の動作の流れの一例について、図5のフローチャートを用いて説明する。図5のフローチャートは、歌唱者が楽曲の歌唱を開始することをトリガとして開始される。具体的には、図5のフローチャートは、歌唱者が歌唱する楽曲が再生されることをトリガとして開始される。
なお、以下では、顔の特徴が表情である場合の例を説明するが、顔の特徴は表情に限らない。
S202では、特徴検出部202が、S201で取得された撮影画像データから、歌唱者の表情を検出する。その後、S203に処理が進められる。
S203では、スコア算出部204が、S202で検出された表情(検出表情)が記憶部203に記録されている正解表情と一致するか否かを判定する。具体的には、検出表情が現在の歌唱対象のフレーズ(n番目(nは1以上の整数)のフレーズ)の正解表情と一致するか否かが判定される。検出表情が正解表情と一致する場合には、S204に処理が進められる。検出表情が正解表情と一致しない場合には、S205に処理が進められる。
S206では、スコア算出部204が、フレーズ番号nを1だけインクリメントする。フレーズ番号nは、フレーズの番号である。フレーズ番号nは、図5のフローチャートの
開始時に、1に初期化される。
S207では、スコア算出部204が、カウント値Cnt(n)に基づいて部分スコアと全体スコアを算出する。本実施例では、フレーズ毎に、カウント値Cnt(n)が大きいほど高い値が、スコアとして算出される。具体的には、フレーズ毎に、そのフレーズの期間における検出表情の総検出回数に対する、当該フレーズのカウント値Cnt(n)の割合が、当該フレーズの部分スコアとして算出される。そして、フレーズ毎の部分スコアの平均値が、全体スコアとして算出される。スコア算出部205は、算出したスコアを表すスコアデータをカラオケ装置102に出力する。
また、全体スコアの算出方法も上記方法に限らない。例えば、実施例1と同様の方法で全体スコアが算出されてもよい。また、フレーズ毎の部分スコアを重みづけ合成することにより、全体スコアが算出されてもよい。重みづけ合成では、楽曲で最も盛り上がるフレーズ(例えばサビ)の部分スコアの重みとして、他の部分スコアの重みよりも大きい重みが設定されることが好ましい。
なお、部分スコアと全体スコアの両方が採点結果として表示装置103の画面に表示されてもよいし、部分スコアと全体スコアの一方が採点結果として表示装置103の画面に表示されてもよい。
なお、図20(c)に示すように、歌唱者の歌唱中にリアルタイムで部分スコアが表示されてもよい。また、図20(d)に示すように、歌唱者の歌唱中に、採点開始から現在までの期間における歌唱行為に対するスコアがリアルタイムで算出されて表示されてもよい。それにより、歌唱者に表情づくりをより工夫させたり、歌唱行為に対する歌唱者のやる気を高めたりすることができる。
本実施例に係る採点装置100の動作の具体例について、図6を用いて説明する。
図6の例では、楽曲に第1フレーズから第3フレーズまでの3つのフレーズがある。第1フレーズの正解表情として「楽しい表情」が予め定められており、第2フレーズの正解表情として「真剣な表情」が予め定められており、第3フレーズの正解表情として「悲しい表情」が予め定められている。そして、図6の例では、第1フレーズの期間において、歌唱者の表情が合計4回検出されており、第2フレーズの期間において、歌唱者の表情が合計4回検出されており、第3フレーズの期間において、歌唱者の表情が合計3回検出されている。
1回目では、図5のS202において、歌唱者の表情として「楽しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(1)に1が加算される。その結果、カウント値Cnt(1)が0から1に更新され
る。
2回目でも、図5のS202において、歌唱者の表情として「楽しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(1)に1が加算される。その結果、カウント値Cnt(1)が1から2に更新される。
3回目でも、図5のS202において、歌唱者の表情として「楽しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(1)に1が加算される。その結果、カウント値Cnt(1)が2から3に更新される。
4回目では、図5のS202において、歌唱者の表情として「真剣な表情」が検出されている。そして、検出表情が正解表情と一致しないため、S204の処理は行われず、カウント値Cnt(1)=3が維持される。
1回目では、図5のS202において、歌唱者の表情として「悲しい表情」が検出されている。そして、検出表情が正解表情と一致しないため、S204の処理は行われず、カウント値Cnt(2)=0が維持される。
2回目では、図5のS202において、歌唱者の表情として「真剣な表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(2)に1が加算される。その結果、カウント値Cnt(2)が0から1に更新される。
3回目では、図5のS202において、歌唱者の表情として「悲しい表情」が検出されている。そして、検出表情が正解表情と一致しないため、S204の処理は行われず、カウント値Cnt(2)=1が維持される。
4回目では、図5のS202において、歌唱者の表情として「真剣な表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(2)に1が加算される。その結果、カウント値Cnt(2)が1から2に更新される。
1回目では、図5のS202において、歌唱者の表情として「悲しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(3)に1が加算される。その結果、カウント値Cnt(3)が0から1に更新される。
2回目でも、図5のS202において、歌唱者の表情として「悲しい表情」が検出されている。そして、検出表情が正解表情と一致するため、S204において、カウント値Cnt(3)に1が加算される。その結果、カウント値Cnt(3)が1から2に更新される。
3回目では、図5のS202において、歌唱者の表情として「真剣な表情」が検出されている。そして、検出表情が正解表情と一致しないため、S204の処理は行われず、カウント値Cnt(3)=2が維持される。
また、図6の例では、第2フレームのカウント値Cnt(2)の最終的な値として2が得られる。そして、第2フレームの期間における検出表情の総検出回数は4である。そのため、第2フレームの部分スコアとして、50点(=50%=100×2÷4)が得られる。
また、図6の例では、第3フレームのカウント値Cnt(3)の最終的な値として2が
得られる。そして、第3フレームの期間における検出表情の総検出回数は3である。そのため、第3フレームの部分スコアとして、67点(=67%=100×2÷3)が得られる。
そして、全体スコアとして、64点(=(75+50+67)÷3)が得られる。
以下、本発明の実施例3に係る採点装置及び採点方法について説明する。
なお、本実施例に係るカラオケシステムの構成、及び、本実施例に係る採点装置の構成は、実施例1(図1,2)と同じであるため、それらの説明は省略する。
なお、実施例2と同様に、楽曲の期間毎に正解表情が予め定められていてもよい。
そして、本実施例では、スコア算出部204は、正解表情に対応する類似度に基づいて、スコアを算出する。
このような構成にすることにより、楽曲の提供者の意図により適したスコアを得ることができる。
本実施例に係る採点装置100の動作の流れの一例について、図7のフローチャートを用いて説明する。図7のフローチャートは、歌唱者が楽曲の歌唱を開始することをトリガとして開始される。具体的には、図7のフローチャートは、歌唱者が歌唱する楽曲が再生されることをトリガとして開始される。
S302では、特徴検出部202が、予め定められた表情毎に、その表情と、S301で取得された撮影画像データが表す歌唱者の表情と、の類似度を算出する。本実施例では、「楽しい表情」、「悲しい表情」、及び、「真剣な表情」の3つの表情のそれぞれについて、類似度が算出される。
なお、「楽しい表情」、「悲しい表情」、及び、「真剣な表情」以外の表情が予め定められていてもよい。
S303では、スコア算出部204が、S302で算出された類似度のうち、正解表情に対応する類似度(正解類似度)に基づいて、スコアを算出する。本実施例では、類似度として0以上100以下の値が算出される。そして、Nフレーム毎の正解類似度の平均値が、スコア(全体スコア)として算出される。スコア算出部205は、算出したスコアを
表すスコアデータをカラオケ装置102に出力する。
なお、本実施例と実施例2とを組み合わせてもよい。具体的には、フレーズ毎に、そのフレーズに対して算出された正解類似度に基づいて、当該フレーズの部分スコアが算出されてもよい。
なお、図3のS106の処理と同様に、S304の処理は採点装置100が行ってもよい。
本実施例に係る採点装置100の動作の具体例について、図8を用いて説明する。
図8の例では、楽曲に対して1つの正解表情「楽しい表情」が予め定められている。そして、図8の例では、表情の類似度が合計3回算出されている。
2回目では、図7のS302において、「楽しい表情」と歌唱者の表情との類似度として20が、「悲しい表情」と歌唱者の表情との類似度として60が、「真剣な表情」と歌唱者の表情との類似度として20が、算出されている。
3回目では、図7のS302において、「楽しい表情」と歌唱者の表情との類似度として30が、「悲しい表情」と歌唱者の表情との類似度として50が、「真剣な表情」と歌唱者の表情との類似度として20が、算出されている。
以下、本発明の実施例4に係る採点装置及び採点方法について説明する。
なお、本実施例に係るカラオケシステムの構成、及び、本実施例に係る採点装置の構成は、実施例1(図1,2)と同じであるため、それらの説明は省略する。
特徴ベクトルは、顔画像データから抽出される複数の特徴量の集合である。即ち、特徴ベクトルは、顔画像データから抽出される複数の特徴量のそれぞれを成分として有するベクトルである。特徴量の個数は期待するスコア算出精度に応じて任意に設定できるが、数十から数万個以上の特徴量の集合を特徴ベクトルとして使用することが好ましい。特徴量
にはどのような種類のものが使用されてもよい。例えば、顔器官の動きの大きさ、顔器官の特徴点の位置関係、視線方向、目の開き具合、特徴点近傍の濃淡値、特徴点近傍の濃淡値の周期性、特徴点近傍の濃淡値の方向性、色分布、輝度分布、等を特徴量として採用できる。特徴ベクトルは、顔の特徴を数値化したものと言うことができる。表情や顔の動きによって顔の特徴が変化するのと同様に、表情や顔の動きによって特徴ベクトルも変化する。
そして、本実施例では、目標(正解)の顔の特徴として、楽曲の時間位置の変化に応じて変化する特徴ベクトルが予め定められている。例えば、楽曲の期間毎に、目標の顔の特徴ベクトルが予め定められている例を説明する。
なお、実施例1と同様に、楽曲に対して目標の特徴が1つ(1種類)だけ予め定められていてもよい。
そして、本実施例では、スコア算出部204は、特徴検出部202で抽出された特徴ベクトルと、目標の特徴ベクトルと、の類似度を算出し、算出した類似度に基づいてスコアを算出する。類似度にはどのような指標を用いてもよい。例えば、特徴空間上における上記2つの特徴ベクトルの間の距離(ユークリッド距離など)、上記2つの特徴ベクトルの内積、等を類似度として用いることができる。特徴空間は、特徴ベクトルを構成する複数の特徴量に対応する複数の軸が定められている空間である。
このような構成にすることにより、楽曲の提供者の意図により適したスコアを得ることができる。
本実施例に係る採点装置100の動作の流れの一例について、図9のフローチャートを用いて説明する。図9のフローチャートは、歌唱者が楽曲の歌唱を開始することをトリガとして開始される。具体的には、図9のフローチャートは、歌唱者が歌唱する楽曲が再生されることをトリガとして開始される。
S402では、特徴検出部202が、S401で取得された撮影画像データから、歌唱者の顔の特徴ベクトルを抽出する。その後、S403に処理が進められる。
S403では、スコア算出部204が、S402で抽出された特徴ベクトル(検出特徴ベクトル)と、記憶部203に記録されている特徴ベクトル(正解(目標)の顔の特徴ベクトル;正解特徴ベクトル)と、の類似度を算出する。具体的には、現在の歌唱対象の時間位置(楽曲の時間位置)の正解特徴ベクトルと検出特徴ベクトルとの類似度が算出される。
S404では、スコア算出部204が、S404で算出された類似度に基づいて、スコアを算出する。本実施例では、類似度として0以上100以下の値が算出される。そして、Nフレーム毎の類似度の平均値が、スコア(全体スコア)として算出される。スコア算出部205は、算出したスコアを表すスコアデータをカラオケ装置102に出力する。
なお、本実施例と実施例2とを組み合わせてもよい。具体的には、フレーズ毎に、そのフレーズに対して算出された類似度に基づいて、当該フレーズの部分スコアが算出されてもよい。
なお、図3のS106の処理と同様に、S304の処理は採点装置100が行ってもよい。
本実施例に係る採点装置100の動作の具体例について、図10を用いて説明する。
図10の例では、正解特徴ベクトルとして、楽曲の時間位置の変化に応じて変化する特徴ベクトルが予め定められている。そして、図10の例では、特徴ベクトルの類似度が合計6回算出されている。
2回目では、図9のS403において、歌唱者の顔の特徴ベクトルと正解特徴ベクトルとの類似度として75が算出されている。
3回目では、図9のS403において、歌唱者の顔の特徴ベクトルと正解特徴ベクトルとの類似度として100が算出されている。
4回目では、図9のS403において、歌唱者の顔の特徴ベクトルと正解特徴ベクトルとの類似度として50が算出されている。
5回目では、図9のS403において、歌唱者の顔の特徴ベクトルと正解特徴ベクトルとの類似度として100が算出されている。
6回目では、図9のS403において、歌唱者の顔の特徴ベクトルと正解特徴ベクトルとの類似度として75が算出されている。
また、本実施例によれば、正解表情ベクトルの生成方法を変えることで様々なスコア算出処理(スコアを算出する処理)を実現することができる。例えば、楽曲のアーティストの顔画像データから抽出された特徴ベクトルを正解表情ベクトルとして使用することにより、楽曲のアーティストによく似た顔で歌唱した場合に高いスコアを得ることができるスコア算出処理を実現することができる。また、目標表情の一般的な顔の画像を表す顔画像データから抽出された特徴ベクトルを正解表情ベクトルとして使用することにより、実施例1〜3と略等しいスコアを得ることができるスコア算出処理を実現することができる。
以下、本発明の実施例5に係る採点装置及び採点方法について説明する。
なお、本実施例に係るカラオケシステムの構成、及び、本実施例に係る採点装置の構成は、実施例1(図1,2)と同じであるため、それらの説明は省略する。
そして、本実施例では、スコア算出部204は、特徴変化位置における検出特徴(特徴検出部202で検出された特徴)の変化の大きさに基づいて、スコアを算出する。
このような構成にすることにより、楽曲の提供者の意図により適したスコアを得ることができる。
なお、本実施例で使用される顔の特徴は特に限定されない。本実施例では、例えば、顔の特徴として、顔器官の動きの大きさを使用することができる。顔器官の動きの大きさは、例えば、図13に示すような特徴点の位置の変化に基づいて検出することができる。具体的には、図13の特徴点301と特徴点302の間の距離の変化(変動)の大きさを、口の動きの大きさとして検出することができる。
本実施例に係る採点装置100の動作の流れの一例について、図11のフローチャートを用いて説明する。図11のフローチャートは、歌唱者が楽曲の歌唱を開始することをトリガとして開始される。具体的には、図11のフローチャートは、歌唱者が歌唱する楽曲が再生されることをトリガとして開始される。
S502では、特徴検出部202が、S501で取得された撮影画像データから、歌唱者の顔の特徴を検出する。その後、S503に処理が進められる。
S503では、特徴検出部202が、現在の歌唱対象の時間位置(楽曲の時間位置)が特徴変化位置であるか否かを判定する。現在の歌唱対象の時間位置が特徴変化位置である場合には、S504に処理が進められる。現在の歌唱対象の時間位置が特徴変化位置でない場合には、S504の処理は行われない。
S504では、特徴検出部202が、S502で検出された特徴(現特徴)と、過去に検出された特徴(過去特徴)と、に基づいて、顔の特徴の変化の大きさ(特徴変化量)を算出する。例えば、過去特徴は現特徴の1つ前に検出された特徴であり、過去特徴と現特徴の差(絶対値)が特徴変化量として算出される。
なお、S503とS504の処理は、スコア算出部204によって行われてもよい。
S505では、スコア算出部204が、S504で算出された特徴変化量に基づいて、スコアを算出する。本実施例では、特徴変化量として、0以上100以下の値に正規化された値が算出される。そして、算出された複数の特徴変化量の平均値が、スコア(全体スコア)として算出される。特徴変化位置の数が1つである場合には、S504で算出された特徴変化量がスコア(全体スコア)として算出(設定)される。
なお、本実施例と実施例2とを組み合わせてもよい。具体的には、フレーズ毎に、そのフレーズに対して算出された特徴変化量に基づいて、当該フレーズの部分スコアが算出されてもよい。
なお、図3のS106の処理と同様に、S506の処理は採点装置100が行ってもよい。
本実施例に係る採点装置100の動作の具体例について、図12を用いて説明する。
図12の例では、楽曲の採点期間内に、2つの特徴変化位置が予め定められている。そして、図12の例では、歌唱者の顔の特徴が合計6回検出されている。
2回目では、歌唱対象の時間位置が特徴変化位置であるため、図11のS504において、特徴変化量が算出される。図12の例では、歌唱者の表情が真剣な表情から楽しい表情に変化しており、特徴変化量として40が算出されている。
3回目及び4回目では、歌唱対象の時間位置が特徴変化位置でないため、図11のS504の処理は行われない。
5回目では、歌唱対象の時間位置が特徴変化位置であるため、図11のS504において、特徴変化量が算出される。図12の例では、歌唱者の表情が悲しい表情から楽しい表情に変化しており、特徴変化量として80が算出されている。
6回目では、歌唱対象の時間位置が特徴変化位置でないため、図11のS504の処理は行われない。
記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータ(又はCPU、MPU等のデバイス)によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。したがって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
101 撮影装置
102 カラオケ装置
103 表示装置
104 スピーカー
105 マイクロフォン
201 画像取得部
202 特徴検出部
203 記憶部
204 スコア算出部
Claims (11)
- 歌唱者を撮影した画像データを取得する取得手段と、
前記取得手段で取得された画像データから、前記歌唱者の顔の特徴として、歌唱中の表情又は顔の動きに関わる特徴を検出する検出手段と、
前記検出手段で検出された特徴に基づいて、前記歌唱者の歌唱行為に対するスコアを算出する算出手段と、
を有することを特徴とする採点装置。 - 前記画像データは動画像の画像データであり、
前記検出手段は、前記動画像のNフレーム(Nは1以上の整数)毎に、前記歌唱者の顔の特徴を検出し、
前記算出手段は、前記Nフレーム毎の特徴に基づいて前記スコアを算出する
ことを特徴とする請求項1に記載の採点装置。 - 前記歌唱者が歌唱する楽曲に対して、目標の特徴が予め定められており、
前記算出手段は、前記検出手段で検出された特徴を前記目標の特徴と比較し、その比較結果に基づいて前記スコアを算出する
ことを特徴とする請求項1または2に記載の採点装置。 - 前記歌唱者が歌唱する楽曲に対して、目標の特徴として、目標の表情が予め定められており、
前記検出手段は、前記楽曲の少なくとも一部の期間である採点期間における前記歌唱者の表情を検出し、
前記算出手段は、前記採点期間のうち前記目標の表情と一致する表情が検出された期間の長さの総和が大きいほど高い値を、前記スコアとして、算出する
ことを特徴とする請求項1〜3のいずれか1項に記載の採点装置。 - 前記目標の特徴は、画像データから抽出される特徴ベクトルであり、
前記検出手段は、前記取得手段で取得された画像データから、前記歌唱者の顔の特徴ベクトルを抽出し、
前記算出手段は、前記検出手段で抽出された特徴ベクトルと、目標の特徴ベクトルと、の類似度を算出し、算出した類似度に基づいて前記スコアを算出する
ことを特徴とする請求項3〜4のいずれか1項に記載の採点装置。 - 前記歌唱者が歌唱する楽曲に対して、目標の特徴として、目標の表情が予め定められており、
前記検出手段は、予め定められた複数の表情のそれぞれについて、その表情と前記歌唱者の表情との類似度を算出し、
前記算出手段は、前記目標の表情に対応する類似度に基づいて、前記スコアを算出することを特徴とする請求項1または2に記載の採点装置。 - 前記歌唱者が歌唱する楽曲のフレーズ毎に、目標の特徴が予め定められている
ことを特徴とする請求項3〜6のいずれか1項に記載の採点装置。 - 前記歌唱者が歌唱する楽曲に対して、顔の特徴を変化させて歌唱すべき時間位置である特徴変化位置が予め定められており、
前記算出手段は、前記特徴変化位置における前記検出手段で検出された特徴の変化の大きさに基づいて、前記スコアを算出する
ことを特徴とする請求項1に記載の採点装置。 - 前記算出手段は、前記歌唱者が歌唱する楽曲のフレーズ毎に、そのフレーズを前記歌唱者が歌唱しているときの前記歌唱者の顔の特徴に基づいて、当該フレーズを前記歌唱者が歌唱する歌唱行為に対するスコアである部分スコアを算出する
ことを特徴とする請求項1〜8のいずれか1項に記載の採点装置。 - 歌唱者を撮影した画像データを取得する取得ステップと、
前記取得ステップで取得された画像データから、前記歌唱者の顔の特徴を検出する検出ステップと、
前記検出ステップで検出された特徴に基づいて、前記歌唱者の歌唱行為に対するスコアを算出する算出ステップと、
を有することを特徴とする採点方法。 - 請求項10に記載の採点方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014181115A JP6428066B2 (ja) | 2014-09-05 | 2014-09-05 | 採点装置及び採点方法 |
EP15179963.2A EP2993615B1 (en) | 2014-09-05 | 2015-08-06 | Scoring device and scoring method |
CN201510486479.9A CN105405436B (zh) | 2014-09-05 | 2015-08-10 | 评分装置以及评分方法 |
US14/833,941 US9892652B2 (en) | 2014-09-05 | 2015-08-24 | Scoring device and scoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014181115A JP6428066B2 (ja) | 2014-09-05 | 2014-09-05 | 採点装置及び採点方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016057337A JP2016057337A (ja) | 2016-04-21 |
JP6428066B2 true JP6428066B2 (ja) | 2018-11-28 |
Family
ID=53871877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014181115A Active JP6428066B2 (ja) | 2014-09-05 | 2014-09-05 | 採点装置及び採点方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9892652B2 (ja) |
EP (1) | EP2993615B1 (ja) |
JP (1) | JP6428066B2 (ja) |
CN (1) | CN105405436B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6409652B2 (ja) * | 2015-03-30 | 2018-10-24 | ブラザー工業株式会社 | カラオケ装置、プログラム |
JP6409656B2 (ja) * | 2015-03-31 | 2018-10-24 | ブラザー工業株式会社 | カラオケ装置、プログラム |
JP6438869B2 (ja) * | 2015-09-16 | 2018-12-19 | 株式会社エクシング | カラオケ装置及びカラオケ用プログラム |
US11093210B2 (en) * | 2015-10-28 | 2021-08-17 | Smule, Inc. | Wireless handheld audio capture device and multi-vocalist method for audiovisual media application |
CN107368491B (zh) * | 2016-05-12 | 2023-07-25 | 富泰华工业(深圳)有限公司 | 影像制作系统及方法 |
WO2018068317A1 (zh) * | 2016-10-14 | 2018-04-19 | 富士通株式会社 | 车辆逆行检测装置及方法、电子设备 |
CN106851093A (zh) * | 2016-12-30 | 2017-06-13 | 中南大学 | 一种微笑评分方法及其系统 |
CN108960800A (zh) * | 2017-05-20 | 2018-12-07 | 高春花 | 一种基于通讯群的支付方案多样化产生方法 |
KR102038938B1 (ko) * | 2018-02-09 | 2019-10-31 | 태그하이브 주식회사 | 숏클립 비디오를 제작 및 공유할 수 있도록 하는 완구 sns |
CN109872026A (zh) * | 2018-12-14 | 2019-06-11 | 深圳壹账通智能科技有限公司 | 评测结果生成方法、装置、设备及计算机可读存储介质 |
CN109887524A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 一种演唱评分方法、装置、计算机设备及存储介质 |
CN109886110A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 微表情评分方法、装置、计算机设备及存储介质 |
JP7223650B2 (ja) * | 2019-06-27 | 2023-02-16 | 株式会社第一興商 | カラオケ装置 |
CN110992741B (zh) * | 2019-11-15 | 2022-05-17 | 深圳算子科技有限公司 | 一种基于课堂情绪和行为分析的学习辅助方法及系统 |
CN116489475B (zh) * | 2019-12-31 | 2024-06-11 | 武汉星巡智能科技有限公司 | 基于趣味表情的视频剪辑方法、装置、设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452783B2 (ja) * | 1998-01-27 | 2003-09-29 | 株式会社第一興商 | 振り付け採点機能を有するカラオケ装置 |
JP2000029483A (ja) * | 1998-07-15 | 2000-01-28 | Ricoh Co Ltd | カラオケ装置 |
JP2006126300A (ja) * | 2004-10-26 | 2006-05-18 | Yamaha Corp | カラオケ装置 |
JP4799104B2 (ja) * | 2005-09-26 | 2011-10-26 | キヤノン株式会社 | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP4197019B2 (ja) * | 2006-08-02 | 2008-12-17 | ソニー株式会社 | 撮像装置および表情評価装置 |
JP4655047B2 (ja) * | 2007-01-11 | 2011-03-23 | ヤマハ株式会社 | 音声評価装置及びカラオケ装置 |
JP5219184B2 (ja) * | 2007-04-24 | 2013-06-26 | 任天堂株式会社 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
JP4865631B2 (ja) * | 2007-05-11 | 2012-02-01 | オリンパス株式会社 | 撮像装置 |
JP2009288446A (ja) | 2008-05-28 | 2009-12-10 | Nippon Telegr & Teleph Corp <Ntt> | カラオケ映像編集装置及び方法及びプログラム |
JP4900739B2 (ja) * | 2009-09-04 | 2012-03-21 | カシオ計算機株式会社 | 電子写真立て、その制御方法及びプログラム |
JP5958041B2 (ja) * | 2012-04-18 | 2016-07-27 | ヤマハ株式会社 | 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置 |
EP2982421A1 (en) * | 2013-04-02 | 2016-02-10 | NEC Solution Innovators, Ltd. | Facial-expression assessment device, dance assessment device, karaoke device, and game device |
JP6244643B2 (ja) * | 2013-04-15 | 2017-12-13 | オムロン株式会社 | 表情推定装置、制御方法、制御プログラム、および記録媒体 |
US10019825B2 (en) * | 2013-06-05 | 2018-07-10 | Intel Corporation | Karaoke avatar animation based on facial motion data |
WO2015064144A1 (ja) * | 2013-10-30 | 2015-05-07 | オリンパスイメージング株式会社 | 撮像装置、撮像方法およびプログラム |
US9875393B2 (en) * | 2014-02-12 | 2018-01-23 | Nec Corporation | Information processing apparatus, information processing method, and program |
US9690817B2 (en) * | 2015-09-01 | 2017-06-27 | International Business Machines Corporation | Song selection using a heart rate change and a facial expression monitored with a camera |
-
2014
- 2014-09-05 JP JP2014181115A patent/JP6428066B2/ja active Active
-
2015
- 2015-08-06 EP EP15179963.2A patent/EP2993615B1/en active Active
- 2015-08-10 CN CN201510486479.9A patent/CN105405436B/zh active Active
- 2015-08-24 US US14/833,941 patent/US9892652B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016057337A (ja) | 2016-04-21 |
US9892652B2 (en) | 2018-02-13 |
CN105405436A (zh) | 2016-03-16 |
US20160071428A1 (en) | 2016-03-10 |
CN105405436B (zh) | 2019-04-12 |
EP2993615B1 (en) | 2017-10-11 |
EP2993615A1 (en) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6428066B2 (ja) | 採点装置及び採点方法 | |
JP6137935B2 (ja) | 身体動作評価装置、カラオケシステム、及びプログラム | |
CN105050673B (zh) | 面部表情评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 | |
JP6539941B2 (ja) | 評価プログラム、評価方法及び評価装置 | |
JP5178607B2 (ja) | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 | |
CN113077537B (zh) | 一种视频生成方法、存储介质及设备 | |
US10534955B2 (en) | Facial capture analysis and training system | |
JP2011186521A (ja) | 感情推定装置および感情推定方法 | |
Theobald et al. | Near-videorealistic synthetic talking faces: Implementation and evaluation | |
JP5803172B2 (ja) | 評価装置 | |
JP5534517B2 (ja) | 発話学習支援装置およびそのプログラム | |
CN114928755B (zh) | 一种视频制作方法、电子设备及计算机可读存储介质 | |
CN115529500A (zh) | 动态影像的生成方法和装置 | |
CN115810071A (zh) | 动画参数处理方法、装置、计算机设备及可读存储介质 | |
JP2007304489A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
CN116091660A (zh) | 一种虚拟表情的生成方法及装置 | |
JP2017146584A (ja) | 吹奏楽器の練習支援装置及び練習支援方法 | |
JP5496935B2 (ja) | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム | |
JP7223650B2 (ja) | カラオケ装置 | |
Terissi et al. | Animation of generic 3D head models driven by speech | |
JP4580812B2 (ja) | 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム | |
WO2023162159A1 (ja) | 動作生成装置、動作生成システム、動作生成方法、及び非一時的なコンピュータ可読媒体 | |
CN116974372A (zh) | 一种唱歌实现方法、装置、ar显示设备及存储介质 | |
WO2023236054A1 (zh) | 一种生成音频的方法、装置及存储介质 | |
JP2008241772A (ja) | 音声画像処理装置、音声画像処理方法、ならびに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6428066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |