JP5219184B2 - トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 - Google Patents
トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 Download PDFInfo
- Publication number
- JP5219184B2 JP5219184B2 JP2007114454A JP2007114454A JP5219184B2 JP 5219184 B2 JP5219184 B2 JP 5219184B2 JP 2007114454 A JP2007114454 A JP 2007114454A JP 2007114454 A JP2007114454 A JP 2007114454A JP 5219184 B2 JP5219184 B2 JP 5219184B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature point
- face image
- task
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 143
- 238000012549 training Methods 0.000 title claims description 120
- 238000011156 evaluation Methods 0.000 claims description 354
- 230000008921 facial expression Effects 0.000 claims description 252
- 230000014509 gene expression Effects 0.000 claims description 172
- 238000001514 detection method Methods 0.000 claims description 171
- 230000001815 facial effect Effects 0.000 claims description 143
- 238000003384 imaging method Methods 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 42
- 210000001097 facial muscle Anatomy 0.000 claims description 36
- 230000008569 process Effects 0.000 description 121
- 238000004364 calculation method Methods 0.000 description 59
- 210000001508 eye Anatomy 0.000 description 31
- 238000012545 processing Methods 0.000 description 29
- 238000012854 evaluation process Methods 0.000 description 16
- 210000004709 eyebrow Anatomy 0.000 description 14
- 238000003780 insertion Methods 0.000 description 13
- 230000037431 insertion Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 101000876606 Homo sapiens Putative uncharacterized protein encoded by ERC2-IT1 Proteins 0.000 description 1
- 102100035223 Putative uncharacterized protein encoded by ERC2-IT1 Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
(1)最終的なユーザの表情がお手本画像40に近いかどうかという観点からの評価
(2)動き課題期間においてユーザの表情が滑らかに変化したかどうかという観点からの評価
・Count:フレーム数のカウント用
・IsEnable:顔特徴点データが有効かどうか
・IsCheck:得点計算すべきフレームかどうか
・FacePointArray[42]:顔特徴点(2次元座標)の配列
・ScoreSum:合計得点
・Score:区間得点
・ScoreSlow:動き課題の得点
・MaxDataNum:区間得点の算出に使用する顔画像数
・NeutralFacePointArray[42]:顔特徴点の標準位置(2次元座標)の配列
・Base:カメラ座標系で表した顔座標系の原点(2次元座標)
・XAxis:カメラ座標系で表した顔座標系のX軸単位ベクトル(2次元ベクトル)
・YAxis:カメラ座標系で表した顔座標系のY軸単位ベクトル(2次元ベクトル)
・FacePointOriginal[42]:顔特徴点(2次元座標、カメラ座標系)の配列
・ScoreNum:計算完了した区間得点の数
・ScoreArray[6]:区間得点の配列
・MaxDataNum:区間得点の計算に使用する顔画像数
・Score:区間得点の計算結果を入れるバッファ
・DataNum:処理した顔特徴点データセットの個数(ただし、同一の顔画像に対応する顔特徴点データの集合を1個のデータセットとする)
・UsableDataNum:有効な顔特徴点データセットの個数
・DataArray[MaxDataNum]:顔画像毎の点数の配列
・FacePoint[42]:顔特徴点(2次元座標、顔座標系)の配列
・Base:カメラ座標系で表した顔座標系の原点(2次元座標)
・XAxis:カメラ座標系で表した顔座標系のX軸単位ベクトル(2次元ベクトル)
・YAxis:カメラ座標系で表した顔座標系のY軸単位ベクトル(2次元ベクトル)
・FacePointOriginal[42]:顔特徴点(2次元座標、カメラ座標系)の配列
・PointSum:項目得点の合計
・PointMax:項目得点の合計の最高値
・SortDataArray[MaxDataNum]:得点の順番にソートした区間得点の配列
・UseDataNum:部分平均の計算に使用する区間得点の数
・UseDataSum:区間得点の和
・MaxDataNum:区間得点の計算に使用する顔画像数
11 第1のLCD
12 第2のLCD
13 ハウジング
13a 上側ハウジング
13b 下側ハウジング
14 操作スイッチ部
14a 十字スイッチ
14b スタートスイッチ
14c セレクトスイッチ
14d Aボタン
14e Bボタン
14f Xボタン
14g Yボタン
15 タッチパネル
16 スティック
17 メモリカード
17a ROM
17b フラッシュメモリ
18a,18b 音抜き孔
19 電源スイッチ
20 電子回路基板
21 CPUコア
22 バス
23a 第1コネクタ
23b 第2コネクタ
24 RAM
25 I/F回路
26 第1GPU
27 第2GPU
28 第1VRAM
29 第2VRAM
30a 右スピーカ
30b 左スピーカ
31 LCDコントローラ
32 レジスタ
33 マイクロフォン用孔
34 挿入口
35 挿入口
36 挿入口
37 マイクロフォン
38 カメラカートリッジ
38a カメラレンズ
39 ワイヤレス通信部
40 お手本画像
41 ゲージ画像
50 トレーニングプログラム
51 顔特徴点検出プログラム
52 評価基準情報
53 お手本画像データ
54 顔特徴点データ
55 その他データ
Claims (28)
- 表情筋のトレーニングを支援するためのトレーニングプログラムであって、
コンピュータに、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記コンピュータに接続された撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを実行させ、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得ステップで取得された複数の顔画像からそれぞれ検出し、
前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像の得点をそれぞれ計算するステップと、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像のうち、得点が一定値以下のまたは比較的得点の低い少なくとも1つの顔画像の得点を除いた他の得点を用いて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価するステップとを含む、トレーニングプログラム。 - 表情筋のトレーニングを支援するためのトレーニングプログラムであって、
コンピュータに、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記コンピュータに接続された撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを実行させ、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得ステップで取得された複数の顔画像からそれぞれ検出し、
前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像の得点をそれぞれ計算するステップと、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像の得点の平均を求め、当該平均を用いて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価するステップとを含む、トレーニングプログラム。 - 表情筋のトレーニングを支援するためのトレーニングプログラムであって、
コンピュータに、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記コンピュータに接続された撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを実行させ、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された各顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された各顔画像の得点をそれぞれ計算するステップと、当該複数の顔画像の得点の最高値、最低値、平均値または部分平均値の少なくともいずれかを計算するステップと、当該最高値、最低値、平均値または部分平均値に応じてユーザの表情を評価するステップとを含む、トレーニングプログラム。 - 前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された各顔画像の得点をそれぞれ計算するステップと、前記複数の顔画像のうちの比較的得点の高い一部の顔画像の得点の平均値を当該複数の顔画像の部分平均値として計算するステップと、当該部分平均値に応じてユーザの表情を評価するステップとを含む、請求項3に記載のトレーニングプログラム。
- 表情筋のトレーニングを支援するためのトレーニングプログラムであって、
コンピュータに、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記コンピュータに接続された撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを実行させ、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、所定期間に撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された各顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価ステップは、前記所定期間を構成する複数の区間のそれぞれについて、当該区間に取得された複数の顔画像における顔特徴点の位置に基づいて当該複数の顔画像のそれぞれの点数を計算するステップ、当該区間に取得された複数の顔画像の得点に基づいて当該区間の区間得点を計算するステップ、前記複数の区間の区間得点に基づいてユーザの表情を評価するステップとを含む、トレーニングプログラム。 - 表情筋のトレーニングを支援するためのトレーニングプログラムであって、
コンピュータに、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記コンピュータに接続された撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを実行させ、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を加点するステップと、前記顔特徴点検出ステップで検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を減点するステップとを含む、トレーニングプログラム。 - 表情筋のトレーニングを支援するためのトレーニングプログラムであって、
コンピュータに、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記コンピュータに接続された撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを実行させ、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を加点するステップと、前記顔特徴点検出ステップで検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を加点するステップと、前記顔特徴点検出ステップで検出された前記第1顔特徴点の位置と、前記顔特徴点検出ステップで検出された前記第2顔特徴点の位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を変化させるステップとを含む、トレーニングプログラム。 - 表情筋のトレーニングを支援するためのトレーニング装置であって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得手段によって取得された複数の顔画像からそれぞれ検出し、
前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像の得点をそれぞれ計算する手段と、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像のうち、得点が一定値以下のまたは比較的得点の低い少なくとも1つの顔画像の得点を除いた他の得点を用いて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する手段とを含む、トレーニング装置。 - 表情筋のトレーニングを支援するためのトレーニング装置であって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得手段によって取得された複数の顔画像からそれぞれ検出し、
前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像の得点をそれぞれ計算する手段と、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像の得点の平均を求め、当該平均を用いて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する手段とを含む、トレーニング装置。 - 表情筋のトレーニングを支援するためのトレーニング装置であって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された各顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された各顔画像の得点をそれぞれ計算する手段と、当該複数の顔画像の得点の最高値、最低値、平均値または部分平均値の少なくともいずれかを計算する手段と、当該最高値、最低値、平均値または部分平均値に応じてユーザの表情を評価する手段とを含む、トレーニング装置。 - 前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された各顔画像の得点をそれぞれ計算する手段と、前記複数の顔画像のうちの比較的得点の高い一部の顔画像の得点の平均値を当該複数の顔画像の部分平均値として計算する手段と、当該部分平均値に応じてユーザの表情を評価する手段とを含む、請求項10に記載のトレーニング装置。
- 表情筋のトレーニングを支援するためのトレーニング装置であって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、所定期間に撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された各顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価手段は、前記所定期間を構成する複数の区間のそれぞれについて、当該区間に取得された複数の顔画像における顔特徴点の位置に基づいて当該複数の顔画像のそれぞれの点数を計算する手段、当該区間に取得された複数の顔画像の得点に基づいて当該区間の区間得点を計算する手段、前記複数の区間の区間得点に基づいてユーザの表情を評価する手段とを含む、トレーニング装置。 - 表情筋のトレーニングを支援するためのトレーニング装置であって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を加点する手段と、前記顔特徴点検出手段によって検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を減点する手段とを含む、トレーニング装置。 - 表情筋のトレーニングを支援するためのトレーニング装置であって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を加点する手段と、前記顔特徴点検出手段によって検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を加点する手段と、前記顔特徴点検出手段によって検出された前記第1顔特徴点の位置と、前記顔特徴点検出手段によって検出された前記第2顔特徴点の位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を変化させる手段とを含む、トレーニング装置。 - 表情筋のトレーニングを支援するためのトレーニングシステムであって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得手段によって取得された複数の顔画像からそれぞれ検出し、
前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像の得点をそれぞれ計算する手段と、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像のうち、得点が一定値以下のまたは比較的得点の低い少なくとも1つの顔画像の得点を除いた他の得点を用いて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する手段とを含む、トレーニングシステム。 - 表情筋のトレーニングを支援するためのトレーニングシステムであって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得手段によって取得された複数の顔画像からそれぞれ検出し、
前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像の得点をそれぞれ計算する手段と、前記顔画像取得手段によって取得された前記所定期間における複数の顔画像の得点の平均を求め、当該平均を用いて、前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する手段とを含む、トレーニングシステム。 - 表情筋のトレーニングを支援するためのトレーニングシステムであって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された各顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された各顔画像の得点をそれぞれ計算する手段と、当該複数の顔画像の得点の最高値、最低値、平均値または部分平均値の少なくともいずれかを計算する手段と、当該最高値、最低値、平均値または部分平均値に応じてユーザの表情を評価する手段とを含む、トレーニングシステム。 - 前記評価手段は、前記特徴点検出手段によって検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得手段によって取得された各顔画像の得点をそれぞれ計算する手段と、前記複数の顔画像のうちの比較的得点の高い一部の顔画像の得点の平均値を当該複数の顔画像の部分平均値として計算する手段と、当該部分平均値に応じてユーザの表情を評価する手段とを含む、請求項17に記載のトレーニングシステム。
- 表情筋のトレーニングを支援するためのトレーニングシステムであって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得手段は、所定期間に撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された各顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価手段は、前記所定期間を構成する複数の区間のそれぞれについて、当該区間に取得された複数の顔画像における顔特徴点の位置に基づいて当該複数の顔画像のそれぞれの点数を計算する手段、当該区間に取得された複数の顔画像の得点に基づいて当該区間の区間得点を計算する手段、前記複数の区間の区間得点に基づいてユーザの表情を評価する手段とを含む、トレーニングシステム。 - 表情筋のトレーニングを支援するためのトレーニングシステムであって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を加点する手段と、前記顔特徴点検出手段によって検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を減点する手段とを含む、トレーニングシステム。 - 表情筋のトレーニングを支援するためのトレーニングシステムであって、
予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択手段、
撮像装置よりユーザの顔画像を取得する顔画像取得手段、
前記顔画像取得手段によって取得された顔画像から、少なくとも前記選択手段によって選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出手段、
前記複数の課題表情毎に予め設定された評価基準のうち、前記選択手段によって選択された課題表情に対応する評価基準に従って、前記顔特徴点検出手段によって検出された顔特徴点の位置に基づいて前記顔画像取得手段によって取得された顔画像におけるユーザの表情を評価する評価手段、および、
前記評価手段の評価結果を画像又は音声によりユーザに提示する評価結果提示手段を備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価手段は、前記選択手段によって選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出手段は、前記顔画像取得手段によって取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価手段は、前記顔特徴点検出手段によって検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を加点する手段と、前記顔特徴点検出手段によって検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を加点する手段と、前記顔特徴点検出手段によって検出された前記第1顔特徴点の位置と、前記顔特徴点検出手段によって検出された前記第2顔特徴点の位置との位置関係に基づいて、前記顔画像取得手段によって取得された顔画像の得点を変化させる手段とを含む、トレーニングシステム。 - 表情筋のトレーニングを支援するためのトレーニングシステムにおいて実行されるトレーニング方法であって、
前記トレーニングシステムの選択手段によって、予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記トレーニングシステムの顔画像取得手段によって、撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記トレーニングシステムの顔特徴点検出手段によって、前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記トレーニングシステムの評価手段によって、前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記トレーニングシステムの評価結果提示手段によって、前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得ステップで取得された複数の顔画像からそれぞれ検出し、
前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像の得点をそれぞれ計算するステップと、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像のうち、得点が一定値以下のまたは比較的得点の低い少なくとも1つの顔画像の得点を除いた他の得点を用いて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価するステップとを含む、トレーニング方法。 - 表情筋のトレーニングを支援するためのトレーニングシステムにおいて実行されるトレーニング方法であって、
前記トレーニングシステムの選択手段によって、予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記トレーニングシステムの顔画像取得手段によって、撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記トレーニングシステムの顔特徴点検出手段によって、前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記トレーニングシステムの評価手段によって、前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記トレーニングシステムの評価結果提示手段によって、前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、所定期間において撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を、前記顔画像取得ステップで取得された複数の顔画像からそれぞれ検出し、
前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像の得点をそれぞれ計算するステップと、前記顔画像取得ステップで取得された前記所定期間における複数の顔画像の得点の平均を求め、当該平均を用いて、前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価するステップとを含む、トレーニング方法。 - 表情筋のトレーニングを支援するためのトレーニングシステムにおいて実行されるトレーニング方法であって、
前記トレーニングシステムの選択手段によって、予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記トレーニングシステムの顔画像取得手段によって、撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記トレーニングシステムの顔特徴点検出手段によって、前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記トレーニングシステムの評価手段によって、前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記トレーニングシステムの評価結果提示手段によって、前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された各顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された各顔画像の得点をそれぞれ計算するステップと、当該複数の顔画像の得点の最高値、最低値、平均値または部分平均値の少なくともいずれかを計算するステップと、当該最高値、最低値、平均値または部分平均値に応じてユーザの表情を評価するステップとを含む、トレーニング方法。 - 前記評価ステップでは、前記特徴点検出ステップで検出された前記複数の顔画像における顔特徴点の位置に基づいて、前記顔画像取得ステップで取得された各顔画像の得点をそれぞれ計算するステップと、前記複数の顔画像のうちの比較的得点の高い一部の顔画像の得点の平均値を当該複数の顔画像の部分平均値として計算するステップと、当該部分平均値に応じてユーザの表情を評価するステップとを含む、請求項24に記載のトレーニング方法。
- 表情筋のトレーニングを支援するためのトレーニングシステムにおいて実行されるトレーニング方法であって、
前記トレーニングシステムの選択手段によって、予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記トレーニングシステムの顔画像取得手段によって、撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記トレーニングシステムの顔特徴点検出手段によって、前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記トレーニングシステムの評価手段によって、前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記トレーニングシステムの評価結果提示手段によって、前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔画像取得ステップでは、所定期間に撮像タイミングの異なる複数の顔画像を取得し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された各顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置をそれぞれ検出し、
前記評価ステップは、前記所定期間を構成する複数の区間のそれぞれについて、当該区間に取得された複数の顔画像における顔特徴点の位置に基づいて当該複数の顔画像のそれぞれの点数を計算するステップ、当該区間に取得された複数の顔画像の得点に基づいて当該区間の区間得点を計算するステップ、前記複数の区間の区間得点に基づいてユーザの表情を評価するステップとを含む、トレーニング方法。 - 表情筋のトレーニングを支援するためのトレーニングシステムにおいて実行されるトレーニング方法であって、
前記トレーニングシステムの選択手段によって、予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記トレーニングシステムの顔画像取得手段によって、撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記トレーニングシステムの顔特徴点検出手段によって、前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記トレーニングシステムの評価手段によって、前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記トレーニングシステムの評価結果提示手段によって、前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を加点するステップと、前記顔特徴点検出ステップで検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を減点するステップとを含む、トレーニング方法。 - 表情筋のトレーニングを支援するためのトレーニングシステムにおいて実行されるトレーニング方法であって、
前記トレーニングシステムの選択手段によって、予め用意された複数の課題表情の中から今回の課題となる課題表情を選択する選択ステップ、
前記トレーニングシステムの顔画像取得手段によって、撮像装置よりユーザの顔画像を取得する顔画像取得ステップ、
前記トレーニングシステムの顔特徴点検出手段によって、前記顔画像取得ステップで取得された顔画像から、少なくとも前記選択ステップで選択された課題表情に関連する顔特徴点の位置を検出する顔特徴点検出ステップ、
前記トレーニングシステムの評価手段によって、前記複数の課題表情毎に予め設定された評価基準のうち、前記選択ステップで選択された課題表情に対応する評価基準に従って、前記顔特徴点検出ステップで検出された顔特徴点の位置に基づいて前記顔画像取得ステップで取得された顔画像におけるユーザの表情を評価する評価ステップ、および、
前記トレーニングシステムの評価結果提示手段によって、前記評価ステップの評価結果を画像又は音声によりユーザに提示する評価結果提示ステップを備え、
課題表情に応じて参照すべき顔特徴点が変わるように前記評価基準が設定されており、
前記評価ステップでは、前記選択ステップで選択された課題表情に応じて異なる顔特徴点の位置を参照して、前記顔画像におけるユーザの表情を評価し、
前記顔特徴点検出ステップでは、前記顔画像取得ステップで取得された顔画像から少なくとも第1顔特徴点と第2顔特徴点の2つの顔特徴点の位置を検出し、
前記評価ステップは、前記顔特徴点検出ステップで検出された前記第1顔特徴点の位置と、記憶装置に格納されている当該第1顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を加点するステップと、前記顔特徴点検出ステップで検出された前記第2顔特徴点の位置と、前記記憶装置に格納されている当該第2顔特徴点に対応する基準位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を加点するステップと、前記顔特徴点検出ステップで検出された前記第1顔特徴点の位置と、前記顔特徴点検出ステップで検出された前記第2顔特徴点の位置との位置関係に基づいて、前記顔画像取得ステップで取得された顔画像の得点を変化させるステップとを含む、トレーニング方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007114454A JP5219184B2 (ja) | 2007-04-24 | 2007-04-24 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
US11/808,489 US7894638B2 (en) | 2007-04-24 | 2007-06-11 | Training mimetic muscles by evaluating a captured user's expression against a given expression |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007114454A JP5219184B2 (ja) | 2007-04-24 | 2007-04-24 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008264367A JP2008264367A (ja) | 2008-11-06 |
JP5219184B2 true JP5219184B2 (ja) | 2013-06-26 |
Family
ID=39887021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007114454A Active JP5219184B2 (ja) | 2007-04-24 | 2007-04-24 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7894638B2 (ja) |
JP (1) | JP5219184B2 (ja) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4978938B2 (ja) * | 2006-09-13 | 2012-07-18 | パイオニア株式会社 | 距離測定装置及び方法、並びにコンピュータプログラム |
JP5202037B2 (ja) * | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
DE102008048142A1 (de) * | 2008-09-19 | 2010-04-08 | Schneemann System GmbH | Verfahren zur Analyse eines menschlichen Kopfes |
KR101108835B1 (ko) * | 2009-04-28 | 2012-02-06 | 삼성전기주식회사 | 얼굴 인증 시스템 및 그 인증 방법 |
KR101657565B1 (ko) | 2010-04-21 | 2016-09-19 | 엘지전자 주식회사 | 증강 원격제어장치 및 그 동작 방법 |
KR101694159B1 (ko) | 2010-04-21 | 2017-01-09 | 엘지전자 주식회사 | 증강 원격제어장치 및 그 동작 방법 |
KR20110118421A (ko) * | 2010-04-23 | 2011-10-31 | 엘지전자 주식회사 | 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템 |
KR101204959B1 (ko) * | 2010-05-10 | 2012-11-26 | 주식회사 크라스아이디 | 표정 훈련을 이용한 얼굴 운동 장치 및 방법 |
US10108852B2 (en) * | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
KR101699922B1 (ko) * | 2010-08-12 | 2017-01-25 | 삼성전자주식회사 | 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 |
JP2012073299A (ja) * | 2010-09-27 | 2012-04-12 | Panasonic Corp | 言語訓練装置 |
KR101238057B1 (ko) * | 2011-04-28 | 2013-02-27 | 주식회사 제이디솔루션 | 게임 참가자의 표정을 인식하는 전자게임방법 및 게임장치 |
US8811726B2 (en) * | 2011-06-02 | 2014-08-19 | Kriegman-Belhumeur Vision Technologies, Llc | Method and system for localizing parts of an object in an image for computer vision applications |
KR101145672B1 (ko) | 2011-09-20 | 2012-05-24 | 원광대학교산학협력단 | 미소 훈련을 위한 미소 분석 시스템 |
WO2013152453A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | Communication using interactive avatars |
JP6370025B2 (ja) * | 2012-09-19 | 2018-08-08 | 長崎県公立大学法人 | 動作評価支援装置および動作評価支援方法 |
JP2014116772A (ja) * | 2012-12-10 | 2014-06-26 | Ace:Kk | 携帯端末装置及び携帯端末装置による美容方法 |
CN105050673B (zh) * | 2013-04-02 | 2019-01-04 | 日本电气方案创新株式会社 | 面部表情评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 |
KR102233728B1 (ko) * | 2013-10-31 | 2021-03-30 | 삼성전자주식회사 | 전자 장치의 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
KR101525821B1 (ko) * | 2013-12-16 | 2015-06-10 | 민지원 | 리듬 페이스 장치 |
CN111898108B (zh) * | 2014-09-03 | 2024-06-04 | 创新先进技术有限公司 | 身份认证方法、装置、终端及服务器 |
JP6428066B2 (ja) * | 2014-09-05 | 2018-11-28 | オムロン株式会社 | 採点装置及び採点方法 |
GB201421191D0 (en) * | 2014-11-28 | 2015-01-14 | Univ Nottingham Trent | Facial exercise system |
EP3238177A4 (en) | 2014-12-23 | 2018-09-05 | Intel Corporation | Facial gesture driven animation of non-facial features |
EP3241187A4 (en) | 2014-12-23 | 2018-11-21 | Intel Corporation | Sketch selection for rendering 3d model avatar |
US9830728B2 (en) * | 2014-12-23 | 2017-11-28 | Intel Corporation | Augmented facial animation |
JP6573193B2 (ja) * | 2015-07-03 | 2019-09-11 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、および判定プログラム |
CN105357442A (zh) * | 2015-11-27 | 2016-02-24 | 小米科技有限责任公司 | 摄像头拍摄角度调整方法及装置 |
US9934397B2 (en) | 2015-12-15 | 2018-04-03 | International Business Machines Corporation | Controlling privacy in a face recognition application |
WO2017101094A1 (en) | 2015-12-18 | 2017-06-22 | Intel Corporation | Avatar animation system |
CN107169397B (zh) * | 2016-03-07 | 2022-03-01 | 佳能株式会社 | 特征点检测方法及装置、图像处理系统和监视系统 |
CN105975935B (zh) * | 2016-05-04 | 2019-06-25 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法和装置 |
DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
CN109863502A (zh) * | 2016-11-10 | 2019-06-07 | 纽诺创科技术公司 | 将图像拍摄设备与人类用户相关联以分析认知能力的方法和系统 |
US10431107B2 (en) * | 2017-03-07 | 2019-10-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace for social awareness |
DK179867B1 (en) * | 2017-05-16 | 2019-08-06 | Apple Inc. | RECORDING AND SENDING EMOJI |
KR102435337B1 (ko) | 2017-05-16 | 2022-08-22 | 애플 인크. | 이모지 레코딩 및 전송 |
CN108211241A (zh) * | 2017-12-27 | 2018-06-29 | 复旦大学附属华山医院 | 一种基于镜像视觉反馈的面部肌肉康复训练系统 |
DK201870378A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
DK201870374A1 (en) | 2018-05-07 | 2019-12-04 | Apple Inc. | AVATAR CREATION USER INTERFACE |
US20200078677A1 (en) * | 2018-09-07 | 2020-03-12 | Mz Ip Holdings, Llc | System and method for managing viewable segments of computer application content |
JP2020086004A (ja) * | 2018-11-19 | 2020-06-04 | 株式会社日立製作所 | 生体情報検出装置及び生体情報検出方法 |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
DK201970530A1 (en) | 2019-05-06 | 2021-01-28 | Apple Inc | Avatar integration with multiple applications |
CN110968239B (zh) * | 2019-11-28 | 2022-04-05 | 北京市商汤科技开发有限公司 | 一种展示对象的控制方法、装置、设备及存储介质 |
AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
JP2022025469A (ja) * | 2020-07-29 | 2022-02-10 | 株式会社AniCast RM | アニメーション制作システム |
KR102497688B1 (ko) * | 2020-10-14 | 2023-02-07 | 이세호 | 표정 트레이닝을 이용한 안면 비대칭 교정 서비스 방법 |
KR102497694B1 (ko) * | 2020-10-29 | 2023-02-07 | 이세호 | 교정거울을 이용한 표정 트레이닝 기반의 안면 비대칭 교정 시스템 및 그 서비스 방법 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3579909B2 (ja) * | 1993-11-01 | 2004-10-20 | 松下電器産業株式会社 | フォーム練習装置 |
JP3565936B2 (ja) * | 1995-02-08 | 2004-09-15 | 富士通株式会社 | 運動支援システム及び運動支援方法 |
JP2933562B2 (ja) * | 1997-03-27 | 1999-08-16 | 日本電気ソフトウェア株式会社 | パソコンを使用した運動の姿勢の分析装置 |
JP3430944B2 (ja) * | 1997-12-15 | 2003-07-28 | 花王株式会社 | 印象の評価方法 |
US7062073B1 (en) * | 1999-01-19 | 2006-06-13 | Tumey David M | Animated toy utilizing artificial intelligence and facial image recognition |
JP2001321458A (ja) * | 2000-05-17 | 2001-11-20 | Fujishima Kazutaka | 機能回復訓練システム |
US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
JP2004173960A (ja) | 2002-11-27 | 2004-06-24 | Nec Soft Ltd | 顔画像を利用した対戦アーケード遊技機、及び顔画像を利用した対戦アーケード遊技機用プログラム |
JP2005242567A (ja) * | 2004-02-25 | 2005-09-08 | Canon Inc | 動作評価装置及び方法 |
JP2006318385A (ja) * | 2005-05-16 | 2006-11-24 | Namco Bandai Games Inc | 画像生成システム、プログラムおよび情報記憶媒体 |
JPWO2007043712A1 (ja) * | 2005-10-14 | 2009-04-23 | 国立大学法人 長崎大学 | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム |
ATE441904T1 (de) * | 2005-12-21 | 2009-09-15 | Koninkl Philips Electronics Nv | Computergestützte gesichtslähmungsbewertung |
US8045766B2 (en) * | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
-
2007
- 2007-04-24 JP JP2007114454A patent/JP5219184B2/ja active Active
- 2007-06-11 US US11/808,489 patent/US7894638B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008264367A (ja) | 2008-11-06 |
US7894638B2 (en) | 2011-02-22 |
US20080267459A1 (en) | 2008-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5219184B2 (ja) | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 | |
WO2020233464A1 (zh) | 模型训练方法、装置、存储介质及设备 | |
US8777742B2 (en) | Game device, control method for a game device, and non-transitory information storage medium | |
CN105073210B (zh) | 使用深度图像的用户身体角度、曲率和平均末端位置提取 | |
JP5361368B2 (ja) | ゲームプログラム、ゲーム装置およびゲーム制御方法 | |
EP2016983A1 (en) | Program, information storing medium and image generating system | |
US20070254739A1 (en) | Game Device, Control Method of Computer, and Information Storage Medium | |
US20100185981A1 (en) | Display controlling program and display controlling apparatus | |
JP2006325695A (ja) | ポインティングデバイスに対する入力を用いたゲームプログラムおよびゲーム装置 | |
US8317625B2 (en) | Game apparatus, game program and information recording medium | |
JP2008055021A (ja) | プログラム、情報記憶媒体、及び表示制御装置 | |
JP6587817B2 (ja) | ゲームシステム | |
WO2011158599A1 (ja) | ビデオゲーム装置、ビデオゲーム制御プログラム、ビデオゲーム制御方法 | |
JP2006318385A (ja) | 画像生成システム、プログラムおよび情報記憶媒体 | |
JPWO2005065798A1 (ja) | 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法 | |
JP4551183B2 (ja) | プログラム、情報記憶媒体及び手書き図形評価装置 | |
US20130045801A1 (en) | Game apparatus, control method for game apparatus, information recording medium, and program | |
JP2019217150A (ja) | スイング解析装置、スイング解析方法、およびスイング解析システム | |
EP2490367A2 (en) | Information processing program, information processing apparatus, information processing method and information processing system | |
US9230293B2 (en) | Display controlling program and display controlling apparatus | |
US11654355B2 (en) | Operation input program and operation inputting method | |
EP4252870A1 (en) | Game program, game system, game apparatus, and game processing method | |
WO2024105991A1 (en) | Information processing apparatus, information processing method, and program | |
JP2023178520A (ja) | ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム処理方法 | |
EP4338164A1 (en) | Virtual guided fitness routines for augmented reality experiences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100324 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110902 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130301 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5219184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |