JP7057873B2

JP7057873B2 - 縄跳び計数方法

Info

Publication number: JP7057873B2
Application number: JP2020545589A
Authority: JP
Inventors: 林峰
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-03-26
Filing date: 2019-08-13
Publication date: 2022-04-21
Anticipated expiration: 2039-08-13
Also published as: WO2020191989A1; JP2021518942A

Description

本願はスマートフィットネススポーツ道具計数の分野に関し、具体的に、縄跳びの計数方
法に関する。

縄跳び運動は、人々がよくするスポーツ運動種目の一つであり、縄跳びをする人が縄跳び
をする過程では、計数をする必要があり、つまり、運動の指標として、運動量を知る必要
がある。しかしながら、従来の縄跳びの使用において、計数においては、人々が自分で計
数するか、審判員によって計数する必要がある。自分で計数する場合、縄跳びをする人の
注意をそらす一方、誤って数えしまいがちである。審判員によって計数する場合も、計数
を誤ることにもなりやすい。

先行技術には、ハンドル内に電子計数器を取り付けて計数する方法を採用するものがある
。例えば、公開番号がＣＮ１０７７１５３６８Ａである文献により開示された計数縄跳び
は、ロープ本体及びロープ本体の両端にそれぞれ設けられたハンドルを含む。前記ロープ
本体は透明なホースを採用し、ホース内には照明装置が固定されている。前記何れか一つ
のハンドルにはチャンバーが設けられており、チャンバー内には計数器とコントローラー
が設けられて、計数器は使用者の縄跳びの回数を検知して且つコントローラーに送り、コ
ントローラーは縄跳びの時間及び縄跳びの回数に基づいて縄跳びのスピードを得て、且つ
縄跳びのスピードに基づいて照明装置の照明状態をコントロールする。この構造によれば
、使用者の縄跳びのスピートをスマートに検知して、トレーニングの効率を高めて、トレ
ーニングのおもしろみを増すことができる。しかしながら、ハンドルに計数器を内蔵する
方法では、その縄跳びで縄が正常に跨がれたかを判断することが不可能であり、計数が正
確でない問題がある。

科学技術の絶え間ない発展に伴い、リストバンド或いは腕時計における運動アルゴリズム
の種類は多くなりつつかる。運動アルゴリズムは２１世紀初に始まり、センサーによりリ
ストバンド或いは腕時計上のリアルタイムデータを取得して、そしてデータに対して処理
及び計算を行い、現在のリストバンド或いは腕時計に表示させて、装着した人がはっきり
運動情報、或いは使用者の運動軌跡及び歩数を取得できるようにする。

公開番号ＣＮ１０８７４４４７１Ａである中国特許文献はリストバンドに基づく縄跳び計
数方法を開示した。リストバンドに取り付けられたセンサーによって、使用者の縄跳びデ
ータを取得する。縄跳びのデータに対して、Ｘ軸及びＹ軸方向においてそれぞれ周期別の
処理を行う。Ｘ軸上の現在の周期を一つ前の周期と比較して、且つＹ軸上の現在の周期を
一つ前の周期と比較する。Ｘ軸上の比較結果に基づいて縄跳びの回数を計算するか、或い
はＹ軸上の比較結果に基づいて縄跳びの回数を計算する。よって、Ｘ軸上の比較結果を得
てから、Ｘ軸上の比較結果のみに基づいて縄跳びの回数を計算できる。同様に、Ｙ軸上の
比較結果を得てから、Ｙ軸上の比較結果のみに基づいて縄跳びの回数を計算できる。即ち
、Ｘ軸とＹ軸のデータに対してそれぞれ周期別の処理を行うことで、比較の結果に基づい
て縄跳びの回数を算出できる。しかしながら、この方法には、計数が正確ではない問題が
ある。

本発明の一つの目的は縄跳びの計数方法を提案することである。この計数方法によれば、
縄跳びの計数の過程において、映像及び音声情報を結合して判断することで、縄跳びに対
する自動で正確な計数を実現できる。

本発明のもう一つの目的は、スマート縄跳び計数方法を提案することである。このスマー
ト縄跳び計数方法によれば、人に対して縄跳び計数の過程において、視覚及び聴覚の感覚
のメカニズム分析を活用して、映像及び音声情報を結合して判断することで、縄跳びに対
する自動で正確な計数を実現する。

本発明のもう一つの目的は、スマート目標認識に基づく縄跳び計数方法を提案することで
ある。人に対して縄跳びの過程で顔の位置の中心高さ位置の高さ変化を通して、且つ縄跳
びの音声情報を結合して縄跳びの回数を計算することで、縄跳びに対する自動で正確な計
数を実現する。

第一形態では、本発明は縄跳びの計数方法を提案する。当該計数方法は：
縄跳び動作のオリジナル映像データを取得して、オリジナル映像データから音声データと
画像データを抽出するステップと；
前記音声データと前記画像データから抽出された音声情報と画像情報に基づいて、縄跳び
する人が跳んだ回数を計算するステップと；
計数の結果を出力して且つ表示するステップを含む。

一部の実施例では、「前記音声データと前記画像データから抽出された音声情報と画像情
報に基づいて、縄跳びする人が跳んだ回数を計算する」ステップは：
音声データから音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を作
成し、音声波形図に基づいて一回の縄跳び動作の周期Ｔ１を確定するステップと；
画像データに対してシングルフレーム処理を行い、順に配列された一組のシングルフレー
ム画像を得るステップと；
シングルフレーム画像の参考エリアを確定して、且つ当該参考エリアを切り取って参考画
像を得るステップと；
参考画像に対して二値化処理とエッジ追跡を行い、目標を分離して、且つ目標が縄跳びで
あるか否かを判断するステップと；
目標が縄跳びである隣り合う参考画像間の時間間隔がＴ１未満であるか否かを判断し、そ
うであれば、重複計数になり、カウンタを増加させず、そうでなければカウンタを一回増
加させるステップとを含む。

もう一部の実施例では、「前記音声データと前記画像データから抽出された音声情報と画
像情報に基づいて、縄跳びする人が跳んだ回数を計算する」ステップは：
画像データに対してシングルフレーム処理を行い、順に配列された一組のシングルフレー
ム画像を得るステップと；
各フレーム画像中の縄跳びをする人の顔エリアを確定して、且つ顔エリアの中心点高さ座
標を取り出すステップと；
中心点の高さ座標が時間とともに変化する曲線を取得して、ゼロ交差計数法により縄跳び
をする人が跳んだ回数を得るステップと；
音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を作成し、且つ相互
相関係数法により縄跳びの回数を計算するステップと；
映像と音声情報を結合して有効な縄跳び回数であるか否かを判断し、有効な縄跳び回数で
あればカウンタを１増やし、有効な縄跳びでなければ、計数しないステップとを含む。

上記実施例において、高精細度録画機器（例えば、スマートホンなど）を利用して、一定
の角度、適当な距離から、固定位置に置いて、縄跳びをする人を含む縄跳び過程全体に対
して記録する。視覚及び聴覚などの感覚のメカニズム分析を活用して、映像と音声情報を
それぞれ処理して、得られた映像及び音声情報を結合して判断することで、縄跳びに対す
る自動計数を実現する。労力と時間を節約して、計数の正確性を向上させるだけでなく、
映像は遡ることができて、非常に良い応用価値を有する。

有益効果

本発明のスマート縄跳び計数方法によれば、人力を利用することなく自動で正確な計数を
実現でき、リアルタイムに計数できるだけでなく、録画して再生を行うこともできる。特
に、移動録画機器が広く使用されるにつれて、本発明に記載の方法は、より高い実用性を
有するようになる。

本発明の一実施例における前記縄跳び計数方法の流れ図である。本発明の一実施例における前記スマート縄跳び計数方法の流れ図である。本発明の実施例の音声波形図である。本発明の実施例の参考エリア選択模式図である。本発明の実施例の参考画像に対して二値化を行った後の模式図であり、（ａ）（ｂ）（ｃ）はそれぞれ異なる参考画像の二値化画像である。本発明のもう一つの実施例におけるスマート目標認識に基づく縄跳び計数方法の流れ図である。本発明のもう一つの実施例における参考画像（ａ）及びフィルタ処理された二値画像（ｂ）である。本発明のもう一つの実施例における参考画像に対して顔部ではない肌色エリアを除外した後の二値画像（ａ）及び元のＲＧＢ画像において顔部エリアを線で囲んだ画像（ｂ）である。本発明のもう一つの実施例において、Ｎ＝５である場合、移動平均フィルタリングされた後、中心点の高さ座標が時間とともに変化する曲線図である。本発明のもう一つ実施例において、時間を横座標とする音声波形図である。本発明のもう一つ実施例におけるサンプル音声の時間領域波形図である。本発明のもう一つ実施例におけるサンプル音声と測定対象音声との相互相関係数図である。

本発明の目的、技術案及び利点をより明らかにするために、以下では、実施例及びその添
付図面を組み合わせて本発明をさらに説明する。

実施例１
本発明の第一実施形態では縄跳び計数方法を提案し、図１を参照し、この計数方法は：
縄跳び動作のオリジナル映像データを取得して、オリジナル映像データから音声データと
画像データを抽出するステップＳ１と；
前記音声データと前記画像データから抽出された音声情報と画像情報に基づいて、縄跳び
する人が跳んだ回数を計算するステップＳ２と；
計数の結果を出力して且つ表示するステップＳ３とを含む。

音声情報は音声のサンプリング周波数、サンプリング周波数と時間を座標とする音声波形
図、音声周期などの音声情報を含むことができ、画像情報はシングルフレーム処理されて
得られたシングルフレーム画像、参考エリアが確定されてから切り取られた参考画像、二
値化処理及びエッジ追跡された目標情報などを含むことができるは、理解できるであろう
。

上記の第一実施例において、図２を参照し、好ましくは、ステップＳ２は以下のステップ
を含むことができる。

ステップＡ２、音声データから音声のサンプリング周波数を抽出し、時間を横座標とする
音声波形図を作成し、音声波形図に基づいて一回の縄跳び動作の周期Ｔ１を確定する。

ステップＡ３、画像データに対してシングルフレーム処理を行い、順に配列された一組の
シングルフレーム画像を得る。

ステップＡ４、シングルフレーム画像の参考エリアを確定して、且つ当該参考エリアを切
り取って参考画像を得る。

ステップＡ５、参考画像に対して二値化処理とエッジ追跡を行い、目標を分離して、且つ
目標が縄跳びであるか否かを判断する。

ステップＡ６、目標が縄跳びである隣り合う参考画像間の時間間隔がＴ１未満であるか否
かを判断し、そうであれば、重複計数になり、カウンタを増加させず、そうでなければカ
ウンタを一回増加させる。

すなわち、第一実施例の一部の好適な実施例において、その縄跳び計数方法は以下のステ
ップを含むことができる。

ステップＡ１、録画機器により縄跳び動作の映像データを取得して、映像データから音声
データと画像データを抽出する。

ステップＡ２、音声データから音声のサンプリング周波数を抽出し、時間を横座標とする
音声波形図を作成し、図３に示すように、音声波形図において毎回音声に鋭い音が現れる
周期に基づいて縄跳び動作の周期Ｔ１を確定し、本実施例では、全ての周期の平均値を取
る。

画像データに対してシングルフレーム処理を行い、順に配列された一組のシングルフレー
ム画像を得るステップＡ３。

ステップＡ４、シングルフレーム画像の参考エリアを確定して、且つ当該参考エリアを切
り取って参考画像を得る。参考エリアは、縄跳びの度に通過される（撮影の角度が異なる
際や、異なる人が縄跳びする際に、参考エリアが異なる場合がある）。撮影の相対距離と
縄跳びの相対位置を確定したら、このエリアは相対的に確定することができる。参考エリ
アの確定には様々な方法があり得る。本実施例では、参考エリアとしては、図４に示すよ
うに、座標（３７９，４３３）を左上の頂点とし、長さ７７画素、幅１５画素の矩形部分
を選択する。このエリアの選択された背景色は比較的明確であり、ノイズが少なく、さら
に、縄の運動は、毎回このエリアを通過する。

二値化処理後の参考画像は、図５に示されている。本実施例の二値化処理は、一種の自己
適応閾値確定方法である最大級間分散法「単にＯＴＳＵ法という」を用いて、画像のグレ
ースケール特性に応じて、画像を背景と目標の二つの部分に分け、背景と目標との間の級
間分散が大きいほど、画像を構成する二つの部分の差が大きいということになる。一部の
目標を誤って背景に分ける場合も、一部の背景を誤って目標に分ける場合も、二つの部分
の差を小さくしてしまうので、級間分散を最大にする分割は、誤って分けてしまう確率が
最も小さいことを意味する。二値化処理後でも若干の干渉はあるが、この例では、後続の
解析処理のために、二値画像中の面積が８画素点未満のオブジェクトを消去する。

エッジ追跡を行った後、画像中のそれぞれの目標を分離する。分離してから、これらの部
分にそれぞれ番号を付与して、且つＨＳＶ法により色処理を行い、それぞれ異なる色で各
部分を塗りつぶすことで、より明らかな区分効果を達成する。

縄跳びであるか否かを判断する方法としては：
エッジ追跡を経た目標を分離して且つ番号を付与し、ＨＳＶ法により色処理を行い、且つ
それぞれ異なる色で各部分を塗りつぶして、各部分の離心率と、面積と、８方向のエリア
の極値点との三つのデータを取得し、三つのデータがいずれも所望の区間に落ちた場合、
目標が縄跳びであると判断する。

本実施例では、放物線の特徴に合致するか否かという方法を利用して目標に対して判断を
行う。縄が周期運動をする場合は放物線に近似的に投影できて、放物線の離心率が１であ
るため、離心率が１に近いか否かから、マークされた部分が放物線の特徴に合致している
かどうかを判断することができ、縄を認識できることになる。正確に判断するために、同
時に面積と８方向のエリアの極値点データを用いて補助認識を行う。

本実施例の離心率の所望区間は０．９２～１の間で、面積の所望区間は１１９０～１２８
０画素点の間であり、８方向のエリアの極値点データ行列は下記の表に等しい。

計数時には、離心率が０．９２〜１、面積が１１９０〜１２８０画素点、八
方向のエリアの極値点データ行列（ｅｘｔｒｅｍａ）が上記に設定された表と同じである
ことを同時に満たした場合にのみ一回の有効な縄跳びとして、且つ１回計数する。

ステップＡ７、計数時間に達したか否かを判断する。

ステップＡ８、計数の結果を出力して且つ表示する。

第一実施例のほかの一部の実施例において、図６を参照し、ステップＳ２は以下のステッ
プを含むことができる。

ステップＳ２１、画像データに対してシングルフレーム処理を行い、順に配列された一組
のシングルフレーム画像を得る。

ステップＳ２２、各フレーム画像中の縄跳びをする人の顔エリアを確定して、且つ顔エリ
アの中心点高さ座標を取り出す。

ステップＳ２３、中心点の高さ座標の時間とともに変化する曲線を取得して、ゼロ交差計
数法により縄跳びをする人が跳んだ回数を得る。

ステップＳ２４、音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を
作成し、且つ相互相関係数法により縄跳びの回数を計算する。

ステップＳ２５、映像と音声情報を結合して有効な縄跳び回数であるか否かを判断し、有
効な縄跳び回数であればカウンタを１増やし、有効な縄跳びでなければ、計数しない。

すなわち、第一実施例のほかの一部の好適な実施例において、図６に示すように、その縄
跳び計数方法は以下のステップを含むことができる。

ステップＢ１、録画機器により縄跳び動作のオリジナル映像データを取得して、且つオリ
ジナル映像データを入力して、計時を開始する。

ステップＢ２、オリジナル映像データから画像データを抽出して、画像データに対してシ
ングルフレーム処理を行い、順に配列された一組のシングルフレーム画像を得て、且つ計
数時間を抽出する。

ステップＢ３、各フレーム画像中の縄跳びをする人の顔エリアを確定する。まずは図７に
示すように、各フレームの画像に対して肌色認識を行い、且つ干渉データをフィルタで除
去して、二値化画像を得る。次に、顔部ではない肌色エリアを除外する。最後に、図８に
示すように、元のＲＧＢ画像の中で顔部エリアを線で囲んで将来使うために取っておく。

ステップＢ４、顔エリアの中心点高さ座標を取り出す。

ステップＢ５、中心点の高さ座標が時間とともに変化する曲線を取得する。

ステップＢ６、ゼロ交差計数法を利用して縄跳びをする人が跳んだ回数を得る。本例では
、まず中心点の高さ座標が時間とともに変化する曲線を描いて、且つ移動平均フィルタ処
理を行って、図９に示すような曲線を得る。そして、ゼロ交差計数法を利用して縄跳びを
する人が跳んだ回数を得る。連続跳びなどの特別な状況では、跳んだ回数は縄跳びの回数
に等しいわけではないことは、説明しておく必要がある。

ステップＢ７、映像データから音声データを抽出して、音声のサンプリング周波数を抽出
し、時間を横座標とする音声波形図を作成する。図１０に示すように、その時間領域波形
図を得る。

ステップＢ８、相互相関係数法を利用して縄跳びの回数を計算する。まず、縄跳びと地面
とのある一回のぶつかりの音声断片をサンプル音声ｘとすると、その時間領域波形は図１
１に示すようである。縄跳びの映像中の音声シーケンスを測定対象音声ｙとして、サンプ
ル音声ｘと測定対象音声ｙとの相互相関係数を計算する。そして「相互相関係数」図を作
成し、図１２に示すように、適当な相互相関係数閾値（本例では閾値を０．１とする）を
設定して、相互相関係数が設定閾値を超えた回数ｎを統計すると、ｎは縄跳びの回数にな
る。

ステップＢ９、映像と音声を結合して縄跳びの回数を確定する。縄跳びが連続跳びである
時（即ち、人が一回跳び上がることで縄を二回或いは二回以上回す場合）、映像と音声情
報を結合して縄跳びの回数を判定することは、単に映像或いは音声情報を利用して回数を
確定することに無い利点を有する。

ステップＢ１０、映像と音声情報を結合して有効な縄跳び回数であるか否かを判断する。

まずは無効な跳びを除外する。平均の毎回跳び時間Ｔ１を計算して、ある一回の跳び時間
が３Ｔ１より大きい場合、無効な跳びとして、この跳びを計数しない。

そして無効な縄跳びを除外する。一回の有効な映像跳びに対応する時間周期内の音声縄跳
びの回数を探し出し、結果として一回の有効な映像跳びが一回の音声縄跳びに対応するか
、或いは一回の有効な映像跳びが複数回の音声縄跳びに対応する場合、有効な縄跳びとし
て、音声縄跳びの回数として縄跳びの回数を計数する。結果として一回の有効な映像跳び
内に音声縄跳びが無い場合、この縄跳びを失敗した縄跳びとして、回数に計上しない。

ステップＢ１１、有効な縄跳び回数であれば、カウンタを１増加させ、有効な縄跳びでな
ければ、計数しない。

Ｂ１２、計数時間を超えたか否かを判断して、そうであれば、計数を終了させ、そうでな
ければ、次の参考画像に対してステップＢ２からステップＢ１２を繰り返す。

ステップＢ１３、計数の結果を出力して且つ表示する。

上記実施例において、高精細度録画機器（例えば、スマートホンなど）を利用して、一定
の角度、適当な距離から、縄跳びをする人を含む縄跳び過程全体に対して記録して、記録
の過程では、縄跳びする人には原位置で縄跳びする（縄跳びする時に大範囲の前後左右の
水平移動をしない）ようにしてもらう必要がある。相対的に安定した映像画像を取得して
から、映像情報に対して処理を行い、そして得られた画像データに対して分析を行ってか
ら縄跳びの回数を判断すると共に、映像中の音声情報を利用して縄跳びの計数を行い、最
後に映像及び音声情報を結合して総合的に計算してから縄跳びの回数を確定する。この方
法によれば、人の顔の位置及び縄が地面と接触する音を認識することで、縄跳びの回数を
判断する目的を達成して、正確なだけではなく、連続跳びなどの比較的特別な縄跳び回数
を判断することもできる。しかも、映像は遡ることができるので、非常に良い応用価値を
有する。

実施例２
図２を参照し、本発明の第二実施例ではスマート縄跳び計数方法を提案し、このスマート
縄跳び計数方法は以下のステップを含むことができる。

ステップＡ７、計数時間に達した時、計数の結果を出力して且つ表示する。

好ましくは、ステップＡ２において、音声に毎回鋭い音が現れる周期によって縄跳びの周
期Ｔ１を確定する。通常、全ての周期の平均値を取る。

好ましくは、ステップＡ４において、縄跳びで毎回通過されるエリアに対して、長さ７７
画素、幅１５画素の矩形部分を切り取って、参考エリアとする。

参考エリアは、縄跳びの度に通過される（撮影の角度が異なる際や、異なる人が縄跳びす
る際に、参考エリアが異なる場合がある）。撮影の相対距離と縄跳びの相対位置を確定し
たら、このエリアは相対的に確定することができる。参考エリアの確定には様々な方法が
あり得る。一つの座標点をを左上の頂点とし、長さ７７画素、幅１５画素の矩形部分を確
定する。このエリアの選択された背景色は比較的明確であり、ノイズが少なく、さらに、
縄の運動は、毎回このエリアを通過する。

好ましくは、ステップＡ５において、二値化処理は最大級間分散法を採用する。二値化処
理後、二値画像中の面積が８画素点未満のオブジェクトを消去することで、干渉データを
取り除く。

最大級間分散法「単にＯＴＳＵ法という」は一種の自己適応閾値確定方法であり、画像の
グレースケール特性に応じて、画像を背景と目標の二つの部分に分け、背景と目標との間
の級間分散が大きいほど、画像を構成する二つの部分の差が大きいということになる。一
部の目標を誤って背景に分ける場合も、一部の背景を誤って目標に分ける場合も、二つの
部分の差を小さくしてしまうので、級間分散を最大にする分割は、誤って分けてしまう確
率が最も小さいことを意味する。二値化処理後でも若干の干渉はあるが、本発明では、後
続の解析処理のために、二値画像中の面積が８画素点未満のオブジェクトを消去する。

好ましくは、ステップＡ５において、参考画像に対してエッジ追跡を行う方法は以下にな
る。

ステップＡ５１、ｂｗｂｏｕｎｄａｒｉｅｓ関数を利用して、画像中の各目標のエッジ追
跡を行う。図４に示すように、エッジ追跡の目的は、画像中の各目標をはっきり分離する
ことにある。

ステップＡ５２、目標を分離してから、それに番号を付与して、且つＨＳＶ法により色処
理を行い、それぞれ異なる色で異なる目標を塗りつぶすことで、より明らかな区分効果を
達成する。

ステップＡ５３、番号付与後の各目標に対してさらにｒｅｇｉｏｎｐｒｏｐｓ関数を使っ
て分析する。

好ましくは、ステップＡ５において、目標が縄跳びであるか否かを判断する方法は以下に
なる。

エッジ追跡を経た目標を分離して且つ番号を付与し、ＨＳＶ法により色処理を行い、且つ
それぞれ異なる色で各部分を塗りつぶして、各部分の離心率と、面積と、８方向のエリア
の極値点との三つのデータを取得し、三つのデータがいずれも所望の区間に落ちた場合、
目標が縄跳びであると判断する。

好ましくは、離心率の所望区間は０．９２～１の間で、面積の所望値区間は１１９０～１
２８０画素点の間であり、８方向のエリアの極値点データ行列については特定の表で設定
する。

計数時には、離心率が０．９２〜１、面積が１１９０〜１２８０画素点、八
方向のエリアの極値点データ行列が設定表と同じであることを同時に満たした場合にのみ
一回の有効な縄跳びとして、且つ１回計数する。

放物線の特徴に合致するか否かという方法を利用して目標に対して判断を行う。縄が周期
運動をする場合は放物線に近似的に投影できて、放物線の離心率が１であるため、離心率
が１に近いか否かから、マークされた部分が放物線の特徴に合致しているかどうかを判断
することができ、縄を認識できることになる。正確に判断するために、同時に面積と８方
向のエリアの極値点データを用いて補助認識を行う。

実施例２においてステップＡ１―Ａ７に関するさらなる好ましい案は、第一実施例におけ
る関連ステップＡ１－Ａ７にも同様に適用できることは、説明しておく必要がある。

実施例３
図６に示すように、本発明の第三実施例では、スマート目標認識に基づく縄跳び計数方法
を提案し、前記スマート目標認識に基づく縄跳び計数方法は以下のステップを含むことが
できる。

ステップＢ４、顔エリアの中心点高さ座標を取り出す。

ステップＢ１１、有効な縄跳び回数であれば、カウンタを１増やし、有効な縄跳びでなけ
れば、計数しない。

ステップＢ１３、計数の結果を出力して且つ表示する。

好ましい、ステップＢ３では、各フレーム画像中の縄跳びをする人の顔エリアを確定する
。具体的に、以下のステップを含む。

ステップＢ３１、各フレームの画像に対して肌色認識を行い、且つ干渉データをフィルタ
で除去して、二値化画像を得る。

顔部の形状と中心位置の検出について、画像の中で顔部の位置を決めて且つ顔部の最小外
接矩形を得るだけでよく、即ち、概ね顔部エリアを線で囲めばよい。よって、ガウス肌色
確率モデルを採用する。肌色の検出には、通常ＹＣｂＣｒ色空間を採用し、ＲＢＧをＹＣ
ｂＣｒに変換する式は以下になる。

（Ｙ＝０．２５７×Ｒ＋０．５６４×Ｇ＋０．０９８×Ｂ＋１６）
（Ｃｂ＝－０．１４８×Ｒ－０．２９１×Ｇ＋０．４３９×Ｂ＋１２８）
（Ｃｒ＝０．４３９×Ｒ－０．３６８×Ｇ－０．０７１×Ｂ＋１２８）
肌色は色度空間、即ち（Ｃｂ、Ｃｒ）空間において、ガウス分布を満たす。二次元ガウス
型関数によれば、各画素の肌色確率密度の計算式は以下になる。

但し、ｘ＝

、

、即ち平均値である。

、即ち共分散行列である。

上記式によって計算して画像中の各画素と肌色との類似度を得て、各画素と肌色との類似
度を各画素のグレースケールと関連付けて、カラー画像をグレースケール画像、即ち肌色
類似画像に変換して、それに基づいてグレースケール画像を二値化された画像に変換する
。

ステップＢ３２、顔部ではない肌色エリアを除外する。

二値画像にはさらに、顔部ではない露出された肌色エリア、例えば、腕、手、腿、脚など
を含み、それらを区別する必要がある。本例では、顔部自身の幾何的特徴から、三つの制
限条件―画素の個数の制限（即ち占められる面積の大きさの制限）、縦横比の制限、及び
矩形度（即ち矩形との類似度）の制限を利用して、顔部をほかの顔部ではない肌色エリア
から抽出する。具体的に説明すると、以下になる。

縄跳びをする人の服によって覆われているため、異なる肌色エリア間は繋がっていない。
よって、各肌色エリアを走査して、それぞれ各肌色エリアの画素点の個数、最大長さと最
大幅、矩形度などの情報を得て、上記の三つの制限条件に基づいて顔部エリアに属するか
否かを判断することが可能である。顔部ではない肌色エリアに対して、当該エリアの全て
の画素の値に０を代入し、即ち、黒色に変えて、背景とする。

ステップＢ３３、元のＲＧＢ画像の中で顔部エリアを線で囲む。

顔部エリアを得てから、当該エリアの長さと幅の最大値座標と最小値座標情報に基づいて
顔部の最小外接矩形の大きさと位置を確定して、そしてオリジナルのＲＧＢ画像の同じ位
置に当該最小外接矩形を描画して、即ち顔部エリアを線で囲んで、顔エリアの確定作業を
完成できる。

好ましくは、ステップＢ３で、顔エリアの中心点高さ座標を取り出すステップを以下のよ
うに説明する。

ステップＢ３３で得られた顔エリアの四つの頂点の座標に基づいて幾何中心の座標を取り
、中心点の座標とする。原位置での縄跳びの過程で、縄跳びをする人が水平移動するエリ
アは通常あまり大きくないので、当該座標の高さの変化を縄跳びの過程で人の重心の高さ
変化に近似させることが可能で、座標の高さが時間とともに変化する規則性を見つければ
、縄跳びの回数を得ることが可能になる。

好ましくは、ステップＢ４で、中心点の高さ座標の時間とともに変化する曲線を取得して
、ゼロ交差計数法により縄跳びをする人が跳んだ回数を得るステップは以下になる。

ステップＢ４１、中心点の高さ座標が時間とともに変化する曲線を作成して、且つ移動平
均フィルタ処理を行う。

ステップＢ３により顔エリアの中心点の高さ座標を知ってから、中心点の高さ座標が時間
とともに変化する曲線を得られる。この曲線にはいくつかのディザと棘などが存在するの
で、移動平均フィルタ処理を行う必要がある。

移動平均フィルタは統計規則性を基礎として、信号に対してフィルタリングしてノイズを
除去する方法であり、その原理は以下になる。連続した処理される予定のデータを数が
Ｎであるウィンドウと見なして、一つの新しいデータを処理する度に、ウィンドウ中のＮ
個のデータを全体として前へ１桁ずらす。即ち、ウィンドウ中の一番目のデータが消去さ
れて、新しいデータがウィンドウ中の最後のデータとなり、そしてウィンドウ中のＮ個の
数に対して平均値を求め、求められた平均値を処理されるデータの値とする。その計算式
は以下のようになる。

但し、ｎはフレーム数を代表し、ｘ（ｎ）は第ｎフレームの画像の実際の中心点高さを代
表し、Ｎは移動平均フィルタのウィンドウ長さであり、ｙ（ｎ）は移動平均フィルタされ
た後の第ｎフレームの画像の中心点高さを表す。移動平均フィルタにより、運動軌跡曲線
中のディザと棘を比較的良く取り除いて、曲線を連続的且つ滑らかにすることが可能であ
る。ウィンドウ長さＮの値の選択は具体的な計数方法と結合する必要があり、大きいほど
よい或いは小さいほどよいわけではなく、Ｎ＝５とする。

ステップＢ４２、ゼロ交差計数法を利用して縄跳びをする人が跳んだ回数を得るステップ
は以下になる。

曲線ｙの座標の最大値ｙｍａｘと最小値ｙｍｉｎを探し出し、最大値ｙｍａｘと最小値ｙ
ｍｉｎに対して平均値を求めてｙｍｉｄを得る。

直線ｙ＝ｙｍｉｄを新しい座標軸のｘ軸として、フィルタされた軌跡曲線を改めて作成す
る。

フィルタされた軌跡曲線と新しい座標軸のｘ軸との交差点の個数を探し出し、交差点の個
数を２で割った値が縄跳びの回数になる。

好ましくは、ステップＢ５で、音声のサンプリング周波数を抽出し、時間を横座標とする
音声波形図を作成するステップは：縄跳び映像の音声情報を抽出して測定対象音声として
、その時間領域波形図を得る。

好ましくは、ステップＢ５で、相互相関係数法を利用して縄跳びの回数を計算するステッ
プは以下になる。

縄跳びと地面とのある一回のぶつかりの音声断片をサンプル音声ｘとして、縄跳びの映像
中の音声シーケンスを測定対象音声ｙとして、サンプル音声ｘと測定対象音声ｙとの相互
相関係数を計算する。相互相関係数の計算方法を以下のように説明する。

但し、Ｎはｘ、ｙの中の長い方の信号シーケンスの長さであり、アスタリスクは複素共役
を示す。ｍは平行移動したサンプリング点の個数を示す。

はシーケンスｘを動かさないまま、シーケンスｙを左へｍ個のサンプリング点移してから
、二つのシーケンスを一点一点対応してかけた結果を示す。

はシーケンスｙを動かさないまま、シーケンスｘを左へｍ個のサンプリング点移してから
、二つのシーケンスを一点一点対応してかけた結果を示す。相互相関関数は、二つの信号
ｘ、ｙの何れか二つの異なる時点における値の間の相関度を表し、二つの信号ｘ、ｙが周
波数領域内で相関するか否かを判断する重要な基準の一つである。相互相関係数は、二つ
の信号ｘ、ｙに対して相互相関演算を行った結果を正規化して得られる。相互相関係数が
大きいほど、二つの信号の相関度が大きいことを表す。

「相互相関係数」図を作成し、適当な相互相関係数閾値（閾値を０．１とする）を設定し
て、相互相関係数が設定閾値を超えた回数ｍを統計すると、ｍは縄跳びの回数になる。

二回の縄跳び計数の間の最小データ個数間隔を設ける。バイドゥによれば、一人で一分間
に縄跳びする記録は３００個であり、即ち、各縄跳びの周期は０．２ｓより大きいが、音
声のサンプリング周波数はＦｓ＝４４１００であり、即ち、二回の縄跳びの計数の間には
少なくとも０．２×４４１００＝８８２０個のデータの間隔を取るべきである。

好ましくは、ステップＢ６で、映像と音声情報を結合して有効な縄跳び回数であるか否か
を判断し、有効な縄跳び回数であればカウンタを１増やし、有効な縄跳びでなければ、計
数しないステップは以下になる。

ステップＢ６１、無効な跳びを除外する。平均の毎回跳び時間Ｔ１を計算して、ある一回
の跳び時間が３Ｔ１より大きい場合、無効な跳びとして、この跳びを計数しない。

ステップＢ６２、無効な縄跳びを除外する。一回の有効な映像跳びに対応する時間周期内
の音声縄跳びの回数を探し出し、結果として一回の有効な映像跳びが一回の音声縄跳びに
対応するか、或いは一回の有効な映像跳びが複数回の音声縄跳びに対応する場合（連続跳
びの場合）、有効な縄跳びとして、音声縄跳びの回数で縄跳びの回数を計数する。結果と
して一回の有効な映像跳び内に音声縄跳びが無い場合、この縄跳びを失敗した縄跳びとし
て、回数に計上しない。

映像と音声を結合して縄跳びの回数を確定することについて、特に縄跳びが連続跳びであ
る時（即ち、人が一回跳び上がることで縄を二回或いは二回以上回す場合）、映像と音声
情報を結合して縄跳びの回数を判定することは、単に映像或いは音声情報を利用して回数
を確定することに無い利点を有することは、説明しておく必要がある。

実施例３においてステップＢ１―Ａ１３に関するさらなる好ましい案は、第一実施例にお
ける関連ステップＢ１－Ａ１３にも同様に適用できることは、説明しておく必要がある。

Claims

縄跳び動作のオリジナル映像データを取得して、オリジナル映像データから音声データと
画像データを抽出するステップと；
前記音声データと前記画像データから抽出された音声情報と画像情報に基づいて、縄跳び
する人が跳んだ回数を計算するステップと；
計数の結果を出力して且つ表示するステップと、を含み、
「前記音声データと前記画像データから抽出された音声情報と画像情報に基づいて、縄跳
びする人が跳んだ回数を計算する」ステップは：
音声データから音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を作
成し、音声波形図に基づいて一回の縄跳び動作の周期Ｔ１を確定するステップと；
画像データに対してシングルフレーム処理を行い、順に配列された一組のシングルフレー
ム画像を得るステップと；
シングルフレーム画像の参考エリアを確定して、且つ当該参考エリアを切り取って参考画
像を得るステップと；
参考画像に対して二値化処理とエッジ追跡を行い、目標を分離して、且つ目標が縄跳びで
あるか否かを判断するステップと；
目標が縄跳びである隣り合う参考画像間の時間間隔がＴ１未満であるか否かを判断し、そ
うであれば、重複計数になり、カウンタを増加させず、そうでなければカウンタを一回増
加させるステップとを含む
ことを特徴とする縄跳び計数方法。
「音声データから音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を
作成し、音声波形図に基づいて一回の縄跳び動作の周期Ｔ１を確定する」ステップでは、
毎回音声に鋭い音が現れる周期に基づいて縄跳びの周期Ｔ１を確定する
ことを特徴とする請求項１に記載の縄跳び計数方法。
「シングルフレーム画像の参考エリアを確定して、且つ当該参考エリアを切り取って参考
画像を得る」ステップでは、縄跳びで毎回通過されるエリアに対して、長さ７７画素、幅
１５画素の矩形部分を切り取って、参考エリアとする
ことを特徴とする請求項１に記載の縄跳び計数方法。
「参考画像に対して二値化処理とエッジ追跡を行い、目標を分離して、且つ目標が縄跳び
であるか否かを判断する」ステップでは、二値化処理は最大級間分散法を用いて；二値化
処理後、二値画像中の面積が８画素点未満のオブジェクトを消去することで、干渉データ
を取り除く
ことを特徴とする請求項１に記載の縄跳び計数方法。
「参考画像に対して二値化処理とエッジ追跡を行い、目標を分離して、且つ目標が縄跳び
であるか否かを判断する」ステップでは、参考画像に対してエッジ追跡を行う方法は：
ｂｗｂｏｕｎｄａｒｉｅｓ関数を利用して、画像中の各目標のエッジ追跡を行い、図４に
示すように、エッジ追跡の目的は、画像中の各目標をはっきり分離することにあり；
目標を分離してから、それに番号を付与して、且つＨＳＶ法により色処理を行い、それぞ
れ異なる色で異なる目標を塗りつぶし；
番号付与後の各目標に対してさらにｒｅｇｉｏｎｐｒｏｐｓ関数を使って分析する
ことを特徴とする請求項１に記載の縄跳び計数方法。
「参考画像に対して二値化処理とエッジ追跡を行い、目標を分離して、且つ目標が縄跳び
であるか否かを判断する」ステップでは、エッジ追跡を経た目標を分離して且つ番号を付
与し、ＨＳＶ法により色処理を行い、且つそれぞれ異なる色で各部分を塗りつぶして、各
部分の離心率と、面積と、８方向のエリアの極値点との三つのデータを取得し、三つのデ
ータがいずれも所望の区間に落ちた場合、目標が縄跳びであると判断する
ことを特徴とする請求項１に記載の縄跳び計数方法。
離心率の所望区間は０．９２～１の間で、面積の所望値区間は１１９０～１２８０画素点
の間であり、８方向のエリアの極値点データ行列については特定の表で設定する
ことを特徴とする請求項6に記載の縄跳び計数方法。
「前記音声データと前記画像データから抽出された音声情報と画像情報に基づいて、縄跳
びする人が跳んだ回数を計算する」ステップは：
画像データに対してシングルフレーム処理を行い、順に配列された一組のシングルフレー
ム画像を得るステップと；
各フレーム画像中の縄跳びをする人の顔エリアを確定して、且つ顔エリアの中心点高さ座
標を取り出すステップと；
中心点の高さ座標が時間とともに変化する曲線を取得して、ゼロ交差計数法により縄跳び
をする人が跳んだ回数を得るステップと；
音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を作成し、且つ相互
相関係数法により縄跳びの回数を計算するステップと；
映像と音声情報を結合して有効な縄跳び回数であるか否かを判断し、有効な縄跳び回数で
あればカウンタを１増やし、有効な縄跳びでなければ、計数しないステップと
を含むことを特徴とする請求項１に記載の縄跳び計数方法。
「各フレーム画像中の縄跳びをする人の顔エリアを確定して、且つ顔エリアの中心点高さ
座標を取り出す」ステップでは、各フレーム画像中の縄跳びをする人の顔エリアを確定す
る方法は：
各フレームの画像に対して肌色認識を行い、且つ干渉データをフィルタで除去して、二値
化画像を得て；
顔部ではない肌色エリアを除外し；
元のＲＧＢ画像の中で顔部エリアを線で囲む
ことを特徴とする請求項８に記載の縄跳び計数方法。
「中心点の高さ座標が時間とともに変化する曲線を取得して、ゼロ交差計数法により縄跳
びをする人が跳んだ回数を得る」ステップでは、中心点の高さ座標が時間とともに変化す
る曲線を取得して、ゼロ交差計数法により縄跳びをする人が跳んだ回数を得る方法は：
中心点の高さ座標が時間とともに変化する曲線を作成して、且つ移動平均フィルタ処理を
行い、連続した処理される予定のデータを数がＮであるウィンドウと見なして、一つの新
しいデータを処理する度に、ウィンドウ中のＮ個のデータを全体として前へ１桁ずらし、
即ち、ウィンドウ中の一番目のデータが消去されて、新しいデータがウィンドウ中の最後
のデータとなり、そしてウィンドウ中のＮ個の数に対して平均値を求め、求められた平均
値を処理されるデータの値として、その計算式は以下のようになり：

但し、ｎはフレーム数を代表し；ｘ（ｎ）は第ｎフレームの画像の実際の中心点高さを代
表し；Ｎは移動平均フィルタのウィンドウ長さであり；ｙ（ｎ）は移動平均フィルタされ
た後の第ｎフレームの画像の中心点高さを表し；
曲線ｙの座標の最大値ｙｍａｘと最小値ｙｍｉｎを探し出し、最大値ｙｍａｘと最小値ｙ
ｍｉｎに対して平均値を求めてｙｍｉｄを得て；
直線ｙ＝ｙｍｉｄを新しい座標軸のｘ軸として、フィルタされた後の軌跡曲線を改めて作
成し；
フィルタされた軌跡曲線と新しい座標軸のｘ軸との交差点の個数を探し出し、交差点の個
数を２で割った値が縄跳びの回数になる
ことを特徴とする請求項８に記載の縄跳び計数方法。
「音声のサンプリング周波数を抽出し、時間を横座標とする音声波形図を作成し、且つ相
互相関係数法により縄跳びの回数を計算する」ステップでは、相互相関係数法により縄跳
びの回数を計算する方法は：
縄跳びと地面とのある一回のぶつかりの音声断片をサンプル音声ｘとして、縄跳びの映像
中の音声シーケンスを測定対象音声ｙとして、サンプル音声ｘと測定対象音声ｙとの相互
相関係数を計算し；
「相互相関係数」図を作成し、相互相関係数閾値を設定して、相互相関係数が設定閾値を
超えた回数ｍを統計すると、ｍは縄跳びの回数になる
ことを特徴とする請求項８に記載の縄跳び計数方法。
「「相互相関係数」図を作成し、相互相関係数閾値を設定して、相互相関係数が設定閾値
を超えた回数ｍを統計すると、ｍは縄跳びの回数になる」ステップでは、相互相関係数閾
値を０．１とする
ことを特徴とする請求項１１に記載の縄跳び計数方法。
「映像と音声情報を結合して有効な縄跳び回数であるか否かを判断し、有効な縄跳び回数
であればカウンタを１増やし、有効な縄跳びでなければ、計数しない」ステップでは、映
像と音声情報を結合して有効な縄跳び回数であるか否かを判断ステップは：
無効な跳びを除外し；平均の毎回跳び時間Ｔ１を計算して、ある一回の跳び時間が３Ｔ１
より大きい場合、無効な跳びとして、この跳びを計数せず；
無効な縄跳びを除外し；一回の有効な映像跳びに対応する時間周期内の音声縄跳びの回数
を探し出し、結果として一回の有効な映像跳びが一回の音声縄跳びに対応するか、或いは
一回の有効な映像跳びが複数回の音声縄跳びに対応する場合、有効な縄跳びとして、音声
縄跳びの回数として縄跳びの回数を計数し；結果が一回の有効な映像跳び内に音声縄跳び
が無い場合、この縄跳びを失敗した縄跳びとして、回数に計上しない
ことを特徴とする請求項８に記載の縄跳び計数方法。