JP6413299B2 - 画像解析装置、画像解析方法、およびプログラム - Google Patents

Description

本発明は、歩行時や走行時の足の運動が撮影された動画像を解析する画像解析装置、画像解析方法、およびプログラムに関する。

従来、趣味ランナーの正しい歩行のチェック、競技ランナーが速さを追及するために動作を解析する研究が行なわれている。中でも足の着地・離地タイミングは、歩行動作や走行動作の解析において重要な要素の一つであり、着地・離地タイミングを利用したり、他の指標と組み合わせることで歩行動作や走行動作の様々な特徴、例えばピッチ、ストライド、体の沈みこみ周期を知ることができる。

歩行動作や走行動作を解析する技術として、例えば下記特許文献１には、靴に圧力センサを装着し、圧力センサにより検出した圧力の変化に基づいて着地・離地タイミングを特定する技術が記載されている。係る技術によれば、着地・離地タイミングを正確に検出できる。

また、例えば下記特許文献２には、人物の歩行動作を撮影した動画像を解析し、着地・離地タイミングを検出する技術、すなわち被験者の足にマーカを取り付け、撮影画像におけるマーカの上下方向の動きを解析することにより着地・離地タイミングを検出する技術が記載されている。係る技術によれば、着地・離地タイミングを比較的容易に特定することができる。

特開２００９−１０６３９１号公報 特開２００７−３１９３４７号公報

しかしながら、圧力センサを使用する技術では、着地・離地タイミングを正確に検出できる反面、圧力センサにより検出した圧力に含まれるノイズ成分を正しく取り除く必要があるとともに、動作解析に先立って圧力センサを適正に取り付ける作業が煩雑である。したがって、実際の動作解析に手間を要するという問題がある。

一方、動画像を解析する技術では、着地・離地タイミングを比較的容易に特定することができる反面、実際の着地・離地タイミングにおけるマーカの上下方向の動きは必ずしも一定ではない。つまりマーカの位置が同じであっても必ずしも足が着地、離地しているとは限らない。したがって、必ずしも着地・離地タイミングを正確に検出できるとは限らないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、比較的容易に、かつ高精度で歩行動作や走行動作における着地タイミングや離地タイミングを検出することができる画像解析装置、画像解析方法、およびプログラムを提供することを目的とする。

前記目的を達成するため、本発明の画像解析装置の一態様は、
連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段と、
前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、位置関係として前記特定手段により特定された前記足側領域と前記影領域とが触れているか否かを確認する確認手段と、
前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の離地タイミングとして検出する、のうちの少なくともいずれか一方を行う検出手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の画像解析装置の一態様は、
連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段と、
前記特定手段により特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定手段により特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定手段と、
位置関係として、前記注目点設定手段により設定された前記足側注目点と前記影側注目点との距離を確認する確認手段と、
前記確認手段により確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の前記着地タイミング又は前記足の前記離地タイミングのうちの少なくともいずれか一方として検出する検出手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の画像解析方法の一態様は、
連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定工程と、
前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、位置関係として前記特定工程で特定された前記足側領域と前記影領域とが触れているか否かを確認する確認工程と、
前記確認工程で前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の離地タイミングとして検出する、のうちの少なくともいずれか一方を行う検出工程と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明の画像解析方法の一態様は、
連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定工程と、
前記特定工程で特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定工程で特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定工程と、
位置関係として、前記注目点設定工程で設定された前記足側注目点と前記影側注目点との距離を確認する確認工程と、
前記確認工程で確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の前記着地タイミング又は前記足の前記離地タイミングのうちの少なくともいずれか一方として検出する検出工程と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、
画像解析装置が有するコンピュータを、
連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段、
前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、位置関係として前記特定手段により特定された前記足側領域と前記影領域とが触れているか否かを確認する確認手段、
前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の離地タイミングとして検出する、のうちの少なくともいずれか一方を行う検出手段、
として機能させる、
ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、
画像解析装置が有するコンピュータを、
連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段、
前記特定手段により特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定手段により特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定手段、
位置関係として、前記注目点設定手段により設定された前記足側注目点と前記影側注目点との距離を確認する確認手段、
前記確認手段により確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の前記着地タイミング又は前記足の前記離地タイミングのうちの少なくともいずれか一方として検出する検出手段、
として機能させる、
ことを特徴とする。

本発明によれば、比較的容易に、かつ高精度で歩行動作や走行動作における着地タイミングや離地タイミングを検出することが可能となる。

本発明の一実施の形態を示す画像解析装置のブロック図である。 検出処理を示すフローチャートである。 着地・離地判定処理を示すフローチャートである。 画像解析装置が処理対象とする動画像の撮影環境を示す図である。 検出処理で想定されている光源の位置を示す図である。 （ａ）は歩行時や走行時における靴の動きを示す図、（ｂ）は靴の傾き角度を示す図である。 光源位置に応じた靴と、その影との位置関係を示した模式図である。 画像内に設定する各注目点を示す図である。

以下、本発明の実施形態について説明する。図１は、本発明の一実施の形態を示す画像解析装置１の電気的構成の要部を示すブロック図である。

画像解析装置１は、人物の歩行動作や走行動作を撮影した動画像あるいは静止画を連写のような連続した画像を解析することによって、歩行動作や走行動作における着地・離地タイミングを検出する機能を備えたものである。ここでは、動画像を例に説明をする。また、この画像解析装置１は、例えばデジタルカメラや、パーソナルコンピュータ、多機能携帯電話機であるスマートフォン（Smart Phone）等の画像処理機能を有する汎用の装置によって実現される。なお、ここで離地とは、歩行動作や走行動作において足が地面から離れることをいう。

以下説明すると、画像解析装置１は、装置全体を制御する制御部１１、プログラムメモリ１２、メインメモリ１３、メディアコントローラ１４、表示部１５、キー入力部１６を備えている。

制御部１１は、主としてＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリから構成される。

プログラムメモリ１２は、例えば内蔵フラッシュメモリから構成される不揮発性の記録媒体である。プログラムメモリ１２には、制御部１１が画像解析装置１の制御に要する各種プログラム、及び各種データが記憶されている。各種プログラムには、制御部１１に、記録メディア５０に記録された動画データを対象とした画像認識を含む後述する検出処理を行わせるためのプログラムが含まれる。

メインメモリ１３は、例えばＤＲＡＭ（dynamic random-access memory）から構成されるランダムアクセス可能な揮発性の記録媒体であり、制御部１１がプログラムを実行する際のワークメモリとして使用される。すなわちメインメモリ１３には、制御部１１がプログラムメモリ１２から読み出したプログラムや、動画像の表示用データ等の各種データが適宜記憶される。

メディアコントローラ１４は、画像解析装置１の図示しない本体に設けられているメモリカードスロットに着脱自在に装着された記録メディア５０と、制御部１１との間におけるデータの入出力を制御する入出力インターフェースである。

記録メディア５０は、例えばフラッシュメモリからなる不揮発性のカード型の記憶媒体であり、記録メディア５０には、例えば任意のデジタルカメラにおいて撮影され記録された動画データ、例えばＭＰＥＧ（Motion Picture Experts Group）方式で圧縮された動画データが記録されている。

表示部１５は、例えばバックライト付きのカラー液晶表示パネル、及びその駆動回路により構成され、画像情報や文字情報等の各種情報を表示する。

キー入力部１６は、電源キーや、その他の操作ボタン等によって構成され、ユーザによる操作ボタン等の操作情報を制御部１１に供給する。

そして、画像解析装置１においては、制御部１１が前記プログラムメモリ１２に格納されているプログラムに従い後述する検出処理を実行することによって、前記記録メディア５０に動画データとして記憶される人物の歩行動作や走行動作を撮影した動画像から、動作中における着地・離地タイミングを検出する。

画像解析装置１において着地・離地タイミングの検出対象となる動画像は、例えば図４（ａ）に示したように影２０１が記録できる環境で、デジタルカメラ等の任意の撮影装置５０１によって人物Ｈの歩行動作や走行動作が連続撮影されたものである。

また、撮影時には、図４（ｂ）に示したように、人物Ｈが使用する靴１０１の側面の踵側に第１のマーカＭ１が、またつま先側に第２のマーカＭ２が、それぞれ撮影装置５０１から見えるように取り付けられており、第１のマーカＭ１と第２のマーカＭ２とが画像内において認識可能な色や形状を有していることを前提とする。

なお、着地・離地タイミングの検出対象となる動画像は、例えばルームランナー上での歩行動作や走行動作を撮影したものであってもよく、また、第１のマーカＭ１と第２のマーカＭ２とは、人物Ｈが靴１０１を使用していない場合には足に取り付けられていても構わない。

次に、画像解析装置１における着地・離地タイミングの検出方法について説明する。図２は、使用者による所定のボタン操作によって、着地・離地タイミングの検出対象となる任意の動画像が指定されることにより制御部１１が実行する検出処理を示したフローチャートである。

制御部１１は、使用者による動画像の指定とともに検出処理を開始すると、まず使用者に動画像が撮影されたときの光源位置を選択させる（ステップＳＡ１）。

ここで、選択可能な光源位置は、予め想定されている光源位置であって、図５に示した５種類である。すなわち被写体の進行方向側（1:side forward）、進行方向の逆側（2:side back）、被写体に対して撮影装置５０１と同じ方向、つまり順光位置（3:camera back）、被写体に対して撮影装置５０１と逆の方向、つまり逆光位置（4:camera forward）、被写体の真上（5: center up）である。

そして、ステップＳＡ１の処理においては、上記複数の光源位置のうちで、実際の光源位置に該当する光源位置を使用者に選択させる。

その後、制御部１１は、動画像の各フレームの画像を処理対象として順に設定し（ステップＳＡ２）、以下の処理を行う。

すなわち、制御部１１は、対象画像において靴１０１に取り付けられている第１のマーカＭ１と第２のマーカＭ２を各画素の色情報等に基づく公知の画像認識技術によって認識した後（ステップＳＡ３）、画像内において歩行や走行の動作中における足の動きに応じて変化する靴１０１の水平方向に対する前後方向の傾き角度（θ）を算出する（ステップＳＡ４）。

図６（ａ）は、歩行時や走行時における足の動きに応じた靴１０１の動きと、傾きの状態の変化を示した図であり、図６（ｂ−１）、（ｂ−２）は靴１０１の傾き角度（θ）を示す図である。

ステップＳＡ３の処理に際して制御部１１は、画像内に、第１のマーカＭ１及び第２のマーカＭ２の中心を通る線分、つまり足の前後方向に延びる線分を基準線Ｌとして設定し、この基準線Ｌと画像内の水平方向（画面のｘ軸）とがなす角度θを靴１０１の傾き角度として計算する。ここで取得する角度θは、図６（ｂ−１）に示したように、つま先側が上向きの状態のときを正（＋）、逆に図６（ｂ−２）に示したように、つま先側が下向きの状態のときを負（−）とする角度である。

そして、ステップＳＡ３の処理で得られる傾き角度θは、図６（ａ）に示したように着地時には正（＋）の大きな値となり、離地時に負（−）の大きな値となる。したがって、動画像のフレーム期間において傾き角度θが大小の極値、つまり極大値又は極小値となる付近のフレームタイミングが着地タイミング及び離地タイミングであると想定できる。

係ることから、制御部１１は、各フレーム画像から傾き角度θを繰り返し取得し、その間における傾き角度θの変化から、傾き角度θが極大となるフレーム、及び極小となるフレームをそれぞれ確認する（ステップＳＡ５、ステップＳＡ７）。

そして、制御部１１は、傾き角度θが極大となるフレームが確認できず（ステップＳＡ５：ＮＯ）、かつ極小となるフレームも確認できるまでは（ステップＳＡ５：ＮＯ、ステップＳＡ７：ＮＯ）、処理対象とすべき次のフレームが存在する間（ステップＳＡ１１：ＹＥＳ）、前述したステップＳＡ２以降の処理を繰り返す。

一方、制御部１１は、上記の処理を繰り返す間に、傾き角度θが極大となるフレームが確認できると（ステップＳＡ５：ＹＥＳ）、その時点で、実際の着地タイミングが含まれることが確実であるフレーム期間を、後述する着地・離地判定処理の対象とすべき着地判定期間として設定する（ステップＳＡ６）。

また、制御部１１は、傾き角度θが極小となるフレームが確認できると（ステップＳＡ７：ＹＥＳ）、その時点で、実際の離地タイミングが含まれることが確実であるフレーム期間を、後述する着地・離地判定処理の対象とすべき離地判定期間として設定する（ステップＳＡ８）。

ここで、上記の着地判定期間、及び離地判定期間を具体的に説明する。まず着地判定期間については、歩行又は走行動作において、実際の着地は、靴１０１の傾き角度θが正（＋）側の極値となる後になる。そのため、本実施形態においては、傾き角度θとして正（＋）の極値が得られたフレームから、靴１０１の底面全領域が着地して靴１０１の影がなくなるフレームまでの期間、すなわち図６（ａ）にＡで示した期間を着地判定期間として設定する。但し、本実施形態では、影がなくなるフレームについては、処理の簡略化を図るため、正（＋）の極値が得られたフレームから決めておいたフレーム数分進んだフレームとする。

一方、離地判定期間については、歩行又は走行動作において、実際の離地は、傾き角度θが負（−）の極値となる前後になる。そのため、傾き角度θとして負（−）の極値が得られたフレームから、事前に決めておいたフレーム数分進んだフレームまでの期間と、負（−）の極値が得られたフレーム以前の影が検出できる範囲の動画像を事前に決めておいたフレーム数分遡ったフレームまでの期間とを合わせた期間、すなわち図６（ａ）にＢで示した期間を離地判定期間として設定する。

そして、制御部１１は、上述した着地判定期間Ａを設定した後（ステップＳＡ６）、又は上述した離地判定期間Ｂを設定した後には（ステップＳＡ８）、図３に示した着地・離地判定処理を実行する。

着地・離地判定処理は、上述した着地判定期間Ａや離地判定期間Ｂの各フレーム画像内における靴１０１と、その影との位置関係に基づいて、着地判定期間Ａにおける着地タイミング、及び離地判定期間Ｂにおける離地タイミングを判定する処理である。なお、以下の説明では着地判定期間Ａと離地判定期間Ｂとを総称して判定期間という。

まず、具体的な処理内容の説明に先立ち、上記判定期間に路面や地面等にできる靴１０１の影について説明する。図７は、靴１０１の位置が同じとき光源位置に応じて異なる靴１０１と、その影２０２との位置関係を示した模式図である。

図７に示したように靴１０１の影２０２の位置は、靴１０１の位置が同じであっても、光源位置が真上（5: center up）のときを基準として、光源位置が進行方向側（1:side forward）のときと進行方向の逆側（2:side back）のときとでは画像内で左右逆方向にずれ、光源位置が順光位置（3:camera back）のときと逆光位置（4:camera forward）のときとでは、画像内で上下逆方向にずれる。

係ることから、着地・離地判定処理においては光源位置を勘案して着地タイミング及び離地タイミングを判定する。

すなわち着地・離地判定処理において制御部１１は、まず、処理開始当初に選択されていた光源位置が逆光位置（図５で4:camera forward）であるか否かを確認する（ステップＳＢ１）。

光源位置が逆光位置である場合（ステップＳＢ１：ＹＥＳ）、制御部１１は、今回の判定期間（着地判定期間Ａ、又は離地判定期間Ｂ）の各フレームの画像をフレーム順に処理対象として設定し（ステップＳＢ２）、以下の処理を行う。

まず、制御部１１は、処理対象に設定した画像内における靴１０１、及び靴の影２０２（以下、単に影という）に該当する領域をそれぞれ特定する（ステップＳＢ３）。係る処理において制御部１１は、例えば画像内の各画素の色情報に基づき公知の画像認識技術によって上記領域を特定する。すなわち路面や地面等は白もしくは茶色であることが多く、また前述した第１のマーカＭ１及び第２のマーカＭ２の周囲の色情報を確認することにより靴１０１の色や、影２０２の色を取得できるため、係る色情報に基づいて靴１０１、及び影２０２に該当する領域を特定する。

なお、ステップＳＢ３の処理は後述するように、着地タイミングや離地タイミングが判定できるまで繰り返し行うが、処理対象の画像が前記判定期間内の２フレーム目以降の画像であるときについては、１つのフレームの画像との間で各画素の色（ＲＧＢ情報）の差分を取得することにより、靴１０１及び影２０２に該当する領域を特定することができる。

次に、制御部１１は、ステップＳＢ３の処理で特定した靴１０１に該当する領域と、影２０２に該当する領域との双方が画像内で触れているか否かを確認し、双方の領域が触れていなければ（ステップＳＢ４：ＮＯ）、ステップＳＢ２の処理へ戻り、次のフレームの画像を処理対象に設定し、前述した処理を繰り返す。

そして、制御部１１は、いずれかのフレームの画像において靴１０１に該当する領域と、影２０２に該当する領域との双方が触れていることが確認できたら（ステップＳＢ４：ＹＥＳ）、そのフレームのタイミングを着地タイミングや離地タイミングとして決定する（ステップＳＢ５）。これにより制御部１１は着地・離地判定処理を終了し、図２の処理に戻る。

一方、上記と異なり、処理開始当初に選択されていた光源位置が逆光位置（図５で4:camera forward）でなかった場合（ステップＳＢ１：ＮＯ）、制御部１１は以下の処理を行う。

すなわち制御部１１は、今回の判定期間（着地判定期間Ａ、又は離地判定期間Ｂ）の各フレームの画像をフレーム順に処理対象として設定（ステップＳＢ６）、設定した画像内における靴１０１、影２０２に該当する領域をそれぞれ特定する（ステップＳＢ７）。なお、ステップＳＢ７の具体的な処理内容はステップＳＢ３と同様である。

次に、制御部１１は、今回の判定期間が着地判定期間Ａであるときには（ステップＳＢ８：ＹＥＳ）、画像内における靴１０１と影２０２との位置関係の判断基準に使用する注目点として、靴１０１側の領域に、図８（ａ）に示した第１の足側注目点１１１ａを設定し、かつ影２０２側の領域に、第１の足側注目点１１１ａと相関関係にある図８（ｂ）に示した第１の影側注目点２１１ａを設定する（ステップＳＢ９）。

具体的に述べると、制御部１１は、まず靴１０１側の領域に、前述した第１のマーカＭ１及び第２のマーカＭ２の中心を通る基準線Ｌと、第１のマーカＭ１の中心を通り基準線Ｌに直交する第１の分割線Ｌ１と、第２のマーカＭ２の中心を通り基準線Ｌに直交する第２の分割線Ｌ２とを設定する。

そして、制御部１１は、靴１０１の領域において基準線Ｌと第１の分割線Ｌ１とによって区画される領域のうちで靴１０１の後端底部に相当する後端底部領域１０１ａのエッジの中心に第１の足側注目点１１１ａを設定する。ここで、後端底部領域１０１ａのエッジとは、後端底部領域１０１ａにおいて靴ではない領域との境界部分である。さらに、制御部１１は、第１の分割線Ｌ１と第２の分割線Ｌ２とによって分割される靴１０１側の領域の前後方向の分割比率（ａ：ｂ：ｃ）を取得する。

次に、制御部１１は、影２０２側の領域に、その領域を上下方向に２分する基準線Ｎを設定した後、基準線Ｎにそれぞれ直交するとともに、影２０２側の領域を、靴１０１側の領域と同様の分割比率（ａ：ｂ：ｃ）で前後方向に分割する第１の分割線Ｎ１と第２の分割線Ｎ２とを設定する。なお、ここで設定した基準線Ｎは、例えば、影の画像領域のＸ，Ｙ座標に対して、主成分分析を行って求められた第一主成分とする方法がある。

そして、制御部１１は、影２０２側の領域において基準線Ｎと第１の分割線Ｎ１とによって区画される領域のうちで影２０２の左下の左下領域２０２ａのエッジの中心に第１の影側注目点２１１ａを設定する。

一方、制御部１１は、今回の判定期間が離地判定期間Ｂであるときには（ステップＳＢ８：ＮＯ）、画像内における靴１０１と影２０２との位置関係の判断基準に使用する注目点として、靴１０１側の領域に、図８（ａ）に示した第２の足側注目点１１１ｂを設定し、かつ影２０２側の領域に、第２の足側注目点１１１ｂと相関関係にある図８（ｂ）に示した第２の影側注目点２１１ｂを設定する（ステップＳＢ１０）。

具体的に述べると、制御部１１は、ステップＢＳ９の処理と同様、まず靴１０１側の領域に前述した基準線Ｌ、第１の分割線Ｌ１、第２の分割線Ｌ２を設定する。そして、制御部１１は、靴１０１の領域において基準線Ｌと第２の分割線Ｌ２とによって区画される領域のうちで靴１０１の先端底部に相当する先端底部領域１０１ｂのエッジの中心に第２の足側注目点１１１ｂを設定する。さらに、制御部１１は、第１の分割線Ｌ１と第２の分割線Ｌ２とによって分割される靴１０１側の領域の前後方向の分割比率（ａ：ｂ：ｃ）を取得する。

次に、制御部１１は、影２０２側の領域に、前述した基準線Ｎ、第１の分割線Ｎ１、第２の分割線Ｎ２を設定する。そして、制御部１１は、影２０２側の領域において基準線Ｎと第２の分割線Ｎ２とによって区画される領域のうちで影２０２の右下の右下領域２０２ｂのエッジの中心に第２の影側注目点２１１ｂを設定する。

引き続き、制御部１１は、ステップＳＢ９又はステップＳＢ１０の処理において靴１０１側の領域と影２０２側の領域とにそれぞれ設定した対応する注目点間の画像内での距離を取得し、それをフレーム番号に対応させて内部メモリに記憶する（ステップＳＢ１１）。すなわち今回の判定期間が着地判定期間Ａであるときには、第１の足側注目点１１１ａと第１の影側注目点２１１ａとの距離を取得して記憶し、今回の判定期間が離地判定期間Ｂであるときには、第２の足側注目点１１１ｂと第２の影側注目点２１１ｂとの距離を取得し、それをフレーム番号に対応させて内部メモリに記憶する。

以後、制御部１１は、今回の判定期間の最終フレームに対する処理が終了するまでは（ステップＳＢ１２：ＮＯ）、ステップＳＢ６の処理へ戻り、次のフレームの画像を処理対象に設定し、前述したステップＳＢ７〜ステップＳＢ１１の処理を繰り返す。

そして、制御部１１は、今回の判定期間の最終フレームについてステップＳＢ７〜ステップＳＢ１１の処理を行った後（ステップＳＢ１２：ＹＥＳ）、判定期間の各フレームにおける靴１０１側の領域と影２０２側の領域との対応する注目点間の距離が最小であったフレームのタイミングを着地タイミング、又は離地タイミングとして決定する（ステップＳＢ１３）。

すなわち、今回の判定期間が着地判定期間Ａであるときには、第１の足側注目点１１１ａと第１の影側注目点２１１ａとの距離が最小であったフレームのタイミングを着地タイミングとして決定し、今回の判定期間が離地判定期間Ｂであるときには、第２の足側注目点１１１ｂと第２の影側注目点２１１ｂとの距離が最小であったフレームのタイミングを離地タイミングとして決定する。これにより制御部１１は着地・離地判定処理を終了し、図２の処理に戻る。

そして、図２の処理に戻ると制御部１１は、着地・離地判定処理で決定した着地タイミング又は離地タイミングを記録メディア５０に記憶する（ステップＳＡ１０）。具体的には、例えば着地タイミング又は離地タイミングを示すフレーム番号や動画像の先頭からの再生時間等のデータを、着地タイミングと離地タイミングとのタイミング種別を示す情報と共に記録メディア５０に記憶する。

以後、制御部１１は、処理対象とすべき次のフレームが存在する間は（ステップＳＡ１１：ＹＥＳ）、前述したステップＳＡ２以降の処理を繰り返すことによって、歩行動作中や走行動作中における着地タイミングと離地タイミングとを順次検出し、各タイミングを記録メディア５０に順に記憶する。

そして、制御部１１は、動画像の最終フレームについて前述した処理を行い、処理対象とすべき次のフレームがなくなった時点で（ステップＳＡ１１：ＹＥＳ）、検出処理を終了する。

以上のように本実施形態の画像解析装置１においては、歩行動作や走行動作が連続撮影された動画像の各フレーム画像における靴１０１と、その影２０２との位置関係に基づいて着地タイミング及び離地タイミングを検出する。

これにより、実際の着地タイミングや離地タイミングにおける靴１０１又は足の上下方向の位置が常に一定でなくとも、それらを正確に検出することができる。

しかも、動画像を撮影するとき靴１０１等に、第１のマーカＭ１と第２のマーカＭ２とを撮影装置５０１から見えるように取り付けておくだけでよく、圧力センサを用いて着地・離地タイミングを検出する場合に比べ、動作解析に要する準備作業が極めて容易である。

よって、比較的容易に、かつ高精度で歩行動作や走行動作における着地タイミングや離地タイミングを検出することができる。

また、本実施形態においては、着地タイミング及び離地タイミングの検出に先立ち、画像内における靴１０１の傾き角度θに基づいて着地判定期間Ａや離地判定期間Ｂ（図６（ａ）参照）を設定し、それらの期間のみを対象として着地タイミング及び離地タイミングの検出を行う。よって、着地タイミング及び離地タイミングを検出するときの画像処理負担が軽減できる。

また、本実施形態においては、光源位置が逆光位置（4:camera forward）に該当する場合であって、実際の着地タイミング又は離地タイミングに際して画像内における靴１０１とその影２０２とが重なることが極めて少ない場合においては、靴１０１とその影２０２とが接したフレームタイミングを着地タイミング又は離地タイミングと判断する。よって、撮影時の光源位置が逆光位置（4:camera forward）であった動画像を対象とする場合の画像処理を簡略化することができる。

また、本実施形態においては、光源位置が逆光位置（4:camera forward）に該当しない場合であって、実際の着地タイミング又は離地タイミングに際して画像内における靴１０１とその影２０２とが重なる可能性が大きい場合においては、判定期間内で第１の足側注目点１１１ａと第１の影側注目点２１１ａとの距離、又は第２の足側注目点１１１ｂと第２の影側注目点２１１ｂとの距離が最小となるフレームタイミングを実際の着地タイミング又は離地タイミングと判断する。よって、撮影時の光源位置が逆光位置（4:camera forward）以外であった動画像を対象とする場合であっても、高精度の検出を行うことができる。

なお、光源位置が逆光位置であっても、光源位置が逆光位置に該当しない場合と同様の方法によって着地タイミング又は離地タイミングを判断するようにしてもよい。この場合は、光源位置を使用者に選択させる処理が必要なくなる。

なお、本実施形態においては、処理対象の動画像の撮影時の光源位置を使用者に選択させる場合について説明したが、動画像を解析することによって光源位置を自動的に取得するようにしてもよい。その場合の方法としては、例えば靴１０１の傾き角度θとして正（＋）側の極値が得られたフレームから、事前に決めておいたフレーム数分遡ったフレームまでの期間における靴１０１の影２０２の移動方向から光源位置を自動的に判断する方法がある。

また、本実施形態においては、第１のマーカＭ１と第２のマーカＭ２を基準として、靴１０１の傾き角度θを取得したり、第１の足側注目点１１１ａや第２の足側注目点１１１ｂを設定したりしたが、例えば画像内で特定した靴１０１の外径形状等を基準としてそれらを行うようにしてもよい。

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
足の運動が撮影された連続した画像を解析する画像解析装置であって、
前記連続した画像を構成する画像において前記足に対応する足側領域、及び着地面に写る前記足の影に対応する影領域を特定する特定手段と、
前記特定手段により特定された前記画像における足側領域と影領域との位置関係を確認する確認手段と、
前記確認手段の確認結果に基づいて前記足の着地タイミング又は前記足の離地タイミングの少なくともいずれか一方を検出する検出手段と
を備えたことを特徴とする画像解析装置。
［請求項２］
前記足側領域の画像内における前記足の前後方向の傾き角度を取得する取得手段と、
前記傾き角度が前記連続した画像において極値となる画像を含む所定の期間を判定期間として設定する期間設定手段と
をさらに備え、
前記確認手段は、前記判定期間の画像のみを対象として前記足側領域と前記影領域との位置関係を確認し、
前記検出手段は、前記位置関係が予め決められている位置関係にある画像のタイミングを、前記足の着地タイミング又は前記足の離地タイミングとして検出する
ことを特徴とする請求項１記載の画像解析装置。
［請求項３］
前記取得手段は、前記足側領域に取り付けられているマーカに基づいて、画像内における前記足の水平方向に対する前後方向の傾き角度を算出することを特徴とする請求項２記載の画像解析装置。
［請求項４］
前記期間設定手段は、前記傾き角度が前記足のつま先側が上向きである期間の前記連続した画像において変曲点となる画像を含む所定の期間を判定期間として設定し、
前記検出手段は、前記位置関係が予め決められている位置関係にある画像のタイミングを前記足の着地タイミングとして検出する
ことを特徴とする請求項２又は３記載の画像解析装置。
［請求項５］
前記期間設定手段は、前記傾き角度が、前記足のつま先側が下向きである期間の前記連続した画像において変曲点となる画像を含む所定の期間を判定期間として設定し、
前記検出手段は、前記位置関係が予め決められている位置関係にある画像のタイミングを前記足の離地タイミングとして検出する
ことを特徴とする請求項２乃至４いずれか１項に記載の画像解析装置。
［請求項６］
前記確認手段は、前記位置関係として前記足側領域と前記影領域とが触れているか否かを確認し、
前記検出手段は、前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認された画像のタイミングを前記足の着地タイミングとし、触れている状態から離れたと確認された画像のタイミングを前記足の離地タイミングとして検出する
することを特徴とする請求項１乃至５いずれか１項に記載の画像解析装置。
［請求項７］
前記確認手段は、前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、前記位置関係として前記足側領域と影領域とが触れているか否かを確認することを特徴とする請求項６記載の画像解析装置。
［請求項８］
前記特定手段により特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定手段により特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定手段をさらに備え、
前記確認手段は、前記位置関係として、前記注目点設定手段により設定された足側注目点と影側注目点との距離を確認し、
前記検出手段は、前記判定期間の画像において前記確認手段により確認された前記足側注目点と前記影側注目点との距離が最小となる画像のタイミングを、前記足の着地タイミング又は前記足の離地タイミングとして検出する
することを特徴とする請求項２乃至５いずれか１項に記載の画像解析装置。
［請求項９］
前記確認手段は、前記連続した画像の撮影時における光源位置が逆光位置に該当しないことを条件に、前記位置関係として前記足側注目点と前記影側注目点との距離を確認することを特徴とする請求項８記載の画像解析装置。
［請求項１０］
前記確認手段は、前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、前記位置関係として前記足側領域と影領域とが触れているか否かを確認し、
前記検出手段は、前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認された画像のタイミングを前記足の着地タイミングとし、触れている状態から離れたと確認された画像のタイミングを前記足の離地タイミングとして検出することを特徴とする請求項９記載の画像解析装置。
［請求項１１］
の足の運動が撮影された連続した画像の解析に際し、
前記連続した画像を構成する画像において前記足に対応する足側領域、及び着地面に写る前記足の影に対応する影領域を特定する特定工程と、
前記特定工程で特定した前記画像における足側領域と影領域との位置関係を確認する確認工程と、
前記確認工程での確認結果に基づいて前記足の着地タイミング又は前記足の離地タイミングの少なくともいずれか一方を検出する検出工程と
を含むことを特徴とする画像解析方法。
［請求項１２］
足の運動が撮影された連続した画像を解析する画像解析装置が有するコンピュータを、
前記連続した画像を構成する画像において前記足に対応する足側領域、及び着地面に写る前記足の影に対応する影領域を特定する特定手段と、
前記特定手段により特定された前記画像における足側領域と影領域との位置関係を確認する確認手段と、
前記確認手段の確認結果に基づいて前記足の着地タイミング又は前記足の離地タイミングの少なくともいずれか一方を検出する検出手段と
して機能させることを特徴とするプログラム。

１ 画像解析装置
１１ 制御部
１２ プログラムメモリ
１３ メインメモリ
１４ メディアコントローラ
１５ 表示部
１６ キー入力部
５０ 記録メディア
１０１ 靴
１１１ａ 第１の足側注目点
１１１ｂ 第２の足側注目点
２０２ 靴の影
２１１ａ 第１の影側注目点
２１１ｂ 第２の影側注目点
５０１ 撮影装置
Ａ 着地判定期間
Ｂ 離地判定期間
Ｈ 人物
Ｍ１ 第１のマーカ
Ｍ２ 第２のマーカ
Ｌ 基準線
Ｌ１ 第１の分割線
Ｌ２ 第２の分割線
Ｎ 基準線
Ｎ１ 第１の分割線
Ｎ２ 第２の分割線

Claims (13)

1. 連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段と、
   前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、位置関係として前記特定手段により特定された前記足側領域と前記影領域とが触れているか否かを確認する確認手段と、
   前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の離地タイミングとして検出する、のうちの少なくともいずれか一方を行う検出手段と、
   を備える、
   ことを特徴とする画像解析装置。
2. 前記足側領域の画像内における前記足の前後方向の傾き角度を取得する取得手段と、
   前記傾き角度が前記連続した画像において極値となるフレーム画像を含む所定の期間を判定期間として設定する期間設定手段と、
   をさらに備え、
   前記確認手段は、前記判定期間のフレーム画像のみを対象として前記足側領域と前記影領域との前記位置関係を確認し、
   前記検出手段は、前記位置関係が予め決められている位置関係にあるフレーム画像のタイミングを、前記足の前記着地タイミング又は前記足の前記離地タイミングのうちの少なくともいずれか一方として検出する、
   ことを特徴とする請求項１記載の画像解析装置。
3. 前記取得手段は、前記足側領域に取り付けられているマーカに基づいて、フレーム画像内における前記足の水平方向に対する前後方向の前記傾き角度を算出する、
   ことを特徴とする請求項２記載の画像解析装置。
4. 前記期間設定手段は、前記傾き角度が前記足のつま先側が上向きである期間の前記連続した画像において極大値となるフレーム画像を含む前記所定の期間を前記判定期間として設定し、
   前記検出手段は、前記位置関係が前記予め決められている位置関係にあるフレーム画像のタイミングを前記足の前記着地タイミングとして検出する、
   ことを特徴とする請求項２又は３記載の画像解析装置。
5. 前記期間設定手段は、前記傾き角度が前記足のつま先側が下向きである期間の前記連続した画像において極小値となるフレーム画像を含む前記所定の期間を前記判定期間として設定し、
   前記検出手段は、前記位置関係が前記予め決められている位置関係にあるフレーム画像のタイミングを前記足の前記離地タイミングとして検出する、
   ことを特徴とする請求項２乃至４のいずれか１項記載の画像解析装置。
6. 連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段と、
   前記特定手段により特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定手段により特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定手段と、
   位置関係として、前記注目点設定手段により設定された前記足側注目点と前記影側注目点との距離を確認する確認手段と、
   前記確認手段により確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の着地タイミング又は前記足の離地タイミングのうちの少なくともいずれか一方として検出する検出手段と、
   を備える、
   ことを特徴とする画像解析装置。
7. 前記確認手段は、前記連続した画像の撮影時における光源位置が逆光位置に該当しないことを条件に、前記位置関係として前記足側注目点と前記影側注目点との距離を確認する、
   ことを特徴とする請求項６記載の画像解析装置。
8. 前記確認手段は、前記連続した画像の撮影時における前記光源位置が前記逆光位置に該当することを条件に、前記位置関係として前記足側領域と前記影領域とが触れているか否かを確認し、
   前記検出手段は、前記連続した画像の撮影時における前記光源位置が前記逆光位置に該当することを条件に、前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の前記着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の前記離地タイミングとして検出する、のうちの少なくともいずれか一方を行う、
   ことを特徴とする請求項７記載の画像解析装置。
9. 前記足側領域の画像内における前記足の前後方向の傾き角度を取得する取得手段と、
   前記傾き角度が前記連続した画像において極値となるフレーム画像を含む所定の期間を判定期間として設定する期間設定手段と、
   をさらに備え、
   前記検出手段は、前記判定期間のフレーム画像において前記確認手段により確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の前記着地タイミング又は前記足の前記離地タイミングのうちの少なくともいずれか一方として検出する、
   ことを特徴とする請求項６乃至８のいずれか１項記載の画像解析装置。
10. 連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定工程と、
    前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、位置関係として前記特定工程で特定された前記足側領域と前記影領域とが触れているか否かを確認する確認工程と、
    前記確認工程で前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の離地タイミングとして検出する、のうちの少なくともいずれか一方を行う検出工程と、
    を含む、
    ことを特徴とする画像解析方法。
11. 連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定工程と、
    前記特定工程で特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定工程で特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定工程と、
    位置関係として、前記注目点設定工程で設定された前記足側注目点と前記影側注目点との距離を確認する確認工程と、
    前記確認工程で確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の着地タイミング又は前記足の離地タイミングのうちの少なくともいずれか一方として検出する検出工程と、
    を含む、
    ことを特徴とする画像解析方法。
12. 画像解析装置が有するコンピュータを、
    連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段、
    前記連続した画像の撮影時における光源位置が逆光位置に該当することを条件に、位置関係として前記特定手段により特定された前記足側領域と前記影領域とが触れているか否かを確認する確認手段、
    前記確認手段により前記足側領域と前記影領域とが離れた状態から触れたと確認されたフレーム画像のタイミングを前記足の着地タイミングとして検出する、又は、触れている状態から離れたと確認されたフレーム画像のタイミングを前記足の離地タイミングとして検出する、のうちの少なくともいずれか一方を行う検出手段、
    として機能させる、
    ことを特徴とするプログラム。
13. 画像解析装置が有するコンピュータを、
    連続した画像を構成する各フレーム画像において足に対応する足側領域及び着地面に写る前記足の影に対応する影領域を特定する特定手段、
    前記特定手段により特定された前記足側領域の所定位置に足側注目点を設定するとともに、前記特定手段により特定された前記影領域に前記足側注目点と相関関係にある影側注目点を設定する注目点設定手段、
    位置関係として、前記注目点設定手段により設定された前記足側注目点と前記影側注目点との距離を確認する確認手段、
    前記確認手段により確認された前記足側注目点と前記影側注目点との距離が最小となるフレーム画像のタイミングを、前記足の着地タイミング又は前記足の離地タイミングのうちの少なくともいずれか一方として検出する検出手段、
    として機能させる、
    ことを特徴とするプログラム。

Images