JP6024547B2 - 状態解析装置、状態解析システム、状態解析方法及びプログラム - Google Patents

Description

本発明は、対象物の状態を解析する状態解析装置、状態解析システム、状態解析方法及びプログラムに関する。

従来より、解析対象物の画像を撮像し、撮像画像から解析対象物の状態を解析する装置が知られている。このような装置として、例えば、特許文献１には、ゴルフボールを２つのカメラで撮像し、これを画像解析することによって当該ゴルフボールの状態を測定する技術が記載されている。

特開２００６−１２２１１４号公報

しかしながら、上記特許文献１に記載の技術では、ゴルフボールの状態を測定するために、解析対象物であるゴルフボールにマークを付すことが必要である。即ち、特許文献１に記載の技術は、解析対象物に特殊な加工を施す必要があり、解析できる対象物が制約されてしまうという問題がある。
本発明は、解析対象物に特殊な加工をしなくとも、解析対象物の解析をすることを目的とする。

上記目的を達成するため、本発明の一態様の状態解析装置は、解析対象物の目標とする移動方向に基づく第一の方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出手段と、
前記抽出手段により抽出された照射状態における光の像の形状に基づいて、前記第一の方向、鉛直方向、又は撮像画像における奥行き方向における前記解析対象物の移動状態を解析する解析手段と、
を備えることを特徴とする。

本発明によれば、解析対象物に特殊な加工をしなくとも、解析対象物を解析することができる。

本発明の第１実施形態の状態解析システムの全体構成を示す模式図である。 図１に示した撮像装置のハードウェアの構成を示すブロック図である。 撮像装置の機能的構成のうち、状態解析処理を実行するための機能的構成を示す機能ブロック図である。 ゴルフボールの位置を特定するために使用される分離度フィルタを示す図である。 ゴルフボールにおける可視レーザ光線の照射形状を抽出するために使用される分離度フィルタを示す図である。 撮像画像におけるゴルフボールの２次元的な位置を説明するための図である。 打ち出されたゴルフボールの中心が、可視レーザ光線によって形成される基準照射面を通るように飛球した状態を説明するための図である。 打ち出されたゴルフボールが、可視レーザ光線によって形成される基準照射面に対してプレーヤー側に所定角度ずれて飛球した状態を説明するための図である。 打ち出されたゴルフボールが、可視レーザ光線によって形成される基準照射面に対してプレーヤーの逆側に所定角度ずれて飛球した状態を説明するための図である。 図３の機能的構成を有する図２の撮像装置が実行する状態解析処理の全体の流れを説明するためのフローチャートである。 第２実施形態の可視レーザ光線とゴルフボールとの関係を示す図である。

［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。

図１は、本発明の第１実施形態の状態解析システムＡの全体構成を示す模式図である。図１（ａ）は、状態解析システムＡを上方から見た図であり、図１（ｂ）は、状態解析システムＡをプレーヤーＳの正面から見た図である。図１（ａ）、図１（ｂ）に示した状態解析システムＡは、ゴルフの練習施設等における打席Ｂに設置され、プレーヤーＳによって打たれたゴルフボールＢａを解析対象物とする。

図１（ａ）、図１（ｂ）において、打席Ｂ内のプレーヤーＳは、ゴルフボールＢａを、ゴルフクラブＣを使って矢線Ｄで示す斜め上方の方向に打ち出す。ゴルフボールＢａが打ち出されて移動する進行方向を、以下、適宜「飛球方向」と呼ぶ。
撮像装置１は、図１（ａ）に示すように、打席Ｂの正面に設けられており、プレーヤーＳ及びボールＢａをプレーヤーＳの正面から撮像している。また、図１（ｂ）において、図示していないが、撮像装置１は、光学レンズの光軸が地面と平行かつゴルフボールＢａの中心を貫く高さとなるように設置されている。なお、第１実施形態では、撮像装置１が状態解析装置として機能する。

レーザ光照射装置２は、ゴルフボールＢａの設置位置に対してゴルフボールＢａの飛球方向とは逆の側（以下、「打席後方」と呼ぶ）に設置されている。
また、レーザ光照射装置２は、上面視において、プレーヤーＳが打球を行う打席Ｂと撮像装置１との間であって、かつ、ゴルフボールＢａの設置位置を通過する直線に沿って、レーザ光を照射する。
具体的には、レーザ光照射装置２は、可視領域の波長を有する可視レーザ光線Ｌ１を出射する可視光出射部２ａと、不可視領域の波長を有する不可視レーザ光線Ｌ２を出射する不可視光出射部２ｂとを備えている。

可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２は、打席後方に設置されたレーザ光照射装置２からゴルフボールＢａの飛球方向に向けて出射され、図１（ｂ）に示すように、鉛直方向に拡散されてゴルフボールＢａに照射される。
即ち、可視光出射部２ａ及び不可視光出射部２ｂは、可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２を鉛直方向の一定範囲にわたって照射する。以下、可視レーザ光線Ｌ１が拡散して照射される平面を「基準照射面」と呼ぶ。
なお、可視光出射部２ａ及び不可視光出射部２ｂは、可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２を機械的な構造によって、高速（撮像装置１のシャッタスピードより十分に速い走査周期）で鉛直方向に走査することができる。また、可視光出射部２ａ及び不可視光出射部２ｂから出射する可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２を、図示しない回折格子によって拡散することによっても、可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２を鉛直方向の一定範囲にわたって照射することができる。本実施形態においては、回折格子によって、可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２が鉛直方向に拡散されているものとする。

なお、第１実施形態では、可視レーザ光線Ｌ１の波長を６３０ｎｍ〜６７０ｎｍ、不可視レーザ光線Ｌ２の波長を８３０ｎｍ〜８５０ｎｍとした。
ただし、可視レーザ光線Ｌ１の波長は上記の範囲に限定されるものではなく、可視光の波長領域であればどのような波長を採用してもよい。また、不可視レーザ光線Ｌ２の波長は上記の範囲に限定されるものではなく、撮像装置１が撮像可能であって、不可視光の波長領域であればどのような波長を採用してもよい。

可視光出射部２ａ及び不可視光出射部２ｂは、可視レーザ光線Ｌ１と不可視レーザ光線Ｌ２とが２１．３４ｍｍの間隔を隔てて平行に出射されるように配置されている。なお、２１．３４ｍｍの長さは、ゴルフボールＢａの半径に対応している。即ち、可視レーザ光線Ｌ１と不可視レーザ光線Ｌ２とは、ゴルフボールＢａの半径に相当する間隔を隔てて平行に出射されている。
そして、可視光出射部２ａは、設置位置に設置されたゴルフボールＢａの中心を可視レーザ光線Ｌ１が通るように可視レーザ光線Ｌ１を出射する。可視レーザ光線Ｌ１は、鉛直方向の一定範囲に照射されるため、ゴルフボールＢａ及び地面に可視レーザ光線Ｌ１による線状の光の像が出現し、プレーヤーＳは、可視レーザ光線Ｌ１による線状の光をガイドライン（目標とする移動方向）として、ゴルフボールＢａを打ち出すことができる。

撮像装置１は、プレーヤーＳ及びゴルフボールＢａをプレーヤーＳの正面から動画像として撮像する。
第１実施形態の撮像装置１は、例えばデジタルカメラとして構成される。

図２は、撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
画像処理部１４は、各種画像のデータに対して、色補正、平滑化、パターンマッチング等の各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。第１実施形態のイメージセンサは、図１に示す可視レーザ光線Ｌ１及び不可視レーザ光線Ｌ２に対する感度を有し、これらの光線を撮像することができる。
例えば、イメージセンサとして、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子を用いることができる。ＣＭＯＳ型の光電変換素子は、本来、不可視光である赤外線の波長領域にある光を光電変換することが可能であるが、一般に、自然な色合いを出すために赤外線遮断フィルタ（ＩＲ（ＩｎｆｒａＲｅｄ）カットフィルタ）が設けられている。
したがって、本実施形態では、イメージセンサとして、赤外線遮断フィルタが設けられていないＣＭＯＳイメージセンサを用いることにより、安価に不可視レーザ光線Ｌ２の撮像が可能な撮像装置１を構成することができる。

光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図３は、このような撮像装置１の機能的構成のうち、状態解析処理を実行するための機能的構成を示す機能ブロック図である。
状態解析処理とは、撮像装置１に撮像された撮像画像中から図１に示したゴルフボールＢａに対して可視レーザ光線Ｌ１又は不可視レーザ光線Ｌ２が照射されている部分の形状（以下、「照射形状」と呼ぶ）を抽出し、打ち出されたゴルフボールＢａの３次元的な位置を検出する、一連の処理をいう。

状態解析処理が行われる場合、ＣＰＵ１１において、解析部４０が機能する。解析部４０においては、分離度フィルタ処理部４１、２次元位置検出部４２、ずれ検出部４３、３次元位置検出部４４が機能する。
分離度フィルタ処理部４１は、画像処理部１４から入力された撮像画像においてゴルフボールＢａが撮像された領域を特定する。また、分離度フィルタ処理部４１は、ゴルフボールＢａに照射されている可視レーザ光線Ｌ１又は不可視レーザ光線Ｌ２の照射形状を抽出する。

ここで、分離度フィルタを用いた物体の特定手法について説明する。
図４は、ゴルフボールＢａの位置を特定するために使用される分離度フィルタを示す図である。
分離度とは、例えば図４に示す局所領域ｒａの情報と局所領域ｒｂの情報との分離程度を表す量である。
図４に示す局所領域ｒａは、ボールの形状に相当する領域を表しており、背景を表す局所領域ｒｂとの分離度を算出することで、画像においてボールの可能性が高い領域（局所領域ｒａの情報と局所領域ｒｂの情報との分離程度が最も高い領域）を識別することができる。

図５（ａ）乃至図５（ｄ）は、ゴルフボールＢａにおける可視レーザ光線Ｌ１の照射形状を抽出するために使用される分離度フィルタを示す図である。図５（ａ）乃至図５（ｄ）に示した分離度フィルタは、円弧状の照射形状の輪郭の内部を局所領域ｒａ、外部を局所領域ｒｂとして、これらの分離度から画像における照射形状を抽出するものである。
図５（ａ）乃至図５（ｄ）に示した複数の分離度フィルタは、ゴルフボールＢａの飛球方向と可視レーザ光線Ｌ１によるガイドラインとのずれ量（δ〜４δ［ｍｍ］）に対応して設定されている。具体的には、図５（ａ）から図５（ｄ）の順に、より大きいずれ量に対応する分離度フィルタとなっており、図５（ａ）から図５（ｄ）の順に、分離度フィルタの円弧の大きさがより小さくなっている。

即ち、分離度フィルタ処理部４１は、それぞれ異なるずれ量の大きさ毎に複数の分離度フィルタを備えている。そして、撮像画像において、図４に示す分離度フィルタで特定されたゴルフボールＢａの領域に対し、例えば図５（ａ）乃至図５（ｄ）に示す複数の分離度フィルタを適用することにより、異なるずれ量の大きさ毎に照射形状の分離度を算出する。そして、最も高い分離度が算出された照射形状をゴルフボールＢａのずれ量を表す照射形状として特定し、特定された照射形状に対応するずれ量をゴルフボールＢａのずれ量とする。
なお、不可視レーザ光線Ｌ２の照射形状についても、同様に分離度フィルタを備えておくことにより、ゴルフボールＢａのずれ量を算出するために用いることができる。ただし、不可視レーザ光線Ｌ２の照射形状の場合、ずれ量が大きいほど、分離度フィルタの円弧の大きさが大きくなる。

第１実施形態では、検出すべき物体が、球体のゴルフボールＢａと、ゴルフボールＢａにおける可視レーザ光線Ｌ１又は不可視レーザ光線Ｌ２による円弧状の照射形状とに限られている。このため、第１実施形態では、２つの局所領域ｒａ、ｒｂをゴルフボールＢａの輪郭の内側部分と外側部分とする分離フィルタ（図４参照）と、２つの局所領域ｒａ、ｒｂを照射形状の輪郭の内側部分と外側部分とする分離度フィルタ（図５参照）とを用いて、比較的高精度に撮像画像における物体の領域を特定することができる。

分離度は、正規化された値であって、２つの局所領域ｒａ、ｒｂの情報が完全に分離されていれば最大値１．０をとる。一方、分離度は、２つの局所領域ｒａ、ｒｂの情報が分離し難くなるほど最小値０．０に近い値をとる。なお、分離度は、局所領域ｒａ、ｒｂの輝度差に依存し難く、ノイズの影響を受け難いという利点がある。

以下に示した式（１）、式（２）、式（３）は、分離度フィルタの出力μを求めるための式である。
式１において、σｂは局所領域ｒａ、ｒｂのクラス間分散を示す。ｎ１は局所領域ｒａ内の画素数を示し、ｎ２は局所領域ｒｂ内の画素数を示す。Ｐｉは位置ｉにおける輝度値等の領域値を示し、Ｐ１にバーを付した記号は局所領域ｒａの平均領域値、Ｐ２にバーを付した記号は局所領域ｒｂの平均領域値を示す。また、Ｐｍにバーを付した記号は局所領域ｒａ、ｒｂの平均領域値を示す。さらに、Ｎは、局所領域ｒａ、ｒｂの全画素数を示している。

なお、領域情報として、輝度、色相、彩度を用いることができるが、他の画像特徴量を領域情報として用いることも可能である。分離度フィルタは、計算式がシンプルであり、経験により決定されるパラメータが不要であるので、輪郭の形状が予測できる物体を画像から抽出することに適している。

２次元位置検出部４２は、撮像画像におけるゴルフボールＢａの２次元的な位置を検出し、実空間における２次元的な位置（基準照射面における２次元的な位置）を検出する。
図６は、撮像画像におけるゴルフボールＢａの２次元的な位置を説明するための図である。図６に示した画像Ｑ１乃至画像Ｑ３は、ゴルフボールＢａがゴルフクラブＣによって打ち出されて飛球した状態を連続的に撮像した画像を示している。図中に示した時間ｔは、ゴルフボールＢａが打ち出された瞬間からの経過時間を示している。

２次元位置検出部４２では、撮像画像におけるｘ軸とｙ軸とを、図示したように規定している。即ち、ｘ軸はゴルフボールＢａの飛球方向への移動量（飛距離）を示し、ｙ軸はゴルフボールＢａの鉛直方向の移動量（打ち上げ高さ）を示している。
第１実施形態では、ゴルフボールＢａの設置位置と撮像装置１との位置関係及び撮像装置１の光学的特性が予め定められた状態に設定されているため、撮像画像上の２次元的な位置を実空間における位置に対応付けることができる。
具体的には、２次元位置検出部４２は、分離度フィルタ処理部４１によって特定されたゴルフボールＢａの撮像画像におけるｘｙ座標を取得し、この座標に撮像装置１の光学系に関する補正（光学レンズの歪の補正等）を行う。そして、２次元位置検出部４２は、補正後の座標を実空間における２次元的な位置（即ち、空間座標）に変換する。
ただし、上記空間座標は、基準照射面内の位置を表すものであるため、ここでは、撮像画像における奥行き方向の位置は特定されない。

ずれ検出部４３は、可視レーザ光線Ｌ１又は不可視レーザ光線Ｌ２の照射形状から、可視レーザ光線Ｌ１が形成する基準照射面に対するゴルフボールＢａのずれを検出する。即ち、ずれ検出部４３は、分離度フィルタ処理部４１による照射形状の特定結果（最も高い分離度が算出された照射形状を表す情報）を受け取る。そして、ずれ検出部４３は、可視レーザ光線Ｌ１又は不可視レーザ光線Ｌ２の照射形状からゴルフボールＢａの中心と可視レーザ光線Ｌ１が形成する基準照射面とのずれ量（距離）を算出する。このずれ量は、実空間における基準照射面とゴルフボールＢａの中心との距離に相当するため、ずれ検出部４３によって、ゴルフボールＢａの撮像画像における奥行き方向の位置が検出される。

このとき、ずれ検出部４３は、ゴルフボールＢａに可視レーザ光線Ｌ１が照射されているか、不可視レーザ光線Ｌ２が照射されているかをゴルフボールＢａに照射されている光の種類（可視光であるか不可視光であるか）によって判定することができる。
即ち、第１実施形態では、上述のように、レーザ光照射装置２が可視レーザ光線Ｌ１と不可視レーザ光線Ｌ２とを出射している。可視レーザ光線Ｌ１と不可視レーザ光線Ｌ２とは、撮像装置１において異なる色相として撮像されるため、ずれ検出部４３は、撮像画像における色相の相違によってゴルフボールＢａに可視レーザ光線Ｌ１が照射されているか、不可視レーザ光線Ｌ２が照射されているかを判定することができる。

ここで、ずれ検出部４３が、ゴルフボールＢａの位置と基準照射面とのずれを検出する処理を具体的に説明する。
プレーヤーＳは、図１（ａ）、図１（ｂ）に示す状態から可視レーザ光線Ｌ１によるガイドラインを指標にしてゴルフボールＢａを打ち出す。
図７（ａ）は、打ち出されたゴルフボールＢａの中心が、可視レーザ光線Ｌ１によって形成される基準照射面を通るように飛球した状態を示す図である。図中に示した矢線ＥはゴルフボールＢａの飛球方向を示している。時間ｔは、ゴルフボールＢａが打ち出された瞬間からの経過時間を示している。即ち、図７（ａ）は、時間δの間隔でゴルフボールＢａを観測した状態を示している。

図７（ｂ）は、図７（ａ）に示すゴルフボールＢａの撮像画像を示す図である。ゴルフボールＢａの中心が、可視レーザ光線Ｌ１によって形成される基準照射面内を移動するように飛球した場合、撮像画像においては、時間ｔに関わらず、ゴルフボールＢａの輪郭に相当する円周上に可視レーザ光線Ｌ１の照射形状が現われる。即ち、撮像装置１では、ゴルフボールＢａと等しい円弧の照射形状５１が観測される。

図８（ａ）は、打ち出されたゴルフボールＢａが、可視レーザ光線Ｌ１によって形成される基準照射面に対してプレーヤーＳ側（不可視レーザ光線Ｌ２から離れる側）に所定角度（例えば５度）ずれて飛球した状態を示す図である。図中に示した矢線ＦはゴルフボールＢａの飛球方向を示している。また、時間ｔは、ゴルフボールＢａが打ち出された瞬間からの経過時間を示している。即ち、図８（ａ）は、時間δの間隔でゴルフボールＢａを観測した状態を示している。

図８（ｂ）は、図８（ａ）に示すゴルフボールＢａの撮像画像を示す図である。ゴルフボールＢａが、可視レーザ光線Ｌ１によって形成される基準照射面に対してプレーヤーＳ側にずれた状態で飛球した場合、撮像画像においては、時間ｔの経過と共に、可視レーザ光線Ｌ１のゴルフボールＢａにおける照射位置が進行方向の右側に変化する。このため、撮像装置１では、インパクト直後（時間ｔ＝０）においては、ゴルフボールＢａと等しい円弧の照射形状５１が観測される。一方、時間ｔの経過と共に、ゴルフボールＢａの中心が次第に基準照射面から進行方向の左側に遷移するため、照射形状５２、照射形状５３の順に円弧は小さくなる。
なお、図８に示す状態では、不可視レーザ光線Ｌ２はゴルフボールＢａに照射されないため、不可視レーザ光線Ｌ２による照射形状は出現しない。

図９（ａ）は、打ち出されたゴルフボールＢａが、可視レーザ光線Ｌ１によって形成される基準照射面に対してプレーヤーＳの逆側（不可視レーザ光線Ｌ２に近づく側）に所定角度（例えば５度）ずれて飛球した状態を示す図である。図中に示した矢線ＧはゴルフボールＢａの飛球方向を示している。また、時間ｔは、ゴルフボールＢａが打ち出された瞬間からの経過時間を示している。即ち、図９（ａ）は、時間δの間隔でゴルフボールＢａを観測した状態を示している。

図９（ｂ）は、図９（ａ）に示すゴルフボールＢａの撮像画像を示す図である。ゴルフボールＢａが可視レーザ光線Ｌ１によって形成される基準照射面に対してプレーヤーＳの逆側にずれた状態で飛球した場合、撮像画像においては、時間ｔの経過と共に、可視レーザ光線Ｌ１の照射形状が消失し、代わって不可視レーザ光線Ｌ２の照射形状５４、５５が出現する。このとき、不可視レーザ光線Ｌ２によってゴルフボールＢａに形成される照射形状５４、５５の位置が変化する。このため、撮像装置１では、インパクト直後（時間ｔ＝０）においては、ゴルフボールＢａと等しい円弧の照射形状５１が観測される。一方、時間ｔの経過と共に、ゴルフボールＢａの中心が次第に基準照射面から進行方向の右側に遷移するため、照射形状５４、照射形状５５の順に円弧は大きくなる。

このように、ずれ検出部４３は、基準照射面と中心とを一致させて設置されたゴルフボールＢａが、打ち出された後に、基準照射面に対して、プレーヤーＳ側及びプレーヤーＳの逆側のいずれの方向にずれたとしても、そのずれ方向及びずれ量を検出することができる。

３次元位置検出部４４は、実空間におけるゴルフボールＢａの位置を検出する。即ち、３次元位置検出部４４は、２次元位置検出部４２からゴルフボールＢａの２次元的な位置を取得し、ずれ検出部４３からゴルフボールＢａの基準照射面に対するずれ量及びずれの方向を取得する。そして、基準照射面における２次元的な位置を示す空間座標及び基準照射面とゴルフボールＢａの中心との距離とに基づいて、実空間における位置（座標）を検出する。
また、３次元位置検出部４４は、検出された実空間におけるゴルフボールＢａの位置を時間ｔの経過と対応付けて連続して記録することにより、ゴルフボールＢａの飛球方向を特定することができる。

また、３次元位置検出部４４は、特定したゴルフボールＢａの位置を示す情報を出力部１９に出力する。このとき、画像処理部１４が撮像画像を出力部１９に出力してもよい。出力部１９は、撮像画像と、撮像画像に対応するゴルフボールＢａの位置を示す情報とを併せてディスプレイ等に表示するようにしてもよい。

次に、図１０を参照して、図３に示す機能的構成を有する撮像装置１が実行する状態解析処理について説明する。
図１０は、図３の機能的構成を有する図２の撮像装置１が実行する状態解析処理の流れを説明するフローチャートである。
状態解析処理は、撮像装置１が撮像を開始したことを契機として開始される。撮像装置１に対する撮像開始の指示は、例えば、プレーヤーＳがショットの練習を開始するにあたって撮像装置１に入力するものであってもよい。

ステップＳ２１１において、分離度フィルタ処理部４１は、画像処理部１４から撮像画像を取得する。

ステップＳ２１２において、分離度フィルタ処理部４１は、取得した撮像画像においてゴルフボールＢａが撮像された領域を特定する。即ち、分離度フィルタ処理部４１は、図４に示したフィルタを用いて連続する撮像画像から順次ゴルフボールＢａが撮像された領域を特定する。

ステップＳ２１３において、分離度フィルタ処理部４１は、ゴルフボールＢａにおける可視レーザ光線Ｌ１又は不可視レーザ光線Ｌ２の照射形状を抽出する。

ステップＳ２１４において、２次元位置検出部４２は、ゴルフボールＢａの２次元的な位置を検出する。これにより、基準照射面に射影されたゴルフボールＢａの２次元的な位置が検出される。

ステップＳ２１５において、ずれ検出部４３は、ゴルフボールＢａの中心と基準照射面とのずれを検出する。これにより、実空間における基準照射面とゴルフボールＢａの中心との距離が検出される。

ステップＳ２１６において、３次元位置検出部４４は、ゴルフボールＢａの２次元的な位置及び基準照射面に対するずれに基づいて、実空間におけるゴルフボールＢａの位置を検出する。これにより、実空間におけるゴルフボールＢａの位置が３次元的に特定される。

ステップＳ２１７において、分離度フィルタ処理部４１は、状態解析処理の終了が指示された否かを判定する。状態解析処理の終了が指示されていない場合、ステップ２１７においてＮＯと判定されて処理はステップＳ２１２に戻る。また、状態解析処理の終了が指示された場合、ステップ２１７においてＹＥＳと判定されて、処理は終了する。

以上のように、上述の実施形態をとることが可能な撮像装置１は、図３等に示すように、分離度フィルタ処理部４１と、解析部４０と、を備える。分離度フィルタ処理部４１は、解析対象物であるゴルフボールＢａの進行方向に沿って平面状に光が照射されたゴルフボールＢａにおける光の照射状態を抽出する。解析部４０は、分離度フィルタ処理部４１により抽出された照射状態に基づいて、ゴルフボールＢａの行方向と略直交方向における移動状態を解析する。
したがって、ゴルフボールＢａに特殊な加工をしなくとも、ゴルフボールＢａの解析をすることができる。

また、図３等に示すように、解析部４０は、ずれ検出部４３を備えている。ずれ検出部４３は、分離度フィルタ処理部４１により抽出された照射状態における光の像の形状に基づいて、ゴルフボールＢａの進行方向と略直交する位置の変位を移動状態として算出する。
したがって、ゴルフボールＢａに特殊な加工を施すことなく、撮像画像における奥行き方向の位置を取得できる。

また、図４乃至５、図７乃至９等に示すように、分離度フィルタ処理部４１は、ゴルフボールＢａの画像中に形成される光の像の形状を分離度フィルタによって抽出する。ずれ検出部４３は、分離度フィルタ処理部４１によって抽出された光の像の形状に基づいて、ゴルフボールＢａの進行方向に対する変位を算出する。
したがって、ゴルフボールＢａに特殊な加工を施すことなく、撮像画像における奥行き方向の位置を取得できる。

また、図３乃至５、図７乃至９等に示すように、解析部４０は、２次元位置検出部４２を備えている。２次元位置検出部４２は、撮像部１７により連続的に撮像された複数の画像におけるゴルフボールＢａの進行方向に対に沿った平面内の位置を算出する。３次元位置検出部４４は、連続的に撮像された複数の画像におけるゴルフボールＢａの画角内の位置と、画像の奥行き方向におけるゴルフボールＢａの変位とに基づいて、ゴルフボールＢａの３次元の運動を解析する。
したがって、撮像画像における奥行き方向の位置を取得できるため、一方向から撮像した撮像画像からゴルフボールＢａの３次元的な位置を取得することができる。

また、図１に示すように、解析部４０は、ゴルフボールＢａを進行方向と略直行する方向から撮像された画像に基づいて、ゴルフボールＢａの移動状態を解析する。
したがって、ゴルフボールＢａの運動を妨げない方向からゴルフボールＢａを撮像し、撮像された画像を使ってゴルフボールＢａの移動状態を解析することができる。

また、図３乃至５、図７乃至９等に示すように、解析部４０は、ゴルフボールＢａの目標とする移動方向に対する相違を解析する。
したがって、ゴルフボールＢａの目標とする移動方向に対する相違としてゴルフボールＢａの奥行きに関する位置を特定することができる。

また、図７乃至図９に示すように、解析部４０は、進行方向に沿う平面内に平行な２つの光が照射されたゴルフボールＢａにおける２つの光の照射状態に基づいて、ゴルフボールＢａの移動状態を解析する。
したがって、より正確に解析対象物の移動状態を解析することが可能となる。

また、２つの光の一方は、ゴルフボールＢａの目標とする移動方向を示す光であり、２つの光の他方は、ゴルフボールＢａの目標とする移動方向に対する相違を特定するために用いられる。
したがって、一方の光をゴルフボールＢａの目標とする移動方向を示す指標とすることができると共に、他方の光を用いてゴルフボールＢａの移動状態を解析することができる。

また、本実施形態における状態解析システムＡは、レーザ光照射装置２と、撮像装置１とを備える。

レーザ光照射装置２は、ゴルフボールＢａの進行方向に沿う平面内に光を照射する。
撮像装置１は、ゴルフボールＢａにおける光源からの光の照射状態に基づいて、ゴルフボールＢａの移動状態を解析する。
しのため、解析対象物であるゴルフボールＢａに特殊な加工をしなくとも、ゴルフボールＢａを解析することができる。

［第２実施形態］
次に、図１１を参照して、本発明の第２実施形態について説明する。
第２実施形態における状態解析システムＡにおいて、撮像装置１は、レーザ光照射装置２が可視レーザ光線Ｌ１のみを出射する点で第１実施形態における撮像装置１と異なっている。そのため、以下、異なる部分である基準照射面からのゴルフボールＢａのずれの検出方法を主として説明する。

本実施形態において、ずれ検出部４３は、可視レーザ光線Ｌ１の照射形状から、可視レーザ光線Ｌ１が形成する基準照射面に対するゴルフボールＢａのずれを検出する。即ち、ずれ検出部４３は、分離度フィルタ処理部４１による照射形状の特定結果（最も高い分離度が算出された照射形状を表す情報）を受け取る。そして、ずれ検出部４３は、可視レーザ光線Ｌ１の照射形状からゴルフボールＢａの中心と可視レーザ光線Ｌ１が形成する基準照射面とのずれ量（距離）を算出する。このずれ量は、実空間における基準照射面とゴルフボールＢａの中心との距離に相当するため、ずれ検出部４３によって、ゴルフボールＢａの撮像画像における奥行き方向の位置が検出される。

図１１は、第２実施形態の可視レーザ光線Ｌ１とゴルフボールＢａとの関係を示す図である。図１１（ａ）は、ゴルフボールＢａが矢線Ｈで示す飛球方向に飛球した状態を示している。矢線Ｈは、基準照射面に対してプレーヤーＳ側にずれた飛球方向を示している。また、図１１（ｂ）は、ゴルフボールＢａが矢線Ｉで示す飛球方向に飛球した状態を示している。矢線Ｉは、基準照射面に対してプレーヤーＳと逆側にずれた飛球方向を示している。
図１１において、「ｒ」はゴルフボールＢａの半径を示している。また、時間ｔは、ゴルフボールＢａが打ち出された瞬間からの経過時間を示している。

図１１（ａ）、（ｂ）に示すように、第２実施形態では、ゴルフボールＢａの中心が、基準照射面に対してｒ／２だけプレーヤーＳと逆側にずれた位置にゴルフボールＢａが設置される。これにより、ゴルフボールＢａが基準照射面に対してプレーヤーＳ側及び逆側のどちらの方向にずれたとしても、第１実施形態と同様の手法によって、ゴルフボールＢａにおける可視レーザ光線Ｌ１の照射形状を抽出することにより、ゴルフボールＢａのずれを検出することができる。

以上のように、第２実施形態における状態解析システムＡは、第１実施形態に状態解析システムＡに比べて、可視レーザ光線Ｌ１のみを出射可能なレーザ光照射装置を用いることができるため、システムをより簡易なものとすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上記実施形態では、レーザ光照射装置２が、可視レーザ光線Ｌ１と不可視レーザ光線Ｌ２とを出射するように構成した。これに対し、レーザ光照射装置２が、２つの可視レーザ光線を出射することとしてもよい。この場合、２つの可視レーザ光線として、異なる色のものを用いることが望ましい。

上記実施形態では、ゴルフボールＢａを基準照射面に対して予め定められた位置（中心が基準照射面と一致する位置あるいは中心が基準照射面からｒ／２だけずれた位置等）に設置するものとして説明した。これに対し、ゴルフボールＢａの設置位置に対する条件を緩和することができる。この場合、設置位置における初期の照射形状からの相対的な変化を検出することで、ゴルフボールＢａの位置を検出することができる。

また、上記実施形態では、分離度フィルタを使ってゴルフボールＢａの位置や照射形状を撮像画像から抽出することとした。これに対し、テンプレートマッチング等、他の方法を用いてゴルフボールＢａの位置や照射形状を撮像画像から抽出してもよい。

また、上記実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
解析対象物の進行方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出手段と、
前記抽出手段により抽出された照射状態に基づいて、前記解析対象物の前記進行方向とは略直交方向における移動状態を解析する解析手段と、
を備えることを特徴とする状態解析装置。
［付記２］
前記解析手段は、
前記抽出手段により抽出された照射状態における光の像の形状に基づいて、前記解析対象物の進行方向と略直交する位置の変位を前記移動状態として算出する変位算出手段を更に備えることを特徴とする付記１に記載の状態解析装置。
［付記３］
前記抽出手段は、
前記解析対象物の画像中に形成される前記光の像の形状を分離度フィルタによって抽出し、
前記変位算出手段は、
前記抽出手段により抽出された光の像の形状に基づいて、前記解析対象物の進行方向に対する変位を算出することを特徴とする付記２に記載の状態解析装置。
［付記４］
前記解析手段は、
撮像手段により連続的に撮像された複数の画像における前記解析対象物の進行方向に対に沿った平面内の位置を算出する位置算出手段を更に備え、
前記位置算出手段により算出された平面内の位置と、前記変位算出手段により算出された前記進行方向と略直交する位置の変位とに基づいて、前記解析対象物の３次元の運動を解析することを特徴とする付記２又は３に記載の状態解析装置。
［付記５］
前記解析手段は、前記解析対象物を前記進行方向と略直行する方向から撮像された画像に基づいて、前記解析対象物の移動状態を解析することを特徴とする付記１から４の何れか１つに記載の状態解析装置。
［付記６］
前記解析手段は、前記解析対象物の目標とする移動方向に対する相違を解析することを特徴とする付記１から５の何れか１つに記載の状態解析装置。
［付記７］
前記解析手段は、進行方向に沿う平面内に平行な２つの光が照射された前記解析対象物における前記２つの光の照射状態に基づいて、前記解析対象物の移動状態を解析することを特徴とする付記１から５の何れか１つに記載の状態解析装置。
［付記８］
前記２つの光の一方は、前記解析対象物の目標とする移動方向を示す光であり、前記２つの光の他方は、前記解析対象物の目標とする移動方向に対する相違を特定するために用いられることを特徴とする付記７に記載の状態解析装置。
［付記９］
解析対象物の進行方向に沿う平面内に光を照射する光源と、
前記解析対象物における前記光源からの光の照射状態に基づいて、前記解析対象物の移動状態を解析する状態解析装置と、
を含むことを特徴とする状態解析システム。
［付記１０］
状態解析装置が実行する状態解析方法であって、
解析対象物の進行方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出ステップと、
前記抽出ステップにより抽出された光の照射状態に基づいて、前記解析対象物の前記進行方向とは略直交方向における移動状態を解析する解析ステップを含むことを特徴とする状態解析方法。
［付記１１］
コンピュータを、
解析対象物の進行方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出手段、
前記抽出手段により抽出された光の照射状態に基づいて、前記解析対象物の前記進行方向とは略直交方向における移動状態を解析する解析手段、
として機能させることを特徴とするプログラム。

Ａ・・・状態解析システム、１・・・撮像装置、２・・・レーザ光照射装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・入力部、１９・・・出力部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバルメディア、４０・・・解析部、４１・・・分離度フィルタ処理部、４２・・・２次元位置検出部、４３・・・ずれ検出部、４４・・・３次元位置検出部

Claims (11)

1. 解析対象物の目標とする移動方向に基づく第一の方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出手段と、
   前記抽出手段により抽出された照射状態における光の像の形状に基づいて、前記第一の方向、鉛直方向、又は撮像画像における奥行き方向における前記解析対象物の移動状態を解析する解析手段と、
   を備えることを特徴とする状態解析装置。
2. 前記解析手段は、
   前記抽出手段により抽出された照射状態における光の像の形状に基づいて、前記解析対象物の前記第一の方向、鉛直方向、又は撮像画像における奥行き方向における位置の変位を前記移動状態として算出する変位算出手段を更に備えることを特徴とする請求項１に記載の状態解析装置。
3. 前記抽出手段は、
   前記解析対象物の画像中に形成される前記光の像の形状を分離度フィルタによって抽出し、
   前記変位算出手段は、
   前記抽出手段により抽出された光の像の形状に基づいて、前記解析対象物の前記第一の方向、鉛直方向、又は撮像画像における奥行き方向における変位を算出することを特徴とする請求項２に記載の状態解析装置。
4. 前記解析手段は、
   撮像手段により連続的に撮像された複数の画像における前記第一の方向と前記鉛直方向とを軸とする平面内での前記解析対象物の位置を算出する位置算出手段を更に備え、
   前記変位算出手段により算出された前記解析対象物の前記平面内での位置、及び前記奥行き方向における前記解析対象物の移動状態に基づいて、前記解析対象物の運動を解析することを特徴とする請求項２又は３に記載の状態解析装置。
5. 前記解析手段は、前記解析対象物の目標とする移動方向と前記第一の方向との相違を解析することを特徴とする請求項１から４の何れか１項に記載の状態解析装置。
6. 前記解析対象物の後方に位置する光源を更に備え、
   前記光源は、前記解析対象物と当該光源とを結ぶ直線方向である前記第一の方向に沿って当該解析対象物に対して光を照射することを特徴とする請求項１から５の何れか１項に記載の状態解析装置。
7. 前記奥行き方向の軸上において前記光源とは異なる位置に位置する第二の光源を更に備え、
   前記解析手段は、前記光源及び前記第二の光源の夫々から前記第一の方向に沿って光を照射された前記解析対象物における前記２つの光の照射状態に基づいて、前記解析対象物の移動状態を解析することを特徴とする請求項６に記載の状態解析装置。
8. 前記２つの光の一方は、前記解析対象物の目標とする移動方向を示す光であり、前記２つの光の他方は、前記解析対象物の目標とする移動方向に対する相違を特定するために用いられることを特徴とする請求項７に記載の状態解析装置。
9. 解析対象物の目標とする移動方向に基づく第一の方向に沿って光を照射する光源と、
   前記解析対象物における前記光源からの光の照射状態に基づいて、前記解析対象物の移動状態を解析する状態解析装置と、
   を含むことを特徴とする状態解析システム。
10. 状態解析装置が実行する状態解析方法であって、
    解析対象物の目標とする移動方向に基づく第一の方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出ステップと、
    前記抽出ステップにより抽出された光の照射状態における光の像の形状に基づいて、前記第一の方向、鉛直方向、又は撮像画像における奥行き方向における前記解析対象物の移動状態を解析する解析ステップを含むことを特徴とする状態解析方法。
11. コンピュータを、
    解析対象物の目標とする移動方向に基づく第一の方向に沿って平面状に光が照射された当該解析対象物における光の照射状態を抽出する抽出手段、
    前記抽出手段により抽出された光の照射状態における光の像の形状に基づいて、前記第一の方向、鉛直方向、又は撮像画像における奥行き方向における前記解析対象物の移動状態を解析する解析手段、
    として機能させることを特徴とするプログラム。

Images