JP2954738B2 - 微小物体の位置計測方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラ等で撮影
した画像中の色マーカ等の微小物体の位置を重心計算に
より求める微小物体の位置計測方式に関する。近年、自
動検査、無人監視、運動解析などカメラで捉えた画像を
処理する画像処理装置が普及しつつあり、画像から所望
の物体を抽出し、物体の位置、大きさ、色などの情報を
捉えることができる。これにより画像処理装置は人手で
行っていた作業を軽減することができたり、人が立ち入
ることのできない作業を実現でき、さらに、人間がわか
らない現象を捉えたりするなど人間の目以上の役割を果
たす非接触なセンサーとして注目されている。

【０００２】

【従来の技術】従来、撮影された画像の中から色マーカ
等で示された微小物体の位置を計測する位置計測方式と
しては、例えば図１１のものが知られている。図１１の
従来方式では、入力画像から雑音除去、マスク演算など
種々の画像処理を行って物体を抽出した画像を求め、こ
の物体を抽出した画像から投影値算出部５０で各行、各
列の投影値を算出し、続いて重心算出部５２で投影値算
出部で算出した投影値を用いて重心の計算し、重心位置
を物体位置として求めている。

【０００３】即ち、投影値算出部５０では画像サイズを
列方向ｋ，行方向ｍとした場合のｉ行，ｊ列の画像デー
タをＭ（ｉ，ｊ）とすると、ｉ行目の水平投影Ｐｈ
〔ｉ〕、ｊ行目の垂直投影Ｐｖ〔ｊ〕、及び投影の総和
Ｓｕｍを次のようにして算出する。

【０００４】

【数１】

【０００５】また重心算出部５２では、次式より重心
（Ｘcenter，Ｙcenter）を計算する。 Ｘcenter＝（Σ（Ｐｖ〔ｊ〕＊ｊ））／Sum Ｙcenter＝（Σ（Ｐｈ〔ｉ〕＊ｉ））／Sum ・・・（２）

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな従来方式では、一画面中の全ての画素値を使用して
重心計算するために、画像中の残存する雑音の影響を受
ける。特に、雑音の投影値の累積と物体の投影値の累積
を比較して、雑音が無視できない状態、例えば物体が微
小で雑音が存在する場合において、正確な重心を算出す
ることは難しい。

【０００７】このような問題を解決するため図１２に示
すように、移動物体に対して移動マスクを設定して動画
像から次々に重心を算出していく方式が考えられてい
る。図１２の方式では、まず投影値算出部５０及び重心
算出部５２で１フィールド（または１フレーム）前に算
出した物体の重心を使って、予測部５４により移動速度
などから次の物体の位置を予測し、この予測位置に基づ
き移動マスク処理部５６で図１３に示すように、移動マ
スク５８の範囲を決定し、移動マスク５８の範囲を対象
に投影算出部５０及び重心算出部５２による重心計算を
行って物体位置を計測する。

【０００８】しかしながら、図１３のように物体の動き
が規則的で予測が可能であればよいが、物体の移動速度
や方向がランダムであると適用できない。その場合に
は、結局、移動マスクの範囲を画面全体にすることにな
り、図１１に示した従来方式と同じ問題が生じる。本発
明は、このような従来の問題点に鑑みてなされたもの
で、雑音の影響を受けずに正確に物体位置を計測できる
秒物体の位置計測方式を提供することを目的とする。

【０００９】

【課題を解決するための手段】図１は本発明の原理説明
図である。図１において、撮影された画像の中の微小な
物体の位置を計測する微小物体の位置計測方式として本
発明にあっては、撮影された画像の中から計測対象とす
る物体１０を抽出する抽出手段１２と、抽出手段１２で
抽出された物体１０の重心を算出して物体の位置を求め
る重心算出手段１４とを設け、重心算出手段１４に、物
体の大きさに応じて重心算出の区間幅を決定する区間決
定手段１６と、区間決定手段１６で決定した区間幅を用
いて各区間ごとに投影値を算出する投影算出手段１８
と、決定区間の中で投影値が最大になる区間を選択する
区間選択手段２０と、区間選択手段２０による選択区間
内で重心を算出する区間重心算出手段２２とを備えたこ
とを特徴とする。

【００１０】ここで区間選択手段２０としては、隣り合
う区間では少なくとも決定区間幅の半分を重複させて選
択することにより、区間境界に位置する物体を完全に含
む区間を設定する。また区間選択手段２０としては、投
影値が最大になる区間の両側に予め定めた修正幅（区間
幅の半分）を加算して拡張した区間を選択することによ
り、区間境界に位置する物体を完全に含む区間を設定す
るようにしてもよい。

【００１１】

【作用】このような構成を備えた本発明の微小物体の位
置計測方式によれば、物体を抽出した画像から各列，各
行の投影値を算出し、次に、物体の大きさに依存して任
意区間幅を決定し、各区間の投影値を算出する。最後
に、これらの区間の中で投影値が最大の区間を選択し、
その区間内での重心を算出して、それを物体の重心とす
る。

【００１２】このように物体の大きさに依存して区間幅
を決定し、物体の含む区間内で重心を算出することか
ら、従来、問題になっていた雑音の影響を物体の含む区
間内の雑音だけの影響に抑えることができ、物体の高精
度な重心算出が可能になる。

【００１３】

【実施例】図２は本発明の一実施例を示した実施例構成
図であり、この実施例にあっては、ゴルフのスイングに
おけるアドレスからインパクトまでの体の動きを計測す
るため、ゴルファーの例えば肩に検出対象となる微小物
体としての色マーカ１０を付け、色マーカ１０を抽出し
て位置検出を行う場合を例にとっている。

【００１４】図２において、色マーカ１０を付けたゴル
ファーはテレビカメラ２４により撮影され、テレビカメ
ラ２４からのカラー映像信号はＡＤ変換回路２６でデジ
タル信号に変換され、Ｒ信号、Ｇ信号及びＢ信号として
色抽出回路２８に出力される。色抽出回路２８は画像の
中の計測対象となる色マーカ１０の特定色を抽出する。

【００１５】色抽出回路２８で抽出された色マーカ１０
は雑音除去回路３０で雑音除去の処理が施された後、色
マーカ１０の色毎に設けられた投影算出回路３２−１〜
３２−ｎに送られる。この実施例にあっては、色マーカ
１０を赤色または黄色とした場合の投影算出回路３２−
１〜３２−ｎを設けているが、ゴルファーの計測位置毎
に異なる色の色マーカを設け、各色に対応した投影算出
回路に雑音除去された対応する色マーカの処理信号を送
れば良い。

【００１６】投影算出回路３２−１〜３２−ｎで算出さ
れた投影位置はＤＳＰ（デジタルシグナルプロセッサ）
３４に与えられ、図１の原理図の重心算出手段１４を構
成する区間決定手段１６、投影算出手段１８、区間選択
手段２０、更に区間重心算出手段２２としての処理を実
行し、算出した色マーカ１０の位置をホスト計算機に出
力するようになる。

【００１７】次に、図２の実施例における各部の構成を
その作用と共に詳細に説明する。まず、テレビカメラ２
４で撮影するゴルファーに付ける色マーカ１０として
は、体の計測したい部分に付着されるが、例えば体の中
の頭、肩、腰、手、膝等に付ける。このように、色マー
カ１０を付けたゴルファーによるアドレスからインパク
トまでの動きをテレビカメラ２４で捉え、テレビカメラ
２４からのカラー画像信号をＡＤ変換回路２６でＲＧＢ
のデジタル信号に変換して色抽出回路２８に与える。

【００１８】色抽出回路２８は図３に示すようにＲＧＢ
の画像データに対しルックアップテーブル（ＬＵＴ）３
６を使用してデータ変換を行い、色マーカ１０に付けた
複数の特定色の画像データの画素値のみを各特定色に相
当する特定の値に変換して出力し、色マーカ１０に使用
されていない他の色に対しては画素値を零として出力す
る。

【００１９】この色抽出回路２８としては、例えば特開
昭６３−３１４９８８号の「ビデオレート色抽出装置」
を用いて実現することができる。続いて、色抽出回路２
８で抽出された色マーカ１０の特定色の画像データは雑
音除去回路３０に与えられ、雑音除去が行われる。雑音
除去回路３０による雑音除去としては、例えば図４に示
すように３×３の論理フィルタ３８を用いて孤立点除去
を行い、４連結等のドットが連続する連結パターンを抽
出する。

【００２０】即ち、３×３の論理フィルタにあっては、
ビット１で示す十字形の５つの画素値について有効デー
タが得られたときにのみ出力を１とし、それ以外は雑音
として０とする。このような雑音除去回路３０による雑
音処理が施された色マーカの抽出データは各色毎に投影
算出回路３２−１〜３２−ｎに与えられる。

【００２１】投影算出回路３２−１〜３２−ｎは、図５
の３２に示すように、雑音除去回路３０で雑音が除去さ
れた未知パターンに対し画像の各色毎の水平投影及び各
列毎の垂直投影及び水平投影を求め、投影の総和Ｓｕｍ
を算出する。この投影算出回路３２としては、例えば特
開昭６３−１４０３８１号の「ビデオレート投影算出回
路」を用いることができる。

【００２２】次に、図２のＤＳＰ３４で実現される本発
明の重心算出手段１４を図６を参照して説明する。図６
は重心算出手段１４を構成するＤＳＰ３４の外部ＲＡＭ
４０の内容と、重心算出プログラムの処理フローを示
す。図６の重心算出処理にあっては、図５に示した投影
算出回路３２の処理で得られた水平投影値Ｐｈ（ｉ）、
垂直投影値Ｐｖ（ｊ）をＤＳＰ３４の外部ＲＡＭ４０に
格納する。

【００２３】また、図７の画像データ４２に示すように
物体、即ち色マーカ１０の移動領域の最大値と最小値を
設定し、開始点と終了点で決まる投影有効区間として外
部ＲＡＭ４０に格納しておく。更に、計測対象となる物
体、即ち色マーカ１０の２倍程度の値を区間幅として外
部ＲＡＭ４０の任意区間幅の領域に格納しておく。

【００２４】このような外部ＲＡＭ４０に対するデータ
の格納ができたならば、図６のステップＳ１において、
外部ＲＡＭ４０の水平投影値、垂直投影値及び投影有効
区間、更に任意区間幅の値を使って順々に各区間の投影
値の累積値を算出する。ステップＳ１で次々に算出され
る区間投影値は前に算出された最大の区間投影値とステ
ップＳ２において比較され、もし現在求められた区間投
影値がそれまでの最大区間投影値以上であれば、現時点
の区間投影値を新たな区間最大値とする。

【００２５】同時に、区間最大投影値が得られた区間の
開始点と終了点を記憶する。以上のステップＳ１〜ステ
ップＳ３の処理を全区間につき繰返すことにより投影値
が最大の区間とその区間の開始点、終了点が得られ、結
果は外部ＲＡＭ４０に格納される。図７は図６のステッ
プＳ１〜ステップＳ３における区間最大投影値を求める
場合の具体的な処理内容を示す。

【００２６】図７にあっては、投影有効区間として開始
点を１０行目、終了点を９７行目に設定しており、区間
幅は４行分に設定している。各区間幅を構成する４行分
の投影値は図示のようになり、各区間の投影値を累積し
た区間投影値は右側に示すように１４行目から１７行目
の区間幅において、区間最大投影値３１２が得られる。

【００２７】従って、区間最大投影値として３１２、開
始点として１４行目、終了点として１７行目を外部ＲＡ
Ｍ４０に格納するようになる。再び図６を参照するに、
ステップＳ３までの処理により区間最大投影値、開始
点、終了点が求められたならば、次にステップＳ４，ス
テップＳ５の処理により最大投影値をもつ区間内での重
心を算出する。

【００２８】ここで、水平投影において最大投影値をも
つ区間の開始点をｓｔｈ、終了点をｅｄｈとし、垂直投
影において最大投影値をもつ区間の開始点をｓｔｖ、終
了点をｅｄｖとすると、最大投影値をもつ区間内での重
心は次式で算出できる。

【００２９】

【数２】

【００３０】以上の処理により色マーカ１０の位置をＤ
ＳＰ３４の高速性を生かしてリアルタイムで計測するこ
とができる。図８は図１の原理図に示した区間選択手段
２０による重心算出区間の決定方法の第２実施例を示
す。図８（ａ）に示すように、画像データの任意区間を
重複なしに等間隔で設定した場合、対象物Ａは区間内
に位置するため、その重心を正確に算出できる。

【００３１】しかし、対象物Ｂは区間とに跨がって
おり、例えば区間で算出したときの重心の誤差が大き
くなってしまう。そこで、本発明の他の実施例として図
８（ｂ）に示すように区間幅の半分だけずらした２種の
区間設定を行う。即ち、第１の区間の設定に対し
区間幅を半分ずらした区間を設定する。このよう
に、区間設定を区間幅半分ずらして重複させることによ
り、図８（ａ）では正確に算出できなかった対象物Ｂの
重心を、区間の設定で正確に算出することができる。

【００３２】図９は図１の原理図に示した区間選択手段
２０による重心算出区間の決定方法の第３実施例を示
す。図９（ａ）に示すように、画像データの任意区間を
重複なしに等間隔で設定し、図７に示したように区間投
影値の累積値を求めた結果、例えば区間で最大値が得
られたとする。

【００３３】この場合には、図９（ｂ）に示すように、
投影値の累積値が最大である最大投影区間の情報をも
とに、予め登録している任意区間の修正幅を加算して区
間幅を拡張し、この拡張区間について重心を求める。こ
こで拡張する修正幅は、任意区間の半分とすればよい。
更に任意区間に修正幅を加えた際に図７に示した画像デ
ータの投影有効区間を越える場合には、投影有効区間の
開始点、或いは終了点を重心算出区間の端点とする。

【００３４】このように重心算出区間を決定することに
より、図９（ａ）では区間だけで対象物Ａの重心を算
出するために重心の精度が悪くなるが、図９（ｂ）のよ
うに対象物Ａを拡張した重心算出区間に納めることで精
度よく重心を算出できる。また図８（ｂ）では区間投影
の累積値を格納するＤＳＰのレジスタの数を例えば２倍
に増加させなければならないが、図９（ｂ）の場合には
レジスタの数を増加させる必要ない。

【００３５】図１０は図２の実施例で得られたゴルフフ
ォームの解析結果を示した説明図である。即ち、図１０
はゴルファーの頭、両肩、両膝、腰及び手に付けた異な
る色の色マーカの座標値を本発明により６０分の１秒毎
に算出した結果に基づき、アドレスからインパクトまで
の各部の垂直方向の変動量を数値及び図形として示して
いる。

【００３６】このように、ゴルファーの体の各部に付け
る色マーカのような微小物体であっても、周囲のノイズ
に影響されずに正確に色マーカの位置を計測することが
できる。尚、上記の実施例はゴルフスイングにおける体
のブレを計測する場合を例にとるものであったが、本発
明はこれに限定されず、適宜の微小物体の位置検出にそ
のまま適用することができる。

【００３７】

【発明の効果】以上説明してきたように本発明によれ
ば、計測対象となる物体の大きさに応じて画像を区間分
割し、区間単位の投影値の算出により物体の位置する区
間を抜き出して重心を算出するため、雑音の影響を受け
にくく、精度の良い重心計算ができる。

【００３８】また、従来の移動マスクを用いた方式で
は、マスク移動位置の予測ができない場合に移動マスク
の領域を大きくとることで雑音の影響を大きく受けた
が、本発明にあっては物体の動きの予測は必要なく、更
に、高速移動する物体であっても安定した精度の良い重
心算出ができる。更に本発明はビデオレートで算出可能
な投影量算出手段を使用していることからパイプライン
演算が可能であり、ビデオレートで精度の良い重心算出
を行う高速処理ができる。

【図面の簡単な説明】

【図１】本発明の原理説明図

【図２】本発明の実施例構成図

【図３】本発明の色抽出回路の実施例構成図

【図４】本発明の雑音除去回路の実施例構成図

【図５】本発明の投影算出回路の処理説明図

【図６】本発明のＤＳＰによる重心算出処理説明図

【図７】本発明のＤＳＰによる処理具体例説明図

【図８】本発明による区間設定を示した説明図

【図９】本発明による区間設定の他の実施例を示した説
明図

【図１０】本発明で得られたゴルフスイングの処理結果
説明図

【図１１】従来方式の説明図

【図１２】他の従来方式の説明図

【図１３】従来方式の移動マスク説明図

【符号の説明】

１０：物体（色マーカ） １２：抽出手段 １４：重心算出手段 １６：区間決定手段 １８：投影算出手段 ２０：区間選択手段 ２２：区間重心算出手段 ２４：テレビカメラ ２６：Ａ／Ｄ変換回路 ２８：色抽出回路 ３０：雑音除去回路 ３２，３２−１〜３２−ｎ：投影算出回路 ３４：ＤＳＰ ３６：ルックアップテーブル（ＬＵＴ） ３８：論理フィルタ ４０：外部ＲＡＭ ４２：画像データ

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】撮影された画像の中の微小な物体の位置を
   計測する微小物体の位置計測方式に於いて、撮影された
   画像の中から計測対象とする物体(10)を抽出する抽出手
   段(12)と、該抽出手段(12)で抽出された物体(10)の重心
   を算出して物体の位置を求める重心算出手段(14)とを設
   け、該重心算出手段(14)は、物体の大きさに応じて重心
   算出の区間幅を決定する区間決定手段(16)と、該区間決
   定手段(16)で決定した区間幅を用いて各区間ごとに投影
   値を算出する投影算出手段(18)と、前記区間の中で投影
   値が最大になる区間を選択する区間選択手段(20)と、該
   区間選択手段(20)による選択区間内で重心を算出する区
   間重心算出手段(22)とを備えたことを特徴とする微小物
   体の位置計測方式。
2. 【請求項２】請求項１記載の微小物体の位置計測方式に
   於いて、前記区間選択手段(20)は、隣り合う区間では少
   なくとも決定区間幅の半分を重複させて選択することに
   より、区間境界に位置する物体を完全に含む区間を設定
   することを特徴とする微小物体の高精度位置計測方式。
3. 【請求項３】請求項１記載の微小物体の位置計測方式に
   於いて、前記区間選択手段(20)は、投影値が最大になる
   区間の両側に予め定めた修正幅を加算して拡張した区間
   を選択することにより、区間境界に位置する物体を完全
   に含む区間を設定することを特徴とする微小物体の高精
   度位置計測方式。