JP2854831B2 - 三次元位置認識方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は位置認識方法および装
置に関し、特にたとえば発光ダイオード（ＬＥＤ）のよ
うな点光源およびその点光源が取り付けられた物体の三
次元位置を認識する、位置認識方法および装置に関す
る。

【０００２】

【従来の技術】画像処理によって物体の位置を認識する
方法が既に数多く提案されているが、このような認識方
法は、離れたところから非接触で物体の位置を認識する
ことができる点で有用である。画像処理による物体の位
置認識方法において、点光源を認識の対象としたとき、
最も高い輝度をもつピクセル情報に基づいて点光源の位
置を検出することができる。しかしながら、従来技術の
いずれにおいても、画像処理のためにフレームメモリを
用いる必要があり、回路規模が大きくなってしまうとい
う欠点があった。

【０００３】そこで、発明者等は、先に、特願平７−２
２３０５４号において、より簡単かつ安価な方法で位置
認識が可能な、位置認識方法および装置を提案した。こ
の提案技術は、従来に比べてはるかに安価かつ簡単な装
置でＬＥＤ等の点光源の位置を認識できるというすぐれ
た特長がある。

【０００４】

【発明が解決しようとする課題】しかしながら、提案技
術では、点光源の二次元パラメータは得られるものの、
三次元位置を認識することはできなかった。なお、たと
えば、Motion Analysis 社製の「ExpertVision HiRES」
のように、マルチカメラおよびフレームメモリを用いれ
ば、三次元位置を認識することができるが、この方法
は、上述のように、非常に高価である。

【０００５】それゆえに、この発明の主たる目的は、極
めて簡単かつ安価に光源の三次元位置を認識することが
できる、位置認識方法を提供することである。この発明
の他の目的は、そのような位置認識方法を実現する装置
を提供することである。

【０００６】

【課題を解決するための手段】第１の発明は、フレーム
に同期して光源を駆動し、光源を含む映像を撮影したビ
デオカメラからの映像信号の走査線情報に基づいてその
フレーム内における光源の位置を検出する、位置認識方
法において、(a) ビデオカメラによって前記光源を撮影
して光源が面積をもつような映像信号を出力し、そして
(b) 映像信号における光源の画像の大きさによってビデ
オカメラから光源までの距離を判別する、位置認識方法
である。

【０００７】第２の発明は、光源、光源を撮影して光源
が面積をもつような映像信号を出力するビデオカメラ、
フレームに同期して点光源を駆動する駆動手段、ビデオ
カメラからの映像信号の走査線情報に基づいて当該フレ
ーム内における光源の位置を検出する検出手段、および
映像信号における光源の画像の大きさによってビデオカ
メラから光源までの距離を判別する判別手段を備える、
位置認識装置である。

【０００８】

【作用】光源は、たとえばＬＥＤであり、人体や動物あ
るいは機械等の位置を検出したい部位または部分に取り
付けられる。ビデオカメラはそのような部位または部分
に取り付けられたＬＥＤを含む映像を撮影し、テレビジ
ョン信号（映像信号）を出力する。光源はフレーム、具
体的には垂直同期信号に同期して駆動され、光源が駆動
されたときのビデオカメラからの映像信号の走査線情
報、たとえば水平同期信号によってリセットされかつ適
宜のクロックに従ってインクリメントされる第１カウン
タおよび垂直同期信号によってリセットされかつ水平同
期信号に従ってインクリメントされる第２カウンタのカ
ウント値に基づいて、画面（フレーム）内における光源
のＸ軸およびＹ軸の位置を検出する。

【０００９】たとえば光源に焦点が合っていない状態で
ビデオカメラで光源の映像を撮影すると、光源がぼやけ
て、光源画像は面積を持つ画像となる。光源画像の大き
さ、たとえば面積や径は、ビデオカメラから光源までの
距離に依存して変化するので、光源画像は、上述のＸ軸
およびＹ軸の位置の情報のみならず、ビデオカメラから
光源までの距離すなわち、Ｚ軸の位置情報を含む。した
がって、光源の大きさを検出することによって、光源の
Ｚ軸位置すなわちビデオカメラから光源までの距離を検
出することができる。

【００１０】

【発明の効果】この発明によれば、光源の位置を認識す
るためにフレームメモリを用いる必要はなく、簡単かつ
安価にして、光源の三次元位置を検出することができ
る。この発明の上述の目的，その他の目的，特徴および
利点は、図面を参照して行う以下の実施例の詳細な説明
から一層明らかとなろう。

【００１１】

【実施例】図１に示す実施例の位置認識システム１０
は、点光源としてのＬＥＤ１２ａ，１２ｂおよび１２ｃ
を含む。点光源、すなわちＬＥＤ１２ａ〜１２ｃは、こ
の実施例では、赤外線ＬＥＤである。ＬＥＤ１２ａ〜１
２ｃは、人体の変位する部位ないし部分にそれぞれ取り
付けられていて、したがって、この実施例のシステム１
０は、点光源１２ａ〜１２ｃの位置を検出することによ
って、人体の各部位ないし部分の位置およびその変位を
検出する。

【００１２】ＣＣＤカメラ１４は、この実施例では、赤
外領域で高感度な特性をもつ赤外フィルタ付ＣＣＤカメ
ラであり、点光源１２ａ〜１２ｃを含む映像、すなわち
人体やその背景を撮影する。図ではわからないが、ＣＣ
Ｄカメラ１４は、デフォーカス用のレンズを用いてい
る。または、ＣＣＤカメラ１４のレンズのフォーカスを
甘くしておく。つまり、ＣＣＤカメラ１４は、点光源１
２ａ〜１２ｃを、焦点が合っていない状態で撮影する。

【００１３】ＣＣＤカメラ１４からは映像信号すなわち
テレビジョン信号が出力され、その映像信号は同期検出
回路１６に与えられる。この同期検出回路１６として
は、たとえば、“ＬＭ１８８１”のような同期分離用Ｉ
Ｃが用いられ得る。そして、同期検出回路１６は、ＣＣ
Ｄカメラ１４から出力される映像信号（テレビジョン信
号）から水平同期信号Ｈsyncおよび垂直同期信号Ｖsync
を取り出し、それを１チップの１６ビットマイクロコン
ピュータ１８の入力ポート２０に与える。

【００１４】一方、同期検出回路１６によって同期分離
された映像信号は、ピーク検波回路２２および比較回路
２４に与えられる。ピーク検波回路２２は、映像信号の
ピーク値を検出するものであり、その検出されたピーク
値は比較回路２４に与えられる。比較回路２４では、ピ
ーク値に応じて適当な基準レベル（閾値）を設定し、同
期分離された映像信号をその基準レベル（閾値）で２値
化することによって、背景部分よりも大きいレベルの点
光源の映像信号だけを分離する。したがって、比較回路
２４からは、点光源すなわちＬＥＤ１２ａ，１２ｂまた
は１２ｃの部分だけがハイレベルとなり他の部分はロー
レベルとなる２値化信号が出力され、それが入力ポート
２０に与えられる。

【００１５】マイクロコンピュータ１８は、たとえば
“Ｖ２５”または“Ｖ５５”のようなタイムキャプチャ
機能を有するマイクロコンヒュータであり、ＣＰＵ２６
や、必要なメモリのほかに、Ｙカウンタ２８およびＸカ
ウンタ３０を含む。Ｙカウンタ２８は、入力ポート２０
を通して与えられる垂直同期信号Ｖsyncでリセットされ
かつ同じように入力ポート２０から与えられる水平同期
信号Ｈsyncに応じてインクリメントされる。つまり、Ｙ
カウンタ２８のカウント値は、１画面（１フレーム）中
の走査線の数を示し、縦軸すなわち、Ｙ軸の位置情報と
なる。Ｘカウンタ３０は、水平同期信号Ｈsyncでリセッ
トされ、映像信号に比べて十分高速（たとえば数十１０
ＭＨｚ）で、正確なクロックに従ってインクリメントさ
れる。つまり、Ｙカウンタ２８のカウント値は、１画面
（１フレーム）中の走査線の数を示し、横軸すなわち、
Ｘ軸の位置情報となる。

【００１６】マイクロコンピュータ１８に含まれるＸ１
バッファ３２は、１画面（１フレーム）の走査線の最大
数に相当する数のレジスタ群であり、映像信号の立ち上
がり時のＸカウンタ３０のカウント値をロードする。同
じように、Ｘ２バッファ３４は、１画面の走査線の最大
数に相当する数のレジスタ群であり、映像信号の立ち下
がり時のＸカウンタ３０のカウント値をロードする。Ｘ
１バッファ３２およびＸ２バッファ３４は、それぞれ、
Ｙカウンタ２８のカウント値によってアドレスされる。

【００１７】マイクロコンピュータ１８は、出力ポート
３６を介して、ＬＥＤ１２ａ，１２ｂおよび１２ｃのそ
れぞれに対して駆動信号を与える。したがって、マイク
ロコンピュータ１８がＬＥＤ１２ａ，１２ｂまたは１２
ｃを駆動したときの映像信号がＣＣＤカメラ１４によっ
て撮影され、マイクロコンピュータ１８は、そのときに
得られる図２のような映像信号に基づいて、図２の画面
３８の左上を原点として、点光源１２ａ，１２ｂまたは
１２ｃのＸ軸，Ｙ軸およびＺ軸の位置を検出する。

【００１８】次に、図３に示すフロー図とともに、図１
実施例の動作について説明する。図３の最初のステップ
Ｓ１では、ＣＰＵ２６は、入力ポート２０から水平同期
信号Ｈsyncが入力されたかどうかを検出する。つまり、
図３のフロー図は、ＣＰＵ２６が水平同期信号Ｈsyncを
検出したとき、スタートする。そして、ステップＳ１で
水平同期信号Ｈsyncを検出すると、ＣＰＵ２６は、ステ
ップＳ２において、Ｘカウンタ３０をリセットするとと
もに、そのＸカウンタ３０をトリガ（スタート）する。
したがって、Ｘカウンタ３０は、この時点から図示しな
いクロックに従ってインクリメントされる。また、Ｙカ
ウンタ２８が水平同期信号Ｈsyncによってインクリメン
トされる。

【００１９】次のステップＳ３では、ＣＰＵ２６は、再
び、水平同期信号Ｈsyncが入力されたかどうか判断す
る。ステップＳ１で水平同期信号Ｈsyncが検出されさら
にステップＳ３で水平同期信号Ｈsyncが検出されるとい
うことは、ステップＳ１において検出された水平同期信
号Ｈsyncのライン（水平走査線）に点光源の映像が存在
しなかったことを意味し、この場合には、再びステップ
Ｓ２に戻って、Ｘカウンタ３０がリセット／スタートさ
れる。

【００２０】ステップＳ３で水平同期信号Ｈsyncが検出
されない場合には、ＣＰＵ２６は、次のステップＳ４に
おいて、比較回路２４からの２値化された映像信号の立
ち上がりを検出したかどうか判断する。映像信号の立ち
上がりがなければ、先のステップＳ３に戻る。映像信号
の立ち上がりが検出されると、続くステップＳ５におい
て、ＣＰＵ２６は、そのときのＸカウンタ３０のカウン
ト値を、そのときのＹカウンタ２８のカウント値によっ
て指定される走査線番号に対応する立ち上がりレジスタ
すなわちＸ１バッファ３２にロードする。つまり、ステ
ップＳ５では、点光源映像信号の立ち上がりでＹカウン
タ２８のカウント値すなわち垂直同期信号Ｖsyncからの
走査線数（垂直方向位置）に応じた番号のレジスタに、
Ｘカウンタ３０のカウント値、すなわち、水平同期信号
Ｈsyncからの水平方向位置がＸ１バッファ３２にロード
される。

【００２１】次のステップＳ６では、ＣＰＵ２６は、再
び、水平同期信号Ｈsyncが入力されたかどうか判断す
る。そして、このステップＳ６で“ＹＥＳ”が判断され
ると、先のステップＳ２に戻る。次のステップＳ７にお
いて、ＣＰＵ２６は、点光源映像信号の立ち下がりが検
出されたかどうか判断する。このステップＳ７において
“ＹＥＳ”が判断されると、ＣＰＵ２６は、次のステッ
プＳ８において、そのときのＸカウンタ３０のカウント
値を、そのときのＹカウンタ２８のカウント値によって
指定される走査線番号に対応する立ち下がりレジスタす
なわちＸ２バッファ３４にロードする。

【００２２】その後、ステップＳ９において、ＣＰＵ２
６は、入力ポート２０から垂直同期信号Ｖsyncが入力さ
れたかどうか判断する。このステップＳ１０において
“ＮＯ”が判断されると、ステップＳ１に戻るが、“Ｙ
ＥＳ”が判断されると、次のステップＳ１０において、
ＣＰＵ２６は、Ｘ１バッファ３２およびＸ２バッファ３
４のデータを取り込み、位置計算する。

【００２３】つまり、ステップＳ５およびＳ８におい
て、１フレーム間での点光源映像信号の立ち上がり位置
および立ち下がり位置がＸ１バッファ３２およびＸ２バ
ッファ３４に展開されている。したがって、理想的な状
態で、ノイズがなく、図４に示すＹ_S 番目の走査線から
Ｙ_E 番目の走査線まで点光源が観測されたとき、Ｘ１バ
ッファ３２およびＸ２バッファ３４には、Ｙ_S 番地から
Ｙ_E 番地までの値がロードされていることになる。この
とき、点光源の位置は、次のようにして求めることがで
きる。

【００２４】画像上でのＸ軸位置は、Ｘ２バッファ３４
の値とＸ１バッファ３２の値との中間値のＹ_S 番地から
Ｙ_E 番地までの平均値として、数１で計算できる。

【００２５】

【数１】 Ｘ＝Σ［Ｘ₂ （ｉ）−Ｘ₁ （ｉ）｝／２］／Ｙ_E −Ｙ_S また、画像上でのＹ軸位置は、Ｙ_S 番地からＹ_E 番地ま
での中間値として、数２で計算できる。

【００２６】

【数２】Ｙ＝（Ｙ_S ＋Ｙ_E ）／２ 上記ＸおよびＹから、ＣＣＤカメラ１４のレンズ系の分
解能（広角，望遠等）を考慮して、ＣＣＤカメラ１４の
中心に対する点光源のＸ軸角度およびＹ軸角度θｘおよ
びθｙを求めることができる。

【００２７】一方、Ｚ軸位置については、点光源画像の
面積を計算することによって、求める。図５および図６
に示すように、ＣＣＤカメラ１４から点光源（ＬＥＤ）
までの距離に応じて、点光源画像の大きさが変化する。
つまり、ＣＣＤカメラ１４の焦点が点光源に合致してい
ないので、前述のように一定の閾値で映像信号を２値化
すると、点光源までの距離が短いときには点光源画像は
図５に示すように相対的に小さくなり、点光源までの距
離が長いときには点光源画像は図６に示すように相対的
に大きくなる。したがって、点光源画像の大小で、ＣＣ
Ｄカメラ１４から点光源（ＬＥＤ）までの距離すなわ
ち、Ｚ軸位置を判定することができる。この点光源画像
の大きさを判別するために、実施例では、面積を計算す
る。

【００２８】点光源画像の面積は、Ｘ１バッファ３２の
値からＸ２バッファ３４の値までのＹ_S 番地からＹ_E 番
地までの総和として計算する。図４の例でいえば、Ｙ_S
番目の走査線では、Ｘ１バッファ３２およびＸ２バッフ
ァ３４の値は、Ｘ₁ (Y_S ) およびＸ₂ (Y_S ) である。同
様にして、Ｙ_S+1 番目の走査線では、Ｘ１バッファ３２
およびＸ２バッファ３４には、Ｘ₁ (Y_S+1)およびＸ₂ (Y
_S+1)がストアされ、Ｙ _E 番目の走査線では、Ｘ１バッフ
ァ３２およびＸ２バッファ３４の値は、Ｘ₁ (Y _E ) およ
びＸ₂ (Y_E ) がストアされている。したがって、点光源
画像の面積Ｓは、数３で与えられる。

【００２９】

【数３】 Ｓ＝Σ（Ｘ₂ −Ｘ₁ ）（Ｙ_S ，Ｙ_S+1 ，…Ｙ_E ） そして、その面積の大小を判断して、点光源がＣＣＤカ
メラ１４から遠い距離にあるのか近いのかが判定でき
る。したがって、キャリブレーションによって面積の閾
値を最適に設定すれば、点光源のＺ軸位置を絶対値とし
て検出することができる。

【００３０】最終的には、上述の各軸角度θｘおよびθ
ｙと、Ｚ軸位置とに基づいて、簡単な三角関数を用い
て、点光源の絶対位置を計算することができる。最後
に、ステップＳ１２において、ＣＰＵ２６は、出力ポー
ト３６から駆動信号を出力し、次に検出すべき点光源
（ＬＥＤ）１２ａ，１２ｂまたは１２ｃのいずれかを駆
動する。すなわち、ステップＳ１２において、垂直同期
信号Ｖsyncに同期してＬＥＤ１２ａ，１２ｂまたは１２
ｃが駆動され、その後ステップＳ１〜Ｓ１１が実行され
るので、結果的に、１つのＬＥＤ（点光源）１２ａ，１
２ｂまたは１２ｃは、それぞれ異なるフレームで処理さ
れる。

【００３１】なお、上述の実施例では、光源画像が面積
をもつ映像信号をビデオカメラから出力するために、点
光源に対して焦点が合っていないＣＣＤカメラ１４を用
いた。しかしながら、光源画像が面積をもつ映像信号を
ビデオカメラから出力するためには、さらに、次のよう
に構成することも考えられる。(1) 点光源を面光源に代
える、(2) ビデオカメラの前にぼかしフィルタを装着す
る、(3) ＣＣＤカメラでハレーションを生じさせる、等
である。

【００３２】また、上述のキャリブレーションとして
は、Ｘ軸位置やＹ軸位置によってＺ位置を補正すること
が考えられる。つまり、点光源のＸ軸位置やＹ軸位置に
よって点光源の面が変化するので、その変化の係数をキ
ャリブレーションによってもとめ、実際の測定に際して
補正する。さらに、キャリブレーションとしては、図５
および図６に示すように、点光源画像の映像信号のスロ
ープが直線でないことに起因する誤差を補正することが
考えられる。つまり、映像信号のスロープが直線ではな
いので、一定の閾値によってそれを２値化すると、面積
と距離とが正確には比例関係にない場合が生じるので、
そのような場合に、比例関係になるように補正すること
である。

【００３３】さらに、上述の実施例では、ＬＥＤ１２ａ
〜１２ｃを赤外線ＬＥＤとし、ＣＣＤカメラ１４を赤外
線フィルタ付のカメラで構成したが、ＬＥＤとして他の
可視光線を出力するものを用い、ＣＣＤカメラ１４のフ
ィルタとしてはその可視光線を検出するフィルタを用い
るようにすれば、ＬＥＤの色とフィルタの色とによって
複数のＬＥＤ（点光源）を同時に発光させても、そのい
ずれであるかを特定することができる。

【００３４】そして、上述の実施例では点光源を駆動す
るために有線方式を採用したが、無線方式が用いられて
もよい。つまり、マイクロコンピータ１８からの駆動信
号を無線送信装置から出力し、点光源側にその無線信号
を受信する受信装置を設け、点光源がその受信装置から
の信号で駆動されるようにしてもよい。上述のような位
置検出システムは、様々な分野で応用が可能である。た
とえば、マルチメディアにおけるバーチャルリアリティ
等で、人間の動作を認識する必要がある。従来は、極め
て高価なデータスーツやデータグローブおよび多量のハ
ードウェアと計算時間を消費する画像認識による認識が
一般的であったが、上述の実施例のようなシステムを用
いれば、極めて安価でかつリアルタイムで人間の動作を
認識することができるので、たとえば、舞踏芸術のデー
タベース化、人間工学での行動分析（心理的な挙動の計
測等）、対戦格闘ゲームなどの参加型ゲームの入力イン
タフェース、ジェスチャの認識（手話認識など）、スポ
ーツへの応用（ゴルフスイングの診断など）、リハビリ
テーションにおける歩行等の動作解析での臨床応用、動
物の行動パターンの解析、ペン先の変位に従った文字認
識などに応用することができる。また、物体への応用と
しては、機械や建造物の動作解析や、空間変位を検出す
るために利用できる。たとえば、物体の位置決め、形状
検出、橋梁，建設機械，浮体動揺等微小変位の遠隔的計
測などにも利用できるし、ロボット，模型，機械等の動
きを非接触で計測してそれを駆動系にフィードバックす
ることによってそれらをリアルタイムに制御することが
できる。

【図面の簡単な説明】

【図１】この発明の一実施例を示す図解図である。

【図２】図１実施例のＣＣＤカメラで撮影した映像信号
に従って表示した画面の一例を示す図解図である。

【図３】図１実施例の動作を示すフロー図である。

【図４】図１実施例において２値化された映像信号の立
ち上がりおよび立ち下がりと各水平走査線との関係を示
す図解図である。

【図５】図１実施例においてＣＣＤカメラと点光源（Ｌ
ＥＤ）との距離が近い場合を示す図解図である。

【図６】図１実施例においてＣＣＤカメラと点光源（Ｌ
ＥＤ）との距離が遠い場合を示す図解図である。

【符号の説明】

１０ …位置認識システム １２ａ，１２ｂ，１２ｃ …ＬＥＤ １４ …ＣＣＤカメラ １６ …同期検出回路 １８ …マイクロコンピュータ ２４ …比較回路 ２６ …ＣＰＵ ２８ …Ｙカウンタ ３０ …Ｘカウンタ ３２ …Ｘ１バッファ ３４ …Ｘ２バッファ

フロントページの続き (56)参考文献 特開 平３−218407（ＪＰ，Ａ) 特開 平４−45907（ＪＰ，Ａ) 特開 平７−266268（ＪＰ，Ａ) 特開 平５−52537（ＪＰ，Ａ) 特開 平９−68409（ＪＰ，Ａ) 特開 平10−105714（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G01B 11/00 G06T 1/00

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】フレームに同期して光源を駆動し、光源を
   含む映像を撮影したビデオカメラからの映像信号の走査
   線情報に基づいてそのフレーム内における光源の位置を
   検出する、位置認識方法において、 (a) 前記ビデオカメラによって前記光源を撮影して前記
   光源が面積をもつような映像信号を出力し、そして(b)
   前記映像信号における前記光源の画像の大きさによって
   前記ビデオカメラから前記光源までの距離を判別する、
   位置認識方法。
2. 【請求項２】前記ステップ(a) では前記光源を点光源と
   し、前記点光源に対して前記ビデオカメラのレンズの焦
   点が合わない状態で前記点光源を撮影する、請求項１記
   載の位置認識方法。
3. 【請求項３】前記ステップ(a) では前記光源を点光源と
   し、前記ビデオカメラにデフォーカス用レンズを用いて
   前記点光源を撮影する、請求項１記載の位置認識方法。
4. 【請求項４】前記ステップ(a) では前記光源を面光源と
   して前記ビデオカメラで撮影する、請求項１記載の位置
   認識方法。
5. 【請求項５】前記ステップ(a) では前記光源を点光源と
   し、前記点光源をぼかしフィルタを通して前記ビデオカ
   メラで撮影する、請求項１記載の位置認識方法。
6. 【請求項６】前記ステップ(a) では前記ビデオカメラと
   してＣＣＤカメラを用いる、請求項１ないし５のいずれ
   かに記載の位置認識方法。
7. 【請求項７】前記ステップ(b) では前記映像信号におけ
   る前記点光源の画像の面積に基づいて前記距離を判定す
   る、請求項１ないし６のいずれかに記載の位置認識方
   法。
8. 【請求項８】光源、 前記光源を撮影して前記光源が面積をもつような映像信
   号を出力するビデオカメラ、 フレームに同期して前記点光源を駆動する駆動手段、 前記ビデオカメラからの映像信号の走査線情報に基づい
   て当該フレーム内における前記光源の位置を検出する検
   出手段、および前記映像信号における前記光源の画像の
   大きさによって前記ビデオカメラから前記光源までの距
   離を判別する判別手段を備える、位置認識装置。
9. 【請求項９】前記判定手段は前記映像信号における前記
   光源の画像の面積に基づいて前記距離を判定する、請求
   項５記載の位置認識方法。