JP3454281B2 - 画像計測装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラを使用し
て撮影された画像を処理することで対象物体の位置を計
測するのに利用する画像計測装置、特に人間の運動解析
のように予測できない複雑な動きをするものを計測する
場合に適する同期式フレームメモリ付きの画像計測装置
に関する。

【０００２】

【従来の技術】テレビカメラを使用して被写体を撮影
し、その画像を処理して対象物体と背景を分離し、対象
物体の位置をリアルタイムに計測することが行なわれて
いる。また撮影にフィルムを用い、撮影された画像をデ
ジタイズすることで位置を計測することも行なわれてい
る。また、複数のカメラを使用した３次元位置計測も行
なわれている。

【０００３】

【発明が解決しようとする課題】人間の動作解析などで
人間の姿勢を計測する場合など、手足の関節の位置を計
測するため、関節にマーカを付け、その位置を画像計測
を使って求めることが良く行なわれる。画像を使った計
測では、撮影された画像の中から対象物体であるマーカ
を抜き出す処理が最も重要である。特に３次元位置計測
では、複数の計測カメラが同時に、同じ対象物体を別の
角度から捕らえることが非常に重要である。

【０００４】しかしながら、人間の動きなどは複雑なた
め、マーカが手や足で隠れて見えなくなったり、照明の
具合でマーカの撮影状態が変化したり、マーカ自体がは
ずれてしまったりすることがある。その場合には計測で
きなくなってしまった。そのため、たとえばビデオで計
測カメラで撮影した画像を残して置くことも行なわれる
が、画質が低下する上に、とくに３次元位置計測では、
２台のカメラからの画像はフィールド単位で同期が取れ
ていなければならない。しかしながら、ビデオでは難し
く手間がかかり、できてもフレーム単位であった。同様
にフィルムに撮影してデジタイズする方法では、直ぐに
データを得られない上に非常に手間がかかった。

【０００５】本発明は上述のような事情よりなされたも
のであり、本発明の目的は、人間の運動解析のように予
測できない複雑な動きをするものを計測するのに最適な
画像計測装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明では、従来のリア
ルタイム画像計測装置と、撮影用のテレビカメラの間に
画像をフィールド単位で複数枚記録できる記録手段とを
設け、撮影された１つまたは複数のカメラからの画像を
同期をとってフィールド単位で記録できるようにしてい
る。また、記録装置は、画像計測装置やホストコンピュ
ータから制御され、記録が必要な画像だけを記録するよ
うになっている。また記録画質のコントロールも行な
い、必要最小限度の容量で済むようになっている。

【０００７】画像計測装置は、たとえばマーカが隠れた
りして検出できなくなったとき、記録装置に対して、そ
のフィールドだけあるいはその前後の幾つかのフィール
ドを記録するように指示する。これによって、今まで計
測できなかったフィールドは画像として記録される。計
測終了後、記録装置はこの画像を再生し、画像の上で人
間がマーカの位置を指定することで３次元位置の計測が
できる。これらによって従来は計測できず、データがな
かったフィールドについてもデータを計測できるように
なる。また計測したい画像だけを記録して置くこともで
き、後からその画像を使って当初予定しなかった計測を
行なうこともできる。更に、対象物体を背景と分離する
検出条件を、固定ではなく、変更できるようにして、測
定中に逐次更新することで撮影条件の変化に適応させ
る。またその時にも画像を記録することで、その変更が
正しかったかどうかが後からでも分るようにする。

【０００８】

【作用】画像計測装置では、色や輝度などを使って撮影
した画像の中からマーカなど対象物体を検出する。画像
の中で抜き出された対象物体は平面図形となって、その
重心（図心）の位置をその対象物体の位置とする。重心
（図心）の計算途中で、平面図形としての面積が計算さ
れる。マーカが安定して撮影されていれば、この面積
は、マーカの立体的な形やレンズとの距離で変化する程
度で一定の範囲の大きさである。一方、影に隠れたり照
明がうまく当らなかったりしてマーカの撮影具合が悪く
なると、この平面図形の面積は著しく小さくなったり、
あるいは全くなくなったりする。このように、たとえば
マーカの画像面での面積を常にモニタリングしているこ
とで、撮影がうまくいっているか否かを評価することが
できる。

【０００９】本発明ではこのような評価値をもとに、画
像計測装置が撮影がうまくいっていないと判断すると、
そのときの画像をフレームメモリに記録するようになっ
ている。そして、一通りの計測が終った後で、人間の判
断をかりて、その記録された画像について再度計測を行
なう。このことでマーカの撮影状態が悪い状態になって
も計測ができるようになる。また、対象物体を検出する
条件を必要に応じて変更することで撮影条件の変化など
にも対応できる。

【００１０】

【実施例】以下に本発明の実施例を図面を参照して説明
する。

【００１１】人間の動きを３次元で測定する場合の例を
図１に示す。これは人間の足の動きを測定する場合で、
マーカ６を腰と、膝と、踵とつま先に付けている。測定
はこれらマーカ６の３次元位置を計測し、それからの動
きを見ようとしている。この状態で腕をふって歩くと、
腕で腰のマーカ６が隠れてカメラ３及び４から見えない
時間が出てくる。計測は２台のカメラ３及び４を使って
別の方向から観察することで３次元位置を計測し、それ
ぞれのカメラ３及び４で撮影された画像は画像メモリユ
ニット１に入力される。この画像メモリユニット１は、
大容量の半導体メモリを使って画質の劣化なしに画像を
フィールド単位で、それぞれのカメラ３及び４について
カラーの画像をRGB で640 組程度記録することができ
る。白黒の画像であれば３倍のフィールド数になる。２
台のカメラ３及び４の画像は完全に同期して記録し、動
きにより３次元位置の計算に誤差が入らないようになっ
ている。また、必要に応じてサンプリングレートを変化
させたり、画像の一部だけを記録したりして、画質を落
としてその代り記録枚数を増やしたりすることもできる
ようになっている。画像の出力は、フレームレートで連
続して出力することもできるし、一定間隔ごとにフィー
ルドを更新してスロー再生をすることもできる。また、
指定されたフィールドだけを連続して出力することで静
止画とすることもできる。通常はカメラ３及び４からの
画像をそのままフィールドレートで出力している。

【００１２】画像メモリユニット１の出力は画像計測ユ
ニット２に入力される。本例では、この信号はカメラ３
及び４からの信号と同じにするためアナログを使ってい
るが、デジタルであっても構わない。画像記録ユニット
から画像計測ユニット２への信号を、カメラ３及び４か
らの信号と同じアナログとすることで、画像計測ユニッ
ト２には、画像メモリを使わない従来のものがそのまま
使え、開発コストの低減を図ることができ、従来システ
ムを購入したユーザーへのグレードアップが容易にでき
るようになっている。画像記録ユニットは、画像計測ユ
ニット２からのコントロール信号３によって画像を記録
するかどうかをコントロールされるようになっている。
このとき画像計測ユニット２によって、画像を記録する
かどうか決まるのはそのフィールドの処理が終ってから
で、これによってコントロール信号３が変化する。その
ために、常に１フィールド分の画像を連続的に記録して
おき、フィールドが終ってコントロール信号３が変化し
てそのフィールドを記録することになったら、書込スタ
ートアドレスを更新し、そうでなかったら再び同じアド
レスに重ね書きをするようになっている。この例では常
に取り込むのは１フィールド分だけであるが、さらに多
くのフィールドを取り込むことで計測ができなくなった
ときに、そのフィールドよりもいくつか前のフィールド
から画像を記録することができる。

【００１３】画像処理ユニットでは、画像の中から対象
物体を色抽出ユニット９が抜き出す。この色抽出ユニッ
ト９は画像の中で特定の色の部分と、それ以外の部分と
に分け、特定の色の部分を対象物体信号５として出力す
る。この例のように複数のマーカ６を使う場合、マーカ
６の色をそれぞれ別にすると、全画面を有効範囲として
もマーカ６の区別が自動的にできる。そのため、それぞ
れのマーカ６に対応した数の色抽出ユニット９を使用す
る。この例では、色抽出ユニット９はそれぞれのカメラ
３及び４に対して８チャンネルあるため、最大８種類の
色を使うことできる。

【００１４】抜き出された対象物体信号５は、重心演算
ユニット６で平面図形として扱われ、その図形の重心
（図心）を計算される。このときにその図形の面積を測
定される。対象物体信号５は、色抽出ユニット９のそれ
ぞれから得られるから、重心演算ユニット６もまたそれ
ぞれに対応して８チャンネルある。これによって、一枚
の画像から独立に対象物体を８個まで計測することがで
きるようになっている。前述したようにしてそれぞれの
カメラ３及び４からの画像が処理され、マーカ６の画像
内での位置が計算される。３次元演算ユニット７ではこ
のデータを使って、カメラ３及び４の姿勢やレンズの画
角といったカメラパラメータを使って計算し、それぞれ
のマーカ６の３次元位置を計算する。この例では、カメ
ラ３及び４から独立に８個の重心位置が得られ、３次元
演算ユニット７もまたそれに対応して８チャンネルあ
り、同時に８個のマーカの３次元位置を求めることがで
きる。また、これらの演算は全て１フィールド以内に終
了するようになっており、入力されたフィールドに対し
て、次のフィールドが始まるまでには終了するようにな
っている。したがって、カメラ３及び４から動画像が入
力されると、１フィールド遅れで８個までのマーカの３
次元位置が出力され、リアルタイム計測ができるように
なっている。この例では８チャンネルで８個までである
が、この数は１つでもあるいはもっと多くても構わな
い。

【００１５】３次元位置計算に必要なカメラパラメータ
は、計測に先立ちキャリブレーションで求める。キャリ
ブレーション操作は、２台のカメラ３及び４を設置後、
３次元位置の分っている幾つかの対象物体を撮影するこ
とで計算される。キャリブレーションは２台のカメラの
条件が変わったときに行ない、その状態でのカメラパラ
メータを求めなければならない。３次元位置の計算は、
同時に撮影された２枚の画像での対象物体の位置とこの
カメラパラメータとによって計算される。したがって、
カメラパラメータが分っていて、同時に撮影された画像
があればいつでも計算できる。また、３次元位置を求め
たい点を同時に撮影された２枚の画像で対応付けするこ
とができれば計算できるから、２枚の画像が残っていれ
ば、計測の時にマーカを付けなかった点であっても、画
像を見ながら人間が対応付けをすることで求めることが
できる。ここで重要なのは、対応付けをする２枚の画像
が同時に撮影されたものでなければならないことであ
る。撮影するカメラはフィールド単位で同期されてお
り、本発明ではそれに同期して２台のカメラ（３，４）
の画像の記録が同時にできるようになっている。

【００１６】前述したように画像計測ユニット２の重心
演算ユニット６では、対象物体の面積の測定を行なって
いる。コントローラ８は、２カメラ分の１６チャンネル
の重心演算ユニットの面積を監視していて、その中の１
つでも決められた条件になった場合に、画像記録ユニッ
トに対して、コントロール信号３を使ってその画像を記
録するように指令する。これによって撮影状態が悪くな
った場合でも、自動的にその画像を記録することができ
る。一方、面積の条件は測定対象によって決める。この
例のような対象物体がマーカでは隠れる可能性はある
が、隠れない限り安定に撮影できるから、条件としては
面積がゼロかどうかで、計測がうまくいったかどうかを
判断して良い。使っているチャンネルの中で１つでも面
積がゼロになったら、そのフィールドを２カメラ同時に
記録する。また計測された３次元位置データには、計測
が状態を示すステータスが付属している。このステータ
スデータには、計測がうまくいったかどうか、あるいは
その画像を記録したかどうかなどが含まれ、それを見る
ことでそのフィールドの計測状態がわかる。リアルタイ
ムで計測を行なう場合、３次元位置データとステータス
データはフィールド毎に得られる。通常これらのデータ
はGPIBのような高速の通信回線を介してホストコンピュ
ータ１０に送られ、記録される。一定時間の測定が終了
すると、ホストコンピュータ１０ではそのデータをもと
に解析を行なうが、解析の時にもステータスデータを見
ることでそのフィールドのデータが正しいどうか知るこ
とができる。もしステータスが、計測がうまくいってい
ないことを示していたら、記録された画像を使って人間
が対象物体の位置を指定することで、データの欠損をな
くすことができる。

【００１７】図２に計測風景を示す。画像計測ユニット
２と画像記録ユニットを含む画像計測装置１４は、ホス
トコンピュータ１０からのコマンドで全て設定される。
ホストコンピュータ１０では専用のソフトウエアによっ
て全ての設定を、キーボードと通常はマウスのポインテ
ィングデバイスだけで行なうことができる。この例では
カメラの設定については直接人間が行なっているが、リ
モコンで可動式の雲台とレンズとリモート設定ができる
カメラを使用すれば、全てをホストコンピュータ１０の
ソフトでコントロールすることができる。またこの例で
はホストコンピュータ１０用のモニタ１１と、主として
２台のカメラの画像を見る画像計測装置のモニタ１２、
１３を別に設けているが、１つのモニタを切り替えても
良いし、十分に解像度のあるモニタにマルチウインドで
それらを同時に表示しても良い。

【００１８】次に、実際のオペレーションについて説明
する。まず色設定を行なうが、色抽出ユニット９は学習
型となっていて、カメラで撮影した色を指示することで
色の設定を行なう。ホストコンピュータ１０のソフトで
色設定状態にすると、画像計測装置のモニタ１２は図３
のようになる。設定する色は、実際に計測を行なうの
と、できるだけ条件を同じにして設定するほうが安定し
て計測ができるため、この図のように実際にマーカ６を
測定対象に付けて行なうのが望ましい。操作としては、
画面を見ながらマウスを使って設定したい色の部分へク
ロスカーソル３１を合わせる。計測対象が動いてしまう
とこの操作は非常に困難となるため、本発明では、色の
設定をしようとすると、自動的に画像記録ユニットに対
して静止画表示にするようコマンドがでる。２台のカメ
ラで色の情報を共有することもできるが、カメラや照明
のばらつきなどを考慮して、実際に測定するカメラで行
なった方が安定に色抽出ができるため、この操作は２台
のカメラそれぞれについて行なう。

【００１９】色を設定し、キャリブレーションを行なっ
てカメラパラメータを測定したら計測を開始できる。計
測中は、計測装置のモニタは図４のような画面となる。
この図では測定されるマーカ６を線で結んだスティック
ピクチャ表示を行なっている。計測中に図５のように腕
で腰のマーカ６が隠れた場合は、そのマーカの位置は分
らなくなるため、それを使って表示しているスティック
は図５の５２のように色が変化して見失ったことを示
す。このスティックの見えなくなったマーカの位置５１
は、最後に見えていた位置として結ばれる。設定を変更
すると、見失ったときにスティックを書かなくすること
もできる。

【００２０】また、見えなくなったときに、この画像と
もう一台のカメラの画像が同時に画像記録ユニットに記
録される。マーカ６の３次元位置データは、測定中はス
テータスデータと共にホストコンピュータ１０に送り続
けられ記録されている。見えなくなったときはデータが
不定となるが、それはステータスを調べることでホスト
コンピュータ１０も認識できる。対象によっては見えな
くなったときの画像だけでなく、その前後の画像が必要
な場合もある。そのときは設定を変更することで、見え
なくなったフィールドだけではなく、その前後の幾つか
のフィールドも同時に記録することができる。また記録
容量には限りがあるため、たとえば見えなくなったフィ
ールドは高画質で、その前後は低画質で記録すること
で、容量を有効に使うこともできる。また見えなくなっ
た画像についても、図６のように見えなくなったマーカ
の近傍だけを高画質で、それ以外の部分を低画質で記録
することもできる。図６で部分Ａが高画質となる。この
部分Ａは、たとえば最後に見えていた位置を基準とし、
その周りとして決めることができる。高画質と低画質
は、例えばサンプリングレートを変えたり、ビット数を
変化させたり、カラーと白黒というように初めから情報
を選択する方法と、画像圧縮をする場合などは圧縮率を
変化させたりして、記録容量を有効に使うようにする。

【００２１】一通り計測が終ると、設定によっては自動
的にデジタイズモードになる。デジタイズモードになる
と、ホストコンピュータ１０の画面は図７のように測定
したデータの表示画面となり、自動的に最初の見失った
データが表示される。見失ったフィールドのフィールド
ナンバー71と、見失った点のデータ72の色とが変わって
一目で分るようになっている。オペレータは、マウスポ
インタ７３で色が変わっているデータをクリックするこ
とで、そのデータをこれからデジタイズすることをコン
ピュータに指示する。これによって、コンピュータは画
像記録ユニットに対して、見失った画像を連続再生して
静止画表示となるようにコマンドを送る。また画像計測
ユニットに対しては、その画像をもとに計測するように
コマンドをおくる。オペレータは、図８に示すような再
生された画像を見ながらマウスを操作し、見失ったポイ
ントへクロスカーソル81を合わせる。同様な操作を２台
のカメラ３及び４の画像それぞれについて行なうこと
で、ポイントが指定されて計測が行なわれ、その計測デ
ータがコンピュータに取り込まれる。これによって図７
の画面のデータも更新されると共に色が変化し、デジタ
イズによるデータであることが一目で分るようになる。
１フィールドで複数の点が見えなくなっている場合は、
同様な作業を繰り返す。１フィールドが終了すると、自
動的に次に見えなくなったフィールドのデータが表示さ
れ、同時に画像記録装置へ次のフィールドを表示するよ
うなコマンドが出て、画像処理装置モニタにはそのフィ
ールドの画像が表示される。したがって、オペレータは
画面に表示された色の変わったデータを指定し、画像計
測装置モニタ上でその点を指定するという、単純作業だ
けでデジタイズ操作が終るようになっている。デジタイ
ズ操作で全てのデータが取り終った後でも、どのポイン
トがデジタイズ操作で計測されたかはデータに付随して
記録される。

【００２２】上述の例では対象物体にマーカを使ったた
め、計測できなかったという情報は画像内での対象物体
の面積がゼロになったことで判断できた。次に、マーカ
ではなく計測対象の表面の模様や、形を利用する場合を
説明する。

【００２３】たとえば背景が黒くて計測対象の測定した
い部分が白い場合、輝度によって画像から対象物体を抜
き出すことができる。また計測したい部分に特定の色が
付いている場合も同様である。更に、画像の相関を使う
ことで、計測したい部分の形を画像の中から見付けだす
ことも行なわれる。このようなマーカを使わない場合
は、照明の具合や計測対象の姿勢などによっては、画像
の中で対象物体と背景との分離のS/N が一時的に低下す
る場合がある。例えば輝度が高いものを対象物体として
輝度で分離しているときに、測定物体の姿勢によって照
明の直接反射が入ったりする場合である。この場合、輝
度が高い部分の面積は著しく大きくなる。このようなこ
とは、マーカを使う場合にも考えられる。先の例のよう
に面積がなくなった時を計測できなかったとしている
と、このような状態には対応できない。そこで、計測で
きなかったことを検出するために、面積の最大値と最小
値を決め、それを越えた場合に計測できないとすること
もできる。また、面積の変化を監視し、変化率で計測が
できなかったことを検出しても良い。

【００２４】撮影中にカメラの前を何かが横切ったりし
たり、照明の具合が変化したりすると、本来対象物体で
ないものを対象物体とみなす場合がある。また、計測対
象に貼り付けていたマーカがはずれたりした場合、面積
で検出できない場合がある。対象物体の性質がある程度
わかっていると、たとえば画面の中で対象物体がありえ
ない場所などが決められる。対象物体の移動範囲を決め
ておいて、それを越えたデータが得られたときを計測で
きなかったとみなすこともできる。たとえば床面の位置
が検出された場合は、マーカが脱落したものとして計測
できなかったとすることができる。また、対象物体の物
理性質を使い、速度、加速度を監視して計測できなかっ
たことを検出することもできる。計測できなかったとい
う情報に加え、どの程度できなかったか、たとえば複数
の測定点の幾つできなかったのかとか、前述した複数の
条件の中で幾つ満たさない条件があったのかとか、計測
できない時間がどのくらい連続したのかあるいは計測で
きないフィールドが何回あったかといった情報を得るこ
とで、全ての計測データの信頼性を高めることができ
る。さらにそういった条件を使って、記録の状態を変化
させることができる。たとえば連続して計測できない場
合は、マーカがはずれたなど本質的に失敗という場合が
考えられるときは、計測できない時間を使って初めは高
画質で記録するが、連続して記録する場合は次第に画質
を下げることもできる。あるいは、測定点の重要度に応
じて重要な点が計測できない場合は高画質、それ以外の
点では低画質とすることもできる。

【００２５】上述の実施例では、計測できなかった画像
を記録していたが、逆に計測できた画像を記録すること
もできる。たとえば自然現象など長期の連続観測など
で、計測点の状態が変化して計測条件になった時の画像
を記録しておくことができる。画像を記録しておくと、
はじめからマーカなどを付けてなかった点であっても、
また自動で対象物体として検出できない点であっても、
オペレータが２台のカメラ画像でその点を対応させて指
定することで、後から計測することができる。特に自然
現象などでは、最初から計測点を予測することが不可能
な場合や計測点を自動的に検出できない場合がある。ま
た計測したい時間は短くてもその現象が始まるまでが長
い場合などは、計測ができる場合の画面を記録するのは
有効である。

【００２６】画像計測では対象物体と背景をどれだけ綺
麗に分離できたかが、計測精度や安定度に大きくかかわ
る。対象物体と背景の分離は、輝度や色、パターンなど
をつかって分離を行なうが、そのような条件が計測の途
中で変化する場合がある。たとえば屋外の計測で計測中
に天候が変化した場合は、ほとんど全ての条件が変化す
る。また計測エリアで照明のムラがあったり、一部が影
になっていたりすると対象の移動に伴ない条件が変化す
る。長期連続計測で、照明や機器の経時変化などもあ
る。そのため最初に設定した分離条件では、変化した時
点で対象物体の検出が不安定になったり、できなくなっ
たりすることがある。たとえば輝度を使った分離では影
と照明が当たっている部分では、輝度のしいき値は大き
く変化する。また色を使った分離では、照明のカラーバ
ランスが変わると別の色としてみなしてしまう場合があ
る。パターンを使った分離では、対象の姿勢が変わった
りして見え方が変わると、最初のパターンとの相関値が
下がってしまう。このようなことが起こると、計測途中
で長時間にわたって計測ができない状態が生じる可能性
がある。前述したように、画像の記録容量は限界がある
ため、長時間にわたると記録できないことが起こる。

【００２７】そこで、本発明では、対象物体と背景の分
離条件を固定ではなく、逐次変更できるようにしてい
る。たとえばパターンを使った分離では、最初に決めた
パターンとの相関値がある範囲を越えた場合、対象物体
の形が変化したものとしてそのときの対象物体の位置に
あるパターンを新しいパターンとして更新することで、
連続的に変化するものにも対応する。また、このリファ
レンスパターンの更新のときに前後の画像を記録するこ
とであとからその更新が正しかったかどうかを調べるこ
とができて、計測データの信頼性が向上する。同様なこ
とは、輝度や色の情報で分離する場合も行なうことがで
きる。たとえば色の場合は次のようになる。色情報を使
うとき通常はカメラからのＲＢＧではなく例えばＨＳＩ
といった色空間に変換する。ＨＳＩ空間のモデルとして
図９のようなものがある。垂直軸がＩ軸、半径方向がＳ
軸、角度に対応するのがＨ軸である。カメラで撮影され
た画像の各ピクセルは、色によってこの空間のどこかに
配置される。色によって分離する、ためこの空間の中を
たとえば図１０のようなエリアで区切る。そして、この
エリアの中に入ったピクセルを対象物体とし、中に入ら
なかったら背景とすることができる。学習型の色抽出で
は、たとえば設定使用としたピクセルが配置される点を
中心に、適当な幅ΔH ，ΔS ，ΔI ，を設定し、図１０
のようなエリアを設定する。この幅は各種条件によって
決められる。例えばマーカの色を設定した場合でも、た
とえば図１０の１０１のように影の部分や、マーカの色
自体のむらなどで幅を持った分布をするから、このエリ
アの大きさで安定度が決まる。大きくしておけばマーカ
の抜き出しは安定するが、マーカ以外の部分でも似たよ
うな色があると対象物体としてみなしてしまう。小さく
するとマーカ部分でも検出できず背景としてしまう。し
たがって、マーカの分布丁度の大きさとするのが最も良
い。ところが、前述したように、計測途中で照明のムラ
などがあって、マーカの分布が図１１のようにずれたり
すると、もともと設定したエリア（図１１の点線部分）
ではマーカがはずれてしまうことになる。例えば図１１
の実線部分のように、このエリアをずらすことができれ
ばそのようなことは避けられる。またある軸の幅を変え
たり、エリアの大きさ自体を変化させても、エリアの形
自体を変化させることもできる。

【００２８】マーカの色分布の変化といった分離条件の
変化は通常緩やかにおきる場合が多く、図１１のような
分布のシフトが起こったとしても、あるフィールドを境
にステップ状に変化するのではなく徐々に変化すること
が多い。もしステップ状に変化した場合は突然検出がで
きなくなるから、前述実施例のマーカが隠れたときのよ
うにカメラ画像を記録しておき、後で人間がその変化を
考えて検出条件を変更して、記録された画像を使って計
測し直すことで対応することができる。条件の変化によ
っては、記録された画像の再計測は分離条件だけを再設
定するだけであとはカメラからの計測と同様に、自動で
行なうこともできる場合もあるし、人間によるデジタイ
ズでもよい。徐々に変化する場合は、マーカの色の分布
のほとんどは前の条件でも検出できる。このようなとき
に変化を検出して検出条件、つまり対象物体とみなすエ
リアを再設定することができる。また再設定した場合、
その前後の１枚あるいは複数枚の画像を記録しておけ
ば、後からその更新が正しかったかどうかを調べること
ができて、計測データの信頼性が向上する。

【００２９】再設定の方法としては、たとえば現在検出
されている対象物体の画像平面での位置で中心近傍の値
を新しい値としたり、色空間での分布のヒストグラムを
考えてそのヒストグラムから分布の変化状態を判断した
り、対象物体の中で最も多く存在する色を新しい色の中
心としたり、予め設定した幾つかの条件に切り替えたり
することができる。また対象物体以外の情報、たとえば
照明の色温度を検出しその変化に応じて条件を更新した
りすることもでき、対象物体の情報と組み合わせてもよ
い。更に条件の更新は連続的に行なうこともできるし、
変化が一定の量に達した場合だけ行なうこともできる
し、変化の持続時間が一定量に達した場合だけ更新を行
なうこともできるし、変化の方向によって更新するかき
めてもよいし、変化のスピードによって更新をするかど
うか決めてもよいし、変化のスピードには関係なく一定
の時間間隔で更新してもよい。またそれらを組み合わせ
ても良い。このような条件の更新は、色抽出など対象物
体の抽出に限ったものではなく、画像を記録する条件を
更新することもできる。色抽出で対象物体を抜き出す場
合に、条件の更新をおこなうことを前提にすると、予め
マーカの色をその都度設定しなくても、装置に記録して
ある色に近い色を捜し出して次第にその色がもっと分離
が良くなるようなシステムが可能となる。

【００３０】

【発明の効果】以上のように本発明の画像計測装置によ
れは、被写体を撮影し、その画像を処理して対象物体
と、背景とを分離して対象物体の位置をリアルタイムに
計測している。このため、人間の運動解析のように予測
できない複雑な動きをするものを計測するに最適であ
る。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック構成図であ
る。

【図２】本発明による計測の様子を示す図である。

【図３】モニタ画面の一例を示す図である。

【図４】モニタ画面の一例を示す図である。

【図５】モニタ画面の一例を示す図である。

【図６】モニタ画面の一例を示す図である。

【図７】測定データ画面の一例を示す図である。

【図８】モニタ画面の一例を示す図である。

【図９】ＨＳＩ空間の例を示す図である。

【図１０】色によってＨＳＩ空間を分離する様子を示す
図である。

【図１１】マーカの分布を説明するための図である。

【符号の説明】

１ 画像メモリユニット ２ 画像計測ユニット ３、４ カメラ ６ 重心演算ユニット ７ ３次元演算ユニット

───────────────────────────────────────────────────── フロントページの続き (72)発明者 富田 岳児 東京都大田区北千束３−26−12 株式会 社応用計測研究所内 (72)発明者 桑島 茂純 東京都大田区北千束３−26−12 株式会 社応用計測研究所内 (56)参考文献 国際公開93／019467（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 H04N 7/18 G06T 7/00

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 画像記録手段と画像計測手段とを備える
   画像計測装置であって、 １または複数の対象物体を含む動画像は、前記画像記録
   手段に入力され、そして、前記画像記録手段の出力とし
   て前記画像計測手段に入力され、 前記画像計測手段は、前記動画像に基づき、前記対象物
   体の位置情報を計測して出力するように構成され、 前記画像記録手段は、前記画像計測手段から制御され、
   記録が必要な前記動画像だけを記録するように構成さ
   れ、 前記動画像が前記画像記録手段に入力されると、所定期
   間遅れで前記対象物体の位置情報が前記画像計測手段か
   ら出力されるようになる、リアルタイム計測ができるよ
   うになっており、 前記画像計測手段は、対象物体抽出手段と、対象物体評
   価値・二次元位置演算手段と、対象物体三次元位置演算
   手段と、制御手段とを有し、通信回線を介してホストコ
   ンピュータに通信可能になるように構成され、 前記対象物体抽出手段は、前記動画像から前記対象物体
   を抽出して対象物体信号として、前記対象物体評価値・
   二次元位置演算手段に出力するように構成され、 前記対象物体評価値・二次元位置演算手段は、入力され
   た前記対象物体信号に基づき、前記対象物体の前記リア
   ルタイム計測の成否を評価する評価値と前記対象物体の
   二次元位置情報とを計算するように構成され、 前記対象物体三次元位置演算手段は、前記二次元位置情
   報と前記動画像が撮影された際の撮影条件とに基づき、
   前記対象物体の三次元位置情報を計算するように構成さ
   れ、 前記制御手段は、前記対象物体評価値・二次元位置演算
   手段にて計算された前記評価値を常に監視し、その値が
   前記リアルタイム計測の失敗を表す所定条件を満たした
   場合にのみ、前記画像記録手段に対して、制御信号を送
   って前記動画像を記録するように指令し、 前記三次元位置情報は、前記リアルタイム計測の状態を
   示す計測状態情報が付属され、前記ホストコンピュータ
   に送られ格納されるようになっていることを特徴とする
   画像計測装置。
2. 【請求項２】 前記評価値に関する前記所定条件は、前
   記対象物体によって決められる請求項１に記載の画像計
   測装置。
3. 【請求項３】 前記対象物体信号が前記対象物体評価値
   ・二次元位置演算手段で平面図形として扱われた場合
   に、前記評価値が前記平面図形の面積となる請求項１に
   記載の画像計測装置。
4. 【請求項４】 前記評価値である前記面積がゼロになっ
   た場合を前記所定条件とする請求項３に記載の画像計測
   装置。
5. 【請求項５】 前記評価値である前記面積が所定範囲を
   越えた場合を前記所定条件とする請求項３に記載の画像
   計測装置。
6. 【請求項６】 前記評価値である前記面積の変化量が所
   定範囲を越えた場合を前記所定条件とする請求項３に記
   載の画像計測装置。
7. 【請求項７】 前記対象物体の前記動画像内での形状の
   変化量が所定範囲を越えた場合を前記所定条件とする請
   求項１に記載の画像計測装置。
8. 【請求項８】 前記対象物体の前記動画像内での位置が
   所定範囲を越えた場合を前記所定条件とする請求項１に
   記載の画像計測装置。
9. 【請求項９】 前記画像記録手段が前記動画像を記録す
   る場合に、記録を行なうことになった前記所定条件に応
   じて記録画質を変化させるようになっている請求項１に
   記載の画像計測装置。
10. 【請求項１０】 前記対象物体抽出手段においては、前
    記動画像から前記対象物体を抽出するための対象物体抽
    出条件が、前記撮影条件と前記対象物体の情報とに基づ
    き、前記リアルタイム計測中に自動的に変更され、 前記対象物体抽出条件が変更された時の動画像を前記画
    像記録手段にて記録するようになっている請求項１に記
    載の画像計測装置。
11. 【請求項１１】 前記画像記録手段にて記録された動画
    像の対象物体の位置を画面上で指示すれば、指示された
    当該対象物体の位置計算ができるようになっている請求
    項１に記載の画像計測装置。
12. 【請求項１２】 前記画像記録手段と前記画像計測手段
    とは前記ホストコンピュータから制御されるようになっ
    ており、 前記ホストコンピュータは、自身が格納している前記計
    測状態情報に基づき、前記画像記録手段に対して、リア
    ルタイム計測失敗時に前記画像記録手段にて記録された
    動画像を連続再生して静止画表示となるように制御し、
    そして、当該動画像の静止画面上で対象物体が指示され
    ることにより、前記画像計測手段は、指示された当該対
    象物体の位置情報を計測するようになっている請求項１
    に記載の画像計測装置。