JP3182876B2 - 画像信号処理方法とその装置 - Google Patents
画像信号処理方法とその装置Info
- Publication number
- JP3182876B2 JP3182876B2 JP13429292A JP13429292A JP3182876B2 JP 3182876 B2 JP3182876 B2 JP 3182876B2 JP 13429292 A JP13429292 A JP 13429292A JP 13429292 A JP13429292 A JP 13429292A JP 3182876 B2 JP3182876 B2 JP 3182876B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- dimensional
- edge
- detecting
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は画像信号処理方法および
画像信号処理装置に関するものであり，特に，２次元画
像データから３次元形状を実時間で復元する三次元形状
復元方法およびその装置，対象物体の特徴を抽出する方
法とその装置，および，マンマシンインターフェースと
して使用される人間の手の指を検出する方法とその装置
に関する。
画像信号処理装置に関するものであり，特に，２次元画
像データから３次元形状を実時間で復元する三次元形状
復元方法およびその装置，対象物体の特徴を抽出する方
法とその装置，および，マンマシンインターフェースと
して使用される人間の手の指を検出する方法とその装置
に関する。
【０００２】対象物体をＣＣＤビデオカメラなどの撮像
手段で撮像し，その撮像画像から対象物体の３次元形状
を復元することが望まれている。このような３次元形状
復元方法は，たとえば，産業用ロボットにおけるロボッ
トハンドの動きと，その把持状態の認識における視覚認
識手段への適用が考えられている。３次元形状復元方法
の他の適用例としては，コンピュータシステムにおける
マン・マシン・インターフェース手段としての人間の体
の一部，たとえば，腕，手，掌，指などを使用する場合
にこれら身体の一部の３次元形状を復元する場合におけ
る認識手段への適用などがある。
手段で撮像し，その撮像画像から対象物体の３次元形状
を復元することが望まれている。このような３次元形状
復元方法は，たとえば，産業用ロボットにおけるロボッ
トハンドの動きと，その把持状態の認識における視覚認
識手段への適用が考えられている。３次元形状復元方法
の他の適用例としては，コンピュータシステムにおける
マン・マシン・インターフェース手段としての人間の体
の一部，たとえば，腕，手，掌，指などを使用する場合
にこれら身体の一部の３次元形状を復元する場合におけ
る認識手段への適用などがある。
【０００３】人間がコンピュータシステムに入力するイ
ンターフェースとして最も一般的なものとしては，ある
種のトランスデューサ，または，たとえば，ＣＲＴキィ
ボード，ジョイステック，トラックボール，マウスなど
のユーザーによって操作されるアクチュエータがある。
対象物体としての人間の腕，掌，指の動きなどは，現在
使用使用されているコンピュータシステムにおけるマン
・マシン・インターフェース装置，たとえば，マウス，
ジョイステックなどの間接的なマン・マシン・インター
フェース装置よりも，直接的かつ有効なマン・マシン・
インターフェース装置として機能することが知られてき
ており，かかる人間の体の一部など動きのある対象物
体，すなわち，変形可能な対象物体の実時間での実用的
な３次元形状の復元方法が要望されている。
ンターフェースとして最も一般的なものとしては，ある
種のトランスデューサ，または，たとえば，ＣＲＴキィ
ボード，ジョイステック，トラックボール，マウスなど
のユーザーによって操作されるアクチュエータがある。
対象物体としての人間の腕，掌，指の動きなどは，現在
使用使用されているコンピュータシステムにおけるマン
・マシン・インターフェース装置，たとえば，マウス，
ジョイステックなどの間接的なマン・マシン・インター
フェース装置よりも，直接的かつ有効なマン・マシン・
インターフェース装置として機能することが知られてき
ており，かかる人間の体の一部など動きのある対象物
体，すなわち，変形可能な対象物体の実時間での実用的
な３次元形状の復元方法が要望されている。
【０００４】従来，３次元形状を有する対象物体を撮像
した２次元画像情報からその対象物体の３次元形状を復
元するには対象物体の頂点やエッジ成分を検出し，それ
らの情報をもとに３次元空間で矛盾がないように対象物
体の形状を復元構成する手法が使われている。
した２次元画像情報からその対象物体の３次元形状を復
元するには対象物体の頂点やエッジ成分を検出し，それ
らの情報をもとに３次元空間で矛盾がないように対象物
体の形状を復元構成する手法が使われている。
【０００５】
【発明が解決しようとする課題】しかしながら，これら
のインターフェース装置が使用される従来の全ての方法
は，それらのインターフェース装置はユーザーがハード
ウエアと物理的に接触することを要求し，そのような入
力装置の操作をユーザーが習熟するまでに通常長い訓練
期間を要するという問題がある。従来の方法はまた，情
報が伝達される範囲が狭いという問題がある。たとえ
ば，マウスは単にコンピュータシステムの中央処理装置
に位置と移動ベクトルを送出するだけである。
のインターフェース装置が使用される従来の全ての方法
は，それらのインターフェース装置はユーザーがハード
ウエアと物理的に接触することを要求し，そのような入
力装置の操作をユーザーが習熟するまでに通常長い訓練
期間を要するという問題がある。従来の方法はまた，情
報が伝達される範囲が狭いという問題がある。たとえ
ば，マウスは単にコンピュータシステムの中央処理装置
に位置と移動ベクトルを送出するだけである。
【０００６】従来の３次元形状復元方法ではエッジなど
の特徴情報の数が少なかったり，特徴情報がはっきり取
れない場合や，特徴情報のなかに誤った情報が混ざった
場合，３次元形状の復元が困難になるという問題に遭遇
している。特徴情報の誤り情報に対応しようとすると取
りうる形状の組み合わせをすべて考え，それぞれの入力
情報とつじつまが合うか否かを探索して調べる必要があ
るので，計算量が組み合わせ的に莫大になる場合があ
り，その計算時間が非常に長くかかり，たとえば，産業
用ロボットへの実時間処理への適用，あるいは，人間の
身体の一部をマン・マシン・インターフェース手段とし
て使用するような場合に要望される３次元形状を実時間
で実現しようとする要件を満足することができない。特
に，３次元形状を有する対象物体をビデオカメラなどの
撮像装置が撮像した２次元画像データは奥行情報を有し
ていないため，３次元形状を復元する困難さに遭遇して
いる。
の特徴情報の数が少なかったり，特徴情報がはっきり取
れない場合や，特徴情報のなかに誤った情報が混ざった
場合，３次元形状の復元が困難になるという問題に遭遇
している。特徴情報の誤り情報に対応しようとすると取
りうる形状の組み合わせをすべて考え，それぞれの入力
情報とつじつまが合うか否かを探索して調べる必要があ
るので，計算量が組み合わせ的に莫大になる場合があ
り，その計算時間が非常に長くかかり，たとえば，産業
用ロボットへの実時間処理への適用，あるいは，人間の
身体の一部をマン・マシン・インターフェース手段とし
て使用するような場合に要望される３次元形状を実時間
で実現しようとする要件を満足することができない。特
に，３次元形状を有する対象物体をビデオカメラなどの
撮像装置が撮像した２次元画像データは奥行情報を有し
ていないため，３次元形状を復元する困難さに遭遇して
いる。
【０００７】本発明の目的は，直接的な入力インターフ
ェース装置として使用される人間の手の指を，正しくそ
して高速に検出する方法およびその装置を提供すること
にある。本発明の他の目的は，対象物体を人間の手とし
た場合に，画像信号処理方法を上記三次元形状復元方法
に適用して，人間の手を有効なマンマシン・インターフ
ェース手段として適用可能とすることにある。
ェース装置として使用される人間の手の指を，正しくそ
して高速に検出する方法およびその装置を提供すること
にある。本発明の他の目的は，対象物体を人間の手とし
た場合に，画像信号処理方法を上記三次元形状復元方法
に適用して，人間の手を有効なマンマシン・インターフ
ェース手段として適用可能とすることにある。
【０００８】
【課題を解決するための手段】上記問題を解決するた
め，本発明の第１の観点によれば，人間の手の指を検出
する方法とその装置が提供される。人間の手の指を検出
する方法は、人間の手を読み取り，二次元直交座標空間
における２次元ピクセルデータ形態の画像データとして
出力する段階，上記ピクセルデータ形態の画像データか
ら上記手の輪郭を示すエッジを検出する段階，上記検出
されたエッジのイメージラインをパラメータ空間にパラ
メータ変換するに際し，上記二次元直交座標空間の２次
元ピクセルデータがイメージラインの上に位置するエッ
ジを示すピクセルの場合，該ピクセルの座標に対応する
上記パラメータ空間上の座標の計数値に１を加算するこ
とにより上記パラメータ変換を行い，上記各座標の計数
値の大きさから手の指を示すラインを決定し，上記二次
元直交座標空間において上記手の指を示すラインの表現
式を求め，上記表現式中の係数から上記二次元直交座標
空間における指の向きを決定する段階，該決定された向
きに沿って指の先端に対応する深いローカルミニマムを
検索する段階，および，上記指の先端を規定する端点を
クラスタリングする段階を有する。
め，本発明の第１の観点によれば，人間の手の指を検出
する方法とその装置が提供される。人間の手の指を検出
する方法は、人間の手を読み取り，二次元直交座標空間
における２次元ピクセルデータ形態の画像データとして
出力する段階，上記ピクセルデータ形態の画像データか
ら上記手の輪郭を示すエッジを検出する段階，上記検出
されたエッジのイメージラインをパラメータ空間にパラ
メータ変換するに際し，上記二次元直交座標空間の２次
元ピクセルデータがイメージラインの上に位置するエッ
ジを示すピクセルの場合，該ピクセルの座標に対応する
上記パラメータ空間上の座標の計数値に１を加算するこ
とにより上記パラメータ変換を行い，上記各座標の計数
値の大きさから手の指を示すラインを決定し，上記二次
元直交座標空間において上記手の指を示すラインの表現
式を求め，上記表現式中の係数から上記二次元直交座標
空間における指の向きを決定する段階，該決定された向
きに沿って指の先端に対応する深いローカルミニマムを
検索する段階，および，上記指の先端を規定する端点を
クラスタリングする段階を有する。
【０００９】好適には、上記エッジを検出する段階は，
各々がグレーレベルを示す上記ピクセル形態の画像デー
タの２次元方向の傾きを計算する段階，上記計算した傾
きの絶対値をしきい値レベルと比較する段階，および，
上記計算された絶対値が上記しきい値レベルよりも大き
いときエッジとして決定する段階を有する。また、好適
には、上記指の向きを決定する段階は，上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し，上記二次元直交座標空間の２次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合，該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に１を加算することによ
り上記パラメータ変換を行う段階，上記各座標の計数値
の大きさから上記指の輪郭を示すベストラインを選択す
る段階，上記二次元直交座標空間において上記指の輪郭
を示すベストラインの表現式を求める段階，該求めた表
現式の係数の平均値から二次元直交座標空間における指
の向きを決定する段階を有する。好適には、上記パラメ
ータ変換，エッジピクセル積算および向き決定段階は，
ハフ変換処理を行う段階を含む。好適には、上記深いロ
ーカルミニマムを検索する段階は，ランダム方向決定メ
カニズムによって各方角からローカルミニマムを検索
し，上記指の先端に対応する深いローカルミニマムを決
定する段階を有する。好適には、上記クラスタリング段
階は，少なくともユークリッド距離に基づいて各検索の
端点ピクセルをクラスタ位置に割りつける段階，およ
び，上記クラスタへ割りつけられたピクセルの全ての中
心を計算することにより新しいクラスタ位置を決定する
段階を有する。
各々がグレーレベルを示す上記ピクセル形態の画像デー
タの２次元方向の傾きを計算する段階，上記計算した傾
きの絶対値をしきい値レベルと比較する段階，および，
上記計算された絶対値が上記しきい値レベルよりも大き
いときエッジとして決定する段階を有する。また、好適
には、上記指の向きを決定する段階は，上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し，上記二次元直交座標空間の２次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合，該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に１を加算することによ
り上記パラメータ変換を行う段階，上記各座標の計数値
の大きさから上記指の輪郭を示すベストラインを選択す
る段階，上記二次元直交座標空間において上記指の輪郭
を示すベストラインの表現式を求める段階，該求めた表
現式の係数の平均値から二次元直交座標空間における指
の向きを決定する段階を有する。好適には、上記パラメ
ータ変換，エッジピクセル積算および向き決定段階は，
ハフ変換処理を行う段階を含む。好適には、上記深いロ
ーカルミニマムを検索する段階は，ランダム方向決定メ
カニズムによって各方角からローカルミニマムを検索
し，上記指の先端に対応する深いローカルミニマムを決
定する段階を有する。好適には、上記クラスタリング段
階は，少なくともユークリッド距離に基づいて各検索の
端点ピクセルをクラスタ位置に割りつける段階，およ
び，上記クラスタへ割りつけられたピクセルの全ての中
心を計算することにより新しいクラスタ位置を決定する
段階を有する。
【００１０】本発明の人間の手の指を検出する装置は，
上記人間の手の指を検出する方法を実施する構成とな
る。
上記人間の手の指を検出する方法を実施する構成とな
る。
【００１１】さらに本発明の第２の観点によれば，対象
物体の特徴を抽出する方法とその装置が提供される。
物体の特徴を抽出する方法とその装置が提供される。
【００１２】本発明の対象物体の特徴を抽出する方法
は、対象物を撮像し，二次元直交座標空間における２次
元ピクセルデータ形態の画像データとして出力する段
階，上記ピクセルデータ形態の画像データから上記対象
物の輪郭を示すエッジを検出する段階，上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し，上記二次元直交座標空間の２次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合，該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に１を加算することによ
り上記パラメータ変換を行い，上記各座標の計数値の大
きさから手の指を示すラインを決定し，上記二次元直交
座標空間において上記手の指を示すラインの表現式を求
め，上記表現式中の係数から上記二次元直交座標空間に
おける上記対象物の向きを決定する段階，該決定された
向きに沿って上記対象物の先端に対応する深いローカル
ミニマムを検索する段階，および，上記対象物の先端を
規定する端点をクラスタリングする段階を有する。
は、対象物を撮像し，二次元直交座標空間における２次
元ピクセルデータ形態の画像データとして出力する段
階，上記ピクセルデータ形態の画像データから上記対象
物の輪郭を示すエッジを検出する段階，上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し，上記二次元直交座標空間の２次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合，該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に１を加算することによ
り上記パラメータ変換を行い，上記各座標の計数値の大
きさから手の指を示すラインを決定し，上記二次元直交
座標空間において上記手の指を示すラインの表現式を求
め，上記表現式中の係数から上記二次元直交座標空間に
おける上記対象物の向きを決定する段階，該決定された
向きに沿って上記対象物の先端に対応する深いローカル
ミニマムを検索する段階，および，上記対象物の先端を
規定する端点をクラスタリングする段階を有する。
【００１３】本発明の対象物体の特徴を抽出する装置
は、対象物を撮像し，二次元直交座標空間における２次
元ピクセルデータ形態の画像データとして出力する手
段，上記ピクセルデータ形態の画像データから上記対象
物の輪郭を示すエッジを検出する手段，上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し，上記二次元直交座標空間の２次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合，該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に１を加算することによ
り上記パラメータ変換を行う手段，上記各座標の計数値
の大きさから上記指の輪郭を示すベストラインを選択す
る手段，上記二次元直交座標空間において上記指の輪郭
を示すベストラインの表現式を求める手段，該求めた表
現式の係数の平均値から二次元直交座標空間における指
の向きを決定する上記対象物の向きを決定する手段，該
決定された向きに沿って上記対象物の先端に対応する深
いローカルミニマムを検索する手段，および，上記対象
物の先端を規定する端点をクラスタリングする手段を有
する。
は、対象物を撮像し，二次元直交座標空間における２次
元ピクセルデータ形態の画像データとして出力する手
段，上記ピクセルデータ形態の画像データから上記対象
物の輪郭を示すエッジを検出する手段，上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し，上記二次元直交座標空間の２次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合，該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に１を加算することによ
り上記パラメータ変換を行う手段，上記各座標の計数値
の大きさから上記指の輪郭を示すベストラインを選択す
る手段，上記二次元直交座標空間において上記指の輪郭
を示すベストラインの表現式を求める手段，該求めた表
現式の係数の平均値から二次元直交座標空間における指
の向きを決定する上記対象物の向きを決定する手段，該
決定された向きに沿って上記対象物の先端に対応する深
いローカルミニマムを検索する手段，および，上記対象
物の先端を規定する端点をクラスタリングする手段を有
する。
【００１４】
【作用】本発明の人間の手の指を検出する方法は，人間
の手を読み取り２次元ピクセルデータ形態の画像データ
として出力し，これらのピクセルデータに基づいて上記
手のエッジ（縁）を検出する。検出されたエッジのイメ
ージラインをパラメータ空間にパラメータ変換し，好適
には，ハフ変換して，該パラメータ空間においてエッジ
ピクセルを積算して上記指の向きを決定する。この決定
された向きに沿って指の先端に対応する深いローカルミ
ニマムを検索し，上記指の先端を規定する端点をクラス
タリングする。このクラスタリング結果に基づいて，人
間の手の先端を決定する。
の手を読み取り２次元ピクセルデータ形態の画像データ
として出力し，これらのピクセルデータに基づいて上記
手のエッジ（縁）を検出する。検出されたエッジのイメ
ージラインをパラメータ空間にパラメータ変換し，好適
には，ハフ変換して，該パラメータ空間においてエッジ
ピクセルを積算して上記指の向きを決定する。この決定
された向きに沿って指の先端に対応する深いローカルミ
ニマムを検索し，上記指の先端を規定する端点をクラス
タリングする。このクラスタリング結果に基づいて，人
間の手の先端を決定する。
【００１５】上記人間の手の指を検出する方法を，たと
えば，指の先端に代えて，対象物体の特徴とすることに
より，対象物体の特徴抽出に拡張できる。
えば，指の先端に代えて，対象物体の特徴とすることに
より，対象物体の特徴抽出に拡張できる。
【００１６】
【実施例】本発明の画像信号処理方法および画像信号処
理装置の第１実施態様としての人間の手の指を検出する
方法およびその装置を添付図面に関連づけて述べる。図
１は本発明に基づく人間の手の指を検出する装置のブロ
ック図である。図２は人間の手の向きを決定すること，
および，指の先端を検索（サーチ）するときの指の向き
と検索開始線（スタートライン）の関係を説明するため
の手の拡大図である。図３は深いローカルミニマムを発
見するための方向規定メカニズムを示す図である。図４
は均一な確率分布関数ＰＤＦと伝達関数との関係を示す
特性図である。
理装置の第１実施態様としての人間の手の指を検出する
方法およびその装置を添付図面に関連づけて述べる。図
１は本発明に基づく人間の手の指を検出する装置のブロ
ック図である。図２は人間の手の向きを決定すること，
および，指の先端を検索（サーチ）するときの指の向き
と検索開始線（スタートライン）の関係を説明するため
の手の拡大図である。図３は深いローカルミニマムを発
見するための方向規定メカニズムを示す図である。図４
は均一な確率分布関数ＰＤＦと伝達関数との関係を示す
特性図である。
【００１７】指の先端はディスプレイユニットに表示さ
れるある項目を直接指定する，および，位置決めする，
あるいは，いずれか１つの操作を行うのに使用できる。
図１に示した人間の手の指を検出する装置は，通常用い
られている標準の撮像手段としてのビデオカメラ２，エ
ッジ検出ユニット４，ハフ変換（Hough Transformatio
n）計算ユニット６，可能性（probabilistic ）検索ユ
ニット８，および，クラスタリングユニット１０を有す
る。ビデオカメラ２は人間の手１２を撮像して２次元状
画像データを出力し，クラスタリングユニット１０は指
の先端の位置を出力する。エッジ検出ユニット４，ハフ
変換計算ユニット６，可能性検索ユニット８，および，
クラスタリングユニット１０はディジタルコンピュータ
システムによって実現されている。
れるある項目を直接指定する，および，位置決めする，
あるいは，いずれか１つの操作を行うのに使用できる。
図１に示した人間の手の指を検出する装置は，通常用い
られている標準の撮像手段としてのビデオカメラ２，エ
ッジ検出ユニット４，ハフ変換（Hough Transformatio
n）計算ユニット６，可能性（probabilistic ）検索ユ
ニット８，および，クラスタリングユニット１０を有す
る。ビデオカメラ２は人間の手１２を撮像して２次元状
画像データを出力し，クラスタリングユニット１０は指
の先端の位置を出力する。エッジ検出ユニット４，ハフ
変換計算ユニット６，可能性検索ユニット８，および，
クラスタリングユニット１０はディジタルコンピュータ
システムによって実現されている。
【００１８】ディジタルコンピュータシステムによって
実現される人間の手の指を検出する装置の各ユニットの
処理内容を図５〜図１０のフローチャートに示す。図５
はビデオカメラ２による画像入力処理とエッジ検出ユニ
ット４によるエッジ検出処理を示すフローチャートであ
る。図６および図７はハフ変換計算ユニット６における
ハフ変換処理を示すフローチャートである。図８および
図９は可能性検索ユニット８における可能性検索処理を
示すフローチャートである。図１０はクラスタリングユ
ニット１０におけるクラスタリング処理を示すフローチ
ャートである。上記ディジタルコンピュータシステムに
おけるの処理の一部のプログラムコードを表１〜表４に
示す。これらのプログラムコードは一連の流れに沿って
処理されるが図解の関係で分割して示している。
実現される人間の手の指を検出する装置の各ユニットの
処理内容を図５〜図１０のフローチャートに示す。図５
はビデオカメラ２による画像入力処理とエッジ検出ユニ
ット４によるエッジ検出処理を示すフローチャートであ
る。図６および図７はハフ変換計算ユニット６における
ハフ変換処理を示すフローチャートである。図８および
図９は可能性検索ユニット８における可能性検索処理を
示すフローチャートである。図１０はクラスタリングユ
ニット１０におけるクラスタリング処理を示すフローチ
ャートである。上記ディジタルコンピュータシステムに
おけるの処理の一部のプログラムコードを表１〜表４に
示す。これらのプログラムコードは一連の流れに沿って
処理されるが図解の関係で分割して示している。
【表１】
【表２】
【表３】
【表４】 表１はハフ変換処理において使用するアキュムレータの
初期化処理を示すプログラムコードである。表２はエッ
ジについての画像を検索する処理を示すプログラムコー
ドである。表３はハフ変換処理における１０本の最良な
ラインを検索するプログラムコードである。表４は可能
性検索処理における画像ラインについての可能性のある
候補としてのアキュムレータの値が最大となる位置ｒ
m ，ｔm を出力するプログラムコードである。表１〜表
４に示すプログラムコードはディジタルコンピュータシ
ステムで処理する一部を示しており，図５〜図１０の処
理内容とは必ずしも一対一には一致していない。
初期化処理を示すプログラムコードである。表２はエッ
ジについての画像を検索する処理を示すプログラムコー
ドである。表３はハフ変換処理における１０本の最良な
ラインを検索するプログラムコードである。表４は可能
性検索処理における画像ラインについての可能性のある
候補としてのアキュムレータの値が最大となる位置ｒ
m ，ｔm を出力するプログラムコードである。表１〜表
４に示すプログラムコードはディジタルコンピュータシ
ステムで処理する一部を示しており，図５〜図１０の処
理内容とは必ずしも一対一には一致していない。
【００１９】画像データ入力 図５のステップＳ０１に示すように，チャージカップル
ドデバイス（ＣＣＤ）を有するビデオカメラ２は，手を
読み取り，その手の画像をディジタル化し，その手の２
次元画像データ，すなわち，エッジピクセル（画像）デ
ータＩ（ｉ，ｊ）（ただし，Ｉ（ｉ，ｊ）は画像位置
（ｉ，ｊ）におけるグレーレベル強度である）をエッジ
検出ユニット４に出力する。
ドデバイス（ＣＣＤ）を有するビデオカメラ２は，手を
読み取り，その手の画像をディジタル化し，その手の２
次元画像データ，すなわち，エッジピクセル（画像）デ
ータＩ（ｉ，ｊ）（ただし，Ｉ（ｉ，ｊ）は画像位置
（ｉ，ｊ）におけるグレーレベル強度である）をエッジ
検出ユニット４に出力する。
【００２０】エッジ検出 図５のステップＳ０２〜Ｓ０１０に示すように，エッジ
検出ユニット４は傾斜方法によるエッジ検出アルゴリズ
ムによって手のエッジを検出する。すなわち，エッジ検
出ユニット４は下記式１に基づいて画像の傾きｇｒａｄ
Ｉ（ｉ，ｊ）を計算する。ｇｒａｄはまた逆三角形の記
号，ナブラとしても表現する。
検出ユニット４は傾斜方法によるエッジ検出アルゴリズ
ムによって手のエッジを検出する。すなわち，エッジ検
出ユニット４は下記式１に基づいて画像の傾きｇｒａｄ
Ｉ（ｉ，ｊ）を計算する。ｇｒａｄはまた逆三角形の記
号，ナブラとしても表現する。
【数１】 エッジ検出ユニット４は下記の方法で人間の手のエッジ
を決定する。もしピクセルの傾きｇｒａｄＩ（ｉ，ｊ）
の絶対値が所定のしきい値Ｔよりも大きいときは（Ｓ０
４），そのピクセル（ｉ，ｊ）はエッジピクセルであ
る。すなわち，ピクセルの微分値がしきい値を越えてい
るときエッジとする。エッジ検出ユニット４はそのピク
セルがエッジピクセルと判断した場合，エッジピクセル
Ｉ（ｉ，ｊ）＝１とし（Ｓ０５），そうでない場合は，
Ｉ（ｉ，ｊ）＝０とする（Ｓ０６）。エッジ検出ユニッ
ト４はこのエッジ検出処理を全ての画像座標（ｉ＝１〜
ｉｍａｘ，ｊ＝１〜ｊｍａｘ）について行う。
を決定する。もしピクセルの傾きｇｒａｄＩ（ｉ，ｊ）
の絶対値が所定のしきい値Ｔよりも大きいときは（Ｓ０
４），そのピクセル（ｉ，ｊ）はエッジピクセルであ
る。すなわち，ピクセルの微分値がしきい値を越えてい
るときエッジとする。エッジ検出ユニット４はそのピク
セルがエッジピクセルと判断した場合，エッジピクセル
Ｉ（ｉ，ｊ）＝１とし（Ｓ０５），そうでない場合は，
Ｉ（ｉ，ｊ）＝０とする（Ｓ０６）。エッジ検出ユニッ
ト４はこのエッジ検出処理を全ての画像座標（ｉ＝１〜
ｉｍａｘ，ｊ＝１〜ｊｍａｘ）について行う。
【００２１】ハフ変換処理 図６および図７に示すように，ハフ変換計算ユニット６
は，アキュムレータの値を０に初期化した後（図６のス
テップＳ２１，表１に示すプログラムコード），ピクセ
ル（ｉ，ｊ）がラインｋの上に位置する場合アキュムレ
ータの値を積算（累積）し（ステップＳ２２〜Ｓ３２，
表２），このアキュムレータの積算値から１０個の最良
の線（ベストライン）を抽出する（図７のステップＳ３
３，表３のプログラムコード）。ハフ変換処理とは、た
とえば、テレビジョン画像情報工学ハンドブック、テレ
ビジョン学会編、１９９０年１１月３０日、第１版第１
刷発行、第４１５ページに記載されているように、検出
したい線を表現するパラメータにより構成される空間で
エッジ要素のクラスタリングを行ってパラメータを決定
する方法である。たとえば、もっとも簡単な直線の検出
にハフ変換処理を適用した場合、エッジ要素（ｘ，ｙ）
を直線を示す式、ｘｃｏｓθ＋ｙｓｉｎθ＝ρに従って
パラメータ空間（ρ，θ）に写像すると、同一の直線上
の点は全て（ρ，θ）平面の１点を通ることを利用す
る。このように、ハフ変換処理においては、全てのエッ
ジ要素 をパラメータ空間に写像した後、パラメータ空間
で最も多くの点が集まるクラスタを検出して，それに対
応する画像平面内の直線を求める。もちろん、ハフ変換
処理は直線だけでなく，円，楕円、放物線などの検出も
可能である。ただし、本実施の形態においては、直線を
検出する。図２に示すように，人間の手は相互にほぼ並
行するほぼ１０本の線で構成されており，ハフ変換計算
ユニット６は，上記エッジ検出ユニット４において上記
ピクセルの微分値として算出した傾きについて平均傾き
ｍを算出し，その平均傾きを平均化することにより（図
７のステップＳ３４），最終的に，手を２分にして指に
並行して走る手の向きを示す指向線を得ることができ
る。ハフ変換方法において，全ての可能性ある画像ライ
ンはパラメータ空間にパラメータ変換され，パラメータ
空間内のアキュムレータの値が各ラインの一部である全
てのエッジピクセルの経路を維持し，最も値の大きいピ
クセルを有するラインが画像（イメージ）ラインとして
選択される。ハフ変換の処理内容の詳細について以下に
述べる。
は，アキュムレータの値を０に初期化した後（図６のス
テップＳ２１，表１に示すプログラムコード），ピクセ
ル（ｉ，ｊ）がラインｋの上に位置する場合アキュムレ
ータの値を積算（累積）し（ステップＳ２２〜Ｓ３２，
表２），このアキュムレータの積算値から１０個の最良
の線（ベストライン）を抽出する（図７のステップＳ３
３，表３のプログラムコード）。ハフ変換処理とは、た
とえば、テレビジョン画像情報工学ハンドブック、テレ
ビジョン学会編、１９９０年１１月３０日、第１版第１
刷発行、第４１５ページに記載されているように、検出
したい線を表現するパラメータにより構成される空間で
エッジ要素のクラスタリングを行ってパラメータを決定
する方法である。たとえば、もっとも簡単な直線の検出
にハフ変換処理を適用した場合、エッジ要素（ｘ，ｙ）
を直線を示す式、ｘｃｏｓθ＋ｙｓｉｎθ＝ρに従って
パラメータ空間（ρ，θ）に写像すると、同一の直線上
の点は全て（ρ，θ）平面の１点を通ることを利用す
る。このように、ハフ変換処理においては、全てのエッ
ジ要素 をパラメータ空間に写像した後、パラメータ空間
で最も多くの点が集まるクラスタを検出して，それに対
応する画像平面内の直線を求める。もちろん、ハフ変換
処理は直線だけでなく，円，楕円、放物線などの検出も
可能である。ただし、本実施の形態においては、直線を
検出する。図２に示すように，人間の手は相互にほぼ並
行するほぼ１０本の線で構成されており，ハフ変換計算
ユニット６は，上記エッジ検出ユニット４において上記
ピクセルの微分値として算出した傾きについて平均傾き
ｍを算出し，その平均傾きを平均化することにより（図
７のステップＳ３４），最終的に，手を２分にして指に
並行して走る手の向きを示す指向線を得ることができ
る。ハフ変換方法において，全ての可能性ある画像ライ
ンはパラメータ空間にパラメータ変換され，パラメータ
空間内のアキュムレータの値が各ラインの一部である全
てのエッジピクセルの経路を維持し，最も値の大きいピ
クセルを有するラインが画像（イメージ）ラインとして
選択される。ハフ変換の処理内容の詳細について以下に
述べる。
【００２２】ユークリッド２次元空間の任意の線は下記
式２で規定される。
式２で規定される。
【数２】 ここで，ｘおよびｙは直線状の座標系，たとえば，２次
元直交座標系における所定のライン上の任意の点の座標
であり，θおよびρはパラメータ空間（極座標系）にお
ける原点に最も近いライン上の位置を規定する。この実
施例において，パラメータ空間を通過しうる全ての可能
なラインは，ρmin 〜ρmax とθmin 〜θmax の範囲に
あるρおよびθの値にベクトル量子化される。ある画像
内の各々のエッジ位置ｘ，ｙについて，全ての可能なラ
インがθを変化させて決定され，その結果として与えら
れたｘ，ｙに基づいてρが決定される。決定された各ラ
インについて，そのラインについてのアキュムレータの
値を増加させる（図６のステップＳ２５〜Ｓ２６，表２
のプログラムコード）。全てのエッジ点についての処理
が終了した後，アキュムレータの値が検索され，最も大
きい値の大きいアキュムレータに関連する１０本のベス
トラインが選択される（図７のステップＳ３３，表３の
プログラムコード）。
元直交座標系における所定のライン上の任意の点の座標
であり，θおよびρはパラメータ空間（極座標系）にお
ける原点に最も近いライン上の位置を規定する。この実
施例において，パラメータ空間を通過しうる全ての可能
なラインは，ρmin 〜ρmax とθmin 〜θmax の範囲に
あるρおよびθの値にベクトル量子化される。ある画像
内の各々のエッジ位置ｘ，ｙについて，全ての可能なラ
インがθを変化させて決定され，その結果として与えら
れたｘ，ｙに基づいてρが決定される。決定された各ラ
インについて，そのラインについてのアキュムレータの
値を増加させる（図６のステップＳ２５〜Ｓ２６，表２
のプログラムコード）。全てのエッジ点についての処理
が終了した後，アキュムレータの値が検索され，最も大
きい値の大きいアキュムレータに関連する１０本のベス
トラインが選択される（図７のステップＳ３３，表３の
プログラムコード）。
【００２３】パラメータ空間におけるラインを示す上記
形態を元の画像データの二次元直交座標系における座
標：ｙ＝ｍｘ＋ｂの形式に変換するため，下記式３およ
び式４が用いられる。
形態を元の画像データの二次元直交座標系における座
標：ｙ＝ｍｘ＋ｂの形式に変換するため，下記式３およ
び式４が用いられる。
【数３】
【数４】 係数ｍおよびｂが全ての推奨（候補）ラインについて決
定され，それからｍの平均とｂの平均が計算され，これ
らの平均が図２に示す手の向きを示す指向線となる。
定され，それからｍの平均とｂの平均が計算され，これ
らの平均が図２に示す手の向きを示す指向線となる。
【００２４】可能性検索ユニット８が行う可能性検索処
理のフローチャートを図８および図９に示す。図８，ス
テップＳ４１〜Ｓ４８：可能性検索ユニット８は，図２
に図解したように，開始線（スタートライン）と直交し
最も慣性モーメントの大きい線を選択して手の指向線を
決定する。図９，ステップＳ４９〜Ｓ５５：一旦，手の
指向線が決定されると，可能性検索ユニット８におい
て，全てのピクセルについて複数回の検索ＳＥＡＲＣＨ
が行われ「深いローカルミニマム（局所的な最小値）」
を発見する。この深いローカルミニマムは指の先端に対
応している。これらの検索の開始位置は、図２に図解し
たように、指の向きを示す指向線に直交するライン（開
始線（スタートライン））に沿っている。開始線と指向
線の交差（直交）する位置の決定は指向線に対して最も
大きな量の位置を検出することにより決定され，これは
親指のすぐ下の掌の厚い部分に対応している。
理のフローチャートを図８および図９に示す。図８，ス
テップＳ４１〜Ｓ４８：可能性検索ユニット８は，図２
に図解したように，開始線（スタートライン）と直交し
最も慣性モーメントの大きい線を選択して手の指向線を
決定する。図９，ステップＳ４９〜Ｓ５５：一旦，手の
指向線が決定されると，可能性検索ユニット８におい
て，全てのピクセルについて複数回の検索ＳＥＡＲＣＨ
が行われ「深いローカルミニマム（局所的な最小値）」
を発見する。この深いローカルミニマムは指の先端に対
応している。これらの検索の開始位置は、図２に図解し
たように、指の向きを示す指向線に直交するライン（開
始線（スタートライン））に沿っている。開始線と指向
線の交差（直交）する位置の決定は指向線に対して最も
大きな量の位置を検出することにより決定され，これは
親指のすぐ下の掌の厚い部分に対応している。
【００２５】各々の検索は手の指の向きの方向に向かう
傾向を示す。検索はエッジ領域を横切ることができな
い。浅いローカルミニマムを回避するため，検索は，図
８，ステップ４４〜図９，ステップ５５に示したよう
に，指の先端に向かってバイアスされたランダム方向性
決定メカニズムによって与えられる。各々の検索はある
ピクセルについてある容量のプログラム処理ステップを
有しており，表１〜表４に示すように，全部で４００ス
テップが許容されている。経路決定メカニズムのランダ
ム性により，浅いローカルミニマムが容易に回避できる
が，指の先端は罠（トラップ）のようである。
傾向を示す。検索はエッジ領域を横切ることができな
い。浅いローカルミニマムを回避するため，検索は，図
８，ステップ４４〜図９，ステップ５５に示したよう
に，指の先端に向かってバイアスされたランダム方向性
決定メカニズムによって与えられる。各々の検索はある
ピクセルについてある容量のプログラム処理ステップを
有しており，表１〜表４に示すように，全部で４００ス
テップが許容されている。経路決定メカニズムのランダ
ム性により，浅いローカルミニマムが容易に回避できる
が，指の先端は罠（トラップ）のようである。
【００２６】方向性決定メカニズムについて，図８およ
び図９に加えて図３および図４を参照して述べる。各々
の所定のプログラム処理ステップについて，角度αが所
定の確率分布を有する乱数発生器によってある角度につ
いて決定され，上下左右のピクセルのうちの次に入るべ
きピクセルが決定される。もし次のピクセルがエッジピ
クセルの場合，検索はそのステップの間初期ピクセル位
置に残る。
び図９に加えて図３および図４を参照して述べる。各々
の所定のプログラム処理ステップについて，角度αが所
定の確率分布を有する乱数発生器によってある角度につ
いて決定され，上下左右のピクセルのうちの次に入るべ
きピクセルが決定される。もし次のピクセルがエッジピ
クセルの場合，検索はそのステップの間初期ピクセル位
置に残る。
【００２７】乱数発生器は０から１の範囲で均一な確率
分布を有する乱数を発生する（図８，ステップＳ４
５）。図４に示すように，この確率分布を所望の確率分
布関数ＰＤＦに変換するため，その所望のＰＤＦに関す
る累積分布関数ＣＤＦが決定される。もしｕｘが均一な
乱数変数で，Ｆ（ｘ）が所望のＰＤＦのＣＤＦである場
合，ｄｘ＝Ｆ-1（ｕｘ）が所望のＰＤＦについての乱数
変数である。ステップＳ４５で求められたｄｘに２πが
乗ぜられ（図８，ステップＳ４６），図３に基づいて新
しい角度が得られ（図８，ステップＳ４７），図４に基
づいて新しいピクセルが算出される（ステップＳ４
８）。確率分布関数ＰＤＦの選択は指の向きの方向を強
調するように行われる。この場合，簡単な確率分布が図
４に示すように試みられた。確率分布に有限な数が存在
し，その確率分布の選択が検索の性能を向上させるか，
あるいは後退させる。
分布を有する乱数を発生する（図８，ステップＳ４
５）。図４に示すように，この確率分布を所望の確率分
布関数ＰＤＦに変換するため，その所望のＰＤＦに関す
る累積分布関数ＣＤＦが決定される。もしｕｘが均一な
乱数変数で，Ｆ（ｘ）が所望のＰＤＦのＣＤＦである場
合，ｄｘ＝Ｆ-1（ｕｘ）が所望のＰＤＦについての乱数
変数である。ステップＳ４５で求められたｄｘに２πが
乗ぜられ（図８，ステップＳ４６），図３に基づいて新
しい角度が得られ（図８，ステップＳ４７），図４に基
づいて新しいピクセルが算出される（ステップＳ４
８）。確率分布関数ＰＤＦの選択は指の向きの方向を強
調するように行われる。この場合，簡単な確率分布が図
４に示すように試みられた。確率分布に有限な数が存在
し，その確率分布の選択が検索の性能を向上させるか，
あるいは後退させる。
【００２８】全ての検索が終了した後，クラスタリング
ユニット１０において，「Ｋ手段（Ｋ−Means ）」アル
ゴリズムなどのクラスタリングアルゴリズムが用いら
れ，５本の指の先端に対応して５つのクラスタが存在す
るという事実に基づいて検索要素の位置がクラスタされ
る。これらのクラスタ位置は指の先端の位置を決定す
る。なおクラスタとは画像処理データの固まりを意味す
る。
ユニット１０において，「Ｋ手段（Ｋ−Means ）」アル
ゴリズムなどのクラスタリングアルゴリズムが用いら
れ，５本の指の先端に対応して５つのクラスタが存在す
るという事実に基づいて検索要素の位置がクラスタされ
る。これらのクラスタ位置は指の先端の位置を決定す
る。なおクラスタとは画像処理データの固まりを意味す
る。
【００２９】「Ｋ手段」アルゴリズムの実施について図
１０に示すフローチャートを参照して述べる。 ステップＳ６１：任意に初期の５個のクラスタ位置
（群）ｚ１，ｚ２，ｚ３，ｚ４，ｚ５を選択する。ここ
で，ｚｉはｉ番目のクラスタの位置である。 ステップＳ６２，Ｓ６３：各々の検索の終わりのピクセ
ルを少なくともユークリッド距離に基づいて，最短の距
離にあるものを同じクラスタ位置にあるものとしてクラ
スタ位置に割りつける。 ステップＳ６４〜Ｓ６６：クラスタに対して割りつけら
れたピクセルの全ての中心を計算することにより新しい
クラスタ位置を決定する。 ステップＳ６７：もしあるクラスタ位置が変化したら，
ステップＳ６３に戻る。 ステップＳ６８：手についての試験的な画像が用いら
れ，アルゴリズムが指の先端の位置の決定を可能にす
る。
１０に示すフローチャートを参照して述べる。 ステップＳ６１：任意に初期の５個のクラスタ位置
（群）ｚ１，ｚ２，ｚ３，ｚ４，ｚ５を選択する。ここ
で，ｚｉはｉ番目のクラスタの位置である。 ステップＳ６２，Ｓ６３：各々の検索の終わりのピクセ
ルを少なくともユークリッド距離に基づいて，最短の距
離にあるものを同じクラスタ位置にあるものとしてクラ
スタ位置に割りつける。 ステップＳ６４〜Ｓ６６：クラスタに対して割りつけら
れたピクセルの全ての中心を計算することにより新しい
クラスタ位置を決定する。 ステップＳ６７：もしあるクラスタ位置が変化したら，
ステップＳ６３に戻る。 ステップＳ６８：手についての試験的な画像が用いら
れ，アルゴリズムが指の先端の位置の決定を可能にす
る。
【００３０】上述したように異なる確率分布関数ＰＤＦ
の使用は検索の性能を驚く程変化させ，動作時間を向上
させ（短縮し），そして，適切な大きさのプログラム処
理ステップがスケール空間技法の使用を実施可能とす
る。ハフ変換における雑音の効果は比較的小さいが，背
景エッジは信号前処理によって除去すべきである。もし
Ｓ／Ｎ比が高い場合，検索の対象となる確率分布関数Ｐ
ＤＦはバックトラッキングの程度を大きくすることを許
容するように変更されるべきである。この形式のインタ
ーフェースの有利な点は，手動式入力装置を容易に使用
するために要求される巧妙な操作をユーザーが必要とし
ないことである。さらに，手の移動によって伝達される
情報の量が非常に多いので，この種のインターフェース
は広範囲の用途に使用できることである。
の使用は検索の性能を驚く程変化させ，動作時間を向上
させ（短縮し），そして，適切な大きさのプログラム処
理ステップがスケール空間技法の使用を実施可能とす
る。ハフ変換における雑音の効果は比較的小さいが，背
景エッジは信号前処理によって除去すべきである。もし
Ｓ／Ｎ比が高い場合，検索の対象となる確率分布関数Ｐ
ＤＦはバックトラッキングの程度を大きくすることを許
容するように変更されるべきである。この形式のインタ
ーフェースの有利な点は，手動式入力装置を容易に使用
するために要求される巧妙な操作をユーザーが必要とし
ないことである。さらに，手の移動によって伝達される
情報の量が非常に多いので，この種のインターフェース
は広範囲の用途に使用できることである。
【００３１】上述した本発明に基づく方法と装置は手の
寸法と手の形状に制限されないから，誰でも容易にこの
方法と装置を操作することができる。以上に述べたよう
に，本発明の画像信号処理方法の第１の実施態様によれ
ば，直接的な入力インターフェース装置として使用され
る人間の手の指を，容易に正しくそして高速に検出する
方法およびその装置が提供される。
寸法と手の形状に制限されないから，誰でも容易にこの
方法と装置を操作することができる。以上に述べたよう
に，本発明の画像信号処理方法の第１の実施態様によれ
ば，直接的な入力インターフェース装置として使用され
る人間の手の指を，容易に正しくそして高速に検出する
方法およびその装置が提供される。
【００３２】上述した人間の手の指を検出する方法は，
特定的な例として，対象物体を人間の手の指を例示した
が，上述した人間の手の指を検出する方法をより一般的
な対象物体，たとえば，産業用ロボットのハンドなどに
適用することができる。
特定的な例として，対象物体を人間の手の指を例示した
が，上述した人間の手の指を検出する方法をより一般的
な対象物体，たとえば，産業用ロボットのハンドなどに
適用することができる。
【００３３】本発明の画像信号処理方法およびその装置
の第２実施態様として，２次元画像データから３次元形
状復元を行うる三次元形状復元方法とその装置について
述べる。図１１は三次元形状復元装置の構成図である。
三次元形状復元装置は，２次元画像データ入力手段１０
１，特徴抽出手段１０３および３次元形状復元処理手段
１０５を有している。２次元画像データ入力手段１０１
はたとえば，ＣＣＤビデオカメラで実現でき，特徴抽出
手段１０３および３次元形状復元処理手段１０５はコン
ピュータシステムで実現できる。
の第２実施態様として，２次元画像データから３次元形
状復元を行うる三次元形状復元方法とその装置について
述べる。図１１は三次元形状復元装置の構成図である。
三次元形状復元装置は，２次元画像データ入力手段１０
１，特徴抽出手段１０３および３次元形状復元処理手段
１０５を有している。２次元画像データ入力手段１０１
はたとえば，ＣＣＤビデオカメラで実現でき，特徴抽出
手段１０３および３次元形状復元処理手段１０５はコン
ピュータシステムで実現できる。
【００３４】図１２は図１１に示した三次元形状復元装
置の各部の基本動作を示すフローチャートである。 ステップＳ１０１：２次元画像データ入力手段１０１
は，たとえば，対象物体を２次元状態において撮像する
ＣＣＤビデオカメラであり，このビデオカメラにおいて
撮像された対象物体の２次元状画像データが特徴抽出手
段１０３に印加される。 ステップＳ１０２：特徴抽出手段１０３はビデオカメラ
から入力された２次元画像データから特徴抽出を行い，
特徴点の２次元座標を出力する。特徴抽出方法としては
従来から知られている種々の方法を適用することができ
る。そのような特徴抽出方法としては，たとえば，対象
物体の特徴点にあらかじめ付けられたマーカーの色を検
出して判別するこにより特徴点の座標を検出する方法，
対象物体のエッジを検出して局所的な形状で判別するこ
とにより特徴点の座標を検出する方法などがあり，本発
明の特徴抽出手段１０３においても，これらのいずれか
を使用する。好適には，上記対象物体の特徴を抽出する
方法をこの三次元形状復元装置に適用する。これについ
ては後述する。
置の各部の基本動作を示すフローチャートである。 ステップＳ１０１：２次元画像データ入力手段１０１
は，たとえば，対象物体を２次元状態において撮像する
ＣＣＤビデオカメラであり，このビデオカメラにおいて
撮像された対象物体の２次元状画像データが特徴抽出手
段１０３に印加される。 ステップＳ１０２：特徴抽出手段１０３はビデオカメラ
から入力された２次元画像データから特徴抽出を行い，
特徴点の２次元座標を出力する。特徴抽出方法としては
従来から知られている種々の方法を適用することができ
る。そのような特徴抽出方法としては，たとえば，対象
物体の特徴点にあらかじめ付けられたマーカーの色を検
出して判別するこにより特徴点の座標を検出する方法，
対象物体のエッジを検出して局所的な形状で判別するこ
とにより特徴点の座標を検出する方法などがあり，本発
明の特徴抽出手段１０３においても，これらのいずれか
を使用する。好適には，上記対象物体の特徴を抽出する
方法をこの三次元形状復元装置に適用する。これについ
ては後述する。
【００３５】特徴抽出手段１０３において抽出された特
徴点の２次元座標は３次元形状復元処理手段１０５に印
加される。 ステップＳ１０３：３次元形状復元処理手段１０５にお
いては，特徴抽出手段１０３からの特徴抽出点の２次元
座標を用いて，対象物体の力学方程式（力学的モデル）
をもとにしてその対象物体の３次元形状を復元する。上
述したように，本発明の画像処理装置においては，対象
物体の力学的拘束をバネモデルで表し，対象物体を撮像
した２次元画像の特徴点から対象物体の力学方程式を解
いて対象物体の３次元形状を復元する。
徴点の２次元座標は３次元形状復元処理手段１０５に印
加される。 ステップＳ１０３：３次元形状復元処理手段１０５にお
いては，特徴抽出手段１０３からの特徴抽出点の２次元
座標を用いて，対象物体の力学方程式（力学的モデル）
をもとにしてその対象物体の３次元形状を復元する。上
述したように，本発明の画像処理装置においては，対象
物体の力学的拘束をバネモデルで表し，対象物体を撮像
した２次元画像の特徴点から対象物体の力学方程式を解
いて対象物体の３次元形状を復元する。
【００３６】図１３は上述した本発明の三次元形状復元
装置の処理動作のより詳細な処理内容，特に，３次元形
状復元処理手段１０５における３次元形状復元処理方法
の第１の形態の動作フローチャートである。図１４は図
１３における３次元形状復元処理対象である対象物体の
具体例として，コンピュータシステムにおけるマン・マ
シン・インターフェース手段としての人間の掌と指の画
像データとその特徴抽出結果を示した図である。図１３
におけるステップＳ１１１およびＳ１１２の動作内容は
図１２を用いた述べたステップＳ１０１およびＳ１０２
の動作と同様である。ステップＳ１１３〜Ｓ１１６に示
す動作が３次元形状復元処理手段１０５における詳細動
作を示す。
装置の処理動作のより詳細な処理内容，特に，３次元形
状復元処理手段１０５における３次元形状復元処理方法
の第１の形態の動作フローチャートである。図１４は図
１３における３次元形状復元処理対象である対象物体の
具体例として，コンピュータシステムにおけるマン・マ
シン・インターフェース手段としての人間の掌と指の画
像データとその特徴抽出結果を示した図である。図１３
におけるステップＳ１１１およびＳ１１２の動作内容は
図１２を用いた述べたステップＳ１０１およびＳ１０２
の動作と同様である。ステップＳ１１３〜Ｓ１１６に示
す動作が３次元形状復元処理手段１０５における詳細動
作を示す。
【００３７】図１３に示したステップＳ１１３に示す処
理動作以降の３次元形状復元処理内容について述べる。
まず，対象物体についての力学方程式の一般論について
述べる。一般に対象物体の力学方程式は下記式５で表さ
れる。
理動作以降の３次元形状復元処理内容について述べる。
まず，対象物体についての力学方程式の一般論について
述べる。一般に対象物体の力学方程式は下記式５で表さ
れる。
【数５】 ただし，記号Ｆは力であり，記号Ｍは質量であり，記号
Ｃはダンピング（摩擦）係数であり，記号Ｋはステッフ
ネス（固さ）であり，記号Ｕはノード位置を示す。
Ｃはダンピング（摩擦）係数であり，記号Ｋはステッフ
ネス（固さ）であり，記号Ｕはノード位置を示す。
【００３８】ノード位置Ｕの頭上に付けられている
（・）は１階微分を示し，（・・）は２階微分を示す。
ただし，本明細書の記述においては電子出願制度におけ
る表記方法の制限から，ノード位置Ｕの１階微分をＵ
(.) ，２階微分をＵ(..)として示す。他の場合も同様で
ある。ノード位置Ｕは，各ノードについて３次元座標系
におけるＸ，Ｙ，Ｚ成分を並べたベクトルＵ＝〔Ｕx,Ｕ
y,Ｕz 〕であり，ノード数をｎとすれば下記式６に示す
ように３ｎ個の成分を持つ。
（・）は１階微分を示し，（・・）は２階微分を示す。
ただし，本明細書の記述においては電子出願制度におけ
る表記方法の制限から，ノード位置Ｕの１階微分をＵ
(.) ，２階微分をＵ(..)として示す。他の場合も同様で
ある。ノード位置Ｕは，各ノードについて３次元座標系
におけるＸ，Ｙ，Ｚ成分を並べたベクトルＵ＝〔Ｕx,Ｕ
y,Ｕz 〕であり，ノード数をｎとすれば下記式６に示す
ように３ｎ個の成分を持つ。
【数６】 ただし，本明細書の記述においては，ベクトルＵの表記
についても，電子出願制度における表記方法の制限か
ら，通常の表記方法である太線または頭に矢印をつけた
表現にしていない。他の場合も同様である。
についても，電子出願制度における表記方法の制限か
ら，通常の表記方法である太線または頭に矢印をつけた
表現にしていない。他の場合も同様である。
【００３９】ノード位置Ｕには仮想的な質量Ｍが与えら
れ，また系を安定するため摩擦（ダンピング）係数Ｃが
与えられる。たとえば，図１４に図解したように，掌お
よび指などの関節部分を３次元空間におけるノード位置
Ｕとして，指の骨の部分をバネＫとして表している。質
量Ｍ，ダンピング係数Ｃ，ステッフネスＫはそれぞれ，
３ｎｘ３ｎのマトリクスで表現される。これら３ｎｘ３
ｎのマトリクスで表現される質量マトリクスＭの１つの
Ｍ１，ダンピング係数マトリクスＣの１つのＣ１および
ステッフネスマトリクスＫの１つのＫ１を下記式７〜式
９に示す。
れ，また系を安定するため摩擦（ダンピング）係数Ｃが
与えられる。たとえば，図１４に図解したように，掌お
よび指などの関節部分を３次元空間におけるノード位置
Ｕとして，指の骨の部分をバネＫとして表している。質
量Ｍ，ダンピング係数Ｃ，ステッフネスＫはそれぞれ，
３ｎｘ３ｎのマトリクスで表現される。これら３ｎｘ３
ｎのマトリクスで表現される質量マトリクスＭの１つの
Ｍ１，ダンピング係数マトリクスＣの１つのＣ１および
ステッフネスマトリクスＫの１つのＫ１を下記式７〜式
９に示す。
【数７】
【数８】
【数９】
【００４０】本実施例においては上記式１に示した力Ｆ
として，力ベクトルＦi と力ベクトルＦk を導入する。
非線形的内力ベクトルＦk はノードの相対的位置により
規定される量であり，非線形な値を示す。この非線形的
内力ベクトルＦk は対象物体のバネモデルだけでは表さ
れない非線形的な動き（変形）を癖を表現するものであ
り，「変形のしかたの知識」ともいえるものである。力
ベクトルＦi は特徴抽出手段１０３において抽出した２
次元特徴抽出座標から求めた外力ベクトルＦi を示す。
式５を非線形的内力ベクトルＦk と２次元特徴抽出座標
から求めた外力ベクトルＦi を用いて変形すると式１０
が得られる。
として，力ベクトルＦi と力ベクトルＦk を導入する。
非線形的内力ベクトルＦk はノードの相対的位置により
規定される量であり，非線形な値を示す。この非線形的
内力ベクトルＦk は対象物体のバネモデルだけでは表さ
れない非線形的な動き（変形）を癖を表現するものであ
り，「変形のしかたの知識」ともいえるものである。力
ベクトルＦi は特徴抽出手段１０３において抽出した２
次元特徴抽出座標から求めた外力ベクトルＦi を示す。
式５を非線形的内力ベクトルＦk と２次元特徴抽出座標
から求めた外力ベクトルＦi を用いて変形すると式１０
が得られる。
【数１０】
【００４１】３次元形状復元処理手段１０５の動作内容
を図１３を参照して述べる。 ステップＳ１１３：３次元形状復元処理手段１０５は特
徴抽出手段１０３において特徴抽出した２次元特徴抽出
座標を入力する。 ステップＳ１１４：３次元形状復元処理手段１０５は入
力した２次元特徴抽出座標と対象物体の力学モデル内の
対応する点との間に働くＸ，Ｙ座標内，すなわち，２次
元空間内の上記２次元特徴抽出座標から求めた外力ベク
トルＦi を計算して決定する。この２次元特徴抽出座標
から求めた外力ベクトルＦi は，一般的に奥行成分を持
たないＸ，Ｙ平面と平行な面の上に置かれたバネのよう
な力を意味しており，各特徴点に対応するノードその間
にバネをおくモデルとして表現される。 ステップＳ１１５：本実施例においては，２次元特徴抽
出座標から求めた外力ベクトルＦi を加えて対象物体の
モデルを変形して，式１０に示した力学方程式を解く。
通常，式１０の力学方程式を解く場合，コンピュータを
用いた周知の数値計算による収束計算を行う。 ステップＳ１１６：式１０を収束計算によって解く場
合，計算の反復回数，ノード位置Ｕの前回の結果との偏
差などを考慮して適切な条件において，収束計算を打切
り，得られたノード位置Ｕを出力する。ステップＳ１１
７：オンライン実時間処理を想定した場合，たとえば，
２次元画像データ入力手段１０１としてのビデオカメラ
から連続ビデオフレームで動画像データが特徴抽出手段
１０３に入力されその特徴抽出が行われる，３次元形状
復元処理手段１０５においてその時の３次元形状復元を
行うとき，上述した処理を繰り返す。その結果として，
３次元形状復元処理手段１０５からは連続したビデオフ
レームに対応して連続的にノード位置Ｕが出力される。
を図１３を参照して述べる。 ステップＳ１１３：３次元形状復元処理手段１０５は特
徴抽出手段１０３において特徴抽出した２次元特徴抽出
座標を入力する。 ステップＳ１１４：３次元形状復元処理手段１０５は入
力した２次元特徴抽出座標と対象物体の力学モデル内の
対応する点との間に働くＸ，Ｙ座標内，すなわち，２次
元空間内の上記２次元特徴抽出座標から求めた外力ベク
トルＦi を計算して決定する。この２次元特徴抽出座標
から求めた外力ベクトルＦi は，一般的に奥行成分を持
たないＸ，Ｙ平面と平行な面の上に置かれたバネのよう
な力を意味しており，各特徴点に対応するノードその間
にバネをおくモデルとして表現される。 ステップＳ１１５：本実施例においては，２次元特徴抽
出座標から求めた外力ベクトルＦi を加えて対象物体の
モデルを変形して，式１０に示した力学方程式を解く。
通常，式１０の力学方程式を解く場合，コンピュータを
用いた周知の数値計算による収束計算を行う。 ステップＳ１１６：式１０を収束計算によって解く場
合，計算の反復回数，ノード位置Ｕの前回の結果との偏
差などを考慮して適切な条件において，収束計算を打切
り，得られたノード位置Ｕを出力する。ステップＳ１１
７：オンライン実時間処理を想定した場合，たとえば，
２次元画像データ入力手段１０１としてのビデオカメラ
から連続ビデオフレームで動画像データが特徴抽出手段
１０３に入力されその特徴抽出が行われる，３次元形状
復元処理手段１０５においてその時の３次元形状復元を
行うとき，上述した処理を繰り返す。その結果として，
３次元形状復元処理手段１０５からは連続したビデオフ
レームに対応して連続的にノード位置Ｕが出力される。
【００４２】図１４に示したように人間の掌および指な
どのように動画像として撮像される対象物体を扱った場
合，画像信号処理における各ビデオフレームにおいて微
分方程式としての式１０に示した力学方程式を解くと
き，ノード位置Ｕの初期値として前ビデオフレームでも
求めたノード位置Ｕ用いることができるので，前後のビ
デオフレーム間であまりノード位置が変わらない場合，
式１０の収束計算を速めることができる。かりに式１０
に示す力学方程式の解が複数存在しても前フレームの解
と近い解が選ばれるので正しい解が得られる。いくつか
の特徴点が隠れて特徴抽出手段３における特徴抽出情報
に欠落があったり，ノイズ等の原因で中に誤った情報が
混入した場合でも，この力学系は力学モデルのエネルギ
ー状態が安定な所へたどり着こうとするので，最もらし
い解が出力されるという利点がある。
どのように動画像として撮像される対象物体を扱った場
合，画像信号処理における各ビデオフレームにおいて微
分方程式としての式１０に示した力学方程式を解くと
き，ノード位置Ｕの初期値として前ビデオフレームでも
求めたノード位置Ｕ用いることができるので，前後のビ
デオフレーム間であまりノード位置が変わらない場合，
式１０の収束計算を速めることができる。かりに式１０
に示す力学方程式の解が複数存在しても前フレームの解
と近い解が選ばれるので正しい解が得られる。いくつか
の特徴点が隠れて特徴抽出手段３における特徴抽出情報
に欠落があったり，ノイズ等の原因で中に誤った情報が
混入した場合でも，この力学系は力学モデルのエネルギ
ー状態が安定な所へたどり着こうとするので，最もらし
い解が出力されるという利点がある。
【００４３】図１４は人間の掌および指をビデオカメラ
で撮像し，特徴抽出手段３において２次元特徴抽出点を
抽出し，その結果から３次元形状復元処理手段１０５に
おいて３次元形状を復元した結果を概略的に示す図であ
る。特徴抽出手段１０３における特徴抽出のため，掌の
底部，指先（爪）の先端に，たとえば，赤のマークをつ
けた。
で撮像し，特徴抽出手段３において２次元特徴抽出点を
抽出し，その結果から３次元形状復元処理手段１０５に
おいて３次元形状を復元した結果を概略的に示す図であ
る。特徴抽出手段１０３における特徴抽出のため，掌の
底部，指先（爪）の先端に，たとえば，赤のマークをつ
けた。
【００４４】三次元形状復元方法とその装置の第１実施
例としては，上述したように，対象物体を力学的モデル
で表し，対象物体をビデオカメラなどの２次元画像デー
タ入力手段１０１で撮像し，２次元画像データを特徴抽
出手段１０３において特徴抽出してその特徴抽出点を３
次元形状復元処理手段１０５に入力し，３次元形状復元
処理手段１０５において，入力された２次元特徴情報を
計算上で力をしてそのモデルに作用させる。その結果，
特徴情報量が少ない場合でも，対象物体の系が安定であ
ればその３次元形状を復元することができる。また特徴
情報がはっきり取れない場合や，中に誤った情報が混入
した場合でも，他の正しい特徴情報や力学モデルからの
拘束により誤った情報の影響は自動的に軽減されてつじ
つまの合う解が得られるから，原理的に，時間のかかる
探索動作を用いない復元手法である。その結果，従来技
術において問題となっている組み合わせ的計算量の莫大
さに依存しない。さらに本実施例によれば，複数のビデ
オカメラを用いることなく１台のビデオカメラのみでも
奥行き情報を再現することが可能である。
例としては，上述したように，対象物体を力学的モデル
で表し，対象物体をビデオカメラなどの２次元画像デー
タ入力手段１０１で撮像し，２次元画像データを特徴抽
出手段１０３において特徴抽出してその特徴抽出点を３
次元形状復元処理手段１０５に入力し，３次元形状復元
処理手段１０５において，入力された２次元特徴情報を
計算上で力をしてそのモデルに作用させる。その結果，
特徴情報量が少ない場合でも，対象物体の系が安定であ
ればその３次元形状を復元することができる。また特徴
情報がはっきり取れない場合や，中に誤った情報が混入
した場合でも，他の正しい特徴情報や力学モデルからの
拘束により誤った情報の影響は自動的に軽減されてつじ
つまの合う解が得られるから，原理的に，時間のかかる
探索動作を用いない復元手法である。その結果，従来技
術において問題となっている組み合わせ的計算量の莫大
さに依存しない。さらに本実施例によれば，複数のビデ
オカメラを用いることなく１台のビデオカメラのみでも
奥行き情報を再現することが可能である。
【００４５】本発明の三次元形状復元方法とその装置の
第２実施例について述べる。第２実施例は上述した第１
実施例における計算時間をさらに短縮させるものであ
る。第１実施例においては，３次元形状復元における力
学モデルで使用されるノード数の３倍の連立して力学方
程式（微分方程式）を解く必要があり，依然として計算
量が多いという難点がある。かかる問題を解決する方法
として，力学モデルにおけるバネマトリクスを固有値分
解し，振動のモードごとに独立して計算し，連立方程式
を解かず解を得る周知の方法を適用することも考えられ
る。しかしながらこの周知の方法は対象物体が大きく変
形（移動）する場合はバネマトリクスも大きく変わって
しまい，逐次固有値分解をする必要が生ずる。この計算
量がむしろ無視できなくなり，結果的に，たとえば，人
間の掌と指，あるいは，産業用ロボットのハンドなど比
較的動きのある変形する対象物体に適用することは好ま
しくないことが判った。
第２実施例について述べる。第２実施例は上述した第１
実施例における計算時間をさらに短縮させるものであ
る。第１実施例においては，３次元形状復元における力
学モデルで使用されるノード数の３倍の連立して力学方
程式（微分方程式）を解く必要があり，依然として計算
量が多いという難点がある。かかる問題を解決する方法
として，力学モデルにおけるバネマトリクスを固有値分
解し，振動のモードごとに独立して計算し，連立方程式
を解かず解を得る周知の方法を適用することも考えられ
る。しかしながらこの周知の方法は対象物体が大きく変
形（移動）する場合はバネマトリクスも大きく変わって
しまい，逐次固有値分解をする必要が生ずる。この計算
量がむしろ無視できなくなり，結果的に，たとえば，人
間の掌と指，あるいは，産業用ロボットのハンドなど比
較的動きのある変形する対象物体に適用することは好ま
しくないことが判った。
【００４６】かかる観点から第２実施例においては，対
象物体の３次元力学モデルをそれぞれ変形の少ない部分
領域に分割することにより，モードごとの計算を可能に
して，計算時間の短縮を図ること目的としている。図１
５は第２の例示に適用する対象物体の一部を複数の分割
領域に区分（分割）することを示す図である。
象物体の３次元力学モデルをそれぞれ変形の少ない部分
領域に分割することにより，モードごとの計算を可能に
して，計算時間の短縮を図ること目的としている。図１
５は第２の例示に適用する対象物体の一部を複数の分割
領域に区分（分割）することを示す図である。
【００４７】図１６に三次元形状復元についての第２実
施例の装置の動作処理のフローチャートを示す。第２実
施例においても三次元形状復元装置の構成は図１１に示
したと同じ構成となる。２次元画像データ入力手段１０
１における撮像処理（ステップＳ１２１）および特徴抽
出手段１０３における特徴抽出処理（ステップＳ１２
２）は図１３に示した処理と同様である。３次元形状復
元処理手段１０５におけるステップＳ１２３〜Ｓ１２８
で示される処理内容が第１の例示とは異なる。
施例の装置の動作処理のフローチャートを示す。第２実
施例においても三次元形状復元装置の構成は図１１に示
したと同じ構成となる。２次元画像データ入力手段１０
１における撮像処理（ステップＳ１２１）および特徴抽
出手段１０３における特徴抽出処理（ステップＳ１２
２）は図１３に示した処理と同様である。３次元形状復
元処理手段１０５におけるステップＳ１２３〜Ｓ１２８
で示される処理内容が第１の例示とは異なる。
【００４８】以下，第２実施例の３次元形状復元動作に
ついて述べる。３次元形状復元処理手段１０５において
は，基本的には，式５で示した力学方程式を解く。Ｆは
対象物体のモデルに加わる力ベクトルであり，上述した
ように，非線形的内力ベクトルＦk および２次元特徴抽
出座標から求めた外力ベクトルＦi を含む力ベクトルで
ある。したがって，本実施例においても式１０を解くこ
とになる。ただし，その解法は上述したように，第１実
施例とは異なる。対象物体がたとえば，図１５に示した
ように，人体，手などにおける形状が変化しない脚部，
腕，指などの部分領域が関節などで結合されているもの
と考えることができる。このような仮定をおく場合，バ
ネマトリクスＫにおける各分割領域をｍ個の独立なブロ
ック行列Ｋ１，Ｋ２，・・・，Ｋｍで表し，これらのブ
ロック行列を結合する関節に相当するバネ結合力をＦｊ
として，式１の右辺の力ベクトルＦに移項する。
ついて述べる。３次元形状復元処理手段１０５において
は，基本的には，式５で示した力学方程式を解く。Ｆは
対象物体のモデルに加わる力ベクトルであり，上述した
ように，非線形的内力ベクトルＦk および２次元特徴抽
出座標から求めた外力ベクトルＦi を含む力ベクトルで
ある。したがって，本実施例においても式１０を解くこ
とになる。ただし，その解法は上述したように，第１実
施例とは異なる。対象物体がたとえば，図１５に示した
ように，人体，手などにおける形状が変化しない脚部，
腕，指などの部分領域が関節などで結合されているもの
と考えることができる。このような仮定をおく場合，バ
ネマトリクスＫにおける各分割領域をｍ個の独立なブロ
ック行列Ｋ１，Ｋ２，・・・，Ｋｍで表し，これらのブ
ロック行列を結合する関節に相当するバネ結合力をＦｊ
として，式１の右辺の力ベクトルＦに移項する。
【００４９】式５の項（ＫＵ）を式１１に示すように表
す。
す。
【数１１】 ただし，式１１のＫb は式１２のブロック行列で表され
る。
る。
【数１２】 その結果，式５は式１３で表される。
【数１３】
【００５０】式１３について固有値分解を行い，周知の
方法により，質量マトリクスＭ，ダンピング係数マトリ
クスＣ，ステッフネスマトリクスＫｂをそれぞれ，Ｍ
(<) ，Ｃ(<) ，Ｋｂ(<) に対角化するようを行列Ｐを求
めれば，式１３を式１４に書き換えることができる。な
お，本明細書においては電子出願制度における表記上の
制限から，対角化した質量マトリクスＭを示すＭの上の
山形表記をＭ(<) における(<) として示す。その他につ
いても同様である。
方法により，質量マトリクスＭ，ダンピング係数マトリ
クスＣ，ステッフネスマトリクスＫｂをそれぞれ，Ｍ
(<) ，Ｃ(<) ，Ｋｂ(<) に対角化するようを行列Ｐを求
めれば，式１３を式１４に書き換えることができる。な
お，本明細書においては電子出願制度における表記上の
制限から，対角化した質量マトリクスＭを示すＭの上の
山形表記をＭ(<) における(<) として示す。その他につ
いても同様である。
【数１４】 ここで，Ｍ(<) ，Ｃ(<) ，Ｋb (<) ，Ｕ(<) ，Ｆ(<) お
よびＦj (<) は下記式で示される。
よびＦj (<) は下記式で示される。
【数１５】 ただし，ＰT は行列Ｐの転置行列を示す。
【００５１】対象物体があまり変形しない場合はステッ
フネスマトリクスＫはあまり変化せず，同じ行列Ｐで対
角化可能であるが，時間とともに対象物体が大きく変化
する場合は逐次固有値分解をし直して新しい行列Ｐを求
める必要がある。そこで，各分割領域におけるブロック
行列Ｋｉは一定で，それぞれＡｉだけ回転し，また，質
量マトリクスＭ，ダンピング係数マトリクスＣが定数行
列とすると，式１６で示すことができる。
フネスマトリクスＫはあまり変化せず，同じ行列Ｐで対
角化可能であるが，時間とともに対象物体が大きく変化
する場合は逐次固有値分解をし直して新しい行列Ｐを求
める必要がある。そこで，各分割領域におけるブロック
行列Ｋｉは一定で，それぞれＡｉだけ回転し，また，質
量マトリクスＭ，ダンピング係数マトリクスＣが定数行
列とすると，式１６で示すことができる。
【数１６】 回転変形後のステッフネスマトリクスＫb は式１７で表
される。
される。
【数１７】 変形後の力学方程式としては式１８として表すことがで
きる。
きる。
【数１８】
【００５２】回転マトリクスＡはユニタリ行列であるか
ら，式１８は式１９に書き改めることができる。
ら，式１８は式１９に書き改めることができる。
【数１９】 質量マトリクスＭおよびダンピング係数マトリクスＣは
定数行列であるから，式１９は式２０として表すことが
できる。
定数行列であるから，式１９は式２０として表すことが
できる。
【数２０】 ただし，Ｕ(<)'，Ｆ(<) ’およびＦj (<)'は下記式２１
で表される。
で表される。
【数２１】 式２０は対角化されているので，もはや連立方程式では
なく収束計算をすることなく，変形を伴う対象物体に対
するノード位置Ｕを高速に求めることができる。
なく収束計算をすることなく，変形を伴う対象物体に対
するノード位置Ｕを高速に求めることができる。
【００５３】図１６におけるステップＳ１２３〜ステッ
プＳ１２８の処理動作は３次元形状復元処理手段１０５
における上述した演算処理を示す。 ステップＳ１２３：３次元形状復元処理手段１０５は特
徴抽出手段１０３からの特徴抽出座標を入力する。 ステップＳ１２４：３次元形状復元処理手段１０５は式
１６に示したユニタリ行列Ａを求める。 ステップＳ１２５：３次元形状復元処理手段１０５は特
徴点から働く力などのよる力ベクトルＦと，各分割領域
を結合する力Ｆｊを求める。 ステップＳ１２６：３次元形状復元処理手段１０５は式
２１に示した転置行列ＰT を用いて変換処理を行う。 ステップＳ１２７：３次元形状復元処理手段１０５は式
２０の力学方程式を解く。式２０の力学方程式は対角化
されているので，もはや連立方程式ではなく，収束計算
をすることなく高速に解くことができることに留意され
たい。 ステップＳ１２８：３次元形状復元処理手段１０５は求
められたＵ(<) からノード位置Ｕを変換し，求められた
ノード位置Ｕを出力する。 ステップＳ１２９：次のフレームについて上記動作を反
復する。
プＳ１２８の処理動作は３次元形状復元処理手段１０５
における上述した演算処理を示す。 ステップＳ１２３：３次元形状復元処理手段１０５は特
徴抽出手段１０３からの特徴抽出座標を入力する。 ステップＳ１２４：３次元形状復元処理手段１０５は式
１６に示したユニタリ行列Ａを求める。 ステップＳ１２５：３次元形状復元処理手段１０５は特
徴点から働く力などのよる力ベクトルＦと，各分割領域
を結合する力Ｆｊを求める。 ステップＳ１２６：３次元形状復元処理手段１０５は式
２１に示した転置行列ＰT を用いて変換処理を行う。 ステップＳ１２７：３次元形状復元処理手段１０５は式
２０の力学方程式を解く。式２０の力学方程式は対角化
されているので，もはや連立方程式ではなく，収束計算
をすることなく高速に解くことができることに留意され
たい。 ステップＳ１２８：３次元形状復元処理手段１０５は求
められたＵ(<) からノード位置Ｕを変換し，求められた
ノード位置Ｕを出力する。 ステップＳ１２９：次のフレームについて上記動作を反
復する。
【００５４】以上のように，三次元形状復元についての
第２実施例においては，対象物体をあまり変形しない部
分に分割して作ったステッフネスマトリクスＫb を予め
固有値分解して固有行列Ｐを求めておき，各分割領域の
初期状態からのずれを計算される回転マトリクスＡを用
いてＦ(<) ’およびＦj (<)'を計算し，式２０を解くこ
とにより，ノード位置Ｕ’を求め，このノード位置Ｕ’
と固有行列Ｐおよび回転マトリクスＡからノード位置Ｕ
を求める。固有行列Ｐおよび鑑定マトリクスＡで力ベク
トルＦおよびＦｊ，ノード位置ＵをそれぞれＦ(<) ，Ｆ
j (<) ，Ｕ(<) に変換する必要があるが，式５で表され
る連立方程式をそのまま解く手法に比較して計算量は少
なくなり，高速な処理が可能となる。つまり，三次元形
状復元についての第２実施例においては，対象物体の３
次元モデルを変形の少ない部分領域に分割し，各分割領
域ではバネマトリクスが変化しないと仮定してモードご
との計算を可能とし，各分割領域を結合するバネによる
力については逐次計算を行い，全体として３次元形状復
元計算時間を短縮する。
第２実施例においては，対象物体をあまり変形しない部
分に分割して作ったステッフネスマトリクスＫb を予め
固有値分解して固有行列Ｐを求めておき，各分割領域の
初期状態からのずれを計算される回転マトリクスＡを用
いてＦ(<) ’およびＦj (<)'を計算し，式２０を解くこ
とにより，ノード位置Ｕ’を求め，このノード位置Ｕ’
と固有行列Ｐおよび回転マトリクスＡからノード位置Ｕ
を求める。固有行列Ｐおよび鑑定マトリクスＡで力ベク
トルＦおよびＦｊ，ノード位置ＵをそれぞれＦ(<) ，Ｆ
j (<) ，Ｕ(<) に変換する必要があるが，式５で表され
る連立方程式をそのまま解く手法に比較して計算量は少
なくなり，高速な処理が可能となる。つまり，三次元形
状復元についての第２実施例においては，対象物体の３
次元モデルを変形の少ない部分領域に分割し，各分割領
域ではバネマトリクスが変化しないと仮定してモードご
との計算を可能とし，各分割領域を結合するバネによる
力については逐次計算を行い，全体として３次元形状復
元計算時間を短縮する。
【００５５】本発明の三次元形状復元装置を実施するに
際しては，上述した特徴抽出手段１０３および３次元形
状復元処理手段１０５の動作処理の他，他の処理を適用
することができる。たとえば，上述した実施例において
は，２次元画像データ入力手段１０１における撮像デー
タを２次元情報について例示したが，距離画像データな
どを入力する場合でも，上記実施例と同様に処理するこ
とができる。
際しては，上述した特徴抽出手段１０３および３次元形
状復元処理手段１０５の動作処理の他，他の処理を適用
することができる。たとえば，上述した実施例において
は，２次元画像データ入力手段１０１における撮像デー
タを２次元情報について例示したが，距離画像データな
どを入力する場合でも，上記実施例と同様に処理するこ
とができる。
【００５６】図１７は本発明の三次元形状復元装置の特
定的な適用例として，マン・マシン・インターフェース
手段としての人間の掌と指を対象物体として用いること
を想定した場合の３次元形状復元処理動作を示すフロー
チャートである。図１８は図１７に示す３次元形状復元
処理を行うに際して，予め，掌と指の諸態様を分析した
結果を示す図である。図１８（Ａ）は掌と指を開いたと
きの撮像データから特徴抽出した結果を示す。左側は表
面特徴抽出図，右側は側面特徴抽出図である。以下，図
１８（Ｂ）から図１８（Ｄ）に向かって順次，小指，薬
指，中指，人指指を折り曲げていったときの正面図と側
面図を示す。
定的な適用例として，マン・マシン・インターフェース
手段としての人間の掌と指を対象物体として用いること
を想定した場合の３次元形状復元処理動作を示すフロー
チャートである。図１８は図１７に示す３次元形状復元
処理を行うに際して，予め，掌と指の諸態様を分析した
結果を示す図である。図１８（Ａ）は掌と指を開いたと
きの撮像データから特徴抽出した結果を示す。左側は表
面特徴抽出図，右側は側面特徴抽出図である。以下，図
１８（Ｂ）から図１８（Ｄ）に向かって順次，小指，薬
指，中指，人指指を折り曲げていったときの正面図と側
面図を示す。
【００５７】図１７に示したフローチャートを参照し
て，３次元形状復元処理手段１０５の動作処理を述べ
る。 ステップＳ１３１：３次元形状復元処理手段１０５は特
徴抽出手段１０３から現在の特徴点を入力する。 ステップＳ１３２：３次元形状復元処理手段１０５は画
像特徴点と対応する点との間のＸ，Ｙ面における力ベク
トルを計算する。 ステップＳ１３３：３次元形状復元処理手段１０５は
Ｘ，Ｙバネ力Ｆi を決定し，適切な力マトリクスに加え
る。 ステップＳ１３４：３次元形状復元処理手段１０５はセ
グメント間の結合力を決定し，適切な力マトリクスに加
える。 ステップＳ１３５：手のモデルが不自然な場合，３次元
形状復元処理手段１０５において「手の知識の力」を適
切な力マトリクスに加える。 ステップＳ１３６：３次元形状復元処理手段５は各セグ
メントについて行列Ｐと回転マトリクスＡを計算する。 ステップＳ１３７：３次元形状復元処理手段１０５は各
セグメントについて行列Ｐと回転マトリクスＡを用いて
力学方程式を式２０に示すクローズ形式の力学方程式に
変換する。 ステップＳ１３８：３次元形状復元処理手段１０５は各
Ｕｉ(<について微分（差分）時間δｔを用いて簡単な線
形差分方程式を解く。 ステップＳ１３９：３次元形状復元処理手段１０５はノ
ード位置マトリクスＵ(<) からノード位置マトリクスＵ
を決定し，指の各関節位置を更新する。 ステップＳ１４０：３次元形状復元処理手段１０５は以
上の処理を手のモデルと画像とが一致するまで反復す
る。
て，３次元形状復元処理手段１０５の動作処理を述べ
る。 ステップＳ１３１：３次元形状復元処理手段１０５は特
徴抽出手段１０３から現在の特徴点を入力する。 ステップＳ１３２：３次元形状復元処理手段１０５は画
像特徴点と対応する点との間のＸ，Ｙ面における力ベク
トルを計算する。 ステップＳ１３３：３次元形状復元処理手段１０５は
Ｘ，Ｙバネ力Ｆi を決定し，適切な力マトリクスに加え
る。 ステップＳ１３４：３次元形状復元処理手段１０５はセ
グメント間の結合力を決定し，適切な力マトリクスに加
える。 ステップＳ１３５：手のモデルが不自然な場合，３次元
形状復元処理手段１０５において「手の知識の力」を適
切な力マトリクスに加える。 ステップＳ１３６：３次元形状復元処理手段５は各セグ
メントについて行列Ｐと回転マトリクスＡを計算する。 ステップＳ１３７：３次元形状復元処理手段１０５は各
セグメントについて行列Ｐと回転マトリクスＡを用いて
力学方程式を式２０に示すクローズ形式の力学方程式に
変換する。 ステップＳ１３８：３次元形状復元処理手段１０５は各
Ｕｉ(<について微分（差分）時間δｔを用いて簡単な線
形差分方程式を解く。 ステップＳ１３９：３次元形状復元処理手段１０５はノ
ード位置マトリクスＵ(<) からノード位置マトリクスＵ
を決定し，指の各関節位置を更新する。 ステップＳ１４０：３次元形状復元処理手段１０５は以
上の処理を手のモデルと画像とが一致するまで反復す
る。
【００５８】図１９および図２０は上述した演算処理結
果を示す図である。図１９（Ａ）は対象物体としての手
の形状として指をやや曲げた状態の２次元画像データ入
力手段１０１による撮像結果である。図１９（Ｂ）〜図
１９（Ｄ）は図１９（Ａ）に示した撮像結果を特徴抽出
手段１０３および３次元形状復元処理手段１０５を介し
て３次元形状復元したそれぞれ上部からみた図，正面図
および側面図を示す。図２０（Ａ）は対象物体としての
手の形状として中指を曲げ，人指指の先端をやや曲げ，
薬指もやや曲げ，小指の先端を若干曲げた時の２次元画
像データ入力手段１０１による撮像結果である。図２０
（Ｂ）〜図２０（Ｄ）は図２０（Ａ）に示した撮像結果
を特徴抽出手段１０３および３次元形状復元処理手段１
０５を介して３次元形状復元したそれそれ上部からみた
図，正面図および側面図を示す。図１９および図２０の
図解から明らかなように，先ず，ビデオカメラなどの２
次元画像データ入力手段１０１で撮像した２次元画像デ
ータから３次元形状が復元されていることが判る。図１
９（Ｂ）〜図１９（Ｄ）と図２０（Ｂ）〜図２０（Ｄ）
とは復元データとして明らかに異なっており，この手の
動きの差異を利用して，人間の手をマン・マシン・イン
ターフェース手段として用いることができる。
果を示す図である。図１９（Ａ）は対象物体としての手
の形状として指をやや曲げた状態の２次元画像データ入
力手段１０１による撮像結果である。図１９（Ｂ）〜図
１９（Ｄ）は図１９（Ａ）に示した撮像結果を特徴抽出
手段１０３および３次元形状復元処理手段１０５を介し
て３次元形状復元したそれぞれ上部からみた図，正面図
および側面図を示す。図２０（Ａ）は対象物体としての
手の形状として中指を曲げ，人指指の先端をやや曲げ，
薬指もやや曲げ，小指の先端を若干曲げた時の２次元画
像データ入力手段１０１による撮像結果である。図２０
（Ｂ）〜図２０（Ｄ）は図２０（Ａ）に示した撮像結果
を特徴抽出手段１０３および３次元形状復元処理手段１
０５を介して３次元形状復元したそれそれ上部からみた
図，正面図および側面図を示す。図１９および図２０の
図解から明らかなように，先ず，ビデオカメラなどの２
次元画像データ入力手段１０１で撮像した２次元画像デ
ータから３次元形状が復元されていることが判る。図１
９（Ｂ）〜図１９（Ｄ）と図２０（Ｂ）〜図２０（Ｄ）
とは復元データとして明らかに異なっており，この手の
動きの差異を利用して，人間の手をマン・マシン・イン
ターフェース手段として用いることができる。
【００５９】本発明の三次元形状復元装置は人間の手な
どに限らず，対象物体として，たとえば，産業用ロボッ
トのハンドとその把持状態などの認識における３次元形
状復元に使用することができる。
どに限らず，対象物体として，たとえば，産業用ロボッ
トのハンドとその把持状態などの認識における３次元形
状復元に使用することができる。
【００６０】図１１に示した特徴抽出手段３と３次元形
状復元処理手段１０５とは機能的に異なるために分離し
て構成して示したが，通常，特徴抽出手段１０３および
３次元形状復元処理手段１０５はコンピュータを用いて
実現するから，同じコンピュータに一体化することがで
きる。勿論，特徴抽出手段１０３と３次元形状復元処理
手段１０５とを異なるマイクロコンピュータなどで分散
処理させることもできる。
状復元処理手段１０５とは機能的に異なるために分離し
て構成して示したが，通常，特徴抽出手段１０３および
３次元形状復元処理手段１０５はコンピュータを用いて
実現するから，同じコンピュータに一体化することがで
きる。勿論，特徴抽出手段１０３と３次元形状復元処理
手段１０５とを異なるマイクロコンピュータなどで分散
処理させることもできる。
【００６１】以上述べたように，本発明の三次元形状復
元方法とその装置によれば，力学方程式に変形力を加え
ることにより，対象物体についての２次元画像データか
ら３次元形状を復元することができる。また本発明の三
次元形状復元方法とその装置によれば，対象物体のうち
変形が少ないか変形しない部分を分割して処理すること
により，高速に対象物体についての２次元画像データか
らの３次元形状復元が可能になる。
元方法とその装置によれば，力学方程式に変形力を加え
ることにより，対象物体についての２次元画像データか
ら３次元形状を復元することができる。また本発明の三
次元形状復元方法とその装置によれば，対象物体のうち
変形が少ないか変形しない部分を分割して処理すること
により，高速に対象物体についての２次元画像データか
らの３次元形状復元が可能になる。
【００６２】図２１は本発明の三次元形状復元装置の構
成図である。この三次元形状復元装置は，図１１示した
三次元形状復元装置に対して，特徴抽出手段１０３を図
１に示した人間の手の指を検出する装置を特徴点抽出手
段１０３Ａとして組み込んだものである。この三次元形
状復元装置は，特徴抽出手段１０３Ａを用いて人間の手
の特徴点を抽出し，この特徴点を用いて人間の手の三次
元形状を復元するに好適な装置である。図２１における
個々の構成要素とよびその動作は上述したものと同様で
あるから，その詳細な記述は割愛する。
成図である。この三次元形状復元装置は，図１１示した
三次元形状復元装置に対して，特徴抽出手段１０３を図
１に示した人間の手の指を検出する装置を特徴点抽出手
段１０３Ａとして組み込んだものである。この三次元形
状復元装置は，特徴抽出手段１０３Ａを用いて人間の手
の特徴点を抽出し，この特徴点を用いて人間の手の三次
元形状を復元するに好適な装置である。図２１における
個々の構成要素とよびその動作は上述したものと同様で
あるから，その詳細な記述は割愛する。
【００６３】なお，図２１に図解した三次元形状復元装
置を人間の手の三次元形状復元だけでなく，たとえば，
産業用ロボットのハンドはもとより，その他の対象物体
に適用することができる。
置を人間の手の三次元形状復元だけでなく，たとえば，
産業用ロボットのハンドはもとより，その他の対象物体
に適用することができる。
【００６４】図２２は人間の手の指の検出と，人間の手
の三次元形状の復元とを同時的に行う画像信号処理装置
の構成図である。ビデオカメラ２などの２次元画像デー
タ入力手段１０１が人間の手を撮像する。この撮像デー
タは２次元ピクセルデータとしてエッジ検出ユニット４
および特徴抽出手段１０３に印加され，それぞれ，並列
的に，人間の手の指の検出，および，人間の手の三次元
形状復元が行われる。エッジ検出ユニット４，ハフ変換
計算ユニット６，可能性検索ユニット８，および，クラ
スタリングユニット１０からなる特徴抽出手段１０３Ａ
の出力結果を特徴点抽出結果として，特徴抽出手段１０
３に使用することもできる。もちろん，図２２に図解し
た画像信号処理装置を人間の手以外の対象物体に適用す
ることができる。
の三次元形状の復元とを同時的に行う画像信号処理装置
の構成図である。ビデオカメラ２などの２次元画像デー
タ入力手段１０１が人間の手を撮像する。この撮像デー
タは２次元ピクセルデータとしてエッジ検出ユニット４
および特徴抽出手段１０３に印加され，それぞれ，並列
的に，人間の手の指の検出，および，人間の手の三次元
形状復元が行われる。エッジ検出ユニット４，ハフ変換
計算ユニット６，可能性検索ユニット８，および，クラ
スタリングユニット１０からなる特徴抽出手段１０３Ａ
の出力結果を特徴点抽出結果として，特徴抽出手段１０
３に使用することもできる。もちろん，図２２に図解し
た画像信号処理装置を人間の手以外の対象物体に適用す
ることができる。
【００６５】上述した人間の手の指を検出する方法とそ
の装置，三次元形状復元方法とその装置は例示であり，
本発明は上述した例示に限定されない。つまり，本発明
の種々の広範囲な異なる実施態様が本発明の技術的思想
および本発明の範囲を逸脱することなく構成することが
でき，本発明が上述した特定的な実施例に制限されない
ことは容易に理解されよう。
の装置，三次元形状復元方法とその装置は例示であり，
本発明は上述した例示に限定されない。つまり，本発明
の種々の広範囲な異なる実施態様が本発明の技術的思想
および本発明の範囲を逸脱することなく構成することが
でき，本発明が上述した特定的な実施例に制限されない
ことは容易に理解されよう。
【００６６】
【発明の効果】上述したように，本発明によれば，迅速
かつ正確に人間の手の指を検出することができる。この
人間の手の指を検出する方法は一般的な対象物体の検出
に適用できる。また本発明によれば，２次元画像データ
から３次元形状を復元することができる。特に，本発明
の三次元形状復元は実時間処理に適用可能な迅速性と正
確さを示す。
かつ正確に人間の手の指を検出することができる。この
人間の手の指を検出する方法は一般的な対象物体の検出
に適用できる。また本発明によれば，２次元画像データ
から３次元形状を復元することができる。特に，本発明
の三次元形状復元は実時間処理に適用可能な迅速性と正
確さを示す。
【図１】本発明に基づく人間の手の指を検出する画像処
理装置のブロック図である。
理装置のブロック図である。
【図２】本発明の手の向きを決定すること，および，指
の先端を検索するときの指の向きと検索開始線との関係
を説明するための手の拡大図である。
の先端を検索するときの指の向きと検索開始線との関係
を説明するための手の拡大図である。
【図３】本発明の人間の手の深いローカルミニマムを発
見するための方向検出メカニズムを示す図である。
見するための方向検出メカニズムを示す図である。
【図４】本発明の確率分布関数と伝達関数との関係を示
す特性図である。
す特性図である。
【図５】本発明の画像入力処理およびエッジ検出処理を
示すフローチャートである。
示すフローチャートである。
【図６】本発明のハフ変換処理の一部の処理を示すフロ
ーチャートである。
ーチャートである。
【図７】本発明のハフ変換処理の残りの処理を示す部分
フローチャートである。
フローチャートである。
【図８】本発明の可能性検索処理の一部の処理を示すフ
ローチャートである。
ローチャートである。
【図９】本発明の可能性検索処理の残りの処理を示すフ
ローチャートである。
ローチャートである。
【図１０】本発明のクラスタリング処理を示すフローチ
ャートである。
ャートである。
【図１１】本発明の三次元形状復元装置の実施例構成を
示す図である。
示す図である。
【図１２】図１１に示した三次元形状復元装置の基本動
作処理を示すフローチャートである。
作処理を示すフローチャートである。
【図１３】図１１に示した三次元形状復元装置の第１実
施例の処理を示すフローチャートである。
施例の処理を示すフローチャートである。
【図１４】図１３における処理に適用する対象とする物
体の１例としての人間の掌と指との動きを示す図であ
る。
体の１例としての人間の掌と指との動きを示す図であ
る。
【図１５】本発明の三次元形状復元装置における対象物
体の変形の少ない部分を部分領域に分割することを説明
する図である。
体の変形の少ない部分を部分領域に分割することを説明
する図である。
【図１６】図１１に示した三次元形状復元装置の第２実
施例の処理を示すフローチャートである。
施例の処理を示すフローチャートである。
【図１７】図１１に示した三次元形状復元装置の特定的
な例示として，対象物体を人間の掌と指にした場合の本
発明の三次元形状復元装置における画像処理方法を説明
するフローチャートである。
な例示として，対象物体を人間の掌と指にした場合の本
発明の三次元形状復元装置における画像処理方法を説明
するフローチャートである。
【図１８】図１７における処理に用いた人間の掌と指の
特徴抽出モデル図である。
特徴抽出モデル図である。
【図１９】図１７に示した三次元形状復元装置の実施例
に基づく第１の結果を示す図である。
に基づく第１の結果を示す図である。
【図２０】図１７に示した三次元形状復元装置の実施例
に基づく第２の結果を示す図である。
に基づく第２の結果を示す図である。
【図２１】本発明の他の三次元形状復元装置の構成図で
ある。
ある。
【図２２】本発明の人間の手の指を検出する装置と三次
元形状復元装置の構成図である。
元形状復元装置の構成図である。
２・・ビデオカメラ ４・・エッジ検出ユニット ６・・ハフ変換計算ユニット ８・・可能性検索ユニット １０・・クラスタリングユニット １２・・人間の手 １０１・・２次元画像データ入力手段 １０３・・特徴抽出手段 １０５・・３次元形状復元処理手段
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G06F 3/033
Claims (14)
- 【請求項１】人間の手を読み取り，二次元直交座標空間
における２次元ピクセルデータ形態の画像データとして
出力する段階， 上記ピクセルデータ形態の画像データから上記手の輪郭
を示すエッジを検出する段階， 上記検出されたエッジのイメージラインをパラメータ空
間にパラメータ変換するに際し，上記二次元直交座標空
間の２次元ピクセルデータがイメージラインの上に位置
するエッジを示すピクセルの場合，該ピクセルの座標に
対応する上記パラメータ空間上の座標の計数値に１を加
算することにより上記パラメータ変換を行い，上記各座
標の計数値の大きさから手の指を示すラインを決定し，
上記二次元直交座標空間において上記手の指を示すライ
ンの表現式を求め，上記表現式中の係数から上記二次元
直交座標空間における指の向きを決定する段階， 該決定された向きに沿って指の先端に対応する深いロー
カルミニマムを検索する段階，および， 上記指の先端を規定する端点をクラスタリングする段階
を有する人間の手の指を検出する方法。 - 【請求項２】上記エッジを検出する段階が， 各々がグレーレベルを示す上記ピクセル形態の画像デー
タの２次元方向の傾きを計算する段階， 上記計算した傾きの絶対値をしきい値レベルと比較する
段階，および， 上記計算された絶対値が上記しきい値レベルよりも大き
いときエッジとして決定する段階を有する請求項１記載
の人間の手の指を検出する方法。 - 【請求項３】上記指の向きを決定する段階が， 上記検出されたエッジのイメージラインをパラメータ空
間にパラメータ変換するに際し，上記二次元直交座標空
間の２次元ピクセルデータがイメージラインの 上に位置
するエッジを示すピクセルの場合，該ピクセルの座標に
対応する上記パラメータ空間上の座標の計数値に１を加
算することにより上記パラメータ変換を行う段階， 上記各座標の計数値の大きさから上記指の輪郭を示すベ
ストラインを選択する段階，上記二次元直交座標空間において上記指の輪郭を示すベ
ストラインの表現式を求める段階 ，該求めた表現式の係数の平均値から二次元直交座標空間
における指の向きを決定する段階 を有する請求項１記載
の人間の手の指を検出する方法。 - 【請求項４】上記パラメータ変換，エッジピクセル積算
および向き決定段階が，ハフ変換処理を行う段階を含む
請求項３記載の人間の手の指を検出する方法。 - 【請求項５】上記深いローカルミニマムを検索する段階
が， ランダム方向決定メカニズムによって各方角からローカ
ルミニマムを検索し，上記指の先端に対応する深いロー
カルミニマムを決定する段階を有する請求項１記載の人
間の手の指を検出する方法。 - 【請求項６】上記クラスタリング段階が， 少なくともユークリッド距離に基づいて各検索の端点ピ
クセルをクラスタ位置に割りつける段階，および， 上記クラスタへ割りつけられたピクセルの全ての中心を
計算することにより新しいクラスタ位置を決定する段階
を有する請求項１記載の人間の手の指を検出する方法。 - 【請求項７】人間の手を読み取り，二次元直交座標空間
における２次元ピクセルデータ形態の画像データとして
出力する手段， 上記ピクセルデータ形態の画像データから上記手の輪郭
を示すエッジを検出する手段， 上記検出されたエッジのイメージラインをパラメータ空
間にパラメータ変換するに際し，上記二次元直交座標空
間の２次元ピクセルデータがイメージラインの上に位置
するエッジを示すピクセルの場合，該ピクセルの座標に
対応する上記パラメータ空間上の座標の計数値に１を加
算することにより上記パラメータ変換を行い，上記各座
標の計数値の大きさから手の指を示すラインを決定し，
上記二次元直交座標空間において上記手の指を示すライ
ンの表現式を求め，上記表現式中の係数から上記二次元
直交座標空間における指の向きを決定する手段， 該決定された向きに沿って指の先端に対応する深いロー
カルミニマムを検索する手段，および， 上記指の先端を規定する端点をクラスタリングする手段
を有する人間の手の指を検出する装置。 - 【請求項８】上記エッジを検出する手段が， 各々がグレーレベルを示す上記ピクセル形態の画像デー
タの２次元方向の傾きを計算する手段， 上記計算した傾きの絶対値をしきい値レベルと比較する
手段，および， 上記計算された絶対値が上記しきい値レベルよりも大き
いときエッジとして決定する手段を有する請求項７記載
の人間の手の指を検出する装置。 - 【請求項９】上記指の向きを決定する手段が， 上記検出されたエッジのイメージラインをパラメータ空
間にパラメータ変換するに際し，上記二次元直交座標空
間の２次元ピクセルデータがイメージラインの上に位置
するエッジを示すピクセルの場合，該ピクセルの座標に
対応する上記パラメータ空間上の座標の計数値に１を加
算することにより上記パラメータ変換を行う手段， 上記各座標の計数値の大きさから上記指の輪郭を示すベ
ストラインを選択する手段，上記二次元直交座標空間において上記指の輪郭を示すベ
ストラインの表現式を求める手段 ，該求めた表現式の係数の平均値から二次元直交座標空間
における指の向きを決定する手段 を有する請求項７記載
の人間の手の指を検出する装置。 - 【請求項１０】上記指の向きを決定する手段が，ハフ変
換処理を行う請求項９記載の人間の手の指を検出する装
置。 - 【請求項１１】上記深いローカルミニマムを検索する手
段が， ランダム方向決定メカニズムによって各方角からローカ
ルミニマムを検索し，上記指の先端に対応する深いロー
カルミニマムを決定する手段を有する請求項９記載の人
間の手の指を検出する装置。 - 【請求項１２】上記クラスタリング手段が， 少なくともユークリッド距離に基づいて各検索の端点ピ
クセルをクラスタ位置に割りつける手段，および， 上記クラスタへ割りつけられたピクセルの全ての中心を
計算することにより新しいクラスタ位置を決定する手段
を有する請求項９記載の人間の手の指を検出する装置。 - 【請求項１３】対象物を撮像し，二次元直交座標空間に
おける２次元ピクセルデータ形態の画像データとして出
力する段階， 上記ピクセルデータ形態の画像データから上記対象物の
輪郭を示すエッジを検出する段階， 上記検出されたエッジのイメージラインをパラメータ空
間にパラメータ変換するに際し，上記二次元直交座標空
間の２次元ピクセルデータがイメージラインの上に位置
するエッジを示すピクセルの場合，該ピクセルの座標に
対応する上記パ ラメータ空間上の座標の計数値に１を加
算することにより上記パラメータ変換を行い，上記各座
標の計数値の大きさから手の指を示すラインを決定し，
上記二次元直交座標空間において上記手の指を示すライ
ンの表現式を求め，上記表現式中の係数から上記二次元
直交座標空間における上記対象物の向きを決定する段
階， 該決定された向きに沿って上記対象物の先端に対応する
深いローカルミニマムを検索する段階，および， 上記対象物の先端を規定する端点をクラスタリングする
段階を有する対象物体の特徴を抽出する方法。 - 【請求項１４】対象物を撮像し，二次元直交座標空間に
おける２次元ピクセルデータ形態の画像データとして出
力する手段， 上記ピクセルデータ形態の画像データから上記対象物の
輪郭を示すエッジを検出する手段， 上記検出されたエッジのイメージラインをパラメータ空
間にパラメータ変換するに際し，上記二次元直交座標空
間の２次元ピクセルデータがイメージラインの上に位置
するエッジを示すピクセルの場合，該ピクセルの座標に
対応する上記パラメータ空間上の座標の計数値に１を加
算することにより上記パラメータ変換を行い，上記各座
標の計数値の大きさから手の指を示すラインを決定し，
上記二次元直交座標空間において上記手の指を示すライ
ンの表現式を求め，上記表現式中の係数から上記二次元
直交座標空間における上記対象物の向きを決定する手
段， 該決定された向きに沿って上記対象物の先端に対応する
深いローカルミニマムを検索する手段，および， 上記対象物の先端を規定する端点をクラスタリングする
手段を有する対象物体の特徴を抽出する装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13429292A JP3182876B2 (ja) | 1991-05-24 | 1992-04-27 | 画像信号処理方法とその装置 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3-149784 | 1991-05-24 | ||
| JP14978491 | 1991-05-24 | ||
| JP21152491 | 1991-07-29 | ||
| JP3-211524 | 1991-07-29 | ||
| JP4-97244 | 1992-03-24 | ||
| JP9724492 | 1992-03-24 | ||
| JP13429292A JP3182876B2 (ja) | 1991-05-24 | 1992-04-27 | 画像信号処理方法とその装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000331312A Division JP2001188897A (ja) | 1991-05-24 | 2000-10-30 | 三次元形状復元方法とその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0620055A JPH0620055A (ja) | 1994-01-28 |
| JP3182876B2 true JP3182876B2 (ja) | 2001-07-03 |
Family
ID=27468526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13429292A Expired - Fee Related JP3182876B2 (ja) | 1991-05-24 | 1992-04-27 | 画像信号処理方法とその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3182876B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3777650B2 (ja) * | 1995-04-28 | 2006-05-24 | 松下電器産業株式会社 | インターフェイス装置 |
| KR19990008158A (ko) * | 1995-04-28 | 1999-01-25 | 모리시타요우이치 | 인터페이스 장치 |
| JP2008250774A (ja) * | 2007-03-30 | 2008-10-16 | Denso Corp | 情報機器操作装置 |
| JP5077956B2 (ja) | 2008-04-23 | 2012-11-21 | Ｋｄｄｉ株式会社 | 情報端末装置 |
| US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
| US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
| US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
| US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
| US8267781B2 (en) * | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
| CN112972889B (zh) * | 2017-12-29 | 2024-06-25 | 深圳硅基仿生科技股份有限公司 | 图像处理装置和方法及视网膜刺激器 |
-
1992
- 1992-04-27 JP JP13429292A patent/JP3182876B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0620055A (ja) | 1994-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5548667A (en) | Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data | |
| JP6546618B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
| JP5403699B2 (ja) | 手指形状推定装置、手指形状の推定方法及びプログラム | |
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| AU660532B2 (en) | Memory-based method and apparatus for computer graphics | |
| EP2095296B1 (en) | A method and system for providing a three-dimensional model of an object of interest. | |
| US8731719B2 (en) | Robot with vision-based 3D shape recognition | |
| Zeng et al. | Hand gesture recognition using leap motion via deterministic learning | |
| JP3182876B2 (ja) | 画像信号処理方法とその装置 | |
| JP6554900B2 (ja) | テンプレート作成装置及びテンプレート作成方法 | |
| CN109544606B (zh) | 基于多个Kinect的快速自动配准方法及系统 | |
| WO2017116880A1 (en) | Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton | |
| WO2021098147A1 (zh) | Vr体感数据检测方法、装置、计算机设备及存储介质 | |
| Chen et al. | Learning a deep network with spherical part model for 3D hand pose estimation | |
| EP2892007A2 (en) | Static posture based person identification | |
| CN107545242B (zh) | 一种通过2d图像推断人体动作姿态的方法及装置 | |
| Tajdari et al. | Feature preserving non-rigid iterative weighted closest point and semi-curvature registration | |
| JP2020109626A5 (ja) | ||
| CN110348359B (zh) | 手部姿态追踪的方法、装置及系统 | |
| JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
| Angelopoulou et al. | Fast 2d/3d object representation with growing neural gas | |
| JP6915786B2 (ja) | 学習装置、認識装置、学習方法及びコンピュータプログラム | |
| Davis et al. | Toward 3-D gesture recognition | |
| JP2001188897A (ja) | 三次元形状復元方法とその装置 | |
| KR20050027796A (ko) | 물체 인식 및 추적방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080427 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090427 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090427 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |