JP3182876B2 - 画像信号処理方法とその装置 - Google Patents

画像信号処理方法とその装置

Info

Publication number
JP3182876B2
JP3182876B2 JP13429292A JP13429292A JP3182876B2 JP 3182876 B2 JP3182876 B2 JP 3182876B2 JP 13429292 A JP13429292 A JP 13429292A JP 13429292 A JP13429292 A JP 13429292A JP 3182876 B2 JP3182876 B2 JP 3182876B2
Authority
JP
Japan
Prior art keywords
finger
dimensional
edge
detecting
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13429292A
Other languages
English (en)
Other versions
JPH0620055A (ja
Inventor
トゥー ピーター
聡幸 広井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP13429292A priority Critical patent/JP3182876B2/ja
Publication of JPH0620055A publication Critical patent/JPH0620055A/ja
Application granted granted Critical
Publication of JP3182876B2 publication Critical patent/JP3182876B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像信号処理方法および
画像信号処理装置に関するものであり,特に,2次元画
像データから3次元形状を実時間で復元する三次元形状
復元方法およびその装置,対象物体の特徴を抽出する方
法とその装置,および,マンマシンインターフェースと
して使用される人間の手の指を検出する方法とその装置
に関する。
【0002】対象物体をCCDビデオカメラなどの撮像
手段で撮像し,その撮像画像から対象物体の3次元形状
を復元することが望まれている。このような3次元形状
復元方法は,たとえば,産業用ロボットにおけるロボッ
トハンドの動きと,その把持状態の認識における視覚認
識手段への適用が考えられている。3次元形状復元方法
の他の適用例としては,コンピュータシステムにおける
マン・マシン・インターフェース手段としての人間の体
の一部,たとえば,腕,手,掌,指などを使用する場合
にこれら身体の一部の3次元形状を復元する場合におけ
る認識手段への適用などがある。
【0003】人間がコンピュータシステムに入力するイ
ンターフェースとして最も一般的なものとしては,ある
種のトランスデューサ,または,たとえば,CRTキィ
ボード,ジョイステック,トラックボール,マウスなど
のユーザーによって操作されるアクチュエータがある。
対象物体としての人間の腕,掌,指の動きなどは,現在
使用使用されているコンピュータシステムにおけるマン
・マシン・インターフェース装置,たとえば,マウス,
ジョイステックなどの間接的なマン・マシン・インター
フェース装置よりも,直接的かつ有効なマン・マシン・
インターフェース装置として機能することが知られてき
ており,かかる人間の体の一部など動きのある対象物
体,すなわち,変形可能な対象物体の実時間での実用的
な3次元形状の復元方法が要望されている。
【0004】従来,3次元形状を有する対象物体を撮像
した2次元画像情報からその対象物体の3次元形状を復
元するには対象物体の頂点やエッジ成分を検出し,それ
らの情報をもとに3次元空間で矛盾がないように対象物
体の形状を復元構成する手法が使われている。
【0005】
【発明が解決しようとする課題】しかしながら,これら
のインターフェース装置が使用される従来の全ての方法
は,それらのインターフェース装置はユーザーがハード
ウエアと物理的に接触することを要求し,そのような入
力装置の操作をユーザー習熟するまでに通常長い訓練
期間を要するという問題がある。従来の方法はまた,情
報が伝達される範囲が狭いという問題がある。たとえ
ば,マウスは単にコンピュータシステムの中央処理装置
に位置と移動ベクトルを送出するだけである。
【0006】従来の3次元形状復元方法ではエッジなど
の特徴情報の数が少なかったり,特徴情報がはっきり取
れない場合や,特徴情報のなかに誤った情報が混ざった
場合,3次元形状の復元が困難になるという問題に遭遇
している。特徴情報の誤り情報に対応しようとすると取
りうる形状の組み合わせをすべて考え,それぞれの入力
情報とつじつまが合うか否かを探索して調べる必要があ
るので,計算量が組み合わせ的に莫大になる場合があ
り,その計算時間が非常に長くかかり,たとえば,産業
用ロボットへの実時間処理への適用,あるいは,人間の
身体の一部をマン・マシン・インターフェース手段とし
て使用するような場合に要望される3次元形状を実時間
で実現しようとする要件を満足することができない。特
に,3次元形状を有する対象物体をビデオカメラなどの
撮像装置が撮像した2次元画像データは奥行情報を有し
ていないため,3次元形状を復元する困難さに遭遇して
いる。
【0007】本発明の目的は,直接的な入力インターフ
ェース装置として使用される人間の手の指を,正しくそ
して高速に検出する方法およびその装置を提供すること
にある。本発明の他の目的は,対象物体を人間の手とし
た場合に,画像信号処理方法を上記三次元形状復元方法
に適用して,人間の手を有効なマンマシン・インターフ
ェース手段として適用可能とすることにある。
【0008】
【課題を解決するための手段】上記問題を解決するた
め,本発明の第1の観点によれば,人間の手の指を検出
する方法とその装置が提供される。人間の手の指を検出
する方法は、人間の手を読み取り,二次元直交座標空間
における2次元ピクセルデータ形態の画像データとして
出力する段階,上記ピクセルデータ形態の画像データか
ら上記手の輪郭を示すエッジを検出する段階,上記検出
されたエッジのイメージラインをパラメータ空間にパラ
メータ変換するに際し,上記二次元直交座標空間の2次
元ピクセルデータがイメージラインの上に位置するエッ
ジを示すピクセルの場合,該ピクセルの座標に対応する
上記パラメータ空間上の座標の計数値に1を加算するこ
とにより上記パラメータ変換を行い,上記各座標の計数
値の大きさから手の指を示すラインを決定し,上記二次
元直交座標空間において上記手の指を示すラインの表現
式を求め,上記表現式中の係数から上記二次元直交座標
空間における指の向きを決定する段階,該決定された向
きに沿って指の先端に対応する深いローカルミニマムを
検索する段階,および,上記指の先端を規定する端点を
クラスタリングする段階を有する。
【0009】好適には、上記エッジを検出する段階は,
各々がグレーレベルを示す上記ピクセル形態の画像デー
タの2次元方向の傾きを計算する段階,上記計算した傾
きの絶対値をしきい値レベルと比較する段階,および,
上記計算された絶対値が上記しきい値レベルよりも大き
いときエッジとして決定する段階を有する。また、好適
には、上記指の向きを決定する段階は,上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し,上記二次元直交座標空間の2次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合,該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に1を加算することによ
り上記パラメータ変換を行う段階,上記各座標の計数値
の大きさから上記指の輪郭を示すベストラインを選択す
る段階,上記二次元直交座標空間において上記指の輪郭
を示すベストラインの表現式を求める段階該求めた表
現式の係数の平均値から二次元直交座標空間における指
の向きを決定する段階を有する。好適には、上記パラメ
ータ変換,エッジピクセル積算および向き決定段階は,
ハフ変換処理を行う段階を含む。好適には、上記深いロ
ーカルミニマムを検索する段階は,ランダム方向決定メ
カニズムによって各方角からローカルミニマムを検索
し,上記指の先端に対応する深いローカルミニマムを決
定する段階を有する。好適には、上記クラスタリング段
階は,少なくともユークリッド距離に基づいて各検索の
端点ピクセルをクラスタ位置に割りつける段階,およ
び,上記クラスタへ割りつけられたピクセルの全ての中
心を計算することにより新しいクラスタ位置を決定する
段階を有する。
【0010】本発明の人間の手の指を検出する装置は,
上記人間の手の指を検出する方法を実施する構成とな
る。
【0011】さらに本発明の第2の観点によれば,対象
物体の特徴を抽出する方法とその装置が提供される。
【0012】本発明の対象物体の特徴を抽出する方法
は、対象物を撮像し,二次元直交座標空間における2次
元ピクセルデータ形態の画像データとして出力する段
階,上記ピクセルデータ形態の画像データから上記対象
物の輪郭を示すエッジを検出する段階,上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し,上記二次元直交座標空間の2次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合,該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に1を加算することによ
り上記パラメータ変換を行い,上記各座標の計数値の大
きさから手の指を示すラインを決定し,上記二次元直交
座標空間において上記手の指を示すラインの表現式を求
め,上記表現式中の係数から上記二次元直交座標空間に
おける上記対象物の向きを決定する段階,該決定された
向きに沿って上記対象物の先端に対応する深いローカル
ミニマムを検索する段階,および,上記対象物の先端を
規定する端点をクラスタリングする段階を有する。
【0013】本発明の対象物体の特徴を抽出する装置
は、対象物を撮像し,二次元直交座標空間における2次
元ピクセルデータ形態の画像データとして出力する手
段,上記ピクセルデータ形態の画像データから上記対象
物の輪郭を示すエッジを検出する手段,上記検出された
エッジのイメージラインをパラメータ空間にパラメータ
変換するに際し,上記二次元直交座標空間の2次元ピク
セルデータがイメージラインの上に位置するエッジを示
すピクセルの場合,該ピクセルの座標に対応する上記パ
ラメータ空間上の座標の計数値に1を加算することによ
り上記パラメータ変換を行う手段,上記各座標の計数値
の大きさから上記指の輪郭を示すベストラインを選択す
る手段,上記二次元直交座標空間において上記指の輪郭
を示すベストラインの表現式を求める手段該求めた表
現式の係数の平均値から二次元直交座標空間における指
の向きを決定する上記対象物の向きを決定する手段,該
決定された向きに沿って上記対象物の先端に対応する深
いローカルミニマムを検索する手段,および,上記対象
物の先端を規定する端点をクラスタリングする手段を有
する。
【0014】
【作用】本発明の人間の手の指を検出する方法は,人間
の手を読み取り2次元ピクセルデータ形態の画像データ
として出力し,これらのピクセルデータに基づいて上記
手のエッジ(縁)を検出する。検出されたエッジのイメ
ージラインをパラメータ空間にパラメータ変換し,好適
には,ハフ変換して,該パラメータ空間においてエッジ
ピクセルを積算して上記指の向きを決定する。この決定
された向きに沿って指の先端に対応する深いローカルミ
ニマムを検索し,上記指の先端を規定する端点をクラス
タリングする。このクラスタリング結果に基づいて,人
間の手の先端を決定する。
【0015】上記人間の手の指を検出する方法を,たと
えば,指の先端に代えて,対象物体の特徴とすることに
より,対象物体の特徴抽出に拡張できる。
【0016】
【実施例】本発明の画像信号処理方法および画像信号処
理装置の第1実施態様としての人間の手の指を検出する
方法およびその装置を添付図面に関連づけて述べる。図
1は本発明に基づく人間の手の指を検出する装置のブロ
ック図である。図2は人間の手の向きを決定すること,
および,指の先端を検索(サーチ)するときの指の向き
と検索開始線(スタートライン)の関係を説明するため
の手の拡大図である。図3は深いローカルミニマムを発
見するための方向規定メカニズムを示す図である。図4
は均一な確率分布関数PDFと伝達関数との関係を示す
特性図である。
【0017】指の先端はディスプレイユニットに表示さ
れるある項目を直接指定する,および,位置決めする,
あるいは,いずれか1つの操作を行うのに使用できる。
図1に示した人間の手の指を検出する装置は,通常用い
られている標準の撮像手段としてのビデオカメラ2,エ
ッジ検出ユニット4,ハフ変換(Hough Transformatio
n)計算ユニット6,可能性(probabilistic )検索ユ
ニット8,および,クラスタリングユニット10を有す
る。ビデオカメラ2は人間の手12を撮像して2次元状
画像データを出力し,クラスタリングユニット10は指
の先端の位置を出力する。エッジ検出ユニット4,ハフ
変換計算ユニット6,可能性検索ユニット8,および,
クラスタリングユニット10はディジタルコンピュータ
システムによって実現されている。
【0018】ディジタルコンピュータシステムによって
実現される人間の手の指を検出する装置の各ユニットの
処理内容を図5〜図10のフローチャートに示す。図5
はビデオカメラ2による画像入力処理とエッジ検出ユニ
ット4によるエッジ検出処理を示すフローチャートであ
る。図6および図7はハフ変換計算ユニット6における
ハフ変換処理を示すフローチャートである。図8および
図9は可能性検索ユニット8における可能性検索処理を
示すフローチャートである。図10はクラスタリングユ
ニット10におけるクラスタリング処理を示すフローチ
ャートである。上記ディジタルコンピュータシステムに
おけるの処理の一部のプログラムコードを表1〜表4に
示す。これらのプログラムコードは一連の流れに沿って
処理されるが図解の関係で分割して示している。
【表1】
【表2】
【表3】
【表4】 表1はハフ変換処理において使用するアキュムレータの
初期化処理を示すプログラムコードである。表2はエッ
ジについての画像を検索する処理を示すプログラムコー
ドである。表3はハフ変換処理における10本の最良な
ラインを検索するプログラムコードである。表4は可能
性検索処理における画像ラインについての可能性のある
候補としてのアキュムレータの値が最大となる位置r
m ,tm を出力するプログラムコードである。表1〜表
4に示すプログラムコードはディジタルコンピュータシ
ステムで処理する一部を示しており,図5〜図10の処
理内容とは必ずしも一対一には一致していない。
【0019】画像データ入力 図5のステップS01に示すように,チャージカップル
ドデバイス(CCD)を有するビデオカメラ2は,手を
読み取り,その手の画像をディジタル化し,その手の2
次元画像データ,すなわち,エッジピクセル(画像)デ
ータI(i,j)(ただし,I(i,j)は画像位置
(i,j)におけるグレーレベル強度である)をエッジ
検出ユニット4に出力する。
【0020】エッジ検出 図5のステップS02〜S010に示すように,エッジ
検出ユニット4は傾斜方法によるエッジ検出アルゴリズ
ムによって手のエッジを検出する。すなわち,エッジ検
出ユニット4は下記式1に基づいて画像の傾きgrad
I(i,j)を計算する。gradはまた逆三角形の記
号,ナブラとしても表現する。
【数1】 エッジ検出ユニット4は下記の方法で人間の手のエッジ
を決定する。もしピクセルの傾きgradI(i,j)
の絶対値が所定のしきい値Tよりも大きいときは(S0
4),そのピクセル(i,j)はエッジピクセルであ
る。すなわち,ピクセルの微分値がしきい値を越えてい
るときエッジとする。エッジ検出ユニット4はそのピク
セルがエッジピクセルと判断した場合,エッジピクセル
I(i,j)=1とし(S05),そうでない場合は,
I(i,j)=0とする(S06)。エッジ検出ユニッ
ト4はこのエッジ検出処理を全ての画像座標(i=1〜
imax,j=1〜jmax)について行う。
【0021】ハフ変換処理 図6および図7に示すように,ハフ変換計算ユニット6
は,アキュムレータの値を0に初期化した後(図6のス
テップS21,表1に示すプログラムコード),ピクセ
(i,j)がラインkの上に位置する場合アキュムレ
ータの値を積算(累積)し(ステップS22〜S32,
表2),このアキュムレータの積算値から10個の最良
の線(ベストライン)を抽出する(図7のステップS3
3,表3のプログラムコード)。ハフ変換処理とは、た
とえば、テレビジョン画像情報工学ハンドブック、テレ
ビジョン学会編、1990年11月30日、第1版第1
刷発行、第415ページに記載されているように、検出
したい線を表現するパラメータにより構成される空間で
エッジ要素のクラスタリングを行ってパラメータを決定
する方法である。たとえば、もっとも簡単な直線の検出
にハフ変換処理を適用した場合、エッジ要素(x,y)
を直線を示す式、xcosθ+ysinθ=ρに従って
パラメータ空間(ρ,θ)に写像すると、同一の直線上
の点は全て(ρ,θ)平面の1点を通ることを利用す
る。このように、ハフ変換処理においては、全てのエッ
ジ要素 をパラメータ空間に写像した後、パラメータ空間
で最も多くの点が集まるクラスタを検出して,それに対
応する画像平面内の直線を求める。もちろん、ハフ変換
処理は直線だけでなく,円,楕円、放物線などの検出も
可能である。ただし、本実施の形態においては、直線を
検出する。図2に示すように,人間の手は相互にほぼ並
行するほぼ10本の線で構成されており,ハフ変換計算
ユニット6は,上記エッジ検出ユニット4において上記
ピクセルの微分値として算出した傾きについて平均傾き
mを算出し,その平均傾きを平均化することにより(図
7のステップS34),最終的に,手を2分にして指に
並行して走る手の向きを示す指向線を得ることができ
る。ハフ変換方法において,全ての可能性ある画像ライ
ンはパラメータ空間にパラメータ変換され,パラメータ
空間内のアキュムレータの値が各ラインの一部である全
てのエッジピクセルの経路を維持し,最も値の大きいピ
クセルを有するラインが画像(イメージ)ラインとして
選択される。ハフ変換の処理内容の詳細について以下に
述べる。
【0022】ユークリッド2次元空間の任意の線は下記
式2で規定される。
【数2】 ここで,xおよびyは直線状の座標系,たとえば,
元直交座標系における所定のライン上の任意の点の座標
であり,θおよびρはパラメータ空間(極座標系にお
ける原点に最も近いライン上の位置を規定する。この
施例において,パラメータ空間を通過しうる全ての可能
なラインは,ρmin 〜ρmax とθmin 〜θmax の範囲に
あるρおよびθの値にベクトル量子化される。ある画像
内の各々のエッジ位置x,yについて,全ての可能なラ
インがθを変化させて決定され,その結果として与えら
れたx,yに基づいてρが決定される。決定された各ラ
インについて,そのラインについてのアキュムレータの
を増加させる(図6のステップS25〜S26,表2
のプログラムコード)。全てのエッジ点についての処理
が終了した後,アキュムレータの値が検索され,最も大
きい値の大きいアキュムレータに関連する10本のベス
トラインが選択される(図7のステップS33,表3の
プログラムコード)。
【0023】パラメータ空間におけるラインを示す上記
形態を元の画像データの二次元直交座標系における座
標:y=mx+bの形式に変換するため,下記式3およ
び式4が用いられる。
【数3】
【数4】 係数mおよびbが全ての推奨(候補)ラインについて決
定され,それからmの平均とbの平均が計算され,これ
らの平均が図2に示す手の向きを示す指向線となる。
【0024】可能性検索ユニット8が行う可能性検索処
理のフローチャートを図8および図9に示す。図8,ス
テップS41〜S48:可能性検索ユニット8は,図2
に図解したように,開始線(スタートライン)と直交し
最も慣性モーメントの大きい線を選択して手の指向線を
決定する。図9,ステップS49〜S55:一旦,手の
指向線が決定されると,可能性検索ユニット8におい
て,全てのピクセルについて複数回の検索SEARCH
が行われ「深いローカルミニマム(局所的な最小値)
を発見する。この深いローカルミニマムは指の先端に対
応している。これらの検索の開始位置は、図2に図解し
たように、指の向きを示す指向線に直交するライン(
始線(スタートライン))に沿っている。開始線と指向
線の交差(直交)する位置の決定は指向線に対して最も
大きな量の位置を検出することにより決定され,これは
親指のすぐ下の掌の厚い部分に対応している。
【0025】各々の検索は手の指の向きの方向に向かう
傾向を示す。検索はエッジ領域を横切ることができな
い。浅いローカルミニマムを回避するため,検索は,
8,ステップ44〜図9,ステップ55に示したよう
に,指の先端に向かってバイアスされたランダム方向性
決定メカニズムによって与えられる。各々の検索はある
ピクセルについてある容量のプログラム処理ステップを
有しており,表1〜表4に示すように,全部で400ス
テップが許容されている。経路決定メカニズムのランダ
ム性により,浅いローカルミニマムが容易に回避できる
が,指の先端は罠(トラップ)のようである。
【0026】方向性決定メカニズムについて,図8およ
び図9に加えて図3および図4を参照して述べる。各々
の所定のプログラム処理ステップについて,角度αが所
定の確率分布を有する乱数発生器によってある角度につ
いて決定され,上下左右のピクセルのうちの次に入るべ
きピクセルが決定される。もし次のピクセルがエッジピ
クセルの場合,検索はそのステップの間初期ピクセル位
置に残る。
【0027】乱数発生器は0から1の範囲で均一な確率
分布を有する乱数を発生する(図8,ステップS4
5)。図4に示すように,この確率分布を所望の確率分
布関数PDFに変換するため,その所望のPDFに関す
る累積分布関数CDFが決定される。もしuxが均一な
乱数変数で,F(x)が所望のPDFのCDFである場
合,dx=F-1(ux)が所望のPDFについての乱数
変数である。ステップS45で求められたdxに2πが
乗ぜられ(図8,ステップ46),図3に基づいて新
しい角度が得られ(図8,ステップS47),図4に基
づいて新しいピクセルが算出される(ステップS
)。確率分布関数PDFの選択は指の向きの方向を強
調するように行われる。この場合,簡単な確率分布が図
4に示すように試みられた。確率分布に有限な数が存在
し,その確率分布の選択が検索の性能を向上させるか,
あるいは後退させる。
【0028】全ての検索が終了した後,クラスタリング
ユニット10において,「K手段(K−Means )」アル
ゴリズムなどのクラスタリングアルゴリズムが用いら
れ,5本の指の先端に対応して5つのクラスタが存在す
るという事実に基づいて検索要素の位置がクラスタされ
る。これらのクラスタ位置は指の先端の位置を決定す
る。なおクラスタとは画像処理データの固まりを意味す
る。
【0029】「K手段」アルゴリズムの実施について図
10に示すフローチャートを参照して述べる。 ステップS61:任意に初期の5個のクラスタ位置
(群)z1,z2,z3,z4,z5を選択する。ここ
で,ziはi番目のクラスタの位置である。 ステップS62,S63:各々の検索の終わりのピクセ
ルを少なくともユークリッド距離に基づいて,最短の距
離にあるものを同じクラスタ位置にあるものとしてクラ
スタ位置に割りつける。 ステップS64〜S66:クラスタに対して割りつけら
れたピクセルの全ての中心を計算することにより新しい
クラスタ位置を決定する。 ステップS67:もしあるクラスタ位置が変化したら,
ステップS63に戻る。 ステップS68:手についての試験的な画像が用いら
れ,アルゴリズムが指の先端の位置の決定を可能にす
る。
【0030】上述したように異なる確率分布関数PDF
の使用は検索の性能を驚く程変化させ,動作時間を向上
させ(短縮し),そして,適切な大きさのプログラム処
理ステップがスケール空間技法の使用を実施可能とす
る。ハフ変換における雑音の効果は比較的小さいが,背
景エッジは信号前処理によって除去すべきである。もし
S/N比が高い場合,検索の対象となる確率分布関数P
DFはバックトラッキングの程度を大きくすることを許
容するように変更されるべきである。この形式のインタ
ーフェースの有利な点は,手動式入力装置を容易に使用
するために要求される巧妙な操作をユーザーが必要とし
ないことである。さらに,手の移動によって伝達される
情報の量が非常に多いので,この種のインターフェース
は広範囲の用途に使用できることである。
【0031】上述した本発明に基づく方法と装置は手の
寸法と手の形状に制限されないから,誰でも容易にこの
方法と装置を操作することができる。以上に述べたよう
に,本発明の画像信号処理方法の第1の実施態様によれ
ば,直接的な入力インターフェース装置として使用され
る人間の手の指を,容易に正しくそして高速に検出する
方法およびその装置が提供される。
【0032】上述した人間の手の指を検出する方法は,
特定的な例として,対象物体を人間の手の指を例示した
が,上述した人間の手の指を検出する方法をより一般的
な対象物体,たとえば,産業用ロボットのハンドなどに
適用することができる。
【0033】本発明の画像信号処理方法およびその装置
の第2実施態様として,2次元画像データから3次元形
状復元を行うる三次元形状復元方法とその装置について
述べる。図11は三次元形状復元装置の構成図である。
三次元形状復元装置は,2次元画像データ入力手段10
1,特徴抽出手段103および3次元形状復元処理手段
105を有している。2次元画像データ入力手段101
はたとえば,CCDビデオカメラで実現でき,特徴抽出
手段103および3次元形状復元処理手段105はコン
ピュータシステムで実現できる。
【0034】図12は図11に示した三次元形状復元装
置の各部の基本動作を示すフローチャートである。 ステップS101:2次元画像データ入力手段101
は,たとえば,対象物体を2次元状態において撮像する
CCDビデオカメラであり,このビデオカメラにおいて
撮像された対象物体の2次元状画像データが特徴抽出手
段103に印加される。 ステップS102:特徴抽出手段103はビデオカメラ
から入力された2次元画像データから特徴抽出を行い,
特徴点の2次元座標を出力する。特徴抽出方法としては
従来から知られている種々の方法を適用することができ
る。そのような特徴抽出方法としては,たとえば,対象
物体の特徴点にあらかじめ付けられたマーカーの色を検
出して判別するこにより特徴点の座標を検出する方法,
対象物体のエッジを検出して局所的な形状で判別するこ
とにより特徴点の座標を検出する方法などがあり,本発
明の特徴抽出手段103においても,これらのいずれか
を使用する。好適には,上記対象物体の特徴を抽出する
方法をこの三次元形状復元装置に適用する。これについ
ては後述する。
【0035】特徴抽出手段103において抽出された特
徴点の2次元座標は3次元形状復元処理手段105に印
加される。 ステップS103:3次元形状復元処理手段105にお
いては,特徴抽出手段103からの特徴抽出点の2次元
座標を用いて,対象物体の力学方程式(力学的モデル)
をもとにしてその対象物体の3次元形状を復元する。上
述したように,本発明の画像処理装置においては,対象
物体の力学的拘束をバネモデルで表し,対象物体を撮像
した2次元画像の特徴点から対象物体の力学方程式を解
いて対象物体の3次元形状を復元する。
【0036】図13は上述した本発明の三次元形状復元
装置の処理動作のより詳細な処理内容,特に,3次元形
状復元処理手段105における3次元形状復元処理方法
の第1の形態の動作フローチャートである。図14は図
13における3次元形状復元処理対象である対象物体の
具体例として,コンピュータシステムにおけるマン・マ
シン・インターフェース手段としての人間の掌と指の画
像データとその特徴抽出結果を示した図である。図13
におけるステップS111およびS112の動作内容は
図12を用いた述べたステップS101およびS102
の動作と同様である。ステップS113〜S116に示
す動作が3次元形状復元処理手段105における詳細動
作を示す。
【0037】図13に示したステップS113に示す処
理動作以降の3次元形状復元処理内容について述べる。
まず,対象物体についての力学方程式の一般論について
述べる。一般に対象物体の力学方程式は下記式5で表さ
れる。
【数5】 ただし,記号Fは力であり,記号Mは質量であり,記号
Cはダンピング(摩擦)係数であり,記号Kはステッフ
ネス(固さ)であり,記号Uはノード位置を示す。
【0038】ノード位置Uの頭上に付けられている
(・)は1階微分を示し,(・・)は2階微分を示す。
ただし,本明細書の記述においては電子出願制度におけ
る表記方法の制限から,ノード位置Uの1階微分をU
(.) ,2階微分をU(..)として示す。他の場合も同様で
ある。ノード位置Uは,各ノードについて3次元座標系
におけるX,Y,Z成分を並べたベクトルU=〔Ux,U
y,Uz 〕であり,ノード数をnとすれば下記式6に示す
ように3n個の成分を持つ。
【数6】 ただし,本明細書の記述においては,ベクトルUの表記
についても,電子出願制度における表記方法の制限か
ら,通常の表記方法である太線または頭に矢印をつけた
表現にしていない。他の場合も同様である。
【0039】ノード位置Uには仮想的な質量Mが与えら
れ,また系を安定するため摩擦(ダンピング)係数Cが
与えられる。たとえば,図14に図解したように,掌お
よび指などの関節部分を3次元空間におけるノード位置
Uとして,指の骨の部分をバネKとして表している。質
量M,ダンピング係数C,ステッフネスKはそれぞれ,
3nx3nのマトリクスで表現される。これら3nx3
nのマトリクスで表現される質量マトリクスMの1つの
M1,ダンピング係数マトリクスCの1つのC1および
ステッフネスマトリクスKの1つのK1を下記式7〜式
9に示す。
【数7】
【数8】
【数9】
【0040】本実施例においては上記式1に示した力F
として,力ベクトルFi と力ベクトルFk を導入する。
非線形的内力ベクトルFk はノードの相対的位置により
規定される量であり,非線形な値を示す。この非線形的
内力ベクトルFk は対象物体のバネモデルだけでは表さ
れない非線形的な動き(変形)を癖を表現するものであ
り,「変形のしかたの知識」ともいえるものである。力
ベクトルFi は特徴抽出手段103において抽出した2
次元特徴抽出座標から求めた外力ベクトルFi を示す。
式5を非線形的内力ベクトルFk と2次元特徴抽出座標
から求めた外力ベクトルFi を用いて変形すると式10
が得られる。
【数10】
【0041】3次元形状復元処理手段105の動作内容
を図13を参照して述べる。 ステップS113:3次元形状復元処理手段105は特
徴抽出手段103において特徴抽出した2次元特徴抽出
座標を入力する。 ステップS114:3次元形状復元処理手段105は入
力した2次元特徴抽出座標と対象物体の力学モデル内の
対応する点との間に働くX,Y座標内,すなわち,2次
元空間内の上記2次元特徴抽出座標から求めた外力ベク
トルFi を計算して決定する。この2次元特徴抽出座標
から求めた外力ベクトルFi は,一般的に奥行成分を持
たないX,Y平面と平行な面の上に置かれたバネのよう
な力を意味しており,各特徴点に対応するノードその間
にバネをおくモデルとして表現される。 ステップS115:本実施例においては,2次元特徴抽
出座標から求めた外力ベクトルFi を加えて対象物体の
モデルを変形して,式10に示した力学方程式を解く。
通常,式10の力学方程式を解く場合,コンピュータを
用いた周知の数値計算による収束計算を行う。 ステップS116:式10を収束計算によって解く場
合,計算の反復回数,ノード位置Uの前回の結果との偏
差などを考慮して適切な条件において,収束計算を打切
り,得られたノード位置Uを出力する。ステップS11
7:オンライン実時間処理を想定した場合,たとえば,
2次元画像データ入力手段101としてのビデオカメラ
から連続ビデオフレームで動画像データが特徴抽出手段
103に入力されその特徴抽出が行われる,3次元形状
復元処理手段105においてその時の3次元形状復元を
行うとき,上述した処理を繰り返す。その結果として,
3次元形状復元処理手段105からは連続したビデオフ
レームに対応して連続的にノード位置Uが出力される。
【0042】図14に示したように人間の掌および指な
どのように動画像として撮像される対象物体を扱った場
合,画像信号処理における各ビデオフレームにおいて微
分方程式としての式10に示した力学方程式を解くと
き,ノード位置Uの初期値として前ビデオフレームでも
求めたノード位置U用いることができるので,前後のビ
デオフレーム間であまりノード位置が変わらない場合,
式10の収束計算を速めることができる。かりに式10
に示す力学方程式の解が複数存在しても前フレームの解
と近い解が選ばれるので正しい解が得られる。いくつか
の特徴点が隠れて特徴抽出手段3における特徴抽出情報
に欠落があったり,ノイズ等の原因で中に誤った情報が
混入した場合でも,この力学系は力学モデルのエネルギ
ー状態が安定な所へたどり着こうとするので,最もらし
い解が出力されるという利点がある。
【0043】図14は人間の掌および指をビデオカメラ
で撮像し,特徴抽出手段3において2次元特徴抽出点を
抽出し,その結果から3次元形状復元処理手段105に
おいて3次元形状を復元した結果を概略的に示す図であ
る。特徴抽出手段103における特徴抽出のため,掌の
底部,指先(爪)の先端に,たとえば,赤のマークをつ
けた。
【0044】三次元形状復元方法とその装置の第1実施
例としては,上述したように,対象物体を力学的モデル
で表し,対象物体をビデオカメラなどの2次元画像デー
タ入力手段101で撮像し,2次元画像データを特徴抽
出手段103において特徴抽出してその特徴抽出点を3
次元形状復元処理手段105に入力し,3次元形状復元
処理手段105において,入力された2次元特徴情報を
計算上で力をしてそのモデルに作用させる。その結果,
特徴情報量が少ない場合でも,対象物体の系が安定であ
ればその3次元形状を復元することができる。また特徴
情報がはっきり取れない場合や,中に誤った情報が混入
した場合でも,他の正しい特徴情報や力学モデルからの
拘束により誤った情報の影響は自動的に軽減されてつじ
つまの合う解が得られるから,原理的に,時間のかかる
探索動作を用いない復元手法である。その結果,従来技
術において問題となっている組み合わせ的計算量の莫大
さに依存しない。さらに本実施例によれば,複数のビデ
オカメラを用いることなく1台のビデオカメラのみでも
奥行き情報を再現することが可能である。
【0045】本発明の三次元形状復元方法とその装置の
第2実施例について述べる。第2実施例は上述した第1
実施例における計算時間をさらに短縮させるものであ
る。第1実施例においては,3次元形状復元における力
学モデルで使用されるノード数の3倍の連立して力学方
程式(微分方程式)を解く必要があり,依然として計算
量が多いという難点がある。かかる問題を解決する方法
として,力学モデルにおけるバネマトリクスを固有値分
解し,振動のモードごとに独立して計算し,連立方程式
を解かず解を得る周知の方法を適用することも考えられ
る。しかしながらこの周知の方法は対象物体が大きく変
形(移動)する場合はバネマトリクスも大きく変わって
しまい,逐次固有値分解をする必要が生ずる。この計算
量がむしろ無視できなくなり,結果的に,たとえば,人
間の掌と指,あるいは,産業用ロボットのハンドなど比
較的動きのある変形する対象物体に適用することは好ま
しくないことが判った。
【0046】かかる観点から第2実施例においては,対
象物体の3次元力学モデルをそれぞれ変形の少ない部分
領域に分割することにより,モードごとの計算を可能に
して,計算時間の短縮を図ること目的としている。図1
5は第2の例示に適用する対象物体の一部を複数の分割
領域に区分(分割)することを示す図である。
【0047】図16に三次元形状復元についての第2実
施例の装置の動作処理のフローチャートを示す。第2実
施例においても三次元形状復元装置の構成は図11に示
したと同じ構成となる。2次元画像データ入力手段10
1における撮像処理(ステップS121)および特徴抽
出手段103における特徴抽出処理(ステップS12
2)は図13に示した処理と同様である。3次元形状復
元処理手段105におけるステップS123〜S128
で示される処理内容が第1の例示とは異なる。
【0048】以下,第2実施例の3次元形状復元動作に
ついて述べる。3次元形状復元処理手段105において
は,基本的には,式5で示した力学方程式を解く。Fは
対象物体のモデルに加わる力ベクトルであり,上述した
ように,非線形的内力ベクトルFk および2次元特徴抽
出座標から求めた外力ベクトルFi を含む力ベクトルで
ある。したがって,本実施例においても式10を解くこ
とになる。ただし,その解法は上述したように,第1実
施例とは異なる。対象物体がたとえば,図15に示した
ように,人体,手などにおける形状が変化しない脚部,
腕,指などの部分領域が関節などで結合されているもの
と考えることができる。このような仮定をおく場合,バ
ネマトリクスKにおける各分割領域をm個の独立なブロ
ック行列K1,K2,・・・,Kmで表し,これらのブ
ロック行列を結合する関節に相当するバネ結合力をFj
として,式1の右辺の力ベクトルFに移項する。
【0049】式5の項(KU)を式11に示すように表
す。
【数11】 ただし,式11のKb は式12のブロック行列で表され
る。
【数12】 その結果,式5は式13で表される。
【数13】
【0050】式13について固有値分解を行い,周知の
方法により,質量マトリクスM,ダンピング係数マトリ
クスC,ステッフネスマトリクスKbをそれぞれ,M
(<) ,C(<) ,Kb(<) に対角化するようを行列Pを求
めれば,式13を式14に書き換えることができる。な
お,本明細書においては電子出願制度における表記上の
制限から,対角化した質量マトリクスMを示すMの上の
山形表記をM(<) における(<) として示す。その他につ
いても同様である。
【数14】 ここで,M(<) ,C(<) ,Kb (<) ,U(<) ,F(<)
よびFj (<) は下記式で示される。
【数15】 ただし,PT は行列Pの転置行列を示す。
【0051】対象物体があまり変形しない場合はステッ
フネスマトリクスKはあまり変化せず,同じ行列Pで対
角化可能であるが,時間とともに対象物体が大きく変化
する場合は逐次固有値分解をし直して新しい行列Pを求
める必要がある。そこで,各分割領域におけるブロック
行列Kiは一定で,それぞれAiだけ回転し,また,質
量マトリクスM,ダンピング係数マトリクスCが定数行
列とすると,式16で示すことができる。
【数16】 回転変形後のステッフネスマトリクスKb は式17で表
される。
【数17】 変形後の力学方程式としては式18として表すことがで
きる。
【数18】
【0052】回転マトリクスAはユニタリ行列であるか
ら,式18は式19に書き改めることができる。
【数19】 質量マトリクスMおよびダンピング係数マトリクスCは
定数行列であるから,式19は式20として表すことが
できる。
【数20】 ただし,U(<)',F(<) ’およびFj (<)'は下記式21
で表される。
【数21】 式20は対角化されているので,もはや連立方程式では
なく収束計算をすることなく,変形を伴う対象物体に対
するノード位置Uを高速に求めることができる。
【0053】図16におけるステップS123〜ステッ
プS128の処理動作は3次元形状復元処理手段105
における上述した演算処理を示す。 ステップS123:3次元形状復元処理手段105は特
徴抽出手段103からの特徴抽出座標を入力する。 ステップS124:3次元形状復元処理手段105は式
16に示したユニタリ行列Aを求める。 ステップS125:3次元形状復元処理手段105は特
徴点から働く力などのよる力ベクトルFと,各分割領域
を結合する力Fjを求める。 ステップS126:3次元形状復元処理手段105は式
21に示した転置行列PT を用いて変換処理を行う。 ステップS127:3次元形状復元処理手段105は式
20の力学方程式を解く。式20の力学方程式は対角化
されているので,もはや連立方程式ではなく,収束計算
をすることなく高速に解くことができることに留意され
たい。 ステップS128:3次元形状復元処理手段105は求
められたU(<) からノード位置Uを変換し,求められた
ノード位置Uを出力する。 ステップS129:次のフレームについて上記動作を反
復する。
【0054】以上のように,三次元形状復元についての
第2実施例においては,対象物体をあまり変形しない部
分に分割して作ったステッフネスマトリクスKb を予め
固有値分解して固有行列Pを求めておき,各分割領域の
初期状態からのずれを計算される回転マトリクスAを用
いてF(<) ’およびFj (<)'を計算し,式20を解くこ
とにより,ノード位置U’を求め,このノード位置U’
と固有行列Pおよび回転マトリクスAからノード位置U
を求める。固有行列Pおよび鑑定マトリクスAで力ベク
トルFおよびFj,ノード位置UをそれぞれF(<) ,F
j (<) ,U(<) に変換する必要があるが,式5で表され
る連立方程式をそのまま解く手法に比較して計算量は少
なくなり,高速な処理が可能となる。つまり,三次元形
状復元についての第2実施例においては,対象物体の3
次元モデルを変形の少ない部分領域に分割し,各分割領
域ではバネマトリクスが変化しないと仮定してモードご
との計算を可能とし,各分割領域を結合するバネによる
力については逐次計算を行い,全体として3次元形状復
元計算時間を短縮する。
【0055】本発明の三次元形状復元装置を実施するに
際しては,上述した特徴抽出手段103および3次元形
状復元処理手段105の動作処理の他,他の処理を適用
することができる。たとえば,上述した実施例において
は,2次元画像データ入力手段101における撮像デー
タを2次元情報について例示したが,距離画像データな
どを入力する場合でも,上記実施例と同様に処理するこ
とができる。
【0056】図17は本発明の三次元形状復元装置の特
定的な適用例として,マン・マシン・インターフェース
手段としての人間の掌と指を対象物体として用いること
を想定した場合の3次元形状復元処理動作を示すフロー
チャートである。図18は図17に示す3次元形状復元
処理を行うに際して,予め,掌と指の諸態様を分析した
結果を示す図である。図18(A)は掌と指を開いたと
きの撮像データから特徴抽出した結果を示す。左側は表
面特徴抽出図,右側は側面特徴抽出図である。以下,図
18(B)から図18(D)に向かって順次,小指,薬
指,中指,人指指を折り曲げていったときの正面図と側
面図を示す。
【0057】図17に示したフローチャートを参照し
て,3次元形状復元処理手段105の動作処理を述べ
る。 ステップS131:3次元形状復元処理手段105は特
徴抽出手段103から現在の特徴点を入力する。 ステップS132:3次元形状復元処理手段105は画
像特徴点と対応する点との間のX,Y面における力ベク
トルを計算する。 ステップS133:3次元形状復元処理手段105は
X,Yバネ力Fi を決定し,適切な力マトリクスに加え
る。 ステップS134:3次元形状復元処理手段105はセ
グメント間の結合力を決定し,適切な力マトリクスに加
える。 ステップS135:手のモデルが不自然な場合,3次元
形状復元処理手段105において「手の知識の力」を適
切な力マトリクスに加える。 ステップS136:3次元形状復元処理手段5は各セグ
メントについて行列Pと回転マトリクスAを計算する。 ステップS137:3次元形状復元処理手段105は各
セグメントについて行列Pと回転マトリクスAを用いて
力学方程式を式20に示すクローズ形式の力学方程式に
変換する。 ステップS138:3次元形状復元処理手段105は各
Ui(<について微分(差分)時間δtを用いて簡単な線
形差分方程式を解く。 ステップS139:3次元形状復元処理手段105はノ
ード位置マトリクスU(<) からノード位置マトリクスU
を決定し,指の各関節位置を更新する。 ステップS140:3次元形状復元処理手段105は以
上の処理を手のモデルと画像とが一致するまで反復す
る。
【0058】図19および図20は上述した演算処理結
果を示す図である。図19(A)は対象物体としての手
の形状として指をやや曲げた状態の2次元画像データ入
力手段101による撮像結果である。図19(B)〜図
19(D)は図19(A)に示した撮像結果を特徴抽出
手段103および3次元形状復元処理手段105を介し
て3次元形状復元したそれぞれ上部からみた図,正面図
および側面図を示す。図20(A)は対象物体としての
手の形状として中指を曲げ,人指指の先端をやや曲げ,
薬指もやや曲げ,小指の先端を若干曲げた時の2次元画
像データ入力手段101による撮像結果である。図20
(B)〜図20(D)は図20(A)に示した撮像結果
を特徴抽出手段103および3次元形状復元処理手段1
05を介して3次元形状復元したそれそれ上部からみた
図,正面図および側面図を示す。図19および図20の
図解から明らかなように,先ず,ビデオカメラなどの2
次元画像データ入力手段101で撮像した2次元画像デ
ータから3次元形状が復元されていることが判る。図1
9(B)〜図19(D)と図20(B)〜図20(D)
とは復元データとして明らかに異なっており,この手の
動きの差異を利用して,人間の手をマン・マシン・イン
ターフェース手段として用いることができる。
【0059】本発明の三次元形状復元装置は人間の手な
どに限らず,対象物体として,たとえば,産業用ロボッ
トのハンドとその把持状態などの認識における3次元形
状復元に使用することができる。
【0060】図11に示した特徴抽出手段3と3次元形
状復元処理手段105とは機能的に異なるために分離し
て構成して示したが,通常,特徴抽出手段103および
3次元形状復元処理手段105はコンピュータを用いて
実現するから,同じコンピュータに一体化することがで
きる。勿論,特徴抽出手段103と3次元形状復元処理
手段105とを異なるマイクロコンピュータなどで分散
処理させることもできる。
【0061】以上述べたように,本発明の三次元形状復
元方法とその装置によれば,力学方程式に変形力を加え
ることにより,対象物体についての2次元画像データか
ら3次元形状を復元することができる。また本発明の三
次元形状復元方法とその装置によれば,対象物体のうち
変形が少ないか変形しない部分を分割して処理すること
により,高速に対象物体についての2次元画像データか
らの3次元形状復元が可能になる。
【0062】図21は本発明の三次元形状復元装置の構
成図である。この三次元形状復元装置は,図11示した
三次元形状復元装置に対して,特徴抽出手段103を図
1に示した人間の手の指を検出する装置を特徴点抽出手
段103Aとして組み込んだものである。この三次元形
状復元装置は,特徴抽出手段103Aを用いて人間の手
の特徴点を抽出し,この特徴点を用いて人間の手の三次
元形状を復元するに好適な装置である。図21における
個々の構成要素とよびその動作は上述したものと同様で
あるから,その詳細な記述は割愛する。
【0063】なお,図21に図解した三次元形状復元装
置を人間の手の三次元形状復元だけでなく,たとえば,
産業用ロボットのハンドはもとより,その他の対象物体
に適用することができる。
【0064】図22は人間の手の指の検出と,人間の手
の三次元形状の復元とを同時的に行う画像信号処理装置
の構成図である。ビデオカメラ2などの2次元画像デー
タ入力手段101が人間の手を撮像する。この撮像デー
タは2次元ピクセルデータとしてエッジ検出ユニット4
および特徴抽出手段103に印加され,それぞれ,並列
的に,人間の手の指の検出,および,人間の手の三次元
形状復元が行われる。エッジ検出ユニット4,ハフ変換
計算ユニット6,可能性検索ユニット8,および,クラ
スタリングユニット10からなる特徴抽出手段103A
の出力結果を特徴点抽出結果として,特徴抽出手段10
3に使用することもできる。もちろん,図22に図解し
た画像信号処理装置を人間の手以外の対象物体に適用す
ることができる。
【0065】上述した人間の手の指を検出する方法とそ
の装置,三次元形状復元方法とその装置は例示であり,
本発明は上述した例示に限定されない。つまり,本発明
の種々の広範囲な異なる実施態様が本発明の技術的思想
および本発明の範囲を逸脱することなく構成することが
でき,本発明が上述した特定的な実施例に制限されない
ことは容易に理解されよう。
【0066】
【発明の効果】上述したように,本発明によれば,迅速
かつ正確に人間の手の指を検出することができる。この
人間の手の指を検出する方法は一般的な対象物体の検出
に適用できる。また本発明によれば,2次元画像データ
から3次元形状を復元することができる。特に,本発明
の三次元形状復元は実時間処理に適用可能な迅速性と正
確さを示す。
【図面の簡単な説明】
【図1】本発明に基づく人間の手の指を検出する画像処
理装置のブロック図である。
【図2】本発明の手の向きを決定すること,および,指
の先端を検索するときの指の向きと検索開始線との関係
を説明するための手の拡大図である。
【図3】本発明の人間の手の深いローカルミニマムを発
見するための方向検出メカニズムを示す図である。
【図4】本発明の確率分布関数と伝達関数との関係を示
す特性図である。
【図5】本発明の画像入力処理およびエッジ検出処理を
示すフローチャートである。
【図6】本発明のハフ変換処理の一部の処理を示すフロ
ーチャートである。
【図7】本発明のハフ変換処理の残りの処理を示す部分
フローチャートである。
【図8】本発明の可能性検索処理の一部の処理を示すフ
ローチャートである。
【図9】本発明の可能性検索処理の残りの処理を示すフ
ローチャートである。
【図10】本発明のクラスタリング処理を示すフローチ
ャートである。
【図11】本発明の三次元形状復元装置の実施例構成を
示す図である。
【図12】図11に示した三次元形状復元装置の基本動
作処理を示すフローチャートである。
【図13】図11に示した三次元形状復元装置の第1実
施例の処理を示すフローチャートである。
【図14】図13における処理に適用する対象とする物
体の1例としての人間の掌と指との動きを示す図であ
る。
【図15】本発明の三次元形状復元装置における対象物
体の変形の少ない部分を部分領域に分割することを説明
する図である。
【図16】図11に示した三次元形状復元装置の第2実
施例の処理を示すフローチャートである。
【図17】図11に示した三次元形状復元装置の特定的
な例示として,対象物体を人間の掌と指にした場合の本
発明の三次元形状復元装置における画像処理方法を説明
するフローチャートである。
【図18】図17における処理に用いた人間の掌と指の
特徴抽出モデル図である。
【図19】図17に示した三次元形状復元装置の実施例
に基づく第1の結果を示す図である。
【図20】図17に示した三次元形状復元装置の実施例
に基づく第2の結果を示す図である。
【図21】本発明の他の三次元形状復元装置の構成図で
ある。
【図22】本発明の人間の手の指を検出する装置と三次
元形状復元装置の構成図である。
【符号の説明】
2・・ビデオカメラ 4・・エッジ検出ユニット 6・・ハフ変換計算ユニット 8・・可能性検索ユニット 10・・クラスタリングユニット 12・・人間の手 101・・2次元画像データ入力手段 103・・特徴抽出手段 105・・3次元形状復元処理手段
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06T 1/00 G06F 3/033

Claims (14)

    (57)【特許請求の範囲】
  1. 【請求項1】人間の手を読み取り,二次元直交座標空間
    における2次元ピクセルデータ形態の画像データとして
    出力する段階, 上記ピクセルデータ形態の画像データから上記手の輪郭
    を示すエッジを検出する段階, 上記検出されたエッジのイメージラインをパラメータ空
    間にパラメータ変換するに際し,上記二次元直交座標空
    間の2次元ピクセルデータがイメージラインの上に位置
    するエッジを示すピクセルの場合,該ピクセルの座標に
    対応する上記パラメータ空間上の座標の計数値に1を加
    算することにより上記パラメータ変換を行い,上記各座
    標の計数値の大きさから手の指を示すラインを決定し,
    上記二次元直交座標空間において上記手の指を示すライ
    ンの表現式を求め,上記表現式中の係数から上記二次元
    直交座標空間における指の向きを決定する段階, 該決定された向きに沿って指の先端に対応する深いロー
    カルミニマムを検索する段階,および, 上記指の先端を規定する端点をクラスタリングする段階
    を有する人間の手の指を検出する方法。
  2. 【請求項2】上記エッジを検出する段階が, 各々がグレーレベルを示す上記ピクセル形態の画像デー
    タの2次元方向の傾きを計算する段階, 上記計算した傾きの絶対値をしきい値レベルと比較する
    段階,および, 上記計算された絶対値が上記しきい値レベルよりも大き
    いときエッジとして決定する段階を有する請求項1記載
    の人間の手の指を検出する方法。
  3. 【請求項3】上記指の向きを決定する段階が, 上記検出されたエッジのイメージラインをパラメータ空
    間にパラメータ変換するに際し,上記二次元直交座標空
    間の2次元ピクセルデータがイメージラインの 上に位置
    するエッジを示すピクセルの場合,該ピクセルの座標に
    対応する上記パラメータ空間上の座標の計数値に1を加
    算することにより上記パラメータ変換を行う段階, 上記各座標の計数値の大きさから上記指の輪郭を示すベ
    ストラインを選択する段階,上記二次元直交座標空間において上記指の輪郭を示すベ
    ストラインの表現式を求める段階該求めた表現式の係数の平均値から二次元直交座標空間
    における指の向きを決定する段階 を有する請求項1記載
    の人間の手の指を検出する方法。
  4. 【請求項4】上記パラメータ変換,エッジピクセル積算
    および向き決定段階が,ハフ変換処理を行う段階を含む
    請求項3記載の人間の手の指を検出する方法。
  5. 【請求項5】上記深いローカルミニマムを検索する段階
    が, ランダム方向決定メカニズムによって各方角からローカ
    ルミニマムを検索し,上記指の先端に対応する深いロー
    カルミニマムを決定する段階を有する請求項1記載の人
    間の手の指を検出する方法。
  6. 【請求項6】上記クラスタリング段階が, 少なくともユークリッド距離に基づいて各検索の端点ピ
    クセルをクラスタ位置に割りつける段階,および, 上記クラスタへ割りつけられたピクセルの全ての中心を
    計算することにより新しいクラスタ位置を決定する段階
    を有する請求項1記載の人間の手の指を検出する方法。
  7. 【請求項7】人間の手を読み取り,二次元直交座標空間
    における2次元ピクセルデータ形態の画像データとして
    出力する手段, 上記ピクセルデータ形態の画像データから上記手の輪郭
    を示すエッジを検出する手段, 上記検出されたエッジのイメージラインをパラメータ空
    間にパラメータ変換するに際し,上記二次元直交座標空
    間の2次元ピクセルデータがイメージラインの上に位置
    するエッジを示すピクセルの場合,該ピクセルの座標に
    対応する上記パラメータ空間上の座標の計数値に1を加
    算することにより上記パラメータ変換を行い,上記各座
    標の計数値の大きさから手の指を示すラインを決定し,
    上記二次元直交座標空間において上記手の指を示すライ
    ンの表現式を求め,上記表現式中の係数から上記二次元
    直交座標空間における指の向きを決定する手段, 該決定された向きに沿って指の先端に対応する深いロー
    カルミニマムを検索する手段,および, 上記指の先端を規定する端点をクラスタリングする手段
    を有する人間の手の指を検出する装置。
  8. 【請求項8】上記エッジを検出する手段が, 各々がグレーレベルを示す上記ピクセル形態の画像デー
    タの2次元方向の傾きを計算する手段, 上記計算した傾きの絶対値をしきい値レベルと比較する
    手段,および, 上記計算された絶対値が上記しきい値レベルよりも大き
    いときエッジとして決定する手段を有する請求項7記載
    の人間の手の指を検出する装置。
  9. 【請求項9】上記指の向きを決定する手段が, 上記検出されたエッジのイメージラインをパラメータ空
    間にパラメータ変換するに際し,上記二次元直交座標空
    間の2次元ピクセルデータがイメージラインの上に位置
    するエッジを示すピクセルの場合,該ピクセルの座標に
    対応する上記パラメータ空間上の座標の計数値に1を加
    算することにより上記パラメータ変換を行う手段, 上記各座標の計数値の大きさから上記指の輪郭を示すベ
    ストラインを選択する手段,上記二次元直交座標空間において上記指の輪郭を示すベ
    ストラインの表現式を求める手段該求めた表現式の係数の平均値から二次元直交座標空間
    における指の向きを決定する手段 を有する請求項7記載
    の人間の手の指を検出する装置。
  10. 【請求項10】上記指の向きを決定する手段が,ハフ変
    換処理を行う請求項9記載の人間の手の指を検出する装
    置。
  11. 【請求項11】上記深いローカルミニマムを検索する手
    段が, ランダム方向決定メカニズムによって各方角からローカ
    ルミニマムを検索し,上記指の先端に対応する深いロー
    カルミニマムを決定する手段を有する請求項9記載の人
    間の手の指を検出する装置。
  12. 【請求項12】上記クラスタリング手段が, 少なくともユークリッド距離に基づいて各検索の端点ピ
    クセルをクラスタ位置に割りつける手段,および, 上記クラスタへ割りつけられたピクセルの全ての中心を
    計算することにより新しいクラスタ位置を決定する手段
    を有する請求項9記載の人間の手の指を検出する装置。
  13. 【請求項13】対象物を撮像し,二次元直交座標空間に
    おける2次元ピクセルデータ形態の画像データとして出
    力する段階, 上記ピクセルデータ形態の画像データから上記対象物の
    輪郭を示すエッジを検出する段階, 上記検出されたエッジのイメージラインをパラメータ空
    間にパラメータ変換するに際し,上記二次元直交座標空
    間の2次元ピクセルデータがイメージラインの上に位置
    するエッジを示すピクセルの場合,該ピクセルの座標に
    対応する上記パ ラメータ空間上の座標の計数値に1を加
    算することにより上記パラメータ変換を行い,上記各座
    標の計数値の大きさから手の指を示すラインを決定し,
    上記二次元直交座標空間において上記手の指を示すライ
    ンの表現式を求め,上記表現式中の係数から上記二次元
    直交座標空間における上記対象物の向きを決定する段
    階, 該決定された向きに沿って上記対象物の先端に対応する
    深いローカルミニマムを検索する段階,および, 上記対象物の先端を規定する端点をクラスタリングする
    段階を有する対象物体の特徴を抽出する方法。
  14. 【請求項14】対象物を撮像し,二次元直交座標空間に
    おける2次元ピクセルデータ形態の画像データとして出
    力する手段, 上記ピクセルデータ形態の画像データから上記対象物の
    輪郭を示すエッジを検出する手段, 上記検出されたエッジのイメージラインをパラメータ空
    間にパラメータ変換するに際し,上記二次元直交座標空
    間の2次元ピクセルデータがイメージラインの上に位置
    するエッジを示すピクセルの場合,該ピクセルの座標に
    対応する上記パラメータ空間上の座標の計数値に1を加
    算することにより上記パラメータ変換を行い,上記各座
    標の計数値の大きさから手の指を示すラインを決定し,
    上記二次元直交座標空間において上記手の指を示すライ
    ンの表現式を求め,上記表現式中の係数から上記二次元
    直交座標空間における上記対象物の向きを決定する手
    段, 該決定された向きに沿って上記対象物の先端に対応する
    深いローカルミニマムを検索する手段,および, 上記対象物の先端を規定する端点をクラスタリングする
    手段を有する対象物体の特徴を抽出する装置。
JP13429292A 1991-05-24 1992-04-27 画像信号処理方法とその装置 Expired - Fee Related JP3182876B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13429292A JP3182876B2 (ja) 1991-05-24 1992-04-27 画像信号処理方法とその装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP14978491 1991-05-24
JP3-149784 1991-05-24
JP21152491 1991-07-29
JP3-211524 1991-07-29
JP4-97244 1992-03-24
JP9724492 1992-03-24
JP13429292A JP3182876B2 (ja) 1991-05-24 1992-04-27 画像信号処理方法とその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000331312A Division JP2001188897A (ja) 1991-05-24 2000-10-30 三次元形状復元方法とその装置

Publications (2)

Publication Number Publication Date
JPH0620055A JPH0620055A (ja) 1994-01-28
JP3182876B2 true JP3182876B2 (ja) 2001-07-03

Family

ID=27468526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13429292A Expired - Fee Related JP3182876B2 (ja) 1991-05-24 1992-04-27 画像信号処理方法とその装置

Country Status (1)

Country Link
JP (1) JP3182876B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JP2008250774A (ja) * 2007-03-30 2008-10-16 Denso Corp 情報機器操作装置
JP5077956B2 (ja) 2008-04-23 2012-11-21 Kddi株式会社 情報端末装置
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
CN109224291B (zh) * 2017-12-29 2021-03-02 深圳硅基仿生科技有限公司 视网膜刺激器的图像处理方法和装置及视网膜刺激器

Also Published As

Publication number Publication date
JPH0620055A (ja) 1994-01-28

Similar Documents

Publication Publication Date Title
US5548667A (en) Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP5403699B2 (ja) 手指形状推定装置、手指形状の推定方法及びプログラム
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
AU660532B2 (en) Memory-based method and apparatus for computer graphics
EP2095296B1 (en) A method and system for providing a three-dimensional model of an object of interest.
US8731719B2 (en) Robot with vision-based 3D shape recognition
Zeng et al. Hand gesture recognition using leap motion via deterministic learning
JP3182876B2 (ja) 画像信号処理方法とその装置
JP6554900B2 (ja) テンプレート作成装置及びテンプレート作成方法
CN109544606B (zh) 基于多个Kinect的快速自动配准方法及系统
WO2017116880A1 (en) Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
WO2021098147A1 (zh) Vr体感数据检测方法、装置、计算机设备及存储介质
Chen et al. Learning a deep network with spherical part model for 3D hand pose estimation
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN107545242B (zh) 一种通过2d图像推断人体动作姿态的方法及装置
EP2892007A2 (en) Static posture based person identification
Tajdari et al. Feature preserving non-rigid iterative weighted closest point and semi-curvature registration
JP2020109626A5 (ja)
CN110348359B (zh) 手部姿态追踪的方法、装置及系统
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Angelopoulou et al. Fast 2d/3d object representation with growing neural gas
JP6915786B2 (ja) 学習装置、認識装置、学習方法及びコンピュータプログラム
Davis et al. Toward 3-D gesture recognition
JP2001188897A (ja) 三次元形状復元方法とその装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080427

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090427

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100427

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees