JP4551626B2 - 手の立体計測法及び立体計測装置 - Google Patents
手の立体計測法及び立体計測装置 Download PDFInfo
- Publication number
- JP4551626B2 JP4551626B2 JP2003101801A JP2003101801A JP4551626B2 JP 4551626 B2 JP4551626 B2 JP 4551626B2 JP 2003101801 A JP2003101801 A JP 2003101801A JP 2003101801 A JP2003101801 A JP 2003101801A JP 4551626 B2 JP4551626 B2 JP 4551626B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- dimensional
- dimensional image
- image
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手又は足の立体計測法及びその装置に関する。手の立体形状計測においては、例えばイージーオーダーにより手袋を製作するための手の立体形状データ又は必要長さを得るための手の立体計測に関する。
【０００２】
【従来の技術】
手袋製品のサイズは、一部のスポーツ手袋を除いてS、M、Lの3種類か、フリーサイズが一般的であるが、このサイズ表記には明文化された基準がなく、製造メーカによる独自の判断に任されているのが現状である。また、手袋の設計では、型紙を作成する作業がサイズを決定する作業である。この型紙は現在も、経験豊かな職人による手書きの図面作成により設計されている。このため、手袋の型紙の部位の対応については、経験的に理解されているだけであった。
【０００３】
一方、上記の問題を解決する装置として、図14に示す装置がある。この装置は、モノクロCCD（Charge Coupled Diode）カメラ(100)、ラインレーザ(101)、リニアスライダ(102)、照明パネル(103)、制御装置(104)で構成されており、モノクロCCDカメラ(100)とラインレーザ(101)に位置関係は固定されており、リニアスライダ(102)によって位置関係を保ったまま移動可能である。リニアスライダ(102)は測定面である照明パネル(103)の面に対して平行に移動する。ラインレーザ(101)によるレーザ光と照明パネル(103)は常時照射されており、計測時に制御しているのはリニアスライダ(102)とモノクロCCDカメラ(100)のみである。
【０００４】
上記従来の装置は、はじめにリニアスライダ(102)を所定の位置に移動し、モノクロCCDカメラ(100)によって、照明パネル(103)による透過照明とラインレーザ(101)によるレーザ光が照射されている手を撮像する。撮像された画像は画像入力ボートを介して取り込む。次に、モノクロCCDカメラ(100)とラインレーザ(101)の位置を所定の位置に移動を繰り返す。最終的に、複数回の撮像で得た画像をもとに、パソコン(105)で画像処理を行い、三次元形状の計測と計測部位の測定を行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の方法では、手の甲側の画像と三次元計測結果を用いて手の輪郭線を抽出し、その結果に基づいて手の各部を推定しなくてはならないという問題があった。具体的には、手の輪郭線の曲率に注目し、曲率が大きく変化する部分が指の先や付け根であることを利用して指の位置を推定しなくてはならなないという問題があった。
また、前腕と手首の境界についても同様に曲率を用いて求めていたが、曲率だけではその部位の推定が不正確であるという問題があった。
そこで、本発明は、手又は足の簡単にして正確な立体計測法及びその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、以下の手又は足の立体計測法を要旨としている。
(１)手又は足の甲側からの画像認識に加えて掌側又は足の裏側からの画像認識をすること、その際、手又は足を透明板である基準台に置いて撮像し、掌側又は足の裏側を二次元画像として撮像し、甲側を三次元画像として撮像すること、それらの撮像を画像処理した上で、手又は足の甲側の画像は立体計測のために利用し、掌側または足の裏側から撮像した画像は手又は足の各部位の推定のために利用して画像を合成すること、合成画像から立体寸法を計測すること、計測した立体寸法を立体形状データとして蓄積し、データベースとすることを特徴とする手又は足の立体計測法。
(２)上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えたことを特徴とする上記(１)の手又は足の立体計測法。
(３)手の立体形状計測に際し、前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、２つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する上記(１)又は(２)の手又は足の立体計測法。
【０００７】
(3'-1)上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えたことを特徴とする上記(１)ないし(３)のいずれかの手又は足の立体計測法。
(3'-2)手の立体形状計測に際し、前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する上記(３)又は(3'-1)の手又は足の立体計測法。
(3'-3)手の立体形状計測に際し、手首の位置決めのために前腕の支持体と掌の支持体の間に浅い角度を付けたことを特徴とする上記(１)ないし(５)のいずれかの手又は足の立体計測法。
(3'-4)採取した際に付加されるパーソナルデータ又は計測データで検索又は検索設定範囲内での平均、最大、最小データ、度数分布を表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供することを特徴とする上記(３)ないし(3'-3)のいずれかの手又は足の立体計測法。
(3'-5)前記データベースが、パーソナルデータ（注文主の氏名、住所等）から、計測した個人の計測データをオーダーメード、イージーオーダー用として引き出すことのできるデータベースである上記(３)ないし(3'-4)のいずれかの手又は足の立体計測法。
(3'-6)手の立体形状計測に際し、前記データベースが、パーソナルデータの検索設定範囲（年齢、性別など）又は計測寸法データの検索設定範囲（手囲い等）から表示指寸法の平均、最大、最小データ、度数分布を表示し、量産手袋型作成用データとして引き出せるデータベースである上記(3'-4)又は(3'-5)の手又は足の立体計測法。
【０００８】
本発明は、以下の手又は足の立体計測装置を要旨としている。
（４）測定する手を載置する透明板と、手又は足の甲側上部にスリット光を照射するスリット光投光装置と、該投光装置と離れて手又は足の甲側上部に配置された撮像装置と、該撮像装置で撮像された画像のうち、スリット光の反射のみを認識するように撮像され、また画像処理された画像により、板から手又は足の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、透明板の下に設置し手又は足の全体の二次元画像を撮像する撮像装置を備え、該撮像装置により撮像された二次元画像データと前記撮像装置及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、該演算装置によって得られたデータを記憶する媒体とを備えた、又は接続したことを特徴とする手又は足の立体計測装置。
(５)上記の撮像装置がカメラであり、スリット光投光装置が１本又は複数のスリット光を照射するスリット光投光装置またはレーザ光投光装置である上記(４)の手又は足の立体計測装置。
(６) 上記の甲側上部に配置された撮像装置がカメラであり、二次元画像を撮像する撮像装置がフラットベッドスキャナに変えられている上記(５)の手又は足の立体計測装置。
(７)上記スリット光投光装置は、マトリックス状に配置された高輝度LEDから発光させた光を、被検査体である手又は足付近で平行な１本又は平行な複数のライン状になるように、１方向には拡散、それとクロスする方向には収束するように、シリンドリカルレンズと凸レンズが配置され、光の経路上に角度割出用モータの軸に取り付けられたミラーにより反射させ、割出モータの制御によって手又は足の全域にわたって計測可能なようにしたことを特徴とする上記(５)又は(６)の手又は足の立体計測装置。
(８)上記レーザ光投光装置は、ラインレーザ投光装置からのスリット光を手又は足の甲方向に屈折させるように、光の経路上に角度割出用モータの軸に取り付けられたミラーにより反射させ、割出モータの制御によって手又は足の全域にわたって計測可能なようにしたことを特徴とする上記(５)又は(６)の手又は足の立体計測装置。
(8'-1)光源の波長の光のみを通過させるバンドパスフィルタをカメラの前面に設置し、外光に影響されずに安定した撮像を可能にしたことを特徴とする上記(４)ないし(８)のいずれかの手又は足の立体計測装置。
(９)上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えたことを特徴とする上記(４)ないし(8'-1)のいずれかの手又は足の立体計測装置。
(10)上記(４)ないし(９)のいずれかの手又は足の立体形状計測装置であって、手の立体形状計測に際し、前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算することを特徴とする装置。
(10'-1)手首の位置決めのために前腕の支持体と掌の支持体の間に浅い角度を付けたことを特徴とする上記(10)の装置。
(11)採取した際に付加されるパーソナルデータ又は計測データで検索又は検索設定範囲内での平均、最大、最小データ、度数分布を表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供することを特徴とする上記(４)ないし(10)のいずれかの手又は足の立体計測装置。
(12)前記データベースが、パーソナルデータ（注文主の氏名、住所等）から、計測した個人の計測データをオーダーメード、イージーオーダー用として引き出すことのできるデータベースであることを特徴とする上記(４)ないし(11)のいずれかの手又は足の立体計測装置。
(13)前記データベースが、パーソナルデータの検索設定範囲（年齢、性別など）又は計測寸法データの検索設定範囲（手囲い等）から表示指寸法の平均、最大、最小データ、度数分布を表示し、量産手袋型作成用データとして引き出せるデータベースであることを特徴とする上記(11)又は(12)の手又は足の立体計測装置。
【０００９】
【発明の実施の形態】
本発明の手の立体計測の、撮像装置がカメラであり、スリット光投光装置が１本又は複数のスリット光を照射するスリット光投光装置である態様について、すなわち、測定する手を載置する透明板と、手の甲側上部に１本又は複数のスリット光を照射するスリット光投光装置と、該投光装置と離れて手の甲側上部に配置されたカメラと、該カメラで撮像された画像のうち、スリット光の反射のみを認識するように撮像され、また画像処理された画像により、板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、透明板の下に設置し手の全体の２次元画像を撮像するカメラを備え、該カメラにより撮像された２次元画像データと前記カメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、該演算装置によって得られたデータを記憶する媒体とを備えた、又は接続したことを特徴とする、ならびに、上記スリット光投光装置はマトリックス状に配置された高輝度LEDから発光させた光を、被検査体である手付近で平行な１本又は平行な複数のライン状になるように１方向には拡散、それとクロスする方向には収束するようにシリンドリカルレンズと凸レンズを配置され、光の経路上に角度割出用モータの軸に取り付けられたミラーにより反射させ、割出モータの制御によって手の全域にわたって計測可能なようにした手又は足の立体計測装置の態様について、以下に説明する。
【００１０】
まず、本発明の基本となる、LED（Light Emitting Diode）照明による立体計測を、図１及び２を用いて説明する。
基本的な光学系は、立体を計測する機能が上側のLED照明(3)とカメラ(1)で、手の各部位の推定機能が下側のLED照明(図示省略)とカメラ(2)で行われる。ここで、上側のLED照明(3)はスリット光を照射するために4×4の合計16個で構成している。なお、下側のLED照明(図示省略)は単に光源用のLEDであり、格別の制御は行っていない。図１は、上側のLED照明(3)として上下方向に4つのLEDを並べ、その前にシリンドリカルレンズ(4)と凸レンズ(5)を配置している様子を上から見た場合を、図２は同様の様子を横からみた場合を示している。横から見た場合、凸レンズ(5)のみが影響して4つのLEDは照射面で4つに分かれ、上から見た場合には、シリンドリカルレンズ(4)と凸レンズ(5)の両方の作用により、照射面で横に広がる。これによって、照射面では上下方向に４本のスリット光が得られる。この図では上下方向に並んだ4個のLEDを用いているが、実際には、１個のLEDを横に拡げるとスリット光の光量が足りないために、明るく見えない。そこで、横方向にも複数個のLEDを並べることによって、光量を確保している。
【００１１】
手の甲側の立体画像の撮像は、従来公知の「光切断法」（例えば、井口征士、佐藤宏介著「３次元画像計測」照晃堂）によって行う。手の各部位の推定は、従来の方法では、手の甲側の画像と三次元計測結果を用いて手の輪郭線を抽出した結果から求めていた。具体的には、手の輪郭線の曲率に注目し、曲率が大きく変化する部分が指の先や付け根であることを利用して指の位置を推定していた。また、手の付け根についても同様に曲率を用いて求めていたが、しかし、本発明は、手の甲側の画像は立体計測のためだけに利用し、各部位の推定は掌側から撮像した画像のみを利用する。
【００１２】
「光切断法」により、１本のスリット光をカメラで撮影し、その撮像から高さを求める方法は、図４に示すように、LEDの照射方向と対象面の角度θ1、スリット光が対象に照射された場合のカメラの視線と対象面がなす角度θ2、対象面でのLED照射位置と、視線位置の距離をＬとすると、高さDは次の式(1)で求められる。
【数１】
【００１３】
本発明の場合、複数本のスリット光が一度に照射されていることから、各スリット光に対して上記の式(1)を適用して高さを求めていくことになるが、その際に画像中にある光がどのスリット光に対応するかを決定する必要がある。この問題を解決するためにコード化パターン法を用いるか、手の形状に関する制約条件を用いることとなる。ここで、θ1はミラーの回転角度とLEDによって求めることが可能であり、θ2はCCDカメラの画素ごとに求めることが可能である。さらに、Lについても、対象面に照射した各スリット光がCCDカメラのどの画素に見えているか（スリット位置）を最初に記憶しておけば簡単に求めることができる。
【００１４】
そこで、初期設定によって、θ1、θ2とスリット位置をあらかじめ求めておくことで、計測時にはLEDがカメラのどの画素に見えているかを調べるだけで高さを求めることが可能となる。
【００１５】
【作用】
透明板上に掌側が接触するように載置した手を、手の上下方向に配置したCCDカメラの一方のCCDカメラで掌側を二次元画像として撮像し、他方のCCDカメラでスリットパターンを用いて甲側を三次元画像として撮像し、それらの撮像を画像処理した上で合成し、立体寸法を計測し、その計測結果にもとづき手袋の型紙を作成するか、計測結果を蓄積したものを手袋型紙の製造用データベースとする。
【００１６】
手又は足の立体計測において、例えばイージーオーダにより手袋を製作するための手の立体形状データ又は必要長さを得るために応用することができる。そのために、手相も撮像し、手袋製造に必要となる手の部位を簡単にかつ正確に計測することができる。これらの計測データを蓄積し、例えば成人男子の手の形がどのようなものであるか、それを定量的に示す基本データの作成に寄与することができる。手の甲側からのカメラ撮像では前腕と手首の境界を判別するための特徴がほとんどないので、手の甲側に加えて掌側からもカメラ撮像を行う。これは、掌側からの画像であれば、前腕と手首の境界の特徴として、しわなど用いることが可能となるためである。
さらに、手袋サイズの基本と考えられている手囲いは、「左手の小指の付け根と手首を結んだ線の、手首から1/3の距離の点と生命線の始点とを結んだ周りの長さ」と定義されており、掌側からの画像があれば生命線の始点も正確に推定可能であるため、手囲いの定義通りの正確な位置を求めることも可能となる。
【００１７】
【実施例】
図面にもとづいて本発明の装置の実施例を説明するが、本発明の細部の構成はこの実施例により特定されるものではない。
【００１８】
実施例１
図１、２は、本発明の一実施例であり、手の立体計測装置は、投光部とカメラとからなる計測部と、計測部の作動を制御するするとともに、撮像カメラによって撮像された画像を処理する制御・画像処理部と、操作盤及びモニターとで構成されており、計測部と制御・画像処理部とは一体にしても別体に形成しても良い。
【００１９】
図１及び図２において、(1)は甲側立体画像撮像用CCDカメラであり、(2)は掌側平面画像撮像用CCDカメラであり、(3)は高輝度LEDをマトリックス状に配置したものを光源とし、シリンドリカルレンズ(4)と凸レンズ(5)を経路に配置し、手の甲付近にスリット光(6)を設定された間隔で発生させるLEDスリット光投光装置であり、(7)は投光装置からのスリット光を手の甲方向に屈折させるミラーであり、(8)はミラーを固定するとスリット光を受光できない箇所が発生するための位置決め用ステップモータ（ミラー駆動用の割出モータ）であり、モータドライバー(9)が信号入出力装置(10)からの割出指令により割出動作させミラー(7)を割出すためのものであり、(11)はCPU、(12)はメモリであり、投光装置(３)の各列ごとにＬＥＤ点灯消灯信号及びステップモータ(８)の駆動信号の送受信を行う信号入出力装置は図示省略しており、CCDカメラ(1)，(2)への撮像タイミング信号の送信、CCDカメラ(1)，(2)からの画像信号を行い、また、CCDカメラ(1)，(2)からの画像をプログラムにより画像処理して、若しくは、そのままハードデイスク(図示省略)に記憶させる画像信号入出力装置である。
【００２０】
上記投光装置によると、LEDで作られた４本のスリット光はミラーによって下方に向きを変え、手に照射される。ミラーを回転させることでスリット光を図２の左右方向に移動するため、手全体に対してスリット光を照射することが可能となる。また、回転ミラーを用いることによって、LED、レンズ類、ミラー、CCDカメラをほぼ同じ高さに配置することが可能となり、立体計測のための光学系がコンパクトに構成できる。
【００２１】
上記各部材を収納する筐体(20)は、測定者の手を挿入する挿入孔(21)が設けられており、筐体(20)内部には測定する手を載置する透明板(22)が設けられており、手首の位置決めのために前腕の支持体と掌の支持体の間に浅い角度（10〜45度）が付けられている。
【００２２】
上記のとおり、掌側からの画像を得るために、手を置く基準台を透明板(22)にしたので、曲率に加えて新しく手相、透明板との接触度の二つの特徴が利用可能となった。そこで、指の付け根については、従来通り輪郭線の曲率を用いるが、新しい特徴を用いて以下の位置を推定することとする。
・手囲いの親指側の開始点：手相を見て生命線の開始点
・前腕と手首の境界：透明板に密着している部分の手首側の端
なお、手の甲側を撮像する際には、透明板と接触している部分は明るく、離れている部分は暗くするように、手元および手先側から斜光照明を行った。これにより、透明板との接触度が明確になることが期待できる。
【００２３】
上記筐体(20)内部上方に配置され、手の甲側上部に複数のスリット光(6)を照射するスリット光投光装置は、詳しくは、マトリックス状に配置された高輝度LEDから発光させた光を被検査体である手の甲付近で平行な複数のライン状になるように１方向には拡散、それとクロスする方向には収束するようにシリンドリカルレンズ(4)と凸レンズ(5)を配置され、光の経路上に角度割出用モータの軸に取り付けられたミラー(7)により反射させ、位置決めモータ(8)の制御によって手の全域にわたって計測可能に構成されている。なお、LED光源は点光源であることが好ましい。
【００２４】
また、割り出し制御されるミラー駆動用の位置決めモータ(8)と、モータを駆動するミラー駆動部と、ミラー角度信号をミラー駆動部に出力する出力装置と、ミラー(7)の角度に応じたミラー角度信号を出力するミラー駆動部と、ミラー駆動部からのミラー角度信号にもとづいて光源(3)のLEDを点灯制御される。また、光源(3)の波長の光のみを通過させるバンドパスフィルタ（図示省略）をCCDカメラ(1) ，(2)の前面に設置し、外光に影響されずに安定した撮像を可能に構成されている。なお、本装置では、オレンジ色の高輝度LEDを使用し、CCDカメラ(1)，(2)の前面に赤色透過フィルタを使用したが、高輝度赤外LEDと赤外光フィルタをバンドパスフィルタとして利用すれば、さらに外光の影響を受けけにくく好ましい。
【００２５】
上記スリット光投光装置と離して筐体(20)の内部の透明板(22)の上方に配置され、甲から反射した光を撮像し、上部立体画像情報を提供する甲撮像用CCDカメラ(1)と、筐体(20)内部の透明板(22)の下方に配置され、透明板を通過した光を撮像し、下部平面情報を提供する掌撮像用CCDカメラ(2)とで構成されており、甲撮像用CCDカメラ(1)はスリット光の反射のみを認識するように撮像し、CCDカメラ(2)は、透明板(23)を透過した光を認識するように手の二次元画像を撮像すべく構成されている。
【００２６】
図３は、本発明の手の立体計測装置の一例のブロック図である。CCDカメラ（1），（2）により撮像され画像処理された画像により、板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、CCDカメラ（1），（2）により撮像された二次元データと前記カメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、演算装置によって得られたデータを記憶する媒体を備えている。
【００２７】
前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの2/3の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する。上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えている。
【００２８】
なお、本発明の手の立体計測装置を制御するプログラムは、被計測者の個人情報を入力するためのパーソナルデータ入力プログラム、スリット光を規則通りに照射するためにモータ駆動命令（ミラー割出）し、LEDパターン発光命令をし、さらに、計測装置の作動を制御する、撮像用プログラムと、撮像された画像を形状データに変換し、計測データにもとづき必要寸法を計算し、計算結果をデータエリアに記憶させるための演算プログラムとで構成されている。
【００２９】
また、図３は、本発明の手の立体計測装置（図３中、２点鎖線で囲った部分）によって採取した計測結果を、データベースとして提供できるようにしたシステムのブロック図であり、採取した際に付加されるパーソナルデータ又は計測データで検索又は検索設定範囲内での平均、最大、最小データを表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供するために、データ記憶装置に加えて計測結果を蓄積することでデータベースとして提供できるようにしたものであり、CPU(11）は、手の甲側及び掌側の画像、立体・平面形状データ、計測寸法データを、インターネット又はLANを介してデータベース／サーバに転送するか、CD-RW等の記憶媒体を介してデータベース/サーバに転送する。
【００３０】
なお、上記計測装置は登録された秘密鍵を持ち、採取されたデータを記録する際にこの計測装置で採取された証明となる電子署名を付加された上でデータ登録され、上記の秘密鍵に対応した公開鍵により署名の正当性を認められた計測データのみで構成されるデータベースとすることが好ましい。
【００３１】
次に、図５、６、７により、画像の処理方法を説明する。
《平面画像の処理》
・平面画像による計測にもとづく測定寸法の種類としては、各指の長さ、手長等が有り、図５上の、A、Bをあらかじめ計測しておき撮像された各ポイントが写される画像の位置からXY座標系への位置変換が行えるようにしておき、平面画像の処理は各画素の位置をXY絶対座標系に換算した平面データにしてから行う。なお、レンズの収差補正のためにはさらに多くのポイントを設けておいてもよい。また、立体画像の撮像時に、LED光が透明板で反射して立体計測時に計測の障害になるのを防ぐため平面撮像した後、絶対座標に変換した手の領域以外は、立体側側撮像からマスクする操作を行うことが好ましい。
【００３２】
《立体画像の処理》
立体画像の撮像にあたっては、平面画像と同じく、図６上の、A、B寸法はあらかじめ計測しておき撮像された各ポイントが写される画素の位置から基準点からのXYZ絶対座標系への位置変換が行えるようにしておく。また、平面画像の撮像の場合と同様に、レンズの収差補正のためにはさらに多くのポイントを設けておいてもよい。
【００３３】
《画像の合成と立体寸法計測》
図７に示すように、上記の処理をなされた平面画像と立体画像とを、以下の工程を経てデータリンクする。
▲１▼ 初期設定：板上にいくつかのポイントを置き、それがどちらかのCCDカメラのどの画素に写る。その反対側CCDカメラのどの画素に写るかをあらかじめ調べる。
▲２▼ 画素位置対応：▲１▼から掌側撮像の各画素で見えている点が甲側撮像の各画素のどの位置で見えるかを特定できるようにしておく。
▲３▼ 掌画像で計測位置・箇所を特定・選択
▲４▼ 甲側撮像と計算により、2.5次元（それぞれの二次元位置とその高さ）を計測する。
▲５▼ 甲側の座標値と掌側の座標値の整合性を▲１▼▲２▼による補正によりとる。
▲６▼ ▲３▼の計測位置での高さから立体形状の断面の輪郭線を出して必要寸法を得る。
したがって、立体画像から計測された立体データと平面画像から計測された平面形状データ、どちらも基準点からのXY、又はXYZ絶対座標系になっているので単純にデータ合成することができる。
【００３４】
平面画像の処理により設定した特徴点から必要な立体形状寸法の断面の輪郭を抽出し、外周寸法を計測する。図で示しているのは手囲寸法で小指の付け根と手首の間を三等分した点の手首側の点と生命線発生点を結ぶ周囲長の計測を表示する。なお、光線が当たらない掌側の陰は円筒近似を用いることで対応する。
【００３５】
次に、図８のフローチャートを参考に、本発明の手の立体計測装置を用いて手の立体形状を計測する方法を説明する。
まず、掌側から画像を撮像し、その画像から手の領域を抽出する。具体的には、手のない状態で撮像した画像から、手のある状態の画像を差分し、その結果画像を２値化処理することによって手の領域を抽出する。次に、上のLED照明とステッピングモータを制御しながら、スリット光照射画像を撮像する。ここで、本実施例では、１回の撮像で４本あるLEDスリット光の偶数番目か奇数番目のいずれか２本を照射するため、同一のミラー角度ではLEDの制御を行って２回撮像することとなる。ミラーは１回に0.7度の角度で16回回転させることから合計32枚の画像が得られ、この結果として64本のスリット光による立体計測が可能である。
【００３６】
次に、この32枚のスリット光照射画像から手の領域の画像のみを切り出す、この処理は、手の領域以外の透明板上で発生するLED光の反射成分を除去することを目的としている。手の領域のみのスリット光画像が得られると、そこからスリット光を抽出しその重心位置を求める。具体的には、横方向の成分に感度のある２階差分処理を行った後、２値化処理して得られた成分について、縦方向の輝度値の加重平均を行って重心位置を求める。さらに求めた重心位置からカメラの視線角度を求め、それを前記式(1)に代入することで高さ方向を求める。
【００３７】
高さ方向の次は、手の各部位の推定処理を行う。まず、掌側からの画像から手の輪郭線や、生命線を抽出し、それに基づいて各部位を推定する。ここで、指の部位の推定方法は、従来通り輪郭線の曲率であり、前腕と手首の境界、手囲いの親指側の開始点は、手囲いの親指側の開始点：手相を見て生命線の開始点、及び、前腕と手首の境界：透明板に密着している部分の手首側の端とする。
【００３８】
上記の処理の結果、高さ計測と各部位の位置推定が完了する。そこで、推定部位間の二次元的な距離を求めるとともに、手囲いなどの立体的な形状値については、計測した高さと各部位の位置から立体的な断面の輪郭の外周寸法を求める。最後に、これら求めた計測結果と画像を表示し、パーソナルデータを入力することで計測データをハードディスクに保存し、１人の形状計測が終了することになる。
【００３９】
実施例２
この実施例は、測定する手を載置する透明板と、手の甲側上部に１本または複数のスリット光を照射するレーザ光投光装置と、該投光装置と離れて手の甲側上部に配置されたカメラと、該カメラで撮像された画像のうち、スリット光の反射のみを認識するように撮像され、また画像処理された画像により、板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、透明板の下に設置し手の全体の２次元画像を撮像するフラットベッドスキャナーを備え、該カメラにより撮像された２次元画像データと前記カメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、該演算装置によって得られたデータを記憶する媒体とを備えた、または接続したことを特徴とする態様の手の立体計測装置である。
図９及び図10は、本発明の他の実施例であり、この実施例は、投光部にラインレーザ投光装置を用いて細くはっきりとしたライン光の投射を可能にしたこと、及び、掌の計測にフラットベッドスキャナを用い、掌側の照明装置を不要にしたこと、により装置全体の小型化を可能にした点で実施例１と相違している。
以下、その構成を説明するが、説明中実施例１と共通部分には同一符号を付してある。
【００４０】
図９及び図10において、(1)は甲側立体画像撮像用CCDカメラであり、(37)は掌側平面画像撮像用フラットベッドスキャナであり、(36)はスリット光を投光するラインレーザ投光装置であり、(7)はラインレーザ投光装置(36)からのスリット光を手の甲方向に屈折させるミラーであり、(8)はミラー駆動用のステップモータであり、モータードライバー(9)が信号入力装置(10)からの割出指令により割出動作させミラー(7)を割出すためのものである。
【００４１】
したがって、ラインレーザ投光装置(36)からのスリット光はミラーによって下向きに変え、手に照射される。ミラーを回転させることでスリット光を図10の左右方向に移動するため、手全体に対してスリット光を照射することが可能となり、また、回転ミラーを用いることによって、レーザ光源、ミラー、CCDカメラをほぼ同じ高さに配置することが可能となり、立体計測のための光学系がコンパクトに構成でき、フラットベッドスキャナを用いたので、CCDカメラを採用した実施例１の手の立体計測装置に比べ装置全体の高さを低くすることができる。
【００４２】
また、図中、(11)はCPU、(12)はメモリ、(14)はステップモータ(8)の駆動信号の送受信を行う信号入出力装置であり、CCDカメラ(1)及びフラットベッドスキャナ(37)への撮像タイミング信号の送信、CCDカメラ(1)及びフラットベッドスキャナ(37)からの画像信号を行い、また、CCDカメラ(1)及びフラットベッドスキャナ(37)からの画像をプログラムにより画像処理して、若しくは、そのままハードディスク(13)に記憶させる画像信号入出力装置である。
【００４３】
上記各部材を収納する筐体(20)は、測定者の手を挿入する挿入口(21)が設けられており、筐体(20)内部には測定する手を載置する透明板(22)が設けられている。本実施例では、掌側の撮像には公知のフラットベッドスキャナ（例えば、キャノン株式会社製CanoScan LiDE30）を用い、上記透明板(22)フラットベッドスキャナ(37)の上面透明板で兼用している。
なお、フラットベッドスキャナによる手の領域の抽出は、実施例１における下方のCCDカメラ(2)と同様であるが、明るさの閾値をもって輪郭の判断が可能になり、閾値を変えることで手相の判定が可能になり特定点の抽出を安定して行えるようになる。
【００４４】
また、上記筐体(20)の上部には、公知のレーザ光源（例えば、エフエムレーザーテック株式会社製LML-12-670-3）が配設されており、非球面レンズ、シリンドリカルレンズ等とでラインレーザ投光装置(36)を構成している。
ラインレーザ投光装置(36)の発光とミラーの駆動用の位置決めモータ(8)は、実施例１の場合と同様に、割り出し制御されるミラー駆動用の位置決めモータ(8)と、モータを駆動するミラー駆動部と、ミラー角度信号をミラー駆動部に出力する入力装置と、ミラー(7)の角度に応じたミラー角度信号を出力するミラー駆動部と、ミラー駆動部からのミラー角度信号にもとづいて光源(3)のLEDを点灯制御される。
【００４５】
図11は、手の立体計測装置（図中２点鎖線で囲った部分）及び同装置によって採取された計測結果を、データベースとして提供できるようにしたシステムのブロック図であり、手の立体計測装置は、CCDカメラにより撮像され画像処理された画像により、透明板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、フラットベッドスキャナにより撮像された二次元データと前記CCDカメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、演算装置によって得られたデータを記憶する媒体を備えている。
【００４６】
前記下からの二次元画像は手相が判別可能であり、フラットベッドスキャナ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの2/3の長さのいずれかの外周部の位置とを特徴点として手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する。上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えている。
【００４７】
なお、本実施例の手の立体計測装置を制御するプログラムは、被計測者の個人情報を入力するためのパーソナルデータ入力プログラムと、レーザ光を規則通りに照射するためにモータ駆動命令（ミラー割出）し、計測装置の作動を制御する撮像用プログラムと、撮像された画像を形状データに変換し、計測データにもとづき必要寸法を計算し、計算結果をデータエリアに記憶させるための演算プログラムとで構成されている。
【００４８】
また、図11は、本実施例の手の立体計測装置（図11中、２点鎖線で囲った部分）によって採取した計測結果を、データベースとして提供できるようにしたシステムのブロック図であり、採取した際に付加されるパーソナルデータ又は計測データで検索又は検束設定範囲内での平均、最大、最小データを表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供するために、データ記憶装置に加えて計測結果を蓄積することでデータベースとして提供できるようにしたものでありCPUは、甲側及び掌側画像、立体・平面形状データ、計測寸法データを、インターネット又はLANを介してデータベース／サーバに転送するか、CD-RW等の記憶媒体を介してデータベース/サーバに転送する。
【００４９】
なお、この実施例においても前記実施例１と同様に、上記計測装置は登録された秘密鍵を持ち、採取されたデータを記録する際にこの計測装置で採取された証明となる電子署名を付加された上でデータ登録され、上記の秘密鍵に対応した公開鍵により署名の正当性を認められた計測データのみで構成されるデータベースとすることが好ましい。
【００５０】
この実施例における、平面画像の処理、立体画像の処理、画像の合成と立体寸法計測は、図５、図６及び図７に示す前記実施例１と同様に行い、また、手の立体計測装置を用いて手の立体形状を計測する方法は、図12のフローチャートに示す実施例１と同様で有る。
【００５１】
次に、図13にしたがって、本発明の手の立体計測装置を用いて手袋製造用の型紙を作成する方法、及び、手の立体計測装置を用いて計測した結果をデータベース化して手袋の製造に利用する例を説明する。
【００５２】
データベースには、手の立体計測装置を用いて計測した多数人のパーソナルデータ（年齢、性別等）、甲側立体画像及び掌側平面画像、並びに、立体形状データ及び平面形状データが蓄積されており、このデータベースを用いて手袋の型紙を作成する場合（イージーオーダによる作成）には、製造者は手袋作成依頼人のパーソナルデータ入力し、パーソナルデータにもとづきデータベースから必要項目の計測寸法、掌側平面画像を呼び出し掌側平面画像で確認すると共に、計測寸法にもとづき型紙を製作することができる。
【００５３】
また、計測寸法を検索対象にすると手囲い等とその他の手の形状データの相関関係について平均値や度数分布を知ることが、型の寸法決定に役立ち、想定された層の人々に適合する型を作る場合には、想定された人々のパーソナルデータを検索範囲に設定し平均値や度数分布により、より多くの人々にマッチする型を得ることができる。
【００５４】
例えば４〜５歳の日本人男子の場合には、表１及び表２に示すように、手囲１０３ｍｍ、手長１１３ｍｍの寸法が呼び出されるので、手袋製造業者はその数値にもとづいて手袋を製造することにより、４〜５歳の日本人男子の手に合う手袋が容易に提供することができる。
【００５５】
【表１】
【００５６】
なお、「手囲い」を上記のように定義したが、この定義は必ずしも統一されたものではないが、本発明の装置によれば、手の特徴とする点が撮像されているので、実際の使用にあったては、各使用者が使用している定義にもとづいて、求める寸法を計測することが可能であり、その定義の例としては次のようなものがある。
・手を広げたときの人差し指の付け根と小指の付け根の周囲
・親指側の生命線発生点と小指側の感情線発生点の周囲
・親指側の生命線発生点小指の付け根から外縁を手首に向かい、手首までの2/3の長さの位置の周囲
・親指の手首側の付け根の位置と小指の付け根から外縁を手首に向かい、手首までの2/3の長さの位置の周囲
・親指の手首付け根の位置と小指側の感情線発生点の周囲
【００５７】
【表２】
【００５８】
製造依頼人の手に確実にフィットする手袋の型紙を作成（オーダーによる作成）する場合には、手の立体計測装置により必要項目の寸法を計測し、その計測結果をオンライン又は記録媒体を介して製造者に送り、製造者はそのデータにもとづき型紙を作成する。なお、この場合、計測結果は、パーソナルデータと共にデータベースに登録して、データベースの内容を充実させることが好ましい。
【００５９】
なお、上記計測装置は登録された秘密鍵を持ち、採取されたデータを記録する際にこの計測装置で採取された証明となる電子署名を付加された上でデータ登録され、上記の秘密鍵に対応した公開鍵により署名の正当性を認められた計測データのみで構成されるデータベースとすることができる。
【００６０】
実施例３
《足の立体形状の計測》
図15及び16は、本発明の他の実施例であり、この実施例は、足の立体形状の計測装置に関するものである。
【００６１】
該装置の構成は、基本的には手の立体計測装置と同様であるが、筐体を被測定者が、爪先及び踵を上方のカメラに向けて載置できるように構成し、また、制御部が、爪先側から撮像し画像処理された合成画像と、踵側から撮像し画像処理された合成画像とを、さらに、足裏側を一致させて合成して足の三次元画像を形成する機能を有するように構成した点で相違している。
【００６２】
図15により足の立体計測装置を用いて足を立体計測する方法を説明する。
計測すべき足の爪先を上方のカメラで撮像できるように透明板上に載置し、上方のカメラで足の爪先側の三次元画像を撮像し、下方のカメラで足の裏の二次元画像を撮像し、両画像を合成し爪先側の合成画像を得る（図15(a)）。次に、計測すべき足の載置方向を変えて足の踵を上方のカメラで撮像できるように透明板上に載置し、上方のカメラで足の踵側の三次元画像を撮像し、下方のカメラで足の裏の二次元画像を撮像し、両画像を合成し踵側の合成画像を得る（図15(ｂ)）。
【００６３】
次いで、図16(a)〜(c)に示すように、（平面）XY座標と（立体）XYZ座標の合成データを足に貼り付けたどちらかのポイントから他方のポイントへの方向をＶ軸とする３軸の直交座標の合成データに変換し２組のデータを合成する。
【００６４】
上記方法によって撮像された足の立体形状によると、甲の高さ、幅、土踏まずの形状等が靴の製造に必要な条件を簡単に特定できるので、靴等履き物の製造に有用である。
【００６５】
【発明の効果】
上記構成の、本発明の手又は足の立体計測装置は、手又は足の甲側からの画像認識に加えて掌又は足の裏側からの画像認識することにより、掌又は足の裏側の特徴を決定条件として利用するので、手袋等の製造に必要なデータを正確に計測し、イージーオーダシステムを可能にし、また、極めて容易に多くの手形等の形状データを得ることができ、さらには、特定の層の人間に限定したなかで平均的な手形等を得ることができる。
【００６６】
また、本発明の手又は足の立体計測装置は、小型化が可能であり、販売店の店頭に置くことで、数多くのサイズのなかから自分に合ったサイズのゴルフ手袋等を素早く選ぶことを可能とする。さらに、手袋等の型を見直す際に、購入した各個人のサイズをもとに再設計をすることが可能になる。
【００６７】
さらに、本発明の手の立体計測装置は、筐体の構造を一部改良することにより、足の立体形状等、周面全体の特徴を考慮する必要のある物体の計測にも転用でき、利用分野の拡張が可能である。
【図面の簡単な説明】
【図１】手の立体計測装置の実施例１の概略図である。
【図２】手の立体計測装置の実施例１の詳細図である。
【図３】手の立体計測装置の実施例１のブロック図である。
【図４】光切断法の説明図である。
【図５】平面画像の処理説明図である。
【図６】立体画像の処理説明図である。
【図７】手の立体計測装置による画像の合成方法の説明図である。
【図８】実施例１における手の立体計測の全体フローである。
【図９】手の立体計測装置の実施例２の概略図である。
【図１０】手の立体計測装置の実施例２の詳細図である。
【図１１】手の立体計測装置の実施例２のブロック図である。
【図１２】実施例２における手の立体計測の全体フローである。
【図１３】本発明の手の立体計測装置を手袋の製造に応用したブロック図である。
【図１４】従来の手の立体計測装置の概略図である。
【図１５】足の立体計測装置の概略図である。
【図１６】足の立体計測装置による画像の合成方法の説明図である。
【符号の説明】
１ 甲側立体画像撮像用CCDカメラ
２ 掌側平面画像撮像用CCDカメラ
３ 高輝度LEDをマトリックス状に配置したものを光源
４ シリンドリカルレンズ
５ 凸レンズ
６ スリット光
７ ミラー
８ 位置決め用ステップモータ（ミラー駆動用の割出モータ）
９ モータドライバー
10 信号入出力装置
11 CPU
12 メモリ
13 ハードディスク
14 画像信号入出力装置
20 筐体
21 挿入孔
22 透明板
30 モノクロCCDカメラ
31 ラインレーザ
32 リニアスライダ
33 照明パネル
34 制御装置
35 パソコン
36 ラインレーザ投光装置
37 フラットベッドスキャナ
100 モノクロCCDカメラ
101 ラインレーザ
102 リニアスライダ
103 照明パネル
104 制御装置
105 パソコン
【発明の属する技術分野】
本発明は、手又は足の立体計測法及びその装置に関する。手の立体形状計測においては、例えばイージーオーダーにより手袋を製作するための手の立体形状データ又は必要長さを得るための手の立体計測に関する。
【０００２】
【従来の技術】
手袋製品のサイズは、一部のスポーツ手袋を除いてS、M、Lの3種類か、フリーサイズが一般的であるが、このサイズ表記には明文化された基準がなく、製造メーカによる独自の判断に任されているのが現状である。また、手袋の設計では、型紙を作成する作業がサイズを決定する作業である。この型紙は現在も、経験豊かな職人による手書きの図面作成により設計されている。このため、手袋の型紙の部位の対応については、経験的に理解されているだけであった。
【０００３】
一方、上記の問題を解決する装置として、図14に示す装置がある。この装置は、モノクロCCD（Charge Coupled Diode）カメラ(100)、ラインレーザ(101)、リニアスライダ(102)、照明パネル(103)、制御装置(104)で構成されており、モノクロCCDカメラ(100)とラインレーザ(101)に位置関係は固定されており、リニアスライダ(102)によって位置関係を保ったまま移動可能である。リニアスライダ(102)は測定面である照明パネル(103)の面に対して平行に移動する。ラインレーザ(101)によるレーザ光と照明パネル(103)は常時照射されており、計測時に制御しているのはリニアスライダ(102)とモノクロCCDカメラ(100)のみである。
【０００４】
上記従来の装置は、はじめにリニアスライダ(102)を所定の位置に移動し、モノクロCCDカメラ(100)によって、照明パネル(103)による透過照明とラインレーザ(101)によるレーザ光が照射されている手を撮像する。撮像された画像は画像入力ボートを介して取り込む。次に、モノクロCCDカメラ(100)とラインレーザ(101)の位置を所定の位置に移動を繰り返す。最終的に、複数回の撮像で得た画像をもとに、パソコン(105)で画像処理を行い、三次元形状の計測と計測部位の測定を行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の方法では、手の甲側の画像と三次元計測結果を用いて手の輪郭線を抽出し、その結果に基づいて手の各部を推定しなくてはならないという問題があった。具体的には、手の輪郭線の曲率に注目し、曲率が大きく変化する部分が指の先や付け根であることを利用して指の位置を推定しなくてはならなないという問題があった。
また、前腕と手首の境界についても同様に曲率を用いて求めていたが、曲率だけではその部位の推定が不正確であるという問題があった。
そこで、本発明は、手又は足の簡単にして正確な立体計測法及びその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、以下の手又は足の立体計測法を要旨としている。
(１)手又は足の甲側からの画像認識に加えて掌側又は足の裏側からの画像認識をすること、その際、手又は足を透明板である基準台に置いて撮像し、掌側又は足の裏側を二次元画像として撮像し、甲側を三次元画像として撮像すること、それらの撮像を画像処理した上で、手又は足の甲側の画像は立体計測のために利用し、掌側または足の裏側から撮像した画像は手又は足の各部位の推定のために利用して画像を合成すること、合成画像から立体寸法を計測すること、計測した立体寸法を立体形状データとして蓄積し、データベースとすることを特徴とする手又は足の立体計測法。
(２)上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えたことを特徴とする上記(１)の手又は足の立体計測法。
(３)手の立体形状計測に際し、前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、２つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する上記(１)又は(２)の手又は足の立体計測法。
【０００７】
(3'-1)上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えたことを特徴とする上記(１)ないし(３)のいずれかの手又は足の立体計測法。
(3'-2)手の立体形状計測に際し、前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する上記(３)又は(3'-1)の手又は足の立体計測法。
(3'-3)手の立体形状計測に際し、手首の位置決めのために前腕の支持体と掌の支持体の間に浅い角度を付けたことを特徴とする上記(１)ないし(５)のいずれかの手又は足の立体計測法。
(3'-4)採取した際に付加されるパーソナルデータ又は計測データで検索又は検索設定範囲内での平均、最大、最小データ、度数分布を表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供することを特徴とする上記(３)ないし(3'-3)のいずれかの手又は足の立体計測法。
(3'-5)前記データベースが、パーソナルデータ（注文主の氏名、住所等）から、計測した個人の計測データをオーダーメード、イージーオーダー用として引き出すことのできるデータベースである上記(３)ないし(3'-4)のいずれかの手又は足の立体計測法。
(3'-6)手の立体形状計測に際し、前記データベースが、パーソナルデータの検索設定範囲（年齢、性別など）又は計測寸法データの検索設定範囲（手囲い等）から表示指寸法の平均、最大、最小データ、度数分布を表示し、量産手袋型作成用データとして引き出せるデータベースである上記(3'-4)又は(3'-5)の手又は足の立体計測法。
【０００８】
本発明は、以下の手又は足の立体計測装置を要旨としている。
（４）測定する手を載置する透明板と、手又は足の甲側上部にスリット光を照射するスリット光投光装置と、該投光装置と離れて手又は足の甲側上部に配置された撮像装置と、該撮像装置で撮像された画像のうち、スリット光の反射のみを認識するように撮像され、また画像処理された画像により、板から手又は足の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、透明板の下に設置し手又は足の全体の二次元画像を撮像する撮像装置を備え、該撮像装置により撮像された二次元画像データと前記撮像装置及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、該演算装置によって得られたデータを記憶する媒体とを備えた、又は接続したことを特徴とする手又は足の立体計測装置。
(５)上記の撮像装置がカメラであり、スリット光投光装置が１本又は複数のスリット光を照射するスリット光投光装置またはレーザ光投光装置である上記(４)の手又は足の立体計測装置。
(６) 上記の甲側上部に配置された撮像装置がカメラであり、二次元画像を撮像する撮像装置がフラットベッドスキャナに変えられている上記(５)の手又は足の立体計測装置。
(７)上記スリット光投光装置は、マトリックス状に配置された高輝度LEDから発光させた光を、被検査体である手又は足付近で平行な１本又は平行な複数のライン状になるように、１方向には拡散、それとクロスする方向には収束するように、シリンドリカルレンズと凸レンズが配置され、光の経路上に角度割出用モータの軸に取り付けられたミラーにより反射させ、割出モータの制御によって手又は足の全域にわたって計測可能なようにしたことを特徴とする上記(５)又は(６)の手又は足の立体計測装置。
(８)上記レーザ光投光装置は、ラインレーザ投光装置からのスリット光を手又は足の甲方向に屈折させるように、光の経路上に角度割出用モータの軸に取り付けられたミラーにより反射させ、割出モータの制御によって手又は足の全域にわたって計測可能なようにしたことを特徴とする上記(５)又は(６)の手又は足の立体計測装置。
(8'-1)光源の波長の光のみを通過させるバンドパスフィルタをカメラの前面に設置し、外光に影響されずに安定した撮像を可能にしたことを特徴とする上記(４)ないし(８)のいずれかの手又は足の立体計測装置。
(９)上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えたことを特徴とする上記(４)ないし(8'-1)のいずれかの手又は足の立体計測装置。
(10)上記(４)ないし(９)のいずれかの手又は足の立体形状計測装置であって、手の立体形状計測に際し、前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算することを特徴とする装置。
(10'-1)手首の位置決めのために前腕の支持体と掌の支持体の間に浅い角度を付けたことを特徴とする上記(10)の装置。
(11)採取した際に付加されるパーソナルデータ又は計測データで検索又は検索設定範囲内での平均、最大、最小データ、度数分布を表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供することを特徴とする上記(４)ないし(10)のいずれかの手又は足の立体計測装置。
(12)前記データベースが、パーソナルデータ（注文主の氏名、住所等）から、計測した個人の計測データをオーダーメード、イージーオーダー用として引き出すことのできるデータベースであることを特徴とする上記(４)ないし(11)のいずれかの手又は足の立体計測装置。
(13)前記データベースが、パーソナルデータの検索設定範囲（年齢、性別など）又は計測寸法データの検索設定範囲（手囲い等）から表示指寸法の平均、最大、最小データ、度数分布を表示し、量産手袋型作成用データとして引き出せるデータベースであることを特徴とする上記(11)又は(12)の手又は足の立体計測装置。
【０００９】
【発明の実施の形態】
本発明の手の立体計測の、撮像装置がカメラであり、スリット光投光装置が１本又は複数のスリット光を照射するスリット光投光装置である態様について、すなわち、測定する手を載置する透明板と、手の甲側上部に１本又は複数のスリット光を照射するスリット光投光装置と、該投光装置と離れて手の甲側上部に配置されたカメラと、該カメラで撮像された画像のうち、スリット光の反射のみを認識するように撮像され、また画像処理された画像により、板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、透明板の下に設置し手の全体の２次元画像を撮像するカメラを備え、該カメラにより撮像された２次元画像データと前記カメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、該演算装置によって得られたデータを記憶する媒体とを備えた、又は接続したことを特徴とする、ならびに、上記スリット光投光装置はマトリックス状に配置された高輝度LEDから発光させた光を、被検査体である手付近で平行な１本又は平行な複数のライン状になるように１方向には拡散、それとクロスする方向には収束するようにシリンドリカルレンズと凸レンズを配置され、光の経路上に角度割出用モータの軸に取り付けられたミラーにより反射させ、割出モータの制御によって手の全域にわたって計測可能なようにした手又は足の立体計測装置の態様について、以下に説明する。
【００１０】
まず、本発明の基本となる、LED（Light Emitting Diode）照明による立体計測を、図１及び２を用いて説明する。
基本的な光学系は、立体を計測する機能が上側のLED照明(3)とカメラ(1)で、手の各部位の推定機能が下側のLED照明(図示省略)とカメラ(2)で行われる。ここで、上側のLED照明(3)はスリット光を照射するために4×4の合計16個で構成している。なお、下側のLED照明(図示省略)は単に光源用のLEDであり、格別の制御は行っていない。図１は、上側のLED照明(3)として上下方向に4つのLEDを並べ、その前にシリンドリカルレンズ(4)と凸レンズ(5)を配置している様子を上から見た場合を、図２は同様の様子を横からみた場合を示している。横から見た場合、凸レンズ(5)のみが影響して4つのLEDは照射面で4つに分かれ、上から見た場合には、シリンドリカルレンズ(4)と凸レンズ(5)の両方の作用により、照射面で横に広がる。これによって、照射面では上下方向に４本のスリット光が得られる。この図では上下方向に並んだ4個のLEDを用いているが、実際には、１個のLEDを横に拡げるとスリット光の光量が足りないために、明るく見えない。そこで、横方向にも複数個のLEDを並べることによって、光量を確保している。
【００１１】
手の甲側の立体画像の撮像は、従来公知の「光切断法」（例えば、井口征士、佐藤宏介著「３次元画像計測」照晃堂）によって行う。手の各部位の推定は、従来の方法では、手の甲側の画像と三次元計測結果を用いて手の輪郭線を抽出した結果から求めていた。具体的には、手の輪郭線の曲率に注目し、曲率が大きく変化する部分が指の先や付け根であることを利用して指の位置を推定していた。また、手の付け根についても同様に曲率を用いて求めていたが、しかし、本発明は、手の甲側の画像は立体計測のためだけに利用し、各部位の推定は掌側から撮像した画像のみを利用する。
【００１２】
「光切断法」により、１本のスリット光をカメラで撮影し、その撮像から高さを求める方法は、図４に示すように、LEDの照射方向と対象面の角度θ1、スリット光が対象に照射された場合のカメラの視線と対象面がなす角度θ2、対象面でのLED照射位置と、視線位置の距離をＬとすると、高さDは次の式(1)で求められる。
【数１】
本発明の場合、複数本のスリット光が一度に照射されていることから、各スリット光に対して上記の式(1)を適用して高さを求めていくことになるが、その際に画像中にある光がどのスリット光に対応するかを決定する必要がある。この問題を解決するためにコード化パターン法を用いるか、手の形状に関する制約条件を用いることとなる。ここで、θ1はミラーの回転角度とLEDによって求めることが可能であり、θ2はCCDカメラの画素ごとに求めることが可能である。さらに、Lについても、対象面に照射した各スリット光がCCDカメラのどの画素に見えているか（スリット位置）を最初に記憶しておけば簡単に求めることができる。
【００１４】
そこで、初期設定によって、θ1、θ2とスリット位置をあらかじめ求めておくことで、計測時にはLEDがカメラのどの画素に見えているかを調べるだけで高さを求めることが可能となる。
【００１５】
【作用】
透明板上に掌側が接触するように載置した手を、手の上下方向に配置したCCDカメラの一方のCCDカメラで掌側を二次元画像として撮像し、他方のCCDカメラでスリットパターンを用いて甲側を三次元画像として撮像し、それらの撮像を画像処理した上で合成し、立体寸法を計測し、その計測結果にもとづき手袋の型紙を作成するか、計測結果を蓄積したものを手袋型紙の製造用データベースとする。
【００１６】
手又は足の立体計測において、例えばイージーオーダにより手袋を製作するための手の立体形状データ又は必要長さを得るために応用することができる。そのために、手相も撮像し、手袋製造に必要となる手の部位を簡単にかつ正確に計測することができる。これらの計測データを蓄積し、例えば成人男子の手の形がどのようなものであるか、それを定量的に示す基本データの作成に寄与することができる。手の甲側からのカメラ撮像では前腕と手首の境界を判別するための特徴がほとんどないので、手の甲側に加えて掌側からもカメラ撮像を行う。これは、掌側からの画像であれば、前腕と手首の境界の特徴として、しわなど用いることが可能となるためである。
さらに、手袋サイズの基本と考えられている手囲いは、「左手の小指の付け根と手首を結んだ線の、手首から1/3の距離の点と生命線の始点とを結んだ周りの長さ」と定義されており、掌側からの画像があれば生命線の始点も正確に推定可能であるため、手囲いの定義通りの正確な位置を求めることも可能となる。
【００１７】
【実施例】
図面にもとづいて本発明の装置の実施例を説明するが、本発明の細部の構成はこの実施例により特定されるものではない。
【００１８】
実施例１
図１、２は、本発明の一実施例であり、手の立体計測装置は、投光部とカメラとからなる計測部と、計測部の作動を制御するするとともに、撮像カメラによって撮像された画像を処理する制御・画像処理部と、操作盤及びモニターとで構成されており、計測部と制御・画像処理部とは一体にしても別体に形成しても良い。
【００１９】
図１及び図２において、(1)は甲側立体画像撮像用CCDカメラであり、(2)は掌側平面画像撮像用CCDカメラであり、(3)は高輝度LEDをマトリックス状に配置したものを光源とし、シリンドリカルレンズ(4)と凸レンズ(5)を経路に配置し、手の甲付近にスリット光(6)を設定された間隔で発生させるLEDスリット光投光装置であり、(7)は投光装置からのスリット光を手の甲方向に屈折させるミラーであり、(8)はミラーを固定するとスリット光を受光できない箇所が発生するための位置決め用ステップモータ（ミラー駆動用の割出モータ）であり、モータドライバー(9)が信号入出力装置(10)からの割出指令により割出動作させミラー(7)を割出すためのものであり、(11)はCPU、(12)はメモリであり、投光装置(３)の各列ごとにＬＥＤ点灯消灯信号及びステップモータ(８)の駆動信号の送受信を行う信号入出力装置は図示省略しており、CCDカメラ(1)，(2)への撮像タイミング信号の送信、CCDカメラ(1)，(2)からの画像信号を行い、また、CCDカメラ(1)，(2)からの画像をプログラムにより画像処理して、若しくは、そのままハードデイスク(図示省略)に記憶させる画像信号入出力装置である。
【００２０】
上記投光装置によると、LEDで作られた４本のスリット光はミラーによって下方に向きを変え、手に照射される。ミラーを回転させることでスリット光を図２の左右方向に移動するため、手全体に対してスリット光を照射することが可能となる。また、回転ミラーを用いることによって、LED、レンズ類、ミラー、CCDカメラをほぼ同じ高さに配置することが可能となり、立体計測のための光学系がコンパクトに構成できる。
【００２１】
上記各部材を収納する筐体(20)は、測定者の手を挿入する挿入孔(21)が設けられており、筐体(20)内部には測定する手を載置する透明板(22)が設けられており、手首の位置決めのために前腕の支持体と掌の支持体の間に浅い角度（10〜45度）が付けられている。
【００２２】
上記のとおり、掌側からの画像を得るために、手を置く基準台を透明板(22)にしたので、曲率に加えて新しく手相、透明板との接触度の二つの特徴が利用可能となった。そこで、指の付け根については、従来通り輪郭線の曲率を用いるが、新しい特徴を用いて以下の位置を推定することとする。
・手囲いの親指側の開始点：手相を見て生命線の開始点
・前腕と手首の境界：透明板に密着している部分の手首側の端
なお、手の甲側を撮像する際には、透明板と接触している部分は明るく、離れている部分は暗くするように、手元および手先側から斜光照明を行った。これにより、透明板との接触度が明確になることが期待できる。
【００２３】
上記筐体(20)内部上方に配置され、手の甲側上部に複数のスリット光(6)を照射するスリット光投光装置は、詳しくは、マトリックス状に配置された高輝度LEDから発光させた光を被検査体である手の甲付近で平行な複数のライン状になるように１方向には拡散、それとクロスする方向には収束するようにシリンドリカルレンズ(4)と凸レンズ(5)を配置され、光の経路上に角度割出用モータの軸に取り付けられたミラー(7)により反射させ、位置決めモータ(8)の制御によって手の全域にわたって計測可能に構成されている。なお、LED光源は点光源であることが好ましい。
【００２４】
また、割り出し制御されるミラー駆動用の位置決めモータ(8)と、モータを駆動するミラー駆動部と、ミラー角度信号をミラー駆動部に出力する出力装置と、ミラー(7)の角度に応じたミラー角度信号を出力するミラー駆動部と、ミラー駆動部からのミラー角度信号にもとづいて光源(3)のLEDを点灯制御される。また、光源(3)の波長の光のみを通過させるバンドパスフィルタ（図示省略）をCCDカメラ(1) ，(2)の前面に設置し、外光に影響されずに安定した撮像を可能に構成されている。なお、本装置では、オレンジ色の高輝度LEDを使用し、CCDカメラ(1)，(2)の前面に赤色透過フィルタを使用したが、高輝度赤外LEDと赤外光フィルタをバンドパスフィルタとして利用すれば、さらに外光の影響を受けけにくく好ましい。
【００２５】
上記スリット光投光装置と離して筐体(20)の内部の透明板(22)の上方に配置され、甲から反射した光を撮像し、上部立体画像情報を提供する甲撮像用CCDカメラ(1)と、筐体(20)内部の透明板(22)の下方に配置され、透明板を通過した光を撮像し、下部平面情報を提供する掌撮像用CCDカメラ(2)とで構成されており、甲撮像用CCDカメラ(1)はスリット光の反射のみを認識するように撮像し、CCDカメラ(2)は、透明板(23)を透過した光を認識するように手の二次元画像を撮像すべく構成されている。
【００２６】
図３は、本発明の手の立体計測装置の一例のブロック図である。CCDカメラ（1），（2）により撮像され画像処理された画像により、板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、CCDカメラ（1），（2）により撮像された二次元データと前記カメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、演算装置によって得られたデータを記憶する媒体を備えている。
【００２７】
前記下からの二次元画像は手相が判別可能であり、これらのカメラ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの2/3の長さのいずれかの外周部の位置とを特徴点とし手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する。上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えている。
【００２８】
なお、本発明の手の立体計測装置を制御するプログラムは、被計測者の個人情報を入力するためのパーソナルデータ入力プログラム、スリット光を規則通りに照射するためにモータ駆動命令（ミラー割出）し、LEDパターン発光命令をし、さらに、計測装置の作動を制御する、撮像用プログラムと、撮像された画像を形状データに変換し、計測データにもとづき必要寸法を計算し、計算結果をデータエリアに記憶させるための演算プログラムとで構成されている。
【００２９】
また、図３は、本発明の手の立体計測装置（図３中、２点鎖線で囲った部分）によって採取した計測結果を、データベースとして提供できるようにしたシステムのブロック図であり、採取した際に付加されるパーソナルデータ又は計測データで検索又は検索設定範囲内での平均、最大、最小データを表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供するために、データ記憶装置に加えて計測結果を蓄積することでデータベースとして提供できるようにしたものであり、CPU(11）は、手の甲側及び掌側の画像、立体・平面形状データ、計測寸法データを、インターネット又はLANを介してデータベース／サーバに転送するか、CD-RW等の記憶媒体を介してデータベース/サーバに転送する。
【００３０】
なお、上記計測装置は登録された秘密鍵を持ち、採取されたデータを記録する際にこの計測装置で採取された証明となる電子署名を付加された上でデータ登録され、上記の秘密鍵に対応した公開鍵により署名の正当性を認められた計測データのみで構成されるデータベースとすることが好ましい。
【００３１】
次に、図５、６、７により、画像の処理方法を説明する。
《平面画像の処理》
・平面画像による計測にもとづく測定寸法の種類としては、各指の長さ、手長等が有り、図５上の、A、Bをあらかじめ計測しておき撮像された各ポイントが写される画像の位置からXY座標系への位置変換が行えるようにしておき、平面画像の処理は各画素の位置をXY絶対座標系に換算した平面データにしてから行う。なお、レンズの収差補正のためにはさらに多くのポイントを設けておいてもよい。また、立体画像の撮像時に、LED光が透明板で反射して立体計測時に計測の障害になるのを防ぐため平面撮像した後、絶対座標に変換した手の領域以外は、立体側側撮像からマスクする操作を行うことが好ましい。
【００３２】
《立体画像の処理》
立体画像の撮像にあたっては、平面画像と同じく、図６上の、A、B寸法はあらかじめ計測しておき撮像された各ポイントが写される画素の位置から基準点からのXYZ絶対座標系への位置変換が行えるようにしておく。また、平面画像の撮像の場合と同様に、レンズの収差補正のためにはさらに多くのポイントを設けておいてもよい。
【００３３】
《画像の合成と立体寸法計測》
図７に示すように、上記の処理をなされた平面画像と立体画像とを、以下の工程を経てデータリンクする。
▲１▼ 初期設定：板上にいくつかのポイントを置き、それがどちらかのCCDカメラのどの画素に写る。その反対側CCDカメラのどの画素に写るかをあらかじめ調べる。
▲２▼ 画素位置対応：▲１▼から掌側撮像の各画素で見えている点が甲側撮像の各画素のどの位置で見えるかを特定できるようにしておく。
▲３▼ 掌画像で計測位置・箇所を特定・選択
▲４▼ 甲側撮像と計算により、2.5次元（それぞれの二次元位置とその高さ）を計測する。
▲５▼ 甲側の座標値と掌側の座標値の整合性を▲１▼▲２▼による補正によりとる。
▲６▼ ▲３▼の計測位置での高さから立体形状の断面の輪郭線を出して必要寸法を得る。
したがって、立体画像から計測された立体データと平面画像から計測された平面形状データ、どちらも基準点からのXY、又はXYZ絶対座標系になっているので単純にデータ合成することができる。
【００３４】
平面画像の処理により設定した特徴点から必要な立体形状寸法の断面の輪郭を抽出し、外周寸法を計測する。図で示しているのは手囲寸法で小指の付け根と手首の間を三等分した点の手首側の点と生命線発生点を結ぶ周囲長の計測を表示する。なお、光線が当たらない掌側の陰は円筒近似を用いることで対応する。
【００３５】
次に、図８のフローチャートを参考に、本発明の手の立体計測装置を用いて手の立体形状を計測する方法を説明する。
まず、掌側から画像を撮像し、その画像から手の領域を抽出する。具体的には、手のない状態で撮像した画像から、手のある状態の画像を差分し、その結果画像を２値化処理することによって手の領域を抽出する。次に、上のLED照明とステッピングモータを制御しながら、スリット光照射画像を撮像する。ここで、本実施例では、１回の撮像で４本あるLEDスリット光の偶数番目か奇数番目のいずれか２本を照射するため、同一のミラー角度ではLEDの制御を行って２回撮像することとなる。ミラーは１回に0.7度の角度で16回回転させることから合計32枚の画像が得られ、この結果として64本のスリット光による立体計測が可能である。
【００３６】
次に、この32枚のスリット光照射画像から手の領域の画像のみを切り出す、この処理は、手の領域以外の透明板上で発生するLED光の反射成分を除去することを目的としている。手の領域のみのスリット光画像が得られると、そこからスリット光を抽出しその重心位置を求める。具体的には、横方向の成分に感度のある２階差分処理を行った後、２値化処理して得られた成分について、縦方向の輝度値の加重平均を行って重心位置を求める。さらに求めた重心位置からカメラの視線角度を求め、それを前記式(1)に代入することで高さ方向を求める。
【００３７】
高さ方向の次は、手の各部位の推定処理を行う。まず、掌側からの画像から手の輪郭線や、生命線を抽出し、それに基づいて各部位を推定する。ここで、指の部位の推定方法は、従来通り輪郭線の曲率であり、前腕と手首の境界、手囲いの親指側の開始点は、手囲いの親指側の開始点：手相を見て生命線の開始点、及び、前腕と手首の境界：透明板に密着している部分の手首側の端とする。
【００３８】
上記の処理の結果、高さ計測と各部位の位置推定が完了する。そこで、推定部位間の二次元的な距離を求めるとともに、手囲いなどの立体的な形状値については、計測した高さと各部位の位置から立体的な断面の輪郭の外周寸法を求める。最後に、これら求めた計測結果と画像を表示し、パーソナルデータを入力することで計測データをハードディスクに保存し、１人の形状計測が終了することになる。
【００３９】
実施例２
この実施例は、測定する手を載置する透明板と、手の甲側上部に１本または複数のスリット光を照射するレーザ光投光装置と、該投光装置と離れて手の甲側上部に配置されたカメラと、該カメラで撮像された画像のうち、スリット光の反射のみを認識するように撮像され、また画像処理された画像により、板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、透明板の下に設置し手の全体の２次元画像を撮像するフラットベッドスキャナーを備え、該カメラにより撮像された２次元画像データと前記カメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、該演算装置によって得られたデータを記憶する媒体とを備えた、または接続したことを特徴とする態様の手の立体計測装置である。
図９及び図10は、本発明の他の実施例であり、この実施例は、投光部にラインレーザ投光装置を用いて細くはっきりとしたライン光の投射を可能にしたこと、及び、掌の計測にフラットベッドスキャナを用い、掌側の照明装置を不要にしたこと、により装置全体の小型化を可能にした点で実施例１と相違している。
以下、その構成を説明するが、説明中実施例１と共通部分には同一符号を付してある。
【００４０】
図９及び図10において、(1)は甲側立体画像撮像用CCDカメラであり、(37)は掌側平面画像撮像用フラットベッドスキャナであり、(36)はスリット光を投光するラインレーザ投光装置であり、(7)はラインレーザ投光装置(36)からのスリット光を手の甲方向に屈折させるミラーであり、(8)はミラー駆動用のステップモータであり、モータードライバー(9)が信号入力装置(10)からの割出指令により割出動作させミラー(7)を割出すためのものである。
【００４１】
したがって、ラインレーザ投光装置(36)からのスリット光はミラーによって下向きに変え、手に照射される。ミラーを回転させることでスリット光を図10の左右方向に移動するため、手全体に対してスリット光を照射することが可能となり、また、回転ミラーを用いることによって、レーザ光源、ミラー、CCDカメラをほぼ同じ高さに配置することが可能となり、立体計測のための光学系がコンパクトに構成でき、フラットベッドスキャナを用いたので、CCDカメラを採用した実施例１の手の立体計測装置に比べ装置全体の高さを低くすることができる。
【００４２】
また、図中、(11)はCPU、(12)はメモリ、(14)はステップモータ(8)の駆動信号の送受信を行う信号入出力装置であり、CCDカメラ(1)及びフラットベッドスキャナ(37)への撮像タイミング信号の送信、CCDカメラ(1)及びフラットベッドスキャナ(37)からの画像信号を行い、また、CCDカメラ(1)及びフラットベッドスキャナ(37)からの画像をプログラムにより画像処理して、若しくは、そのままハードディスク(13)に記憶させる画像信号入出力装置である。
【００４３】
上記各部材を収納する筐体(20)は、測定者の手を挿入する挿入口(21)が設けられており、筐体(20)内部には測定する手を載置する透明板(22)が設けられている。本実施例では、掌側の撮像には公知のフラットベッドスキャナ（例えば、キャノン株式会社製CanoScan LiDE30）を用い、上記透明板(22)フラットベッドスキャナ(37)の上面透明板で兼用している。
なお、フラットベッドスキャナによる手の領域の抽出は、実施例１における下方のCCDカメラ(2)と同様であるが、明るさの閾値をもって輪郭の判断が可能になり、閾値を変えることで手相の判定が可能になり特定点の抽出を安定して行えるようになる。
【００４４】
また、上記筐体(20)の上部には、公知のレーザ光源（例えば、エフエムレーザーテック株式会社製LML-12-670-3）が配設されており、非球面レンズ、シリンドリカルレンズ等とでラインレーザ投光装置(36)を構成している。
ラインレーザ投光装置(36)の発光とミラーの駆動用の位置決めモータ(8)は、実施例１の場合と同様に、割り出し制御されるミラー駆動用の位置決めモータ(8)と、モータを駆動するミラー駆動部と、ミラー角度信号をミラー駆動部に出力する入力装置と、ミラー(7)の角度に応じたミラー角度信号を出力するミラー駆動部と、ミラー駆動部からのミラー角度信号にもとづいて光源(3)のLEDを点灯制御される。
【００４５】
図11は、手の立体計測装置（図中２点鎖線で囲った部分）及び同装置によって採取された計測結果を、データベースとして提供できるようにしたシステムのブロック図であり、手の立体計測装置は、CCDカメラにより撮像され画像処理された画像により、透明板から手の甲のスリット光が当たる点までの最短高さを計算する画像処理装置と、フラットベッドスキャナにより撮像された二次元データと前記CCDカメラ及び画像処理装置により得られた立体形状データが整合性を持って組み合わされるように修正する演算装置と、演算装置によって得られたデータを記憶する媒体を備えている。
【００４６】
前記下からの二次元画像は手相が判別可能であり、フラットベッドスキャナ画像と立体形状データを元に、生命線の親指側の発生点と、感情線の小指側発生点又は小指の付け根から外縁を手首に向かい、手首までの2/3の長さのいずれかの外周部の位置とを特徴点として手の形状寸法に対する、二つの特徴点を結ぶ直線上を通過する、垂直断面の輪郭の周囲長を計算する。上記データを採取する際にパーソナルデータをデータに付加するように対話プログラムを付加された計測プログラムを備えている。
【００４７】
なお、本実施例の手の立体計測装置を制御するプログラムは、被計測者の個人情報を入力するためのパーソナルデータ入力プログラムと、レーザ光を規則通りに照射するためにモータ駆動命令（ミラー割出）し、計測装置の作動を制御する撮像用プログラムと、撮像された画像を形状データに変換し、計測データにもとづき必要寸法を計算し、計算結果をデータエリアに記憶させるための演算プログラムとで構成されている。
【００４８】
また、図11は、本実施例の手の立体計測装置（図11中、２点鎖線で囲った部分）によって採取した計測結果を、データベースとして提供できるようにしたシステムのブロック図であり、採取した際に付加されるパーソナルデータ又は計測データで検索又は検束設定範囲内での平均、最大、最小データを表示可能な本体内、ネットワーク上、インターネット上にあるデータベースに提供するために、データ記憶装置に加えて計測結果を蓄積することでデータベースとして提供できるようにしたものでありCPUは、甲側及び掌側画像、立体・平面形状データ、計測寸法データを、インターネット又はLANを介してデータベース／サーバに転送するか、CD-RW等の記憶媒体を介してデータベース/サーバに転送する。
【００４９】
なお、この実施例においても前記実施例１と同様に、上記計測装置は登録された秘密鍵を持ち、採取されたデータを記録する際にこの計測装置で採取された証明となる電子署名を付加された上でデータ登録され、上記の秘密鍵に対応した公開鍵により署名の正当性を認められた計測データのみで構成されるデータベースとすることが好ましい。
【００５０】
この実施例における、平面画像の処理、立体画像の処理、画像の合成と立体寸法計測は、図５、図６及び図７に示す前記実施例１と同様に行い、また、手の立体計測装置を用いて手の立体形状を計測する方法は、図12のフローチャートに示す実施例１と同様で有る。
【００５１】
次に、図13にしたがって、本発明の手の立体計測装置を用いて手袋製造用の型紙を作成する方法、及び、手の立体計測装置を用いて計測した結果をデータベース化して手袋の製造に利用する例を説明する。
【００５２】
データベースには、手の立体計測装置を用いて計測した多数人のパーソナルデータ（年齢、性別等）、甲側立体画像及び掌側平面画像、並びに、立体形状データ及び平面形状データが蓄積されており、このデータベースを用いて手袋の型紙を作成する場合（イージーオーダによる作成）には、製造者は手袋作成依頼人のパーソナルデータ入力し、パーソナルデータにもとづきデータベースから必要項目の計測寸法、掌側平面画像を呼び出し掌側平面画像で確認すると共に、計測寸法にもとづき型紙を製作することができる。
【００５３】
また、計測寸法を検索対象にすると手囲い等とその他の手の形状データの相関関係について平均値や度数分布を知ることが、型の寸法決定に役立ち、想定された層の人々に適合する型を作る場合には、想定された人々のパーソナルデータを検索範囲に設定し平均値や度数分布により、より多くの人々にマッチする型を得ることができる。
【００５４】
例えば４〜５歳の日本人男子の場合には、表１及び表２に示すように、手囲１０３ｍｍ、手長１１３ｍｍの寸法が呼び出されるので、手袋製造業者はその数値にもとづいて手袋を製造することにより、４〜５歳の日本人男子の手に合う手袋が容易に提供することができる。
【００５５】
【表１】
なお、「手囲い」を上記のように定義したが、この定義は必ずしも統一されたものではないが、本発明の装置によれば、手の特徴とする点が撮像されているので、実際の使用にあったては、各使用者が使用している定義にもとづいて、求める寸法を計測することが可能であり、その定義の例としては次のようなものがある。
・手を広げたときの人差し指の付け根と小指の付け根の周囲
・親指側の生命線発生点と小指側の感情線発生点の周囲
・親指側の生命線発生点小指の付け根から外縁を手首に向かい、手首までの2/3の長さの位置の周囲
・親指の手首側の付け根の位置と小指の付け根から外縁を手首に向かい、手首までの2/3の長さの位置の周囲
・親指の手首付け根の位置と小指側の感情線発生点の周囲
【００５７】
【表２】
製造依頼人の手に確実にフィットする手袋の型紙を作成（オーダーによる作成）する場合には、手の立体計測装置により必要項目の寸法を計測し、その計測結果をオンライン又は記録媒体を介して製造者に送り、製造者はそのデータにもとづき型紙を作成する。なお、この場合、計測結果は、パーソナルデータと共にデータベースに登録して、データベースの内容を充実させることが好ましい。
【００５９】
なお、上記計測装置は登録された秘密鍵を持ち、採取されたデータを記録する際にこの計測装置で採取された証明となる電子署名を付加された上でデータ登録され、上記の秘密鍵に対応した公開鍵により署名の正当性を認められた計測データのみで構成されるデータベースとすることができる。
【００６０】
実施例３
《足の立体形状の計測》
図15及び16は、本発明の他の実施例であり、この実施例は、足の立体形状の計測装置に関するものである。
【００６１】
該装置の構成は、基本的には手の立体計測装置と同様であるが、筐体を被測定者が、爪先及び踵を上方のカメラに向けて載置できるように構成し、また、制御部が、爪先側から撮像し画像処理された合成画像と、踵側から撮像し画像処理された合成画像とを、さらに、足裏側を一致させて合成して足の三次元画像を形成する機能を有するように構成した点で相違している。
【００６２】
図15により足の立体計測装置を用いて足を立体計測する方法を説明する。
計測すべき足の爪先を上方のカメラで撮像できるように透明板上に載置し、上方のカメラで足の爪先側の三次元画像を撮像し、下方のカメラで足の裏の二次元画像を撮像し、両画像を合成し爪先側の合成画像を得る（図15(a)）。次に、計測すべき足の載置方向を変えて足の踵を上方のカメラで撮像できるように透明板上に載置し、上方のカメラで足の踵側の三次元画像を撮像し、下方のカメラで足の裏の二次元画像を撮像し、両画像を合成し踵側の合成画像を得る（図15(ｂ)）。
【００６３】
次いで、図16(a)〜(c)に示すように、（平面）XY座標と（立体）XYZ座標の合成データを足に貼り付けたどちらかのポイントから他方のポイントへの方向をＶ軸とする３軸の直交座標の合成データに変換し２組のデータを合成する。
【００６４】
上記方法によって撮像された足の立体形状によると、甲の高さ、幅、土踏まずの形状等が靴の製造に必要な条件を簡単に特定できるので、靴等履き物の製造に有用である。
【００６５】
【発明の効果】
上記構成の、本発明の手又は足の立体計測装置は、手又は足の甲側からの画像認識に加えて掌又は足の裏側からの画像認識することにより、掌又は足の裏側の特徴を決定条件として利用するので、手袋等の製造に必要なデータを正確に計測し、イージーオーダシステムを可能にし、また、極めて容易に多くの手形等の形状データを得ることができ、さらには、特定の層の人間に限定したなかで平均的な手形等を得ることができる。
【００６６】
また、本発明の手又は足の立体計測装置は、小型化が可能であり、販売店の店頭に置くことで、数多くのサイズのなかから自分に合ったサイズのゴルフ手袋等を素早く選ぶことを可能とする。さらに、手袋等の型を見直す際に、購入した各個人のサイズをもとに再設計をすることが可能になる。
【００６７】
さらに、本発明の手の立体計測装置は、筐体の構造を一部改良することにより、足の立体形状等、周面全体の特徴を考慮する必要のある物体の計測にも転用でき、利用分野の拡張が可能である。
【図面の簡単な説明】
【図１】手の立体計測装置の実施例１の概略図である。
【図２】手の立体計測装置の実施例１の詳細図である。
【図３】手の立体計測装置の実施例１のブロック図である。
【図４】光切断法の説明図である。
【図５】平面画像の処理説明図である。
【図６】立体画像の処理説明図である。
【図７】手の立体計測装置による画像の合成方法の説明図である。
【図８】実施例１における手の立体計測の全体フローである。
【図９】手の立体計測装置の実施例２の概略図である。
【図１０】手の立体計測装置の実施例２の詳細図である。
【図１１】手の立体計測装置の実施例２のブロック図である。
【図１２】実施例２における手の立体計測の全体フローである。
【図１３】本発明の手の立体計測装置を手袋の製造に応用したブロック図である。
【図１４】従来の手の立体計測装置の概略図である。
【図１５】足の立体計測装置の概略図である。
【図１６】足の立体計測装置による画像の合成方法の説明図である。
【符号の説明】
１ 甲側立体画像撮像用CCDカメラ
２ 掌側平面画像撮像用CCDカメラ
３ 高輝度LEDをマトリックス状に配置したものを光源
４ シリンドリカルレンズ
５ 凸レンズ
６ スリット光
７ ミラー
８ 位置決め用ステップモータ（ミラー駆動用の割出モータ）
９ モータドライバー
10 信号入出力装置
11 CPU
12 メモリ
13 ハードディスク
14 画像信号入出力装置
20 筐体
21 挿入孔
22 透明板
30 モノクロCCDカメラ
31 ラインレーザ
32 リニアスライダ
33 照明パネル
34 制御装置
35 パソコン
36 ラインレーザ投光装置
37 フラットベッドスキャナ
100 モノクロCCDカメラ
101 ラインレーザ
102 リニアスライダ
103 照明パネル
104 制御装置
105 パソコン
Claims (13)
- 手の甲側から三次元画像認識をし、掌側から二次元画像認識をする手の立体計測法であって、
透明の基準台に置かれた手について、掌側の手相を含む二次元画像を撮像および複数本のスリット光を照射して甲側の三次元画像を撮像する工程、
前記手相を含む二次元画像に基づき手の外周寸法を計測し、各部位の位置を推定する工程、
前記三次元画像に基づき手の高さを計測する高さ計測工程、
前記二次元画像および前記三次元画像を基準点からの絶対座標に基づき合成した合成画像から手の断面の輪郭線を抽出して立体寸法を計測する工程、
を含む手の立体計測法。 - 前記基準台に手が置かれていない状態で撮像した二次元画像と、前記基準台に手が置かれた状態で撮像した二次元画像とを取得し、両二次元画像の差分画像を取得し、当該差分画像を二値化処理することによって手の領域を抽出する工程を含み、
前記高さ計測工程は、前記三次元画像から手の領域の画像のみを切り出して行われることを特徴とする請求項１の手の立体計測法。 - 手の立体寸法を計測するに際し、前記二次元画像に基づき手相を判別し、生命線の親指側の発生点を第１の特徴点とし、感情線の小指側の発生点又は小指の付け根から外縁を手首に向かい、手首までの２／３の長さの位置を第２の特徴点とし、前記二次元画像および前記三次元画像に基づき第１および第２の特徴点を結ぶ略直線上の手の周囲長を計算する工程、を含む請求項１又は２の手の立体計測法。
- 手の各部位の位置を推定する工程において、前記二次元画像に基づき前記基準台に密着している部分の手首側の端を判別することにより前腕と手首の境界を判定することを特徴とする請求項１ないし３のいずれかの手の立体計測法。
- 請求項１ないし４のいずれかの手の立体計測法により取得した手の立体寸法に基づき作成した手袋の型紙を用いて手袋を製造することを特徴とする手袋の製造方法。
- 測定する手を載置する透明の基準台と、手の甲側上部に１本又は複数本のスリット光を照射するスリット光投光装置と、手の甲側上部に配置された三次元画像撮像装置と、基準台に載置された掌側を手相を含め撮像する二次元画像撮像装置と、演算手段および記憶手段を有する処理部と、を備え、
前記処理部が、前記二次元画像撮像装置からの手相を含む二次元画像データに基づき手の外周寸法を計測し、各部位の位置を推定すること、前記三次元画像撮像装置からの三次元画像データに基づき手の高さを計測すること、前記二次元画像および前記三次元画像を基準点からの絶対座標に基づき合成し、当該合成画像から手の断面の輪郭線を抽出して立体寸法を計測すること、を特徴とする立体計測装置。 - 前記処理部が、前記基準台に手が置かれていない状態で撮像した二次元画像と、前記基準台に手が置かれた状態で撮像した二次元画像とを取得し、両二次元画像の差分画像を取得し、当該差分画像を二値化処理することによって手の領域を抽出する機能を有することを特徴とする請求項６の立体計測装置。
- 前記三次元画像撮像装置がカメラであり、前記二次元画像撮像装置がフラットベッドスキャナである請求項６または７の立体計測装置。
- 前記スリット光投光装置は、マトリックス状に配置された高輝度ＬＥＤから発光させた光を、被検査体である手付近で平行な１本又は平行な複数のライン状になるように、１方向には拡散、それとクロスする方向には収束するように配置された、シリンドリカルレンズと凸レンズを有することを特徴とする請求項６ないし８のいずれかの立体計測装置。
- 前記スリット光投光装置は、光の経路上に設置されたミラー、ミラーの角度割出用モータおよびラインレーザ投光装置を有し、ラインレーザ投光装置からのスリット光を手の甲方向に屈折させるように前記ミラーにより反射させ、前記角度割出モータを制御することによって手の全域にわたって投光可能に構成される請求項６ないし９のいずれかの立体計測装置。
- 前記処理部が、複数の被測定者から採取した手の立体寸法の計測結果が格納されるデータベースを備えることを特徴とする請求項６ないし１０のいずれかの立体計測装置。
- 前記データベースの格納情報に基づき手袋型作成用データを出力する手段を備えることを特徴とする請求項１１の立体計測装置。
- 請求項６ないし１２のいずれかの立体計測装置において、
前記処理部が、前記二次元画像撮像装置からの爪先側および踵側の二次元画像データに基づき足の外周寸法を計測し、各部位の位置を推定すること、前記三次元画像撮像装置からの爪先側および踵側の三次元画像データに基づき足の高さを計測すること、前記二次元画像および前記三次元画像を基準点からの絶対座標に基づき合成し、当該合成画像から足の断面の輪郭線を抽出して立体寸法を計測すること、を特徴とする立体計測装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003101801A JP4551626B2 (ja) | 2002-04-04 | 2003-04-04 | 手の立体計測法及び立体計測装置 |
| PCT/JP2003/013159 WO2004089136A1 (ja) | 2003-04-04 | 2003-10-15 | 手又は足の立体計測法及びその装置 |
| AU2003273005A AU2003273005A1 (en) | 2003-04-04 | 2003-10-15 | Method and device for three-dimensional measurement of hand or foot |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002102113 | 2002-04-04 | ||
| JP2003101801A JP4551626B2 (ja) | 2002-04-04 | 2003-04-04 | 手の立体計測法及び立体計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004003086A JP2004003086A (ja) | 2004-01-08 |
| JP4551626B2 true JP4551626B2 (ja) | 2010-09-29 |
Family
ID=30446623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003101801A Expired - Fee Related JP4551626B2 (ja) | 2002-04-04 | 2003-04-04 | 手の立体計測法及び立体計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4551626B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4608293B2 (ja) * | 2003-12-25 | 2011-01-12 | 株式会社プレックス | 手の立体計測装置及び方法 |
| JP2006127286A (ja) * | 2004-10-29 | 2006-05-18 | Masami Unno | 遠隔型易断鑑定システム |
| KR101116896B1 (ko) * | 2009-01-16 | 2012-06-28 | 주식회사 아이옴니 | 패턴생성 장치 및 방법과 장갑 주문제작 장치 및 방법 |
| US8567081B2 (en) * | 2010-08-31 | 2013-10-29 | Northwest Podiatric Laboratory, Inc. | Apparatus and method for imaging feet |
| KR101255194B1 (ko) * | 2011-03-28 | 2013-04-23 | 강정수 | 거리측정방법 및 장치 |
| ITMI20131810A1 (it) * | 2013-10-31 | 2015-05-01 | Michele Sculati | Metodo e sistema per una definizione personalizzata di dosaggi alimentari sulla base di una determinazione di parametri antropometrici |
| JP6173984B2 (ja) * | 2014-08-08 | 2017-08-02 | ソフトバンク株式会社 | ３ｄモデリング情報作成支援システム、３ｄモデリング情報作成支援方法、及び３ｄモデリング情報作成支援プログラム |
| JP6412809B2 (ja) * | 2015-01-26 | 2018-10-24 | マミヤ・オーピー株式会社 | 手の三次元形状測定方法、三次元形状測定器および三次元形状測定用プログラム |
| JP2018189369A (ja) * | 2015-09-28 | 2018-11-29 | 株式会社ドリーム・ジーピー | 三次元計測装置 |
| JP6699176B2 (ja) * | 2016-01-06 | 2020-05-27 | カシオ計算機株式会社 | 描画装置、その描画制御方法及び描画制御プログラム |
| JP6557167B2 (ja) * | 2016-04-07 | 2019-08-07 | 株式会社アシックス | スポーツ用手保護具選択支援システム及び方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09504096A (ja) * | 1993-08-11 | 1997-04-22 | リーバイ ストラウス アンド カンパニー | 自動衣服検査及び測定システム |
| JP2001000207A (ja) * | 1999-06-17 | 2001-01-09 | Asics Corp | 足型検出表示装置 |
| JP2001012922A (ja) * | 1999-06-29 | 2001-01-19 | Minolta Co Ltd | ３次元データ処理装置 |
| JP2002081912A (ja) * | 2000-09-11 | 2002-03-22 | Moon Star Co | 足サイズ測定器 |
| JP2002107127A (ja) * | 2000-10-02 | 2002-04-10 | Sanyo Electric Co Ltd | 形状測定装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3234040B2 (ja) * | 1993-04-15 | 2001-12-04 | オリンパス光学工業株式会社 | 衣服適合性判断システム |
| JP3414019B2 (ja) * | 1995-01-06 | 2003-06-09 | ミノルタ株式会社 | 形状計測装置 |
| JP3912867B2 (ja) * | 1997-09-29 | 2007-05-09 | シーケーディ株式会社 | 足型計測装置 |
-
2003
- 2003-04-04 JP JP2003101801A patent/JP4551626B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09504096A (ja) * | 1993-08-11 | 1997-04-22 | リーバイ ストラウス アンド カンパニー | 自動衣服検査及び測定システム |
| JP2001000207A (ja) * | 1999-06-17 | 2001-01-09 | Asics Corp | 足型検出表示装置 |
| JP2001012922A (ja) * | 1999-06-29 | 2001-01-19 | Minolta Co Ltd | ３次元データ処理装置 |
| JP2002081912A (ja) * | 2000-09-11 | 2002-03-22 | Moon Star Co | 足サイズ測定器 |
| JP2002107127A (ja) * | 2000-10-02 | 2002-04-10 | Sanyo Electric Co Ltd | 形状測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004003086A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111649690A (zh) | 一种能够手持的3d信息采集的设备及方法 | |
| US7660442B2 (en) | Method and system for capturing fingerprints, palm prints and hand geometry | |
| KR101947538B1 (ko) | 인증 장치, 및 인증 방법 | |
| JP4551626B2 (ja) | 手の立体計測法及び立体計測装置 | |
| JP2019141620A (ja) | 三次元物体上の注視点決定方法及び装置 | |
| US8649025B2 (en) | Methods and apparatus for real-time digitization of three-dimensional scenes | |
| TW200847061A (en) | Depth mapping using projected patterns | |
| JP2004046772A (ja) | 画像処理方法、画像処理システム、及び画像処理装置 | |
| JP6955369B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN111160136B (zh) | 一种标准化3d信息采集测量方法及系统 | |
| TW201241547A (en) | System, device and method for acquiring depth image | |
| EP3069100B1 (en) | 3d mapping device | |
| CN111028341B (zh) | 一种三维模型生成方法 | |
| WO2017073520A1 (ja) | 対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体 | |
| CN111208138B (zh) | 一种智能木料识别装置 | |
| CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
| TWI687649B (zh) | 鞋面檢測裝置，及其鞋面檢測方法 | |
| JP4608293B2 (ja) | 手の立体計測装置及び方法 | |
| JP6364139B1 (ja) | 足裏測定装置 | |
| TWM573594U (zh) | Upper detecting device | |
| EP3523601B1 (en) | Foot shape acquisition using depth sensor and pressure plate technology | |
| CN117064311A (zh) | 一种内窥镜图像的处理方法及内窥镜成像系统 | |
| CN104586404A (zh) | 体质监测的姿态识别方法及系统 | |
| JP2011095131A (ja) | 画像処理方法 | |
| WO2004089136A1 (ja) | 手又は足の立体計測法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060320 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080929 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090527 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090727 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100409 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4551626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |