WO2004094945A1 - ランドマーク抽出装置およびランドマーク抽出方法 - Google Patents

ランドマーク抽出装置およびランドマーク抽出方法 Download PDF

Info

Publication number
WO2004094945A1
WO2004094945A1 PCT/JP2004/002622 JP2004002622W WO2004094945A1 WO 2004094945 A1 WO2004094945 A1 WO 2004094945A1 JP 2004002622 W JP2004002622 W JP 2004002622W WO 2004094945 A1 WO2004094945 A1 WO 2004094945A1
Authority
WO
WIPO (PCT)
Prior art keywords
human body
data
landmark
body shape
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2004/002622
Other languages
English (en)
French (fr)
Inventor
Masaaki Mochimaru
Makiko Kouchi
Yukio Fukui
Naoki Higuma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Publication of WO2004094945A1 publication Critical patent/WO2004094945A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41HAPPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
    • A41H3/00Patterns for cutting-out; Methods of drafting or marking-out such patterns, e.g. on the cloth
    • A41H3/007Methods of drafting or marking-out patterns using computers
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02Foot-measuring devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Definitions

  • the present invention relates to a landmark extraction device and a landmark extraction method capable of extracting information on landmark positions, which are anatomical feature points of a human body, from a three-dimensional shape of a human body surface. is there. Background art
  • Landmarks anatomical landmarks
  • anatomical landmarks are used as the main features of the body features.
  • the first method is to detect landmarks based on the relationship between local shape features (curvature in mathematical terms) of human body shape data and whole body dimensions (Non-Patent Documents 1 and 2). ).
  • the second method is a method of automatically detecting the eyes and the nose and the like by image processing technology from the photograph information (texture information) captured simultaneously with the human body shape data (Non-Patent Document 3).
  • a method that combines the first method and the second method has also been proposed (Non-Patent Document 4).
  • a third method is a method of deforming an existing standard body model so as to fit the measured human body shape data (Non-Patent Document 5).
  • the first method depends on the curvature, so it is difficult to apply it to people with special shapes such as fat people.
  • the second method is effective for the face, but cannot be applied to areas where there is no noticeable landmark, such as the whole body, hands, and feet.
  • the certainty of the automatic detection is increased, but it can be applied only to the face as in the second method.
  • the standard body model is deformed so as to conform to the contour information (silhouette) of the individual. Limited to the armpits.
  • Non-Patent Document 3 T. Yokoyama 3 et al, "Extracting Contours and Features from Frontal Face Images", The Journal of the Institute of Image Information and Tele-Television Engineers, vol. 53, No. 11, pp. 1605-1614, 1999.
  • Patent No. 27 25 57 39 Patent Disclosure of the Invention
  • the method of extracting landmarks in the above-mentioned conventional technology has a problem that it requires labor for processing by an expert, cannot be extracted anytime and anywhere, and it is difficult to speed up the processing.
  • a landmark extraction apparatus and a landmark extraction method that can easily measure a human body shape and extract landmarks even in the absence of a highly skilled specialist at a store or the like are provided. Is desired, So far, no such device and method have been proposed.
  • an object of the present invention is to provide a landmark extraction apparatus and a landmark extraction method capable of automatically extracting a plurality of landmarks by measuring a human body shape using a three-dimensional scanner.
  • a landmark extracting apparatus according to the present invention, wherein the measured human body with the main landmark positions marked is measured by a three-dimensional scanner, and the human body shape data of the measured human body is measured.
  • An input device for acquiring the main landmark position data a storage device for storing standard human shape data and all landmark position data added to the standard human shape data, and the standard human body Reads the shape data and landmark position data, and performs a data conversion process between the standard human shape data and landmark position data that deforms the standard human shape so that it approaches the measured human shape.
  • a data conversion device to perform, and a landmark position given to the standard human body shape data by the data conversion processing corresponds to the main landmark position within a predetermined range.
  • the standard human body shape data is attached with texture information
  • the shape data conversion device converts the texture information into the texture of the human body shape data of the measured human body.
  • the data may be compared with information to perform a data conversion process of the standard human body shape data, which deforms the standard human body shape so as to approach the measured human body shape.
  • the landmark position estimating device extracts a shape feature point from the human body shape data of the measured human body, and performs a predetermined conversion process on the shape feature point of the standard human body shape data by the data conversion process. In the case where it is supported within the range, the landmark position of the measured human body is estimated from the landmark position of the deformed standard human body shape May be determined.
  • a landmark extraction method wherein a human body to be measured with a main landmark position marked is measured by a three-dimensional scanner, and the measured human body shape data together with the human body shape data of the human body to be measured.
  • the main landmark position data is obtained, and the standard human body shape data stored in the storage device and all the landmark position data provided in the evening are read out, and the standard human body shape data is read out.
  • the data conversion process is performed between the standard human body shape data and the landmark position data for deforming the human body shape so as to approximate the measured human body shape, and the land added to the standard human body shape data by the data conversion process
  • the mark position corresponds to the main landmark position within a predetermined range
  • the main body of the measured human body is calculated from the landmark position of the deformed standard human body shape data. It is characterized by estimating a landmark position other than the landmark position.
  • the standard human body shape data is accompanied by texture information
  • the data conversion process compares the texture information with the texture information of the human body shape data of the measured human body. Then, data conversion processing of the standard human body shape data for deforming the standard human body shape so as to approach the measured human body shape may be performed.
  • the landmark position is estimated by extracting a shape feature point from the human body shape data of the measured human body, and performing a data conversion process on the shape feature point of the standard human body shape data and a predetermined range.
  • the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape.
  • a program for executing a landmark extraction process by a computer measures a human body whose main landmark positions are marked by a three-dimensional scanner, and measures a human body of the human body to be measured.
  • the landmark position given to the standard human body shape data by the evening conversion process corresponds to the main landmark position within a predetermined range
  • measurement is performed from the landmark position of the deformed standard human body shape data. Estimating other landmark positions other than the main landmark positions of the human body by a computer.
  • the standard human body shape data has texture information attached thereto, and the step of performing the overnight conversion process includes comparing the texture information with the texture information of the human body shape data of the measured human body. Then, a standard human body shape data-evening / night conversion process for deforming the standard human body shape so as to approach the measured human body shape may be performed.
  • the step of estimating the landmark position includes extracting shape feature points from the human body shape data of the measured human body, and performing the data conversion processing on the standard human body shape data.
  • the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape data.
  • a fourth aspect of the present invention is a recording medium on which a program for executing a landmark extraction process by a computer is recorded, and a human body to be measured whose main landmark positions are marked is measured by a three-dimensional scanner. Obtaining the main landmark position data together with the human body shape data of the human body to be measured, and the standard human body shape data stored in the storage device and all the lands attached to the standard human body shape data.
  • the landmark position given to the standard human shape data by the data conversion process is The process of estimating the landmark position other than the main landmark position of the measured human body from the landmark position of the deformed standard human body shape data when the target mark position corresponds within a predetermined range is performed. It may be a recording medium on which a program to be executed by a computer is recorded.
  • the standard human body shape data is attached with texture information
  • the step of performing the data conversion process includes: converting the texture information into a human body shape data of the measured human body.
  • a standard human body shape data-evening conversion process may be performed in which the standard human body shape is deformed so that the standard human body shape is approximated to the measured human body shape in association with the texture information.
  • the step of estimating the landmark position includes extracting a shape feature point from the human body shape data of the measured human body, and performing a data conversion process on the shape feature point of the standard human body shape data.
  • the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape data.
  • the landmark extraction device and the landmark extraction method in the landmark extraction processing, the main landmarks of the human body to be measured are marked in advance, and the human body shape is formed by a three-dimensional scanner.
  • the main landmark positions are measured at the same time, the standard human shape stored in the storage device is compared with the positions of all landmarks assigned to the human shape, and the standard human shape is measured. It is performed by deforming to approximate the deformed human body shape and identifying a plurality of landmark positions using the deformed standard human body shape data.
  • the texture information attached to the standard human body shape data is compared with the texture information of the human body to be measured, and is associated with each other. Identify the mark. When no marking is made on the human body shape, it is necessary to extract the shape features from the measured shape points and use this to perform data conversion to transform the standard human body shape data. And identifies multiple landmarks.
  • FIG. 1 is a block diagram showing a system configuration of a landmark extraction device according to one embodiment of the present invention.
  • FIG. 2 is a first diagram showing a detailed process content of the landmark extraction process as a block diagram, and is a diagram showing a flow of a pre-process of the landmark extraction process.
  • FIG. 3 is a second diagram showing a detailed process content of the landmark extraction process as a block diagram, and is a diagram showing a post-process flow of the landmark extraction process.
  • FIG. 4 is a view showing an example of a three-dimensional point group representing a human body surface shape obtained by a three-dimensional scanner.
  • FIG. 5 is an exemplary diagram of a stitch shape that can connect three-dimensional point groups representing landmark positions on a human body surface.
  • FIG. 6 is a diagram illustrating a grid-like control point group for performing FFD deformation and a shape deformed by moving the control point group.
  • FIG. 7 is an exemplary diagram showing an example in which a point group having an extreme value of a coordinate value on a cross-sectional shape is extracted as a shape feature amount.
  • FIG. 1 is a block diagram showing a system configuration of a landmark extraction device according to one embodiment of the present invention.
  • reference numeral 10 denotes a data processor which includes a memory, a microprocessor (CPU) and an arithmetic program and performs data processing.
  • 20 is a three-dimensional shape measuring device equipped with a stage on which the object to be measured is mounted and an optical scanner, etc.
  • 30 is a data storage unit for storing standard human shape data
  • 40 is a main memory.
  • the landmark position represents the shape of the human body to be measured, which is marked (41a to 41c).
  • the data processing device 10 has a main processing module as described below.
  • a data processing module 10a for performing FFD (Free Form Definition) transformation processing and a data processing module 10b for performing landmark estimation processing are provided.
  • the system has standard human body shape data 31a and landmark position data 31b.
  • the three-dimensional shape measuring device 20 measures the measured human body shape 40 on which the main landmark positions have been marked (41a to 41c) with a three-dimensional scanner, and together with the human body shape data of the measured human body shape.
  • the main landmark position data is obtained and sent to the data processing device 10.
  • the data processing unit 10 reads the standard human body shape data 31 a and all landmark position data 3 lbs assigned to the standard human body shape data from the data storage unit 30 and reads the data processing module. From 10 aJ, FFD deformation processing is performed, and data conversion processing is performed between the standard human body shape data that deforms the standard human body shape so as to approach the measured human body shape and landmark position data.
  • the landmark position given to the standard human body shape data by the data conversion processing is predetermined by the data processing module 10b to the main landmark position. If the response is within the range, the landmark position other than the main landmark position of the measured human body is estimated from the landmark position of the deformed standard human body shape data. Based on the result of this estimation, it is possible to extract landmark positions, which are anatomical feature points of the human body, from the three-dimensional shape data of the human body surface based on the human body shape of the measured object.
  • the system elements such as the data processing device 10, the three-dimensional shape measuring device 20, and the storage unit 30 need only be physically or logically connected. It need not be in the same place.
  • the three-dimensional shape measuring device 20 which may be connected to a network and serves as an input device for human body shape data, has a certain amount of spatial space when installed.
  • the system configuration may be such that the system is provided to the data processing device 10 at another location via a network.
  • FIGS. 2 and 3 are block diagrams showing the details of the landmark extraction process performed by the data processing device 10. This will be described with reference to FIGS. The processing here is executed using the data processing module 10a for performing the FFD deformation processing of the data processing apparatus 10 and the data processing module 1 • b for performing the landmark estimation processing.
  • FIGS. 2 and 3 show the processing flow of each block.
  • the expert finds (extracts) the landmark position by touching in advance and marks it.
  • a standard set of marks is created, and shape feature points are separately defined as clues for obtaining grid points that transform the original human-shaped landmarks into the standard set.
  • shape feature points are estimated for the human body shape with unknown landmarks in the same way as in the preprocessing, and grid points for deformation from the standard set are obtained from this. To estimate the position of the unknown landmark.
  • This post-processing replaces the shape of the human body to be measured and extracts landmark position information for each human body shape. It will be described step by step.
  • An expert extracts all landmark positions in advance, creates a plurality of human body shape data (hereinafter referred to as sample data) measured by a scanner in a masked state, and creates a sample model set. 1 and 1.
  • sample data human body shape data
  • texture information is added to the sample data of the sample model set 11.
  • Figure 4 shows an example of a three-dimensional coordinate point group.
  • FIG. 5 shows a state in which only the coordinate points of the landmarks located overlapping with the surface shape are extracted and connected to represent a mesh shape.
  • Standard model 13 An average standard shape data created based on the average values of the corresponding landmark positions of a plurality of sample data provided with such landmarks is created, and this is referred to as a standard model. And The data of the standard model 13 is stored in the data storage unit 30. Standard model 13 consists of all the landmarks required for the design.
  • the landmark position of the standard model 13 is deformed using the FFD method to the landmark position of each sample data of the sample model set 11. This deformation processing is performed using the FFD deformed grid 14.
  • the FFD method is a coordinate system transformation method described in Non-Patent Document 6, and its principle is based on the Bernstein polynomial of a control point group arranged in a three-dimensional space (t is a parameter. Then, in an affine combination using the coefficients of the term t and the term (1 ⁇ t) as the nth power of the sum), the point obtained by giving the intermediate variable of the Bernstein polynomial is the position after the transformation. And a coordinate system conversion method in which the parameter values of the polynomial are used as coordinate values before the conversion.
  • FFD transformation space after transformation by the FFD method
  • This method uses, for example, a method detailed in “Patent Document 1”.
  • the control grid point group on which the transformation is based is a grid point group including the standard model 13.
  • the landmark coordinate values before conversion are those in the standard model 13, and the FD method is used as coordinate conversion for performing transformation so as to be a landmark position on the sample data after conversion.
  • Figure 6 shows a conceptual diagram of FFD deformation in which the grid points are moved to change the internal space and shape.
  • a plurality of geometric feature values are extracted as shape feature points 12 from each sample data of the sample model set 11.
  • Shape feature points are obtained from the human body shape data (step 22).
  • a plurality of basic feature points of the human body shape are used as reference points.
  • the three positions of the shape feature points are used as reference points, and their positions are known in advance.
  • the landmark extraction device according to the present invention can be implemented in the following modified embodiments in addition to the above-described embodiment. That is, in a device equipped with a measuring device (input device) for inputting a three-dimensional shape data of the human body surface and a computer (data processing device) physically or logically connected, the three-dimensional shape of the human body surface is obtained.
  • It has a function (processing program) that automatically extracts anatomical feature points determined by bones etc. from the shape data and outputs three-dimensional coordinate values of the anatomical feature points.
  • processing program processing program that automatically extracts anatomical feature points determined by bones etc. from the shape data and outputs three-dimensional coordinate values of the anatomical feature points.
  • the positions of the anatomical feature points of the standard human body shape stored in the data storage unit are matched with the three-dimensional shape data of the human body surface obtained by the measuring machine. By deforming, the position of the anatomical feature point on the measured human body shape is determined.
  • shape feature points are automatically extracted from the three-dimensional shape data on the human body surface, and the standard human shape stored in advance is deformed using these shape feature points. This makes it possible to automatically extract the positions of anatomical feature points.
  • the present invention it is possible to automatically estimate many landmarks only by providing a small number of known reference points on the surface of a human body shape.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Textile Engineering (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

明細書 ランドマーク抽出装置およびランドマーク抽出方法 技術分野
本発明は、 人体表面の 3次元形状デ一夕から人体の解剖学的特徴点であ るランドマーク位置の情報を抽出することのできるランドマ一ク抽出装置およ びランドマーク抽出方法に関するものである。 背景技術
人体形状に適合させて装着する工業製品を製作する場合には、 例えば、 衣料品、 皮革製品、 眼鏡類、 補装具、 ガスマスク等を設計する際に、 人体の骨 格構造によって決定される身体特徴量データが必要とされる。 この身体特徴量 デ一夕の主要デ一夕としては、 解剖学的特徴点であるランドマーク (Landmark, Anatomical landmark ) が用い れる。
すなわち、 人体形状に適合させる工業製品の設計においては'、 人体形状 の情報として、 表面形状の 3次元座標情報の他に、 骨格位置等に基づく 3次元 位置情報の基準情報が必要となる。 しかし、 ランドマークは、 身体表面を触察して骨格位置を確認すること で初めてわかる位置情報であるため、 3次元スキャナ一等で計測された身体の 表面形状の情報からは、 これらのランドマークの位置情報を的確に抽出するこ とは困難である。 このため、 従来においては、 専門家が被測定者の身体を触察 することでランドマ一クの位置を同定し抽出していた。
また、 このような技術に関係する技術として、 ランドマーク (生体内の 骨格などによって決定される人体皮膚表面上の点) を、 自動的に検出する方法 としては、 これまでに、 次のような 3つの方法が提案されている。 第 1の方法は、 人体形状データの局所的な形状特徴 (数学的には曲率) と全身的な人体寸法の関係からランドマークを検出する方法である (非特許文 献 1、 非特許文献 2 ) 。
第 2の方法は、 人体形状デ一夕と同時に捉えた写真情報 (テクスチャ情 報) から画像処理技術によって目や鼻などのパ一ヅを自動検出する方法である (非特許文献 3 ) 。 第 1の方法と第 2の方法を融合させた方法についても提案 されている (非特許文献 4 ) 。
第 3の方法は、 既存の標準体型モデルを計測した人体形状データにフィ ットするように変形させる方法である (非特許文献 5 ) 。 第 1の方法は、 曲率に依存するため、 太った人など特殊な体型の人に適 用するのが難しい。 第 2の方法は、 顔に関しては有効であるが、 全身や手、 足 など、 ランドマークとする目立った模様がない部位には適用できない。 また、 第 1の方法と第 2の方法を融合させた方法 (非特許文献 4 ) では、 自動検出の 確実性を高めているが、 第 2の方法と同様で顔にしか適用できない。 第 3の方 法では、 標準体型モデルを、 個人の輪郭線情報 (シルエツ ト) に適合するよう に変形しているが、 ここで用いられているランドマークは、 輪郭線から得られ る手先や脇の下などに限定されている。
[非特許文献 1 ]
L. Dekker, S. Khan, E. West, B. Buxton, and P. Treleaven, "Models for Understanding the 3D Human Body Form", presented at IEEE International Workshop on Model -Based 3D Image Analysis, Mumbai, India, 1998.
[非特許文献 2 ]
L. Dekker, I . Douros, B. Buxton, and P. Treleaven, "Building Symbolic Information for 3D Human Body Modeling from Rang e Data", presented at 3DIM 99, Ottawa, CA, 1999.
[非特許文献 3 ] T. Yokoyama3 et al, "Extracting Contours and Features from Frontal Face Images", The Journal of the Institute of Image Information and Tele- Television Engineers, vol . 53, No. 11, pp. 1605 -1614, 1999.
[非特許文献 4 ]
小高一慶、 青木義満、 橋本周司、 「3次元顔画像を用いた特徴抽出とマッチ ング」 、 第 5回パターン計測シンポジウム、 pp.71-77, 2000.
[非特許文献 5 ]
今尾公二、 亀田能成、 美濃導彦、 池田克夫、 「シルエット画像に基づいて個人 体型を反映する 3次元形状モデルの変形法一仮想試着室の実現に向けて」 、 電 子情報通信学会論文誌、 vol . J82-D-I I, pp.1684-1692, 1999.
[非特許文献 6 ]
T. W. Sederberg: "Free -Form Deformation of Solid Geometric Models" , Proceedings of ACM SIGGRAPH5 86, Computer Graphics, 20, 4, pp.151 - 160, 1986 [特許文献 1 ]
特許第 2 7 2 5 7 3 9号公報 発明の開示
ところで、 上述した従来の技術におけるランドマークを抽出する方法で は、 専門家による処理のため人手がかかり、 いつでもどこでも抽出可能という 訳ではなく、 処理の高速化も困難であるという問題がある。
人体形状に適合させて装着する工業製品においては、 製品の高付加価値 化と環境保護のためには、 製品の身体適合性を高めて、 標準サイズばかりでな く、 様々な体格の人体形状に合わせた製品群を需要に応じて迅速に設計生産し、 提供するシステムへの要求が高まっている。
このためには、 店頭などにおいて、 高度な技術を持つ専門家が不在でも 簡単に人体形状を計測し、 かつ、 ランドマークを抽出することできるランドマ —ク抽出装置およびランドマーク抽出方法が提供されることが所望されるが、 これまでには、 そのような装置および方法は提案されていない。
したがって、 本発明の目的は、 3次元スキャナ一による人体形状計測に より複数のランドマークを自動抽出することが可能なランドマーク抽出装置お よびランドマ一ク抽出方法を提供することにある。 本発明は第 1の態様として、 本発明によるランドマーク抽出装置が、 主 要ランドマーク位置をマ一キングした被計測人体を 3次元スキャナ一により計 測して被測定人体の人体形状データと共に前記主要ランドマーク位置デ一夕を 取得する入力装置と、 標準人体形状データと当該標準人体形状データに付与さ れている全てのランドマーク位置データとを記憶している記憶装置と、 前記標 準人体形状デ一夕とランドマ一ク位置デ一夕とを読み出し、 標準人体形状を計 測された人体形状に近づけるように変形させる標準人体形状データとランドマ —ク位置データとのデ一夕変換処理を行うデータ変換装置と、 前記データ変換 処理により標準人体形状データに付与されているランドマーク位置が前記主要 ランドマーク位置に所定範囲内で対応した場合に、 変形させた標準人体形状デ 一夕のランドマ一ク位置から被計測人体の主要ランドマーク位置以外の他のラ ンドマーク位置を推定するランドマーク位置推定装置とを備えることを特徴と するものである。
この第 1の態様において、 前記標準人体形状デ一夕にはテクスチャ情報 が付属しており、 前記形状デ一夕変換装置は、 前記テクスチャ情報を前記被計 測人体の人体形状デ一夕のテクスチャ情報と比較して対応づけ、 標準人体形状 を計測された人体形状に近づけるように変形させる標準人体形状デ一夕のデー 夕変換処理を行うようにしてもよい。
また、 第 1の態様において、 前記ランドマーク位置推定装置は、 被計測 人体の人体形状データから形状特徴点を抽出し、 前記デ一夕変換処理により標 準人体形状データの形状特徴点と所定範囲内で対応した場合に、 変形させた標 準人体形状デ一夕のランドマーク位置から被計測人体のランドマーク位置を推 定するようにしてもよい。
本発明は第 2の態様として、 本発明によるランドマーク抽出方法が、 主 要ランドマ一ク位置をマ一キングした被計測人体を 3次元スキャナ一により計 測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを 取得し、 記憶装置に記憶されている標準人体形状データと当該標準人体形状デ —夕に付与されている全てのランドマ一ク位置デ一夕とを読み出し、 標準人体 形状を計測された人体形状に近づけるように変形させる標準人体形状デ一夕と ランドマーク位置データとのデータ変換処理を行い、 前記デ一夕変換処理によ り標準人体形状データに付与されているランドマーク位置が前記主要ランドマ —ク位置に所定範囲内で対応した場合に、 変形させた標準人体形状データのラ ンドマーク位置から被計測人体の主要ランドマ一ク位置以外の他のランドマ一 ク位置を推定することを特徴とするものである。
この第 2の態様において、 前記標準人体形状デ一夕にはテクスチャ情報 が付属しており、 前記データ変換処理は、 前記テクスチャ情報を前記被計測人 体の人体形状デ一夕のテクスチャ情報と比較して対応づけ、 標準人体形状を計 測された人体形状に近づけるように変形させる標準人体形状デ一夕のデータ変 換処理を行うようにしてもよい。
また、 第 2の態様において、 前記ランドマーク位置の推定は、 被計測人 体の人体形状デ一夕から形状特徴点を抽出し、 前記データ変換処理により標準 人体形状データの形状特徴点と所定範囲内で対応した場合に、 変形させた標準 人体形状デ一夕のランドマーク位置から被計測人体のランドマーク位置を推定 するようにしてもよい。
本発明は、 第 3の態様として、 ランドマーク抽出処理をコンピュータに より実行するプログラムが、 主要ランドマーク位置をマ一キングした被計測人 体を 3次元スキャナ一により計測して被測定人体の人体形状デ一夕と共に前記 主要ランドマーク位置データを取得するステップと、 記憶装置に記憶されてい る標準人体形状データと当該標準人体形状デ一夕に付与されている全てのラン ドマーク位置データとを読み出すステップと、 標準人体形状を計測された人体 形状に近づけるように変形させる標準人体形状データとランドマーク位置デ一 夕とのデ一夕変換処理を行うステップと、 前記デ一夕変換処理により標準人体 形状デ一夕に付与されているランドマーク位置が前記主要ランドマーク位置に 所定範囲内で対応した場合に、 変形させた標準人体形状デ一夕のランドマーク 位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推 定するステップとをコンピュータにより実行させるようにしたことを特徴とす るものである。
この第 3の態様において、 前記標準人体形状データにはテクスチャ情報 が付属しており、 前記デ一夕変換処理を行うステップは、 前記テクスチャ情報 を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、 標 準人体形状を計測された人体形状に近づけるように変形させる標準人体形状デ —夕のデ一夕変換処理を行うようにしてもよい。
また、 第 3の態様において、 前記ランドマーク位置を推定するステップ は、 被計測人体の人体形状デ一夕から形状特徴点を抽出し、 前記データ変換処 理により標準人体形状デ一夕の形状特徴点と所定範囲内で対応した場合に、 変 形させた標準人体形状デ一夕のランドマ一ク位置から被計測人体のランドマー ク位置を推定するようにしてもよい。
本発明の第 4の態様は、 ランドマーク抽出処理をコンピュータにより実 行するプログラムを記録した記録媒体であり、 主要ランドマーク位置をマ一キ ングした被計測人体を 3次元スキャナ一により計.測して被測定人体の人体形状 デ一夕と共に前記主要ランドマーク位置データを取得するステップと、 記憶装 置に記憶されている標準人体形状データと当該標準人体形状データに付与され ている全てのランドマーク位置デ一夕とを読み出すステップと、 標準人体形状 を計測された人体形状に近づけるように変形させる標準人体形状デ一夕とラン ドマーク位置デ一夕とのデータ変換処理を行うステップと、 前記デ一夕変換処 理により標準人体形状データに付与されているランドマ一ク位置が前記主要ラ ンドマ一ク位置に所定範囲内で対応した場合に、 変形させた標準人体形状デー 夕のランドマーク位置から被計測人体の主要ランドマーク位置以外の他のラン ドマーク位置を推定するステップとの処理をコンピュータにより実行するプロ グラムを記録した記録媒体としても良い。
この第 4の態様において、 前記標準人体形状デ一夕にはテクスチャ情報 が付属しており、 前記デ一夕変換処理を行うステップは、 前記テクスチャ情報 を前記被計測人体の人体形状デ一夕のテクスチャ情報と比較して対応づけ、 標 準人体形状を計測された人体形状に近づけるように変形させる標準人体形状デ —夕のデ一夕変換処理を行うようにしてもよい。
また、 第 4の態様において、 前記ランドマーク位置を推定するステップ は、 被計測人体の人体形状データから形状特徴点を抽出し、 前記データ変換処 理により標準人体形状デ一夕の形状特徴点と所定範囲内で対応した場合に、 変 形させた標準人体形状データのランドマーク位置から被計測人体のランドマー ク位置を推定するようにしてもよい。
このような本発明によるランドマ一ク抽出装置およびランドマ一ク抽出 方法によれば、 ランドマークの抽出処理は、 被計測人体の主要なランドマーク を予めマーキングしておき、 3次元スキャナーで人体形状を計測すると同時に 主要なランドマーク位置を同時に計測し、 記憶装置に記憶されている標準の人 体形状と当該人体形状に付与されている全てのランドマークの位置と比較し、 標準人体形状を当該計測された人体形状に近づけるように変形させて、 変形さ せた標準人体形状デ一夕により複数のランドマーク位置を同定することにより 行う。
その場合に、 別の態様では、 標準人体形状データに付属しているテクス チャ情報を前記被計測人体のテクスチヤ情報と比較し対応づけて、 前記標準人 体形状を変形させることで、 複数のランドマークを同定する。 また、 人体形状 にマーキングをしない場合においては、 計測された形状点群から形状特徴量を 抽出し、 これを利用して標準人体形状データを変形させるデータ変換を行うこ とで、 複数のランドマークを同定する。 図面の簡単な説明
第 1図は、 本発明の一実施例のランドマーク抽出装置のシステム構成を 示すブロック図である。
第 2図は、 ランドマーク抽出処理の詳細な処理内容をプロック図として 示す第 1の図であり、 ランドマ一ク抽出処理の前処理の流れを示す図である。
第 3図は、 ランドマーク抽出処理の詳細な処理内容をプロック図として 示す第 2の図であり、 ランドマーク抽出処理の後処理の流れを示す図である。
第 4図は、 3次元スキャナ一で得られた人体表面形状を表す 3次元点群 の例示図である。
第 5図は、 人体表面上のランドマーク位置を表す 3次元点群を結んでで きる編み目形状の例示図である。
第 6図は、 F F D変形を行う格子状の制御点群と、 制御点群を移動させ ることで変形される形状を説明する図である。
第 7図は、 断面形状の上で座標値の極値をとる点群を形状特徴量として 抽出した例を示す例示図である。 発明を実施するための最良の形態
図 1は、 本発明の一実施例のランドマーク抽出装置のシステム構成を示 すブロック図である。 図 1において、 1 0はメモリおよびマイクロプロセッサ ( C P U ) と演算プログラムを備えてデータ処理を行うデ一夕処理装置である。 2 0は被測定対象を載置するステージおよび光学スキャナ一などを備えた 3次 元形状計測装置、 3 0は標準人体形状デ一夕など記憶しているデ一夕記憶部、 4 0は主要なランドマーク位置がマ一キング (4 1 a〜4 1 c ) された被計測 対象の人体形状を表している。
データ処理装置 1 0には、 主要な処理モジュールとして、 後述するよう に、 FFD (Fr e e Fo rm Def o rmat i on) 変形処理を行う データ処理モジュール 10 aと、 ランドマーク推定処理を行うデ一夕処理モジ ユール 10 bとが備えられており、 データ記憶部 30には、 標準人体形状デー 夕 31 aとランドマ一ク位置データ 31 bが備えられている。
3次元形状計測装置 20は、 主要ランドマーク位置のマ一キング (41 a〜41 c)を施した被計測人体形状 40を、 3次元スキャナ一により計測し、 被測定人体形状の人体形状データと共に前記主要ランドマーク位置デ一夕を取 得して、 デ一夕処理装置 10に送る。
デ一夕処理装置 10は、 データ記憶部 30から、 標準人体形状デ一夕 3 1 aと当該標準人体形状データに付与されている全てのランドマーク位置デー 夕 3 l bとを読み出し、 データ処理モジュール 10 aJこより、 FFD変形処理 を行い、 標準人体形状を計測された人体形状に近づけるように変形させる標準 人体形状デ一夕とランドマーク位置データとのデータ変換処理を行う。
また、 デ一夕処理装置 10においては、 デ一夕処理モジュール 10 bに より、 デ一夕変換処理により標準人体形状デ一夕に付与されているランドマ一 ク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、 変形させ た標準人体形状データのランドマ一ク位置から被計測人体の主要ランドマーク 位置以外の他のランドマーク位置を推定する。 この推定した結果により、 被計 測対象の人体形状に基づき、 人体表面の 3次元形状データから人体の解剖学的 特徴点であるランドマーク位置が抽出できることになる。 なお、 図 1に示すシ ステム構成において、 データ処理装置 10、 3次元形状計測装置 20、 デ一夕 記憶部 30などのシステム要素は、 物理的または論理的に結合されていれば良 いので、 同じ場所に設けられている必要はない。 したがって、 ネットワークに より結合された状態であっても良く、 人体形状デ一夕の入力装置となる 3次元 形状計測装置 20は、 設置する場合に、 ある程度の空間的なスペースを有する ので、 計測室に設けられ、 別の場所にあるデ一夕処理装置 10にネットワーク を介して送られるシステム構成であっても良い。 図 2および図 3は、 データ処理装置 1 0において処理されるランドマー ク抽出処理の詳細な処理内容をブロック図として示す図である。 図 2および図 3を参照して説明する。 ここでの処理は、 データ処理装置 1 0の F F D変形処 理を行うデータ処理モジュール 1 0 aとランドマーク推定処理を行うデ一夕処 理モジュール 1◦ bが用いられて、 実行される。 図 2および図 3において、 そ れそれのブロックによる処理の流れにより示されている。
図 2には、 ランドマーク抽出処理の前処理の流れを示しており、 図 3に は、 ランドマーク抽出処理の後処理の流れを示している。 後処理では、 ランド マーク位置が未知の人体形状の表面形状点群からランドマーク位置を自動推定 する手続きが示されている。
ランドマーク抽出処理の前処理では、 予めランドマーク位置を専門家が 触察により求めて (抽出して) マ一キングしておき、 その人体形状の複数個か ら、 基準となる代表的なランドマークの標準セットを創成し、 もとの人体形状 のランドマークから標準セットへの変形を行う格子点を求める手がかりとして、 別途形状特徴点を定義する。
そして、 ランドマーク抽出の後処理により、 ランドマークが未知の人体 形状に対して、 前処理と同様に形状特徴点を推定し、 これより標準セットから の変形のための格子点を求め、 標準セットを変形させて、 未知のランドマーク 位置を推定する。 この後処理が、 被計測対象の人体形状を取り替えて、 それぞ れの人体形状に対して、 ランドマーク位置の情報を抽出する。 順を追って説明する。
( 1 ) 予め専門家により、 全てのランドマーク位置を抽出し、 マ一キングし た状態でスキャナ一により計測した人体形状データ (以降サンプルデータと呼 ぶ) を複数個作成して、 サンプルモデルセット 1 1とする。 ここでのサンプル モデルセット 1 1のサンプルデータにはランドマーク、 人体表面形状に加えて、 テクスチャ情報も付与させておく。 サンプルデ一夕の人体 (足)表面形状を表す 3次元座標点群の例を、 図 4に示している。 また、 この表面形状に重なって位 置するランドマークの座標点のみを抽出して、 それらを結んで網目状に表現し た状態を図 5に示している。
(2) このようなランドマ一クが付与された複数のサンプルデ一夕の対応す るランドマーク位置の平均値を基にして創成した平均標準形状デ一夕を作成し、 これを標準モデル 13とする。 この標準モデル 13のデ一夕をデ一夕記憶部 3 0に記憶する。 標準モデル 13は、 設計に必要な全てのランドマークによって 構成される。
(3) 次に標準モデル 13のランドマーク位置から、 サンプルモデルセヅ ト 1 1の各サンプルデ一夕のもつランドマーク位置へ、 FFD法を用いて変形さ せる。 この変形処理は、 FFD変形格子 14を用いて行われる。
FFD法は 「非特許文献 6」 によって示されている座標系変換方式であ り、 その原理は、 3次元空間内に配置された制御点群の B e r n s t e i n多 項式 (tを媒介変数としたとき、 項 tと項 (1— t) の和の n乗を展開した各 項) を係数としたァフィン結合において、 Be rns t e i n多項式の媒介変 数値を与えることで得られる点を変換後の位置とし、 前記多項式の媒介変数値 を変換前の座標値とする座標系変換方式である。 制御点群の位置を変えること で、 FFD法による変換 (以降 FFD変換と呼ぶ) 後の空間が変形することに なる。 これを形状設計時の変形に応用させる。 この手法は、 例えば、 「特許文 献 1」 において詳述されている方法を用いる。 変形を行う基になる制御格子点 群は、 標準モデル 13が包含される格子点群とする。 変換前のランドマーク座 標値は標準モデル 13におけるものであり、 変換後にサンプルデ一夕のランド マーク位置となるような変形を行うための座標変換として F FD法を用いる。 格子点位置を移動させて内部の空間、 および形状を変形させる FFD変形の概 念図を、 図 6に示している。 (4) 一方、 サンプルモデルセット 1 1の各サンプルデ一夕により、 幾何学 的特徴量を、形状特徴点 12として、複数個抽出する。この形状特徴点 12は、 例えば、 サンプルデータにおいて、 対応のつく点群の位置座標や、 特定方向か ら見たときに一番突出した点、 ガウス曲率の極大となる点、 あるいは、 適切に 選択した断面図の特定方向の幅、 断面の周囲長、 曲率の極大点など、 形状の特 徴を表現するものを用いる。 また、 形状特徴点 12としては、 顔の形状を例に とれば、 眉、 唇など、 テクスチャ情報を持つものを利用することもできる。 こ の場合の形状特徴点の例を、 図 7に示している。 図 7では、 足長を基準に垂直 に等分した断面の複数個において、 最内点、 最外点、 最高点を示している。
(5) 次に、 上記 (3) において、 変形を行ったときの制御格子点の座標値 と、 上記 (4) において定義した形状特徴点の座標値の値との関連性を統計的 に求める。 形状特徴点群の座標値を説明変数 (独立変数) とし、 制御格子点群 の座標値を目的変数 (従属変数) と見なして、 重回帰分析 15を行い、 制御格 子点群の座標値は、 各形状特徴点の座標値の線形結合として表現し、 その係数 の最尤値を統計的に求める。
(6) 重回帰分析 15の結果、 得られる回帰式を用いることにより、 形状特 徴点が分かれば、 FFD変形の制御格子の変形後の位置がわかるため、 この変 形操作を標準モデル 13に施すことによって、 ランドマークも同様に移動して、 新しいランドマーク位置が求まることになる。 以上の手続きにより、 形状特徴量と F F D変形による制御格子の変化位 置との関係が明らかにされる。 次に、 ランドマーク抽出処理の後処理では、 図 3に示すように、 被計測対象の未知の人体形状が与えられたとき、 以下の手順 で行う。
(a) 未知の人体形状の人体形状データを入力する (ステップ 21) 。
(b) 人体形状データから形状特徴点を求める (ステップ 22) 。
(c) 前記重回帰分析の結果より、 FFD変形格子推定の処理を行って、 F F D変形制御格子の変化位置を求める (ステップ 2 3 ) 。
( d ) 標準モデルを求めた F F D変形制御格子によって変形させる (ステツ プ 2 4 ) 。
( e ) 前記変形で移動した標準モデルのランドマークを未知の人体形状の表 面形状点上に投影する (ステップ 2 5 ) 。
( f ) 投影したランドマークの位置からランドマークの情報を抽出して出力 する (ステップ 2 6 ) 。
なお、 このような処理に用いられる人体形状において、 3次元座標系を 定めるために、 基準点として人体形状の基本的な特徴点は複数点を用いる。 説 明に使用した足形状の場合、 例えば、 図 7に示すように、 形状特徴点の 3点を 基準点として、 予めその位置を既知としている。 本発明にかかるランドマーク抽出装置は、 上述した実施形態の他に、 次 のように変形された形態においても実施できる。 すなわち、 人体表面の 3次元 形状デ一夕を入力する計測機 (入力装置) と、 物理的ないしは論理的に接続さ れた計算機 (データ処理装置) とを備えた装置において、 人体表面の 3次元形 状デ一夕から骨などによって決定される解剖学的特徴点を自動的に抽出し、 そ の解剖学的特徴点の 3次元座標値を出力する機能(処理プログラム)を備える。 この構成により、 例えば、 計測時において人体表面上の解剖学的特徴点位置に マーカを貼り付けた箇所だけでなく、 マーカが貼られていない解剖学的特徴点 位置も同時に自動抽出することができる。
また、 計算機 (データ処理装置) において、 データ記憶部内に記憶され た標準的な人体形状の解剖学的特徴点位置を、 計測機で取得した人体表面の 3 次元形状デ一夕に一致させるように変形することで、 計測した人体形状デ一夕 上の解剖学的特徴点位置を決定する。
また、 人体表面形状に加えて人体表面上のテクスチャ情報を利用して、 予め記憶されている標準的な人体形状を変形させることで、 解剖学的特徴点位 置を自動抽出することができる。
マーカが貼られていない場合については、 人体表面の 3次元形状デ一夕 から形状特徴点を自動抽出し、 この形状特徴点を利用して、 予め記憶されてい る標準的な人体形状を変形させることで、 解剖学的特徴点の位置を自動抽出す ることができる。 . 産業上の利用分野
本発明によれば、 人体形状の表面上に少数の既知の基準点を与えるだけで多 くのランドマークを自動推定することが可能となる。 また、 異なる人体形状デ 一夕の間で特徴点位置の対応がつけることが可能となり、 設計上きわめて有効 となる。 したがって、 本発明を用いれば、 専門家でなくても少数の基準点を与 えた状態で形状を 3次元スキャナ一等で計測するだけで、 設計情報を得ること ができる。

Claims

請求の範囲
1 . 主要ランドマ一ク位置をマ一キングした被計測人体を 3次元スキャナ一に より計測して被測定人体の人体形状デ一夕と共に前記主要ランドマーク位置デ 一夕を取得する入力装置と、
標準人体形状デ一夕と当該標準人体形状データに付与されている全てのラン ドマーク位置デ一夕とを記憶している記憶装置と、
前記標準人体形状データとランドマ一ク位置データとを読み出し、 標準人体 形状を計測された人体形状に近づけるように変形させる標準人体形状デー夕と ランドマーク位置デ一夕とのデータ変換処理を行うデ一夕変換装置と、
前記デ一夕変換処理により標準人体形状デ一夕に付与されているランドマ一 ク位置が前記主要ランドマ一ク位置に所定範囲内で対応した場合に、 変形させ た標準人体形状デ一夕のランドマーク位置から被計測人体の主要ランドマーク 位置以外の他のランドマーク位置を推定するランドマーク位置推定装置と を備えることを特徴とするランドマーク抽出装置。
2 . 請求の範囲第 1項に記載のランドマ一ク抽出装置において、
前記標準人体形状デ一夕にはテクスチャ情報が付属しており、
前記データ変換装置は、 前記テクスチャ情報を前記被計測人体の人体形状デ 一夕のテクスチャ情報と比較して対応づけ、 標準人体形状を計測された人体形 状に近づけるように変形させる標準人体形状デ一夕のデ一夕変換処理を行う ことを特徴とするランドマーク抽出装置。 '
3 . 請求の範囲第 1項に記載のランドマーク抽出装置において、
前記ランドマーク位置推定装置は、 被計測人体の人体形状データから形状特 徴点を抽出し、 前記デ一夕変換処理により標準人体形状デ一夕の形状特徴点と 所定範囲内で対応した場合に、 変形させた標準人体形状データのランドマーク 位置から被計測人体のランドマーク位置を推定する
ことを特徴とするランドマ一ク抽出装置。
4 . 主要ランドマーク位置をマ一キングした被計測人体を 3次元スキャナーに より計測して被測定人体の人体形状データと共に前記主要ランドマーク位置デ
—夕を取得し、
記憶装置に記憶されている標準人体形状データと当該標準人体形状データに 付与されている全てのランドマ一ク位置デ一夕とを読み出し、
標準人体形状を計測された人体形状に近づけるように変形させる標準人体形 状デ一夕とランドマ一ク位置データとのデ一夕変換処理を行い、
前記デ一夕変換処理により標準人体形状データに付与されているランドマ一 ク位置が前記主要ランドマ一ク位置に所定範囲内で対応した場合に、 変形させ た標準人体形状デ一夕のランドマ一ク位置から被計測人体の主要ランドマーク 位置以外の他のランドマーク位置を推定する
ことを特徴とするランドマーク抽出方法。
5 . 請求の範囲第 4項に記載のランドマーク抽出方法において、
前記標準人体形状デー夕にはテクスチャ情報が付属しており、
前記データ変換処理は、 前記テクスチヤ情報を前記被計測人体の人体形状デ 一夕のテクスチャ情報と比較して対応づけ、 標準人体形状を計測された人体形 状に近づけるように変形させる標準人体形状デ一夕のデータ変換処理を行う ことを特徴とするランドマーク抽出方法。
6 . 請求の範囲第 4項に記載のランドマーク抽出方法において、
前記ランドマーク位置の推定は、 被計測人体の人体形状デ一夕から形状特徴 点を抽出し、 前記データ変換処理により標準人体形状データの形状特徴点と所 定範囲内で対応した場合に、 変形させた標準人体形状データのランドマーク位 置から被計測人体のランドマーク位置を推定する
ことを特徴とするランドマーク抽出方法。
7 . 主要ランドマ一ク位置をマーキングした被計測人体を 3次元スキャナーに より計測して被測定人体の人体形状データと共に前記主要ランドマーク位置デ —夕を取得するステップと、
記憶装置に記憶されている標準人体形状データと当該標準人体形状データに 付与されている全てのランドマーク位置デ一夕とを読み出すステップと、 標準人体形状を計測された人体形状に近づけるように変形させる標準人体形 状デ一夕とランドマーク位置データとのデータ変換処理を行うステップと、 前記データ変換処理により標準人体形状デ一夕に付与されているランドマー ク位置が前記主要ランドマ一ク位置に所定範囲内で対応した場合に、 変形させ た標準人体形状デ一夕のランドマーク位置から被計測人体の主要ランドマーク 位置以外の他のランドマーク位置を推定するステップと
を処理をコンピュータの処理により実行するランドマーク抽出処理をコンビュ —夕により実行するプログラム。
8 . 請求の範囲第 7項に記載のランドマ一ク抽出処理をコンピュータにより実 行するプログラムにおいて、
前記標準人体形状デ一夕にはテクスチャ情報が付属しており、
前記データ変換処理を行うステップは、 前記テクスチヤ情報を前記被計測人 体の人体形状データのテクスチャ情報と比較して対応づけ、 標準人体形状を計 測された人体形状に近づけるように変形させる標準人体形状データのデ一夕変 換処理を行う
ことを特徴とするランドマ一ク抽出処理をコンピュータにより実行するプログ ラム。
9 . 請求の範囲第 8項に記載のランドマーク抽出処理をコンピュータにより実 行するプログラムにおいて、
前記ランドマーク位置を推定するステップは、 被計測人体の人体形状データ から形状特徴点を抽出し、 前記デ一夕変換処理により標準人体形状デ一夕の形 状特徴点と所定範囲内で対応した場合に、 変形させた標準人体形状データのラ ンドマーク位置から被計測人体のランドマーク位置を推定する
ことを特徴とするランドマーク抽出処理をコンピュータにより実行するプログ ラム。
1 0 . ランドマーク抽出処理をコンピュータにより実行するプログラムを記録 した記録媒体であって、
主要ランドマーク位置をマ一キングした被計測人体を 3次元スキャナ一によ り計測して被測定人体の人体形状データと共に前記主要ランドマーク位置デ一 夕を取得するステップと、
記憶装置に記憶されている標準人体形状データと当該標準人体形状デ一夕に 付与されている全てのランドマーク位置デ一夕とを読み出すステツプと、 標準人体形状を計測された人体形状に近づけるように変形させる標準人体形 状データとランドマ一ク位置デ一夕とのデ一夕変換処理を行うステップと、 前記データ変換処理により標準人体形状デ一夕に付与されているランドマー ク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、 変形させ た標準人体形状デー夕のランドマーク位置から被計測人体の主要ランドマーク 位置以外の他のランドマーク位置を推定するステップと、
の処理をコンピュータにより実行するプログラムを記録した記録媒体。
1 1 . 請求の範囲第 1 0項に記載のプログラムを記録した記録媒体において、 前記標準人体形状デ一夕にはテクスチャ情報が付属しており、
前記データ変換処理を行うステップは、 前記テクスチャ情報を前記被計測人 体の人体形状デ一夕のテクスチャ情報と比較して対応づけ、 標準人体形状を計 測された人体形状に近づけるように変形させる標準人体形状データのデ一夕変 換処理を行う
ことを特徴とするプログラムを記録した記録媒体。
1 2 . 請求の範囲第 1 0項に記載のプログラムを記録した記録媒体において、 前記ランドマーク位置を推定するステップは、 被計測人体の人体形状データ から形状特徴点を抽出し、 前記データ変換処理により標準人体形状データの形 状特徴点と所定範囲内で対応した場合に、 変形させた標準人体形状デ一夕のラ ンドマ一ク位置から被計測人体のランドマーク位置を推定する
ことを特徴とするプログラムを記録した記録媒体。
PCT/JP2004/002622 2003-03-04 2004-03-03 ランドマーク抽出装置およびランドマーク抽出方法 Ceased WO2004094945A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-057418 2003-03-04
JP2003057418A JP3932360B2 (ja) 2003-03-04 2003-03-04 ランドマーク抽出装置およびランドマーク抽出方法

Publications (1)

Publication Number Publication Date
WO2004094945A1 true WO2004094945A1 (ja) 2004-11-04

Family

ID=33120855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/002622 Ceased WO2004094945A1 (ja) 2003-03-04 2004-03-03 ランドマーク抽出装置およびランドマーク抽出方法

Country Status (2)

Country Link
JP (1) JP3932360B2 (ja)
WO (1) WO2004094945A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229496A (zh) * 2017-07-11 2018-06-29 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序
CN109788929A (zh) * 2016-07-28 2019-05-21 株式会社澳思托 Dexa方式的骨密度和身体成份的检测系统及其方法
CN113433684A (zh) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 显微成像拼接装置及其方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032489A (ja) * 2006-07-27 2008-02-14 Kanazawa Inst Of Technology 人体の3次元形状データ生成方法および3次元形状データ生成装置
JP2009074938A (ja) * 2007-09-20 2009-04-09 Ihi Marine United Inc 形状計測装置および形状計測方法
US8444564B2 (en) * 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
EP2876609B1 (en) 2012-07-23 2017-12-13 Fujitsu Limited Shape data generating program, shape data generating method, and shape data generating device
JP5954846B2 (ja) 2012-08-24 2016-07-20 富士通株式会社 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
US20160117797A1 (en) * 2013-06-06 2016-04-28 Hitachi, Ltd. Image Processing Apparatus and Image Processing Method
WO2024089855A1 (ja) * 2022-10-27 2024-05-02 日本電信電話株式会社 点群移動推定装置、点群移動推定方法、及びプログラム
JP2025087448A (ja) * 2023-11-29 2025-06-10 国立研究開発法人情報通信研究機構 プログラム及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001140121A (ja) * 1999-08-19 2001-05-22 Natl Inst Of Advanced Industrial Science & Technology Meti 人台の製造方法およびその装置
JP2002092051A (ja) * 2000-09-18 2002-03-29 National Institute Of Advanced Industrial & Technology 3次元形状設計方法及びその装置
WO2002040941A1 (en) * 2000-11-15 2002-05-23 National Institute Of Advanced Industrial Science And Technology Footprint information distributing system
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の3次元モデルの作成方法及びその変形方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001140121A (ja) * 1999-08-19 2001-05-22 Natl Inst Of Advanced Industrial Science & Technology Meti 人台の製造方法およびその装置
JP2002092051A (ja) * 2000-09-18 2002-03-29 National Institute Of Advanced Industrial & Technology 3次元形状設計方法及びその装置
WO2002040941A1 (en) * 2000-11-15 2002-05-23 National Institute Of Advanced Industrial Science And Technology Footprint information distributing system
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の3次元モデルの作成方法及びその変形方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CERNEY M.M. ET AL: "Image Warping of Three-Dimensional Body Scan Data", SAE TECHNICAL PAPER SERIES, June 2003 (2003-06-01), XP002981098 *
MOCHIMARU M. ET AL: "Statistics of 3D Human Body Forms", PROCEEDINGS OF THE IEA 2000/HFES 2000 CONGRESS, vol. 44, no. 6, 2000, pages 852 - 855, XP002981097 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788929A (zh) * 2016-07-28 2019-05-21 株式会社澳思托 Dexa方式的骨密度和身体成份的检测系统及其方法
CN108229496A (zh) * 2017-07-11 2018-06-29 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序
CN108229496B (zh) * 2017-07-11 2021-07-06 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序
CN113433684A (zh) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 显微成像拼接装置及其方法

Also Published As

Publication number Publication date
JP2004265337A (ja) 2004-09-24
JP3932360B2 (ja) 2007-06-20

Similar Documents

Publication Publication Date Title
Hirshberg et al. Coregistration: Simultaneous alignment and modeling of articulated 3D shape
US10755464B2 (en) Co-registration—simultaneous alignment and modeling of articulated 3D shapes
JP5931215B2 (ja) 姿勢を推定する方法及び装置
JP5167248B2 (ja) 深度マップによるヒューマノイド形状のモデル化
CN106909873B (zh) 人脸识别的方法和装置
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP5877053B2 (ja) 姿勢推定装置および姿勢推定方法
CN113449570A (zh) 图像处理方法和装置
WO2007102537A1 (ja) 姿勢推定装置および方法
JP2009536731A5 (ja)
JP2021111114A (ja) 学習データ生成プログラム、学習データ生成方法及び推定装置
JP7370777B2 (ja) 学習システム、分析システム、学習方法、分析方法、プログラム、及び記憶媒体
US10776978B2 (en) Method for the automated identification of real world objects
US20150193657A1 (en) Depth mapping with enhanced resolution
JP3932360B2 (ja) ランドマーク抽出装置およびランドマーク抽出方法
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
JP7480001B2 (ja) 学習装置、処理装置、学習方法、姿勢検出モデル、プログラム、及び記憶媒体
Passalis et al. Towards fast 3D ear recognition for real-life biometric applications
Perbet et al. Human body shape estimation using a multi-resolution manifold forest
JP7519665B2 (ja) 皮膚情報を用いた運動特徴量の取得方法及び装置
CN116895040B (zh) 人物重识别方法、人物重识别系统以及记录有人物重识别程序的计算机可读记录介质
JP7439832B2 (ja) 3次元姿勢推定方法、プログラム、記録媒体および3次元姿勢推定装置
JPWO2024166600A5 (ja) 学習モデル生成装置、学習モデル生成方法、及びプログラム
CN117576213A (zh) 基于全局特征向量场投票网络的非合作目标位姿估计方法
JP2007042136A (ja) 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase