WO2018052183A1 - 족부 스캔 장치 및 그의 족부 스캔 방법 - Google Patents

족부 스캔 장치 및 그의 족부 스캔 방법 Download PDF

Info

Publication number
WO2018052183A1
WO2018052183A1 PCT/KR2017/007343 KR2017007343W WO2018052183A1 WO 2018052183 A1 WO2018052183 A1 WO 2018052183A1 KR 2017007343 W KR2017007343 W KR 2017007343W WO 2018052183 A1 WO2018052183 A1 WO 2018052183A1
Authority
WO
WIPO (PCT)
Prior art keywords
foot
dimensional model
image
matching
imaging unit
Prior art date
Application number
PCT/KR2017/007343
Other languages
English (en)
French (fr)
Inventor
박순용
이민재
백승해
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170070762A external-priority patent/KR102023042B1/ko
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2018052183A1 publication Critical patent/WO2018052183A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the present invention relates to a foot scan apparatus and a foot scan method thereof, and more particularly, to a foot scan apparatus and a foot scan method for generating a three-dimensional model of the foot.
  • the shape of the foot varies from person to person, and scanning the foot requires handling three-dimensional information, so it is not easy to create a three-dimensional model that accurately represents the shape of the foot.
  • the conventional foot scan apparatus has a problem in that a three-dimensional model having a shape different from the actual foot is generated due to the limitation of the installation location or the lack of scanning accuracy due to the large size of the scanning equipment.
  • An object of the present invention is to provide a foot scan apparatus and a foot scan method thereof capable of generating a precise three-dimensional model of a foot by photographing a foot using a plurality of imaging units and then matching the photographed images.
  • the main body a transparent support installed to support the foot on the main body, is installed to be rotatable in the upper portion of the foot
  • a first imaging unit for acquiring a first image of an upper portion of the second imaging unit
  • a second imaging unit configured to linearly move from a lower portion of the main body to obtain a second image of the lower portion of the foot
  • a controller configured to control an operation of the imaging unit and to generate the 3D model of the foot by registering the first image and the second image.
  • the controller generates a three-dimensional model of the upper portion of the foot by linearly matching a plurality of frames constituting the first image acquired by the first imaging unit, and the obtained by the second imaging unit
  • the 3D model of the lower portion of the foot may be generated by linearly matching a plurality of frames constituting the second image.
  • the controller converts the three-dimensional model of the upper portion of the foot portion and the three-dimensional model of the lower portion of the foot into the same coordinate system and roughly matches the tablets. You can create a dimensional model.
  • the first imaging unit may include at least one camera and at least two lasers, and the camera may photograph a region irradiated with the laser by the laser while rotating the upper portion of the foot 360 degrees. Acquiring three-dimensional coordinate information of the upper part of the foot from the first image based on a predetermined positional relationship between the camera and the laser, and using the three-dimensional coordinate information to obtain a three-dimensional model of the upper part of the foot. Can be generated.
  • the at least two lasers may be disposed at predetermined angles on both sides of the at least one camera.
  • the second imaging unit may include at least one camera and at least one laser, and photographs an area where the laser is irradiated by the laser while linearly moving the lower portion of the foot, using the camera. Acquire three-dimensional coordinate information of the lower part of the foot from the second image based on the set positional relationship between the camera and the laser, and generate a three-dimensional model of the lower part of the foot using the three-dimensional coordinate information. can do.
  • the controller may correct the 3D model of the lower portion of the foot using the previously stored distortion information about the transparent support.
  • the controller may linearly match a plurality of frames constituting the first image based on a movement speed of the first imaging unit, and configure the second image based on a movement speed of the second imaging unit. Frames can be linearly matched.
  • the controller may roughly match the three-dimensional model of the upper part of the foot part and the three-dimensional model of the lower part of the foot part based on previously stored positional relationship information of the first and second image capturing parts.
  • control unit may be refined by applying an iterative closest point (ICP) method to the roughly matched three-dimensional model.
  • ICP iterative closest point
  • the foot scan method according to an embodiment of the present invention, the main body, a transparent support that is installed to support the foot on the main body, the first imaging unit is installed to be rotatable from the upper portion of the main body and the lower portion of the main body
  • the generating of the three-dimensional model of the foot may include generating a three-dimensional model of the upper part of the foot by linearly matching a plurality of frames constituting the first image, and generating a plurality of constituting the second image. Linearly matching a frame of the frame to generate a three-dimensional model of the bottom of the foot.
  • the generating of the three-dimensional model of the foot may include converting the three-dimensional model of the upper part of the foot and the three-dimensional model of the lower part of the foot into coarse coordinate systems and roughly matching the three-dimensional match.
  • the method may further include purifying the model.
  • the first imaging unit may include at least one camera and at least two lasers, and the generating of the three-dimensional model of the upper portion of the foot may be based on a positional relationship between the camera and the laser.
  • the 3D coordinate information of the upper part of the foot may be obtained from the first image, and the 3D model of the upper part of the foot may be generated using the 3D coordinate information.
  • the second imaging unit may include at least one camera and at least one laser, and the generating of the three-dimensional model of the lower part of the foot may be performed based on a positional relationship between the preset camera and the laser.
  • 3D coordinate information about the bottom of the foot may be obtained from a second image, and a 3D model of the bottom of the foot may be generated using the 3D coordinate information.
  • the generating of the 3D model of the lower part of the foot may include correcting the 3D model of the lower part of the foot using previously stored distortion information about the transparent support.
  • the generating of the 3D model of the upper part of the foot may include linearly matching the plurality of frames constituting the first image based on the moving speed of the first imager, and generating the 3D model of the lower part of the foot.
  • the generating of the model may linearly match a plurality of frames constituting the second image based on a moving speed of the second imager.
  • the three-dimensional model of the upper part of the foot part and the three-dimensional model of the lower part of the foot part may be roughly matched based on previously stored positional relationship information of the first and second imaging units.
  • the tablet matching may be performed by applying an iterative closest point (ICP) method to the roughly matched three-dimensional model.
  • ICP iterative closest point
  • a program for performing a foot scan method according to an embodiment of the present invention may be recorded in a computer-readable recording medium.
  • the photographed images may be matched to generate a more precise 3D model of the foot.
  • a small and simple foot scan device may be implemented by using a plurality of imaging units that rotate and move linearly, respectively.
  • FIG. 1 is a view showing a foot scan apparatus according to an embodiment of the present invention.
  • FIG 2 and 3 are views for explaining the movement of the image pickup unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing a method of calibrating an image capturing unit according to an exemplary embodiment.
  • FIG. 5 is a view schematically showing a matching method according to an embodiment of the present invention.
  • 6 and 7 are diagrams for explaining linear matching according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a schematic registration according to an embodiment of the present invention.
  • FIG. 9 is a view for explaining tablet matching according to an embodiment of the present invention.
  • FIG 10 and 11 are views for explaining a matching method according to another embodiment of the present invention.
  • FIGS. 12 and 13 are flowcharts illustrating a foot scan method, according to an exemplary embodiment.
  • the terms ' ⁇ ', ' ⁇ ', ' ⁇ block', ' ⁇ module', etc. used throughout the present specification may mean a unit for processing at least one function or operation.
  • it can mean a hardware component such as software, FPGA, or ASIC.
  • ' ⁇ ', ' ⁇ ', ' ⁇ block', ' ⁇ module', etc. are not limited to software or hardware.
  • ' ⁇ ', ' ⁇ ', ' ⁇ ', ' ⁇ ' May be configured to reside in an addressable storage medium or may be configured to play one or more processors.
  • ' ⁇ ', ' ⁇ ', ' ⁇ block', ' ⁇ module' are components such as software components, object-oriented software components, class components, and task components. And processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and Contains variables
  • the components and the functions provided within ' ⁇ ', ' ⁇ ', ' ⁇ ', ' ⁇ ', ',' ⁇ Module 'or may be further separated into additional components and' ⁇ part ',' ⁇ group ',' ⁇ block ',' ⁇ module '.
  • FIG. 1 is a view showing a foot scan apparatus according to an embodiment of the present invention.
  • the foot scan apparatus 100 includes a first imaging unit 110, a second imaging unit 120, a transparent support 130, a main body 140, and a controller 150.
  • the first imaging unit 110 is installed to be rotatable in the upper portion of the main body 140, and can photograph while rotating the upper portion of the foot portion 360 degrees.
  • the first imaging unit 110 may include at least one camera 111 and at least two lasers 112 and 113, and rotate the upper portion of the foot by 360 degrees at a position spaced a predetermined distance from the upper part of the foot. While photographing the area irradiated with the laser by the laser (112, 113) with the camera 111, it is possible to obtain a first image for obtaining three-dimensional coordinate information for the upper portion of the foot.
  • the at least two lasers 112 and 113 may be disposed at predetermined angles on both sides of the camera 111, and the at least two lasers 112 and 113 may be disposed at different angles. Accordingly, when an area where the laser cannot be irradiated by one laser 112 is generated, the laser may be irradiated to the corresponding area by the laser 113 of another angle, so that the first imaging unit 110 may be more accurate. A first image capable of acquiring three-dimensional coordinate information may be generated.
  • the second imaging unit 120 may be installed to linearly move from the lower part of the main body 140 to photograph the lower part of the foot.
  • the second imaging unit 120 may include at least one camera 121 and at least one laser 122.
  • the second imaging unit 120 may move an area where the laser is irradiated by the laser 122 while linearly moving the lower part of the foot. Photographed by the camera 121, a second image for obtaining three-dimensional coordinate information for the lower part of the foot can be obtained.
  • the first imaging unit 110 is illustrated as being composed of one camera 111 and two lasers 112 and 113, but may be implemented by two or more cameras and three or more lasers.
  • the second imaging unit 120 is also shown as being composed of one camera 121 and one laser 122, it may be implemented by two or more cameras and two or more lasers.
  • the transparent support 130 is installed to support the foot on the main body 140, and may be made of a transparent material through which light can pass.
  • the transparent support 130 may be implemented with a transparent acrylic plate.
  • the controller 150 controls the operations of the first imaging unit 110 and the second imaging unit 120 to photograph the upper and lower portions of the foot, and the first imaging unit 110 and the second imaging unit 120
  • the 3D model of the foot may be generated by registering the obtained first and second images, respectively.
  • the controller 150 linearly matches a plurality of frames constituting the first image acquired by the first imaging unit 110 to generate a 3D model of the upper portion of the foot, and the second imaging unit 120
  • a three-dimensional model of the lower part of the foot may be generated by linearly matching the plurality of frames constituting the second image acquired at.
  • the controller 150 may perform linear matching in consideration of current positions, moving speeds, and the like of the first and second imaging units 110 and 120.
  • the controller 150 linearly matches a plurality of frames constituting the first image based on the rotational speed of the first imaging unit 110, and based on the moving speed of the second imaging unit 120, the controller 150 performs a linear matching.
  • a plurality of frames constituting the image may be linearly matched.
  • the controller 150 obtains 3D coordinate information of the upper part of the foot from the first image based on a positional relationship between the camera 111 of the first imaging unit 110 and the lasers 112 and 113.
  • the 3D model of the upper part of the foot may be generated using the obtained 3D coordinate information.
  • the controller 150 obtains 3D coordinate information of the lower part of the foot from the second image based on the positional relationship between the camera 121 and the laser 122 of the second imaging unit 120.
  • the 3D model of the lower part of the foot may be generated using the 3D coordinate information.
  • the controller 150 may roughly match the three-dimensional model of the upper portion of the foot and the three-dimensional model of the lower portion of the foot.
  • the controller 150 converts the three-dimensional model of the upper portion of the foot and the three-dimensional model of the lower portion of the foot into the same coordinate system, respectively, and then store the first and second imaging units 110 and 120.
  • the coarse matching can be performed based on the positional relationship information.
  • the controller 150 may perform refinement matching on the roughly matched 3D model to finally generate a 3D model of the foot.
  • the controller 150 may perform refinement matching by applying an iterative closest point (ICP) method to a roughly matched 3D model.
  • ICP iterative closest point
  • the first imaging unit 110 includes at least one camera 111 and at least two lasers 112 and 113, and photographs the upper part of the foot while rotating the upper part of the foot 360 degrees.
  • the first imaging unit 110 includes at least two lasers 112 and 113 disposed at predetermined angles on both sides of the camera 111 so that one laser 112 does not reach a specific region. Since different lasers 113 may reach the specific area at different angles, the controller 150 uses the first image acquired by the first imaging unit 110 to more precisely three-dimensionally view the upper portion of the foot. You can create a model.
  • the second laser 113 irradiates the laser on the back of the astragalus at different angles, thereby causing lasers in all areas of the upper part of the foot Can be investigated. Accordingly, more accurate three-dimensional coordinate information can be obtained in all areas with respect to the upper part of the foot, so that a more accurate three-dimensional model can be generated.
  • the first laser 112 and the second laser 113 may be disposed at different angles on both sides of the camera 111 to irradiate the laser to the upper portion of the foot, and in FIG. 2, the two lasers 112 and 113. ), But is not limited thereto, and may be implemented by three or more lasers.
  • the second imaging unit 120 includes at least one camera 121 and at least one laser 122, and photographs the lower part of the foot while linearly moving the lower part of the foot.
  • the laser 122 included in the second imaging unit 120 irradiates the laser to the lower portion of the foot
  • distortion of the laser may occur through the transparent support 130 as shown in FIG. 3.
  • an error may occur in the 3D coordinate information of the lower part of the foot obtained by the second imaging unit 120, so that the 3D model of the lower part of the foot may be different from the lower shape of the actual foot.
  • the controller 150 may correct the three-dimensional model of the lower part of the foot using the previously stored distortion information of the transparent support 130 to obtain a precise three-dimensional model of the lower part of the foot.
  • the transparent support 130 may be a transparent acrylic plate, and the distortion information of the laser for the transparent acrylic plate may be stored in advance in the controller 150.
  • the controller 150 may control the positional relationship between the cameras 111 and 121 and the lasers 112, 113, and 122 in each of the first and second imaging units 110 and 120. As shown in FIG. 4, after irradiating the laser to the correction plane using the lasers 112, 113, and 122, the correction plane is photographed using the cameras 111 and 121, and the shape of the laser appears on the photographed correction plane. The positions of the cameras 111 and 121 and the lasers 112, 113, and 122 can be adjusted based on this. In addition, the controller 150 detects the center coordinates of the laser in the first image and the second image acquired by the first imaging unit 110 and the second imaging unit 120, and presets the detected laser center coordinates. Three-dimensional coordinates can be obtained based on the positional relationship between the camera and the laser.
  • a three-dimensional model of the upper part of the foot is generated by linearly matching the plurality of frames constituting the first image, and the plurality of frames constituting the second image are linearly matched to the lower part of the foot.
  • the three-dimensional models of the upper and lower portions of the foot may be roughly matched in the same coordinate system, and then refinedly matched to generate the three-dimensional model of the foot.
  • the first imaging unit 110 acquires a first image by photographing the upper portion of the foot while rotating, and the controller 150 linearly matches a plurality of frames constituting the first image. Linear matching is performed in consideration of the rotational motion of the first imaging unit 110. In this case, an angular velocity vector may be used to sequentially match a plurality of frames.
  • the second imaging unit 120 acquires a second image by photographing the lower portion of the foot while moving linearly. As shown in FIG. 7, the controller 150 obtains a movement speed vector based on the movement speed of the second imaging unit 120. Can be used to perform linear matching. When the controller 150 performs the linear matching on the plurality of frames constituting the first and second images, the controller 150 considers the current position and the moving speed of the first and second imaging units 110 and 120 to perform linear matching. Can be performed.
  • the controller 150 converts the three-dimensional model of the upper part of the foot and the three-dimensional model of the lower part of the foot into the same coordinate system to convert the three-dimensional model of the upper part of the foot and the three-dimensional part of the lower part of the foot.
  • Rough matching to the model can be performed.
  • the controller 150 may roughly match based on the positional relationship between the camera and the laser constituting the first and second imaging units 110 and 120, respectively.
  • the controller 150 may perform the refinement matching as shown in FIG. 9 to finally generate the 3D model for the foot.
  • the refinement matching may be performed by applying the ICP method to the three-dimensional model on which the rough matching is performed.
  • the foot scan apparatus may generate a more precise three-dimensional model of the foot by performing linear matching, coarse matching, and refinement matching.
  • the controller 150 may roughly match the current frame and the reference frame of the linearly matched image based on the refinement matching result of the previous frames acquired by the first and second imaging units 110 and 120.
  • the coarse matching may be performed by applying a transformation matrix that matches the previous frame to the reference frame to the current frame of the linearly matched image.
  • Coarse matching may be performed by Equation 1 below.
  • Equation 1 Is the kth frame, Is the k-th frame, approximation of the transformation matrix Silver previous frame To the reference frame ( ) Means a relative transform that matches That is, the kth frame ( ) Is the current frame, the current frame ( The coarse matching is performed by applying a transformation matrix that matches the previous frame to the reference frame. As a result, the current frame with coarse registration ( ) Can be obtained. Transformation matrix to match previous frame to reference frame Can be obtained from the refinement matching result of the previous frame.
  • refinement matching according to another embodiment of the present invention may be performed by a modified IPP algorithm.
  • the existing IPP algorithm repeatedly executes the algorithm and selects a converged three-dimensional point as a matching point for matching.
  • the modified IPP algorithm according to an embodiment of the present invention can shorten the time required for estimating the matching point by determining the matching point through a single estimation process while using the advantages of the existing IPP as it is.
  • the purpose of the modified IPP algorithm is to find the point Q ⁇ , which is the matching point of the point P, in order to match the S and D surfaces.
  • a 3D point P on an S curve is projected onto a 2D image of a D curve to obtain a 2D image coordinate P D.
  • D on the three-dimensional curved surface projection point (Q) corresponding to the two-dimensional image coordinates (P D) is estimated using the distance image (I D) and the two-dimensional image coordinates (P D) of the D-form surface.
  • the point where the point P and the tangent plane perpendicularly meet is selected as a matching point.
  • Equation 2 Singular Value Decomposition
  • the calculated transformation matrix ( The inverse of) can be used to create a three-dimensional model of the foot.
  • This three-step matching process can reduce the error of the three-dimensional foot model and generate a more accurate three-dimensional foot model.
  • FIG. 11 is a diagram for describing a method of updating a reference frame based on a refinement matching result according to an embodiment of the present invention.
  • step 1 illustrates a result of matching the reference frame and the frame 1.
  • a portion U1 that is not included in the reference frame appears in the one-step matching result.
  • the first stage matching result is updated to the reference frame so that the first stage matching result can be used as the reference frame of the second stage matching.
  • step 2 shows the result of matching the updated reference frame and frame 2.
  • a portion U2 not included in the reference frame appears in the two-step matching result.
  • an area not included in the initial reference frame is included in the reference frame. Therefore, it is possible to increase the area where the current frame and the reference frame overlap, and as a result, there are more matching points between the reference frame and the current frame, thereby improving the success rate of matching.
  • FIGS. 12 and 13 are flowcharts illustrating a foot scan method, according to an exemplary embodiment.
  • a first image of an upper part of a foot is obtained (S1210), and a second image of a lower part of a foot is obtained (S1220). Subsequently, the 3D model of the foot is generated by registering the first image and the second image (S1230).
  • a plurality of frames constituting the first image are linearly matched to generate a 3D model of the upper part of the foot as illustrated in FIG. 13 (S1310), and the plurality of frames constituting the second image are linearly aligned.
  • the registration generates a three-dimensional model of the lower part of the foot (S1320).
  • the three-dimensional model of the upper part of the foot and the three-dimensional model of the lower part of the foot are roughly matched by converting them into the same coordinate system (S1330), and the roughly matched three-dimensional model is refined and matched (S1340), and the three of the foot You can create a dimensional model.
  • the photographed images may be matched to generate a more precise 3D model of the foot.
  • the foot scan method according to various embodiments of the present disclosure may be programmed and stored in various storage media. Accordingly, the foot scan method according to the aforementioned various embodiments may be implemented in various types of electronic devices that execute a storage medium.
  • a non-transitory computer readable medium may be provided that stores a program that sequentially performs the step of generating a three-dimensional model of the.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

족부 스캔 장치가 개시된다. 족부 스캔 장치는, 본체, 본체에 족부를 지지할 수 있도록 설치되는 투명 지지대, 본체의 상부에서 회전 가능하도록 설치되어 족부의 상부에 대한 제1 영상을 획득하는 제1 촬상부, 본체의 하부에서 직선 이동하도록 설치되어 족부의 하부에 대한 제2 영상을 획득하는 제2 촬상부 및 제1 촬상부 및 제2 촬상부의 동작을 제어하며, 제1 영상 및 제2 영상을 정합하여 족부의 3차원 모델을 생성하는 제어부를 포함한다.

Description

족부 스캔 장치 및 그의 족부 스캔 방법
본 발명은 족부 스캔 장치 및 그의 족부 스캔 방법에 관한 것으로, 보다 상세하게는 족부의 3차원 모델을 생성하는 족부 스캔 장치 및 그의 족부 스캔 방법에 관한 것이다.
족부의 형상은 사람마다 다르며, 족부를 스캔하는 것은 입체적 정보를 취급하여야 하므로, 족부의 형상을 정밀하게 나타내는 3차원 모델을 생성하는 것이 용이하지 않다.
종래에는 족부의 3차원 모델을 생성하기 위하여 고정되거나 이동할 수 있는 하나 이상의 카메라 및 레이저 등을 이용하여 족부를 촬영한 후 이를 이용하여 3차원 모델을 생성하였다.
다만, 종래의 족부 스캔 장치는 스캔 장비의 크기가 매우 커서 설치 장소에 제약이 있거나 스캐닝의 정밀도가 떨어져서 실제 족부와 형태가 상이한 3차원 모델이 생성되는 문제가 있었다.
따라서, 크기가 크지 않으면서 실제 족부의 형태가 그대로 투영되는 3차원 모델을 생성할 수 있는 정밀한 족부 스캔 장치의 필요성이 있었다.
본 발명의 목적은 복수의 촬상부를 이용하여 족부를 촬영한 후 촬영된 영상을 정합하여 족부의 정밀한 3차원 모델을 생성할 수 있는 족부 스캔 장치 및 그의 족부 스캔 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 족부 스캔 장치는, 본체, 상기 본체에 족부를 지지할 수 있도록 설치되는 투명 지지대, 상기 본체의 상부에서 회전 가능하도록 설치되어 상기 족부의 상부에 대한 제1 영상을 획득하는 제1 촬상부, 상기 본체의 하부에서 직선 이동하도록 설치되어 상기 족부의 하부에 대한 제2 영상을 획득하는 제2 촬상부 및 상기 제1 촬상부 및 상기 제2 촬상부의 동작을 제어하며, 상기 제1 영상 및 상기 제2 영상을 정합하여 상기 족부의 3차원 모델을 생성하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 제1 촬상부에서 획득된 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 상부에 대한 3차원 모델을 생성하고, 상기 제2 촬상부에서 획득된 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 하부에 대한 3차원 모델을 생성할 수 있다.
여기서, 상기 제어부는, 상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 동일 좌표계로 변환하여 개략 정합하고, 상기 개략 정합된 3차원 모델을 정제 정합하여 상기 족부의 3차원 모델을 생성할 수 있다.
또한, 상기 제1 촬상부는, 적어도 하나의 카메라 및 적어도 2개의 레이저를 포함하고, 상기 족부의 상부를 360도 회전하면서 상기 레이저에 의해 레이저가 조사되는 영역을 상기 카메라로 촬영하며, 상기 제어부는, 기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제1 영상으로부터 상기 족부의 상부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 상부에 대한 3차원 모델을 생성할 수 있다.
여기서, 상기 제1 촬상부는, 상기 적어도 2개의 레이저가 상기 적어도 하나의 카메라의 양측에서 기설정된 각도로 배치될 수 있다.
또한, 상기 제2 촬상부는, 적어도 하나의 카메라 및 적어도 하나의 레이저를 포함하고, 상기 족부의 하부를 직선 이동하면서 상기 레이저에 의해 레이저가 조사되는 영역을 상기 카메라로 촬영하며, 상기 제어부는, 기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제2 영상으로부터 상기 족부의 하부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 생성할 수 있다.
여기서, 상기 제어부는, 기저장된 상기 투명 지지대에 대한 왜곡 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 보정할 수 있다.
또한, 상기 제어부는, 상기 제1 촬상부의 이동 속도에 기초하여 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하고, 상기 제2 촬상부의 이동 속도에 기초하여 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합할 수 있다.
또한, 상기 제어부는, 기저장된 상기 제1 및 제2 촬상부의 위치 관계 정보에 기초하여 상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 개략 정합할 수 있다.
또한, 상기 제어부는, 상기 개략 정합된 3차원 모델에 ICP(Iterative closest point) 방법을 적용하여 정제 정합할 수 있다.
한편, 본 발명의 일 실시 예에 따른 족부 스캔 방법은, 본체, 상기 본체에 족부를 지지할 수 있도록 설치되는 투명 지지대, 상기 본체의 상부에서 회전 가능하도록 설치되는 제1 촬상부 및 상기 본체의 하부에서 직선 이동하도록 설치되는 제2 촬상부를 포함하는 족부 스캔 장치의 족부 스캔 방법에 있어서, 상기 족부의 상부에 대한 제1 영상을 획득하는 단계, 상기 족부의 하부에 대한 제2 영상을 획득하는 단계 및 상기 제1 영상 및 상기 제2 영상을 정합하여 상기 족부의 3차원 모델을 생성하는 단계를 포함한다.
여기서, 상기 족부의 3차원 모델을 생성하는 단계는, 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 상부에 대한 3차원 모델을 생성하는 단계 및 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 하부에 대한 3차원 모델을 생성하는 단계를 포함할 수 있다.
여기서, 상기 족부의 3차원 모델을 생성하는 단계는, 상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 동일 좌표계로 변환하여 개략 정합하는 단계 및 상기 개략 정합된 3차원 모델을 정제 정합하는 단계를 더 포함할 수 있다.
또한, 상기 제1 촬상부는, 적어도 하나의 카메라 및 적어도 2개의 레이저를 포함하고, 상기 족부의 상부에 대한 3차원 모델을 생성하는 단계는, 기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제1 영상으로부터 상기 족부의 상부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 상부에 대한 3차원 모델을 생성할 수 있다.
또한, 상기 제2 촬상부는, 적어도 하나의 카메라 및 적어도 하나의 레이저를 포함하고, 상기 족부의 하부에 대한 3차원 모델을 생성하는 단계는, 기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제2 영상으로부터 상기 족부의 하부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 생성할 수 있다.
여기서, 상기 족부의 하부에 대한 3차원 모델을 생성하는 단계는, 기저장된 상기 투명 지지대에 대한 왜곡 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 보정하는 단계를 포함할 수 있다.
또한, 상기 족부의 상부에 대한 3차원 모델을 생성하는 단계는, 상기 제1 촬상부의 이동 속도에 기초하여 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하고, 상기 족부의 하부에 대한 3차원 모델을 생성하는 단계는, 상기 제2 촬상부의 이동 속도에 기초하여 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합할 수 있다.
또한, 상기 개략 정합하는 단계는, 기저장된 상기 제1 및 제2 촬상부의 위치 관계 정보에 기초하여 상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 개략 정합할 수 있다.
또한, 상기 정제 정합하는 단계는, 상기 개략 정합된 3차원 모델에 ICP(Iterative closest point) 방법을 적용하여 정제 정합할 수 있다.
한편, 본 발명의 일 실시 예에 따른 족부 스캔 방법을 수행하기 위한 프로그램이 컴퓨터에서 판독 가능한 기록 매체에 기록될 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 복수의 촬상부를 이용하여 족부를 촬영한 후 촬영된 영상을 정합하여 보다 정밀한 족부의 3차원 모델을 생성할 수 있다.
또한, 각각 회전 이동 및 직선 이동하는 복수의 촬상부를 이용하여 크기가 작고 간소한 족부 스캔 장치를 구현할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 족부 스캔 장치를 나타내는 도면이다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 촬상부의 움직임을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 촬상부를 보정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 정합 방법을 개략적으로 나타내는 도면이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 선형 정합을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 개략 정합을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 정제 정합을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 다른 실시 예에 따른 정합 방법을 설명하기 위한 도면이다.
도 12 및 도 13은 본 발명의 일 실시 예에 따른 족부 스캔 방법을 나타내는 흐름도이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 족부 스캔 장치를 나타내는 도면이다.
도 1을 참조하면, 족부 스캔 장치(100)는 제1 촬상부(110), 제2 촬상부(120), 투명 지지대(130), 본체(140) 및 제어부(150)를 포함한다.
제1 촬상부(110)는 본체(140)의 상부에서 회전 가능하도록 설치되어 족부의 상부를 360도 회전하면서 촬영할 수 있다. 또한, 제1 촬상부(110)는 적어도 하나의 카메라(111) 및 적어도 2개의 레이저(112, 113)를 포함할 수 있으며, 족부의 상부에서 일정 거리 이격된 위치에서 족부의 상부를 360도 회전하면서 레이저(112, 113)에 의해 레이저가 조사된 영역을 카메라(111)로 촬영하여, 족부의 상부에 대한 3차원 좌표 정보를 획득하기 위한 제1 영상을 획득할 수 있다. 여기서, 적어도 2개의 레이저(112, 113)는 카메라(111)의 양측에 기설정된 각도로 배치될 수 있으며, 적어도 2개의 레이저(112, 113)는 서로 다른 각도로 배치될 수 있다. 이에 따라, 하나의 레이저(112)에 의해 레이저가 조사되지 못하는 영역이 발생하는 경우 다른 각도의 레이저(113)에 의해 해당 영역에 레이저가 조사될 수 있으므로, 제1 촬상부(110)에서 더욱 정확한 3차원 좌표 정보를 획득할 수 있는 제1 영상을 생성할 수 있다.
제2 촬상부(120)는 본체(140)의 하부에서 직선 이동하도록 설치되어 족부의 하부를 촬영할 수 있다. 또한, 제2 촬상부(120)는 적어도 하나의 카메라(121) 및 적어도 하나의 레이저(122)를 포함할 수 있으며, 족부의 하부를 직선 이동하면서 레이저(122)에 의해 레이저가 조사되는 영역을 카메라(121)로 촬영하여, 족부의 하부에 대한 3차원 좌표 정보를 획득하기 위한 제2 영상을 획득할 수 있다. 한편, 도 1에서 제1 촬상부(110)는 하나의 카메라(111) 및 2개의 레이저(112, 113)로 구성되는 것으로 도시하였으나, 2개 이상의 카메라 및 3개 이상의 레이저로 구현될 수 있으며, 제2 촬상부(120)도 하나의 카메라(121) 및 하나의 레이저(122)로 구성되는 것으로 도시하였으나, 2개 이상의 카메라 및 2개 이상의 레이저로 구현될 수 있다.
투명 지지대(130)는 본체(140)에 족부를 지지할 수 있도록 설치되며, 빛이 통과할 수 있는 투명한 재질로 구성될 수 있다. 일 예로, 투명 지지대(130)는 투명 아크릴판으로 구현될 수 있다.
제어부(150)는 제1 촬상부(110) 및 제2 촬상부(120)의 동작을 제어하여 족부의 상부 및 하부를 촬영하며, 제1 촬상부(110) 및 제2 촬상부(120)에서 각각 획득된 제1 영상 및 제2 영상을 정합하여 족부의 3차원 모델을 생성할 수 있다. 구체적으로, 제어부(150)는 제1 촬상부(110)에서 획득된 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 족부의 상부에 대한 3차원 모델을 생성하고, 제2 촬상부(120)에서 획득된 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 족부의 하부에 대한 3차원 모델을 생성할 수 있다. 이 경우, 제어부(150)는 제1 촬상부(110) 및 제2 촬상부(120)의 현재 위치, 이동 속도 등을 고려하여 선형 정합을 수행할 수 있다. 일 예로, 제어부(150)는 제1 촬상부(110)의 회전 속도에 기초하여 제1 영상을 구성하는 복수의 프레임을 선형 정합하고, 제2 촬상부(120)의 이동 속도에 기초하여 제2 영상을 구성하는 복수의 프레임을 선형 정합할 수 있다.
또한, 제어부(150)는 기설정된 제1 촬상부(110)의 카메라(111) 및 레이저(112, 113) 간 위치 관계에 기초하여 제1 영상으로부터 족부의 상부에 대한 3차원 좌표 정보를 획득하고, 획득된 3차원 좌표 정보를 이용하여 족부의 상부에 대한 3차원 모델을 생성할 수 있다. 또한, 제어부(150)는 기설정된 제2 촬상부(120)의 카메라(121) 및 레이저(122) 간 위치 관계에 기초하여 제2 영상으로부터 족부의 하부에 대한 3차원 좌표 정보를 획득하고, 획득된 3차원 좌표 정보를 이용하여 족부의 하부에 대한 3차원 모델을 생성할 수 있다.
이후, 제어부(150)는 족부의 상부에 대한 3차원 모델 및 족부의 하부에 대한 3차원 모델을 개략 정합할 수 있다. 구체적으로, 제어부(150)는 족부의 상부에 대한 3차원 모델 및 족부의 하부에 대한 3차원 모델을 각각 동일 좌표계로 변환한 후 기저장된 제1 촬상부(110) 및 제2 촬상부(120)의 위치 관계 정보에 기초하여 개략 정합을 수행할 수 있다.
제어부(150)는 개략 정합된 3차원 모델에 정제 정합을 수행하여 최종적으로 족부의 3차원 모델을 생성할 수 있다. 일 예로, 제어부(150)는 개략 정합된 3차원 모델에 ICP(Iterative closest point) 방법을 적용하여 정제 정합을 수행할 수 있다.
도 2를 참조하면, 제1 촬상부(110)는 적어도 하나의 카메라(111) 및 적어도 2개의 레이저(112, 113)를 포함하며, 족부의 상부를 360도 회전하면서 족부의 상부를 촬영한다. 이때, 제1 촬상부(110)는 카메라(111)의 양측에 기설정된 각도로 배치되는 적어도 2개의 레이저(112, 113)를 포함하여, 특정 영역에 하나의 레이저(112)가 도달하지 못하는 경우에도 다른 각도에서 다른 레이저(113)가 상기 특정 영역에 도달할 수 있으므로, 제어부(150)는 제1 촬상부(110)에서 획득되는 제1 영상을 이용하여 보다 정밀하게 족부의 상부에 대한 3차원 모델을 생성할 수 있다. 예를 들어, 제1 레이저(112)가 복사뼈에 의하여 복사뼈의 뒷부분에 레이저를 조사하지 못하는 경우 제2 레이저(113)가 다른 각도에서 복사뼈의 뒷부분에 레이저를 조사하여 족부의 상부의 모든 영역에서 레이저가 조사될 수 있도록 할 수 있다. 이에 따라, 족부의 상부에 대해 모든 영역에서 더욱 정확한 3차원 좌표 정보를 획득할 수 있으므로 보다 정밀한 3차원 모델을 생성할 수 있다. 여기서, 제1 레이저(112) 및 제2 레이저(113)는 카메라(111)의 양측에 서로 다른 각도로 배치되어 족부의 상부에 레이저를 조사할 수 있으며, 도 2에서는 2개의 레이저(112, 113)만 도시되었으나, 이에 한정되지 않고 3개 이상의 레이저로 구현될 수 있다.
도 3을 참조하면, 제2 촬상부(120)는 적어도 하나의 카메라(121) 및 적어도 하나의 레이저(122)를 포함하며, 족부의 하부를 직선 이동하면서 족부의 하부를 촬영한다. 제2 촬상부(120)에 포함된 레이저(122)가 족부의 하부에 레이저를 조사하는 경우, 도 3에서와 같이, 투명 지지대(130)를 통과하여 레이저의 왜곡이 발생할 수 있다. 이에 따라, 제2 촬상부(120)에 의하여 획득되는 족부의 하부에 대한 3차원 좌표 정보에는 오차가 발생할 수 있으므로, 족부의 하부에 대한 3차원 모델이 실제 족부의 하부 형태와 차이가 있을 수 있다. 따라서, 제어부(150)는 기저장된 투명 지지대(130)에 대한 왜곡 정보를 이용하여 족부의 하부에 대한 3차원 모델을 보정하여 정밀한 족부의 하부에 대한 3차원 모델을 획득할 수 있다. 일 예로, 투명 지지대(130)는 투명 아크릴판일 수 있으며, 투명 아크릴판에 대한 레이저의 왜곡 정보는 제어부(150)에 미리 저장될 수 있다.
추가적인 실시 예로, 제어부(150)는 제1 촬상부(110) 및 제2 촬상부(120) 각각에서 카메라(111, 121)와 레이저(112, 113, 122) 간의 위치 관계를 제어할 수 있다. 도 4와 같이, 각 레이저(112, 113, 122)를 이용하여 보정 평면에 레이저를 조사한 후, 카메라(111, 121)를 이용하여 보정 평면을 촬영하여, 촬영된 보정 평면에 나타나는 레이저의 형태에 기초하여 카메라(111, 121)와 레이저(112, 113, 122)의 위치를 조절할 수 있다. 또한, 제어부(150)는 제1 촬상부(110) 및 제2 촬상부(120)에서 획득된 제1 영상 및 제2 영상에서 레이저의 중심 좌표를 검출하고, 검출된 레이저 중심 좌표에 대해서 기설정된 카메라와 레이저의 위치 관계에 기초하여 3차원 좌표를 획득할 수 있다.
이후, 도 5와 같이, 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 족부의 상부에 대한 3차원 모델을 생성하고, 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 족부의 하부에 대한 3차원 모델을 생성한 후, 족부의 상부 및 하부에 대한 3차원 모델을 동일 좌표계에서 개략 정합한 후 정제 정합하여 족부의 3차원 모델을 생성할 수 있다.
이하, 도 6 내지 도 9를 참조하여 제어부(150)에서 수행되는 선형 정합, 개략 정합 및 정제 정합을 상세히 설명한다.
우선, 도 6을 참조하면, 제1 촬상부(110)는 족부의 상부를 회전하면서 촬영하여 제1 영상을 획득하며, 제어부(150)는 제1 영상을 구성하는 복수의 프레임을 선형 정합할 때 이러한 제1 촬상부(110)의 회전 운동을 고려하여 선형 정합이 수행된다. 이 경우, 각속도 벡터가 이용되어 복수의 프레임이 순차적으로 정합될 수 있다.
제2 촬상부(120)는 족부의 하부를 직선 이동하면서 촬영하여 제2 영상을 획득하며, 도 7과 같이, 제어부(150)는 제2 촬상부(120)의 이동 속도에 기초한 이동속도 벡터를 이용하여 선형 정합을 수행할 수 있다. 제어부(150)는 제1 및 제2 영상을 구성하는 복수의 프레임에 대하여 선형 정합을 수행할 때, 제1 및 제2 촬상부(110, 120)의 현재 위치 및 이동 속도 등을 고려하여 선형 정합을 수행할 수 있다.
도 8을 참조하면, 제어부(150)는 족부의 상부에 대한 3차원 모델 및 족부의 하부에 대한 3차원 모델을 동일 좌표계로 변환하여 족부의 상부에 대한 3차원 모델 및 족부의 하부에 대한 3차원 모델에 대한 개략 정합을 수행할 수 있다. 이 경우, 제어부(150)는 기설정된 제1 촬상부(110)와 제2 촬상부(120)를 각각 구성하는 카메라 및 레이저의 위치 관계에 기초하여 개략 정합을 수행할 수 있다. 제어부(150)는 개략 정합이 수행된 후, 도 9과 같이, 정제 정합을 수행하여 최종적으로 족부에 대한 3차원 모델을 생성할 수 있다. 이 경우, 개략 정합이 수행된 3차원 모델에 ICP 방법을 적용하여 정제 정합을 수행할 수 있다.
따라서, 본 발명의 일 실시 예에 따른 족부 스캔 장치는 선형 정합, 개략 정합 및 정제 정합을 수행하여 보다 정밀한 족부의 3차원 모델을 생성할 수 있다.
본 발명의 다른 실시 예로, 제어부(150)는 제1 및 제2 촬상부(110, 120)에서 획득된 이전 프레임의 정제 정합 결과에 기초하여 선형 정합된 영상의 현재 프레임과 기준 프레임을 개략 정합할 수 있다. 구체적으로, 이전 프레임을 기준 프레임으로 정합하는 변환 행렬을 선형 정합된 영상의 현재 프레임에 적용하여 개략 정합이 수행될 수 있다. 개략 정합은 아래의 수학식 1에 의해 수행될 수 있다.
Figure PCTKR2017007343-appb-M000001
수학식 1에서
Figure PCTKR2017007343-appb-I000001
는 k번째 프레임,
Figure PCTKR2017007343-appb-I000002
는 개략 정합이 적용된 k번째 프레임, 변환 행렬
Figure PCTKR2017007343-appb-I000003
은 이전 프레임
Figure PCTKR2017007343-appb-I000004
을 기준 프레임(
Figure PCTKR2017007343-appb-I000005
)으로 정합하는 상대 변환을 의미한다. 즉, k번째 프레임(
Figure PCTKR2017007343-appb-I000006
)을 현재 프레임이라고 하면, 현재 프레임(
Figure PCTKR2017007343-appb-I000007
)에 대해 이전 프레임을 기준 프레임으로 정합하는 변환 행렬을 적용함으로써 개략 정합이 수행된다. 그 결과 개략 정합이 적용된 현재 프레임(
Figure PCTKR2017007343-appb-I000008
)을 얻을 수 있다. 이전 프레임을 기준 프레임으로 정합하는 변환 행렬
Figure PCTKR2017007343-appb-I000009
은 이전 프레임의 정제 정합 결과로부터 구해질 수 있다. 또한, 본 발명의 다른 실시 예에 따른 정제 정합은 변형 IPP 알고리즘에 의하여 수행될 수 있다.
기존의 IPP 알고리즘은 반복적으로 알고리즘을 수행하여 수렴되는 3차원 점을 정합을 위한 매칭점으로 선택한다. 이에 반해, 본 발명의 실시 예에 따른 변형 IPP 알고리즘은 기존의 IPP의 장점을 그대로 이용하면서, 단 한 번의 추정 과정을 통해 매칭점을 결정하여 매칭점 추정에 소요되는 시간을 좀 더 단축시킬 수 있다. 변형 IPP 알고리즘의 목적은 S곡면과 D곡면을 정합하기 위해, 점 P의 매칭점인 점 Q`를 찾는 것이다.
도 10을 참조하면, 먼저, S곡면 상의 3차원 점 P를 D곡면의 2차원 영상으로 투영하여 2차원 이미지 좌표(PD)를 구한다. 그리고 2차원 이미지 좌표(PD)에 대응하는 D곡면상의 3차원 투영점(Q)을 D곡면의 거리 영상(ID)과 2차원 이미지 좌표(PD)를 이용하여 추정한다. 추정한 3차원 투영점(Q`)의 탄젠트 평면을 구성한 뒤, 점 P와 탄젠트 평면이 수직으로 만나는 점을 매칭점으로 선택한다.
만약 S곡면과 D곡면에서 각각 k개의 매칭점 {P}와 {Q`}가 결정되었다면, 두 점집합 사이의 정합 오차(e)를 최소화하는 3차원 변환 행렬(T)을 아래의 수학식 2와 특이값 분해(Singular Value Decomposition, SVD)를 이용하여 구할 수 있다.
Figure PCTKR2017007343-appb-M000002
개략 정합이 적용된 현재 프레임(
Figure PCTKR2017007343-appb-I000010
)은 이어서 기준 프레임과 정제 정합된다. 기준 프레임(
Figure PCTKR2017007343-appb-I000011
)과 개략 정합이 적용된 현재 프레임(
Figure PCTKR2017007343-appb-I000012
)이 주어지면, 변형 IPP 알고리즘을 이용하여 다음의 수학식 3을 만족하는 변환 행렬(
Figure PCTKR2017007343-appb-I000013
)을 계산할 수 있다.
Figure PCTKR2017007343-appb-M000003
수학식 3에서
Figure PCTKR2017007343-appb-I000014
와
Figure PCTKR2017007343-appb-I000015
는 각각 개략 정합이 적용된 현재 프레임(
Figure PCTKR2017007343-appb-I000016
)과 기준 프레임(
Figure PCTKR2017007343-appb-I000017
) 사이에 변형 IPP 알고리즘으로 매칭되는 3차원 점들을 말하며,
Figure PCTKR2017007343-appb-I000018
는
Figure PCTKR2017007343-appb-I000019
에 대응하는 법선 벡터를 의미한다.
상기와 같은 3단계의 정합 과정을 수행하여 변환 행렬(
Figure PCTKR2017007343-appb-I000020
)이 산출되면, 산출된 변환 행렬(
Figure PCTKR2017007343-appb-I000021
)의 역행렬을 이용하여 족부의 3차원 모델을 생성할 수 있다. 이러한 3단계의 정합 과정을 수행하여 3차원 족부 모델의 오차를 줄이고 보다 정확한 3차원 족부 모델을 생성할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 정제 정합 결과에 기초하여 기준 프레임을 업데이트하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 1단계는 기준 프레임과 프레임 1이 정합된 결과를 보여주고 있다. 기준 프레임과 프레임 1이 정합된 1단계 정합 결과를 참조하면, 기준 프레임에서 포함되지 않았던 부분(U1)이 1단계 정합 결과에 나타난다. 본 발명의 실시 예에 따르면, 1단계 정합 결과가 2단계 정합의 기준 프레임으로 사용될 수 있도록 1단계 정합 결과가 기준 프레임으로 업데이트된다.
같은 방법으로 2단계는 업데이트된 기준 프레임과 프레임 2가 정합된 결과를 보여주고 있다. 2단계 정합 결과를 참조하면, 기준 프레임에서 포함되지 않았던 부분(U2)이 2단계 정합 결과에 나타난다. 각 단계의 정합 결과가 기준 프레임으로 업데이트되면, 최초 기준 프레임에 포함되어 있지 않았던 영역이 기준 프레임에 포함되게 된다. 따라서, 현재 프레임과 기준 프레임이 중복되는 영역이 많아지도록 할 수 있고, 결과적으로, 기준 프레임과 현재 프레임 사이에 매칭점이 많아지므로 정합의 성공률이 향상된다.
도 12 및 도 13은 본 발명의 일 실시 예에 따른 족부 스캔 방법을 나타내는 흐름도이다.
도 12를 참조하면, 우선, 족부의 상부에 대한 제1 영상을 획득하고(S1210), 족부의 하부에 대한 제2 영상을 획득한다(S1220). 이어서, 제1 영상 및 제2 영상을 정합하여 족부의 3차원 모델을 생성한다(S1230).
구체적으로, S1230 단계는 도 13과 같이, 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 족부의 상부에 대한 3차원 모델을 생성하고(S1310), 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 족부의 하부에 대한 3차원 모델을 생성한다(S1320). 이어서, 족부의 상부에 대한 3차원 모델 및 족부의 하부에 대한 3차원 모델을 동일 좌표계로 변환하여 개략 정합한 후(S1330), 개략 정합된 3차원 모델을 정제 정합하여(S1340), 족부의 3차원 모델을 생성할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면 복수의 촬상부를 이용하여 족부를 촬영한 후 촬영된 영상을 정합하여 보다 정밀한 족부의 3차원 모델을 생성할 수 있다.
한편, 이러한 다양한 실시 예에 따른 족부 스캔 방법은 프로그래밍 되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 족부 스캔 방법이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따른, 족부의 상부에 대한 제1 영상을 획득하는 단계, 족부의 하부에 대한 제2 영상을 획득하는 단계 및 제1 영상 및 제2 영상을 정합하여 족부의 3차원 모델을 생성하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 본체;
    상기 본체에 족부를 지지할 수 있도록 설치되는 투명 지지대;
    상기 본체의 상부에서 회전 가능하도록 설치되어 상기 족부의 상부에 대한 제1 영상을 획득하는 제1 촬상부;
    상기 본체의 하부에서 직선 이동하도록 설치되어 상기 족부의 하부에 대한 제2 영상을 획득하는 제2 촬상부; 및
    상기 제1 촬상부 및 상기 제2 촬상부의 동작을 제어하며, 상기 제1 영상 및 상기 제2 영상을 정합하여 상기 족부의 3차원 모델을 생성하는 제어부;를 포함하는 족부 스캔 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제1 촬상부에서 획득된 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 상부에 대한 3차원 모델을 생성하고,
    상기 제2 촬상부에서 획득된 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 하부에 대한 3차원 모델을 생성하는 족부 스캔 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 동일 좌표계로 변환하여 개략 정합하고, 상기 개략 정합된 3차원 모델을 정제 정합하여 상기 족부의 3차원 모델을 생성하는 족부 스캔 장치.
  4. 제2항에 있어서,
    상기 제1 촬상부는,
    적어도 하나의 카메라 및 적어도 2개의 레이저를 포함하고, 상기 족부의 상부를 360도 회전하면서 상기 레이저에 의해 레이저가 조사되는 영역을 상기 카메라로 촬영하며,
    상기 제어부는,
    기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제1 영상으로부터 상기 족부의 상부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 상부에 대한 3차원 모델을 생성하는 족부 스캔 장치.
  5. 제4항에 있어서,
    상기 제1 촬상부는,
    상기 적어도 2개의 레이저가 상기 적어도 하나의 카메라의 양측에서 기설정된 각도로 배치되는 족부 스캔 장치.
  6. 제2항에 있어서,
    상기 제2 촬상부는,
    적어도 하나의 카메라 및 적어도 하나의 레이저를 포함하고, 상기 족부의 하부를 직선 이동하면서 상기 레이저에 의해 레이저가 조사되는 영역을 상기 카메라로 촬영하며,
    상기 제어부는,
    기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제2 영상으로부터 상기 족부의 하부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 생성하는 족부 스캔 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    기저장된 상기 투명 지지대에 대한 왜곡 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 보정하는 족부 스캔 장치.
  8. 제2항에 있어서,
    상기 제어부는,
    상기 제1 촬상부의 이동 속도에 기초하여 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하고,
    상기 제2 촬상부의 이동 속도에 기초하여 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합하는 족부 스캔 장치.
  9. 제3항에 있어서,
    상기 제어부는,
    기저장된 상기 제1 및 제2 촬상부의 위치 관계 정보에 기초하여 상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 개략 정합하는 족부 스캔 장치.
  10. 제3항에 있어서,
    상기 제어부는,
    상기 개략 정합된 3차원 모델에 ICP(Iterative closest point) 방법을 적용하여 정제 정합하는 족부 스캔 장치.
  11. 본체, 상기 본체에 족부를 지지할 수 있도록 설치되는 투명 지지대, 상기 본체의 상부에서 회전 가능하도록 설치되는 제1 촬상부 및 상기 본체의 하부에서 직선 이동하도록 설치되는 제2 촬상부를 포함하는 족부 스캔 장치의 족부 스캔 방법에 있어서,
    상기 족부의 상부에 대한 제1 영상을 획득하는 단계;
    상기 족부의 하부에 대한 제2 영상을 획득하는 단계; 및
    상기 제1 영상 및 상기 제2 영상을 정합하여 상기 족부의 3차원 모델을 생성하는 단계;를 포함하는 족부 스캔 방법.
  12. 제11항에 있어서,
    상기 족부의 3차원 모델을 생성하는 단계는,
    상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 상부에 대한 3차원 모델을 생성하는 단계; 및
    상기 제2 영상을 구성하는 복수의 프레임을 선형 정합하여 상기 족부의 하부에 대한 3차원 모델을 생성하는 단계;를 포함하는 족부 스캔 방법.
  13. 제12항에 있어서,
    상기 족부의 3차원 모델을 생성하는 단계는,
    상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 동일 좌표계로 변환하여 개략 정합하는 단계; 및
    상기 개략 정합된 3차원 모델을 정제 정합하는 단계;를 더 포함하는 족부 스캔 방법.
  14. 제12항에 있어서,
    상기 제1 촬상부는, 적어도 하나의 카메라 및 적어도 2개의 레이저를 포함하고,
    상기 족부의 상부에 대한 3차원 모델을 생성하는 단계는,
    기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제1 영상으로부터 상기 족부의 상부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 상부에 대한 3차원 모델을 생성하는 족부 스캔 방법.
  15. 제12항에 있어서,
    상기 제2 촬상부는, 적어도 하나의 카메라 및 적어도 하나의 레이저를 포함하고,
    상기 족부의 하부에 대한 3차원 모델을 생성하는 단계는,
    기설정된 상기 카메라와 상기 레이저 간의 위치 관계에 기초하여 상기 제2 영상으로부터 상기 족부의 하부에 대한 3차원 좌표 정보를 획득하고, 상기 3차원 좌표 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 생성하는 족부 스캔 방법.
  16. 제15항에 있어서,
    상기 족부의 하부에 대한 3차원 모델을 생성하는 단계는,
    기저장된 상기 투명 지지대에 대한 왜곡 정보를 이용하여 상기 족부의 하부에 대한 3차원 모델을 보정하는 단계;를 포함하는 족부 스캔 방법.
  17. 제12항에 있어서,
    상기 족부의 상부에 대한 3차원 모델을 생성하는 단계는,
    상기 제1 촬상부의 이동 속도에 기초하여 상기 제1 영상을 구성하는 복수의 프레임을 선형 정합하고,
    상기 족부의 하부에 대한 3차원 모델을 생성하는 단계는,
    상기 제2 촬상부의 이동 속도에 기초하여 상기 제2 영상을 구성하는 복수의 프레임을 선형 정합하는 족부 스캔 방법.
  18. 제13항에 있어서,
    상기 개략 정합하는 단계는,
    기저장된 상기 제1 및 제2 촬상부의 위치 관계 정보에 기초하여 상기 족부의 상부에 대한 3차원 모델 및 상기 족부의 하부에 대한 3차원 모델을 개략 정합하는 족부 스캔 방법.
  19. 제13항에 있어서,
    상기 정제 정합하는 단계는,
    상기 개략 정합된 3차원 모델에 ICP(Iterative closest point) 방법을 적용하여 정제 정합하는 족부 스캔 방법.
  20. 제11항 내지 제19항 중 어느 한 항의 방법을 수행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록 매체.
PCT/KR2017/007343 2016-09-13 2017-07-10 족부 스캔 장치 및 그의 족부 스캔 방법 WO2018052183A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0117790 2016-09-13
KR20160117790 2016-09-13
KR1020170070762A KR102023042B1 (ko) 2016-09-13 2017-06-07 족부 스캔 장치 및 그의 족부 스캔 방법
KR10-2017-0070762 2017-06-07

Publications (1)

Publication Number Publication Date
WO2018052183A1 true WO2018052183A1 (ko) 2018-03-22

Family

ID=61619674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007343 WO2018052183A1 (ko) 2016-09-13 2017-07-10 족부 스캔 장치 및 그의 족부 스캔 방법

Country Status (1)

Country Link
WO (1) WO2018052183A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351447A (zh) * 2020-01-21 2020-06-30 天目爱视（北京）科技有限公司 一种手部智能3d信息采集测量设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0914930A (ja) * 1995-06-30 1997-01-17 Matsushita Electric Ind Co Ltd 形状測定方法とその測定装置
JPH11101623A (ja) * 1997-09-29 1999-04-13 Ckd Corp 形状計測装置及び足型計測装置
US20110123099A1 (en) * 2007-07-11 2011-05-26 Trw Automotive Gmbh Sensing device and method of detecting a three-dimensional spatial shape of a body
KR101050419B1 (ko) * 2009-04-03 2011-07-19 김구영 레이저와 카메라를 이용한 발 스캔 장치
KR101381137B1 (ko) * 2012-10-24 2014-04-10 윈포시스(주) 족부 스캐너

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0914930A (ja) * 1995-06-30 1997-01-17 Matsushita Electric Ind Co Ltd 形状測定方法とその測定装置
JPH11101623A (ja) * 1997-09-29 1999-04-13 Ckd Corp 形状計測装置及び足型計測装置
US20110123099A1 (en) * 2007-07-11 2011-05-26 Trw Automotive Gmbh Sensing device and method of detecting a three-dimensional spatial shape of a body
KR101050419B1 (ko) * 2009-04-03 2011-07-19 김구영 레이저와 카메라를 이용한 발 스캔 장치
KR101381137B1 (ko) * 2012-10-24 2014-04-10 윈포시스(주) 족부 스캐너

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351447A (zh) * 2020-01-21 2020-06-30 天目爱视（北京）科技有限公司 一种手部智能3d信息采集测量设备

Similar Documents

Publication Publication Date Title
JP7231306B2 (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
JP6622503B2 (ja) カメラモデルパラメータ推定装置及びそのプログラム
KR102023042B1 (ko) 족부 스캔 장치 및 그의 족부 스캔 방법
TWI244427B (en) Image processing device
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP6985532B2 (ja) データ処理方法及び装置、電子機器並びに記憶媒体
WO2018190504A1 (ko) 얼굴 자세 보정 장치 및 방법
US20130182903A1 (en) Robot apparatus and position and orientation detecting method
CN108399634B (zh) 基于云端计算的rgb-d数据生成方法及装置
CN110225321B (zh) 梯形校正的训练样本数据获取系统和方法
JPWO2013005244A1 (ja) ３次元相対座標計測装置およびその方法
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
TW202145146A (zh) 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
JP2010000561A (ja) 変形性薄物展開装置
CN103500471A (zh) 实现高分辨率增强现实系统的方法
CN112109069A (zh) 机器人示教装置以及机器人系统
WO2018052183A1 (ko) 족부 스캔 장치 및 그의 족부 스캔 방법
CN115457594A (zh) 一种三维人体姿态估计方法、系统、存储介质和电子设备
JP2559939B2 (ja) ３次元情報入力装置
KR20200103374A (ko) 2차원 이미지를 이용한 3차원 모델링 방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
JP2013015519A (ja) ３次元相対座標計測装置およびその方法
Darcis et al. Poselab: A levenberg-marquardt based prototyping environment for camera pose estimation
CN115965697A (zh) 基于沙姆定律的投影仪标定方法、标定系统及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17851060

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17851060

Country of ref document: EP

Kind code of ref document: A1