WO2015178577A1 - 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2015178577A1
WO2015178577A1 PCT/KR2015/002772 KR2015002772W WO2015178577A1 WO 2015178577 A1 WO2015178577 A1 WO 2015178577A1 KR 2015002772 W KR2015002772 W KR 2015002772W WO 2015178577 A1 WO2015178577 A1 WO 2015178577A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
dimensional
data
projector
Prior art date
Application number
PCT/KR2015/002772
Other languages
English (en)
French (fr)
Inventor
이수복
임성빈
Original Assignee
주식회사 메디트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디트 filed Critical 주식회사 메디트
Priority to US15/312,506 priority Critical patent/US10277884B2/en
Publication of WO2015178577A1 publication Critical patent/WO2015178577A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present invention relates to a three-dimensional image acquisition method, apparatus and computer readable recording medium. More specifically, in the three-dimensional image acquisition method for acquiring three-dimensional shape information of the object by the projector, the first camera and the second camera, after obtaining the three-dimensional primitive image of the object, the obtained Converts a three-dimensional initial image into a two-dimensional re-view image based on the viewpoint that the projector looks at the object, and the curvature of the object and the viewpoint of the first camera and the second camera In order to compensate for the three-dimensional data missing area caused by (iii), the projector corresponding to the three-dimensional data missing area in the three-dimensional primitive image with reference to the information on the pattern projected by the projector to the object.
  • the present invention relates to a three-dimensional image acquisition method, an apparatus, and a computer-readable recording medium for eliminating an error in which a part of an acquired three-dimensional image is missing by generating a three-dimensional corrected image with reference to the obtained two-dimensional view image information. .
  • phase shift method is widely known as another method for measuring the shape of a three-dimensional object by projecting a light pattern in addition to the spatial encoding method.
  • the phase shift method is to obtain the phase value at each point of the image of the grid pattern projected on the measurement object after projecting the grid pattern to the measurement object.
  • PSI phase-shift interferometry
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention converts and corrects the three-dimensional initial image obtained from the first camera and the second camera to a two-dimensional re-view image of the projector view, and then calculates the three-dimensional data to the corrected two-dimensional re-view image By referencing the information, another object is to correct the missing data more accurately.
  • a three-dimensional image acquisition method for acquiring three-dimensional shape information of an object by a projector, a first camera and a second camera, (a) a predetermined pattern is generated by the projector;
  • the image correcting apparatus may acquire 2 obtained by the first camera and the second camera. After acquiring the three-dimensional primitive image of the object from the two-dimensional primitive image data, a two-dimensional re-view of the acquired three-dimensional primitive image based on the viewpoint of the projector looking at the object.
  • the image correcting apparatus may be configured by referring to the information about the pattern projected by the projector onto the object. Correcting a missing region in the 2D re-view image corresponding to the 3D data missing region in the 3D initial image, and (c) the image correcting apparatus comprises: (i) the first camera or the second camera; And (ii) generating a three-dimensional corrected image with reference to the obtained two-dimensional primitive image data and the corrected two-dimensional re-view image information.
  • the predetermined pattern by the projector is the object Projected on, and when the 2D initial image of the object on which the pattern is projected by the first camera and the second camera is obtained, the object is obtained from the 2D initial image data acquired by the first camera and the second camera.
  • three-dimensional data missing area caused by the bending of the object and the viewpoint of the first camera and the second camera-the three-dimensional data missing area Is an area where three-dimensional data does not exist in the three-dimensional primitive image, by referring to the information on the pattern projected by the projector on the object, the three-dimensional in the three-dimensional primitive image.
  • an apparatus including a 3D corrected image generating unit generating a 3D corrected image by referring to the corrected 2D view image information.
  • the present invention after converting and correcting the three-dimensional primitive image obtained from the first camera and the second camera to a two-dimensional re-view image of the projector view, and after calculating the three-dimensional data to the corrected two-dimensional re-view image
  • a specific point of the object in the three-dimensional image is captured only in one of the two cameras, but not in the other cameras can accurately correct the missing area.
  • FIG. 1 is a view showing a schematic configuration of an entire system for obtaining three-dimensional shape information of an object according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of a 3D image acquisition device according to an embodiment of the present invention in detail.
  • 3A to 3C are diagrams for exemplarily describing obtaining a 3D primitive image of an object from the 2D primitive image data acquired by the first camera and the second camera according to an embodiment of the present invention.
  • 4 and 5 are diagrams for exemplarily describing correcting a missing region in a 2D view image according to an embodiment of the present invention.
  • FIG. 6 is a diagram comparing a 3D image when the conventional 3D image acquisition method is applied and a 3D image when the 3D image acquisition method according to an embodiment of the present invention is applied.
  • FIG. 1 is a view showing a schematic configuration of an entire system for obtaining three-dimensional shape information of an object according to an embodiment of the present invention.
  • the entire system includes a first camera 120, a projector 110, a second camera 130, a 3D image acquisition device 200, and a 3D image. It may be configured to include the object 300 to be obtained.
  • the projector 110 may perform a function of projecting a predetermined pattern onto the object 300 and may be controlled by the 3D image acquisition apparatus 200 to be described later.
  • the projector 110 may allow a grid pattern having a predetermined wavelength to be projected onto the object, and more specifically, the phase shifted by ⁇ / 2. Grid patterns can be sequentially projected.
  • a Gray Code image of the object 300 it is possible to cause a stripe pattern in which alternating portions and dark portions are alternately arranged in an arbitrary width to be projected onto the object, and the size of the region of the dark portions and dark portions. Can be irradiated with the n-patterned stripe pattern light while decreasing sequentially.
  • the first camera 120 and the second camera 130 perform a function of acquiring the reflection pattern light of the object on which the pattern is projected, such as a CCD camera, a CMOS camera, and an image.
  • a camera, a web camera, a digital camera, etc. may be adopted as the first camera 120 and the second camera 130 according to the present invention, and may be controlled by the 3D image acquisition apparatus 200 to be described later.
  • the first camera 120 and the second camera 130 are disposed to be spaced apart from each other, and each time the projector 110 projects a predetermined pattern, the first camera 120 is connected to one side of the object 300.
  • the second camera 130 may acquire a 2D image of another side of the side photographed by the first camera 120. For example, when the projector 110 sequentially projects four grid patterns shifted in phase by ⁇ / 2, the first camera 120 and the second camera 130 each have four two-dimensional images. Can be obtained.
  • the 3D image acquisition apparatus 200 controls the projector 110 to sequentially project the respective patterns, and the first camera 120 and the second camera ( 130 may be performed to acquire an image of the object 300 on which the pattern is sequentially projected.
  • the 3D image acquisition apparatus 200 may obtain a 3D image of the object from the 2D image obtained from the first camera 120 and the second camera 130.
  • FIG. 2 is a diagram illustrating an internal configuration of a three-dimensional image acquisition device 200 according to an embodiment of the present invention in detail.
  • the apparatus for obtaining a 3D image 200 may include a re-view image generator 210, a 2D missing region corrector 220, and a 3D corrected image generator. 230 and the control unit 240 may be configured. According to an embodiment of the present invention, at least a portion of the re-view image generator 210, the 2D missing region corrector 220, the 3D corrected image generator 230, and the controller 240 may be a projector (
  • the program module may communicate with the 110, the first camera 120, or the second camera 130.
  • the program module may be included in the 3D image acquisition apparatus 200 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices.
  • program module may be stored in a remote storage device that can communicate with the 3D image acquisition apparatus 200.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the view-view image generator 210 projects a predetermined pattern onto an object by the projector 110 and corresponds by the first camera 120 and the second camera 130.
  • the 3D initial image of the object 300 from the 2D initial image data acquired by the first camera 120 and the second camera 130.
  • the function of converting the obtained 3D primitive image into a 2D re-view image based on the viewpoint of the projector 110 looking at the object 300 may be performed.
  • the term “primary image” of the present specification is used to distinguish a 3D image before correction is performed and a 3D image after correction is performed in obtaining a 3D image of the object 300. It may mean an image.
  • 3A to 3C illustrate obtaining a 3D primitive image of an object 300 from the 2D primitive image data obtained by the first camera 120 and the second camera 130 according to an embodiment of the present invention. It is a figure for illustratively describing.
  • the projector 110 may project a plurality of patterns on the object a plurality of times at different intervals between the roll and the arm, and the first camera 120 and the second camera. Whenever the projector 110 projects each pattern, the image 130 may acquire an image on which the pattern is projected as a 2D initial image.
  • the view point image generator 210 may obtain an image as shown in the right figure of FIG. 3A from the 2D initial image obtained by the first camera 120 and the second camera 130.
  • the projector 110 may project a plaid pattern having a predetermined wavelength but sequentially project four plaid patterns shifted in phase by ⁇ / 2.
  • the first camera 120 and the second camera 130 may acquire an image on which the pattern is projected each time the projector 110 projects each pattern.
  • the view-view image generator 210 may obtain a phase image as shown in the right figure of FIG. 3B from the two-dimensional primitive images obtained by the first camera 120 and the second camera 130.
  • the view point image generator 210 may combine the image as shown on the right side of FIG. 3A with the image as shown on the right side of FIG. 3B to obtain a 3D primitive image as shown in FIG. 3C.
  • the viewpoint image generator 210 acquires 3D data of a specific point of the object 300
  • the data of the specific point and the second camera of the 2D primitive image acquired by the first camera 120 are obtained.
  • the three-dimensional data of the specific point may be obtained by referring to the data of the specific point among the two-dimensional primitive images acquired by the 130, wherein the curvature of the object 300 and the first camera 120 and Due to the viewpoint of the second camera 130, it may not be possible to generate 3D data for a specific point.
  • the specific point is present in the position where the first camera 120 can be photographed, but is not captured because it exists at a position outside the viewing angle of the second camera 130, that is, the second camera 130 is acquired. If the data for the specific point does not exist in the 2D primitive image, the 3D data for the specific point cannot be obtained, and the 3D data missing region (see FIG. 3C) may be missing. 310 may be present.
  • the re-view image generator 210 acquires the 3D primitive image as shown in FIG. 3C based on a point in time at which the projector 110 views the object 300.
  • a function of converting into a two-dimensional viewpoint image may be performed. More specifically, as if the first camera 120 or the second camera 130 acquires a two-dimensional image of the object 300, the projector 110 is regarded as one camera, so that the projector 110 It is possible to obtain a two-dimensional image point of view as obtained. However, since the projector 110 may not acquire an image optically because it is a virtual camera, the projector 110 may convert data about an image obtained by the first camera 120 and the second camera 130, for example, a 3D primitive image. A two-dimensional view point image may be acquired.
  • the 2D missing area corrector 220 may perform a function of correcting a missing area existing in the 2D view image obtained by the view image acquirer 210. have.
  • 4 and 5 are diagrams for exemplarily describing correcting a missing region in a 2D view image according to an embodiment of the present invention.
  • the re-view image generating unit 210 generates a 2-dimensional re-view image with reference to the 3D primitive image data, when a missing region exists in the 3-D primitive image, as shown in FIG. 4, the 2-D re-view An area corresponding to the missing area of the image may also be displayed as the missing area.
  • the 2D missing area corrector 220 may correct the missing area in the 2D re-view image by referring to the information about the pattern projected by the projector 110 onto the object 300. More specifically, if the angle at which the projector projects the pattern and the angle at which the camera captures the image of the object on which the pattern is projected are different, the camera may not have a straight pattern even if the projector has projected a pattern that is straight in the vertical direction. Since the image of the deformed state is acquired according to the bending of the object, the two-dimensional re-view image according to an embodiment of the present invention corresponds to an image based on the viewpoint of the projector 110 looking at the object 300.
  • the pattern of the 2D view image may be predicted to have a shape similar to the pattern projected by the projector 110. That is, the 2D missing area corrector 220 may estimate the missing area in the 2D view image by referring to the information about the pattern projected by the projector 110. As shown in FIG. 4, the missing region may be corrected by using interpolation based on the information about the pattern projected by the projector 110, and the two-dimensional re-view image may be obtained through a method such as inpainting or the like even if the interpolation method is not used. You can also compensate for missing areas in. By correcting the missing region in the 2D viewpoint image by applying interpolation, inpainting, or the like, a corrected 2D viewpoint image as illustrated in FIG. 5 may be obtained.
  • the 3D corrected image generator 230 (i) the 2D primitive image data acquired by the first camera 120 or the second camera 130 and (ii) the corrected 2D re-view image information.
  • a function of generating a 3D corrected image may be performed.
  • a specific point of the object 300 corresponding to the missing area is located at a position that can be photographed by the first camera 120, and thus the 2D initial image obtained by the first camera 120 is included in the specific point. If data exists but is not captured because the specific point exists outside the viewing angle of the second camera 130, (i) corresponds to the specific point of the two-dimensional primitive image acquired by the first camera 120. 3D data of the specific point may be obtained by referring to the data corresponding to the specific point among the data and (ii) the corrected two-dimensional re-view image.
  • FIG. 6 is a diagram comparing a three-dimensional image (left diagram) when the conventional three-dimensional image acquisition method is applied and a three-dimensional image (right diagram) when the three-dimensional image acquisition method according to the embodiment of the present invention is applied. to be.
  • the three-dimensional image when a three-dimensional image of an object is acquired according to a conventional three-dimensional image acquisition method, the three-dimensional image includes the bending of the object 300 and the first camera 120 and the second camera 130.
  • 3D data missing area may be generated due to the viewpoint of the present invention, but according to an embodiment of the present invention, the 3D data may not be obtained from the 2D image obtained by the first camera 120 and the second camera 130. If not, a 3D image without missing areas may be obtained.
  • the controller 240 controls the flow of data between the viewpoint image generator 210, the 2D missing region corrector 220, and the 3D corrected image generator 230.
  • the controller 240 controls the data flow from / to the outside of the 3D image capturing apparatus 200 or the data flow between each component of the 3D image capturing apparatus 200, thereby providing a re-view image.
  • the generator 210, the 2D missing region corrector 220, and the 3D corrected image generator 230 may control to perform a unique function.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, 상기 프로젝터에 의해 소정 패턴이 상기 물체에 투영되고, 제1 및 제2 카메라에 의해 패턴이 투영된 물체의 2차원 초벌 영상이 획득되면, 제1 및 제2 카메라가 획득한 2차원 초벌 영상 데이터로부터 물체에 대한 3차원 초벌 영상을 획득한 후, 2차원 재시점 영상으로 변환하는 단계, 물체의 굴곡과 제1 및 제2 카메라의 시점으로 인하여 생기는 3차원 데이터 누락 영역을 보완하기 위하여, 3차원 초벌 영상 내의 3차원 데이터 누락 영역에 대응되는 2차원 재시점 영상에서의 누락 영역을 보정하는 단계, 및 제1 또는 제2 카메라가 획득한 2차원 초벌 영상 데이터 및 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성하는 단계를 포함하는 방법이 제공된다.

Description

3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
본 발명은 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 보다 상세하게는, 프로젝터, 제1 카메라 및 제2 카메라에 의하여 물체의 3차원 형상 정보를 획득하기 위한 3차원 영상 획득 방법에 있어서, 상기 물체에 대한 3차원 초벌 영상을 획득한 후, 상기 획득된 3차원 초벌 영상을 상기 프로젝터가 상기 물체를 바라보는 시점(視點)을 기준으로 한 2차원 재시점(再視點) 영상으로 변환하고, 상기 물체의 굴곡과 상기 제1 카메라 및 상기 제2 카메라의 시점(視點)으로 인하여 생기는 3차원 데이터 누락 영역을 보완하기 위하여, 상기 프로젝터가 상기 물체에 투영했던 상기 패턴에 대한 정보를 참조로 하여, 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 2차원 재시점 영상에서의 누락 영역을 보정한 뒤, (i) 상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터 및 (ii) 상기 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성함으로써, 획득한 3차원 영상 중 일부분이 누락되는 오류를 없애기 위한 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근 3차원 형상 측정 기술은 기계 공학, 자동차 공학과 같은 공학 분야뿐만 아니라, 요업(ceramics industry), 신발 산업, 보석류 산업, 치과 기술(dental technology) 등 한층 더 우리 생활과 밀접한 관계를 갖는 분야로 그 응용범위를 확장하고 있다.
3차원 물체의 형상을 측정하기 위한 종래 기술의 일 예로서, 피사체에 복수의 패턴의 패턴 광을 투영하고, 패턴 광 화상들이 투영된 피사체를 촬상함으로써 패턴의 변형에 의거한 삼각계측의 원리를 사용해서 형상계측을 행하는 패턴 투영법이 알려져 있다. 이 방법들 중에서, 명부와 암부가 임의의 폭으로 교대로 배치하는 줄무늬 패턴 광을 투영해서 공간을 2진 부호화하는 공간부호화법은, 삼차원 계측의 분야에서 잘 알려져 있다. 한국공개특허공보 제2001-0009721호를 참조로 하여 공간부호화법에 따른 3차원 형상 측정 과정을 살펴보면, 먼저 측정 대상물을 CCD 카메라 세트로 촬영하기에 앞서, 기준 좌표계로부터 카메라의 상대적위치(외부변수)와 초점거리 및 렌즈 왜곡계수(내부 변수)를 구하고(카메라 보정, Calibration), 제1 카메라가 촬영한 이미지의 특정한 선이 제2카메라가 촬영한 이미지의 어느 선에 해당하는지에 대한 대응성을 찾기 위하여, 일련의 패턴을 측정대상물에 순차적으로 투사하고 이를 각 카메라로 반복 촬영한다. 다음으로, 컴퓨터 제어부에서 패턴 이미지 정보를 이용하여 3차원 점 데이터를 구한다. 이를 위하여 각각의 촬영 이미지에 투영된 마지막 패턴에 해당하는 선들 중에서 동일한 이력(History)을 갖는 하나의 선을 샘플로 취하며, 그 선을 이루는 점들의 3차원 좌표를 구한다.
한편, 공간부호화법 외에 광 패턴을 투영하여 3차원 물체의 형상을 측정하기 위한 또 다른 방법으로서 위상 시프트(Phase Shift)법도 널리 알려져 있다. 위상 시프트법은 격자패턴을 측정대상물에 영사한 후 측정대상물에 영사된 격자패턴의 이미지의 각 점에서의 위상 값을 획득하는 것으로, 대한전기학회 하계학술대회 논문집 2009. 7. 14 - 17, ‘ＰＳＩ(Phase-Shift Interferometry)를 이용한 3차원 이미지 높이 정보 분석에 대한 연구’ 에는 격자패턴 이미지로부터 위상을 획득하는 구체적인 방법이 개시되어 있다.
상술한 종래 기술들은 비교적 높은 계측 정밀도를 얻을 수 있는 수법에 해당하지만, 두 대의 카메라로부터 획득한 2차원 영상 정보로부터 3차원 정보를 획득함에 있어서, 측정대상물의 형태나 카메라의 위치로 인하여 측정대상물의 특정 지점이 한 쪽의 카메라에만 촬영되고, 다른 한 쪽의 카메라에는 촬영되지 않는 경우에는 특정 지점에 대한 3차원 점 데이터를 획득하지 못하는 문제가 발생한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 제1 카메라 및 제2 카메라로부터 획득한 3차원 초벌 영상을 프로젝터 시점의 2차원 재시점 영상으로 변환하여 보정한 후, 3차원 데이터를 산출함에 있어서 보정된 2차원 재시점 영상에 대한 정보를 참조함으로써, 누락된 데이터를 보다 정확하게 보정하는 것을 다른 목적으로 한다.
본 발명의 제1 기술적인 특징에 따르면, 프로젝터, 제1 카메라 및 제2 카메라에 의하여 물체의 3차원 형상 정보를 획득하기 위한 3차원 영상 획득 방법에 있어서, (a) 상기 프로젝터에 의해 소정 패턴이 상기 물체에 투영되고, 상기 제1 카메라 및 상기 제2 카메라에 의해 상기 패턴이 투영된 물체의 2차원 초벌 영상이 획득되면, 영상 보정 장치는, 상기 제1 카메라 및 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터로부터 상기 물체에 대한 3차원 초벌 영상을 획득한 후, 상기 획득된 3차원 초벌 영상을 상기 프로젝터가 상기 물체를 바라보는 시점(視點)을 기준으로 한 2차원 재시점(再視點) 영상으로 변환하는 단계, (b) 상기 물체의 굴곡과 상기 제1 카메라 및 상기 제2 카메라의 시점(視點)으로 인하여 생기는 3차원 데이터 누락 영역 - 상기 3차원 데이터 누락 영역은 상기 3차원 초벌 영상 내에서 3차원 데이터가 존재하지 않는 영역임 - 을 보완하기 위하여, 상기 영상 보정 장치는, 상기 프로젝터가 상기 물체에 투영했던 상기 패턴에 대한 정보를 참조로 하여, 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 2차원 재시점 영상에서의 누락 영역을 보정하는 단계, 및 (c) 상기 영상 보정 장치는, (i) 상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터 및 (ii) 상기 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성하는 단계를 포함하는 방법이 제공된다.
다음으로, 본 발명의 제2 기술적인 특징에 따르면, 프로젝터, 제1 카메라 및 제2 카메라에 의하여 물체의 3차원 형상 정보를 획득하기 위한 영상 보정 장치에 있어서, 상기 프로젝터에 의해 소정 패턴이 상기 물체에 투영되고, 상기 제1 카메라 및 상기 제2 카메라에 의해 상기 패턴이 투영된 물체의 2차원 초벌 영상이 획득되면, 상기 제1 카메라 및 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터로부터 상기 물체에 대한 3차원 초벌 영상을 획득한 후, 상기 획득된 3차원 초벌 영상을 상기 프로젝터가 상기 물체를 바라보는 시점(視點)을 기준으로 한 2차원 재시점(再視點) 영상으로 변환하는 재시점 영상 생성부, 상기 물체의 굴곡과 상기 제1 카메라 및 상기 제2 카메라의 시점(視點)으로 인하여 생기는 3차원 데이터 누락 영역 - 상기 3차원 데이터 누락 영역은 상기 3차원 초벌 영상 내에서 3차원 데이터가 존재하지 않는 영역임 - 을 보완하기 위하여, 상기 프로젝터가 상기 물체에 투영했던 상기 패턴에 대한 정보를 참조로 하여, 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 2차원 재시점 영상에서의 누락 영역을 보정하는 2차원 누락 영역 보정부, 및 (i) 상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터 및 (ii) 상기 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성하는 3차원 보정 영상 생성부를 포함하는 장치가 제공된다.
본 발명에 의하면, 제1 카메라 및 제2 카메라로부터 획득한 3차원 초벌 영상을 프로젝터 시점의 2차원 재시점 영상으로 변환하여 보정한 후, 3차원 데이터를 산출함에 있어서 보정된 2차원 재시점 영상에 대한 정보를 참조함으로써, 3차원 영상 중 물체의 특정 지점이 두 대의 카메라 중 한 대의 카메라에만 촬영되고 나머지 카메라에는 촬영되지 않아 누락된 영역을 정확하게 보정할 수 있다.
도 1은 본 발명의 일 실시예에 따라 물체의 3차원 형상 정보를 획득하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상 획득 장치의 내부 구성을 상세하게 도시하는 도면이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따라 제1 카메라 및 제2 카메라가 획득한 2차원 초벌 영상 데이터로부터 물체에 대한 3차원 초벌 영상을 획득하는 것을 예시적으로 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 2차원 재시점 영상에서의 누락 영역을 보정하는 것을 예시적으로 설명하기 위한 도면이다.
도 6은 종래의 3차원 영상 획득 방법을 적용한 경우의 3차원 영상과 본 발명의 일 실시예에 따른 3차원 영상 획득 방법을 적용한 경우의 3차원 영상을 비교한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 물체의 3차원 형상 정보를 획득하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 제1 카메라(120), 프로젝터(110), 제2 카메라(130), 3차원 영상 획득 장치(200) 및 3차원 영상을 획득하고자 하는 물체(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 프로젝터(110)는 물체(300)에 소정의 패턴을 투영하는 기능을 수행할 수 있으며, 후술할 3차원 영상 획득 장치(200)에 의하여 제어될 수 있다.
물체(300)에 대한 위상 이미지를 얻기 위하여, 본 발명에 따른 프로젝터(110)는 소정의 파장을 갖는 격자 패턴이 물체에 투영되도록 할 수 있으며, 보다 구체적으로 π/2만큼씩 위상이 이동된 네 개의 격자 패턴을 순차적으로 투영할 수 있다. 또한, 물체(300)에 대한 그레이 코드(Gray Code) 이미지를 획득하기 위하여, 명부와 암부가 임의의 폭으로 교대로 배치된 줄무늬 패턴이 물체에 투영되도록 할 수 있으며, 명부와 암부의 영역의 크기를 순차로 축소하면서 n 패턴의 줄무늬 패턴 광을 조사할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 제1 카메라(120) 및 제2 카메라(130)는 패턴이 투영된 물체의 반사 패턴 광을 획득하는 기능을 수행하는 것으로서, CCD카메라, CMOS카메라, 화상카메라, 웹카메라, 디지털카메라 등이 본 발명에 따른 제1 카메라(120) 및 제2 카메라(130)로서 채택될 수 있으며, 후술할 3차원 영상 획득 장치(200)에 의하여 제어될 수 있다. 제1 카메라(120) 및 제2 카메라(130)는 서로 이격되도록 배치되며, 프로젝터(110)에서 소정의 패턴을 투사할 때마다 제1 카메라(120)는 물체(300)의 일 측면에 대한 2차원 영상을, 제2 카메라(130)는 제1 카메라(120)가 촬영하는 측면의 다른 측면에 대한 2차원 영상을 획득할 수 있다. 예를 들어, 프로젝터(110)가 π/2만큼씩 위상이 이동된 네 개의 격자 패턴을 순차적으로 투영하는 경우, 제1 카메라(120) 및 제2 카메라(130)는 각각 네 장씩의 2차원 영상을 획득할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 3차원 영상 획득 장치(200)는 프로젝터(110)를 제어하여 순차적으로 각각의 패턴을 투사할 수 있도록 하며, 제1 카메라(120) 및 제2 카메라(130)를 제어하여 순차적으로 패턴이 투사된 물체(300)의 영상을 각각 획득하는 기능을 수행할 수 있다. 또한, 3차원 영상 획득 장치(200)는 제1 카메라(120) 및 제2 카메라(130)로부터 획득한 2차원 영상으로부터 물체에 대한 3차원 영상을 획득할 수 있다.
본 발명에 따른 3차원 영상 획득 장치(200)의 구성과 기능에 관하여는 아래의 상세한 설명을 통하여 자세하게 알아보기로 한다.
도 2는 본 발명의 일 실시예에 따른 3차원 영상 획득 장치(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 영상 획득 장치(200)는 재시점 영상 생성부(210), 2차원 누락 영역 보정부(220), 3차원 보정 영상 생성부(230) 및 제어부(240)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 재시점 영상 생성부(210), 2차원 누락 영역 보정부(220), 3차원 보정 영상 생성부(230) 및 제어부(240)는 그 중 적어도 일부가 프로젝터(110)나 제1 카메라(120) 또는 제2 카메라(130)와 통신하는 프로그램 모듈일 수 있다.　 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 3차원 영상 획득 장치(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다.　 또한, 이러한 프로그램 모듈은 3차원 영상 획득 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.　 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 재시점 영상 생성부(210)는 프로젝터(110)에 의해 소정 패턴이 물체에 투영되고, 제1 카메라(120) 및 상기 제2 카메라(130)에 의해 해당 패턴이 투영된 물체(300)의 2차원 초벌 영상이 획득되면, 제1 카메라(120) 및 상기 제2 카메라(130)가 획득한 2차원 초벌 영상 데이터로부터 물체(300)에 대한 3차원 초벌 영상을 획득한 후, 상기 획득된 3차원 초벌 영상을 프로젝터(110)가 물체(300)를 바라보는 시점을 기준으로 한 2차원 재시점 영상으로 변환하는 기능을 수행할 수 있다. 본 명세서의 초벌 영상이라는 용어는, 물체(300)에 대한 3차원 영상을 획득함에 있어서 보정이 수행되기 전의 3차원 영상과 보정이 수행된 후의 3차원 영상을 구별하기 위한 것으로서, 보정이 수행되기 전의 영상을 의미하는 것일 수 있다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따라 제1 카메라(120) 및 제2 카메라(130)가 획득한 2차원 초벌 영상 데이터로부터 물체(300)에 대한 3차원 초벌 영상을 획득하는 것을 예시적으로 설명하기 위한 도면이다.
도 3a의 왼쪽 도면에 도시된 바와 같이, 프로젝터(110)는 명부와 암부의 간격을 서로 다르게 한 복수의 패턴을 복수 회에 걸쳐 물체에 투사할 수 있으며, 제1 카메라(120) 및 제2 카메라(130)는 프로젝터(110)가 각각의 패턴을 투사할 때마다 해당 패턴이 투영된 영상을 2차원 초벌 영상으로서 획득할 수 있다. 재시점 영상 생성부(210)는 제1 카메라(120) 및 제2 카메라(130)가 획득한 2차원 초벌 영상으로부터 도 3a의 오른쪽 도면에 도시된 것과 같은 이미지를 획득할 수 있다.
다음으로, 도 3b의 왼쪽 도면에 도시된 바와 같이, 프로젝터(110)는 소정의 파장을 갖는 격자 무늬 패턴을 투사하되 π/2만큼씩 위상이 이동된 네 개의 격자 무늬 패턴을 순차적으로 투사할 수 있으며, 제1 카메라(120) 및 제2 카메라(130)는 프로젝터(110)가 각각의 패턴을 투사할 때마다 해당 패턴이 투영된 영상을 획득할 수 있다. 이후, 재시점 영상 생성부(210)는 제1 카메라(120) 및 제2 카메라(130)가 획득한 2차원 초벌 영상으로부터 도 3b의 오른쪽 도면에 도시된 것과 같은 위상 이미지를 획득할 수 있다.
재시점 영상 생성부(210)는 도 3a의 오른쪽에 도시된 바와 같은 이미지와 도 3b의 오른쪽에 도시된 바와 같은 이미지를 결합하여 도 3c에 도시된 바와 같은 3차원 초벌 영상을 획득할 수 있다.
재시점 영상 생성부(210)가 물체(300)의 특정 지점에 대한 3차원 데이터를 획득함에 있어서, 제1 카메라(120)가 획득한 2차원 초벌 영상 중 상기 특정 지점에 대한 데이터와 제2 카메라(130)가 획득한 2차원 초벌 영상 중 상기 특정 지점에 대한 데이터를 참조로 하여 상기 특정 지점에 대한 3차원 데이터를 획득할 수 있는 데, 물체(300)의 굴곡과 제1 카메라(120) 및 제2 카메라(130)의 시점(視點)으로 인하여 특정 지점에 대한 3차원 데이터를 생성하지 못하는 경우가 발생할 수 있다. 예를 들어, 상기 특정 지점이 제1 카메라(120)에서는 촬영 가능한 위치에 존재하나, 제2 카메라(130)의 시야각을 벗어나는 위치에 존재하여 촬영되지 않은 경우, 즉 제2 카메라(130)가 획득한 2차원 초벌 영상에 상기 특정 지점에 대한 데이터가 존재하지 않는 경우에는 상기 특정 지점에 대한 3차원 데이터를 획득할 수 없으며, 도 3c에 도시된 바와 같은 3차원 초벌 영상에는 3차원 데이터 누락 영역(310)이 존재할 수 있다.
재시점 영상 생성부(210)는 도 3c에 도시된 바와 같은 3차원 초벌 영상을 획득한 후 획득된 3차원 초벌 영상을 프로젝터(110)가 물체(300)를 바라보는 시점(視點)을 기준으로 한 2차원 재시점(再視點) 영상으로 변환하는 기능을 수행할 수 있다. 보다 구체적으로, 제1 카메라(120) 또는 제2 카메라(130)가 물체(300)에 대한 2차원 영상을 획득하는 것처럼, 프로젝터(110)를 하나의 카메라인 것으로 간주하여 마치 프로젝터(110)가 획득한 것과 같은 2차원 재시점 영상을 획득할 수 있다. 다만, 프로젝터(110)는 가상의 카메라이기 때문에 광학적으로 영상을 획득할 수 없으므로, 제1 카메라(120) 및 제2 카메라(130)가 획득한 영상, 가령 3차원 초벌 영상에 대한 데이터를 변환하여 2차원 재시점 영상을 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 2차원 누락 영역 보정부(220)는 재시점 영상 획득부(210)가 획득한 2차원 재시점 영상 내에 존재하는 누락 영역을 보정하는 기능을 수행할 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따라 2차원 재시점 영상에서의 누락 영역을 보정하는 것을 예시적으로 설명하기 위한 도면이다.
상술한 바와 같이, 물체(300)의 굴곡과 제1 카메라(120) 및 제2 카메라(130)의 시점으로 인하여 물체(300)의 특정 지점에 대한 3차원 데이터를 생성하지 못하는 경우가 발생할 수 있으며, 이로 인하여 3차원 초벌 영상에는 3차원 데이터 누락 영역이 존재할 수 있다. 재시점 영상 생성부(210)는 3차원 초벌 영상 데이터를 참조로 하여 2차원 재시점 영상을 생성하므로, 3차원 초벌 영상 내에 누락 영역이 존재하는 경우 도 4에 도시된 바와 같이, 2차원 재시점 영상 중 상기 누락 영역에 대응되는 영역 또한 누락 영역으로서 디스플레이될 수 있다.
2차원 누락 영역 보정부(220)는 프로젝터(110)가 물체(300)에 투영했던 패턴에 대한 정보를 참조로 하여 2차원 재시점 영상에서의 누락 영역을 보정할 수 있다. 보다 구체적으로, 프로젝터가 패턴을 투영하는 각도와 카메라가 패턴이 투영된 물체의 영상을 촬영하는 각도가 서로 다르다면, 프로젝터가 세로방향으로 일직선인 패턴을 물체에 투사하였다고 하더라도 카메라는 일직선이던 패턴이 물체의 굴곡에 따라 변형된 상태의 영상을 획득하게 되지만, 본 발명의 일 실시예에 따른 2차원 재시점 영상은 프로젝터(110)가 물체(300)를 바라보는 시점을 기준으로 한 영상에 해당하므로 2차원 재시점 영상의 패턴은 프로젝터(110)가 투영한 패턴과 유사한 형상일 것으로 예측할 수 있다. 즉, 2차원 누락 영역 보정부(220)는 프로젝터(110)가 투영한 패턴에 대한 정보를 참조로 하여 2차원 재시점 영상에서의 누락 영역을 추정할 수 있다. 도 4에 도시된 바와 같이, 프로젝터(110)가 투영한 패턴에 대한 정보를 참조로 보간법을 사용하여 누락 영역을 보정할 수 있으며, 보간법이 아니더라도 인페인팅 등등과 같은 방법을 통하여 2차원 재시점 영상에서의 누락 영역을 보정할 수도 있다. 보간법, 인페인팅 등의 방법을 적용하여 2차원 재시점 영상에서의 누락 영역을 보정하면 도 5에 도시된 바와 같은 보정된 2차원 재시점 영상을 획득할 수 있다.
다음으로, 3차원 보정 영상 생성부(230)는 (i) 제1 카메라(120) 또는 제2 카메라(130)가 획득한 2차원 초벌 영상 데이터 및 (ii) 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성하는 기능을 수행할 수 있다.
예를 들어, 누락된 영역에 대응되는 물체(300)의 특정 지점이 제1 카메라(120)에서는 촬영 가능한 위치에 존재하여 제1 카메라(120)에서 획득한 2차원 초벌 영상에는 상기 특정 지점에 대한 데이터가 존재하나, 상기 특정 지점이 제2 카메라(130)의 시야각을 벗어나는 위치에 존재하여 촬영되지 않은 경우, (i) 제1 카메라(120)에서 획득한 2차원 초벌 영상 중 상기 특정 지점에 대응되는 데이터와 (ii) 보정된 2차원 재시점 영상 중 상기 특정 지점에 대응되는 데이터를 참조로 하여 상기 특정 지점에 대한 3차원 데이터를 획득할 수 있다.
도 6은 종래의 3차원 영상 획득 방법을 적용한 경우의 3차원 영상(좌측 도면)과 본 발명의 일 실시예에 따른 3차원 영상 획득 방법을 적용한 경우의 3차원 영상(우측 도면)을 비교한 도면이다.
도 6에 도시된 바와 같이, 종래의 3차원 영상 획득 방법에 따라 물체의 3차원 영상을 획득한 경우, 3차원 영상에는 물체(300)의 굴곡과 제1 카메라(120) 및 제2 카메라(130)의 시점으로 인하여 생기는 3차원 데이터 누락 영역이 존재할 수 있으나, 본 발명의 일 실시예에 따르면 제1 카메라(120) 및 제2 카메라(130)가 획득한 2차원 영상으로부터 3차원 데이터를 획득하지 못하더라도 누락 영역 없는 3차원 영상을 획득할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(240)는 재시점 영상 생성부(210), 2차원 누락 영역 보정부(220) 및 3차원 보정 영상 생성부(230) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(240)는 3차원 영상 획득 장치(200)의 외부로부터의/로의 데이터 흐름 또는 3차원 영상 획득 장치(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 재시점 영상 생성부(210), 2차원 누락 영역 보정부(220) 및 3차원 보정 영상 생성부(230)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 프로젝터, 제1 카메라 및 제2 카메라에 의하여 물체의 3차원 형상 정보를 획득하기 위한 3차원 영상 획득 방법에 있어서,
    (a) 상기 프로젝터에 의해 소정 패턴이 상기 물체에 투영되고, 상기 제1 카메라 및 상기 제2 카메라에 의해 상기 패턴이 투영된 물체의 2차원 초벌 영상이 획득되면, 영상 보정 장치는, 상기 제1 카메라 및 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터로부터 상기 물체에 대한 3차원 초벌 영상을 획득한 후, 상기 획득된 3차원 초벌 영상을 상기 프로젝터가 상기 물체를 바라보는 시점(視點)을 기준으로 한 2차원 재시점(再視點) 영상으로 변환하는 단계,
    (b) 상기 물체의 굴곡과 상기 제1 카메라 및 상기 제2 카메라의 시점(視點)으로 인하여 생기는 3차원 데이터 누락 영역 - 상기 3차원 데이터 누락 영역은 상기 3차원 초벌 영상 내에서 3차원 데이터가 존재하지 않는 영역임 - 을 보완하기 위하여, 상기 영상 보정 장치는, 상기 프로젝터가 상기 물체에 투영했던 상기 패턴에 대한 정보를 참조로 하여, 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 2차원 재시점 영상에서의 누락 영역을 보정하는 단계, 및
    (c) 상기 영상 보정 장치는, (i) 상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터 및 (ii) 상기 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 2차원 재시점 영상에서의 누락 영역은 인페인팅 또는 보간법 중 어느 하나의 방법을 통하여 보정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 중 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 물체의 영역이 포함된 영상 데이터를 참조로 하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 프로젝터는 위상 이동 간섭 패턴 및 그레이 코드 패턴을 방출하며, 상기 위상 이동 간섭 패턴으로부터 획득한 위상 이미지와 상기 그레이 코드 패턴으로부터 획득한 이미지를 결합하여 상기 3차원 초벌 영상을 획득하는 것을 특징으로 하는 방법.
  5. 프로젝터, 제1 카메라 및 제2 카메라에 의하여 물체의 3차원 형상 정보를 획득하기 위한 영상 보정 장치에 있어서,
    상기 프로젝터에 의해 소정 패턴이 상기 물체에 투영되고, 상기 제1 카메라 및 상기 제2 카메라에 의해 상기 패턴이 투영된 물체의 2차원 초벌 영상이 획득되면, 상기 제1 카메라 및 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터로부터 상기 물체에 대한 3차원 초벌 영상을 획득한 후, 상기 획득된 3차원 초벌 영상을 상기 프로젝터가 상기 물체를 바라보는 시점(視點)을 기준으로 한 2차원 재시점(再視點) 영상으로 변환하는 재시점 영상 생성부,
    상기 물체의 굴곡과 상기 제1 카메라 및 상기 제2 카메라의 시점(視點)으로 인하여 생기는 3차원 데이터 누락 영역 - 상기 3차원 데이터 누락 영역은 상기 3차원 초벌 영상 내에서 3차원 데이터가 존재하지 않는 영역임 - 을 보완하기 위하여, 상기 프로젝터가 상기 물체에 투영했던 상기 패턴에 대한 정보를 참조로 하여, 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 2차원 재시점 영상에서의 누락 영역을 보정하는 2차원 누락 영역 보정부, 및
    (i) 상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 데이터 및 (ii) 상기 보정된 2차원 재시점 영상 정보를 참조로 하여, 3차원 보정 영상을 생성하는 3차원 보정 영상 생성부
    를 포함하는 장치.
  6. 제5항에 있어서,
    상기 2차원 누락 영역 보정부는,
    인페인팅 또는 보간법 중 어느 하나의 방법을 통하여 상기 2차원 재시점 영상에서의 누락 영역을 보정하는 것을 특징으로 하는 장치.
  7. 제5항에 있어서,
    상기 3차원 보정 영상 생성부는,
    상기 제1 카메라 또는 상기 제2 카메라가 획득한 2차원 초벌 영상 중 상기 3차원 초벌 영상 내의 상기 3차원 데이터 누락 영역에 대응되는 상기 물체의 영역이 포함된 영상 데이터를 참조로 하는 것을 특징으로 하는 장치.
  8. 제5항에 있어서,
    상기 프로젝터는 위상 이동 간섭 패턴 및 그레이 코드 패턴을 방출하며, 상기 재시점 영상 생성부는, 상기 위상 이동 간섭 패턴으로부터 획득한 위상 이미지와 상기 그레이 코드 패턴으로부터 획득한 이미지를 결합하여 상기 3차원 초벌 영상을 획득하는 것을 특징으로 하는 장치.
  9. 제1항 내지 제4항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2015/002772 2014-05-20 2015-03-20 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 WO2015178577A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/312,506 US10277884B2 (en) 2014-05-20 2015-03-20 Method and apparatus for acquiring three-dimensional image, and computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0060568 2014-05-20
KR1020140060568A KR101592405B1 (ko) 2014-05-20 2014-05-20 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
WO2015178577A1 true WO2015178577A1 (ko) 2015-11-26

Family

ID=54554212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002772 WO2015178577A1 (ko) 2014-05-20 2015-03-20 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Country Status (3)

Country Link
US (1) US10277884B2 (ko)
KR (1) KR101592405B1 (ko)
WO (1) WO2015178577A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN107851336A (zh) 2015-04-29 2018-03-27 马里兰大学巴尔的摩分校 用于记录体腔的数字图像并呈现体腔的三维模型的设备和方法
KR101733228B1 (ko) 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
US11648095B2 (en) 2017-08-10 2023-05-16 D4D Technologies, Llc Intra-oral scanning device
KR102015384B1 (ko) * 2017-11-15 2019-08-28 주식회사 마인즈아이 투명면 및 반사면 검사 방법 및 장치
CN114830190A (zh) * 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021700A (ko) * 2000-09-16 2002-03-22 장기화 3차원 측정 장치 및 방법
KR100332995B1 (ko) * 1999-07-13 2002-04-17 박호군 비접촉식 3차원 스캐너 장치
KR101259835B1 (ko) * 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100332995B1 (ko) * 1999-07-13 2002-04-17 박호군 비접촉식 3차원 스캐너 장치
KR20020021700A (ko) * 2000-09-16 2002-03-22 장기화 3차원 측정 장치 및 방법
KR101259835B1 (ko) * 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERIK LILIENBLUM ET AL.: "Optical 3D Surface Reconstruction by a Multi-Period Phase Shift Method", JOURNAL OF COMPUTERS, vol. 2, no. 2, April 2007 (2007-04-01), pages 73 - 83, XP055192978 *

Also Published As

Publication number Publication date
US20170094254A1 (en) 2017-03-30
KR20150133591A (ko) 2015-11-30
KR101592405B1 (ko) 2016-02-05
US10277884B2 (en) 2019-04-30

Similar Documents

Publication Publication Date Title
WO2015178577A1 (ko) 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101259835B1 (ko) 깊이 정보를 생성하기 위한 장치 및 방법
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
KR102166691B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
JP5635218B1 (ja) 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
JP6576945B2 (ja) 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
JP6112769B2 (ja) 情報処理装置、情報処理方法
CN109791044B (zh) 用于在已知运动的情况下对运动的对象进行三维测量的方法
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2013008804A1 (ja) 計測装置および情報処理装置
KR20090087638A (ko) 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
JP7145432B2 (ja) 投影システム、画像処理装置および投影方法
JP2015203652A (ja) 情報処理装置および情報処理方法
CN107610183B (zh) 一种条纹投影相位高度转换映射模型的标定方法
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
WO2015057098A1 (en) Motion compensation method and apparatus for depth images
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
CN111971525A (zh) 用立体镜测量物体的方法和系统
US20220398760A1 (en) Image processing device and three-dimensional measuring system
KR101943046B1 (ko) 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법
US20220292703A1 (en) Image processing device, three-dimensional measurement system, and image processing method
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
CN116363226A (zh) 一种实时的多相机多投影仪3d成像处理方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15796433

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15312506

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15796433

Country of ref document: EP

Kind code of ref document: A1