KR20190103833A - 실시간 3차원 데이터 측정 방법 - Google Patents
실시간 3차원 데이터 측정 방법 Download PDFInfo
- Publication number
- KR20190103833A KR20190103833A KR1020180024753A KR20180024753A KR20190103833A KR 20190103833 A KR20190103833 A KR 20190103833A KR 1020180024753 A KR1020180024753 A KR 1020180024753A KR 20180024753 A KR20180024753 A KR 20180024753A KR 20190103833 A KR20190103833 A KR 20190103833A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- image
- correspondence
- dimensional
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 238000000691 measurement method Methods 0.000 claims abstract description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G06K9/00208—
-
- G06T3/0031—
-
- G06T3/0056—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 실시간 3차원 데이터 측정 방법에 관한 것으로, 부호화된 구조광을 측정 대상에 조사하고 영상을 획득하여 측정 대상에 대한 3차원 데이터를 획득하는 과정에서 패턴 영상을 처리하는 방법에 관한 것이다. 이에 따르면, 임의의 부호화된 구조광을 사용하여 스테레오 매칭 시 정확도롤 보정함으로서 각 임의의 구조광으로 획득한 3차원 데이터의 품질 및 획득량을 늘릴 수 있는 이점이 있다.
Description
본 발명은 실시간 3차원 데이터 측정 방법에 관한 것으로, 부호화된 구조광을 측정 대상에 조사하고 영상을 획득하여 측정 대상에 대한 3차원 데이터를 획득하는 과정에서 패턴 영상을 처리하는 방법에 관한 것이다.
3차원 스캐닝은 역설계, 측정, 검사, 컨텐츠 생성, CAD/CAM 등 다양한 산업 분야에서 사용되고 있으며 컴퓨팅 기술의 발전으로 인하여 스캐닝 성능이 높아지고 점점 다양한 분야에 사용되고 있다.
최근에는 초당 수 프레임 이상의 데이터를 획득할 수 있으며 자동화된 데이터 처리를 통하여 전문 훈련을 받지 않은 일반 사용자도 손쉽게 3차원 데이터를 획득할 수 있는 실시간 스캐닝 기술이 급속도로 발달하고 있다.
실시간 스캐닝은 주로 구조화된 패턴을 광학 투사 장치를 이용하여 측정 대상에 투영하고 이를 영상 장치를 통해 획득한 후, 획득한 영상을 분석하여 3차원 데이터를 계산해 내는 구조광 방식을 많이 사용한다. 구조광 방식은 한번에 넓은 면적의 3차원 데이터를 획득할 수 있어 빠른 속도로 스캐너를 이동시키면서 3차원 데이터를 측정하는 실시간 스캐닝에 사용하기 적합하기 때문이다.
종래에는 3차원 스캐닝을 위하여 DFP(Digital Fringe Pattern) 방식의 패턴을 주로 사용하였다. 특히 데이터의 안정성, 해상도 및 연산 시간 등에서 장점을 가지는 그레이코드(Gray Code)와 위상차(Phase Shift)가 결합된 패턴이 널리 사용되고 있다.
그러나 그레이코드-위상차 패턴은 방식의 특성 상 사용되는 패턴의 수가 많아(통상적으로 열 장 이상) 스캐너와 물체가 상호 이동하면서 스캔이 이루어지는 경우 패턴이 맺히는 위치가 측정 도중 변경되어 스캐닝이 제대로 이루어지지 않는 문제가 있다.
이러한 문제를 해소하기 위해서 측정에 사용되는 패턴의 장수를 줄이기 위한 패턴 기술들, 가령 M-array 등이 상용화된 바 있으나, 패턴 장수를 줄이면서 ID를 부여하기 위해서 영상에서 여러 픽셀을 사용하기 때문에 측정된 3D 데이터의 해상도가 감소하는 문제가 있었다.
그에 따라 실시간 측정에 적합하도록 패턴 수를 줄이면서, 높은 해상도의 3D 데이터를 획득할 수 있는 기술이 필요하다.
본 발명은 실시간 3차원 데이터 측정 방법에 관한 것으로, 부호화된 구조광을 측정 대상에 조사하고 영상을 획득하여 측정 대상에 대한 3차원 데이터를 획득하는 과정에서 패턴 영상을 처리하는 방법에 관한 것으로, 특히 실시간 스캐닝을 수행할 때 데이터가 획득되지 않은 부분에 대한 데이터를 추가로 획득할 수 있는 특징이 있다.
본 발명에 따른 실시간 3차원 데이터 측정 방법의 일 실시예는, 한 개 이상의 카메라 및 한 개 이상의 패턴을 투영할 수 있는 프로젝터로 구성된 3차원 획득 시스템을 이용한 3차원 데이터 측정 방법으로서, 측정 대상에 3차원 데이터를 획득하기 위한 구조광을 투영하는 단계, 상기 구조광이 투영된 상기 측정 대상의 표면에 대한 2차원 영상을 획득하는 단계, 상기 2차원 영상을 상기 구조광의 부호화 정보를 이용하여 해석하여 2차원 영상의 각 픽셀 당 고유의 부호값을 계산하는 단계,
상기 서로 다른 카메라 혹은 프로젝터 영상 간 상기 2차원 영상의 각 픽셀 당 부호값을 이용하여 상기 각 픽셀 당 대응 관계를 계산하는 단계, 및 상기 대응 관계를 계산하는 단계에서 대응 관계를 계산하지 못한 픽셀이 있을 때 상기 영상에서주변의 다른 픽셀의 정보를 추가로 활용하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 주변 픽셀 정보를 활용하는 단계는, 기준 픽셀을 중심으로 일정 거리만큼의 픽셀이 포함된 블록을 만들고, 블록 내에 있는 각 픽셀의 값 혹은 각 픽셀에서 계산된 상기 대응 관계 정보를 이용하여 상기 대응 관계를 갱신하는 것을 특징으로 할 수 있다.
또한, 상기 블록을 이용하여 픽셀 정보를 갱신한 후, 다시 상기 블록을 생성한 후 각 픽셀의 상기 갱신된 대응 관계 정보를 이용하여 상기 대응 관계를 재 갱신하는 것을 특징으로 할 수 있다.
또한, 상기 대응 관계를 갱신할 때 상기 기준 픽셀과 상기 블록 내에 있는 각 픽셀의 값과의 차이 혹은 픽셀 간 거리를 이용하여 갱신 정보를 생성하는 것을 특징으로 할 수 있다.
상기와 같이 구성되는 본 발명에 따른 실시간 3차원 데이터 측정 방법에 따르면, 부호화된 구조광을 측정 대상에 조사하여 3차원 데이터를 획득할 때 구조광의 복호화가 실패하여 3차원 데이터를 획득할 수 없는 부분에서 추가로 3차원 데이터를 획득할 수 있는 장점이 있다.
도 1은 본 발명에 따른 실시간 3차원 데이터 획득 방법의 전체 진행 순서를 나타낸 순서도이다.
도 2는 본 발명에 따른 실시간 3차원 데이터 획득 방법을 사용할 때, 여러 장의 서로 다른 패턴을 연속적으로 획득하고, 각 패턴 영상에 본 방법을 적용할 수 있는 것을 나타낸 예시이다.
도 2는 본 발명에 따른 실시간 3차원 데이터 획득 방법을 사용할 때, 여러 장의 서로 다른 패턴을 연속적으로 획득하고, 각 패턴 영상에 본 방법을 적용할 수 있는 것을 나타낸 예시이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하에서는 도면을 참조하여 본 발명의 실시 예에 대해서 구체적으로 설명하기로 한다.
도 1은 본 발명에 따른 실시간 3차원 데이터 측정 방법의 구성이 간략하게 도시된 블록도이다.
도 1에 도시된 바와 같이 본 발명에 따른 실시간 3차원 데이터 측정 방법은 구조광 투영 - 2차원 영상 획득 - 부호값 계산 - 대응관계 계산 - 주변 픽셀 참조 - 부호값 및 대응관계 재 계산의 절차를 포함한다.
구조광 투영 단계에서는 3차원 데이터를 획득하기 위한 어떠한 종료의 구조광도 사용할 수 있다. 단. 이 때 구조광을 사용하여 2차원 영상을 획득하는 경우 측정 대상에 어떠한 빛도 투영하지 않고 획득한 2차원 영상과는 확실하게 구분이 될 수 있어 3차원 데이터 계산 시 서로 다른 광학 장치 간 픽셀 대응 관계를 계산할 수 있어야 한다.
바람직하게는, 카메라 두대 및 프로젝터 한 대로 구성된 시스템에서 각 카메라마다 구조광이 투영된 2차원 구조광 영상을 획득하는 것이 좋으나, 카메라 및 프로젝터의 수는 시스템 설계에 따라 변경될 수 있다.
부호값 계산 단계에서는 획득한 2차원 구조광 영상을 복호화하여 영상의 각 픽셀당 부호값을 계산한다. 이 때 구조광 영상의 복호화는 각 구조광의 설계 방법에 따라 최적화된 복호화 방법을 사용할 수 있으며 이는 사전에 구조광을 설계할 때 고려되어야 한다. 이 때, 카메라와 측정 대상간의 거리, 각도, 조명 조건 및 기타 주위 환경에 따라서 복호화가 성공하거나 실패할 수 있으며, 여기까지의 단계에서는 복호화가 실패한 경우 해당 픽셀에서는 3차원 데이터를 계산할 수 없다.
이 때, 프로젝터를 수식적으로 하나의 카메라로 모델링 한 뒤, 프로젝터의 원본 영상을 카메라에서 획득한 영상으로 간주하고 복호화하여 카메라 장치처럼 구성할 수 있다. 이러한 경우 프로젝터 원본 영상은 투영 및 물체의 형상으로 인한 왜곡이 없으므로 이상적인 영상으로 간주할 수 있으며, 미리 설정된 구조광 정보에 따라 별도의 복호화 과정을 생략하고 픽샐 당 부호값을 설정할 수 있다.
대응관계 계산 단계에서는 서로 다른 카메라 혹은 프로젝터에서 생성된 픽셀 당 부호값을 서로 비교하여 같은 값을 가지는 픽셀을 찾는다. 이 때 미리 생성한 각 카메라-프로젝터 간 보정값을 이용하여 픽셀 간 값 비교의 시간을 줄일 수 있으며 특히 공액기하(Epipola Geometry)와 렌즈 왜곡 정보를 이용하면 시간을 크게 단축할 수 있다.
주변 픽셀 참조 단계는 상기 부호값 계산 단계에서 부호값 계산에 실패한 픽셀의 부호값을 갱신하는 단계로, 상기 부호값 계산에 실패한 픽셀에 인접한 픽셀들의 부호값 및 2차원 영상 획득 값을 이용할 수 있다. 주변 픽셀들에서 유효한 부호값이 확인된 경우 내삽법 또는 가우시안 필터 등을 사용하여 상기 부호값 계산에 실패한 픽셀의 부호값을 추정할 수 있으며, 이 때 상기 주변 픽셀들의 대응 관계를 이용하여 서로 다른 카메라 혹은 프로젝터에서 생성된 픽셀 당 부호값을 참조할 수 있다.
혹은 인접한 픽셀들도 부호값 계산을 실패하였을 경우에는 인접한 픽셀들의 2차원 영상 값을 이용하여 영상 분석을 통해 코너 점이나 엣지 등을 추출하거나 픽셀들 간 2차원 영상 값의 차이를 이용한 필터 등을 구성하여 상기 구조광 정보가 아닌 새로운 대응점을 찾기 위한 정보를 생성하고, 이로부터 대응 관계를 갱신할 수 있다.
이 때, 상기 주변 픽셀이 어떤 픽셀인지 결정하는 방법은 일반적으로 기준 픽셀에서 일정 거리(픽셀 단위) 이내에 있는 픽셀을 포함하는 방법을 사용한다. 예를 들어, 기준 거리를 3으로 설정하면 기준 픽셀로부터 3칸 이내에 있는 모든 픽셀이 주변 픽셀이 될 수 있다.
이러한 방법을 통하여 부호값 계산 및 대응 관계 계산이 실패한 픽셀에 대하여 부호값 및 대응 관계를 계산할 수 있다. 또한 이러한 과정을 반복적으로 수행하여 부호값 및 대응 관계 계산이 실패한 픽셀 수를 줄일 수 있다. 이를 통해 최종적으로 생성되는 3차원 데이터의 품질 및 데이터 획득량을 증가시킬 수 있다.
도 2는 상기 구조광 대응 관계 및 그 집합을 표현한 그림이다.
일반적으로 3차원 데이터 획득을 위한 구조광은 한 장 이상의 서로 다른 형태의 구조광을 사용하게 되며, 여러 장의 패턴이 투영된 영상을 복호화하여 하나의 부호값을 계산하게 된다.
이 때, 상기 주변 픽셀을 참조하는 단계에서 2차원 영상 값을 이용하는 경우, 한 장의 영상만을 사용하는 것이 아니라 여러 장의 각 구조광이 투영된 영상을 모두 이용하여 상기 부호값 및 대응 관계 계산 시 정확도를 높일 수 있다.
이상, 본 발명에 따른 3차원 데이터 측정 방법의 일 실시예를 첨부된 도면을 참조하여 상세하게 설명하였다. 그러나, 본 발명의 실시예가 반드시 상술한 일 실시예에 의하여 한정되는 것은 아니고, 본 발명이 속하는 기술분야에 통상의 지식을 가진 자에 의한 다양한 변형 및 균등한 범위에서의 실시가 가능함은 당연하다고 할 것이다. 그러므로, 본 발명의 진정한 권리범위는 후술하는 청구범위에 의하여 정해진다고 할 것이다.
Claims (4)
- 한 개 이상의 카메라 및 한 개 이상의 패턴을 투영할 수 있는 프로젝터로 구성된 3차원 획득 시스템을 이용한 실시간 3차원 데이터 측정 방법으로서,
측정 대상에 3차원 데이터를 획득하기 위한 구조광을 투영하는 단계;
상기 구조광이 투영된 상기 측정 대상의 표면에 대한 2차원 영상을 획득하는 단계;
상기 2차원 영상을 상기 구조광의 부호화 정보를 이용하여 해석하여 2차원 영상의 각 픽셀 당 고유의 부호값을 계산하는 단계;
상기 서로 다른 카메라 혹은 프로젝터 영상 간 상기 2차원 영상의 각 픽셀 당 부호값을 이용하여 상기 각 픽셀 당 대응 관계를 계산하는 단계; 및
상기 대응 관계를 계산하는 단계에서 대응 관계를 계산하지 못한 픽셀이 있을 때 상기 영상에서 주변의 다른 픽셀의 정보를 추가로 활용하는 단계를 포함하는 것을 특징으로 하는 실시간 3차원 데이터 측정 방법. - 청구항 1에 있어서,
상기 주변 픽셀 정보를 활용하는 단계는,
기준 픽셀을 중심으로 일정 거리만큼의 픽셀이 포함된 블록을 만들고, 블록 내에 있는 각 픽셀의 값 혹은 각 픽셀에서 계산된 상기 대응 관계 정보를 이용하여 상기 대응 관계를 갱신하는 것을 특징으로 하는 실시간 3차원 데이터 측정 방법. - 청구항 2에 있어서,
상기 블록을 이용하여 픽셀 정보를 갱신한 후, 다시 상기 블록을 생성한 후 각 픽셀의 상기 갱신된 대응 관계 정보를 이용하여 상기 대응 관계를 재 갱신하는 것을 특징으로 하는 실시간 3차원 데이터 측정 방법. - 청구항 2 또는 청구항 3에 있어서,
상기 대응 관계를 갱신할 때 상기 기준 픽셀과 상기 블록 내에 있는 각 픽셀의 값과의 차이 혹은 픽셀 간 거리를 이용하여 갱신 정보를 생성하는 것을 특징으로 하는 실시간 3차원 데이터 측정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180024753A KR20190103833A (ko) | 2018-02-28 | 2018-02-28 | 실시간 3차원 데이터 측정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180024753A KR20190103833A (ko) | 2018-02-28 | 2018-02-28 | 실시간 3차원 데이터 측정 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190103833A true KR20190103833A (ko) | 2019-09-05 |
Family
ID=67949627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180024753A KR20190103833A (ko) | 2018-02-28 | 2018-02-28 | 실시간 3차원 데이터 측정 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190103833A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102269897B1 (ko) | 2020-01-08 | 2021-06-28 | 주식회사 메디트 | 이미지 필터링 방법 |
| EP3858219A1 (en) | 2020-01-31 | 2021-08-04 | Medit Corp. | Method for removing external light interference |
-
2018
- 2018-02-28 KR KR1020180024753A patent/KR20190103833A/ko not_active Application Discontinuation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102269897B1 (ko) | 2020-01-08 | 2021-06-28 | 주식회사 메디트 | 이미지 필터링 방법 |
| EP3858219A1 (en) | 2020-01-31 | 2021-08-04 | Medit Corp. | Method for removing external light interference |
| KR20210098375A (ko) | 2020-01-31 | 2021-08-10 | 주식회사 메디트 | 외부광 간섭 제거 방법 |
| US11826016B2 (en) | 2020-01-31 | 2023-11-28 | Medit Corp. | External light interference removal method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10739131B2 (en) | Three-dimensional scanning device using structured light | |
| KR102096806B1 (ko) | 3차원 센서 시스템 및 3차원 데이터 획득방법 | |
| US20120176478A1 (en) | Forming range maps using periodic illumination patterns | |
| US20120176380A1 (en) | Forming 3d models using periodic illumination patterns | |
| Lin et al. | Three-dimensional shape measurement technique for shiny surfaces by adaptive pixel-wise projection intensity adjustment | |
| KR101259835B1 (ko) | 깊이 정보를 생성하기 위한 장치 및 방법 | |
| JP4473136B2 (ja) | 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得 | |
| CN108225216B (zh) | 结构光系统标定方法及装置、结构光系统及移动设备 | |
| US20180306577A1 (en) | System and Methods for Shape Measurement Using Dual Frequency Fringe Pattern | |
| Zhang et al. | A robust surface coding method for optically challenging objects using structured light | |
| KR20130000356A (ko) | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 | |
| CN104596439A (zh) | 一种基于相位信息辅助的散斑匹配三维测量方法 | |
| JP2012013453A (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
| JP6598673B2 (ja) | データ処理装置およびその方法 | |
| CN113506348B (zh) | 一种基于格雷码辅助的三维坐标计算方法 | |
| JP2011242183A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR102160340B1 (ko) | 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 | |
| CN115908705A (zh) | 一种基于特殊编码的三维成像方法及装置 | |
| KR20190103833A (ko) | 실시간 3차원 데이터 측정 방법 | |
| CN110160468B (zh) | 一种针对运动对象的散焦光栅投影三维测量方法 | |
| CN116558445B (zh) | 一种条纹投影的相位解码方法、计算机可读存储介质 | |
| Chen et al. | Realtime structured light vision with the principle of unique color codes | |
| JP5968370B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
| CN111023999B (zh) | 一种基于空间编码结构光的稠密点云生成方法 | |
| KR102070540B1 (ko) | 그레이 패턴 및 위상 시프트 패턴을 이용한 3차원 스캐닝 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |