KR102335899B1

KR102335899B1 - 3d 스캔이 수행 중인 물체에 관한 색상 정보를 수집하기 위한 시스템, 방법, 장치 및 컴퓨터 판독가능 저장 매체

Info

Publication number: KR102335899B1
Application number: KR1020167033457A
Authority: KR
Inventors: 비요른 포쓰; 프랑크 틸; 요아힘 파이퍼; 알렉세이 하버드; 지안 루
Original assignee: 아르게스 이미징 인코포레이티드
Priority date: 2014-05-02
Filing date: 2015-05-04
Publication date: 2021-12-03
Also published as: WO2015166107A1; US20150319326A1; JP2017523491A; DK3138275T3; EP3138275A1; CN106456292B; JP6573907B2; EP3138275B1; CN106456292A; KR20160147980A; US11122180B2

Abstract

물체의 3차원(3D) 스캔을 수행하는 방법은 광학 콘트라스트 분말을 물체에 적용하는 단계 및 물체를 광으로 조명하는 단계를 포함한다. 물체에 대응하는 제1 및 제2 2차원(2D) 컬러 이미지 데이터가 생성된다. 제1 및 제2 2D 컬러 이미지 데이터를 사용하여 물체에 대응하는 제1 및 제2 2D 단색 이미지 데이터가 생성된다. 제1 및 제2 단색 2D 이미지 데이터를 사용하여 물체에 대응하는 3D 데이터가 생성된다. 색상 정보를 3D 데이터에 추가함으로써 물체에 대응하는 컬러 3D 이미지 데이터가 생성된다. 컬러 3D 이미지 데이터가 디스플레이된다.

Description

3D 스캔이 수행 중인 물체에 관한 색상 정보를 수집하기 위한 시스템, 방법, 장치 및 컴퓨터 판독가능 저장 매체{SYSTEMS, METHODS, APPARATUSES, AND COMPUTER-READABLE STORAGE MEDIA FOR COLLECTING COLOR INFORMATION ABOUT AN OBJECT UNDERGOING A 3D SCAN}

본 발명은 3차원(3D) 스캔이 수행 중인 물체에 관한 색상 정보를 수집하는 것, 그리고, 보다 구체적으로는, 하나 이상의 물체들, 예를 들어, 하나 이상의 치아들에 대응하는 3D 컬러 이미지 데이터를 생성하고 디스플레이하는 것에 관한 것이다.

컴퓨터 지원 설계(Computer-Aided Design, CAD) 및 컴퓨터 지원 제조(Computer-Aided Manufacturing, CAM) 기법이 환자의 입 내부의 디지털 모델을 생성하는 데에 이용되어 왔다. 디지털 모델은 인레이(inlay), 온레이(onlay), 브릿지(bridge), 크라운(crown), 및 베니어(veneer)와 같은 보철 치과 용품을 설계하고 제조하는 데 사용되어 왔다. 그러한 디지털 모델을 생성하기 위해 환자의 입 내부를 스캔하도록 사용된 종래의 시스템은 3D 단색 데이터를 생성하고 디스플레이한다. 카메라로 환자의 입 내부의 3D 스캔을 수행할 때, 관심 대상인 해부학적 구조(anatomy)를 스캔하고 임상적으로 관련된 영역(예컨대, 치아)과 불필요한 영역(예컨대, 혀 및 뺨) 사이를 구별하기 위해 카메라를 정확하게 배향하는 것은 어려울 수 있다. 이것은 특히 3D 정보를 실시간으로 수집하고 디스플레이하는 시스템에 있어 사실이다.

상기한 것과 연관된 기존의 한계 뿐만 아니라 다른 한계는 물체의 3D 스캔을 수행하기 위한 방법에 의해 그리고 그 방법에 따라 동작하는 시스템, 장치 및 컴퓨터 프로그램에 의해 극복될 수 있다.

본 발명의 예시적인 실시예에 따르면, 방법은 조명된 물체에 대응하는 제1 및 제2 2차원(2D) 컬러 이미지 데이터를 생성하는 단계를 포함하는데, 여기서 제1 및 제2 2D 컬러 이미지 데이터는 픽셀들을 포함한다. 방법은 또한 제1 및 제2 2D 컬러 이미지 데이터에 각각 대응하는 제1 및 제2 2D 단색 이미지 데이터를 생성하는 단계; 제1 및 제2 2D 단색 이미지 데이터를 사용하여 3D 데이터를 생성하는 단계; 및 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나로부터 획득된 색상 정보를 3D 데이터와 조합함으로써 3D 컬러 이미지 데이터를 생성하는 단계를 포함한다.

본 발명의 다른 예시적인 실시예에서, 방법은 3D 컬러 이미지 데이터를 디스플레이 유닛 상에 디스플레이하는 단계를 추가로 포함한다. 본 발명의 추가 예시적인 실시예에서, 3D 컬러 이미지 데이터는 실시간으로 디스플레이 유닛 상에 디스플레이된다.

또 다른 예시적인 실시예에서, 방법은 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나를 디스플레이 유닛 상에 디스플레이하는 단계를 추가로 포함한다.

또한, 본 발명의 하나의 예시적인 실시예에서, 방법은 제1 및 제2 2D 단색 이미지 데이터를 생성하는 단계 이전에 제1 및 제2 2D 컬러 이미지 데이터를 다운샘플링하여 다운샘플링된 2D 컬러 이미지 데이터를 생성하는 단계를 추가로 포함한다. 본 발명의 추가 예시적인 실시예에서, 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고, 다운샘플링된 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고, 4개의 인접한 픽셀들에 대응하는 다운샘플링된 2D 컬러 이미지 데이터의 컬러 픽셀 값들은 2D 컬러 이미지 데이터의 16개의 컬러 픽셀 값들을 사용하여 생성된다.

본 발명의 다른 예시적인 실시예에서, 제1 2D 컬러 이미지 데이터의 생성은 컬러 이미지 센서의 제1 부분을 사용하여 수행되고, 제2 2D 컬러 이미지 데이터의 생성은 컬러 이미지 센서의 제2 부분을 사용하여 수행된다. 본 발명의 추가 예시적인 실시예에서, 컬러 이미지 센서의 제1 부분은 물체에 의해 반사되어 카메라의 제1 개구(aperture)를 통과한 광에 기초하여 제1 2D 컬러 이미지 데이터를 생성하고, 컬러 이미지 센서의 제2 부분은 물체에 의해 반사되어 제1 개구와는 상이한 카메라의 제2 개구를 통과한 광에 기초하여 제2 2D 컬러 이미지 데이터를 생성한다.

본 발명의 또 다른 예시적인 실시예에서, 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고, 2D 단색 이미지 데이터는 복수의 단색 픽셀 값들을 포함하고, 각각의 단색 픽셀 값은 2D 컬러 이미지 데이터의 4개의 이웃 픽셀들에 대응하는 4개의 컬러 픽셀 값들의 가중 평균(weighted average) 값이다.

본 발명의 또 다른 예시적인 실시예에서, 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고, 2D 단색 이미지 데이터는 하나의 색상을 갖는 2D 컬러 이미지 데이터의 픽셀들을 포함한다.

본 발명의 일부 예시적인 실시예에서, 방법은 광학 콘트라스트 분말을 물체에 적용하는 단계를 추가로 포함한다. 본 발명의 다른 예시적인 실시예에서, 방법은 광학 콘트라스트 분말에 대응하는 색상 정보의 부분들에 대한 색상 보정을 수행하는 단계를 추가로 포함한다. 본 발명의 추가 예시적인 실시예에서, 광학 콘트라스트 분말은 흑색 입자들, 백색 입자들, 또는 흑색 및 백색 입자들을 포함한다. 본 발명의 또 다른 예시적인 실시예에서, 광학 콘트라스트 분말은 적어도 2가지 색상의 입자들을 포함하고, 광학 콘트라스트 분말의 제1 색상의 입자들은 광학 콘트라스트 분말의 제2 색상의 입자들과는 상이한 양의 일정 색상의 광을 흡수한다.

본 발명의 예시적인 실시예에서, 방법은 물체를 광으로 조명하는 단계를 추가로 포함한다. 본 발명의 하나의 예시적인 실시예에서, 물체는 백색 광으로 조명된다. 본 발명의 다른 예시적인 실시예에서, 물체는 복수의 유색 광으로 조명된다. 본 발명의 또 다른 예시적인 실시예에서, 물체는 구조화된 광(structured light)으로 조명된다.

본 방법은 환자의 입 내부의 정밀한 컬러 3D 모델을 디스플레이하고 치과 전문가가 임상적으로 관련된 영역을 식별하는 것을 돕는 데 유용할 수 있다. 예를 들어, 본 방법은 치과 전문가가 치아의 연삭된(ground-down) 부분과 치아의 본래 그대로의(untouched) 부분 사이의 변연 부위(margin)를 식별하는 것을 돕고, 이에 따라 변연 부위에 대한 치과용 크라운의 최적의 제조 및 배치를 가능하게 할 수 있다. 본 방법은 또한 생생하고 실감나는 시각적 피드백을 3D 스캔을 수행하는 치과 전문가에게 제공하여, 이에 따라 스캐닝 공정을 보다 쉽게 하는 데 유용할 수 있다.

본 발명의 추가 특징들 및 이점들 뿐만 아니라 다양한 실시예의 구조 및 동작이 첨부 도면을 참조하여 아래에 상세하게 기술된다.

도 1a는 본 발명의 예시적인 실시예에 따른, 스캔이 수행 중인 물체에 관한 색상 정보를 생성하고 디스플레이하기 위한 예시적인 3D 스캐닝 시스템의 블록도를 도시한다.
도 1b는 본 발명의 예시적인 실시예에 따른, 도 1a의 3D 스캐닝 시스템의 컬러 픽셀 센서 어레이를 도시한다.
도 2는 도 1a에 도시된 3D 스캐닝 시스템의 예시적인 컴퓨터 시스템의 블록도를 도시한다.
도 3a는 본 발명의 예시적인 실시예에 따른, 3D 스캔이 수행 중인 물체에 관한 색상 정보를 생성하고 디스플레이하기 위한 예시적인 공정의 흐름도이다.
도 3b는 본 발명의 예시적인 실시예에 따른, 물체의 2차원(2D) 컬러 이미지를 생성하고 디스플레이하기 위한 예시적인 공정의 흐름도이다.
도 4a는 도 1b에 도시된 컬러 픽셀 센서 어레이의 예시적인 컬러 필터 어레이를 도시한다.
도 4b는 도 4a에 도시된 컬러 필터 어레이에 사용된 색상들을 도시한다.
도 5a는 도 1b에 도시된 컬러 픽셀 센서 어레이의 예시적인 픽셀 센서 어레이를 도시한다.
도 5b는 도 5a에 도시된 픽셀 센서 어레이에 대응하는 컬러 픽셀 값 저장 어레이의 예시적인 시각적 표현을 도시한다.
도 6a는 도 1a에 도시된 3D 스캐닝 시스템의 예시적인 가상 컬러 필터 어레이를 도시한다.
도 6b는 도 6a에 도시된 가상 컬러 필터 어레이에 사용된 색상들을 도시한다.
도 7a는 도 1a에 도시된 3D 스캐닝 시스템의 예시적인 가상 컬러 픽셀 센서 어레이를 도시한다.
도 7b는 도 7a에 도시된 가상 컬러 픽셀 센서 어레이에 대응하는 컬러 픽셀 값 저장 어레이의 예시적인 시각적 표현을 도시한다.
도 8은 본 발명의 예시적인 실시예에 따른, 단색 픽셀 값 저장 어레이의 예시적인 시각적 표현을 도시한다.
도 9는 도 1a의 3D 스캐닝 시스템에 의해 생성되는 예시적인 2D 컬러 이미지를 도시한다.
도 10은 도 1a의 3D 스캐닝 시스템에 의해 디스플레이되는 예시적인 3D 컬러 이미지 데이터를 도시한다.

도 1a는 3D 스캔이 수행 중인 물체(50)로부터 색상 정보를 수집하고 물체(50)의 3D 컬러 표현을 디스플레이하는 3D 스캐닝 시스템(100)의 블록도를 도시한다. 3D 스캐닝 시스템(100)은 핸드피스(102), 케이블(106)을 사용하여 핸드피스에 연결된 컴퓨터 시스템(104), 및 케이블(110)을 사용하여 컴퓨터 시스템(104)에 연결된 디스플레이 유닛(108)을 포함한다.

핸드피스(102)는 하부 표면에 윈도우(114)를 갖는 하우징(112)을 포함한다. 핸드피스(102)는 또한 광(119)을 윈도우(114)를 통하여 물체(50) 상으로 투영하는 조명 유닛(116)을 포함한다. 본 발명의 예시적인 실시예에 따르면, 조명 유닛(116)은 광(119)으로서 백색 광을 물체(50) 상으로 투영하는 발광 다이오드(LED)들, 예를 들어, LED들(118, 120)을 포함한다. 본 발명의 다른 예시적인 실시예에서, 조명 유닛(116)은 복수의 백색 광 투영 LED들, 즉, 복수 개의, 예를 들어, 12개의 그러한 LED들(도시되지 않음)을 포함한다. 본 발명의 또 다른 예시적인 실시예에 따르면, 조명 유닛(116)은 적색, 녹색 및 청색 광을 각각 투영하는 복수의 LED들(예컨대, 3개의 LED들; 도시되지 않음)을 포함한다. 또한, 본 발명의 추가 예시적인 실시예에서, 조명 유닛(116)은 예를 들어, 390 nm 내지 700 nm의 파장 범위와 같은, 광의 가시 스펙트럼의 적어도 상당 부분을 함께 커버하는 복수의 유색 LED들(도시되지 않음)을 포함한다. 또한, 본 발명의 추가 예시적인 실시예에 따르면, 조명 유닛(116)은, 예를 들어, 랜덤 도트 패턴, 어둡고 밝은 줄무늬 패턴, 또는 유색 줄무늬 패턴과 같은 특징들을 갖고, 광의 가시 스펙트럼의 적어도 상당 부분을 다루는, 구조화된 광을 광(119)으로서 투영한다. 다른 실시예에서, 상기 실시예의 하나 이상의 태양이 함께 이용될 수 있다.

조명 유닛(116)으로부터 방출된 광(119)의 적어도 일부는 도면 부호 121로 나타낸 바와 같이, 물체(50)에 의해 윈도우(114)를 통하여 핸드피스(102)로 다시 반사된다. 물체(50)에 의해 반사된 광(121)을 광학 시스템(124)을 향하여 반사시키기 위해 거울(122)이 제공된다. 광학 시스템(124)은 적어도 하나의 렌즈(126), 및 제1 개구(132) 및 제2 개구(134)가 내부에 형성되어 있는 마스크(130)를 포함한다. 렌즈(126)는 물체(50) 및 거울(122)에 의해 반사된 광이 제1 개구(132) 및 제2 개구(134)를 통과하도록 그 광을 집속시킨다.

제1 개구(132)를 통과하는 광은 카메라 유닛(140)의 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 상으로 투영되어 제1 이미지를 형성한다. 유사하게, 제2 개구(134)를 통과하는 광은 카메라 유닛(140)의 컬러 픽셀 센서 어레이(148)의 별도의 제2 부분(144) 상으로 투영되어 제2 이미지를 형성한다. 본 발명의 예시적인 실시예에 따르면, 제1 개구(132)를 통과하는 광은 광학 구성요소(136)를 거쳐 제1 부분(142) 상으로 투영되고, 제2 개구(134)를 통과하는 광은 광학 구성요소(138)를 거쳐 제2 부분(144) 상으로 투영된다. 본 발명의 하나의 예시적인 실시예에서, 광학 구성요소들(136, 138)은 람보이드 프리즘(rhomboid prism)들이다.

본 발명의 예시적인 실시예에 따르면, 도 1a 및 도 1b에 도시된 바와 같이, 컬러 픽셀 센서 어레이(148)는 픽셀 센서 어레이(152)의 전방에 배치되는 컬러 필터 어레이(150)를 포함하여, 본 명세서에 추가로 기술되는 바와 같이, 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 또는 제2 부분(144) 중 어느 것 상으로 투영된 광은 먼저 컬러 필터 어레이(150)의 대응 부분을 통과하고 이어서 마찬가지로 픽셀 센서 어레이(152)의 대응 부분으로 투과되게 한다.

도 1a를 다시 참조하면, 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144)은 수신된 광에 응답하여 3개의 값들을 갖는 RGB 신호들을 출력함으로써 이미지 획득을 수행하는데, 3개의 값들 각각은 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144) 각각 상으로 투영되는 적색 광, 녹색 광 및 청색 광의 세기들에 각각 비례한다. 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144)의 픽셀들로부터의 신호들은 (요소(152)를 거쳐) 케이블(106)을 통해 컴퓨터 시스템(104)에 제공되고, 컴퓨터 시스템(104)은 공지된 방식으로 신호들로부터 2차원(2D) 이미지 데이터를 생성함으로써 응답한다. 이에 따라, 물체(50)의 제1 및 제2 2D 이미지 데이터가 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144)으로부터 각각 획득된다.

일부 실시예에서, 카메라 유닛(140)에 의해 출력되는 컬러 픽셀 센서 어레이(148)의 제1 및 제2 부분들(142, 144)로부터의 신호들은 아날로그 신호들인데, 이들은 컴퓨터 시스템(104) 내에 포함된 아날로그-디지털 변환기들에 의해 대응 디지털 신호들로 변환된다. 다른 실시예에서, 카메라 유닛(140) 자체는 컬러 픽셀 센서 어레이(148)의 제1 및 제2 부분들(142, 144)로부터 출력되는 아날로그 신호들을 대응 디지털 신호들로 변환하는 아날로그-디지털 변환기들을 포함하고, 이러한 디지털 신호들은 이어서 카메라 유닛(140)에 의해 케이블(106)을 통해 컴퓨터 시스템(104)으로 출력된다.

핸드피스(102)는 또한 구동 회로(146)를 포함한다. 본 발명의 하나의 예시적인 실시예에서, 구동 회로(146)는 하나 초과의 전기적으로 접속된 회로 구성요소, 예컨대, 카메라(140), LED(118) 및/또는 LED(120)의 각각을 구동 및/또는 유지하기 위한 하나 이상의 개별 회로 기판들을 포함할 수 있다. 구동 회로(146)는, 예를 들어 그리고 제한 없이, 카메라 유닛(140) 및 조명 유닛(116)을 비롯한, 핸드피스(102) 내부의 전자 요소들 및 다양한 구성요소들의 동작을 제어한다. 하나의 예시적인 실시예에서, 카메라 유닛(140)은 이미지가 카메라 유닛(140)에 의해 획득됨과 실질적으로 동시에 LED들(118, 120)을 스트로브(strobe)하도록 구동 회로(146)를 트리거하여, 물체(50)의 조명 및 이미지 획득이 실질적으로 동시에 일어나도록 한다.

아래에 상세하게 기술되는 바와 같이, 컴퓨터 시스템(104)은 카메라 유닛(140)에 의해 제공된 신호들을 처리하고 시스템(104)에 의해 케이블(110)을 통해 디스플레이 유닛(108)에 제공되는 3D 데이터를 생성하는데, 디스플레이 유닛은 대응 컬러 3D 비디오를 실시간으로 디스플레이한다.

도 2는 컴퓨터 시스템(200)의 블록도를 도시한다. 본 발명의 하나의 예시적인 실시예에서, 컴퓨터 시스템(200)의 적어도 일부 구성요소들(예컨대, 모든 그러한 구성요소들, 또는 모든 그 외의 구성요소(228))은 도 1a에 도시된 컴퓨터 시스템(104)을 형성하거나 그 내부에 포함될 수 있고, 컴퓨터 시스템(200)은 도 1a에 도시된 케이블(106)을 통해 통신 인터페이스(246)(아래에 언급됨)를 거쳐 핸드피스(102)에 연결된다. 컴퓨터 시스템(200)은 적어도 하나의 컴퓨터 프로세서(222)("제어기"로도 지칭됨)를 포함한다. 컴퓨터 프로세서(222)는, 예를 들어, 중앙 처리 유닛, 다중 처리 유닛, 주문형 집적 회로("ASIC"), 필드 프로그램가능 게이트 어레이("FPGA") 등을 포함할 수 있다. 프로세서(222)는 통신 기반 구조체(communication infrastructure; 224)(예컨대, 통신 버스, 크로스오버 바 디바이스(cross-over bar device), 또는 네트워크)에 접속된다. 이러한 예시적인 컴퓨터 시스템(200)에 관하여 본 명세서에 다양한 실시예가 기재되지만, 이러한 기재를 읽고 나면, 다른 컴퓨터 시스템 및/또는 구조를 사용하여 본 발명을 어떻게 구현하는지가 당업자에게 명백해질 것이다.

컴퓨터 시스템(200)은 또한 디스플레이 유닛(228) 상에 디스플레이하기 위해 통신 기반 구조체(224)로부터 (또는 프레임 버퍼(도시되지 않음)로부터) 비디오 그래픽, 텍스트 및 다른 데이터를 전송하는 디스플레이 인터페이스(또는 다른 출력 인터페이스)(226)를 포함한다. 본 발명의 하나의 예시적인 실시예에서, 디스플레이 유닛(228)은 디스플레이 유닛(108)을 형성하거나 그 내부에 포함될 수 있고, 통신 기반 구조체(224)는 케이블(110)을 형성하거나 그 내부에 포함될 수 있다. 디스플레이 인터페이스(226)는, 예를 들어 그래픽 처리 유닛을 갖는 비디오 카드 또는 3D 단일 프레임 정보를 계산할 수 있는 비디오 카드를 포함할 수 있다. 특히, 그러한 비디오 카드의 예는 에이티아이(ATI) 또는 엔비디아(NVIDIA) 비디오 카드를 포함할 수 있다.

컴퓨터 시스템(200)은 또한 정보를 컴퓨터 프로세서(222)에 보내기 위해 컴퓨터 시스템(200)의 사용자에 의해 사용될 수 있는 입력 유닛(230)을 포함한다. 예를 들어, 입력 유닛(230)은 키보드 디바이스 및/또는 마우스 디바이스 또는 다른 입력 디바이스를 포함할 수 있다. 하나의 예에서, 디스플레이 유닛(228), 입력 유닛(230), 및 컴퓨터 프로세서(222)는 집합적으로 사용자 인터페이스를 형성할 수 있다.

예를 들어, 터치 스크린을 포함하는 예시적인 실시예에서, 입력 유닛(230)과 디스플레이 유닛(228)은 조합될 수 있다. 그러한 실시예에서, 디스플레이 유닛(228)을 터치하는 조작자는 대응 신호가 디스플레이 유닛(228)으로부터 디스플레이 인터페이스(226)로 송신되게 할 수 있으며, 디스플레이 인터페이스는 이들 신호를 예를 들어 프로세서(222)와 같은 프로세서로 전송할 수 있다.

또한, 컴퓨터 시스템(200)은 바람직하게는 랜덤 액세스 메모리("RAM")인 주 메모리(232)를 포함하고, 또한 보조 메모리(234)를 포함할 수 있다. 보조 메모리(234)는 예를 들어 하드 디스크 드라이브(236) 및/또는 착탈식 저장 드라이브(238)(예컨대, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 드라이브 등)를 포함할 수 있다. 착탈식 저장 드라이브(238)는 주지된 방식으로 착탈식 저장 유닛(240)으로부터 판독하고/판독하거나 이 저장 유닛에 기록한다. 착탈식 저장 유닛(240)은 착탈식 저장 드라이브(238)에 의해 기록되고 판독되는, 예를 들어 플로피 디스크, 자기 테이프, 광학 디스크, 플래시 메모리 디바이스 등일 수 있다. 착탈식 저장 유닛(240)은 컴퓨터 실행가능 소프트웨어 명령어들 및/또는 데이터를 저장하는 비일시적인 컴퓨터 판독가능 저장 매체를 포함할 수 있다.

대안적인 실시예에서, 보조 메모리(234)는 컴퓨터 시스템(200) 내로 로딩될 컴퓨터 실행가능 프로그램들 또는 다른 명령어들을 저장하는 다른 컴퓨터 판독가능 매체를 포함할 수 있다. 그러한 디바이스들은 착탈식 저장 유닛(244) 및 인터페이스(242)(예컨대, 비디오 게임 시스템들과 함께 사용되는 것들과 유사한 프로그램 카트리지 및 카트리지 인터페이스); 착탈식 메모리 칩(예컨대, 소거가능 프로그램가능 판독전용 메모리("EPROM") 또는 프로그램가능 판독전용 메모리("PROM")) 및 관련 메모리 소켓; 및 다른 착탈식 저장 유닛들(244) 및 인터페이스들(242) - 인터페이스들은 소프트웨어 및 데이터가 착탈식 저장 유닛(244)으로부터 컴퓨터 시스템(200)의 다른 부품들로 전송될 수 있게 함 -을 포함할 수 있다.

컴퓨터 시스템(200)은 또한 소프트웨어 및 데이터가 컴퓨터 시스템(200)과 외부 디바이스들 사이에서 전송될 수 있게 하는 통신 인터페이스(246)를 포함할 수 있다. 통신 인터페이스(246)의 예는 모뎀, 네트워크 인터페이스(예컨대, 이더넷(Ethernet) 카드), 통신 포트(예컨대, 범용 직렬 버스("USB") 포트 또는 파이어와이어(FireWire)® 포트), 국제 개인용 컴퓨터 메모리 카드 협회("PCMCIA") 인터페이스 등을 포함한다. 통신 인터페이스(246)를 통해 전송되는 소프트웨어 및 데이터는 신호들의 형태일 수 있는데, 이는 통신 인터페이스(246)에 의해 송신 및/또는 수신될 수 있는 전자, 전자기, 광학 또는 다른 유형의 신호일 수 있다. 신호는 통신 경로(248)(예컨대, 채널)를 통해 통신 인터페이스(246)에 제공된다. 통신 경로(248)는 신호를 운반하고, 와이어 또는 케이블, 광섬유, 전화선, 셀룰러 링크, 무선-주파수("RF") 링크 등을 사용하여 구현될 수 있다. 통신 인터페이스(246)는 컴퓨터 시스템(200)과 원격 서버 또는 클라우드-기반 저장소(도시되지 않음) 사이에서 소프트웨어 또는 데이터를 전송하기 위해 사용될 수 있다.

하나 이상의 컴퓨터 프로그램(컴퓨터 제어 논리로도 지칭됨)이 주 메모리(232) 및/또는 보조 메모리(234) 내에 저장된다. 컴퓨터 프로그램은 또한 통신 인터페이스(246)를 통해 수신될 수 있다. 컴퓨터 프로그램은, 제어기/컴퓨터 프로세서(222)에 의해 실행될 때 컴퓨터 시스템(200)으로 하여금 본 명세서에 기술되고 예를 들어 도 3a 및 도 3b에 도시된 바와 같은 절차를 수행하게 하는 컴퓨터 실행가능 명령어를 포함한다. 따라서, 컴퓨터 프로그램은 컴퓨터 시스템(104) 및 3D 스캐닝 시스템(100)의 다른 구성요소(예컨대, 카메라 유닛(140) 및 디스플레이 유닛(108))를 제어할 수 있다.

본 발명의 하나의 예시적인 실시예에서, 소프트웨어는 비일시적인 컴퓨터 판독가능 저장 매체 내에 저장될 수 있고, 착탈식 저장 드라이브(238), 하드 디스크 드라이브(236) 및/또는 통신 인터페이스(246)를 사용하여 컴퓨터 시스템(200) 내로 로딩될 수 있다. 제어 논리(소프트웨어)는 제어기/컴퓨터 프로세서(222)에 의해 실행될 때 컴퓨터 시스템(200) 및 보다 일반적으로는 3D 스캐닝 시스템(100)이 본 명세서에 기술된 절차를 수행하게 한다.

다른 예시적인 실시예에서, ASIC, FPGA 등과 같은 하드웨어 구성요소가 본 명세서에 기술된 기능을 수행하기 위해 사용될 수 있다. 본 발명의 추가 예시적인 실시예에서, ASIC 또는 FPGA 또는 다른 회로는, 예를 들어, 이미지 압축과 같은 이미지 전처리를 수행하기 위해 카메라 전자기기에서 사용될 수 있다. 본 명세서에 기재된 기능을 수행하기 위한 그러한 하드웨어 배열물의 구현은 이러한 기재를 고려할 때 당업자에게 명백할 것이다.

도 2의 컴퓨터 시스템(200)을 기술하였으므로, 3D 스캐닝 시스템(100)이 이제 도 3 내지 도 10과 관련하여 추가로 기술될 것이다.

도 3a는 본 발명의 예시적인 실시예에 따른 3D 스캔이 수행 중인 물체(50)에 관한 색상 정보를 생성하고 디스플레이하기 위한 공정(300)의 흐름도이다. 공정은 단계(S302)에서 시작된다.

3D 스캔이 수행 중인 물체(50)가 충분한 콘트라스트를 갖지 않으면, 물체(50)에 대응하는 고품질 3D 이미지 데이터를 획득하기 어려울 수 있다. 물체에 충분한 콘트라스트를 제공하기 위하여, 필요하다고 생각되는 경우, 단계(S304)에서 광학 콘트라스트 분말이 물체(50)에 적용될 수 있다.

즉, 대응 3D 이미지 데이터를 획득하기에 충분한 콘트라스트를 제공하기 위해 광학 콘트라스트 분말이 물체(50)에 적용되는 실시예에서, 단계(S304)가 수행된다. 단계(S304)에서, 광학 콘트라스트 분말이 물체(50)에 적용되고, 그리고 보다 구체적으로는, 치과 전문가가 광학 콘트라스트 분말을 물체(50) 상으로 붓으로 바르거나 분무한다. 광학 콘트라스트 분말이 물체(50)에 적용되지 않는 다른 실시예에서, 단계(S304)는 수행되지 않는다.

단계(S304)에서 적용되는 광학 콘트라스트 분말은, 예를 들어 백색, 흑색, 또는 흑색 및 백색 입자들로 구성될 수 있다. 본 발명의 다른 예시적인 실시예에서, 광학 콘트라스트 분말은 복수의 유색 입자들로 구성될 수 있다. 광학 콘트라스트 분말이 하나 초과의 색상(예컨대, 흑색과 백색)의 입자들로 구성될 때, 각각의 색상의 입자들은 상이한 양의 특정한 색상의 광(예컨대, 백색)을 흡수하는 것이 바람직하다. 또한, 광학 콘트라스트 분말이 (예컨대, 흑색과 백색)의 입자들로 구성될 때, 본 발명의 하나의 예시적인 실시예에서, 각각의 입자의 컬러 이미지들이, 입자를 이미징하기 위해 광이 통과하는 컬러 필터의 색상(즉, 적색, 청색 또는 녹색)에 관계없이 유사해 보이는 것이 바람직하다. 또한, 물체(50)의 색상들이 카메라 유닛(140)에 의해 캡처될 수 있도록, 광학 콘트라스트 분말의 입자들이 물체(50)의 표면을 완전히 가리지 않도록 하는 것이 유용할 수 있다. 단계(S304)에서 물체(50)에 적용될 수 있는 광학 콘트라스트 분말의 하나의 예는, 본 명세서에 충분히 기재된 것처럼, 전체적으로 본 명세서에 참고로 포함된 루(Lu) 등에 의한 발명의 명칭이 "3차원 이미징을 위한 콘트라스트 패턴 적용(Contrast Pattern Application For Three-Dimensional Imaging)"인 미국 특허 출원 공개 제2013/0244199호에 개시되어 있다.

3D 스캐닝 시스템(100)은 광학 콘트라스트 분말을 이용하여 정확한 3D 데이터를 획득하고 기준 점들을 제공하여, 핸드피스(102)가 물체(50)를 스캔하기 위해 이동됨에 따라 3D 스캐닝 시스템(100)이 카메라 유닛(140)의 움직임을 보상할 수 있도록 할 수 있다. 3D 스캐닝 시스템(100)이 물체(50)를 스캔할 때 광학 콘트라스트 분말의 입자들이 물체(50)를 완전히 가리지 않도록 하는 것이 유용할 수 있다. 물체(50)가 광학 콘트라스트 분말의 입자들에 의해 완전히 덮이지 않을 때, 물체(50)의 색상(들)에 관한 정보가 3D 스캐닝 시스템(100)에 의해 캡처될 수 있다. 추가적으로, 3D 스캐닝 시스템(100)은 아래에 설명되는 바와 같이, 단계(S322)에서 3D 데이터를 생성하기 위하여 컬러 픽셀 센서 어레이(148)의 제1 부분(142)에 의해 생성된 2D 이미지 데이터를 컬러 픽셀 센서 어레이(148)의 제2 부분(144)에 의해 생성된 2D 이미지 데이터와 상관시키기 위한 기준 마커(reference marker)들로서 광학 콘트라스트 분말의 입자들을 사용할 수 있다.

단계(S306)에서, 물체(50)는 광(119)으로 조명되고 카메라 유닛(140)은 적어도 하나의 이미지를 캡처한다. 예를 들어, 컴퓨터 시스템(104)은 케이블(106)을 통해 핸드피스(102)로 신호들을 전송하는데, 신호들은 카메라 유닛(140)으로 하여금 이미지를 캡처하게 함과 동시에 구동 회로(146)로 하여금 조명 유닛(116)이 (미리 결정된 스트로브 레이트(strobe rate)로) 출력 광(119)을 스트로브하여 물체(50)를 조명하도록 제어하게 한다. 물체(50)가 광(119)(예컨대, 전술된 광의 유형들 중 임의의 유형의 광)으로 조명된 결과로서, 전술된 바와 같이, 핸드피스(102) 내로 다시 반사된 광(121)은 요소들(122, 124, 130, 136, 138)을 통해 전송되고, 카메라 유닛(140)의 제1 부분(142) 및 제2 부분(144)에 의해 캡처된다. (복수의 이미지들이 상기한 방식으로 단계(S306)에서 (각각의 횟수로) 캡처될 수 있다.)

보다 구체적으로, 광(119)이 백색 광인 예시적인 실시예에 따르면, 조명 유닛(116)은 백색 광을 각각 방출하는 LED들(118, 120)을 포함하고, 컴퓨터 시스템(104)은, 구동 회로(146)의 제어 하에서, LED들(118, 120)이 미리 결정된 스트로브 레이트로 백색 광을 스트로브하게 한다. 당연하게는, 전술된 바와 같이, 조명 유닛(116)은 2개의 백색 광-방출 LED들 이외의 LED 배열물들을 포함할 수 있다.

물체(50)가 충분한 콘트라스트를 갖고 있지 않은 것으로 생각되고 (이에 따라 물체(50)에 대응하는 3D 이미지 데이터를 획득하기 어렵게 됨) 광학 콘트라스트 분말이 단계(S304)에서 적용되지 않은 경우에, 단계(S306)는 광이 구조화된 광이도록 광(119)을 투영하는 조명 유닛(116)에 의해 수행될 수 있는데, 구조화된 광은 예를 들어, 랜덤 도트 패턴, 어둡고 밝은 줄무늬 패턴, 또는 유색 줄무늬 패턴과 같은 콘트라스트 향상 특징들을 갖는다. 구조화된 광의 콘트라스트 향상 특징들은 광학 콘트라스트 분말과 유사하게, 기준 점들을 제공하여, 3D 스캐닝 시스템(100)이 그들을 채용하여 카메라 유닛(140)의 움직임을 보상하고, 단계(S322)에 관하여 후술되는 바와 같이, 컬러 픽셀 센서 어레이(148)의 제1 부분(142)에 의해 생성된 2D 이미지 데이터를 컬러 픽셀 센서 어레이(148)의 제2 부분(144)에 의해 생성된 2D 이미지 데이터와 상관시켜 3D 데이터를 생성할 수 있도록 한다.

본 발명의 또 다른 실시예에서, 단계(S304)에서 광학 콘트라스트 분말이 적용되고, 단계(S306)에서 조명 유닛(116)은 물체(50) 상으로 광(119)으로서 구조화된 광을 투영한다.

단계(S308)에서, 3D 스캐닝 시스템(100)의 카메라 유닛(140)은 단계(S306)에서 카메라 유닛(140)의 제1 부분(142) 및 제2 부분(144)에 의해 캡처된 광에 기초하여 물체(50)에 대응하는 2D 컬러 이미지 데이터를 생성한다. 도 4a는, 본 발명의 하나의 예시적인 실시예에서, 카메라 유닛(140)의 컬러 픽셀 센서 어레이(148)의 컬러 필터 어레이(150)의 제1 부분(142) 및 제2 부분(144) 각각에 대해 사용될 수 있는 컬러 필터 어레이(400)의 예시적인 표현을 도시한다. 컬러 필터 어레이(400)는 베이어(Bayer) 패턴에 따라 배열된 복수의 컬러 필터들(CF1 내지 CF64)을 포함한다. 설명의 간략함을 위해, 예시적인 컬러 필터 어레이(400)는 64개의 컬러 필터들만을 포함하지만; 본 발명의 범주로부터 벗어남이 없이 임의의 적합한 개수의 컬러 필터들이 사용될 수 있다.

도 4b는 도 4a에 도시된 컬러 필터 어레이(400)에 사용된 색상들의 예시적인 표현을 도시한다. "R"로 라벨링된 각각의 컬러 필터는 적색 컬러 필터이고; "G"로 라벨링된 각각의 컬러 필터는 녹색 컬러 필터이고; "B"로 라벨링된 각각의 컬러 필터는 청색 컬러 필터이다.

도 5a는, 본 발명의 하나의 예시적인 실시예에서, 컬러 픽셀 센서 어레이(148)의 픽셀 센서 어레이(152)의 제1 부분(142) 및 제2 부분(144) 각각에 대해 사용될 수 있는 픽셀 센서 어레이(500)의 예시적인 표현을 도시한다. 픽셀 센서 어레이(500)는 복수의 픽셀들(P1 내지 P64)을 포함한다. 설명의 간략함을 위해, 픽셀 센서 어레이(500)는 8×8 어레이의 픽셀들, 총 64개의 픽셀들만을 포함하지만; 본 발명의 범주로부터 벗어남이 없이 임의의 적합한 개수의 픽셀들이 사용될 수 있다. 다른 예시적인 실시예에서, 다른 픽셀 센서 어레이 구성들이 대신에 채용되어서, 제1 부분(142) 및 제2 부분(144) 각각에서의 픽셀 센서 어레이(148)가, 예를 들어, 3840×2748 어레이의 픽셀들, 또는 비닝(binning) 모드에서 동작할 수 있고 따라서 1920×1374 해상도 어레이의 픽셀들로서 효과적으로 동작할 수 있는 3840×2748 어레이의 픽셀들, 또는 일부 다른 어레이 구성을 포함하도록 할 수 있다.

컬러 필터 어레이(400)가 픽셀 센서 어레이(500)의 전방에 배열되어 컬러 픽셀 센서 어레이(도시되지 않음)를 형성하여서, 컬러 필터(CF1)를 통과하는 광이 픽셀(P1)을 조명하고, 컬러 필터(CF2)를 통과하는 광이 픽셀(P2)을 조명하고 등등을 하게 한다. 픽셀 센서 어레이(500)의 픽셀들(P1, P2 등)은 하기 방식으로 저장되는 컬러 픽셀 값들을 출력함으로써 광을 조명하는 것에 응답한다.

도 5b는 본 발명의 하나의 예시적인 실시예에서, 도 5a에 도시된 픽셀 센서 어레이(500)에 의해 출력되는 신호들에 대응하는 값들을 저장하기 위해 사용되는 컬러 픽셀 값 저장 어레이(510)의 예시적인 표현을 도시한다. 컴퓨터 시스템(104)은 예를 들어, 주 메모리(232) 및/또는 보조 메모리(234)에 복수의 컬러 픽셀 값 저장 어레이들(510)을 저장할 수 있다.

컬러 픽셀 값 저장 어레이(510)는 컬러 픽셀 값들(CPV1 내지 CPV64)을 포함한다. 컬러 픽셀 값(CPV1)은 픽셀 센서 어레이(500)의 픽셀(P1)에 의해 출력되는 신호의 값이고, 컬러 픽셀 값(CPV2)은 픽셀 센서 어레이(500)의 픽셀(P2)에 의해 출력되는 신호의 값이고, 기타등등이다. 하나의 예시적인 실시예에서, 각각의 컬러 픽셀 값의 데이터 구조는 RGB 포맷의 8-비트 어레이일 수 있거나, 또는 다른 예시적인 실시예에서는 RGB 포맷의 12-비트 어레이, 또는 다른 구성일 수 있다.

카메라 유닛(140)에 의해 획득된 이미지 데이터의 복수의 프레임들 각각에 대해 컬러 픽셀 값들(CPV1 내지 CPV64)을 저장하기 위해 복수의 컬러 픽셀 값 저장 어레이들(510)이 사용된다.

도 9는 단계(S308)에 따라 3D 스캐닝 시스템(100)의 카메라 유닛(140)에 의해 생성되고 컬러 픽셀 값 저장 어레이(510)에 저장되는 예시적인 2D 컬러 이미지를 도시하는데, 여기서 치아들(900, 902)은 골백색(bone-white)이고 잇몸 부분(904)은 분홍색이다.

단계(S308)에서, 컴퓨터 시스템(104)은 복수의 컬러 픽셀 값 저장 어레이들(510)을 사용하여, 예를 들어, 주 메모리(232) 및/또는 보조 메모리(234)에, 단계(S306)에서 카메라 유닛(140)의 제1 부분(144) 및 제2 부분(142)에 의해 획득되는 이미지 데이터의 복수의 프레임들에 대한 컬러 픽셀 값들을 저장한다. 균일한 주파수로 또는 규칙적인 시간 간격으로, 카메라 유닛(140)은 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144)으로부터 케이블(106)을 통해 컴퓨터 시스템(104)으로 신호들을 출력한다. 주파수(프레임 레이트로도 알려짐)는, 예를 들어, 5 내지 90 ㎐의 범위 내에 있을 수 있지만, 이러한 예들이 비제한적이다. 각각의 시간 간격에서, 컴퓨터 시스템(104)은 카메라 유닛(140)으로부터 수신된 신호들에 대응하는 값들을 (예를 들어, 주 메모리(232) 및/또는 보조 메모리(242)에 저장될 수 있는, 컬러 픽셀 값 저장 어레이들(510)에서의) 이미지 데이터의 프레임들로서 저장하고, 이미지 데이터의 각각의 프레임은 신호들이 카메라 유닛(140)에 의해 출력된 (또는 컴퓨터 시스템(104)에 의해 수신된) 시간 또는 프레임들의 상대적 순서를 나타내는 시간 스탬프 또는 순차 번호 정보, 신호들을 제공한 컬러 픽셀 센서 어레이(148)의 부분(예컨대, 제1 부분(142) 또는 제2 부분(144))을 나타내는 센서 식별자, 및 대응 컬러 픽셀 값 저장 어레이(510)의 식별자를 포함한다.

제1 부분(142) 및 제2 부분(144)이 충분히 높은 해상도의 것인 경우에, 그것은 추가적인 처리를 수행하기 전에 제1 부분(142) 및 제2 부분(144)에 의해 출력된 2D 컬러 이미지 데이터를 다운샘플링하는 데에 유용할 수 있다. 하나의 예시적인 실시예에서, 1920×1374 어레이의 컬러 픽셀 값들을 갖는 고해상도 2D 컬러 이미지 데이터는 960×687 어레이의 컬러 픽셀 값들을 갖는 더 낮은 해상도 2D 이미지 컬러 데이터로 다운샘플링될 수 있다.

다운샘플링이 요구될 때, 컴퓨터 시스템(104)은 단계(S308)에서 제1 부분(142) 및 제2 부분(144)에 의해 제공된 신호들로부터 생성된 2D 컬러 이미지 데이터를 (단계(S310)에서) 다운샘플링한다. 본 발명의 예시적인 실시예에 따른 컬러 픽셀 값들의 다운샘플링은 후술되는 도 5b 내지 도 7b를 참조하여 설명될 것이다.

위에서 논의된 바와 같이, 도 5b는 컬러 픽셀 값 저장 어레이(510)의 예시적인 표현을 도시하고, 컴퓨터 시스템(104)은 컬러 이미지 데이터의 프레임들 내에서, 복수의 컬러 픽셀 값 저장 어레이들(510)을 사용하여, 제1 부분(142) 및 제2 부분(144)에 의해 생성된 신호들의 값들을 주 메모리(232) 및/또는 보조 메모리(234)에 저장한다.

도 6a를 참조하면, 그 도면은 단계(S310)에서 컴퓨터(104)에 의해 수행된 다운샘플링 공정을 개념적으로 설명하기 위해 본 발명에서 사용되는 가상 컬러 필터 어레이(600)의 예시적인 표현을 도시한다. 가상 컬러 필터 어레이(600)는 베이어 패턴에 따라 배열된 복수의 컬러 필터들(CF1 내지 CF16)을 포함한다. 설명의 간략함을 위해, 예시적인 컬러 필터 어레이(600)는 16개의 컬러 필터들만을 포함하지만; 본 발명의 범주로부터 벗어남이 없이 임의의 적합한 개수의 컬러 필터들이 사용될 수 있다.

도 6b는 도 6a에 도시된 가상 컬러 필터 어레이(600)의 대응 위치들에 사용된 색상들의 일례를 도시한다. "R"로 라벨링된 각각의 컬러 필터는 적색 컬러 필터이고; "G"로 라벨링된 각각의 컬러 필터는 녹색 컬러 필터이고; "B"로 라벨링된 각각의 컬러 필터는 청색 컬러 필터이다.

도 7a는 단계(S310)에서 컴퓨터(104)에 의해 수행된 다운샘플링 공정을 개념적으로 설명하기 위해 본 발명에서 사용되는 가상 컬러 픽셀 센서 어레이(700)의 예시적인 표현을 도시한다. 가상 컬러 픽셀 센서 어레이(700)는 복수의 픽셀들(P1 내지 P16)을 포함한다. 설명의 간략함을 위해, 컬러 픽셀 센서 어레이(700)는 16개의 픽셀들만을 포함하지만; 본 발명의 범주로부터 벗어남이 없이 임의의 적합한 개수의 픽셀들이 사용될 수 있다. 전술된 컬러 필터 어레이(600)의 컬러 필터들(CF1 내지 CF16)은 각각 가상 컬러 픽셀 센서 어레이(700)의 픽셀들(P1 내지 P16)에 대응한다.

도 7b는 도 7a에 도시된 가상 컬러 픽셀 센서 어레이(700)의 픽셀들에 대응하는 값들을 저장하기 위해 사용되는 컬러 픽셀 값 저장 어레이(710)의 예시적인 표현을 도시한다. 컬러 픽셀 값 저장 어레이(710)는 컬러 픽셀 값들(CPV1 내지 CPV16)을 포함한다. 컬러 픽셀 값 저장 어레이(710)의 컬러 픽셀 값들(CPV1 내지 CPV16)은 각각 가상 컬러 픽셀 센서 어레이(700)의 픽셀들(P1 내지 P16)에 대응한다. 도 6a, 도 6b 및 도 7a는 각각, 단계(S310)의 다운샘플링 공정을 개념적으로 설명할 목적으로, 가상 컬러 필터 어레이(600), 가상 컬러 필터 어레이(600)의 색상들, 및 가상 컬러 픽셀 센서 어레이(700)의 예시적인 표현들을 도시하는 한편, 도 7b에 도시된 컬러 픽셀 값 저장 어레이(710)는 추가로 후술되는 바와 같이, 단계(S310)의 다운샘플링 공정의 출력을 저장하기 위한 실제 데이터 구조의 일례를 도시한다.

단계(S310)에서, 컴퓨터 시스템(104)은 복수의 컬러 픽셀 값 저장 어레이들(710)을 사용하여, 컴퓨터 시스템(104)에 의해 저장된 컬러 이미지 데이터의 복수의 프레임들에 대한 다운샘플링된 컬러 픽셀 값들(CPV1 내지 CPV16)을 저장한다. 컴퓨터 시스템(104)은 예를 들어, 컴퓨터 시스템(200)의 주 메모리(232) 및/또는 보조 메모리(234)에 복수의 컬러 픽셀 값 저장 어레이들(710)을 저장할 수 있다. 하나의 예시적인 실시예에서, 각각의 컬러 픽셀 값의 데이터 구조는 YUV 포맷의 어레이일 수 있는데, 이는 종종 RGB 포맷으로 저장된 컬러 픽셀 값의 어레이 크기보다 더 작은 어레이 크기를 갖는다.

하기의 예에서, 도 6a에 도시된 컬러 필터들(CF1 내지 CF16)이 각각 도 7a에 도시된 픽셀들(P1 내지 P16)에 대응한다고 가정한다. 추가적으로, 도 7a에 도시된 픽셀들(P1 내지 P16)이 각각 도 7b에 도시된 컬러 픽셀 값들(CPV1 내지 CPV16)에 대응한다고 가정한다.

또한, 어구 "적색 픽셀 값"은 도 4b에 도시된 적색 컬러 필터를 통과한 광에 의해 조명되는 도 5a에 도시된 픽셀에 대응하는 도 5b에 도시된 컬러 픽셀 값을 지칭하기 위해 사용될 것이다. 어구 "녹색 픽셀 값"은 도 4b에 도시된 녹색 컬러 필터를 통과한 광에 의해 조명되는 도 5a에 도시된 픽셀에 대응하는 도 5b에 도시된 컬러 픽셀 값을 지칭하기 위해 사용될 것이다. 어구 "청색 픽셀 값"은 도 4b에 도시된 청색 컬러 필터를 통과한 광에 의해 조명되는 도 5a에 도시된 픽셀에 대응하는 도 5b에 도시된 컬러 픽셀 값을 지칭하기 위해 사용될 것이다.

컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510)에 저장된 컬러 픽셀 값들의 평균들을 계산하고, 계산된 평균들을 컬러 픽셀 값 저장 어레이(710)에 저장한다. 본 발명의 예시적인 실시예에 따르면, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510)에 포함된 컬러 픽셀 값들 중 16개 컬러 픽셀 값들의 그룹들 내에서의 평균들을 계산하고, 계산된 평균들을 컬러 픽셀 값 저장 어레이(710)에 저장한다. 보다 구체적으로, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510)의 16개 컬러 픽셀 값들의 각각의 그룹에 포함된 4개의 적색 픽셀 값들의 평균을 계산하고, 계산된 평균을 컬러 픽셀 값 저장 어레이(710) 내의 4개의 컬러 픽셀 값들의 대응 그룹의 적색 픽셀 값에 저장한다. 추가적으로, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510)의 16개 컬러 픽셀 값들의 각각의 그룹에 포함된 8개의 녹색 픽셀 값들의 평균을 계산하고, 계산된 평균을 컬러 픽셀 값 저장 어레이(710) 내의 4개의 컬러 픽셀 값들의 대응 그룹의 2개의 녹색 픽셀 값들에 저장한다. 또한, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510)의 16개 컬러 픽셀 값들의 각각의 그룹에 포함된 4개의 청색 픽셀 값들의 평균을 계산하고, 계산된 평균을 컬러 픽셀 값 저장 어레이(710) 내의 4개의 컬러 픽셀 값들의 대응 그룹의 청색 픽셀 값에 저장한다.

컬러 픽셀 값 저장 어레이(510)의 16개 컬러 픽셀 값들의 하나의 그룹을 컬러 픽셀 값 저장 어레이(710) 내의 4개의 컬러 픽셀 값들의 하나의 그룹으로 다운샘플링하기 위한 공정의 일례가 도 5b 및 도 7b를 참조하여 설명될 것이다. 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510) 내의 적색 컬러 픽셀 값들(CPV1, CPV3, CPV17, CPV19)의 평균을 계산하고, 평균을 컬러 픽셀 값 저장 어레이(710)의 적색 컬러 픽셀 값(CPV1)에 저장한다. 컴퓨터 시스템(104)은 또한 컬러 픽셀 값 저장 어레이(510) 내의 녹색 컬러 픽셀 값들(CPV2, CPV4, CPV9, CPV11, CPV18, CPV20, CPV25, CPV27)의 평균을 계산하고, 평균을 컬러 픽셀 값 저장 어레이(710)의 녹색 컬러 픽셀 값들(CPV2, CPV5)에 저장한다. 추가적으로, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510) 내의 청색 컬러 픽셀 값들(CPV10, CPV12, CPV26, CPV28)의 평균을 계산하고, 평균을 컬러 픽셀 값 저장 어레이(710)의 청색 컬러 픽셀 값(CPV6)에 저장한다. 이어서, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(510) 내의 16개 컬러 픽셀 값들의 모든 다른 그룹에 대해 유사한 다운샘플링 공정을 반복한다. 다운샘플링이 단계(S310)에서 수행된 후에, 컬러 픽셀 값 저장 어레이(510)에 저장되는 제1 및 제2 부분들(142, 144)로부터의 정밀(fine) 2D 컬러 이미지 데이터는 컬러 픽셀 값 저장 어레이(710)에 저장되는 비정밀(coarse) 2D 컬러 이미지 데이터로 변환된다.

상기의 다운샘플링 공정의 하나의 이점은, 픽셀 센서 어레이(500)의 픽셀들(이는 적어도 하나의 예에서 도 1a 및 도 1b에 도시된 제1 및 제2 부분들(142, 144)에 대해 사용됨)이 각각의 영역에서 균일하게 이격되어 있기 때문에, 다운샘플링된 컬러 이미지 데이터가 색상 정보를 보존할 뿐만 아니라 각각의 영역에서의 이미지 정보 손실을 최소화한다는 것이다. 다른 예시적인 실시예에서, 제어가 단계(S308)로부터 단계들(S312, S320)로 곧장 넘어가는 경우에 (그리고 후술되는 바와 같이, 단계(S308)에서 생성된 2D 컬러 이미지 데이터가 단계(S312)에 의해, 단계(S314)에서 수행되는 색상 계산에 제공되는 경우에), 다운샘플링(단계(S310))이 수행되지 않는다.

단계(S312)에서, 컴퓨터 시스템(104)은 색상 정보를 색상 계산 단계(단계(S314))에 제공한다. 예를 들어, 다운샘플링이 단계(S310)에서 수행되었다면, 색상 정보는 단계(S310)에서 생성된 다운샘플링된 2D 컬러 이미지 데이터를 포함한다. 다운샘플링이 수행되지 않았다면(즉, 단계(S310)가 수행되지 않았다면), 단계(S312)에서 제공되는 색상 정보는 단계(S308)에서 생성된 2D 컬러 이미지 데이터를 포함한다.

단계(S314)에서, 컴퓨터 시스템(104)은 단계(S312)에서 제공된 색상 정보를 사용하여 색상 계산을 수행하여 계산된 색상 정보를 생성한다. 하나의 예시적인 실시예에서, 계산된 색상 정보는 단계(S314)에서, 예를 들어, 공지된 디모자이크(demosaicing) 기법들을 이용하여 모자이크(mosaic) 컬러 픽셀 정보를 트루 컬러(true color) 정보로 변환함으로써 생성된다.

본 발명의 추가 예시적인 실시예에서, 단계(S314)는 추가적으로 다음과 같은 계산된 색상 정보의 색상 보정을 수행하기 위한 하위단계를 포함할 수 있다. 예를 들어, 광학 콘트라스트 분말이 단계(S304)에서 물체(50)에 적용되는 경우에, 광학 콘트라스트 분말의 입자들은 이들이 적용되는 물체(50)의 부분들을 가린다. 따라서, 단계(S314)에서 전술된 바와 같이 생성되는 계산된 색상 정보의 적어도 일부 픽셀들은 물체(50)를 코팅하는 콘트라스트 분말 입자로부터, 적어도 부분적으로, 반사된 광에 대응한다. 그러한 픽셀들은 물체(50)의 색상을 정확하게 나타내지 못할 수 있으므로, 영향받은 픽셀들로 여겨진다. 색상 보정을 수행하기 위하여, 컴퓨터 시스템(104)은 먼저, 예를 들어, 계산된 색상 정보의 픽셀들의 이웃들의 색 분포를 통계적으로 분석함으로써, 영향받은 픽셀들을 식별한다(이웃은 예를 들어, 픽셀들의 n×m 서브세트로서 정의될 수 있다). 예를 들어, 픽셀들의 이웃 중에서 로우 및 하이 픽셀 값들은 각각, 흑색 및 백색 콘트라스트 분말 입자들이 사용되는 경우 그러한 입자들에 의해 영향을 받은 픽셀들에 대응할 수 있다. 일단 영향받은 픽셀들이 식별되었다면, 컴퓨터 시스템(104)은 (각각의 영향받은 픽셀에 대해) 영향받은 픽셀의 픽셀 값을 광학 콘트라스트 분말 입자로부터 반사된 광에 대응하지 않는 적어도 하나의 이웃 픽셀(즉, 영향받지 않은 픽셀)의 픽셀 값으로 대체한다. 본 발명의 다른 예시적인 실시예에서, 영향받은 픽셀의 픽셀 값은 이웃 픽셀들의 통계적 표현, 예를 들어, 이웃 픽셀들의 중간 픽셀 값에 의해 대체될 수 있다. 적어도 일부 경우에, 상기한 방식으로 보정되는 계산된 색상 정보는 물체(50)의 외관을 보다 정확하게 나타낼 수 있다.

단계(S314) 후에, 제어는 후술되는 단계(S324)로 넘어간다. 그 단계를 기술하기 전에, 단계들(S320, S322)이 먼저 기술될 것이다. 단계(S312)와 유사하게, 단계(S320)는, 단계(S310)가 수행된 후에, 또는 단계(S310)가 수행되지 않은 경우에는 단계(S308)가 수행된 후에 수행된다.

단계(S320)에서, 단계(S310)에서 생성된 다운샘플링된 2D 컬러 이미지 데이터(또는 단계(S310)이 수행되는 않은 경우, 단계(S308)에서 생성된 2D 컬러 이미지 데이터)는 본 명세서에서 후술되는 적어도 하나의 예시적인 실시예에 따라 2D 단색 이미지 데이터로 변환된다. 도 8은 컴퓨터 시스템(104)이 카메라 유닛(140)에 의해 획득된 컬러 이미지 데이터의 각각의 프레임에 대해 단색 픽셀 값들을, 예를 들어, 주 메모리(232) 및/또는 보조 메모리(234)에 저장하기 위해 사용할 수 있는 단색 픽셀 값 저장 어레이(800)의 예시적인 표현을 도시한다. 아래에 설명되는 바와 같이, 컴퓨터 시스템(104)은 복수의 단색 픽셀 값 저장 어레이들(800)에 저장된 2D 단색 이미지 데이터를 처리하여 대응 3D 데이터를 생성한다. 하나의 예시적인 실시예에서, 각각의 단색 픽셀 값의 데이터 구조는 8-비트 어레이일 수 있거나, 또는 다른 예시적인 실시예에서는 12-비트 어레이일 수 있다.

본 발명의 하나의 예시적인 실시예에 따르면(이후, 편의상 "가중 평균 계산"으로도 지칭됨), 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(710)에 저장된 컬러 픽셀 값들의 가중 평균들을 계산하여, 이후에 대응 단색 픽셀 값 저장 어레이(800)에 저장되는 단색 픽셀 값들을 생성함으로써 단계(S320)를 수행한다. 보다 구체적으로, 하나의 예에서, 컴퓨터 시스템(104)은 단계(S310)(또는 단계(S310)가 수행되지 않은 경우, 단계(S308))에서 생성되는 컬러 픽셀 값 저장 어레이(710)에 저장된 이웃 컬러 픽셀 값들의 미리 결정된 그룹들의 가중 평균들을 계산하여, 도 8에 도시된 대응 단색 픽셀 값 저장 어레이(800)에 저장되는 단색 픽셀 값들을 생성한다. 각각의 단색 픽셀 값은 컬러 픽셀 값 저장 어레이(710) 내의 이웃 컬러 픽셀 값들의 그룹 - 이로부터 단색 픽셀 값이 계산됨 - 의 위치에 대응하는 단색 픽셀 값 저장 어레이(800) 내의 위치에 저장된다. 본 발명의 하나의 예시적인 실시예에서, 이웃 컬러 픽셀 값들의 각각의 그룹은 동일한 비율의 적색 컬러 픽셀 값들, 녹색 컬러 픽셀 값들, 및 청색 컬러 픽셀 값들을 포함한다

예를 들어, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(710)의 상부 좌측 코너에 대응하는 이웃 컬러 픽셀 값들(즉, CPV1, CPV2, CPV5, CPV6)의 가중 평균을 계산하고, 가중 평균을 대응 단색 픽셀 값 저장 어레이(800)의 상부 좌측 코너(즉, MPV1)에 저장한다. 추가적으로, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(710)의 상부 우측 코너에 대응하는 이웃 컬러 픽셀 값들(즉, CPV3, CPV4, CPV7, CPV8)의 가중 평균을 계산하고, 가중 평균을 대응 단색 픽셀 값 저장 어레이(800)의 상부 우측 코너(즉, MPV2)에 저장한다. 또한, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(710)의 하부 좌측 코너에 대응하는 이웃 컬러 픽셀 값들(즉, CPV9, CPV10, CPV13, CPV14)의 가중 평균을 계산하고, 가중 평균을 대응 단색 픽셀 값 저장 어레이(800)의 하부 좌측 코너(즉, MPV3)에 저장한다. 게다가, 컴퓨터 시스템(104)은 컬러 픽셀 값 저장 어레이(710)의 하부 우측 코너에 대응하는 이웃 컬러 픽셀 값들(즉, CPV11, CPV12, CPV15, CPV16)의 가중 평균을 계산하고, 가중 평균을 대응 단색 픽셀 값 저장 어레이(800)의 하부 우측 코너(즉, MPV4)에 저장한다. 이웃 컬러 픽셀 값들의 상기한 그룹들 각각은 색상에 따라 동일한 비율로 4개의 컬러 픽셀 값들: 하나의 적색 컬러 픽셀 값, 2개의 녹색 컬러 픽셀 값들, 및 하나의 청색 컬러 픽셀 값을 포함하지만, 이러한 예는 비제한적이다.

보다 구체적으로, 컴퓨터 시스템(104)은 적색 컬러 픽셀 값들, 녹색 컬러 픽셀 값들, 및 청색 컬러 픽셀 값들이 대응 단색 픽셀 값에 동일하게 기여하도록 본 실시예에 따라 이웃 컬러 픽셀 값들의 가중 평균들을 계산한다. 예를 들어, 픽셀 값 저장 어레이(710)의 상부 좌측 코너에 대응하는 컬러 픽셀 값들의 가중 평균은 적색 컬러 픽셀 값(CPV1)의 3분의 1, 2개의 녹색 컬러 픽셀 값들(CPV2, CPV5)의 평균의 3분의 1, 및 청색 컬러 픽셀 값(CPV6)의 3분의 1의 합(즉, (1/3 * CPV1 + 1/3 * ((CPV2+CPV5) / 2) + 1/3 * CPV6)으로서 계산될 수 있다.

본 발명의 다른 예시적인 실시예에서, 단계(S320)에 대해 전술된 가중 평균 계산을 수행하는 것 대신에, 컴퓨터 시스템(104)은, 단계(S310)에서 생성되고 예를 들어, 컬러 픽셀 값 저장 어레이(710)에 저장된 다운샘플링된 2D 컬러 이미지 데이터(또는 단계(S310)가 수행되지 않은 경우, 단계(S308)에서 생성되고 예를 들어, 컬러 픽셀 값 저장 어레이(510)에 저장된 2D 컬러 이미지 데이터)에 콘트라스트-향상 단색 변환 알고리즘을 적용하여, 대응 단색 픽셀 값 저장 어레이(800)에 저장되는 단색 픽셀 값들을 생성함으로써 단계(S320)를 수행한다. 콘트라스트-향상 단색 변환 알고리즘은 높은 콘트라스트 2D 단색 이미지 데이터를 생성하기 위해 (그리고 그것을 단색 픽셀 값 저장 어레이(800)에 저장하기 위해) (컬러 픽셀 값 저장 어레이(710)에 저장된) 다운샘플링된 2D 컬러 이미지 데이터에서의 색채 차이(chromatic difference)들을 고려하는데, 여기서 색채 차이들은 가중 평균 계산을 이용하는 전술된 실시예에서는 달리 사용되지 않을 것이다. 단계(S320)의 이 실시예에 사용될 수 있는 예시적인 콘트라스트-향상 단색 변환 알고리즘들은, 본 명세서에 충분히 기재된 것처럼, 전체적으로 본 명세서에 참고로 포함된, 문헌[publication by M. Grundland et al., entitled "Decolorize: Fast, contrast enhancing, color to grayscale conversion," Pattern Recognition, Volume 40, Issue 11, 2007, pp. 2891-2896], 및 문헌[the publication by M. Qiu et al., entitled "Contrast Maximizing and Brightness Preserving Color to Grayscale Image Conversion," CGIV2008, 4th European Conference on Colour in Graphics, Imaging, and Vision, Final Program and Proceedings, 2008, pp. 347-351]에 기술되어 있다.

보다 구체적으로, 이 실시예에서, 컴퓨터 시스템(104)은 하나의 예시적인 실시예에서, 전술된 바와 같은 콘트라스트-향상 단색 변환 알고리즘을, 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144) 각각에 의해 단계(S310)에서 생성된 2D 컬러 이미지 데이터의 각각의 프레임에 대해 적용하여, 높은 콘트라스트 2D 단색 이미지 데이터의 대응 프레임을 생성함으로써 단계(S320)를 수행한다.

본 발명의 또 다른 예시적인 실시예에서(그리고 단계(S320)에 대한 콘트라스트-향상 단색 변환 알고리즘을 상기한 방식으로 2D 컬러 이미지 데이터의 각각의 프레임에 대해 수행하는 것 대신에), 컴퓨터 시스템(104)은 단계(S320) 이전 어느 때에 콘트라스트-향상 단색 변환 알고리즘을 2D 컬러 이미지 데이터의 미리 결정된 훈련 데이터 세트에 대해 적용하여 표준 콘트라스트 향상 변환 함수를 생성한다. 데이터의 미리 결정된 훈련 세트는, 예를 들어, 카메라(140)에 의해 이전에 캡처된 2D 컬러 이미지 데이터 또는 사용자-설계된, 인공적으로 생성된 2D 컬러 이미지 데이터일 수 있다. 이어서, 단계(S320)에서, 컬러 픽셀 센서 어레이(148)의 제1 부분(142) 및 제2 부분(144) 각각에 의해 단계(S310)에서 생성된 2D 컬러 이미지 데이터의 각각의 프레임은 전술된 가중 평균 계산에 의해 2D 단색 이미지 데이터의 프레임으로 변환되고, 표준 콘트라스트 향상 변환 함수는 2D 단색 이미지 데이터의 각각의 프레임에 적용되어 높은 콘트라스트 2D 단색 이미지 데이터의 대응 프레임을 생성한다. 단계(S320) 이전에 콘트라스트-향상 단색 변환 알고리즘을 2D 컬러 이미지 데이터의 미리 결정된 훈련 데이터 세트에 대해 적용함으로써, 전술된 바와 같이 단계(S320) 동안 콘트라스트-향상 단색 변환 알고리즘을 2D 컬러 이미지 데이터의 각각의 프레임에 적용하는 것보다 덜 계산 집약적인 방식으로 단계(S320)에서 높은 콘트라스트 2D 단색 이미지 데이터가 생성될 수 있다.

본 발명의 또 다른 예시적인 실시예에 따르면, 전술된 바와 같이 단계(S320)에 대한 가중 평균 계산 또는 콘트라스트-향상 단색 변환 알고리즘 중 어느 것을 수행하는 것 대신에, 컴퓨터 시스템(104)은 색상 감소(color reduction) 공정을 수행하여, 하나의 컬러 필터 유형(예컨대, 적색, 녹색 또는 청색)에 대응하는 단계(S310)로부터의 다운샘플링된 2D 컬러 이미지 데이터(또는, 단계(S310)가 수행되지 않은 경우, 단계(S308)로부터의 2D 컬러 이미지 데이터)의 컬러 픽셀 값들을 선택하여 2D 단색 이미지 데이터를 생성함으로써 단계(S320)에서 2D 단색 이미지 데이터를 생성한다.

특히, 색상 감소 공정을 수행하는 하나의 방법은, 단계(S310)로부터의 다운샘플링된 2D 컬러 이미지 데이터의 적색 컬러 픽셀 값들만을 선택하는 단계 및 그러한 적색 컬러 픽셀 값들을 2D 단색 이미지 데이터에서의 대응 위치에 저장하는 단계를 포함한다. 예를 들어, 2D 단색 이미지 데이터는, 컬러 픽셀 값 저장 어레이(710)의 적색 컬러 픽셀 값(CPV1)을 단색 픽셀 값 저장 어레이(800)의 MPV1에 저장하고, 컬러 픽셀 값 저장 어레이(710)의 적색 컬러 픽셀 값(CPV3)을 단색 픽셀 값 저장 어레이(800)의 MPV2에 저장하고, 컬러 픽셀 값 저장 어레이(710)의 적색 컬러 픽셀 값(CPV9)을 단색 픽셀 값 저장 어레이(800)의 MPV3에 저장하고, 그리고 컬러 픽셀 값 저장 어레이(710)의 적색 컬러 픽셀 값(CPV11)을 단색 픽셀 값 저장 어레이(800)의 MPV4에 저장함으로써, 컬러 픽셀 값 저장 어레이(710)에 저장된 단계(S310)의 다운샘플링된 2D 컬러 데이터로부터 전술한 방식으로 도출될 수 있지만, 이러한 예는 비제한적이다. 유사하게, 2D 단색 이미지 데이터는 또한 유사한 방식으로 녹색 컬러 픽셀 값들 또는 청색 컬러 픽셀 값들만을 선택함으로써 도출될 수 있다.

단계(S322)가 이제 기술될 것이다. 단계(S322)에서, 3D 스캐닝 시스템(100)은 단계(S320)에서 생성된 2D 단색 이미지 데이터를 사용하여 대응 3D 데이터를 생성한다. 3D 데이터의 데이터 구조는 점군(point cloud), 즉, 3D 공간 내의 좌표들의 세트, 또는 3D 다각형 메시일 수 있지만, 이러한 예들은 비제한적이다. 다운샘플링이 단계(S310)에서 수행되는 경우에, 이어서 단계(S322)에서, 카메라 유닛(140)이 단계(S308)에서 2D 컬러 이미지 데이터를 생성하는 각각의 시간 인스턴스에 대해, 컴퓨터 시스템(104)은, (a) 컬러 픽셀 센서 어레이(148)의 제1 부분(142)에 대해 단계(S310)에서 생성된 이미지 데이터의 다운샘플링된 프레임에 대응하는 단계(S320)에서 생성된 단색 픽셀 값 저장 어레이(800) 내에 포함된 데이터, 및 (b) 컬러 픽셀 센서 어레이(148)의 제2 부분(144)에 대해 단계(S310)에서 생성된 이미지 데이터의 다운샘플링된 프레임에 대응하는 단계(S320)에서 생성된 단색 픽셀 값 저장 어레이(800) 내에 포함된 데이터를 사용하여 3D 데이터의 대응 프레임을 생성한다. 다운샘플링이 단계(S310)에서 수행되지 않은 경우에, 이어서 단계(S322)에서, 카메라 유닛(140)이 단계(S308)에서 2D 컬러 이미지 데이터를 생성하는 각각의 시간 인스턴스에 대해, 컴퓨터 시스템(104)은, (a) 컬러 픽셀 센서 어레이(148)의 제1 부분(142)에 의해 단계(S308)에서 생성된 이미지 데이터의 프레임에 대응하는 단계(S320)에서 생성된 단색 픽셀 값 저장 어레이(800) 내에 포함된 데이터, 및 (b) 컬러 픽셀 센서 어레이(148)의 제2 부분(144)에 의해 단계(S308)에서 생성된 이미지 데이터의 프레임에 대응하는 단계(S320)에서 생성된 단색 픽셀 값 저장 어레이(800) 내에 포함된 데이터를 사용하여 3D 데이터의 대응 프레임을 생성한다.

예를 들어, 단계(S322)에서, 컴퓨터 시스템(104)은 2D 단색 이미지 데이터의 프레임들의 쌍들에 대해 디포커싱(defocusing), 입체, 교차-상관, SIFT(Scale Invariant Feature Transform), 및 SURF(Speeded Up Robust Feature) 기법들과 같은 공지된 스테레오 대응 정합 방법들을 수행함으로써 3D 데이터를 생성할 수 있다. 하나의 예에서, 스테레오 대응 정합 방법들은 2D 단색 이미지 데이터의 프레임들의 쌍들에서의 대응 특징들을 식별하고 상관시킴으로써 3D 데이터를 생성하는데, 여기서 그러한 대응 특징들은, 적용 가능한 경우, 단계(S304)에서 물체(50)에 적용되는 광학 콘트라스트 분말, 단계(S306)에서 조명 유닛(116)에 의해 물체(50) 상으로 투영되는 구조화된 광의 특징들, 및 캡처된 이미지들에서의 미리 결정된 특징들(여기서 미리 결정된 특징들은 물체(50)의 특징들을 나타냄) 중 적어도 하나에 의해 제공될 수 있다. 2개의 2D 이미지들로부터 3D 데이터를 도출하는 하나의 예는 전체적으로 본 명세서에 참고로 포함된, 발명의 명칭이 "3차원 이미징 시스템(Three-Dimensional Imaging System)"인 WO 2012/030357에 개시되어 있다.

단계(S324)가 이제 기술될 것이다. 단계(S324)에서, 컴퓨터 시스템(104)은 2D 컬러 이미지 데이터로부터 도출된 다양한 유형의 색상 정보(예컨대, 계산된 색상 정보, 또는 보다 구체적으로, 단계(S314)에서 생성되는 트루 컬러 정보) 및 단계(S322)에서 생성된 3D 데이터를 조합함으로써 3D 컬러 이미지 데이터를 생성한다. 예를 들어, 컴퓨터 시스템(104)은 하나 이상의 맵핑 방법들, 예를 들어, 본 명세서에 충분히 기재된 것처럼, 전체적으로 본 명세서에 참고로 포함된 문헌[publication by P. Shirley, entitled "Fundamentals of Computer Graphics," A K Peters / CRC Press, 2009, pp. 252-253]에 기술된 맵핑 방법을 채용함으로써 물체(50)의 3D 컬러 이미지 데이터를 생성할 수 있다. 이러한 예시적인 실시예에 따르면, 컴퓨터 시스템(104)은 먼저 단계(S314)에서 생성된 계산된 색상 정보를 좌표계, 예컨대 (u,v)와 연관시켜 색상 정보 텍스처 맵을 생성한다. 컴퓨터 시스템(104)은 또한 단계(S322)에서 생성된 3D 데이터를 펼쳐서(unwrap) 꼭짓점, 모서리 및 면을 갖는 2D 다각형 메시를 생성한다. 이어서, 컴퓨터 시스템(104)은 2D 다각형 메시를 텍스처 맵 상에 정렬하고 (u,v) 좌표들을 메시의 꼭짓점들에 배정한다. 이어서, 배정된 (u,v) 좌표들을 갖는 2D 다각형 메시는 언텍스처드(untextured) 3D 모델로 재조립되고, 3D 컬러 이미지 데이터는 모델의 꼭짓점들에 배정되는 (u,v) 좌표들에 기초하여 언텍스처드 3D 모델 상에 색상 정보 텍스처 맵의 픽셀들을 오버레이시킴으로써 생성된다. 당연히, 다른 적합한 유형의 맵핑이 대신에 채용될 수 있다.

단계(S326)에서, 3D 스캐닝 시스템(100)은 단계(S324)에서 생성된 3D 컬러 이미지 데이터를 디스플레이 유닛(108) 상에 디스플레이한다. 도 10은 단계(S326)에 따라 3D 스캐닝 시스템(100)에 의해 디스플레이 유닛(108) 상에 디스플레이되는 3D 컬러 이미지 데이터의 하나의 예를 도시하는데, 여기서 치아의 연삭된 부분(1000), 변연 부위(1002), 및 치아의 본래 그대로의 부분(1004)은 골백색이고, 잇몸 부분(1006)은 분홍색이다.

공정(300)은 단계(S328)에서 종료된다. 상기한 것을 고려하여, 이해할 수 있는 바와 같이, 전술된 절차(300)를 이용하여 이미지들을 캡처하고 그들을 처리함으로써, 3D 컬러 이미지 데이터가 조작자에게 제시될 수 있다.

따라서, 3D 스캐닝 시스템(100)은 치과 전문가가 임상적으로 관련된 영역과 불필요한 영역 사이를 구별하는 것을 돕기 위해 카메라 유닛(140)의 관점에서 컬러 비디오로서 실시간으로 색상 정보를 캡처하고 디스플레이할 수 있다. 예를 들어, 3D 스캐닝 시스템(100)에 의해 제공되는 실시간 컬러 비디오는 치과 전문가가 환자의 잇몸 및 치아들을 혀 및 뺨과 같은 다른 해부학적 구조들로부터 구별하는 것을 도울 수 있다. 추가적으로, 3D 스캐닝 시스템(100)에 의해 제공되는 실시간 컬러 비디오는 치과 전문가가 치아의 연삭된 부분과 치아의 본래 그대로의 부분 사이의 임상적으로 관련된 변연 부위를 식별하는 것을 돕고, 이에 따라 변연 부위에 대한 치과용 크라운의 최적의 제조 및 배치를 가능하게 할 수 있다. 또한, 3D 스캐닝 시스템(100)은 3D 스캔을 수행하는 치과 전문가에게 생생하고 실감나는 시각적 피드백을 제공하기 위해 물체(50)의 색상 정보가 3차원으로 스캔되게 할 수 있고 스캐닝 공정을 더 쉽게 할 수 있다. 또한, 3D 스캐닝 시스템(100)은 적어도 단계(S320)에 의하여 정밀한 3D 모델을 생성할 수 있는데, 이는 색상 정보를 감소시키고 그리고 이에 따라 3D 모델이 생성되는 데이터의, 광학 회절 및 색수차로부터 발생하는 부정확성도 감소시킨다.

본 발명의 다른 예시적인 실시예에서, 3D 스캐닝 시스템(100)은 도 3a를 참조하여 공정(300)에서 전술된 3D 스캔 모드, 2D 이미징 모드, 및 2D 이미지 기록을 위해 최적화된 3D 스캔 모드를 포함하지만 이로 한정되지 않는 복수의 동작 모드들을 포함한다. 본 발명의 하나의 예시적인 실시예에서, 3D 스캐닝 시스템(100)은 동작 모드들 사이를 전환하도록 동작 가능하고, 그리고 보다 구체적으로는, 실시간으로 동작 모드들 사이를 전환하도록 동작가능하다. 3D 스캐닝 시스템(100)은 사용자 제어에 의해 (예컨대, 도 2에 도시된 입력 유닛(230) 또는 도 1a에 도시된 스위치(154)를 통해) 또는 컴퓨터 시스템(104)의 자동 제어 하에서 동작 모드들 간에 전환될 수 있다. 예를 들어, 조작자는 시스템 1이 그러한 모드들 중 하나에서 동작하는 것을 특정하는 정보를 입력 유닛(230)에 입력할 수 있는데, 이 경우에 시스템 1은 그 특정된 모드에서 동작함으로써 응답한다. 다른 동작 모드들이 유사한 방식으로 선택될 수 있다.

복수의 동작 모드들 중 2D 이미징 모드는 본 발명의 하나의 예시적인 실시예에서, 도 3b에 도시된 흐름도에 따라 (도 1a에 도시된) 3D 스캐닝 시스템(100)을 사용하여 물체(50)의 2D 표현(즉, 사진)을 수집하고 디스플레이한다. 2D 스캔 모드 공정(340)은 단계(S342)에서 시작된다.

단계(S344)에서, 단계(S304)에 관하여 전술된 것과 실질적으로 유사한 방식으로 광학 콘트라스트 분말을 물체(50)에 적용한다. (당연히, 이 단계는 3D 스캔 모드의 경우와 같이, 그것이 이미 수행되었다면 수행될 필요가 없다). 본 발명의 다른 예시적인 실시예에서는, 단계(S344)가 수행되지 않고, 즉, 광학 콘트라스트 분말이 물체(50)에 적용되지 않고, 대신에, 제어가 단계(S342)로부터 단계(S346)로 곧장 넘어간다.

단계(S346)에서, 단계(S306)에 관하여 전술된 것과 실질적으로 유사한 방식으로 물체(50)를 광(119)으로 조명한다.

단계(S348)에서, 단계(S308)에 관하여 전술된 것과 실질적으로 유사한 방식으로 물체(50)의 2D 컬러 이미지 데이터를 생성한다.

단계(S350)에서, 단계(S310)에 관하여 전술된 것과 실질적으로 유사한 방식으로 단계(S348)에서 생성된 2D 컬러 이미지 데이터를 다운샘플링하여 다운샘플링된 2D 컬러 이미지 데이터를 생성한다. 본 발명의 다른 예시적인 실시예에서는, 단계(S350)가 수행되지 않고, 즉, 2D 컬러 이미지 데이터가 다운샘플링되지 않고, 대신에, 제어가 단계(S348)로부터 단계(S352)로 곧장 넘어간다.

단계(S352)에서, 3D 스캐닝 시스템(100)은 단계(S350)에서 생성된 다운샘플링된 2D 컬러 이미지 데이터(또는 단계(S350)가 수행되지 않았다면 단계(S348)에서 생성된 2D 컬러 이미지 데이터)를 디스플레이 유닛(108) 상에 디스플레이한다. 2D 스캔 모드 공정(340)은 단계(S354)에서 종료된다.

복수의 동작 모드들의 2D 이미지 기록을 위해 최적화된 3D 스캔 모드가 이제 기술될 것이다. 2D 이미지 기록을 위해 최적화된 3D 스캔 모드는 3D 컬러 이미지 데이터를 생성하고 디스플레이하기 위해 도 3a의 공정(300)에서 전술된 3D 스캔 모드와 유사한 방식으로 수행되지만, 공정(300)의 소정의 알고리즘들 및 단계들에서의 차이들을 포함하여, 3D 컬러 이미지 데이터의 3D 정확도는, 더 짧은 시간 동안 3D 컬러 이미지 데이터를 스캔하고 생성하는 것에 대한 그리고 3D 컬러 이미지 데이터의 더 최적화된 색상 품질에 대한 절충안으로서, 3D 스캔 모드에서의 3D 정확도보다 (적어도 어느 정도까지) 더 작을 수 있게 한다.

특히, 광학 콘트라스트 분말이 단계(S304)에서 적용되는 하나의 예에서, 3D 스캔 모드의 단계(S304)에서 적용되는 것에 비해 더 성긴 코팅이 적용된다. 현재 모드의 단계(S304)에서 광학 콘트라스트 분말의 더 성긴 코팅을 적용함으로써, 물체(50)의 적은 부분이 광학 콘트라스트 분말 입자들에 의해 가려진다. 그 결과, 단계(S308)에서 카메라(140)에 의해 캡처되고 생성되는 2D 컬러 이미지 데이터, 단계(S314)에서 생성되는 계산된 색상 정보, 및 단계(S326)에서 디스플레이되는 3D 컬러 이미지 데이터는 물체(50)의 색상을 더 정확하게 나타낸다. 그러나, 현재 동작 모드의 단계(S304)에서 광학 콘트라스트 분말의 더 성긴 코팅이 적용되기 때문에, 3D 데이터를 생성하기 위해 단계(S322)에서 사용되는 이미지들의 쌍은 단계(S322)에서 수행되는 스테레오 대응 정합 방법을 위해 이용가능한 대응 특징들을 더 적게 가질 수 있다. 이미지 쌍들에서의 대응 특징들의 임의의 그러한 감소된 이용가능성을 보상하기 위하여, 카메라 유닛(140)은 단계(S322)에서 수행되는 스테레오 대응 정합 방법을 위해 더 많은 데이터를 제공하기 위해 단계(S308)에서 더 큰 프레임 레이트로 동작될 수 있다. 따라서, LED들(118, 120)은 그들의 스트로빙이 카메라 유닛(140)의 실질적으로 증가된 프레임 레이트로 물체(50) 상으로 광(119)을 투영하기 위해 최적화되도록 단계(S306)에서 동작될 수 있다. 단계(S322)의 스테레오 대응 정합 방법은 또한 3D 데이터를 생성하기 위해 더 높은 프레임 레이트로 제공되는 이미지 쌍들을 이용하기 위해 최적화된 방식으로 수행된다. 예를 들어, 단계(S322)에서 수행되는 스테레오 대응 정합 방법의 최적화는 정합 방법을 재매개변수화하는 것 뿐만 아니라 정합 방법 내에서 저품질 데이터를 거절하기 위해 채용되는 품질 임계치들을 적응시키는 것을 포함할 수 있다.

본 설명을 고려하여 당업자가 인식하게 되는 바와 같이, 본 명세서에 기술된 예시적인 태양은 단일 컴퓨터를 사용하여 또는 각각이 다양한 전술된 기능을 수행하도록 제어 논리로 프로그래밍된 다수의 컴퓨터를 포함하는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술된 다양한 실시예는 예로서 제시되었고 제한적이지 않다. 형태 및 세부 사항의 다양한 변경(예컨대, 상이한 하드웨어, 통신 프로토콜 등)이 본 발명의 사상 및 범위로부터 벗어나지 않고도 본 발명에서 이루어질 수 있는 것이 당업자에게 명백할 것이다. 따라서, 본 발명은 전술한 예시적인 실시예 중 임의의 것에 의해 제한되는 것이 아니라, 오로지 다음의 청구범위 및 그 등가물에 따라서만 정의되어야 한다.

또한, 본 명세서에 기술된 기능을 강조하는 첨부 도면이 예시적인 예로서 제시되는 것이 이해되어야 한다. 본 발명의 구조는 충분히 유연성이 있고 구성가능하며, 따라서 그것은 도면에 도시된 것 이외의 방식으로 사용될 (그리고 다루어질) 수 있다.

또한, 본 명세서에 기술된 예시적인 실시예는 3D 치과용 스캐닝 시스템으로 제한되지 않는다. 본 명세서에 기술된 예시적인 실시예는 다른 해부학적 영역의 스캔을 수행하기 위해 사용될 수 있다.

Claims

물체의 3차원(3D) 스캔을 수행하기 위한 방법으로서,
조명된 물체에 대응하는 제1 및 제2 2차원(2D) 컬러 이미지 데이터를 생성하는 단계 - 상기 제1 및 제2 2D 컬러 이미지 데이터는 픽셀들을 포함함 -;
표준 콘트라스트 향상 변환 함수를 사용하는 것에 의해, 상기 제1 및 제2 2D 컬러 이미지 데이터에 각각 대응하는 제1 및 제2 2D 단색(monochrome) 이미지 데이터를 생성하는 단계 - 상기 표준 콘트라스트 향상 변환 함수는, 콘트라스트-향상 단색 변환 알고리즘을 상기 제1 및 제2 2D 컬러 이미지 데이터의 각각에 대해 적용하는 것 대신에 미리 결정된 훈련 데이터 세트에 대해 적용하는 것에 의해 생성됨 -;
상기 제1 및 제2 2D 단색 이미지 데이터를 사용하여 3D 데이터를 생성하는 단계; 및
상기 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나로부터 획득된 색상 정보를 상기 3D 데이터와 조합함으로써 3D 컬러 이미지 데이터를 생성하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 제1 및 제2 2D 단색 이미지 데이터를 생성하는 단계 이전에 상기 제1 및 제2 2D 컬러 이미지 데이터를 다운샘플링하여 다운샘플링된 2D 컬러 이미지 데이터를 생성하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 제1 2D 컬러 이미지 데이터를 생성하는 단계는 컬러 이미지 센서의 제1 부분을 사용하여 수행되고, 상기 제2 2D 컬러 이미지 데이터를 생성하는 단계는 상기 컬러 이미지 센서의 제2 부분을 사용하여 수행되는, 방법.
제3항에 있어서, 상기 컬러 이미지 센서의 상기 제1 부분은 상기 물체에 의해 반사되어 카메라의 제1 개구(aperture)를 통과한 광에 기초하여 상기 제1 2D 컬러 이미지 데이터를 생성하고, 상기 컬러 이미지 센서의 상기 제2 부분은 상기 물체에 의해 반사되어 상기 제1 개구와는 상이한 상기 카메라의 제2 개구를 통과한 광에 기초하여 상기 제2 2D 컬러 이미지 데이터를 생성하는, 방법.
제1항에 있어서, 상기 3D 컬러 이미지 데이터를 디스플레이 유닛 상에 디스플레이하는 단계를 추가로 포함하는, 방법.
제5항에 있어서, 상기 3D 컬러 이미지 데이터는 실시간으로 상기 디스플레이 유닛 상에 디스플레이되는, 방법.
제1항에 있어서,
상기 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고,
상기 2D 단색 이미지 데이터는 복수의 단색 픽셀 값들을 포함하고,
각각의 단색 픽셀 값은 상기 2D 컬러 이미지 데이터의 4개의 이웃 픽셀들에 대응하는 4개의 컬러 픽셀 값들의 가중 평균(weighted average) 값인, 방법.
제1항에 있어서,
상기 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고,
상기 2D 단색 이미지 데이터는 하나의 색상을 갖는 상기 2D 컬러 이미지 데이터의 픽셀들을 포함하는, 방법.
제2항에 있어서,
상기 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고,
상기 다운샘플링된 2D 컬러 이미지 데이터는 복수의 컬러 픽셀 값들을 포함하고,
4개의 인접한 픽셀들에 대응하는 다운샘플링된 2D 컬러 이미지 데이터의 컬러 픽셀 값들은 상기 2D 컬러 이미지 데이터의 16개의 컬러 픽셀 값들을 사용하여 생성되는, 방법.
제1항에 있어서, 광학 콘트라스트 분말을 상기 물체에 적용하는 단계를 추가로 포함하는, 방법.
제10항에 있어서, 상기 광학 콘트라스트 분말은 흑색 입자들, 백색 입자들, 또는 흑색 및 백색 입자들을 포함하는, 방법.
제10항에 있어서, 상기 광학 콘트라스트 분말은 적어도 두 가지 색상의 입자들을 포함하는, 방법.
제12항에 있어서, 상기 광학 콘트라스트 분말의 제1 색상의 입자들은 상기 광학 콘트라스트 분말의 제2 색상의 입자들과는 상이한 양의 일정 색상의 광을 흡수하는, 방법.
제1항에 있어서,
상기 물체를 광으로 조명하는 단계를 추가로 포함하는, 방법.
제14항에 있어서, 상기 물체는 백색 광으로 조명되는, 방법.
제14항에 있어서, 상기 물체는 복수의 유색 광으로 조명되는, 방법.
제14항에 있어서, 상기 물체는 구조화된 광(structured light)으로 조명되는, 방법.
제10항에 있어서,
상기 광학 콘트라스트 분말에 대응하는 상기 색상 정보의 부분들에 대한 색상 보정을 수행하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나를 디스플레이 유닛 상에 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 3D 데이터를 생성하는 단계는 상기 제1 및 제2 2D 단색 이미지 데이터의 특징들을 상관시키는 단계를 포함하는, 방법.
제20항에 있어서,
성긴 양을 갖는 광학 콘트라스트 분말을 상기 물체에 적용하는 단계;
상기 물체를 광으로 미리 결정된 스트로브 레이트(strobe rate)로 조명하는 단계; 및
상기 제1 및 제2 2D 컬러 이미지 데이터를 생성하는 단계를 미리결정된 프레임 레이트로 수행하는 단계
중 적어도 하나를 추가로 포함하는, 방법.
제21항에 있어서, 상기 상관시키는 단계의 저품질 결과들을 거절하는 단계를 추가로 포함하는, 방법.
프로그램을 저장하는 비일시적인 컴퓨터 판독가능 저장 매체로서,
상기 프로그램은, 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 절차를 수행하게 하고, 상기 절차는
조명된 물체에 대응하는 제1 및 제2 2차원(2D) 컬러 이미지 데이터를 생성하는 단계 - 상기 제1 및 제2 2D 컬러 이미지 데이터는 픽셀들을 포함함 -;
표준 콘트라스트 향상 변환 함수를 사용하는 것에 의해, 상기 제1 및 제2 2D 컬러 이미지 데이터에 각각 대응하는 제1 및 제2 2D 단색 이미지 데이터를 생성하는 단계 - 상기 표준 콘트라스트 향상 변환 함수는, 콘트라스트-향상 단색 변환 알고리즘을 상기 제1 및 제2 2D 컬러 이미지 데이터의 각각에 대해 적용하는 것 대신에 미리 결정된 훈련 데이터 세트에 대해 적용하는 것에 의해 생성됨 -;
상기 제1 및 제2 2D 단색 이미지 데이터를 사용하여 3D 데이터를 생성하는 단계; 및
상기 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나로부터 획득된 색상 정보를 상기 3D 데이터와 조합함으로써 3D 컬러 이미지 데이터를 생성하는 단계를 포함하는, 비일시적인 컴퓨터 판독가능 저장 매체.
물체의 3차원(3D) 스캔을 생성하기 위한 3D 스캐닝 시스템으로서,
광원, 제1 개구, 제2 개구, 및 제1 부분 및 제2 부분을 갖는 컬러 이미지 센서를 포함하는 카메라 - 상기 컬러 이미지 센서의 상기 제1 부분은, 상기 광원에 의해 투영되고 상기 물체에 의해 반사되고 상기 제1 개구를 통과한 광에 기초하여 제1 2차원(2D) 컬러 이미지 데이터를 생성하고, 상기 컬러 이미지 센서의 상기 제2 부분은, 상기 광원에 의해 투영되고 상기 물체에 의해 반사되고 상기 제2 개구를 통과한 광에 기초하여 제2 2D 컬러 이미지 데이터를 생성함 -; 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는
표준 콘트라스트 향상 변환 함수를 사용하는 것에 의해, 상기 제1 및 제2 2D 컬러 이미지 데이터에 각각 대응하는 제1 및 제2 2D 단색 이미지 데이터를 생성하도록 - 상기 표준 콘트라스트 향상 변환 함수는, 콘트라스트-향상 단색 변환 알고리즘을 상기 제1 및 제2 2D 컬러 이미지 데이터의 각각에 대해 적용하는 것 대신에 미리 결정된 훈련 데이터 세트에 대해 적용하는 것에 의해 생성됨 -;
상기 제1 및 제2 2D 단색 이미지 데이터를 사용하여 3D 데이터를 생성하도록; 그리고
상기 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나로부터 획득된 색상 정보를 상기 3D 데이터와 조합함으로써 3D 컬러 이미지 데이터를 생성하도록 동작가능한, 3D 스캐닝 시스템.
3차원(3D) 스캐닝 시스템으로서,
사용자에 의해, 상기 3D 스캐닝 시스템의 복수의 동작 모드들 중 하나의 동작 모드의 선택을 특정하는 신호를 입력하도록 동작가능한 사용자 인터페이스; 및
프로세서를 포함하고, 상기 프로세서는, 상기 동작 모드들 중 제1 동작 모드를 특정하는 신호에 응답하여,
조명된 물체에 대응하는 제1 및 제2 2차원(2D) 컬러 이미지 데이터를 생성하기 위한 - 상기 제1 및 제2 2D 컬러 이미지 데이터는 픽셀들을 포함함 -;
표준 콘트라스트 향상 변환 함수를 사용하는 것에 의해, 상기 제1 및 제2 2D 컬러 이미지 데이터에 각각 대응하는 제1 및 제2 2D 단색 이미지 데이터를 생성하기 위한 - 상기 표준 콘트라스트 향상 변환 함수는, 콘트라스트-향상 단색 변환 알고리즘을 상기 제1 및 제2 2D 컬러 이미지 데이터의 각각에 대해 적용하는 것 대신에 미리 결정된 훈련 데이터 세트에 대해 적용하는 것에 의해 생성됨 -;
상기 제1 및 제2 2D 단색 이미지 데이터를 사용하여 3D 데이터를 생성하기 위한; 그리고
상기 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나로부터 획득된 색상 정보를 상기 3D 데이터와 조합함으로써 3D 컬러 이미지 데이터를 생성하기 위한 것이고,
상기 프로세서는 또한, 상기 동작 모드들 중 제2 동작 모드의 선택을 특정하는 신호에 응답하여, 상기 조명된 물체에 대응하는 추가 2D 컬러 이미지 데이터를 생성하기 위한 것인, 3D 스캐닝 시스템.
제25항에 있어서, 상기 3D 컬러 이미지 데이터, 상기 제1 2D 컬러 이미지 데이터, 상기 제2 2D 컬러 이미지 데이터, 및 상기 추가 2D 컬러 이미지 데이터 중 적어도 하나를 디스플레이하는 디스플레이 유닛을 추가로 포함하는, 3D 스캐닝 시스템.
3차원(3D) 스캐닝 시스템을 동작시키는 방법으로서,
복수의 동작 모드들 사이에서 선택하는 단계;
상기 동작 모드들 중 제1 동작 모드의 선택에 응답하여,
조명된 물체에 대응하는 제1 및 제2 2차원(2D) 컬러 이미지 데이터를 생성하는 단계 - 상기 제1 및 제2 2D 컬러 이미지 데이터는 픽셀들을 포함함 -,
표준 콘트라스트 향상 변환 함수를 사용하는 것에 의해, 상기 제1 및 제2 2D 컬러 이미지 데이터에 각각 대응하는 제1 및 제2 2D 단색 이미지 데이터를 생성하는 단계 - 상기 표준 콘트라스트 향상 변환 함수는, 콘트라스트-향상 단색 변환 알고리즘을 상기 제1 및 제2 2D 컬러 이미지 데이터의 각각에 대해 적용하는 것 대신에 미리 결정된 훈련 데이터 세트에 대해 적용하는 것에 의해 생성됨 -,
상기 제1 및 제2 2D 단색 이미지 데이터를 사용하여 3D 데이터를 생성하는 단계, 및
상기 제1 및 제2 2D 컬러 이미지 데이터 중 적어도 하나로부터 획득된 색상 정보를 상기 3D 데이터와 조합함으로써 3D 컬러 이미지 데이터를 생성하는 단계; 및
상기 동작 모드들 중 제2 동작 모드의 선택에 응답하여, 상기 조명된 물체에 대응하는 추가 2D 컬러 이미지 데이터를 생성하는 단계를 포함하는, 방법.
제27항에 있어서, 상기 3D 컬러 이미지 데이터, 상기 제1 2D 컬러 이미지 데이터, 상기 제2 2D 컬러 이미지 데이터, 및 상기 추가 2D 컬러 이미지 데이터 중 적어도 하나를 디스플레이 유닛 상에 디스플레이하는 단계를 추가로 포함하는, 방법.