KR102576496B1 - 3차원 모델링 방법 및 이를 이용한 장치 - Google Patents

Abstract

본 발명에 따른 3차원 모델링 방법은, 필터링 대상체를 스캔하여 적어도 하나의 이미지 데이터를 획득하는 스캔 단계, 상기 스캔 단계에서 획득한 상기 이미지 데이터에 포함된 색상으로부터 기준 색상 또는 기준 색상 범위를 결정하고 상기 기준 색상 또는 기준 색상 범위를 필터링하는 단계, 및 모델링 대상체를 스캔하여 상기 모델링 대상체에 대한 3차원 표면 모델을 생성하는 단계를 포함하며, 상기 3차원 표면 모델을 생성하는 단계는 상기 기준 색상 또는 상기 기준 색상 범위를 제외하여 3차원 표면 모델을 생성할 수 있다.

Description

3차원 모델링 방법 및 이를 이용한 장치{3-Dimensional Modeling Method and Apparatus using thereof}

본 발명은 3차원 모델링 방법 및 이를 이용한 장치에 관한 것이다.

3차원 스캐닝 기술은 측정, 검사, 역설계, 컨텐츠 생성, CAD/CAM, 의료기기 등 다양한 산업 분야에서 사용되고 있으며 컴퓨팅 기술의 발전으로 인한 스캐닝 성능의 향상으로 인해 그 실용성이 더욱 확대되고 있다. 또한, 3차원 스캐닝 작업 환경, 가령 스캐너 사용자의 상태, 스캔 외부 환경, 측정 대상에 부착된 이물질 등을 고려하여, 측정 대상에 대한 최종 데이터의 정밀도와 신뢰도를 높이고 사용자의 편의성을 향상시키기 위한 연구개발이 활발히 진행되고 있다.

특히, 3차원 스캐너로 측정 대상의 3차원 데이터(3차원 모델링)를 획득하는 과정에서 측정 대상이 아닌 다른 대상이 함께 스캔되는 경우가 빈번히 발생한다. 일 예로, 치과 치료 분야에서 3차원 스캐너를 이용하여 환자의 구강 내부(치아, 잇몸 등을 의미한다)에 대한 3차원 모델을 획득하는 과정에서, 환자의 구강 내부에 존재하는 이물질이나 3차원 스캐너 사용자(통상적으로 치과 의사가 될 수 있다)의 손 또는 위생장갑 등이 측정 대상과 함께 스캔되어 모델링될 수 있다.

상기 이물질, 사용자의 손, 위생장갑 등은 환자의 구강 모델 획득에 방해가 되는 대상이므로, 최종 3차원 모델을 생성하는 과정 중 별도 프로세싱을 통해 삭제하거나, 최종 3차원 모델이 생성된 이후 사용자에 의한 후보정을 통해 삭제되어야 한다. 상기 별도 프로세싱은 비측정대상에 대한 제거 알고리즘이 적용되어야 하므로 시스템 리소스가 낭비되고, 상기 사용자에 의한 후보정 작업은 사용자에 의한 수작업에 의존할 수밖에 없어 많은 시간이 소요되는 문제가 있다.

뿐만 아니라, 비측정대상에 대한 모델이 제거되었다 하더라도, 측정 대상에 대한 3차원 모델의 정확도가 떨어져, 측정 대상을 재스캔하여야 하는 등 사용자 편의성이 크게 저하되는 문제가 있다.

대한민국 공개특허 10-2018-0120908호 (2018.11.07 공개)

본 발명은 필터링 대상체로부터 획득한 이미지 데이터로부터 기준 색상을 결정하거나, 상기 기준 색상으로부터 소정 범위 내의 색상을 필터링의 대상이 되는 기준 색상 범위로 결정함으로써, 모델링 대상체를 스캔할 때 상기 기준 색상 또는 상기 기준 색상 범위에 해당하는 부분을 3차원 표면 모델 변환시 제외하는 3차원 모델링 방법 및 이를 이용한 장치를 제공한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 3차원 모델링 방법은, 필터링 대상체를 스캔하여 적어도 하나의 이미지 데이터를 획득하는 스캔 단계, 상기 스캔 단계에서 획득한 상기 이미지 데이터에 포함된 색상으로부터 기준 색상 또는 기준 색상 범위를 결정하고 상기 기준 색상 또는 기준 색상 범위를 필터링하는 단계, 및 모델링 대상체를 스캔하여 상기 모델링 대상체에 대한 3차원 표면 모델을 생성하는 단계를 포함하며, 상기 3차원 표면 모델을 생성하는 단계는 상기 기준 색상 또는 상기 기준 색상 범위를 제외하여 3차원 표면 모델을 생성할 수 있다.

또한, 상기 필터링하는 단계는, 상기 이미지 데이터에 포함된 각 픽셀에 포함된 색상의 색상 요소값과, 동일한 색상 요소값을 갖는 색상을 포함하는 픽셀을 카운팅한 픽셀수를 이용하여 컬러 히스토그램을 생성하는 단계, 및 상기 컬러 히스토그램으로부터 상기 기준 색상 또는 상기 기준 색상 범위를 결정하는 단계를 포함할 수 있다.

또한, 상기 컬러 히스토그램을 생성하는 단계는, 이동 평균 보정(moving average calibration)을 통해 상기 컬러 히스토그램을 보정하는 히스토그램 보정 단계를 더 포함하고, 상기 기준 색상 또는 기준 색상 범위를 결정하는 단계는 상기 히스토그램 보정 단계 이후 보정된 컬러 히스토그램을 통해 상기 기준 색상 또는 기준 색상 범위를 결정할 수 있다.

또한, 상기 이미지 데이터에 포함된 색상은 적어도 2개의 색상 요소를 가지는 색상 모델을 사용하여 획득되고, 상기 필터링하는 단계는, 상기 스캔 단계에서 상기 이미지 데이터의 색상을 획득하는데 사용된 색상 모델과 상이한 색상 모델로 컬러 히스토그램을 생성할 수 있다.

또한, 상기 기준 색상 또는 상기 기준 색상 범위를 결정하는 단계 중 기준 색상을 결정하는 단계는, 상기 컬러 히스토그램에서 상기 카운팅된 픽셀수가 최대인 색상 요소값으로부터 상기 기준 색상을 결정할 수 있다.

또한, 상기 기준 색상 범위를 결정하는 단계는, 상기 카운팅된 픽셀수가 최대인 색상 요소값의 양측으로 소정 범위의 임계색상 요소값을 설정하여 상기 기준 색상 범위를 결정할 수 있다.

또한, 상기 기준 색상 범위를 결정하는 단계는, 상기 카운팅된 픽셀수가 최대인 색상 요소값이 갖는 픽셀수의 소정 비율에 해당하는 색상 요소값을 임계색상 요소값으로 설정하여 상기 기준 색상 범위를 결정할 수 있다.

또한, 상기 소정 비율은 각각의 상기 색상 요소별로 상이할 수 있다.

또한, 상기 필터링하는 단계는, 상기 임계색상 요소값의 범위가 설정 범위 미만인 경우, 상기 설정 범위를 만족하도록 상기 임계색상 요소값을 조정하는 기준 색상 범위 조정 단계를 더 포함할 수 있다.

또한, 상기 스캔 단계에서 획득하는 상기 필터링 대상체의 상기 이미지 데이터는, 상기 필터링 대상체의 색상을 획득하기 위한 적어도 하나의 제1 타입 이미지 데이터와 상기 필터링 대상체의 깊이 정보를 획득하기 위한 적어도 하나의 제2 타입 이미지 데이터를 포함하고, 상기 필터링하는 단계는, 상기 제1 타입 이미지 데이터를 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링할 수 있다.

또한, 상기 스캔 단계는, 상기 필터링 대상체의 색상을 획득하기 위한 적어도 하나의 2차원 이미지 데이터를 획득하고, 상기 필터링하는 단계는, 상기 적어도 하나의 2차원 이미지 데이터를 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링할 수 있다.

또한, 상기 3차원 표면 모델을 생성하는 단계는, 상기 모델링 대상체를 스캔하여 획득한 상기 모델링 대상체의 복수의 2차원 이미지 데이터를 기초로 상기 3차원 표면 모델을 생성하고, 상기 모델링 대상체의 복수의 2차원 이미지 데이터는, 상기 모델링 대상체의 색상을 획득하기 위한 제1 타입 이미지 데이터와 상기 모델링 대상체의 깊이 정보를 획득하기 위한 제2 타입 이미지 데이터를 포함하고, 상기 모델링 대상체의 상기 제1 타입 이미지 데이터 중 상기 기준 색상 또는 상기 기준 색상 범위에 해당하는 픽셀과 대응되는 상기 제2 타입 이미지 데이터의 픽셀은, 상기 3차원 표면 모델을 생성할 때 제외될 수 있다.

한편, 본 발명에 따른 3차원 모델링 장치는, 필터링 대상체를 스캔하여 이미지 데이터를 획득하는 스캔부, 및 상기 이미지 데이터에 대해 필터링의 대상이 되는 기준 색상 또는 기준 색상 범위를 결정하여 필터링하는 제어부를 포함할 수 있다.

또한, 상기 제어부는, 상기 이미지 데이터에 포함된 각 픽셀에 포함된 색상의 색상 요소값과, 동일한 색상 요소값을 갖는 색상을 포함하는 픽셀을 카운팅한 픽셀수를 이용하여 컬러 히스토그램을 생성하는 컬러 히스토그램 생성부, 상기 컬러 히스토그램에 대한 이동 평균 보정(moving average calibration)을 수행하는 히스토그램 보정부, 및 상기 컬러 히스토그램으로부터 기준 색상을 결정하는 기준 색상 결정부, 및 상기 컬러 히스토그램으로부터 기준 색상 범위를 결정하는 기준 색상 범위 결정부 중 적어도 하나를 포함하는 기준 결정부를 포함하고, 상기 컬러 히스토그램 생성부는 상기 스캔부에서 상기 이미지 데이터를 획득하는데 사용하는 색상 모델과 상이한 색상 모델로 상기 컬러 히스토그램을 생성하고, 상기 기준 결정부는 상기 히스토그램 보정부의 상기 이동 평균 보정 이후 보정된 컬러 히스토그램을 통해 상기 기준 색상 또는 상기 기준 색상 범위를 결정할 수 있다.

또한, 상기 기준 색상 결정부는, 상기 컬러 히스토그램에서 상기 카운팅된 픽셀수가 최대인 색상 요소값으로부터 상기 기준 색상을 결정하고, 상기 기준 색상 범위 결정부는, 상기 카운팅된 픽셀수가 최대인 색상 요소값의 양측으로 소정 범위의 임계색상 요소값을 설정하여 상기 기준 색상 범위를 결정하거나, 상기 카운팅된 픽셀수가 최대인 색상 요소값이 갖는 픽셀수의 소정 비율에 해당하는 색상 요소값을 임계색상 요소값으로 설정하여 상기 기준 색상 범위를 결정할 수 있다.

또한, 상기 소정 비율은 각각의 상기 색상 요소별로 상이할 수 있다.

또한, 상기 제어부는, 상기 기준 색상 범위 결정부에 의해 설정된 상기 임계색상 요소값의 범위가 설정 범위 미만인 경우, 상기 설정 범위를 만족하도록 상기 임계색상 요소값을 조정하는 기준 색상 범위 조정부를 더 포함할 수 있다.

또한, 상기 스캔부에서 획득하는 상기 필터링 대상체의 상기 이미지 데이터는, 상기 필터링 대상체의 색상을 획득하기 위한 적어도 하나의 제1 타입 이미지 데이터와 상기 필터링 대상체의 깊이 정보를 획득하기 위한 적어도 하나의 제2 타입 이미지 데이터를 포함하고, 상기 제어부는, 상기 제1 타입 이미지 데이터를 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링할 수 있다.

또한, 상기 스캔부는, 상기 필터링 대상체의 색상을 획득하기 위한 2차원 이미지 데이터들을 획득하고, 상기 제어부는, 상기 2차원 이미지 데이터들을 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링할 수 있다.

또한, 상기 제어부는, 상기 스캔부가 모델링 대상체를 스캔하여 획득한 상기 모델링 대상체의 복수의 2차원 이미지 데이터를 기초로 상기 3차원 표면 모델을 생성하고, 상기 모델링 대상체의 복수의 2차원 이미지 데이터는, 상기 모델링 대상체의 색상을 획득하기 위한 제1 타입 이미지 데이터와 상기 모델링 대상체의 깊이 정보를 획득하기 위한 제2 타입 이미지 데이터를 포함하고, 상기 모델링 대상체의 상기 제1 타입 이미지 데이터 중 상기 기준 색상 또는 상기 기준 색상 범위에 해당하는 픽셀과 대응되는 상기 제2 타입 이미지 데이터의 픽셀은, 상기 3차원 표면 모델을 생성할 때 제외될 수 있다.

본 발명에 따르면, 모델링 대상체에 대한 3차원 표면 모델을 생성하는 전단계에서, 필터링 대상체가 가지는 기준 색상 또는 기준 색상 범위 내의 색상을 미리 제외함으로써, 실제 3차원 표면 모델 생성에 필요한 부분에 대해서만 3차원 모델링이 가능한 이점이 있다. 그로 인해, 보다 정밀한 3차원 표면 모델을 획득할 수 있고, 3차원 표면 모델의 신뢰도를 향상시키는 이점이 있다.

또한, 모델링 대상체에 대한 3차원 표면 모델을 생성하는 과정에서, 필터링 대상체에 해당하는 기준 색상 범위 내의 색상을 미리 제외함으로써, 비측정대상인 필터링 대상체에 대한 제거 알고리즘이 불필요하여 시스템 리소스의 낭비를 줄일 수 있는 이점이 있다.

또한, 사용자에 의한 후보정 작업이 생략되어 최종 3차원 표면 모델의 획득에 소요되는 시간을 단축할 수 있는 이점이 있다.

또한, 필터링 색상인 기준 색상, 또는 필터링 범위인 기준 색상 범위를 결정하기 위해 3차원 모델링되기 이전의 필터링 대상체의 2차원 이미지 데이터를 사용함으로써, 시스템 연산 부하를 경감시키고 신속한 필터링을 가능하게 하는 이점이 있다.

도 1은 본 발명에 따른 3차원 모델링 방법에 대한 순서도이다.
도 2는 도 1에 개시된 필터링 대상체를 표현한 도이다.
도 3은 본 발명의 비교예에 따른 이미지 데이터에서 필터링 범위인 기준 색상 범위를 삭제하는 과정을 설명하는 순서도이다.
도 4는 본 발명에 따른 3차원 모델링 방법에 사용되는 색상 모델을 설명하기 위한 도이다.
도 5는 본 발명에 따른 3차원 모델링 방법에서 필터링 단계의 세부 구성에 대한 순서도이다.
도 6은 본 발명에 따른 3차원 모델링 방법에서 특정한 색상 모델에 대하여 색상 요소별로 생성된 컬러 히스토그램이다.
도 7은 컬러 히스토그램을 생성하는 단계에서 획득된 히스토그램과, 히스토그램 보정 단계에서 보정된 히스토그램을 함께 표시한 도이다.
도 8은 기준 색상을 결정하는 단계를 설명하기 위한 도이다.
도 9는 본 발명의 일 실시예에 따른 기준 색상 범위를 결정하는 단계를 설명하기 위한 도이다.
도 10은 본 발명의 다른 실시예에 따른 기준 색상 범위를 결정하는 단계를 설명하기 위한 도이다.
도 11은 기준 색상 범위를 조정하는 단계를 설명하기 위한 도이다.
도 12는 도 4에서 필터링 범위인 기준 색상 범위를 표시한 도이다.
도 13은 기준 색상 범위를 조정하는 단계의 세부 구성에 대한 순서도이다.
도 14는 본 발명에 따른 3차원 모델링 장치의 개략적인 구성도이다.
도 15는 본 발명의 대안적인 실시예에 따른 3차원 모델링 장치의 개략적인 구성도이다.
도 16은 기준 색상 범위를 이용한 필터링 없이 모델링 대상체를 스캔한 결과를 도시한 비교예의 도면이다.
도 17은 기준 색상 범위의 필터링을 적용하여 모델링 대상체를 스캔한 결과를 도시한 본 발명의 일 실시예에 따른 도면이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서는 본 발명에 따른 3차원 모델링 방법에 대해 상세하게 설명하기로 한다.

도 1은 본 발명에 따른 3차원 모델링 방법에 대한 순서도, 도 2는 도 1에 개시된 필터링 대상체를 표현한 도이다.

도 1을 참조하면, 본 발명에 따른 3차원 모델링 방법은, 필터링 대상체를 스캔하여 적어도 하나의 이미지 데이터를 획득하는 스캔 단계(S110)와, 스캔 단계(S110)에서 획득한 이미지 데이터에 포함된 색상으로부터 기준 색상 또는 기준 색상 범위를 결정하고, 기준 색상 또는 기준 색상 범위를 필터링하는 단계(S120)를 포함한다. 또한, 모델링 대상체를 스캔(S130)하여 모델링 대상체에 대한 3차원 표면 모델을 생성하는 단계(S140)를 포함한다. 여기서, 3차원 표면 모델을 생성하는 단계(S140)에서는 기준 색상 또는 기준 색상 범위를 제외하여 3차원 표면 모델을 생성할 수 있다.

본 발명에서는, 최종적인 3차원 표면 모델을 획득하기 위한 대상체를 ‘모델링 대상체’로 명명하고, 모델링 대상체에 대한 스캔 과정에서 함께 스캔되지 않도록 필터링이 필요한 대상체를 ‘필터링 대상체’로 명명한다.

본 발명에 따른 3차원 모델링 방법은, 모델링 대상체에 대한 3차원 표면 모델을 생성하는 과정에서, 필터링 대상체에 해당하는 기준 색상 또는 기준 색상 범위 내의 색상을 미리 제외하는 것을 기술적 사상으로 하며, 이하에서는 설명의 편의를 위해 본 발명에 따른 3차원 모델링 방법의 일 예로, 3차원 스캐너를 이용하여 환자의 구강 내부(치아, 잇몸 등을 의미한다)에 대한 3차원 모델을 획득하는 과정을 예시로 하여 설명한다.

환자의 구강 내부의 치아에 대한 3차원 표면 모델을 생성하기 위해 3차원 스캐너를 사용하는 과정에서, 스캐너를 사용하는 사용자의 손 또는 위생장갑, 환자의 구강으로부터 기인한 타액, 시술도구, 구강 내부의 이물질 등이 치아와 함께 스캔되어 이미지 데이터로 입력되는 경우가 발생할 수 있다. 이 경우, 가령 환자의 구강 내부의 치아는 모델링 대상체, 상기 사용자의 손 또는 위생장갑, 환자의 구강으로부터 기인한 타액, 구강 내부의 이물질 등은 필터링 대상체가 될 수 있다.

도 2는 상기 필터링 대상체(D)의 한 예로 스캐너 사용자의 위생장갑을 도시한 것으로, 상기 위생장갑은 단일의 색상을 가질 수 있지만, 통상 다양한 색상군을 갖는다.

이와 같이, 모델링 대상체를 스캔하는 과정에서 함께 스캔된 필터링 대상체는 신뢰도 높은 모델링 대상체의 3차원 표면 모델을 획득을 저해하게 되므로, 모델링 대상체가 3차원 표면 모델로 생성되기 이전에 3차원 표면 모델 생성 대상에서 제외할 필요성이 있다.

본 발명에 따른 3차원 모델링 방법의 일 실시예에 따르면, 모델링 대상체에 대한 스캔을 수행하기 전, 필터링 대상체를 먼저 스캔한다(S110). 상기 필터링 대상체를 스캔하면 상기 필터링 대상체를 포함하는 이미지 데이터를 획득할 수 있으며, 상기 이미지 데이터는 2차원 또는 3차원 이미지의 샷(shot)을 의미할 수 있다.

일반적으로 필터링 대상체는 모델링 대상체와 상이한 색상을 가지므로, 필터링 대상체를 미리 스캔하여 필터링 대상체가 갖는 색상(또는 색상군)을 획득함으로써, 이후 모델링 대상체에 대한 스캔을 수행하는 과정에서 이를 제외할 수 있다.

상기 필터링 대상체의 색상을 획득하기 위해 상기 필터링 대상체의 2차원 이미지 데이터 또는 3차원 이미지 데이터를 활용할 수 있다.

이미지 데이터는 적어도 하나를 획득할 수 있으나, 시스템 메모리와 스캔 소요시간을 비효율적으로 낭비하지 않는 범위 내에서 복수 개 획득함으로서 정밀도를 높일 수 있다.

구체적으로, 필터링 대상체의 2차원 이미지 데이터를 활용하여 필터링 대상체의 색상을 획득하는 과정을 설명하면, 스캔 단계(S110)는 대상체에 대한 스냅샷(snapshot) 또는 사진을 찍어 2차원 이미지 데이터를 획득할 수 있다. 여기서, 상기 2차원 이미지 데이터는 복수 개, 가령 50 샷 내외의 이미지 데이터를 연속적으로 촬영하여 획득된 것일 수 있다.

필터링 대상체는 실제 3차원 표면 모델을 획득할 필요가 없는 대상일 뿐 아니라, 3차원 표면 모델(3차원 이미지)로부터 색상을 획득하는 것보다 2차원 이미지로부터 색상을 획득하는 것이 용이하고 신속한 이점이 있다. 따라서, 2차원 이미지 데이터로부터 필터링 대상체의 색상을 획득함으로써 불필요한 프로세싱을 줄여 리소스 낭비를 방지하고 시간을 단축할 수 있다. 여기서, 스캔에 따라 획득되는 이미지 데이터는, 후술할 3차원 모델링 장치(10)의 광 수용부(120)의 동작에 의한 결과일 수 있다.

스캔 단계(S110)에 대해 보다 상세한 예시를 들어 설명한다. 스캔 단계(S110)에서, 필터링 대상체를 스캔함으로써 적어도 하나의 제1 타입 이미지 데이터들과 적어도 하나의 제2 타입 이미지 데이터를 획득할 수 있다. 이 때, 제1 타입 이미지 데이터들은 필터링 대상체의 색상 정보를 획득하기 위한 것이다. 제1 타입 이미지 데이터들은 필터링 대상체를 스캔하는 스캐너에 의해 획득될 수 있는데, 스캐너에 내장된 또는 상기 스캐너와 별도로 마련된 광 프로젝터가 사용될 수 있다. 일 예시로, 광 프로젝터는 소정 제어에 따라 백색 광을 필터링 대상체에 조사할 수 있으며, 스캐너는 상기 광 프로젝터로부터 조사된 광이 가해지는 필터링 대상체를 스캔할 수 있다. 이 때, 스캐너에 내장된 카메라는 컬러 카메라일 수 있으며, 스캐너는 스캔 단계(S110)에서 백색 광이 가해진 필터링 대상체를 나타내는 적어도 하나의 제1 타입 이미지 데이터를 획득할 수 있다. 획득된 제1 타입 이미지 데이터에 의해, 필터링 대상체의 색상 정보를 획득할 수 있다.

다른 예시로, 광 프로젝터는 소정 제어에 따라 적색 광, 녹색 광, 및 청색 광을 각각 필터링 대상체에 조사할 수 있으며, 스캐너는 상기 광 프로젝터로부터 조사된 광이 가해지는 필터링 대상체를 스캔할 수 있다. 이 때, 스캐너에 내장된 카메라는 모노 카메라일 수 있으며, 스캐너는 스캔 단계(S110)에서 각각의 광이 가해진 필터링 대상체를 나타내는 적어도 3개의 제1 타입 이미지 데이터들을 획득할 수 있다. 예를 들면, 스캐너는 스캔 단계(S110)에서 적색 광이 가해진 필터링 대상체를 나타내는 적어도 하나의 제1 타입 이미지 데이터, 녹색 광이 가해진 필터링 대상체를 나타내는 적어도 하나의 제1 타입 이미지 데이터, 청색 광이 가해진 필터링 대상체를 나타내는 적어도 하나의 제1 타입 이미지 데이터를 획득할 수 있다. 획득된 제1 타입 이미지 데이터들의 조합에 따라, 필터링 대상체의 색상 정보를 획득할 수 있다.

이후, 광 프로젝터는 제1 타입 이미지 데이터들을 획득할 때 조사된 광과 상이한 형태의 광을 필터링 대상체에 조사할 수 있다. 예시적으로, 광 프로젝터는 명부(明部)와 암부(暗部)가 교번하여 나타나는, 구조광의 일 예인 스트라이프 형상을 필터링 대상체에 조사할 수 있다. 상기 스트라이프 형상은 가로 스트라이프 형상일 수도 있고, 세로 스트라이프 형상일 수도 있다. 다만, 언급된 예시에 한정되는 것은 아니고, 2차원 이미지 데이터가 깊이 정보를 가지도록 하는 어떠한 형태의 광이라도 사용될 수 있다. 깊이 정보를 가지는 2차원 이미지 데이터는 3차원 표면 모델로 생성될 수 있다.

한편, 2차원 이미지 데이터를 활용하여 필터링 대상체의 색상을 획득하는 또 다른 실시예로서, 스캐너를 이용한 필터링 대상체의 3차원 표면 모델 생성 과정을 이용할 수 있다.

구체적으로 설명하면, 광원과 카메라가 구비된 3차원 스캐너를 이용하여 측정 대상에 대한 복수 개의 2차원 이미지 데이터를 획득하고 이로부터 3차원 표면 모델을 획득하는 기술이 알려져 있다.

본 발명의 일 실시예에서는 필터링 대상체의 3차원 표면 모델을 생성하기 위해 상기 3차원 스캐너의 카메라가 필터링 대상체로부터 복수 개의 2차원 이미지 데이터들을 획득하면, 상기 이미지 데이터들 중 초점이 정확한 2차원 이미지 데이터(들)로부터 3차원 표면 모델을 획득한다. 따라서, 역으로 3차원 표면 모델 생성에 사용된 2차원 이미지 데이터(들)은 초점에 정확한 2차원 이미지 데이터(들)로 간주할 수 있고, 이들로부터 색상을 추출할 수 있다.

상기 초점이 정확한 이미지 데이터들을 이용하여 필터링 대상체의 3차원 표면 모델을 획득할 수 있지만, 본 발명의 실시예에서는 상기 필터링 대상체의 2차원 이미지 데이터들로부터 3차원 표면 모델을 획득할 필요는 없다. 필터링 대상체는 실제 3차원 표면 모델을 획득할 필요가 없는 대상이므로, 상기 초점값이 최적의 초점값인 이미지 데이터(들)을 이용하여 색상을 추출하는 것으로도 충분하다.

상기 실시예에 따르면, 전술한 필터링 대상체에 대해 스냅샷(snapshot) 또는 사진을 찍어 획득한 2차원 이미지 데이터에 비해, 초점이 정확한 양질의 이미지 데이터를 선택할 수 있고, 이들 이미지 데이터의 픽셀에 포함된 색상은 정확한 색상 요소값을 가지므로, 후술할 필터링 단계(S120)에서 이미지 데이터의 각 픽셀에 포함된 색상의 색상 요소값의 산출이 용이한 이점이 있다. 또한, 필터링 대상체에 대한 이미지 데이터를 얻기 위한 별도의 카메라 대신, 3차원 스캐너에 구비된 카메라를 이용하여 이미지 데이터를 직접 획득할 수 있는 이점이 있다.

한편, 스캔 단계(S110)에서 이미지를 획득하기 위해 RGB 광원을 이용하거나, 1D Line scan, 구조광을 통한 Triangulation, 공초점 등의 방식들 중 적어도 하나를 이용할 수 있다. 다만, 스캔 단계(S110)에서 이미지를 획득하기 위해 반드시 RGB 광원을 이용하여야 하는 것은 아니며, 컬러 이미지 센서를 사용하여 스캔 단계(S110)를 수행하는 경우 별도의 광원을 사용하지 않을 수 있다. 또한, 2차원의 이미지로부터 후술할 기준 색상 또는 기준 색상 범위를 결정하는 경우, 구조광과 같은 3차원 모델링을 위한 광을 사용하지 않을 수 있다.

도 3은 본 발명의 비교예에 따른 이미지 데이터에서 필터링 범위인 기준 색상 범위를 삭제하는 과정을 설명하는 순서도이다.

본 발명의 비교예와 같이, 필터링 대상체와 모델링 대상체에 대한 이미지 데이터를 함께 획득하고, 이로부터 기준 색상 또는 기준 색상 범위를 결정하는 방법을 고려할 수 있다.

설명의 편의를 위해, 본 명세서 상에서 필터링하고자 하는 단일의 색상을 '기준 색상'이라고 명명하며, 필터링하고자 하는 색상의 범위를 '기준 색상 범위'로 명명하기로 한다.

도 3을 참조하면, 스캔하고자 하는 물체에 대하여 스캔 과정을 수행하여 필터링 대상체와 모델링 대상체의 이미지 데이터를 한번에 획득(P110)한다. 이미지 데이터는 스캐너의 화질에 대응되어 복수개의 픽셀을 가지며, 각각의 픽셀에는 색상 정보가 포함되므로 각각의 픽셀이 가지는 색상을 획득(P120)할 수 있다.

이미지 데이터로부터 픽셀의 색상이 획득되면, 필터링하고자 하는 색상을 기준 색상으로 설정(P130)할 수 있다. 가령, 기준 색상을 설정하는 단계(P130)는 유저 인터페이스(UI) 상의 컬러 팔레트 상에서 사용자가 원하는 기준 색상을 설정하는 것일 수 있다.

기준 색상이 설정되면 기준 색상으로부터 일정 범위 내에 있는 색상의 그룹(group)을 기준 색상 범위로 결정하고, 획득한 이미지 데이터의 각 픽셀에 포함된 색상 정보가 기준 색상 범위에 포함하는지 판단(P140)한다. 각각의 픽셀에 포함된 색상 정보가 기준 색상 범위에 포함되는 경우, 이미지 데이터 내에서 해당 색상 정보가 포함된 픽셀에 포함된 색상 정보를 삭제(P150)함으로써 3차원 표면 모델 변환에서 제외한다. 따라서, 색상 정보가 삭제된 픽셀은 데이터가 입력되지 않은 것으로 간주될 수 있다. 기준 색상 범위에 해당하는 색상 정보를 포함한 픽셀에 대한 처리가 수행된 후, 이미지 데이터를 3차원 표면 모델로 변환(P160)할 수 있다.

전술한 비교예에 따르면, 필터링 대상체와 모델링 대상체가 함께 포함된 이미지 데이터를 획득하고, 해당 이미지 데이터에서 수동으로 컬러 팔레트 상에서 기준 색상 또는 기준 색상 범위를 설정하게 되므로 부정확한 필터링을 초래할 우려가 있다. 또한, 필터링 대상체와 모델링 대상체가 함께 획득된 이미지 데이터에서, 기준 색상 또는 기준 색상 범위를 삭제함으로써 신뢰도 낮은 3차원 표면 모델을 획득할 수 있는 문제가 존재한다. 따라서, 본 발명의 실시예와 같이, 필터링 대상체만의 이미지 데이터로부터 기준 색상 또는 기준 색상 범위를 미리 결정하고, 이후 모델링 대상체를 스캔할 때 기준 색상 또는 기준 색상 범위가 제외되도록 함으로써 정확하고 신뢰도가 높은 데이터를 획득할 수 있다.

도 4는 본 발명에 따른 3차원 모델링 방법에 사용되는 색상 모델을 설명하기 위한 도이다.

도 4를 참조하면, 스캔 단계(S110)을 통해 획득된 필터링 대상체의 이미지 데이터에 포함된 색상은 적어도 2개의 색상 요소를 가지는 색상 모델을 사용하여 획득할 수 있다.

여기서, 색상 모델은 기알려진 다양한 모델들을 의미하며, 예를 들면 Gray 모델, RGB 모델, HSV 모델, YCbCr(YUV) 모델, CMYK 모델 등이 이에 해당될 수 있다. 이 중, Gray 모델의 경우 본 발명에 따른 3차원 모델링 방법에서 사용되는 개념인 '색상(color)'의 범주에는 부합하지 않는다. Gray 모델은 0(검정색) 내지 255(흰색)으로 영상의 픽셀값을 표현하게 되므로, 실질적으로 밝기 정보만으로 영상을 표현하는 모델이다. 이러한 밝기 정보만으로 기준 색상 범위를 결정하는 것은 매우 어려우며, 외부로부터의 광 간섭이 발생하는 경우 정확한 기준 색상 및 기준 색상 범위, 3차원 표면 모델을 획득하는 것이 실질적으로 불가능하다.

따라서, 본 발명에 따른 3차원 모델링 방법을 사용함에 있어 적어도 2 이상의 색상 요소를 가지는 유채색 계열의 색상 모델이 사용될 수 있으며, 대표적으로 RGB 모델 또는 HSV 모델이 사용되는 것이 바람직하다.

여기서, '색상 요소'라 함은 색상 모델에서 특정한 색상을 표현하기 위한 성분을 의미하며, 가령 RGB 모델의 색상 요소는 도 4 (a)에 도시된 바와 같이 R(Red), G(Green), B(Blue)이다. RGB 모델의 색상 요소인 R, G, B는 각각 0에서 255의 정수 범위의 색상 요소값을 가질 수 있으므로, RGB 모델에서는 256×256×256 색의 표현이 가능하다.

또한, HSV 모델의 색상 요소는 도 4 (b)에 도시된 바와 같이 H(Hue), S(Saturation), V(Value)이며, HSV 모델의 색상 요소인 H는 0° 내지 360° 범위의 색상 요소값을 가지고, S는 0 내지 100% 범위의 색상 요소값을 가지며, V는 0 내지 100% 범위의 색상 요소값을 가질 수 있다. 경우에 따라, HSV 모델의 색상 요소인 H는 0 내지 360의 정수 범위의 색상 요소값을 가지고, S는 0 내지 255의 정수 범위의 색상 요소값을 가지며, V는 0 내지 255의 정수 범위의 색상 요소값을 가질 수도 있다.

도 5는 본 발명에 따른 3차원 모델링 방법에서 필터링 단계(S120)의 세부 구성에 대한 순서도이고, 도 6은 본 발명에 따른 3차원 모델링 방법에서 특정한 색상 모델에 대하여 색상 요소별로 생성된 컬러 히스토그램이다.

도 5를 참조하면, 필터링 단계(S120)는 이미지 데이터의 각 픽셀에 포함된 색상의 색상 요소값과, 동일한 색상 요소값을 갖는 색상을 포함하는 픽셀을 카운팅한 픽셀수를 이용하여 컬러 히스토그램을 생성하는 단계(S121)와, 컬러 히스토그램으로부터 기준 색상 또는 기준 색상 범위를 결정하는 단계를 포함할 수 있다. 한편, 기준 색상 또는 기준 색상 범위를 결정하는 단계는 소정의 조건을 만족하는 색상 또는 색상 범위를 기준 색상으로 결정할 수 있다. 기준 색상 또는 기준 색상 범위를 결정하는 세부적인 내용은 후술한다.

한편, 기준 색상 또는 기준 색상 범위를 결정하는 단계는, 상기 컬러 히스토그램으로부터 기준 색상을 결정하는 단계(S122), 그리고 기준 색상 결정 단계(S122)에서 결정된 기준 색상으로부터 필터링 범위인 기준 색상 범위를 결정하는 단계(S123)를 포함할 수 있다.

먼저, 컬러 히스토그램을 생성하는 단계(S121)는 필터링 대상체로부터 획득한 이미지 데이터로부터 색상을 획득한다. 이미지 데이터의 각 픽셀은 색상정보를 포함하므로, 이로부터 이미지 데이터의 개별 픽셀이 갖는 색상을 모두 획득할 수 있다.

획득된 각 픽셀의 색상은 특정 색상 모델(가령, RGB 모델 또는 HSV 모델)의 색상 요소값을 갖는다. 가령, 각 픽셀의 색상은 HSV 모델의 색상 요소인 H(Hue), S(Saturation), V(Value)의 색상 요소값을 가질 수 있으며, 일예로 노란색(yellow)의 경우 HSV 색상 코드표 상 (52,55,98)의 색상 요소값을 갖는다. 상기 방법에 의해 획득된 모든 픽셀의 색상들에 대한 색상 요소값을 획득할 수 있다. 여기서, 사용되는 색상 모델은 전술한 HSV 모델일 수 있고 RGB 모델일 수도 있다. 또한, 이에 한정하지 않고 CMYK 모델, YCbCr 모델 등 유채색 모델 중 적어도 하나가 사용될 수 있다.

한편, 컬러 히스토그램을 생성하는 단계(S121)는 동일한 색상 요소값을 갖는 색상이 포함된 픽셀수를 카운팅하여 컬러 히스토그램을 생성한다. 상기 컬러 히스토그램의 구체적인 생성방법은 이하에서 자세히 설명하기로 한다.

도 6을 참조하면 각각의 색상 요소별로 컬러 히스토그램이 생성된 결과를 확인할 수 있다. '컬러 히스토그램'은 필터링 대상체의 이미지 데이터를 구성하는 픽셀에 대하여, 픽셀에 포함된 색상 정보를 수집하여 각각의 색상이 색상 모델 상에서 어떤 색상 요소값을 갖는지를 표현한 그래프이다.

가령, 색상 모델이 HSV 모델인 경우, 도 6(a)은 가로축이 색상 요소 H(Hue)인 경우, 도 6(b)는 가로축이 색상 요소 S(Saturation)인 경우, 도 6(c)는 가로축이 색상 요소 V(Value)인 경우의 히스토그램(701,702,703)이다. 이들 히스토그램을 각각 H-N 히스토그램(701), S-N 히스토그램(702), 및 V-N 히스토그램(703)으로 명명하기로 한다.

도 6에 도시된 히스토그램의 가로축에는 각각의 색상 요소(H, S, V)의 색상 요소값이 표시되고, 세로축은 획득된 이미지 데이터에서 동일한 색상 요소값을 갖는 색상을 포함하는 픽셀을 카운팅한 픽셀수(N)가 표시된다. 색상 요소값은 색상 모델에 따라 H는 0° 내지 360° 사이의 각도값, S는 0% 내지 100% 사이의 백분율값, V는 0% 내지 100% 사이의 백분율값을 가질 수 있다.

컬러 히스토그램을 생성하는 단계(S121)는 획득된 모든 픽셀의 색상의 색상 요소값을 이용하여, 색상 요소별(H,S,V)로 컬러 히스토그램을 생성할 수 있다.

도 6을 참조하면, 생성된 컬러 히스토그램을 통해, 각각의 색상 요소별로 어떠한 색상 요소값을 갖는 색상을 포함하는 픽셀이 가장 많이 획득(카운팅)되었는지 확인할 수 있다.

이와 같이, 가장 많이 카운팅된 픽셀수를 갖는 색상은 필터링 대상체의 이미지 데이터에 가장 많이 포함된 색상이므로, 필터링 대상체에 해당하는 기준 색상으로 설정할 수 있다. 기준 색상 결정 단계는 후술하기로 한다.

한편, 필터링하는 단계(S120)는 스캔 단계(S110)에서 이미지 데이터의 색상을 획득하는데 사용된 색상 모델과 상이한 색상 모델로 컬러 히스토그램을 생성할 수 있다. 보다 상세하게는, 필터링하는 단계(S120) 중 컬러 히스토그램을 생성하는 단계(S121)는, 스캔 단계(S110)에서 이미지 데이터를 획득하는데 사용된 색상 모델과 상이한 색상 모델로 컬러 히스토그램을 생성할 수 있다. 가령, 스캔 단계(S110)에서 사용된 색상 모델은 RGB 모델이고, 필터링하는 단계(S120)에서 사용된 색상 모델은 HSV 모델일 수 있다.

구체적으로, 스캔 단계(S121)에서 이미지 데이터를 획득할 때, 스캔부는 적어도 하나의 색상을 가지는 광을 조사할 수 있다. 가령, 상기 광은 RGB 모델에서 적색(255, 0, 0), 녹색(0, 255, 0), 및 청색(0, 0, 255)과 같은 것일 수 있다.

스캔 단계에서는 RGB 색상을 조사하여 RGB 모델로 이미지 데이터를 획득하거나, 컬러 이미지 센서와 같이 광 조사 없이 이미지 데이터를 획득하여, 상기 이미지데이터에 포함된 색상을 RGB 모델로 획득할 수 있다.

RGB 모델로 생성된 이미지에서 색 정보를 검출하기 위해서는 R, G, B 세가지 속성을 모두 참고해야 한다. 하지만 HSV 이미지에서는 H(Hue)가 일정한 범위를 갖는 순수한 색조 정보를 가지고 있기 때문에, HSV 이미지는 RGB 이미지보다 용이하게 색상을 분류할 수 있다. 색상의 분류가 용이해지면 후술할 기준 색상 및 기준 색상 범위의 결정 또한 용이해지는 이점이 있다. 따라서, 컬러 히스토그램을 생성하는 단계(S121)에서는 RGB 모델로 획득된 이미지 데이터의 색상을 HSV 모델로 변환하여 사용할 수 있다. RGB 모델로 생성된 이미지를 HSV 모델의 이미지로 변환하는 것은 주지의 변환 공식(RGB to HSV conversion formula)에 의해 용이하게 수행할 수 있는 바, 이에 대한 자세한 설명은 생략한다.

도 7은 컬러 히스토그램을 생성하는 단계에서 획득된 히스토그램과, 노이즈를 제거하여 보정된 히스토그램을 함께 표시한 도, 도 8은 기준 색상을 결정하는 단계를 설명하기 위한 도, 도 9는 본 발명의 일 실시예에 따른 기준 색상 범위를 결정하는 단계를 설명하기 위한 도, 도 10은 본 발명의 다른 실시예에 따른 기준 색상 범위를 결정하는 단계를 설명하기 위한 도, 도 11은 기준 색상 범위를 조정하는 단계를 설명하기 위한 도이다.

도 7 내지 도 11에서는 HSV 모델의 색상 요소 중 하나인 H(Hue)의 컬러 히스토그램을 예시로 본 발명을 설명한다. 이러한 설명은 색상 모델을 구성하는 다른 색상 요소들(S, V)에도 동일하게 적용될 수 있다.

도 7은 H-N 히스토그램으로, 가로축에는 색상 요소 H의 색상 요소값이 표시되고, 세로축에는 획득된 이미지 데이터에서 색상 요소 H의 색상 요소값을 갖는 픽셀의 수를 카운팅한 픽셀수(N)가 표시된다.

컬러 히스토그램을 생성하는 단계(S121)는 이동 평균 보정(moving average calibration)을 통해 기생성된 컬러 히스토그램을 보정하는 히스토그램 보정 단계를 더 포함할 수 있다.

도 7을 참조하면, 기생성된 컬러 히스토그램(711)은 픽셀수(N)가 많은 색상 요소값이 2개 존재하며, 이러한 경우 필터링을 하기 위한 기준 색상을 결정하기가 어려운 문제가 있다. 물론, 가장 많은 픽셀 수(N)를 갖는 색상 요소 H(Hue)의 색상 요소값을 기준 색상으로 결정할 수 있지만, 후술할 기준 색상 범위를 결정할 때 2개를 초과하는 임계색상 요소값이 설정되는 문제가 발생할 수 있다.

또한, 기생성된 컬러 히스토그램 상에서 카운팅된 픽셀수가 존재하지 않아 누락된 부분이 발생하는 경우, 후술할 기준 색상 범위를 결정할 때 연속된 범위를 설정하기가 어려워지는 상황이 발생할 수 있다.

따라서, 이러한 문제를 미연에 방지하고 기준 색상 설정 및 기준 색상 범위 설정을 용이하게 하기 위해 컬러 히스토그램(711)을 적절히 보정하는 것이 바람직하다.

상기 이동 평균 보정은 색상 요소를 구간별로 나누어 보정을 수행하는 방식일 수 있다.

도 7을 참조하면, 컬러 히스토그램의 가로축에는 색상 요소 H의 색상 요소값이 나열되고, 상기 이동 평균 보정의 일 예로, 연속하는 복수의 색상 요소값들을 하나의 구간으로 설정하고, 상기 구간에 포함된 색상 요소값들이 갖는 픽셀수의 평균값을, 그 구간 내 특정 색상 요소값의 픽셀수로 보정할 수 있다. 여기서, 구간 내 특정 색상 요소값은, 상기 구간 내의 좌측, 우측 또는 중앙 중 어느 하나의 색상 요소값일 수 있다.

따라서, 기생성된 컬러 히스토그램(711)에 표시된 상기 특정 색상 요소값이 갖는 원래의 픽셀수는, 보정 히스토그램(712) 상에서 상기 구간에 포함된 색상 요소값들이 갖는 픽셀수의 평균값으로 보정된다.

상기 구간을 상기 컬러 히스토그램의 가로축 상에서 좌측에서 우측으로 이동해가면서, 해당 구간의 픽셀수의 평균값을 구하고, 상기 평균값은 이동하는 구간 내의 특정 색상 요소값이 갖는 원래의 픽셀수를 대체하게 된다.

이와 같이, 보정 히스토그램(712)은 기생성된 컬러 히스토그램 상에서 카운팅된 픽셀수가 존재하지 않아 누락된 부분이 발생한 경우에도 이동 평균 보정을 통해 상기 누락 부분에 대한 픽셀수가 부여됨으로써, 기준 색상 범위를 결정할 때 연속된 범위를 설정하기에 용이한 이점이 있다. 뿐만 아니라, 보정 히스토그램(712)은 상기 이동 평균 보정을 통해 완만한 곡선 형태로 표현될 수 있어 카운팅된 픽셀수가 최대인 부분이 자연스럽게 부각될 수 있어, 기생성된 컬러 히스토그램(711)보다 기준 색상 및 기준 색상 범위를 획득하기 용이해지는 이점이 있다.

전술한 바와 달리, 본 발명의 다른 실시예에서는, 컬러 히스토그램을 생성하는 단계가 제외될 수 있다. 보다 상세하게는, 필터링하는 단계(S120)는 사용자가 유저 인터페이스를 통해 이미지 데이터로부터 선택한 색상을 기준 색상으로 결정할 수 있다. 예시적으로, 이미지 데이터로부터 선택된 색상은 유저 인터페이스 상 구비되는 컬러 피커(color picker)를 통해 사용자에 의해 선택된 소정 픽셀이 갖는 색상을 추출할 수 있다. 다만, 이에 한정되는 것은 아니며 이미지 데이터로부터 적어도 하나의 색상을 추출할 수 있는 어떠한 방식이라도 사용될 수 있다. 또한, 기준 색상 범위는 전술한 바와 같은 추출된 색상으로부터 기 설정된 소정 범위로 결정될 수 있다.

도 8은 기준 색상을 결정하는 단계를 설명하기 위한 도이다.

전술한 바에 따라 생성된 컬러 히스토그램으로부터 기준 색상을 결정할 수 있다. 도 8을 참조하면, 기준 색상을 결정하는 단계(S122)는 컬러 히스토그램에서 카운팅된 픽셀수가 최대인 색상 요소값을 기준 색상 요소값으로 결정하는 것일 수 있다. 예를 들면, H-N 히스토그램(701)에서, 가장 많은 픽셀수(Nmax)을 가지는 색상 요소값이 기준 색상 요소값(Hs)으로 결정될 수 있다.

이는, 필터링 대상체를 스캔하여 가장 많은 수로 획득된 기준 색상 요소값(Hs)이 필터링 대상체의 색상을 대표할 수 있기 때문이다. 동일한 방법으로, S-N 히스토그램(702), 및 V-N 히스토그램(703)에서도 각각의 기준 색상 요소값(Ss, Vs)를 결정할 수 있다. 결국, 각각의 색상 요소별 기준 색상 요소값(Hs, Ss, Vs)은 하나의 색상을 표현하게 되며, 이것을 기준 색상으로 결정할 수 있다.

한편, 기준 색상을 결정하는 단계(S122)는 전술한 바와 같은 기생성된 컬러 히스토그램(711)을 통해 수행될 수 있고, 보정 히스토그램(712)을 통해 수행될 수도 있다.

도 9는 본 발명의 일 실시예에 따른 기준 색상 범위를 결정하는 단계를 설명하기 위한 도이다.

기준 색상 범위를 결정하는 단계(S123)는 카운팅된 픽셀수가 최대인 색상 요소값의 양측으로 소정 범위의 임계색상 요소값을 설정하고, 기준 색상 범위를 결정할 수 있다. 예를 들면, 기준 색상 범위는 기준 색상을 중심으로 균일한 거리에 형성되는 임계 요소값들을 가질 수 있다.

도 9의 H-N 히스토그램을 참조하면, 기준 색상 범위는 기준 색상 요소값(Hs)에 대하여 양측으로 σ 만큼의 거리를 가지는 임계 요소값(Hs-σ, Hs+σ)에 의해 정의되는 범위를 의미한다. 이는 다른 색상 요소들(S, V)에서도 동일하거나 또는 상이하게 설정될 수 있다.

색상 요소별로 동일한 거리인 σ를 가지도록 기준 색상 범위가 설정되는 경우, 기준 색상 범위는 (Hs-σ 내지 Hs+σ, Ss-σ 내지 Ss+σ, Vs-σ 내지 Vs+σ)일 수 있다. 다만, 색상 요소별로 상이한 거리(H에서는 σ, S에서는 τ, V에서는 υ)를 가지도록 기준 색상 범위가 설정되는 경우, 기준 색상 범위는 (Hs-σ 내지 Hs+σ, Ss-τ 내지 Ss+τ, Vs-υ 내지 Vs+υ)일 수 있다. 이 때, 각 요소별 범위인 2σ, 2τ, 및 2υ는 설정 범위(RT) 이상일 수 있다. 한편, H 색상 요소는 S 색상 요소 및 V 색상 요소보다 더욱 정밀한 범위의 기준 색상 범위를 획득하여야 하므로, σ 는 τ, υ보다 작은 값일 수 있다.

도 10은 본 발명의 다른 실시예에 따른 기준 색상 범위를 결정하는 단계를 설명하기 위한 도이다.

도 10의 H-N 히스토그램을 참조하면, 기준 색상 범위를 설정하는 단계(S123)는 기준 색상이 가지는 카운팅된 픽셀수가 가장 많은 픽셀수의 소정 비율에 해당하는 색상 요소값을 임계색상 요소값으로 설정하여 기준 색상 범위를 결정할 수 있다. 예를 들면, 임계색상 요소값(H1, H2)은 기준 색상 요소값(Hs)이 가지는 가장 많은 픽셀수(Nmax)의 α 만큼의 비율을 가지는 픽셀수(α·Nmax)를 가지는 색상 요소값일 수 있다.

만약 컬러 히스토그램이 가장 많은 픽셀수(Nmax)를 기준으로 좌우 비대칭이 크게 형성된 경우, 도 9의 실시예에 의해 기준 색상 범위를 결정하면, 좁은 범위의 기준 색상 범위가 결정되게 되어, 필터링이 필요한 색상이 누락되는 문제가 발생할 여지가 있는 반면, 도 10의 실시예에 의하면, 좌우 비대칭에 상관없이 일정 이상의 픽셀수(α·Nmax)를 가지는 색상 요소값을 확보함에 따라 비교적 넓은 범위의 기준 색상 범위가 결정되어 필터링이 필요한 색상이 누락되지 않아 필터링이 필요한 색상을 충분히 확보할 수 있는 이점이 있다.

여기서, 색상 요소별로 가장 많은 픽셀수(Nmax)에 대한 비율은 동일하거나 또는 상이할 수 있다. 예를 들면, H 색상 요소에 대해서는 α, S 색상 요소에 대해서는 β, V 색상 요소에 대해서는 γ의 비율을 적용하여 임계색상 요소값(H1, H2)이 설정될 수 있다. α, β, γ는 0 초과 1 미만의 실수(real number)일 수 있다.

한편, H 색상 요소는 S 색상 요소 및 V 색상 요소보다 더욱 정밀한 범위의 기준 색상 범위를 획득하여야 하므로, α는 β, γ보다 큰 값일 수 있다. 가장 많은 픽셀수(Nmax)의 소정 비율에 해당하는 픽셀수를 가지는 색상 요소값을 임계색상 요소값으로 설정하였을 때, 기준 색상 요소값(Hs)에서 제1 임계색상 요소값(H1)까지의 거리를 제1 거리(d1), 기준 색상(Hs)에서 제2 임계색상 요소값(H2)까지의 거리를 제2 거리(d2)라 할 수 있으며, 제1 거리(d1)와 제2 거리(d2)의 합은 설정 범위(RT) 이상일 수 있다.

도 11은 기준 색상 범위를 조정하는 단계를 설명하기 위한 도이고, 도 12는 도 4에서 필터링 범위인 기준 색상 범위를 표시한 도이며, 도 13은 기준 색상 범위를 조정하는 단계의 세부 구성에 대한 순서도이다.

도 11 내지 도 13을 참조하면, 필터링하는 단계(S120)는 기준 색상 범위를 결정하는 단계(S123)에 따라 설정된 임계색상 요소값의 범위가 설정 범위 미만인 경우, 설정 범위를 만족하도록 임계색상 요소값을 조정하는 기준 색상 범위 조정 단계(S124)를 추가로 포함할 수 있다. 기준 색상 범위 조정 단계(S124)는 실질적으로 임계색상 요소값을 변경하여 기준 색상 범위를 확장시키는 것이다.

설정 범위(RT)는 필터링 대상체와 모델링 대상체의 스캔 환경이 다른 경우를 감안하여 설정된 필터링의 최소 범위를 의미하며, 상기 기준 색상 범위 결정 단계(S123)에서 결정된 범위가 원활한 필터링 과정을 수행하기에 협소하게 결정되는 문제점을 해소한다. 이는, 필터링 대상체를 스캔할 때, 일정한 위치 및 각도에서 제한된 시간 동안 필터링 대상체의 일부분만 스캔하기 때문이며, 모델링 대상체를 스캔할 때와 비교하였을 때 정확한 색상 취득이 용이하지 않다. 예시적으로, 필터링 대상체가 장갑인 경우, 짧은 시간 동안 장갑의 평평한 면 만을 스캔하게 되므로, 장갑의 주름진 면에 포함된 색상을 필터링하지 못하는 문제가 발생할 수 있다. 따라서, 필터링 대상체를 용이하게 필터링하기 위해서 기준 색상 범위를 확장할 필요가 있다.

즉, 기준 색상 범위 조정 단계(S124)는 제1 임계색상 요소값(H1)을 컬러 히스토그램의 좌측으로 조정하고, 제2 임계색상 요소값(H2)을 컬러 히스토그램의 우측으로 조정하는 단계일 수 있다.

도 13을 참조하면, 기준 색상 범위 조정 단계(S124)는 제1 거리(d1)와 제2 거리(d2)의 합이 설정 범위(RT) 이상인지 판단(S1241)한다. 제1 거리(d1)와 제2 거리(d2)의 합이 설정 범위 미만인 경우, 임계색상 요소값을 조정(S1242)함으로써 기준 색상 범위를 조정하게 된다. 이 때, 조정된 임계색상 요소값(H1', H2')은 설정 범위(RT) 이상이 될 때까지 균일한 간격으로 조정될 수 있다. 따라서, 기준 색상 요소값(Hs)과 조정된 제1 임계색상 요소값(H1')까지의 조정된 제1 거리(d1')와, 기준 색상 요소값(Hs)과 조정된 제2 임계색상 요소값(H2')까지의 조정된 제2 거리(d2')의 합은 설정범위 이상(RT)이 되도록 기준 색상 범위가 조절될 수 있다.

기준 색상 범위 조정 단계(S124)에 의해 조정된 임계색상 요소값(H1', H2') 사이의 간격이 설정 범위(RT) 이상이 되도록 조정될 때, 임계색상 요소값(H1, H2)에 균일한 값을 가감함으로써 조정이 수행될 수 있다. 이와 같은 조정을 수행하기 위해 사용될 수 있는 수식은 아래와 같다.

상기 수학식 1에 따라 조정된 임계색상 요소값(H1', H2')이 적용되면, 원하는 최소 범위인 설정 범위(RT)를 만족하는 기준 색상 범위가 결정될 수 있다. 이 경우, 원하는 설정 범위를 만족하도록 기준 색상 범위가 결정됨으로써, 충분한 범위에 대한 필터링이 수행될 수 있는 이점이 있다.

다른 실시예에서, 기준 색상 범위 조정 단계(S124)는 기준 색상 요소값(Hs)으로부터 각각의 임계색상 요소값(H1, H2)까지의 거리에 비례하여 임계색상 요소값을 조정할 수도 있다. 보다 상세하게는, 기준 색상 요소값(Hs)에서 각각의 임계색상 요소값(H1, H2)까지의 거리의 합(d1+d2)이 설정 범위(RT) 미만인 경우, 아래의 수식에 대응되도록 조정된 임계색상 요소값(H1', H2')이 적용될 수 있다.

상기 수학식 2에 따라 조정된 임계색상 요소값(H1', H2')이 적용되면, 원하는 최소 범위인 설정 범위(RT)를 만족하는 기준 색상 범위가 결정될 수 있다.

또한, 기준 색상 요소값(Hs)으로부터 임계색상 요소값(H1, H2)까지의 차이에 비례하여 임계색상 요소값을 조정함으로써, 기준 색상 범위의 적용 비율이 반영되어 필터링 대상체의 색상을 효과적으로 제외할 수 있다.

전술한 바와 같은 기준 색상 범위의 결정에 의하여, 필터링 대상체의 색상을 제외할 수 있으며, RGB 모델에서는 도 12의 도면부호 V1과 같은 부피를 가지는 색상 부분이 3차원 표면 모델 생성시 제외될 수 있으며, HSV 모델에서는 도면부호 V2와 같은 부피를 가지는 색상 부분이 3차원 표면 모델 생성시 제외될 수 있다.

한편, 필터링하는 단계(S120)는 스캔 단계(S110)에서 획득한 이미지 데이터들 중 적어도 일부를 사용할 수 있다. 예시적으로, 필터링하는 단계(S120)는 색상 정보를 가지는 이미지 데이터를 기초로 필터링 대상체의 기준 색상 또는 기준 색상 범위를 필터링하기 위해, 전술한 제1 타입 이미지 데이터들을 사용할 수 있다. 종래의 기술에서는, 필터링 대상체를 스캔하여 상기 필터링 대상체의 3차원 표면 모델을 생성한 후, 상기 3차원 표면 모델을 기초로 기준 색상 또는 기준 색상 범위를 식별하고 모델링 대상체의 3차원 표면 모델을 생성할 때 해당 기준 색상 또는 기준 색상 범위를 삭제하였다. 그러나, 필터링 대상체는 단지 제외 또는 삭제하기 위한 기준 색상 또는 기준 색상 범위를 획득하기 위해 스캔되며, 상기 기준 색상 또는 상기 기준 색상 범위를 획득하기 위해 필터링 대상체가 3차원 모델링될 필요는 없다. 오히려, 필터링 대상체가 3차원 모델링된 후, 상기 필터링 대상체의 3차원 모델에서 기준 색상 또는 기준 색상 범위를 추출하는 것은 시스템의 불필요한 연산 부하를 유발하며, 모델링 대상체의 3차원 표면 모델을 신속하게 획득하는 것을 방해한다.

이와 대조적으로, 본 발명에 따른 3차원 모델링 방법에 따르면, 필터링하는 단계(S120)에서는 스캔 단계(S110)에서 획득한 복수의 2차원 이미지 데이터 중 제2 타입 이미지 데이터가 사용되지 않으므로, 2차원 영역에서 신속한 필터링이 가능한 이점이 있다. 즉, 스캔 단계(S110)에서 획득한 이미지 데이터는 3차원 표면 모델로 생성되지 않고, 2차원 평면 이미지 데이터에서 간단하게 색상 분포가 획득되고, 기준 색상 또는 기준 색상 범위가 결정될 수 있다. 따라서, 본 발명에 따른 3차원 모델링 방법은 필터링 대상체를 3차원 모델링하지 않으므로 연산 부하가 감소되고 전체적인 필터링 과정 및 모델링 대상체의 3차원 모델링 과정의 연산 속도가 향상되는 이점이 있다.

다른 예시로, 본 발명에 따른 3차원 모델링 방법에서, 스캔 단계(S110)는 색상 정보를 획득하기 위한 2차원 이미지 데이터만을 획득할 수 있다. 예를 들면, 스캔 단계(S110)는 필터링 대상체를 스캔하여 적어도 하나의 2차원 평면 이미지 데이터를 획득한다. 상기 2차원 평면 이미지 데이터는 필터링 대상체에 백색 광을 조사하여 획득한 이미지 데이터를 포함할 수 있다. 또는, 상기 2차원 평면 이미지 데이터는 필터링 대상체에 적색 광을 조사하여 획득한 이미지 데이터, 필터링 대상체에 녹색 광을 조사하여 획득한 이미지 데이터, 및 필터링 대상체에 청색 광을 조사하여 획득한 이미지 데이터를 포함할 수 있다. 한편, 전술한 내용과 달리, 필터링 대상체에 구조광이 조사되지 않을 수 있으며, 필터링 대상체에 구조광이 가해진 상태에서는 2차원 이미지 데이터가 획득되지 않을 수 있다. 즉, 필터링 대상체는 3차원 표면 모델로 생성되지 않을 수 있으며, 2차원 이미지 데이터의 깊이 정보를 가지는 제2 타입 이미지 데이터를 획득하지 않을 수 있다. 이에 따라, 스캔 단계(S110) 및 필터링하는 단계(S120)가 보다 신속하게 수행될 수 있으며, 시스템의 연산 부하가 감소하고 연산 속도는 향상되는 이점이 있다.

한편, 전술한 바에 따라 필터링 대상체의 이미지 데이터로부터 기준 색상 또는 기준 색상 범위를 필터링한 후, 모델링 대상체를 스캔(S130)하여 모델링 대상체에 대한 3차원 표면 모델을 생성한다(S140). 그리고, 3차원 표면 모델을 생성하는 단계(S140)에서 기준 색상 또는 기준 색상 범위를 제외함으로서 모델링 대상체에 대한 3차원 표면 모델을 생성할 수 있다.

이 때, 모델링 대상체를 스캔하는 단계(S130)는 상기 모델링 대상체의 색상 정보를 획득하기 위한 2차원 이미지 데이터(즉, 모델링 대상체의 제1 타입 이미지 데이터)와, 상기 모델링 대상체의 깊이 정보를 획득하기 위한 2차원 이미지 데이터(즉, 모델링 대상체의 제2 타입 이미지 데이터)를 획득할 수 있다. 이에 따라, 3차원 표면 모델 생성 단계(S140)에서 모델링 대상체의 제2 타입 이미지 데이터는 상기 깊이 정보를 기초로 상기 모델링 대상체의 3차원 표면 모델을 생성하고, 모델링 대상체의 제1 타입 이미지 데이터는 상기 3차원 표면 모델에 색상을 할당할 수 있다.

전술한 필터링하는 단계(S120)에서 결정된 기준 색상 또는 기준 색상 범위는 상기 3차원 표면 모델 생성시 제외될 수 있다. 보다 상세하게는, 모델링 대상체의 제1 타입 이미지 데이터를 구성하는 픽셀들 중, 기준 색상 또는 기준 색상 범위에 해당되는 색상을 가지는 픽셀들이 감지된다. 기준 색상 또는 기준 색상 범위에 해당되는 색상을 가지는 픽셀들이 대응되는 제2 타입 이미지 데이터의 픽셀들은, 모델링 대상체의 3차원 표면 모델 생성시 제외된다. 이에 따라, 기준 색상 또는 기준 색상 범위에 해당되는 색상을 가지는 픽셀이 3차원 모델링되지 않으므로, 모델링 대상체의 3차원 표면 모델을 보다 신속하고 정확하게 획득할 수 있다.

여기서, 필터링 대상체의 이미지 데이터의 픽셀들이 모두 실질적으로 동일한 색상을 갖거나, 또는 기준 색상의 픽셀수와 기준 색상으로부터 일정 범위 내에 있는 색상들의 픽셀수의 차이가 현저하게 큰 경우에는, 기준 색상 범위가 아닌 기준 색상만을 필터링하여 모델링 대상체에 대한 3차원 표면 모델을 생성할 수 있다.

또는, 도 6 내지 도 11에 도시된 컬러 히스토그램과 같이, 카운팅된 픽셀수가 최대인 색상 요소값의 양측으로 소정의 분포를 가지는 경우에는 기준 색상이 아닌 기준 색상 범위를 필터링하여 모델링 대상체에 대한 3차원 표면 모델을 생성할 수 있다.

이와 같이, 필터링 대상체의 색상 중 기준 색상 또는 기준 색상 범위에 해당하는 색상이 3차원 표면 모델 생성 과정에서 제외됨에 따라, 불필요한 시스템 리소스의 사용을 방지하고, 신속한 3차원 모델링 및 신뢰도 높은 3차원 표면 모델을 획득할 수 있게 된다. 3차원 스캐너는 대상체의 표면에서 반사된 빛을 수용하여 3차원 모델링을 수행하므로, 동일한 장갑을 모델링 하더라도 모델링 색상이 미세하게 변화할 수 있다. 본 발명에 따른 3차원 모델링 방법에서는, 조명 조건을 포함한 다양한 스캔 환경의 변화가 발생하더라도, 그 스캔 환경 변화에 부합하는 필터링 기준 색상 또는 기준 색상 범위를 결정, 추출할 수 있다.

이하에서는, 본 발명에 따른 3차원 모델링 장치에 대하여 설명하기로 한다. 전술한 본 발명에 따른 3차원 모델링 방법에 대한 설명과 중복되는 부분에 관한 설명은 일부 생략한다.

도 14는 본 발명에 따른 3차원 모델링 장치의 개략적인 구성도이고, 도 15는 본 발명의 대안적인 실시예에 따른 3차원 모델링 장치의 개략적인 구성도이다.

도 14 및 도 15를 참조하면, 본 발명에 따른 3차원 모델링 장치(10)는 필터링 대상체를 스캔하여 이미지 데이터를 획득하는 스캔부(100)와, 이미지 데이터에 대해 필터링의 대상이 되는 기준 색상 또는 기준 색상 범위를 결정하여 필터링하는 제어부(200)를 포함할 수 있다.

먼저, 스캔부(100)는 필터링 대상체를 스캔하고 필터링 대상체에 대한 이미지 데이터를 획득할 수 있다. 3차원 스캐너를 이용하여 환자의 구강 내부(치아, 잇몸 등을 의미한다)에 대한 3차원 모델을 획득하는 과정을 예시로 설명하면, 환자의 구강 내부의 치아는 모델링 대상체이고, 상기 사용자의 손 또는 위생장갑, 환자의 구강으로부터 기인한 타액, 구강 내부의 이물질 등은 필터링 대상체가 된다. 또한, 스캔부(100)는 3차원 표면 모델을 생성하기 위한 모델링 대상체를 스캔할 수도 있다.

스캔부(100)는 필터링 대상체 및 모델링 대상체를 스캔하기 위한 광 조사부(110)와 광 수용부(120)를 포함할 수 있다. 광 조사부(110)는 광 프로젝터일 수 있으며, 대상체를 향해 다양한 형태의 광을 조사할 수 있다. 여기서, 상기 광은 다양한 파장을 가질 수 있으며, 필요에 따라 패턴 형태의 구조광일 수 있다.

광 조사부(110)를 이용하여 RGB 광원을 독립적으로 조사하여 전술한 바와 같은 적어도 2 이상의 색상 요소를 가지는 유채색 계열의 색상 모델, 가령 RGB 모델을 획득할 수 있으나, 컬러 이미지 센서와 같이 광 조사부(110)로부터의 광 조사 없이 이미지데이터를 획득하여, 상기 이미지데이터에 포함된 색상을 RGB 모델로 획득할 수 있다.

광 수용부(120)는 대상체의 표면으로부터 반사된 광을 수용하여 이미지 데이터를 획득할 수 있다. 이 때, 이미지 데이터는 2차원 이미지 데이터 또는 3차원 이미지 데이터를 포함할 수 있다. 광 수용부(120)는 적어도 하나의 카메라와, 상기 카메라와 전기적으로 연결된 컬러 이미징 센서를 포함할 수 있다. 상기 카메라는 스캔부(100)로 인입된 광을 렌즈를 통해 수용하며, 컬러 이미징 센서는 수용된 광을 분석하여 이미지 데이터를 생성할 수 있다. 컬러 이미징 센서는 CCD 센서, CMOS 센서 등 통상적으로 알려진 센서들 중 적어도 하나가 채택 및 사용될 수 있다.

한편, 스캔부(100)는 필터링 대상체를 스캔할 때 2차원 이미지 데이터를 획득할 수 있으며, 필터링 대상체를 스캔하여 획득한 2차원 이미지 데이터는 색상 정보를 나타내는 제1 타입 이미지 데이터와 깊이 정보를 나타내는 제2 타입 이미지 데이터를 포함할 수 있다. 필요에 따라, 스캔부(100)는 필터링 대상체를 스캔하는 과정에서 필터링 대상체의 색상 정보를 나타내는 제1 타입 이미지 데이터만을 획득할 수도 있다. 이와 관련된 내용은 전술한 바와 동일하다.

한편, 제어부(200)는 획득한 이미지 데이터를 연산 처리한다. 제어부(200)는 스캔부(100)에서 획득한 이미지데이터로부터 색상을 획득하고, 필터링의 대상이 되는 기준 색상 또는 기준 색상 범위를 결정한다. 도 14에 도시된 바와 같이, 제어부(200)는 스캔부(100)와 물리적으로 이격되어 형성된 별도의 부분으로 구성될 수 있고, 도 15에 도시된 바와 같이, 스캔부(100)의 일 구성요소로 포함된 프로세서로 구성될 수 있다.

이하에서는 제어부(200)의 세부 구성 및 각 구성의 동작에 대해 설명하기로 한다.

제어부(200)는 필터링 대상체의 이미지 데이터로부터 색상을 획득한다. 상기 이미지 데이터는 2차원 이미지 데이터 또는 3차원 이미지 데이터이며, 2차원 이미지 데이터로부터 필터링 대상체의 색상을 획득하는 구체적인 방법은 전술한 바와 같다.

제어부(200)는 이미지 데이터에 포함된 색상의 색상 모델을 구성하는 색상 요소별로, 색상 요소값을 갖는 픽셀수를 카운팅하여 컬러 히스토그램을 생성하는 컬러 히스토그램 생성부(210)를 포함할 수 있다.

전술한 바와 같이, 컬러 히스토그램은 이미지 데이터에서 특정 색상 요소값을 갖는 픽셀을 카운팅한 픽셀수(N)를 세로축에 배열할 수 있다. 여기서, RGB 모델을 사용하여 컬러 히스토그램을 생성할 때의 색상 요소는 Red, Green, Blue이며, HSV 모델을 사용하여 컬러 히스토그램을 생성할 때의 색상 요소는 Hue, Saturation, Value이다.

한편, 제어부(200)는 스캔부(100)에서 이미지 데이터를 획득할 때 사용하는 색상 모델과 상이한 색상 모델로 컬러 히스토그램을 생성할 수 있다. 보다 상세하게는, 제어부(200) 중 컬러 히스토그램 생성부(210)는 스캔부(100)에서 이미지 데이터를 획득하는데 사용하는 색상 모델과 상이한 색상 모델로 컬러 히스토그램을 생성할 수 있다. 예를 들면, 스캔부(100)에서 획득하는 이미지 데이터는 RGB 모델에 근거할 수 있다. 제어부(200) 중 컬러 히스토그램 생성부(210)는 RGB 모델로 생성된 이미지 데이터의 색상 정보를 HSV 모델로 변환하여 HSV 모델에 근거한 컬러 히스토그램을 생성할 수 있다. 컬러 히스토그램 생성부(210)에서 HSV 모델을 사용하면, 유사한 색상들을 그룹화하는 것이 용이하여 기준 색상 범위를 결정하는 것이 용이해질 수 있다.

한편, 제어부(200)는 기생성된 컬러 히스토그램에 대한 이동 평균 보정(moving average calibration)을 수행하는 히스토그램 보정부(240)를 더 포함할 수 있다. 히스토그램 보정부(240)는 전술한 컬러 히스토그램에 의해 용이하게 기준 색상 및 기준 색상 범위를 획득하기 어려운 경우, 컬러 히스토그램을 보정할 수 있다. 보정된 컬러 히스토그램은 이동 평균 보정 방법을 사용할 수 있으며, 보다 상세하게는 색상 요소별로 획득한 컬러 히스토그램을 일정한 구간으로 나누어 구간별로 보정을 수행하는 것일 수 있다. 히스토그램 보정부(240)에 의해 생성된 보정 히스토그램은 카운팅된 픽셀수가 최대인 부분이 부각되고, 나머지 부분은 카운팅된 픽셀수가 최대인 색상 요소값의 양측으로 소정의 분포를 가지게 되어, 기생성된 컬러 히스토그램보다 기준 색상 및 기준 색상 범위를 획득하기 용이해진다.

전술한 바와 달리, 본 발명의 다른 실시예로써, 컬러 히스토그램 생성부(210)와 히스토그램 보정부(240)를 통하지 않고 기준 색상을 획득할 수도 있다. 제어부(200)는 이미지 데이터로부터 선택된 색상을 기준 색상으로 결정할 수 있다. 예시적으로, 이미지 데이터로부터 선택된 색상은 유저 인터페이스 상 구비되는 컬러 피커(color picker)를 통해 소정 픽셀이 갖는 색상을 추출할 수 있다. 다만, 이에 한정되는 것은 아니며, 이미지 데이터로부터 적어도 하나의 색상을 추출할 수 있는 어떠한 방식이라도 사용될 수 있다. 또한, 기준 색상 범위는 전술한 바와 같은 추출된 색상으로부터 기 설정된 소정 범위로 결정될 수 있다.

한편, 제어부(200)는 컬러 히스토그램 생성부(210)에서 획득한 컬러 히스토그램으로부터 기준 색상 또는 기준 색상 범위를 결정하는 기준 결정부를 포함할 수 있다. 여기서, 기준 결정부는 기준 색상을 결정하는 기준 색상 결정부(220)와, 기준 색상 범위를 결정하는 기준 색상 범위 결정부(230) 중 적어도 하나를 포함할 수 있다.

기준 색상 결정부(220)는 컬러 히스토그램에서 카운팅된 픽셀수가 최대인 색상 요소값을 기준 색상 요소값으로 결정할 수 있다. 색상 요소별 기준 색상 요소값(Hs, Ss, Vs)은 하나의 색상을 표현하게 되고, 이것을 기준 색상으로 결정할 수 있다.

또한, 기준 색상 결정부(220)는 이동 평균 보정에 의해 보정된 컬러 히스토그램에서 카운팅된 픽셀수가 최대인 색상 요소값을 기준 색상 요소값으로 결정할 수도 있다. 기준 색상 결정부(220)에서는 전술한 기준 색상을 결정하는 단계가 수행될 수 있으며, 기준 색상을 결정하는 과정에 대해서는 전술한 바와 같다.

또한, 제어부(200)는 기준 색상으로부터 필터링 범위인 기준 색상 범위를 결정하는 기준 색상 범위 결정부(230)를 포함할 수 있다. 기준 색상 결정부(220)에서 기준 색상이 결정되면, 기준 색상 범위 결정부(230)는 결정된 기준 색상에 대하여 소정의 조건을 만족하는 영역을 기준 색상 범위로 결정할 수 있다. 이 때, 기준 색상 범위 결정부(230)는 각각의 색상 요소별 기준 색상 요소값의 양측으로 소정 범위의 임계색상 요소값을 설정하고, 이로부터 기준 색상 범위를 결정할 수 있다. 이 때, 소정 범위는 고정된 범위일 수 있으며, 기준 색상 범위 결정부(230)는 기준 색상이 가지는 색상 요소값들로부터 동일 간격을 가지도록 이격된 요소값을 임계색상 요소값으로 설정할 수 있다. 임계색상 요소값을 설정하는 구체적인 과정은 전술한 바와 같다.

또한, 기준 색상 범위 결정부(230)는 카운팅된 픽셀수가 최대인 색상 요소값이 갖는 픽셀수의 소정 비율에 해당하는 색상 요소값을 임계색상 요소값으로 설정하여 기준 색상 범위를 결정할 수도 있다. 예를 들면, Hue에 대한 색상 요소값들이 배열된 H-N 컬러 히스토그램에서, 가장 많은 픽셀수(Nmax)의 소정 비율(α)에 해당하는 픽셀수를 가지는 색상 요소값을 임계색상 요소값으로 설정할 수 있다. 즉, 임계색상 요소값이 가지는 픽셀수는 α·Nmax 일 수 있다. 이와 같이 비율을 사용하여 기준 색상 범위를 결정함으로써, 필터링 대상체에 부합하는 색상들을 필터링할 수 있다. 특히, 컬러 히스토그램이 가장 많은 픽셀수(Nmax)를 기준으로 좌우 비대칭으로 생성된 경우에도 신뢰도 높은 기준 색상 범위를 획득하여, 필터링 대상체에 부합하는 색상들이 필터링될 수 있다.

여기서, 기준 색상 범위 결정부(230)에서 각각의 색상 요소별로 적용되는 비율은 상이할 수 있다. 예를 들면, Hue 색상 요소에서는 정확한 필터링을 위해 상대적으로 좁은 기준 색상 범위를 가지고, Saturation 색상 요소 및 Value 색상 요소에서는 상대적으로 넓은 기준 색상 범위를 가질 수 있다. 따라서, Hue 색상 요소에 대한 컬러 히스토그램에 적용되는 비율 α는, Saturation 색상 요소에 대한 컬러 히스토그램에 적용되는 비율 β, 및 Value 색상 요소에 대한 컬러 히스토그램에 적용되는 비율 γ보다 클 수 있다.

한편, 제어부(200)는 기준 색상 범위 결정부(230)에 의해 설정된 임계색상 요소값의 범위가 설정 범위 미만인 경우, 설정 범위를 만족하도록 임계색상 요소값을 조정하는 기준 색상 범위 조정부(250)를 더 포함할 수 있다. 기준 색상 범위 조정부(250)는 전술한 소정 비율을 적용하여 획득한 기준 색상 범위가 사용자가 의도하는 설정 범위에 미달하는 경우, 설정 범위까지 기준 색상 범위를 확장할 수 있다. 보다 상세하게는, 기준 색상 범위를 확장하는 것은 기준 색상 범위의 임계색상 요소값을 컬러 히스토그램에서 양측으로 이동시키는 것일 수 있다. 즉, 기준 색상 범위 조정부(250)는 기준 색상 범위의 하한인 제1 임계색상 요소값을 컬러 히스토그램의 좌측으로 조정하고, 기준 색상 범위의 상한인 제2 임계색상 요소값을 컬러 히스토그램의 우측으로 조정할 수 있다.

여기서, 기준 색상 범위 조정부(250)는 기준 색상 요소값으로부터 임계색상 요소값까지의 차이에 비례하여 임계색상 요소값을 조정할 수 있다. 이는, 기준 색상 요소값으로부터 제1 임계색상 요소값까지의 구간 거리(전술한 제1 거리)와, 기준 색상 요소값으로부터 제2 임계색상 요소값까지의 구간 거리(전술한 제2 거리)에 비례하여 기준 색상 범위를 확장하는 것일 수 있다. 이에 따라, 기준 색상 범위 조정부(250)는 기준 색상 요소값으로부터의 구간 거리가 반영되도록 임계색상 요소값을 조정할 수 있다. 결과적으로, 조정 전 기준 색상 범위의 범위 특성을 유지하면서 설정 범위를 만족하도록 임계색상 요소값을 조정하는 이점이 있다. 임계색상 요소값을 조정하는 과정에 대해서는 전술한 바와 같으며, 기준 색상 범위 조정부(250)는 전술한 수학식 1 또는 수학식 2에 의해 임계색상 요소값의 조정을 수행할 수 있다.

전술한 제어부(200)의 구성에 의해, 기준 색상 또는 기준 색상 범위는 스캔부(100)로부터 획득한 이미지 데이터에 의해 결정될 수 있다. 이 때, 제어부(200)는 필터링 대상체를 스캔하여 획득한 이미지 데이터들 중 색상 정보를 나타내는 제1 타입 이미지 데이터를 사용하여 기준 색상 또는 기준 색상 범위를 결정할 수 있다. 이에 따라, 필터링 대상체는 3차원 모델링되지 않고, 2차원 이미지 데이터에서 기준 색상 또는 기준 색상 범위가 결정되므로, 본 발명에 따른 3차원 모델링 장치의 연산 부하가 감소하며 연산 속도가 향상되는 이점이 있다. 제어부(200)가 수행하는 색상 필터링 과정은 전술한 내용과 동일하다.

제어부(200)는 전술한 바에 따라 필터링 대상체의 이미지 데이터로부터 기준 색상 또는 기준 색상 범위를 필터링한한 후, 모델링 대상체를 스캔하여 모델링 대상체에 대한 3차원 표면 모델을 생성할 수 있고, 3차원 표면 모델을 생성하는 과정에서 기준 색상 또는 기준 색상 범위를 제외하여 모델링 대상체에 대한 3차원 표면 모델을 생성할 수 있다.

3차원 표면 모델을 생성하는 3차원 모델링 기술로는, 전술한 구조광을 이용한 기술을 비롯하여, 복수의 2차원 이미지 데이터들을 이용한 3차원 표면 모델을 생성하는 공지의 기술이 이용될 수 있다.

또한, 제어부(200)가 모델링 대상체의 3차원 표면 모델을 생성할 때, 필터링 대상체의 이미지 데이터를 기초로 결정한 기준 색상 또는 기준 색상 범위에 해당하는 색상을 가지는 모델링 대상체의 제1 타입 이미지 데이터의 픽셀들이 감지될 수 있다. 이 때, 기준 색상 또는 기준 색상 범위에 해당되는 색상을 가지는 픽셀들이 대응되는 제2 타입 이미지 데이터의 픽셀들은, 모델링 대상체의 3차원 표면 모델 생성시 제외된다. 이에 따라, 기준 색상 또는 기준 색상 범위에 해당되는 색상을 가지는 픽셀이 3차원 모델링되지 않으므로, 모델링 대상체의 3차원 표면 모델을 보다 신속하고 정확하게 획득할 수 있다.

도 16은 기준 색상 범위를 이용한 필터링 없이 모델링 대상체를 스캔한 결과를 도시한 비교예의 도면이고, 도 17은 기준 색상 범위의 필터링을 적용하여 모델링 대상체를 스캔한 결과를 도시한 본 발명의 일 실시예에 따른 도면이다.

도 16에 도시된 바와 같이, 본 발명에 따른 3차원 모델링 방법에서 개시한 기준 색상 범위를 이용한 필터링 없이 모델링 대상체를 스캔하는 경우 필터링 대상체(D)에 대한 이미지가 함께 입력되고, 해당 부분에 대한 색상이 획득되어 디스플레이부(300)를 통해 표시된다. 이에 따라, 불필요한 필터링 대상체(D)가 3차원 표면 모델로 생성되어, 모델링 대상체에 대한 3차원 표면 모델의 신뢰도가 감소하게 된다.

이와 대조적으로, 도 17에 도시된 바와 같이, 본 발명에 따른 3차원 모델링 방법 및 이를 사용하는 3차원 모델링 장치에 개시한 기준 색상 범위의 필터링이 적용된 경우, 필터링 대상체(D)가 모델링 대상체에 대한 3차원 표면 모델 생성시 제외될 수 있으며, 사용자는 신뢰도 높은 모델링 대상체의 3차원 표면 모델을 획득할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

S110: 필터링 대상체 스캔 단계 S120: 필터링 단계
S121: 컬러 히스토그램 생성 단계 S122: 기준 색상 결정 단계
S123: 기준 색상 범위 결정 단계 S124: 기준 색상 범위 조정 단계
S1241: 설정 범위 판단 단계 S1242: 임계색상 요소값 조정 단계
S130: 모델링 대상체 스캔 단계 S140: 3차원 표면 모델 생성 단계
P110: 이미지 데이터 획득 단계 P120: 픽셀 색상 획득 단계
P130: 기준 색상 결정 단계 P140: 기준 색상 범위 판단 단계
P150: 색상 삭제 단계 P160: 3차원 표면 모델 변환 단계
10: 3차원 모델링 장치 100: 스캔부
110: 광 조사부 120: 광 수용부
200: 제어부 210: 히스토그램 생성부
220: 기준 색상 결정부 230: 기준 색상 범위 결정부
240: 히스토그램 보정부 250: 기준 색상 범위 조정부
300: 디스플레이부 20: 3차원 모델링 장치
D: 필터링 대상체 Hs: 기준 색상 요소값
H1: 제1 임계색상 요소값 H2: 제2 임계색상 요소값
H1': 보정 제1 임계색상 요소값 H2': 보정 제2 임계색상 요소값
d1: 제1 거리 d2: 제2 거리
d1': 조정된 제1 거리 d2': 조정된 제2 거리
RT: 설정 범위

Claims (20)

1. 필터링 대상체를 스캔하여 적어도 하나의 이미지 데이터를 획득하는 스캔 단계;
   상기 스캔 단계에서 획득한 상기 이미지 데이터에 포함된 색상으로부터 기준 색상 또는 기준 색상 범위를 결정하고 상기 기준 색상 또는 기준 색상 범위를 필터링하는 단계; 및
   모델링 대상체를 스캔하고 상기 기준 색상 또는 기준 색상 범위를 제외하여 상기 모델링 대상체에 대한 3차원 표면 모델을 생성하는 단계;를 포함하고,
   상기 이미지 데이터에 포함된 색상은 적어도 2개의 색상 요소를 가지는 색상 모델을 사용하여 획득되고,
   상기 필터링하는 단계는 상기 색상 모델에 따라 각각의 색상 요소별로 생성되는 컬러 히스토그램을 기초로 상기 기준 색상 또는 기준 색상 범위를 필터링하며,
   상기 색상 모델은 H(Hue) 색상 요소, S(Saturation) 색상 요소, 및 V(Value) 색상 요소를 포함하는 HSV 모델을 포함하고,
   상기 필터링하는 단계는,
   상기 이미지 데이터에 포함된 각 픽셀에 포함된 색상의 색상 요소값과, 동일한 색상 요소값을 갖는 색상을 포함하는 픽셀을 카운팅한 픽셀수를 이용하여 컬러 히스토그램을 생성하는 단계; 및
   상기 컬러 히스토그램으로부터 상기 기준 색상 또는 상기 기준 색상 범위를 결정하는 단계;를 포함하고,
   상기 기준 색상 또는 상기 기준 색상 범위를 결정하는 단계 중 기준 색상을 결정하는 단계는,
   상기 컬러 히스토그램에서 상기 카운팅된 픽셀수가 최대인 색상 요소값으로부터 상기 기준 색상을 결정하고,
   상기 기준 색상 범위를 결정하는 단계는,
   상기 카운팅된 픽셀수가 최대인 색상 요소값이 갖는 픽셀수의 소정 비율에 해당하는 색상 요소값을 임계색상 요소값으로 설정하여 상기 기준 색상 범위를 결정하며,
   상기 H 색상 요소에 대해서는 α의 비율을 적용하고, 상기 S 색상 요소에 대해서는 β의 비율을 적용하며, 상기 V 색상 요소에 대해서는 γ의 비율을 적용하고,
   상기 H 색상 요소에 적용되는 비율 α는 상기 S 색상 요소에 적용되는 비율 β, 및 상기 V 색상 요소에 적용되는 비율 γ보다 큰 값을 가지는 것을 특징으로 하는 3차원 모델링 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 컬러 히스토그램을 생성하는 단계는, 이동 평균 보정(moving average calibration)을 통해 상기 컬러 히스토그램을 보정하는 히스토그램 보정 단계를 더 포함하고,
   상기 기준 색상 또는 기준 색상 범위를 결정하는 단계는 상기 히스토그램 보정 단계 이후 보정된 컬러 히스토그램을 통해 상기 기준 색상 또는 기준 색상 범위를 결정하는 것을 특징으로 하는 3차원 모델링 방법.
4. 청구항 1에 있어서,
   상기 필터링하는 단계는,
   상기 스캔 단계에서 상기 이미지 데이터의 색상을 획득하는데 사용된 색상 모델과 상이한 색상 모델로 컬러 히스토그램을 생성하는 것을 특징으로 하는 3차원 모델링 방법.
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 청구항 1에 있어서,
   상기 필터링하는 단계는, 상기 임계색상 요소값의 범위가 설정 범위 미만인 경우, 상기 설정 범위를 만족하도록 상기 임계색상 요소값을 조정하는 기준 색상 범위 조정 단계;를 더 포함하는 것을 특징으로 하는 3차원 모델링 방법.
10. 청구항 1에 있어서,
    상기 스캔 단계에서 획득하는 상기 필터링 대상체의 상기 이미지 데이터는, 상기 필터링 대상체의 색상을 획득하기 위한 적어도 하나의 제1 타입 이미지 데이터와 상기 필터링 대상체의 깊이 정보를 획득하기 위한 적어도 하나의 제2 타입 이미지 데이터를 포함하고,
    상기 필터링하는 단계는,
    상기 제1 타입 이미지 데이터를 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링하는 것을 특징으로 하는 3차원 모델링 방법.
11. 청구항 1에 있어서,
    상기 스캔 단계는,
    상기 필터링 대상체의 색상을 획득하기 위한 적어도 하나의 2차원 이미지 데이터를 획득하고,
    상기 필터링하는 단계는,
    상기 적어도 하나의 2차원 이미지 데이터를 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링하는 것을 특징으로 하는 3차원 모델링 방법.
12. 청구항 1에 있어서,
    상기 3차원 표면 모델을 생성하는 단계는,
    상기 모델링 대상체를 스캔하여 획득한 상기 모델링 대상체의 복수의 2차원 이미지 데이터를 기초로 상기 3차원 표면 모델을 생성하고,
    상기 모델링 대상체의 복수의 2차원 이미지 데이터는,
    상기 모델링 대상체의 색상을 획득하기 위한 제1 타입 이미지 데이터와 상기 모델링 대상체의 깊이 정보를 획득하기 위한 제2 타입 이미지 데이터를 포함하고,
    상기 모델링 대상체의 상기 제1 타입 이미지 데이터 중 상기 기준 색상 또는 상기 기준 색상 범위에 해당하는 픽셀과 대응되는 상기 제2 타입 이미지 데이터의 픽셀은, 상기 3차원 표면 모델을 생성할 때 제외되는 것을 특징으로 하는 3차원 모델링 방법.
13. 필터링 대상체를 스캔하여 이미지 데이터를 획득하는 스캔부; 및
    상기 이미지 데이터에 대해 필터링의 대상이 되는 기준 색상 또는 기준 색상 범위를 결정하여 필터링하는 제어부;를 포함하고,
    상기 이미지 데이터에 포함된 색상은 적어도 2개의 색상 요소를 가지는 색상 모델을 사용하여 획득되고,
    상기 제어부는 상기 색상 모델에 따라 각각의 색상 요소별로 생성되는 컬러 히스토그램을 기초로 상기 기준 색상 또는 기준 색상 범위를 필터링하고,
    상기 색상 모델은 H(Hue) 색상 요소, S(Saturation) 색상 요소, 및 V(Value) 색상 요소를 포함하는 HSV 모델을 포함하고,
    상기 제어부는,
    상기 이미지 데이터에 포함된 각 픽셀에 포함된 색상의 색상 요소값과, 동일한 색상 요소값을 갖는 색상을 포함하는 픽셀을 카운팅한 픽셀수를 이용하여 컬러 히스토그램을 생성하는 컬러 히스토그램 생성부; 및
    상기 컬러 히스토그램으로부터 기준 색상을 결정하는 기준 색상 결정부, 및 상기 컬러 히스토그램으로부터 기준 색상 범위를 결정하는 기준 색상 범위 결정부 중 적어도 하나를 포함하는 기준 결정부;를 포함하고,
    상기 기준 색상 결정부는,
    상기 컬러 히스토그램에서 상기 카운팅된 픽셀수가 최대인 색상 요소값으로부터 상기 기준 색상을 결정하고,
    상기 기준 색상 범위 결정부는,
    상기 카운팅된 픽셀수가 최대인 색상 요소값이 갖는 픽셀수의 소정 비율에 해당하는 색상 요소값을 임계색상 요소값으로 설정하여 상기 기준 색상 범위를 결정하며,
    상기 H 색상 요소에 대해서는 α의 비율을 적용하고, 상기 S 색상 요소에 대해서는 β의 비율을 적용하며, 상기 V 색상 요소에 대해서는 γ의 비율을 적용하고,
    상기 H 색상 요소에 적용되는 비율 α는 상기 S 색상 요소에 적용되는 비율 β, 및 상기 V 색상 요소에 적용되는 비율 γ보다 큰 값을 가지는 것을 특징으로 하는 3차원 모델링 장치.
14. 청구항 13에 있어서,
    상기 제어부는,
    상기 컬러 히스토그램에 대한 이동 평균 보정(moving average calibration)을 수행하는 히스토그램 보정부;를 더 포함하고,
    상기 컬러 히스토그램 생성부는 상기 스캔부에서 상기 이미지 데이터를 획득하는데 사용하는 색상 모델과 상이한 색상 모델로 상기 컬러 히스토그램을 생성하고,
    상기 기준 결정부는 상기 히스토그램 보정부의 상기 이동 평균 보정 이후 보정된 컬러 히스토그램을 통해 상기 기준 색상 또는 상기 기준 색상 범위를 결정하는 것을 특징으로 하는 3차원 모델링 장치.
15. 삭제
16. 삭제
17. 청구항 14에 있어서,
    상기 제어부는,
    상기 기준 색상 범위 결정부에 의해 설정된 상기 임계색상 요소값의 범위가 설정 범위 미만인 경우, 상기 설정 범위를 만족하도록 상기 임계색상 요소값을 조정하는 기준 색상 범위 조정부를 더 포함하는 것을 특징으로 하는 3차원 모델링 장치.
18. 청구항 13에 있어서,
    상기 스캔부에서 획득하는 상기 필터링 대상체의 상기 이미지 데이터는, 상기 필터링 대상체의 색상을 획득하기 위한 적어도 하나의 제1 타입 이미지 데이터와 상기 필터링 대상체의 깊이 정보를 획득하기 위한 적어도 하나의 제2 타입 이미지 데이터를 포함하고,
    상기 제어부는,
    상기 제1 타입 이미지 데이터를 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링하는 것을 특징으로 하는 3차원 모델링 장치.
19. 청구항 13에 있어서,
    상기 스캔부는,
    상기 필터링 대상체의 색상을 획득하기 위한 2차원 이미지 데이터들을 획득하고,
    상기 제어부는,
    상기 2차원 이미지 데이터들을 사용하여 상기 기준 색상 또는 기준 색상 범위를 필터링하는 것을 특징으로 하는 3차원 모델링 장치.
20. 청구항 13에 있어서,
    상기 제어부는,
    상기 스캔부가 모델링 대상체를 스캔하여 획득한 상기 모델링 대상체의 복수의 2차원 이미지 데이터를 기초로 3차원 표면 모델을 생성하고,
    상기 모델링 대상체의 복수의 2차원 이미지 데이터는,
    상기 모델링 대상체의 색상을 획득하기 위한 제1 타입 이미지 데이터와 상기 모델링 대상체의 깊이 정보를 획득하기 위한 제2 타입 이미지 데이터를 포함하고,
    상기 모델링 대상체의 상기 제1 타입 이미지 데이터 중 상기 기준 색상 또는 상기 기준 색상 범위에 해당하는 픽셀과 대응되는 상기 제2 타입 이미지 데이터의 픽셀은, 상기 3차원 표면 모델을 생성할 때 제외되는 것을 특징으로 하는 3차원 모델링 장치.
    

Images