KR102551194B1 - 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 3차원(3-demension) 모델의 텍스처를 생성하기 위한 것으로, 본 발명의 일 실시 예에 따른 영상 처리 장치에 의하여 수행되는 영상 처리 방법은, 타겟(target)을 촬영하기 위한 복수의 카메라들 중 기준 카메라를 이용하여 기본 텍스처를 생성하는 단계, 상기 복수의 카메라들 중 적어도 하나의 후보 카메라를 이용하여 적어도 하나의 후보 이미지를 생성하는 단계, 및 상기 적어도 하나의 후보 이미지를 이용하여 상기 기본 텍스처의 노이즈를 제거하는 단계를 포함할 수 있다.

Description

3차원 모델의 텍스처를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING TEXTURES OF 3-DIMENSION MODEL}

본 발명은 영상 처리에 관한 것으로, 3차원(3-demension) 모델의 텍스처를 생성하기 위한 방법 및 장치에 대한 것이다.

3차원(3-demension) 모델링은 현실 세계 또는 비현실 세계를 3차원적인 형태로 모델화 또는 가상화하여 구현하는 것을 뜻한다. 이러한 3차원 모델링은 3차원의 대상 객체를 기하학적 데이터로 표현함으로써 이루어질 수 있다.

과거에는, 현실 세계의 측량성과 기반 3차원 묘사 구축 방식이 비효율적으로 간주됨에 따라 측량성과를 이용하지 않고, 사진이나 현장 답사를 통한 목(目)측에 근거한 대략적 3D 모델링이 이뤄지거나 비현실 세계에 대한 모델링이 주로 이루었다. 그러나, 근래에는, 측량 기술의 발달과 사진 측량 툴의 개발 및 컴퓨터 그래픽 기술의 발전으로 현실 세계에 대한 3D 모델링 작업이 점진적으로 진행되고 있다.

일 예로, 3D 모델링은 대상 객체를 3D 스캐닝함으로써 생성될 수 있다. 스캐닝에 의해 생성된 픽쳐(picture)는 해당 각 포인트에서 한 표면에 대한 거리를 기술한다. 따라서, 픽처 내의 각 포인트의 3차원 위치가 식별될 수 있다. 이러한 기술의 경우, 대상 객체의 모든 방향들에서의 정보를 입수하기 위해 여러 방향들에서의 스캔 작업이 필요하며, 이러한 스캔 작업은 상당한 작업 시간을 소요하게 한다.

본 발명은 3차원(3-demension) 모델의 텍스처(texture)를 효과적으로 생성하기 위한 방법 및 장치를 제공하기 위한 것이다.

본 발명은 3차원 모델의 텍스처에서 노이즈(noise)를 효과적으로 제거하기 위한 방법 및 장치를 제공하기 위한 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시 예에 따른 영상 처리 장치에 의하여 수행되는 영상 처리 방법은, 타겟(target)을 촬영하기 위한 복수의 카메라들 중 기준 카메라를 이용하여 기본 텍스처를 생성하는 단계, 상기 복수의 카메라들 중 적어도 하나의 후보 카메라를 이용하여 적어도 하나의 후보 이미지를 생성하는 단계, 및 상기 적어도 하나의 후보 이미지를 이용하여 상기 기본 텍스처의 노이즈를 제거하는 단계를 포함할 수 있다.

여기서, 상기 기준 카메라는, 상기 복수의 카메라들 중 상기 타겟의 촬영되는 면을 촬영 범위에 포함하고, 상기 면과 수직인 방향과 가장 유사한 렌즈 방향을 가지는 카메라를 포함할 수 있다.

또한, 상기 적어도 하나의 후보 카메라는, 상기 복수의 카메라들 중 상기 타겟의 촬영되는 면을 촬영 범위에 포함하는 적어도 하나의 카메라를 포함할 수 있다.

상기 노이즈를 제거하는 단계는, 상기 기본 텍스처 및 상기 적어도 하나의 후보 이미지에서 동일한 3차원 좌표 상의 픽셀을 표현하는 값들을 결합함으로써 보정된 값을 결정하는 단계, 및 상기 보정된 값을 해당 픽셀의 값으로서 설정하는 단계를 포함할 수 있다.

상기 값들의 결합은, 상기 값들의 평균화를 포함하며, 상기 평균화를 위한 가중치들은, 상기 기본 텍스처를 분할한 복수의 영역들에 따라 달라질 수 있다.

상기 노이즈를 제거하는 단계는, 상기 기본 텍스처 및 상기 적어도 하나의 후보 이미지에서 동일한 3차원 좌표 상의 픽셀을 표현하는 값들에 대한 후보 이미지 별 차분(differential) 값들을 결정하는 단계, 및 상기 차분 값들 중 최대 값을 기본 텍스처에 적용하는 단계를 포함할 수 있다.

상기 노이즈를 제거하는 단계는, 상기 기본 텍스처의 경계선의 모양에 따라 3차원(3-dimension) 객체(object)를 모핑(morphing)하고, 모핑된 3차원 객체에 상기 기본 텍스처를 투영하는 단계, 및 상기 적어도 하나의 후보 이미지로부터 생성된 보조 텍스처의 경계선의 모양에 따라 상기 3차원 객체를 모핑하고, 모핑된 3차원 객체에 상기 보조 텍스처를 투영하는 단계를 포함할 수 있다.

상기 노이즈를 제거하는 단계는, 상기 노이즈에 관련된 정보를 획득하는 단계, 상기 노이즈에 관련된 정보에 기반하여 상기 기본 텍스처에서 노이즈를 추출하는 단계, 및 상기 노이즈가 존재하는 영역에 대하여 상기 노이즈를 제거하기 위한 연산을 수행하는 단계를 포함할 수 있다.

상기 방법은, 상기 후보 이미지들이 색상을 상기 기준 텍스처에 기반하여 조정하는 단계를 더 포함할 수 있다. 여기서, 상기 색상을 조정하기 위한 조정 값은, 상기 노이즈가 없는 부분의 픽셀 값들에 기반하여 결정될 수 있다.

본 발명의 일 실시 예에 따른 영상 처리 장치는, 프로세서 및 메모리를 포함한다. 상기 프로세서는, 타겟(target)을 촬영하기 위한 복수의 카메라들 중 기준 카메라를 이용하여 기본 텍스처를 생성하고, 상기 복수의 카메라들 중 적어도 하나의 후보 카메라를 이용하여 적어도 하나의 후보 이미지를 생성하고, 상기 적어도 하나의 후보 이미지를 이용하여 상기 기본 텍스처의 노이즈를 제거할 수 있다.

본 발명의 일 실시 예에 따른 컴퓨터로 읽을 수 있는 기록 매체는 전술한 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체일 수 있다.

본 발명에 따르면, 3차원(3-dimension) 모델을 위한 보다 우수한 품질의 텍스처(texture)를 생성할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따라 3차원(3-dimension) 모델의 텍스처(texture)의 소스(source) 이미지 촬영 환경의 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따라 3차원 모델의 텍스처를 생성하기 위한 절차의 일 실시 예를 나타내는 도면이다.
도 4a 및 4b는 본 발명의 일 실시 예에 따른 3차원 좌표계에서 표현되는 3차원 모델 및 2차원 이미지의 맵핑의 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따라 3차원 모델의 텍스처를 생성하기 위한 절차의 다른 실시 예를 나타내는 도면이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다.

또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일실시예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시예를 의미한다.

또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

이하 본 발명은 3차원(3-demension) 모델의 텍스처를 생성하기 위한 방법 및 장치에 대해 제안한다. 특히, 본 발명은 3차원 모델의 텍스처를 생성함에 있어서, 소스(source) 이미지에 포함된 노이즈(noise)를 감소 또는 제거하기 위한 기술을 제안한다.

3차원 모델에 텍스처를 맵핑하기 위해, 2차원(2-dimension) 이미지가 소스로서 사용될 수 있다. 이때, 소스로서 사용되는 2차원 이미지는 촬영 환경에 따라 노이즈를 포함할 수 있다. 예를 들어, 노이즈는 2차원 이미지의 촬영 환경에 존재하는 조명 등에 의해 발생할 수 있다. 구체적인 예로, 노이즈는 조명의 빛 반사로 인해 캡쳐된 이미지에서 픽셀의 색상이 왜곡되는 것에 의해 발생할 수 있다. 따라서, 3차원 모델의 품질 향상을 위해, 3차원 모델의 텍스처의 소스로서 사용되는 2차원 이미지에서 노이즈를 제거 또는 감소시키는 것이 필요하다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타내는 도면이다. 도 1을 참고하면, 영상 처리 장치(100)는 프로세서(110), 메모리(120), 통신부(130), 입력부(140), 출력부(150)를 포함한다. 도 1의 구성은 예시적인 것으로서, 나열된 구성요소들 중 일부가 생략될 수 있고, 또는 나열되지 않은 다른 구성요소가 더 포함될 수 있다.

프로세서(110)는 영상 처리 장치(100)의 동작을 제어한다. 이하 설명하는 영상 처리 방법을 수행하기 위하여, 프로세서(110)는 메모리(120), 통신부(130), 입력부(140), 출력부(150) 중 적어도 하나를 제어할 수 있다. 즉, 프로세서(110)는 영상 처리 장치(100)이 후술하는 다양한 실시 예들에 따른 동작들을 수행하도록 다른 구성요소들을 제어할 수 있다.

메모리(120)는 영상 처리 장치(100)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보 등의 데이터를 저장한다. 또한, 메모리(120)는 영상 처리 장치(100)의 동작 중에 생성되는 임시 데이터를 저장한다. 메모리(120)는 프로세서(110)의 요청에 따라 저장된 데이터를 제공할 수 있다.

통신부(130)는 외부의 다른 장치(예: 외부 카메라)와 신호를 송수신하기 위한 기능들을 수행한다. 통신부(130)는 유선 통신 또는 무선 통신을 지원할 수 있다. 예를 들어, 무선 통신을 수행하는 경우, 통신부(130)는 채널 인코딩, 변조, 복조, 채널 디코딩을 수행할 수 있다.

입력부(140)는 사용자의 입력을 감지하기 위한 기능들을 수행한다. 입력부(140)는 사용자로부터 입력된 명령 또는 데이터를 프로세서(110)에 프로세서(110)에 전달할 수 있다. 이를 위해, 입력부(140)는 입력을 위한 적어도 하나의 하드웨어 모듈을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 키보드, 마우스, 디지타이저, 센서, 터치패드, 버튼 중 적어도 하나를 포함할 수 있다.

출력부(150)는 사용자에 의해 인식 가능하도록 데이터 및 정보를 출력한다. 예를 들어, 출력부(150)는 시각적으로 인식 가능한 화면(screen)을 구성하고, 표시할 수 있다. 단, 다양한 실시 예들에 따라, 출력부(150)은 시각적으로 인식 가능한 것 외, 다른 감각으로 인지 가능한 형태의 출력을 할 수 있는 다른 장치로 대체될 수 있다. 이를 위해, 출력부(150)은 출력을 위한 적어도 하나의 하드웨어 모듈을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 스피커, LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), FLED(Flexible LED) 중 적어도 하나를 포함할 수 있다.

본 발명의 다양한 실시 예들에 따른 노이즈 제거는 복수의 카메라들을 이용하여 수행된다. 본 발명의 실시 예에 따른 텍스처의 소스 이미지를 획득하기 위한 환경은 이하 도 2와 같다.

도 2는 본 발명의 일 실시 예에 따라 3차원 모델의 텍스처의 소스 이미지 촬영 환경의 예를 나타내는 도면이다. 도 2를 참고하면, 텍스처를 획득하기 위한 촬영 타겟(target)(210)의 주변에 복수의 카메라들(211, 212a, 212b, 212c)가 배치되어 있다. 복수의 카메라들(211, 212a, 212b, 212c) 중 하나가 기준 카메라(211)로서 선택될 수 있고, 나머지들(212a, 212b, 212c)은 후보 카메라 또는 자식(child) 카메라로서 사용될 수 있다. 여기서, 복수의 카메라들(211, 212a, 212b, 212c) 중 기준 카메라(211)는 화각(field of view, FOV), 타겟(210)과의 거리, 타겟(210)과의 각도 중 적어도 하나에 기반하여 선택될 수 있다. 예를 들어, 타겟(210)의 촬영되는 면과 렌즈 방향이 수직과 가장 가깝고, 촬영 영역에 타겟(210)이 모두 포함되는 카메라가 기준 카메라(211)로서 선택될 수 있다. 이때, 기준 카메라(2110)에 의해 캡쳐된 이미지는 기본 텍스처가 되고, 후보 카메라들(212a, 212b, 212c)에 의해 캡쳐된 이미지들은 기본 텍스처의 노이즈를 보상하기 위한 보조 텍스처가 된다.

여기서, 복수의 카메라들(211, 212a, 212b, 212c)은 영상 처리 장치의 일부 구성요소들로 이해되거나 또는 별도의 장치들로 이해될 수 있다. 즉, 도 1 및 도 2를 참고하면, 복수의 카메라들(211, 212a, 212b, 212c)은 입력부(140)의 일부일 수 있다. 또는, 복수의 카메라들(211, 212a, 212b, 212c)은 통신 기능을 가지는 다른 장치와 연결되고, 영상 처리 장치(100)는 통신부(130)를 통해 캡쳐된 이미지들을 다른 장치로부터 수신할 수 있다.

도 3은 본 발명의 일 실시 예에 따라 3차원 모델의 텍스처를 생성하기 위한 절차의 일 실시 예를 나타내는 도면이다. 도 3은 도 1의 영상 처리 장치(100)의 동작 방법을 예시한다.

도 3을 참고하면, 301 단계에서, 영상 처리 장치는 기준 카메라를 이용하여 기본 텍스처를 생성한다. 영상 처리 장치는 복수의 카메라들 중 텍스처를 가장 잘 표현하는 카메라 뷰를 가지는 카메라를 기준 카메라로서 선택하고, 기준 카메라에 의해 캡쳐된 이미지에 기반하여 기본 텍스처를 생성한다. 예를 들어, 텍스처를 가장 잘 표현하는 카메라 뷰는 텍스처를 획득하기 위한 촬영의 타겟이 모두 포함하면서, 뷰의 방향 및 타겟 간 각도가 수직에 가장 가까운 것을 의미할 수 있다.

303 단계에서, 영상 처리 장치는 적어도 하나의 후보 카메라를 이용하여 적어도 하나의 후보 이미지를 생성한다. 영상 처리 장치는 기본 카메라와 다른 적어도 하나의 후보 카메라에 의해 캡쳐된 적어도 하나의 이미지를 획득한다. 이때, 적어도 하나의 후보 카메라는 기본 카메라와 다른 카메라 뷰를 가지되, 3차원 모델에 사용될 텍스처를 표현하는 카메라 뷰를 가진다. 예를 들어, 적어도 하나의 후보 카메라는 타겟을 기본 카메라와 다른 각도 또는 다른 거리에서 촬영하는 카메라일 수 있다.

305 단계에서, 영상 처리 장치는 적어도 하나의 후보 이미지를 이용하여 기본 텍스처의 노이즈를 제거한다. 예를 들어, 영상 처리 장치는 적어도 하나의 후보 이미지로부터 적어도 하나의 보조 텍스처를 생성하고, 기본 텍스처의 적어도 하나의 픽셀 값을 동일한 3차원 좌표의 적어도 하나의 보조 텍스처의 픽셀 값을 이용하여 보정한다.

도 3을 참고하여 설명한 실시 예에서, 영상 처리 장치는 적어도 하나의 후보 이미지를 이용하여 기본 텍스처의 노이즈를 제거한다. 이때, 후보 이미지를 이용하는 노이즈 제거 동작은 다양하게 정의될 수 있다.

일 실시 예에 따라, 영상 처리 장치는 기본 텍스처 및 적어도 하나의 보조 텍스처에서 동일한 3차원 좌표를 가지는 동일한 픽셀을 표현하는 값들을 결합하고, 결합된 값을 해당 픽셀의 값으로서 설정할 수 있다. 즉, 영상 처리 장치는 3차원 좌표 별로 기본 텍스처 및 적어도 하나의 보조 텍스처의 값들을 결합함으로써 좌표 별 보정된 값을 결정하고, 보정된 값을 해당 좌표 상의 픽셀 값으로 설정할 수 있다. 여기서, 결합은 평균화 연산을 포함할 수 있다.

이때, 평균화는 텍스처의 영역의 구분 없이 동일한 가중치로 수행될 수 있다. 하지만, 다른 실시 예에 따라, 영상 처리 장치는 텍스처를 복수의 영역들로 분할하고, 영역에 따라 서로 다른 가중치들을 적용될 수 있다. 예를 들어, 노이즈가 적게 발생하거나 발생하지 아니한 영역에 대해, 영상 처리 장치는 기본 텍스처에 대한 가중치를 보조 텍스처들에 비하여 상대적으로 높게 설정할 수 있다. 반면, 노이즈가 일정 수준 이상 발생한 영역에 대해, 영상 처리 장치는 보조 텍스처들에 대한 가중치를 기본 텍스처에 비하여 상대적으로 높게 설정할 수 있다. 이러한 가중치의 적응적 설정은 노이즈의 정도를 레벨화하고, 레벨별로 가중치들의 조합을 정의함으로써 이루어질 수 있다. 또는, 가중치의 적응적 설정은 노이즈의 정도를 수치화하고, 노이즈의 정도를 나타내는 값을 입력으로 하는 가중치 결정 함수를 정의함으로써 이루어질 수 있다.

일 실시 예에 따라, 영상 처리 장치는 기본 텍스처 및 보조 텍스처들 간 표현의 차이를 제거함으로써 노이즈를 제거할 수 있다. 다시 말해, 영상 처리 장치는 3차원 좌표 상 동일한 픽셀에 대하여 기본 텍스처에서 표현되나 보조 텍스처에서 표현되지 아니하는 시각적 표현을 제거할 수 있다. 구체적으로, 영상 처리 장치는, 기본 텍스처 및 보조 텍스처 간 좌표 별 차분 값에 기반하여 기본 텍스처에 포함된 노이즈를 제거할 수 있다. 예를 들어, 영상 처리 장치는 3차원 좌표마다 '기본 텍스처-보조 텍스처#1', '기본 텍스처-보조 텍스처#2', ... '기본 텍스처-보조 텍스처#n' 등 복수의 차분 값들을 생성하고, 좌표 별 차분 값들 중 최대의 차분 값을 기본 텍스처의 해당 좌표에 적용할 수 있다. 예를 들어, '기본 텍스처-보조 텍스처#1', '기본 텍스처-보조 텍스처#2', ... '기본 텍스처-보조 텍스처#n' 중 '기본 텍스처-보조 텍스처#2'가 최대 값을 가지면, 영상 처리 장치는 해당 좌표의 픽셀 값에서 '기본 텍스처-보조 텍스처#2'를 감산할 수 있다.

이때, 다른 실시 예에 따라, 표현의 차이를 제거하는 방식의 노이즈 제거 동작은 특정 하나의 보조 텍스처의 픽셀 값이 아닌 둘 이상의 보조 텍스처의 평균값에 기반하여 수행될 수 있다. 예를 들어, 영상 처리 장치는 좌표 단위로 다음과 같이 동작할 수 있다. 영상 처리 장치는 기본 텍스처 및 보조 텍스처의 픽셀 값들을 복수의 값 구간 별로 분류한 후, 가장 많은 텍스처들이 속한 값 구간에 포함된 텍스처들의 픽셀 값들을 평균화함으로써, 목표 값을 설정한다. 그리고, 영상 처리 장치는 기본 텍스처가 속한 값 구간에 포함된 적어도 하나의 텍스처들의 픽셀 값들을 평균화함으로써 현재 값을 설정한다. 마지막으로, 영상 처리 장치는 목표 값 및 현재 값의 차이 값을 이용하여 기본 텍스처의 해당 좌표의 픽셀 값을 보정(예: 픽셀 값에 차이 값을 합)한다.

도 3을 참고하여 설명한 실시 예와 같이, 영상 처리 장치는 보조 텍스처들을 이용하여 기본 텍스처의 노이즈를 제거할 수 있다. 이때, 텍스처들 각각을 3차원 객체(object)에 맵핑시키기 위해, 모핑(morphing) 및 투영(projection) 동작이 수행될 수 있다. 모핑 및 투영 동작에 대해 설명하면 다음과 같다.

도 4a 및 4b는 본 발명의 일 실시 예에 따른 3차원 좌표계에서 표현되는 3차원 모델 및 2차원 이미지의 맵핑의 예를 나타내는 도면이다. 도 4a은 3차원 좌표계에서 3차원 모델의 메쉬를 로드한 후, 획득한 2차원 이미지를 3차원 좌표계에서의 카메라의 위치에서 촬영된 방향으로 촬영 정보에 따라 3차원 좌표계로 투영함으로써 3차원 모델의 메쉬와 2차원 이미지가 중첩되어 표시되는 예를 나타낸다. 여기서, 2차원 이미지를 3차원 좌표계로 투영한다고 함은, 2차원 이미지가 획득된 카메라의 위치와 대응되는 3차원 좌표계의 위치에서, 2차원 이미지가 획득된 카메라의 촬영 방향으로, 2차원 이미지가 획득된 카메라의 촬영 화각에 따라 2차원 이미지를 3차원 공간이 맵핑하는 것을 의미한다. 이는 해당 카메라의 시야로 사용자의 화면 시점을 설정하여 사용자에게 3차원 모델을 표현하고, 이와 함께 2차원 이미지를 중첩 표현함으로써 수행될 수 있다. 도 4a는 이에 따른 결과 화면을 나타낸다.

도 4a에 도시된 바와 같이, 3차원 모델의 2차원 이미지는 메쉬에 의하여 표현되는 3차원 형상의 해당 면과 일치하지 않을 수 있다. 도 4a의 예에서, 3차원 모델의 일 꼭지점(410)과 2D 이미지에서의 일 꼭지점(420)이 서로 어긋나 있다. 이러한 현상은 카메라의 왜곡 특성, 스캔 대상의 표면적 특성(예: 투명한 표면) 등에 따라 발생할 수 있다.

일 실시 예에서, 영상 처리 장치는 3차원 모델의 특정 영역을 표현하는 2차원 이미지를 기준으로 3차원 모델의 해당부분의 표현이 2차원 이미지에 일치하도록, 3차원 모델의 형상을 수정할 수 있다. 예를 들어, 영상 처리 장치는 3차원 모델 메쉬의 일 부분(예: 꼭지점)을 나타내는 좌표를 3차원 좌표계로 투영된 2차원 이미지에서 표현되는 상기 일 부분(예: 꼭지점)에 대응되는 부분(예: 꼭지점이 표현되는 좌표)으로 이동시킴으로써 3차원 모델의 메쉬와 2차원 이미지의 표현을 서로 일치시킬 수 있다. 또는 영상 처리 장치는 3차원 모델 메쉬의 일 부분(예: 꼭지점)을 나타내는 좌표를 3차원 좌표계로 투영된 2차원 이미지에서 표현되는 상기 일 부분(예: 꼭지점)에 대응되는 부분(예: 꼭지점이 표현되는 좌표)으로 이동시키는 사용자 입력을 수신하고, 이에 따라 3차원 모델의 메쉬와 2차원 이미지의 표현을 서로 일치시킬 수 있다.

도 4a의 예와 같이, 영상 처리 장치는 3차원 모델의 일 꼭지점(410)을 2차원 이미지에서의 일 꼭지점(420)으로 이동시킴으로써 표현을 서로 일치시킬 수 있다. 이에 따른 결과는 도 4b와 같다. 이때, 영상 처리 장치는 추후 수정된 3차원 모델의 형상을 복원하기 위하여 수정된 내역을 기록할 수 있다.

그리고, 영상 처리 장치는 수정된 3차원 모델의 메쉬에 대응하는 2차원 이미지를 이용하여 텍스처를 생성할 수 있다. 예를 들어, 영상 처리 장치는 메쉬의 일 면(face)에 대응하는 2차원 이미지의 일 부분을 선택하고, 양 데이터 간의 좌표 대응 관계를 UV 맵으로 생성하며, 2차원 이미지의 일 부분을 이를 텍스처로 저장할 수 있다.

그리고, 영상 처리 장치는 3차원 모델의 형상 수정내역 또는 수정 전후 3차원 모델 노드 위치 대응관계 등을 이용하여 수정된 3차원 모델의 형상을 원래 형상으로 복원하고, 복원된 형상에 맞춰 텍스처를 원본 3차원 모델의 텍스처에 적용할 수 있다. 3차원 모델의 형상을 복원함으로써, 3차원 모델의 메쉬가 수정되더라도, UV는 수정된 메쉬와 2차원 이미지 간의 대응관계를 그대로 표현하기 때문에, 수정된 3차원 모델의 변형된 메쉬 상에서도 2차원 이미지의 일 부분에 의한 텍스처가 변형된 형상에서 표현될 수 있다.

또한, 복수의 카메라들이 사용되는 경우, 소정의 순서에 따라 순차적으로 개별 카메라의 뷰와 그에 기반하여 생성된 2차원 이미지를 이용하여, 3차원 공간을 바라보는 카메라 마다 3차원 모델의 형상을 변형함으로써 텍스처를 개선할 수 있다. 일 실시 예에서, 영상 처리 장치는 카메라의 뷰마다, 카메라의 뷰에 대응하는 2차원 이미지와 그에 대응하는 3차원 모델의 형상의 차이를 식별하고, 차이가 높은 카메라 순으로 텍스처 개선을 위한 작업 리스트를 생성하여 사용자에게 제시할 수도 있다.

전술한 모핑 및 투영 동작을 포함하는 텍스처 생성 절차가 이하 도 4를 참고하여 설명된다.

도 5는 본 발명의 일 실시 예에 따라 3차원 모델의 텍스처를 생성하기 위한 절차의 다른 실시 예를 나타내는 도면이다. 도 5는 도 1의 영상 처리 장치(100)의 동작 방법을 예시한다.

도 5를 참고하면, 501 단계에서, 영상 처리 장치는 하나의 면으로 특정되는 기준 카메라를 선택한다. 일 실시 예에 따라, 영상 처리 장치는 카메라들의 위치 정보, 방향 정보, 텍스처를 획득하기 위해 촬영되는 타겟의 위치 정보, 방향 정보에 기반하여 기준 카메라를 선택할 수 있다. 예를 들어, 영상 처리 장치는 타겟의 면들 중 텍스처로서 사용될 일면 전체를 카메라 뷰에 포함시키면서, 면과 렌즈 방향 간의 각도가 직각에 가장 근접한 카메라를 기준 카메라로서 선택할 수 있다. 다른 실시 예에 따라, 영상 처리 장치는 카메라들 각각에 캡쳐된 이미지들에 기반하여 기준 카메라를 선택할 수 있다. 예를 들어, 영상 처리 장치는 캡쳐된 이미지들 중 가장 높은 선명도를 가지는 이미지를 캡쳐한 카메라를 기준 카메라를 선택할 수 있다. 또 다른 실시 예에 따라, 영상 처리 장치는 복수의 카메라들에 의해 캡쳐된 이미지들을 표시하고, 사용자에 의해 지정된 이미지를 캡쳐한 카메라를 기준 카메라로 선택할 수 있다.

403 단계에서, 영상 처리 장치는 선택된 기준 카메라에 대응하는 후보 카메라 그룹을 선택한다. 즉, 영상 처리 장치는 기준 카메라에 의해 획득되는 기본 텍스처의 노이즈를 제거하기 위하 사용할 다른 이미지들을 캡쳐하기 위한 다른 카메라들을 선택한다. 일 실시 예에 따라, 후보 카메라 그룹에 포함되는 다른 카메라들은 타겟의 촬영 면이 잘림 없이 모두 촬영 범위 내에 포함되는 카메라들 중 선택될 수 있다. 다른 실시 예에 따라, 후보 카메라 그룹에 포함되는 다른 카메라들은 텍스처의 특징점들이 모두 촬영 범위 내에 포함되는 카메라들 중 선택될 수 있다. 또 다른 실시 예에 따라, 후보 카메라 그룹에 포함되는 다른 카메라들은 미리 정의될 수 있다. 즉, 각 카메라에 대응하는 후보 카메라 그룹이 미리 정의될 수 있다.

505 단계에서, 영상 처리 장치는 기준 카메라의 타겟의 특징점을 기준으로 3차원 객체를 모핑(morphing)한다. 타겟을 캡쳐함으로써 얻어진 이미지는 촬영 각도 등으로 인해 3차원 객체의 면과 경계선의 모양이 일치하지 아니할 수 있다. 따라서, 영상 처리 장치는 3차원 객체의 형상을 변형함으로써, 캡쳐된 이미지와 텍스처가 맵핑될 면의 경계선의 모양을 일치시킬 수 있다.

507 단계에서, 영상 처리 장치는 기준 카메라에 의해 캡쳐된 기본 텍스처를 투영(projection)한다. 다시 말해, 영상 처리 장치는 기본 텍스처를 모핑된 3차원 객체에 맵핑한다. 여기서, 이후에 보조 텍스처들이 더 투영됨을 고려하여, 기본 텍스처에 마스크(mask)가 적용될 수 있다. 도 5에 도시되지 아니하였으나, 영상 처리 장치는 투영 후, 모핑된 3차원 객체의 형상을 복원할 수 있다.

509 단계에서, 영상 처리 장치는 후보 카메라에 의해 캡쳐된 보조 텍스처를 투영한다. 다시 말해, 영상 처리 장치는 보조 텍스처를 3차원 객체에 맵핑한다. 이때, 영상 처리 장치는 보조 텍스처의 경계선의 모양에 따라 3차원 객체를 모핑한 후, 보조 텍스처를 투영할 수 있다. 그리고, 영상 처리 장치는 모핑된 3차원 객체의 형상을 복원할 수 있다. 즉, 텍스처 투영의 전후에 모핑 및 복원 동작이 매 카메라 마다 수행될 수 있다.

511 단계에서, 영상 처리 장치는 기준 카메라의 색상을 기준으로 컬러 값을 조정한다. 타겟을 촬영하는 카메라의 설정, 카메라의 제품 특성, 촬영 시점에서의 외부 간섭 등으로 인해 동일 부분에 대핸 컬러 값이 서로 다를 수 있다. 따라서, 영상 처리 장치는 기준 카메라에 의해 캡쳐된 기준 이미지를 기준으로 후보 카메라들에 의해 캡쳐된 후보 이미지들의 컬러 값을 조정한다. 예를 들어, 영상 처리 장치는 기준 이미지 및 하나의 후보 이미지 간 좌표 별 픽셀 값들의 차분 값들을 계산한 후, 전체 차분 값들 중 노이즈 없는 부분에 해당하는 차분 값들의 평균 값을 해당 후보 이미지의 모든 픽셀 값들에 반영할 수 있다(예: 감산). 즉, 평균 값은 노이즈가 없는 부분의 차분 값들을 이용하되, 컬러 값 조정은 이미지 전체에 적용된다. 여기서, 노이즈가 없는 부분에 해당하는 차분 값들을 선택하기 위해, 영상 처리 장치는 전체 차분 값들의 분포 중 상대적으로 낮은 값을 가지는 일부를 선택할 수 있다. 또는, 노이즈의 위치를 특정할 수 있다면, 영상 처리 장치는 좌표 값에 기반하여 일부 차분 값들을 선택할 수 있다.

513 단계에서, 영상 처리 장치는 투영된 텍스처들을 병합한다. 영상 처리 장치는 투영된 복수의 텍스처들을 병합한다. 이때, 병합은 텍스처의 전체에 대하여 또는 텍스처의 일부에 대하여 수행될 수 있다. 일 실시 예에 따라, 영상 처리 장치는 텍스처를 복수의 영역들로 분할하고, 노이즈가 존재하는 적어도 하나의 영역을 식별한 후, 식별된 적어도 하나의 영역에 대하여만 텍스처들을 병합할 수 있다.

도 5를 참고하여 설명한 실시 예에서, 영상 처리 장치는 기준 이미지에 따라 후보 이미지들의 색상 값을 조정한다. 이때, 픽셀 값들의 분석 결과에 기반하여 색상 값들이 조정되는 것으로 설명되었다. 하지만, 다른 실시 예에 따라, 영상 처리 장치는 복수의 색상 조정 결과들을 생성한 후, 생성된 결과들을 표시할 수 있다. 이에 따라, 사용자가 하나의 결과를 지정하면, 영상 처리 장치는 지정된 결과를 적용할 수 있다. 이는 노이즈 영역의 판단의 오류 등을 고려한 것이다.

전술한 실시 예들에 따르면, 기본 카메라를 통해 획득된 기본 텍스처에 포함된 노이즈는 후보 카메라들을 통해 획득된 보조 텍스처들을 이용하여 제거될 수 있다. 이때, 노이즈의 특성을 알 수 있다면, 보다 효과적으로 노이즈를 제거할 수 있을 것이 예상된다.

일 실시 예에 따라, 영상 처리 장치는 노이즈의 발생 원인에 대한 정보를 활용할 수 있다. 예를 들어, 노이즈는 조명에 의해 발생할 수 있다. 이 경우, 영상 처리 장치는 설치된 조명의 위치, 밝기, 색상 등에 대한 정보를 획득하고, 획득된 정보에 기반하여 노이즈의 특성을 예측할 수 있다. 나아가, 영상 처리 장치는 촬영되는 타겟의 표면 재질에 대한 정보를 획득하고, 재질에 기반하여 노이즈의 특성을 예측할 수 있다. 노이즈의 특성이 예측되면, 영상 처리 장치는 노이즈의 특성에 기반하여 기본 텍스처에서 노이즈를 추출할 수 있다. 이에 따라, 영상 처리 장치는 추출된 노이즈가 존재하는 영역에 한하여 노이즈 제거 동작을 할 수 있다. 이 경우, 노이즈가 없는 영역에서도 노이즈 제거 연산이 수행되는 것이 방지되어, 연산량이 감소될 수 있다.

앞서 설명된 일 실시 예에 따른 영상 처리 장치 및 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예에 따라 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

앞선 실시예에 대한 설명에서 참조된 도면 각각은 설명의 편의를 위해 도시된 일 실시 예에 불과하며, 각 화면에 표시된 정보들의 항목, 내용과 이미지들은 다양한 형태로 변형되어 표시될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (12)

1. 영상 처리 장치에 의하여 수행되는 영상 처리 방법에 있어서,
   타겟(target)을 촬영하기 위한 복수의 카메라들 중 기준 카메라를 이용하여 기준 텍스처를 생성하는 단계;
   상기 복수의 카메라들 중 적어도 하나의 후보 카메라를 이용하여 적어도 하나의 후보 텍스처를 생성하는 단계; 및
   상기 적어도 하나의 후보 텍스처를 이용하여 상기 기준 텍스처의 노이즈를 제거하는 단계를 포함하고,
   상기 노이즈 제거에 이용되는 기준 텍스처와 후보 텍스처의 픽셀은 소정의 픽셀 값에 대한 범위에 기반하여 선택되는 영상 처리 방법.
   
2. 청구항 1에 있어서,
   상기 기준 카메라는, 상기 복수의 카메라들 중 상기 타겟의 촬영되는 면을 촬영 범위에 포함하고, 상기 면과 수직인 방향과 가장 유사한 렌즈 방향을 가지는 카메라를 포함하는 영상 처리 방법.
   
3. 청구항 1에 있어서,
   상기 적어도 하나의 후보 카메라는, 상기 복수의 카메라들 중 상기 타겟의 촬영되는 면을 촬영 범위에 포함하는 적어도 하나의 카메라를 포함하는 영상 처리 방법.
   
4. 청구항 1에 있어서,
   상기 노이즈를 제거하는 단계는,
   상기 기준 텍스처 및 상기 적어도 하나의 후보 텍스처에서 동일한 3차원 좌표 상의 픽셀을 표현하는 값들을 결합함으로써 보정된 값을 결정하는 단계; 및
   상기 보정된 값을 해당 픽셀의 값으로서 설정하는 단계를 포함하는 영상 처리 방법.
   
5. 청구항 4에 있어서,
   상기 값들의 결합은, 상기 값들의 평균화를 포함하며,
   상기 평균화를 위한 가중치들은, 상기 기준 텍스처를 분할한 복수의 영역들에 따라 달라지는 영상 처리 방법.
   
6. 청구항 1에 있어서,
   상기 노이즈를 제거하는 단계는,
   상기 기준 텍스처 및 상기 적어도 하나의 후보 텍스처에서 동일한 3차원 좌표 상의 픽셀을 표현하는 값들에 대한 후보 텍스처 별 차분(differential) 값들을 결정하는 단계; 및
   상기 차분 값들 중 최대 값을 기준 텍스처에 적용하는 단계를 포함하는 영상 처리 방법.
   
7. 청구항 1에 있어서,
   상기 노이즈를 제거하는 단계는,
   상기 기준 텍스처의 경계선의 모양에 따라 3차원(3-dimension) 객체(object)를 모핑(morphing)하고, 모핑된 3차원 객체에 상기 기준 텍스처를 투영하는 단계; 및
   상기 적어도 하나의 후보 텍스처의 경계선의 모양에 따라 상기 3차원 객체를 모핑하고, 모핑된 3차원 객체에 상기 후보 텍스처를 투영하는 단계를 포함하는 영상 처리 방법.
   
8. 청구항 1에 있어서,
   상기 노이즈를 제거하는 단계는,
   상기 노이즈에 관련된 정보를 획득하는 단계;
   상기 노이즈에 관련된 정보에 기반하여 상기 기준 텍스처에서 노이즈를 추출하는 단계; 및
   상기 노이즈가 존재하는 영역에 대하여 상기 노이즈를 제거하기 위한 연산을 수행하는 단계를 포함하는 영상 처리 방법.
   
9. 청구항 1에 있어서,
   상기 후보 텍스처들의 색상을 상기 기준 텍스처에 기반하여 조정하는 단계를 더 포함하는 영상 처리 방법.
   
10. 청구항 9에 있어서,
    상기 색상을 조정하기 위한 조정 값은, 상기 노이즈가 없는 부분의 픽셀 값들에 기반하여 결정되는 영상 처리 방법.
    
11. 영상 처리 장치에 있어서,
    프로세서 및 메모리를 포함하고,
    상기 프로세서는,
    타겟(target)을 촬영하기 위한 복수의 카메라들 중 기준 카메라를 이용하여 기준 텍스처를 생성하고,
    상기 복수의 카메라들 중 적어도 하나의 후보 카메라를 이용하여 적어도 하나의 후보 텍스처를 생성하고,
    상기 적어도 하나의 후보 텍스처를 이용하여 상기 기준 텍스처의 노이즈를 제거하되,
    상기 노이즈 제거에 이용되는 기준 텍스처와 후보 텍스처의 픽셀은 소정의 픽셀 값에 대한 범위에 기반하여 선택되는 영상 처리 장치.
    
12. 청구항 1의 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.

Images