KR20100003668A - 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법 - Google Patents

Abstract

본 발명은 피부 주름의 개선 여부를 측정 및 평가하기 위한 입체영상 측정 시스템 및 방법에 관한 것으로, 특히 화장품, 기능성 화장품, 의약외품, 기능성 식품, 건강보조식품, 의약품 등(피부 개선품)의 효능을 측정 및 평가하기 위해서 화장품 등의 피부 개선품의 사용 전후의 피부 주름을 두 개의 카메라로 촬영하여 스테레오 이미지를 획득하고, 이 두 개의 스테레오 이미지를 입체영상(Stereoscopic 3D)으로 재구성하여, 피부 주름의 길이와 폭뿐만 아니라 깊이와 부피를 측정함으로써 화장품이나 의약품의 효능을 측정 및 판단하기 위한 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법을 제공하는 것이다.

본 발명에 따른 피부 주름 평가를 위한 입체영상 측정 시스템은, 평면 영상(2D)을 촬영하는 두 대의 DSLR 카메라; 상기 두 대의 DSLR 카메라가 일정 간격 떨어져 동일 평면상에 설치되도록 하는 케이스가 구비된 삼각대; 상기 두 개의 DSLR 카메라와 전기적으로 연결되고 두 대의 DSLR 카메라에서 촬영된 스테레오 이미지를 저장 및 디스플레이함과 아울러, 두 대의 DSLR 카메라에서 촬영한 두 개의 스테레오 이미지를 정합하여 입체영상(3D) 피부 주름 데이터를 생성하고 측정하는 소프트웨어가 설치된 컴퓨터;를 포함하여 구성된 것을 특징으로 한다.

그리고 본 발명에 따른 피부 주름 평가를 위한 입체영상 측정 방법은, 크게, 스테레오 이미지 획득단계((Acquire Images)와, 3D 이미지 생성단계 및, 3D 이미지 측정단계로 구성된다. 본 발명에 있어서, 상기 3D 이미지 생성단계는, 정합 점 검 색(Find Matching Point)단계, 에프 매트릭스 계산(F Matrix Computation)단계, 화상 보정(Image Rectification)단계(S230), 덴스 매칭(Dense Matching)단계, 입체영상 재구성(3D Reconstruction) 단계로 이루어진다.

입체영상, 3D, 피부, 화장품, 의약품

Description

피부 주름 평가를 위한 입체영상 측정 시스템 및 방법{Stereoscopic 3D Measuring System and Method for Efficiency Evaluation of Skin Products}

본 발명은 피부 주름의 개선 여부를 측정 및 평가하기 위한 입체영상 측정 시스템 및 입체영상 측정 방법에 관한 것으로, 특히 화장품, 기능성 화장품, 의약외품, 기능성 식품, 건강보조식품, 의약품 등(피부 개선품)의 효능을 측정 및 판단하기 위해서 화장품 등의 피부 개선품의 사용 전후의 피부 주름을 두 개의 카메라로 촬영하여 스테레오 이미지를 획득하고, 이 두 개의 스테레오 이미지를 입체영상(Stereoscopic 3D)으로 재구성하여, 피부 주름의 길이와 폭뿐만 아니라 깊이와 부피를 측정함으로써 화장품이나 의약품의 효능을 측정 및 판단하기 위한 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법을 제공하는 것이다.

근래 들어, 생활이 윤택해지고 삶의 질이 향상됨에 따라 피부 미용에 대한 관심이 부쩍 증가하고 있다. 특히 인터넷이나 매스컴을 통해서 '피부미인'이라는 신조어가 생겨날 정도로 하얗고 주름이 없는 깨끗한 피부가 미인을 구분하는 주요한 척도로 자리매김하고 있고, 이러한 시대상을 반영하여 여성은 물론 남성들조차 피부 미용에 많은 시간과 돈을 투자하고 있다.

따라서 피부 미용이나 피부의 질을 개선하기 위해 사용되는 화장품, 식품, 의약품(이하 이를 총칭하여 '피부 개선품'이라 한다)을 제조하는 업체들도 보다 효능이 좋은 제품을 개발하는데 많은 시간과 노력을 투자하고 있다. 그런데 이러한 노력에 필수적인 것이 바로 피부 개선품을 사용한 후에 나타나는 효능을 정확하게 판정하는 것이다. 이를 위해서 피부 개선품을 사용하기 전에 촬영하여 획득한 피부 영상 또는 피부 주름 영상과 피부 개선품을 사용한 후에 촬영하여 획득한 피부 영상 또는 피부 주름 영상을 비교 평가하는 기술이 선결 과제로 요구되고 있다.

그런데, 종래의 의약품 효능 측정방법은 평면 영상(2D: Two dimensional visual information)을 이용하기 때문에 화장품 등의 사용에 따른 효능을 정확히 측정하는데 어려움이 있었다. 예를 들어, 2D 피부 주름 이미지로는 주름의 길이와 폭은 알 수 있었으나 주름의 깊이는 알 수 없다. 따라서 주름의 깊이까지 측정하기 위해서는 고가의 3D 측정 장비의 사용이 불가피해졌다. 그러나 이러한 3D 측정 장비는 비용 면에서 상당한 비싼 제품일 뿐만 아니라, 피부의 주름과 같이 근접 촬영이 필요한 부분에 있어서는 정확한 측정이 힘든 문제가 있다.

한편, 3D 이미지(Three dimensional image) 즉, 입체 영상(立體映像)을 얻는 방법은 실제 입체 영상 방식(Real 3D)과 양안 시차 방식(Stereoscopic 3D)으로 나눌 수 있다. 그러나 입체 카메라를 사용하여 실제 입체 영상(Real 3D)을 만드는 작업은 비용이 많이 소요되기 때문에 주로 양안 시차 방식이 사용되고 있다. 이와 같이 양안 시차 방식으로 얻어진 입체영상을 스테레오스코픽 이미지(sereo-scopic image)라고 한다.

사람의 두 눈은 가로 방향으로 약 65mm 떨어져, 사물을 바라볼 때마다 좌우 양안은 약간씩 서로 다른 상이 망막에 결상되는 데 이 미세한 차를 뇌가 해석해서 입체적인 상이 느껴지게 된다. 이러한 것을 양안시차(binocular disparity) 라고 하며 입체감을 느끼는데 가장 중요한 요인이다. 좌,우의 눈이 각각 서로 다른 2차원의 상을 보게 되고 이 두상이 망막을 통해 뇌로 전달되며, 뇌는 이를 정확히 서로 융합하여 3차원 영상의 원근감과 실재감을 재생하게 된다. 본 발명은 양안 시차 방식(Stereoscopic 3D)을 이용하여 두 개의 스테레오 이미지를 3D 이미지로 재구성하는 것과 관련된다.

이러한 3D 입체 영상을 제작하는 원리는 양안 시차를 이용한 하나의 대상에 대해서 두 개의 스테레오 이미지를 획득할 수 있도록 두 대의 카메라를 포함하는 촬영 장비와, 두 대의 카메라로 촬영된 두 개의 2차원 영상을 디지털 편집하거나 합성하여 3D 이미지로 전환하는 주름 데이터 생성 프로그램이 요구된다.

즉, 3D 입체 영상을 생성하는 과정은, 두 개의 눈으로 3차원을 인식하듯이 공간적으로 떨어진 위치에 있는 두 개의 카메라를 가지고 동일한 대상으로부터 이미지 쌍(pair)을 만들어내는 과정과, 공간적으로 다른 평면으로부터 얻어진 이차원 이미지 쌍으로부터 삼차원 이미지를 복원하는 과정으로 구성된다. 다시 말해, 삼차원 공간의 동일한 점에 해당하는 이미지 점들이 서로 정합(matching)된다면 기하학적 모델을 이용하여 3D 입체 영상을 얻을 수 있는 것이다.

본 발명은 이러한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 주된 목적은 저가형 측정 장치를 이용해서, 두 개의 스테레오 이미지를 획득하고, 획득한 두 개의 스테레오 이미지를 정합하여 3D 피부 주름 데이터를 생성하여, 화장품이나 의약품의 사용 전후의 주름의 길이와 폭뿐만 아니라 깊이와 부피를 측정함으로써 화장품이나 의약품의 효능을 측정 및 판단하기 위한 피부 주름 평가를 위한 입체영상(3D) 측정 시스템 및 방법을 제공하는 것이다.

본 발명은 2차원의 스테레오 이미지로부터 3차원 이미지를 재구성하는 것이다. 이것을 영상기반 모델링이라 한다. 3차원 이미지를 획득하기 위하여는 3차원에 따른 정보와 조건이 필요하며, 여기서 획득된 이미지가 일련의 프로세싱과정을 통해 3차원 이미지로 생성될 수 있는 것이다. 결국은 실사객체의 깊이 감지(이미지 뎁스)가 3차원 이미지를 생성하기 위한 요소이다.

3차원 이미지를 획득하기 위한 정보인 실사객체의 깊이를 감지하는 방식으로는 평행시각 스테레오방식의 촬영과 교차시각 스테레오방식의 촬영이 있다. 여기서, 평행시각 스테레오방식은 두 개의 렌즈 투영중심선을 평행하게 두었을 때, 동일 물체의 영상은 이 물체 점에 의해 발생하는 에피폴라 라인(epipolar line:두 렌즈 중심과 영상평면에 의해 형성되는 라인)에 근거한다. 이때, 렌즈 중심 상의 거리와 촛점 거리 및 두 렌즈를 통한 영상평면에서 투영객체 간의 거리에 의해 실사객체의 깊이를 감지할 수 있는 것이다. 결국, 입체이미지를 획득하기 위하여는 최소한 평행시각 스테레오 방식, 또는 교차시각 스테레오 방식에 입각된 최소한의 2 개의 이미지가 필요하며 이것은 입체물의 깊이와 그 깊이에 따른 이미지 산출이 필요하기 때문이다.

본 발명에 따른 피부 주름 평가를 위한 입체영상 측정 시스템은, 평면 영상(2D)을 촬영하는 두 대의 DSLR 카메라; 상기 두 대의 DSLR 카메라가 일정 간격 떨어져 평행하게 설치되는 케이스가 구비된 삼각대; 상기 두 개의 DSLR 카메라와 전기적으로 연결되고 두 대의 DSLR 카메라에서 촬영된 스테레오 이미지를 저장 및 디스플레이함과 아울러, 두 대의 DSLR 카메라에서 촬영한 두 개의 스테레오 이미지를 정합하여 입체영상(3D) 피부 주름 데이터를 생성하는 프로그램이 설치된 컴퓨터;를 포함하여 구성된다.

그리고 본 발명에 따른 피부 주름 평가를 위한 입체영상 측정 방법은, 크게, 스테레오 이미지 획득단계((Acquire Images)와, 3D 이미지 생성단계 및, 3D 이미지 측정단계로 구성된다.

본 발명에 있어서, 상기 3D 이미지 생성단계는, 정합 점 검색(Find Matching Point)단계, 에프 매트릭스 계산(F Matrix Computation)단계, 화상 보정(Image Rectification)단계(S230), 덴스 매칭(Dense Matching)단계, 입체영상 재구성(3D Reconstruction) 단계로 이루어진다.

본 발명에 있어서, 피부 주름 이미지의 특징점을 효과적으로 찾기 위해서 코너 대신에 에지를 사용하여 정합 점을 검색하는 것을 특징으로 한다.

본 발명에 따른 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법은 원 격 제어를 통한 접사촬영으로 두 개의 스테레오 이미지를 획득하는데 사용된다. 그리고 얻어진 두 개의 스테레오 이미지를 정합하여 3D 주름데이터를 생성해 피부 주름의 깊이, 길이, 부피에 대한 측정을 한다. 이러한 3D 주름 데이터의 측정으로 인하여 근접 촬영이 불가능한 기존의 측정 장비보다 정확한 측정이 가능하고, 기존 장비에 있어 비용 절감의 효과를 가져 올 수 있다.

이하에서는 첨부도면을 참조하여 본 발명에 따른 피부 주름 평가를 위한 저가형 3D 측정 시스템 및 그 방법에 대해서 상세히 설명한다.

먼저, 도 1은 본 발명에 따른 피부 주름 평가를 위한 저가형 3D 측정 시스템의 구성을 보여준다. 본 발명에 따른 피부 주름 평가를 위한 저가형 입체영상(3D) 측정 시스템은, 크게 두 개의 스테레오 이미지를 동시에 촬영하기 위한 입체영상 촬영장치와, 상기 입체영상 촬영장치에서 얻은 두 개의 스테레오 데이터 이미지를 저장하고 디스플레이함과 아울러 두 개의 스테레오 이미지를 정합하여 3D 피부 주름 이미지를 생성하는 소프트웨어가 장착된 컴퓨터(PC)를 포함하여 구성된다.

본 발명에서 사용하는 입체영상 촬영장치는, 일반 DSLR 카메라 2대를 이용하여 카메라 케이스에 부착해 사진을 촬영하게 된다. 이때 사용되는 촬영 렌즈는 피부 주름 측정에 적합한 접사 렌즈를 사용한다. 따라서 기존 측정 장비의 문제점인 근접촬영을 가능하게 해주며, 각 해당 부품이 저가의 부품으로 구성되어 있어 비용 절감의 효과도 가져 올 수 있다.

즉, 사람은 왼쪽 눈과 오른쪽 눈에서 서로 다른 각도로 물체를 바라봄으로써 입체감을 느끼게 된다. 이와 같은 원리에 기초하여 왼쪽 눈과 오른쪽 눈의 시각 위치에서 따로 촬영한 2개의 스테레오 영상을 왼쪽 눈과 오른쪽 눈에 각각 보여줌으로써 인공적으로 입체영상을 구현할 수 있다. 이와 같은 원리에 따라 입체영상을 만들기 위해서는 2대의 카메라를 이용하여 하나의 피험자를 촬영할 수 있어야 한다.

도 2는 본 발명에서 사용하는 입체영상 촬영장치를 보여준다. 도시된 바와 같이, 본 발명의 입체영상 촬영장치는 삼각대와, 두 대의 DSLR 카메라를 동일 평면상에 설치할 수 있는 케이스로 구성된다. 바람직하게 상기 케이스는 평행을 유지할 수 있도록 케이스 볼스터와 카메라 볼드 등을 구비한다.

도 3은 상기 컴퓨터(PC)에 장착되어 있는 소프트웨어의 하나로서, 원격으로 두 개의 스테레오 이미지를 동시에 촬영할 수 있도록 하는 소프트웨어가 디스플레이된 화면을 보여준다. 즉, 3D 피부 주름 이미지를 얻기 위해서는 하나의 대상(예, 피부 주름)에 대하여 두 개의 스테레오 이미지를 얻어야 하는데, 피부 주름 이미지를 얻기 위한 피험자인 사람은 항상 움직이는 상태이기 때문에 반드시 동시에 촬영하여야만 두 개의 스테레오 이미지를 얻을 수 있다. 이를 위해서, 본 발명은 카메라 SDK(Software Development Kit:소트트웨어 개발 도구)를 이용해서 동시에 촬영할 수 있는 원격 제어 소프트웨어를 사용하여 촬영한다. 이 소프트웨어를 통해 PC상에서 원격으로 촬영 가능하게 해줄 뿐만 아니라 2대의 DSLR 카메라를 동시에 촬영 가능하게 해준다.

도 4는 본 발명에 따른 피부 주름 평가를 위한 3D 측정 방법을 보여주는 개 략적이 흐름도이다. 도시된 바와 같이, 본 발명에 따른 피부 주름 평가를 위한 3D 측정 방법은 크게, 스테레오 이미지 획득단계((Acquire Images)(S100)와, 3D 이미지 생성단계 (S200)및 3D 이미지 측정단계(S300)로 구성된다.

우선, 3D 피부 주름 이미지를 생성하기 위해서는 무엇보다 스테레오 이미지를 획득하는 과정이 중요하다. 본 발명은 스테레오 이미지 촬영을 위해서 저가형 입체영상 촬영장치를 사용한다. 상술한 바와 같이, 본 발명에 따른 입체영상 촬영장치는, 일정 거리 이격되게 설치된 두 대의 두 대의 DSLR 카메라를 포함한다. 예를 들어, 상기 두 대의 카메라는 65mm 정도 떨어져 설치된다.

도 5에서 보는 바와 같이, 상기 스테레오 이미지 획득단계(S100)는 저가형 입체영상 촬영장치를 이용하여 피험자의 피부 주름 이미지를 촬영하는 것이다. 즉, 케이스 내에 설치된 두 대의 카메라(카메라1, 카메라2)를 원격으로 동시에 촬영하여 두 개의 2D 피부 주름 이미지를 획득한다. 이때, 근접촬영을 위해 피험자와 카메라와의 거리는 30cm 이내로, 바람직하게는 15~20cm 로 하여 촬영한다. 이와 같이 측정된 두 개의 2D 피부 주름 이미지는 깊이를 측정할 수 없다. 도 6은 실제 촬영된 두 개의 스테레오 이미지이다.

이어, 3D 이미지 생성단계(S200)는 촬영된 두 개의 2D 스테레오 이미지를 이용하여 깊이를 갖는 3D 피부 주름 이미지를 생성하는 단계이다.

상기 3D 이미지 생성단계(S200)는 다시 정합 점 검색(Find Matching Point)단계(S210), 에프 매트릭스 계산(F Matrix Computation)단계(S220), 화상 보정(Image Rectification)단계(S230), 덴스 매칭(Dense Matching)단계(S240), 입체 영상 재구성(3D Reconstruction) 단계(S250)로 이루어진다.

먼저, 정합 점 검색(Find Matching Point) 단계(S210)는 두 개의 2D 피부 주름 이미지를 3D 이미지로 재구성하기 위하여 정합 점(Find Matching)을 찾는 단계이다. 보통 정합 점 검색방법은 코너(Corner)를 이용한 방법이 주로 사용된다. 그러나 본 발명에서 사용하는 피부 이미지의 경우에는 정합 점의 기준이 되는 특징점을 찾기가 매우 힘들다. 즉, 피부 이미지에서 정합 점을 검색하는 방법으로 코너를 이용하는 것이 곤란하다.

이에 따라 본 발명에서는 정합 점을 효과적으로 찾기 위해 코너(Corner)가 아닌 에지(Edge)를 이용한 방법을 사용한다. 본 발명은 에지 검출기인 캐니 에지 검출(Canny Edge Detection)을 사용하여 두 개의 피부 주름 이미지의 에지를 검출한다.

에지 검출이란 영상 내에서 물체의 경계면과 같은 중요한 시각적인 정보를 알고리즘에 의거하여 그 위치 정보를 명확하게 추출하는 것을 말한다. 대부분 에지 추출 마스크는 잡음에 민감하여 작은 잡음이라도 에지로 간주하는 경우가 많으나 캐니 마스크는 잡음에 민감하지 않게 하여 강한 에지를 추출하는 것에 목적을 두는 마스크이다.

캐니 에지 검출기(Canny Edge Detector)는 크게 잡음을 제거하는 저역 필터 전처리과정(Preprocessing for Eliminating Noise), 에지의 강도와 방향을 계산하기 위한 소벨 연산자 처리과정(Process of Gradient Operator), 소벨(Sobel) 연산자에 의해서 얻어진 데이터를 바탕으로 에지의 강도를 임계화 기법(Thresholding in Canny Edge Detector)을 이용하여 판별하고 에지의 방향성을 연결하여 에지 맵(edge map)을 만들어 내는 과정으로 이루어진다.

즉, 케니 에지 검출기는 먼저 잡음을 제거하는 가우스 저역 필터를 사용한다. 이 필터는 시그마(σ)라는 값으로 그 특성이 제어된다. 그 다음에 소벨(Sobel) 연산자를 거친다. 소벨 연산자는 두 개의 고역 필터로 구성되고 각각 필터에서 얻어진 결과는 벡터 형식으로 얻어진다. 이 벡터의 놈(norm)을 취해서 에지 에너지 영상을 만들고 이 영상에 대해서 임계화하여 에지 맵(edge map)을 만든다. 도 7은 원본 피부 주름 이미지와 캐니 마스크를 이용한 에지 검출 결과를 보여주는 사진이다.

에지 검출 후, 에지의 비교를 효율적으로 하기 위해 필요 없는 잔주름은 모폴로지 연산인 침식(Erosion), 팽창(Dilation)의 순으로 작업을 하는 열림(Opening) 연산을 사용하여 제거한다.

모폴로지(Morphophology)는 영상의 형태(Shape)를 분석하고 처리하는 영상처리 기법이다. 영상의 경계, 블록, 골격 등 형태를 표현하거나 서술하는데 필요한 영상 요소를 추출하려고 형태학 처리를 이용한다.

형태학의 침식연상과 팽창연산은 다른 연산의 기본이 된다. 침식(Erosion)은 물체의 크기를 그 배경과 관련하여 일정하게 줄여주는 것이다. 따라서 영상의 물체와 배경 사이에 스파크 잡음이 있을 때 이 잡음을 제거하거나 전체 영상에서 아주 작은 물체를 제거하는 데 유용하다. 영상에서의 돌출부는 감소시키고, 내부 돌출부는 증가시켜서 서로 닿은 물체를 분리할 때도 유용하다. 반면, 팽창(Dilation)은 물체 내부의 돌출부는 감소하고 외부의 돌출부는 증가시켜서 물체의 크기를 확장하고 배경은 축소하는 기법이다. 따라서 물체 내부에 발생한 구멍과 같은 공간을 채우거나 짧게 끊어진 영역을 연결하는 데 사용된다.

열기(Opening) 연산은 침식연산 다음에 팽창연산을 바로 사용하는 것으로, 볼록하게 나온 부분을 제거하고 좁은 연결을 끊어서 영상의 외곽선 부분을 부드럽게 만든다. 그래도 물체의 형상과 크기는 보존된다. 돌출 부분과 좁은 연결 부위를 제거하므로 제거 연산이라고도 한다. 외곽선 부분을 더욱 부드럽게 하려면 열기연산을 반복해서 적용하여 침식연산을 특정 횟수만큼 반복한 뒤 팽창연산도 같은 횟수만큼 반복하면 된다.

모폴로지 연산의 가장 기본적이라 할 수 있는 팽창과 침식 연산은 다음 식에 의해 정의될 수 있다.

팽창은

로 정의되면, 물체 A와 구조요소(structuring element)B의 성분들의 모든 벡터 합을 말한다. 즉 A와 B의 성분들의 가능한 모든 평행이동의 합집합인 것이다. 따라서 물체 내부의 돌출부는 감소하고, 외부의 돌출부는 증가하는 결과를 가져오게 된다.

반대로 침식은

로 정의되며, 팽창 연산과 반대로 평행 이동된 부분의 교집합을 말한다. 따라서 물체의 크기를 감소시키며, 외부 돌출부는 감소하고, 내부 돌출부는 증가하는 결과를 가져오게 된다. 이러한 침식연산과 팽창연산을 거쳐 구조요소(여기서는 피부 주름) 이하의 객 체나 잡음을 제거하는 것을 열기 연산이라고 한다. 본 발명은 이러한 열기 연산을 이용해 가장 의미 있는, 강한 주름 에지만을 검출하여 이를 비교하는 작업을 수행한다. 도 8은 본 발명에 따라 열기연산을 수행하기 전과 열기연산을 수행한 후의 결과를 보여준다.

이어서, 두 개의 2D 피부 주름 이미지(왼쪽 영상과 오른쪽 영상)에서 검출된 각 에지들의 기울기를 계산하고 이 기울기를 비교하여, 최대로 근사한 기울기를 갖는 에지를 각각의 정합 점으로 한다. 이와 같은 에지를 이용한 정합 점의 검색방법은 종래의 코너를 이용한 방법보다 효율적으로 작업을 할 수 있다. 도 9는 기울기 비교를 이용한 매칭 작업을 보여준다. 이렇게 검출된 정합 점은 다음 단계인 F 매트리스 계산 단계에서 사용된다.

이어, 에프 매트릭스 계산(F Matrix Computation) 단계(S220)는 검출된 정합점에 8-포인트 알고리즘(8-point algorithm)을 사용하여 에프 매트릭스(Fundamental Matrix)를 계산하는 단계이다.

이 작업을 수행하기 위해선 먼저 두 개의 피부 주름 영상에서 검출된 에지들의 곱(Multiply) 연산을 통해 두 에지가 일치하는 부분만을 뽑아낸다. 본 발명은 검출된 에지 영상에서 각 에지의 양 끝점을 정합 점으로 사용한다. 이 작업의 목적은 0과 1값으로만 구성된 이진 영상에서의 곱 연산을 통해 1 값인 공통된 에지 부분을 검출하려는 의도이다. 도 10은 본 발명에서 사용하는 곱 연산의 예를 보여주는 것이다. 그리고, 도 11은 두 개의 에지 영상의 곱을 통해 나온 결과 영상에서 에지의 양 끝점을 정합 점으로 한 결과를 보여준다.

3 x 3 매트릭스인 에프 매트릭스는, 8개의 정합 점이 주어질 경우 결정될 수 있다. 첫 번째 이미지에서 어떤 점 m에 대응될 두 번째 이미지의 어떤 점을 m´라고 할 때 아래의 식과 같이 표현할 수 있다.

그리고 다음의

의 공식을 통해 에프 매트릭스(F Matrix)를 구할 수 있다. 이를 정리해서 두 점과 f는 아래와 같이 나타낼 수 있다.

마지막 항인 1은 생략이 가능하여 아래와 같이 정리한다.

A는 8개의 정합 점의 쌍(pair)를 이용하여 만든 매트릭스이다. 이때, 본 발명은 코너가 아닌 에지를 사용하였다. 따라서 특징점 검출이 힘든 피부 이미지에서 더욱 효과적으로 정합 점(매칭 포인트)을 찾아낼 수 있다.

이어, 화상 보정(Image Rectification) 단계(S230)는, 앞서 얻어진 에프 매트릭스(F Matrix) 값을 이용하여 이미지 평면을 워핑(Warping)해 주는 작업이다.

워핑(Warping)은 특정한 규칙에 따라 입력 영상의 크기, 길이, 두께 등 형태를 변형하는 기술을 말한다. 일그러진 영상을 올바르게 보이도록 만든다든지 한쪽 부분을 늘이거나 줄인다든지 하는 효과를 줄 때 사용한다. 즉, 영상 보정(Image rectification)은 왜곡되거나 저하된(degraded) 영상데이터를 보정하여 원래 영상을 충실하게 표현하기 위한 것으로, 3D 재구성(Reconstruction)의 문제에 있어서 스테레오 이미지(Setreo Image)로 부터 덴스 뎁 맵(Dense Depth Map)을 얻기 위한 정보로 양안시차 맵(Disparity Map)을 구하는데 정확성을 높이고 시간을 줄이는데 효과적으로 적용된다. 이 작업은 일반적으로 기하학적인 왜곡을 보정하기 위한 작업을 포함한다.

본 발명은 두 개의 피부 주름 이미지의 정합 점을 일직선으로 연결되게 배치시켜 주는 작업이 요구된다. 바람직하게, 에피폴라 라인(Epipolar Line)을 일직선으로 맞춰주는 작업이 필요하다. 도 12는 에피폴라 기하(Epipolar geometry)의 예를 보여준다.

실제 3차원 공간상의 점이 카메라를 통하여 2차원 영상에 맺힐 때의 구조를 설명하는 에피폴라 기하학은 도시된 바와 같이, 3차원 공간상의 한 점을 X, 2차원 영상면에 투영된 점을 각각 x, x', 스테레오 카메라의 광원을 각각 C₁, C₂, 좌, 우 입력 영상을 L, R이라 할 때, △MC₁C₂를 에피폴라 평면(epiplkar plan)이라 하고, 좌 영상의 임의의 점 x과 대응하는 x'가 놓여있는 직선을 x과 x'에 대한 에피폴라 라인(epipolar line)이라고 한다. C₁와 C₂가 이루는 직선과 에피폴라 라인이 만나는 직선의 교차점인 e와 e'을 에피폴(epipole)이라고 한다.

스테레오 정합에서 실제 3차원 공간상의 점과 카메라를 통해 맺힌 2차원 평면상의 점간의 관계 특히, 두 영상의 대응 점간의 관계를 설명하는 에피폴라 기하 학이 존재한다. 앞서 구한 정합 점과 이를 이용한 정합 점 정합이 정확히 이루어진다면 두 영상간의 기하학적 구조를 계산할 수 있다.

에피폴라 기하학을 구성하는 기본적인 요소는 앞서 계산한 에프 매트릭스로 귀결된다. 이 에프 매트릭스는 카메라를 통하여 얻은 두 영상 사이의 모든 기하학적인 정보를 가진 매트릭스로 에피폴라 기하학을 구성하는 기본이 된다.

본 발명에서는 에프 매트릭스를 구하기 위하여 특징 점의 정합 결과를 이용하여 8 포인트 알고리즘을 적용하였다. 도 13에서 3 차원상의 한 점을 X에 대한 좌 영상의 점 x, 우 영상의 점을 x'라 할 때, 두 점과 에프 매트릭스 사이에는

의 관계가 형성된다. 이를 에피폴라 등식이라고 한다. 이 등식을 이용하여 좌 영상에 속한 임의의 점에 대응되는 우 영상의 한 점이 속해 있는 에피폴라 라인을 구할 수 있다.

이러한 화상 보정은 다음과 같이 크게 4가지로 구분 지울 수 있다. 첫째, 2차원 영상면(Original retinal plane)인 Ⅱ와 Ⅱ'의 교차로 생긴 선분 PQ를 계산한다. 둘째, 베이스라인(Baseline)인 벡터 CC'를 계산한다. 셋째, 선분 PQ를 포함하고 CC'와 평행인 평면(Plane)을 계산한다. 그리고 넷째, 이 평면 값을 추정하여 정합점들을 평행으로 일치시킨다. 도 14는 피부 주름 이미지를 화상 보정한 결과를 보여준다.

이어서, 덴스 매칭(Dense Matching) 단계(S230)는, 3D 입체영상(3D Reconstucton)에 있어서 중요한 시차 맵핑(Disparity Mapping) 작업을 하는 단계이 다. 화상 보정(Image Rectification) 작업 후, 모든 픽셀에 대해서 좌표를 계산한다. 왼쪽 이미지와 오른쪽 이미지의 정합 점 좌표를 계산하면 x축 좌표의 값이 차이가 나는 것을 확인할 수 있다. 이 차이 값을 계산하는 것이 바로 시차 계산(Disparity Computation)이라고 한다

시차(Disparity) 벡터를 구하는 스테레오 영상처리 방법은 크게 두 가지로 분류된다. 모든 픽셀에 대해 블록기반으로 유사도 측정이 이루어지는 상관도 기반 방법(correlation based method)과 추출된 특징 점(feature point) 집합에 대해서만 정합이 이루어지는 특징 기반 방법(feature based method)이 있다.

여기서 본 발명은 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 특징 점을 이용한 특징 기반 방법을 사용하여 시차 맵핑(Disparity Mapping) 작업을 한다. SIFT 알고리즘은 크기와 회전에 불변한 특징을 추출하는 것이 가능하고, 이를 이용해서 검색(Detection) 이나 인지(Recognition)에 응용하곤 한다. 또한 SIFT는 입력 영상을 가우시안 영상 피라미드를 생성한 후 Dog(Difference of Caussian)이 국부 최대, 최소점을 추출하여 이 중에서 강인한 점만을 추출하여 특징 점으로 사용한다. 각 특징 점의 기울기 히스토그램에서 최대 기울기를 추출하고 특징 점을 중심으로 8개 각도로 양자화시켜 4 × 4개의 방위 히스토그램으로 특징 점 주위의 방향성 정보를 이용하여 128차원의 특징벡터를 생성하는 것이다.

추가적으로 정합 과정에서 생기는 거짓 정합(false matching)에 대한 에러를 제거하고 왜곡된 부분에 대한 보정을 한다. 기존의 알고리즘은 시차(disparity)를 계산하기 위해서 사용자가 시차 범위(disparity range)를 직접 정의하고 결과가 나올 때까지 범위를 조정해야 했다.

그러나 본 발명에서는 도 15에서 보는 바와 같이, 좌우 영상에서의 SIFT 정합 쌍 중에서 왼쪽 영상을 기준으로 x축(left ,right)으로 최소, 최대 정합 쌍과 y축(top, bottom)으로 최소, 최대 정합 쌍을 결정할 수 있으며 이때 오차 범위를 α로 정의한다. 정합 계산을 하고자 하는 영역을 직사각형(Rectangle;left, right, top, bottom)이 되도록 스캔 범위를 자동으로 지정할 수 있도록 아래 식과 같이 계산한다. 즉 정합 계산을 하고자 하는 영역을 직사각형(Rectangle; left, right, top, bottom)이 되도록 스캔 범위를 자동으로 지정하여 작업을 하는 것이다.

이 후 SIFT 벡터에 의한 유클리디안 거리를 아래 식들을 이용하여 계산한다. 도 16은 벡터에 의한 유클리디안 거리 측정 예를 보여준다.

임계값의 설정

거리 계산

이로써 두 영상의 각 픽셀에 대한 좌표와 거리를 계산하고 이를 정합하면 시차 계산(Disparity Computation) 작업이 완료된다. 도 17은 시차 계산 결과를 보여준다. 도시된 바와 같이, 왼쪽 영상(x,y)과 오른쪽 영상(x,y)과의 정합 점 좌표를 계산하면 x축 좌표의 값이 차이(350, 375)가 나는 것을 확인할 수 있다. 이는 촬영 시 두 카메라의 위치가 평행한 상태에서 좌우 쪽에 배치하였기 때문이다. 본 발명은 이러한 자동 영역 설정 방법을 응용하여 정확도를 높이기 위해 피부 주름 영상 전반에 걸쳐 작업을 한다. 이 작업결과는 도 18에 나타나 있다.

그리고 계산된 시차(Disparity)값을 이용하여 덴스 시차 맵(Dense Disparity Map)을 만들어낸다. 즉, 이러한 차이 값을 이미지로 만들어내는 작업이라 할 수 있다.

이어서, 입체영상 재구성(3D Reconstruction) 단계(S250)는 삼각측량(triangulation) 작업을 수행하여 3D 모델을 만드는 과정이다. 삼각측량법은 전단계인 덴스 매칭(Dense matching)에서 얻어진 좌표 값을 통해, 실제 z 좌표 값을 계산하는 작업이다. 삼각측량법의 정의는 다음과 같다. 어떤 한 점의 좌표와 거리를 삼각형의 성질을 이용하여 알아내는 방법으로, 그 점과 두 기준점이 주어졌으면 그 점과 두 기준점이 이루는 삼각형에서 밑변과 다른 두 변이 이루는 각을 각각 측정하고, 그 변의 길이를 측정한 뒤, 사인 법칙 등을 이용하여 일련의 계산을 수행함으로써 그 점에 대해 좌표와 거리를 알아내는 방법이다. 이 거리 값이 바로 z 값이 된다.

도 19에 도시되어 있는 그림을 참조하여 계산과정은 살펴본다. 먼저, 사인법칙과 코사인법칙을 이용하여 C의 위치를 구한다.

이어, AC와 BC를 다음과 같이 구한다.

그리고 RC를 다음과 같이 구한다.

끝으로 MR를 계산 후에 MC를 다음과 같이 구한다.

이와 같은 방법으로 삼각측량을 하여, z 좌표 값을 계산한다. 이 같은 작업을 하는 이유는 두 카메라와 물체(피부 주름)와의 실제 거리(깊이 정보)를 계산하기 위함이다.

이로써 x, y, z의 좌표 값을 모두 계산하였다. 그런 후에 메쉬를 입히는 작업을 하여 3D 재구성(Reconstruction) 작업을 최종 마무리한다. 그 결과를 도 20에 나타내었다.

끝으로 3D 피부 주름 평가(3D Wrinkle Data Estimation) 단계(S300)는, 주름의 개선 정도를 파악하기 위해, 주차별 3D 피부 주름 데이터를 이용하여 이를 비교하는 작업이다. 해당 영역의 주름의 길이, 깊이, 부피를 측정하여 화장품이나 의약품의 사용 후, 어느 정도 개선이 되었는가를 평가한다.

이는 앞서 계산된 덴스 매칭(dense matching)과 삼각측량(Triangulation) 작업 후의 x, y, z 정보, 즉 길이와 깊이 정보를 이용하여 쉽게 계산될 수 있다. 도 21은 3D 피부 주름 데이터를 측정한 결과이다.

두 3D 피부 주름 데이터의 측정 결과, 두 주차별 피부 주름의 개선 정도를 정량적인 수치로 확인할 수 있다.

도 1은 본 발명에 따른 피부 주름 평가를 위한 저가형 3D 측정 시스템을 보여주는 구성도,

도 2는 본 발명에서 사용하는 입체영상 촬영장치를 보여주는 사진,

도 3은 원격으로 두 개의 스테레오 이미지를 촬영할 수 있도록 하는 소프트웨어가 디스플레이되고 있는 모습을 보여주는 사진,

도 4는 본 발명에 따른 피부 주름 평가를 위한 3D 측정 방법을 보여주는 개략적이 흐름 구성도,

도 5는 본 발명에 따른 스테레오 이미지 취득 방법을 보여주는 사진,

도 6은 본 발명의 따라 획득된 스테레오 이미지를 보여주는 사진,

도 7은 캐니 마스크를 사용하여 에지를 검출하기 전과 후를 보여주는 사진,

도 8은 열기 연산 작업을 하기 전과 후를 비교하여 보여주는 사진,

도 9는 에지의 기울기 비교를 이용한 매칭 작업을 보여주는 사진,

도 10은 본 발명에서 사용하는 곱 연산의 예를 보여주는 식,

도 11은 두 개의 에지 영상의 곱을 통해 나온 결과 영상에서 에지의 양 끝점을 정합 점으로 선택하는 모습을 보여주는 사진,

도 12는 에피폴라 기하의 예를 보여주는 그림,

도 13은 화상 보정을 설명하는 그림,

도 14는 화상 보정의 결과를 보여주는 사진,

도 15는 SIFT 정합쌍을 이용한 자동영역 설정 방법을 보여주는 사진,

도 16은 벡터에 의한 유클리디안 거리 측정의 예를 보여주는 그림,

도 17은 시차 계산의 결과를 보여주는 사진,

도 18은 덴스 매칭 결과를 보여주는 사진,

도 19는 삼각측량법을 설명하기 위한 그림,

도 20은 입체영상 재구성(3D Reconstruction)의 결과를 보여주는 사진,

도 21은 3D 피부 주름 이미지 측정 결과를 비교하여 보여주는 사진이다.

Claims (8)

1. 평면 영상(2D)을 촬영하는 두 대의 DSLR 카메라;

   상기 두 대의 DSLR 카메라가 일정 간격 떨어져 동일 평면상에 설치되도록 하는 케이스가 구비된 삼각대;

   상기 두 개의 DSLR 카메라와 전기적으로 연결되고 두 대의 DSLR 카메라에서 촬영된 스테레오 이미지를 저장 및 디스플레이함과 아울러, 두 대의 DSLR 카메라에서 촬영한 두 개의 스테레오 이미지를 정합하여 입체영상(3D) 피부 주름 데이터를 생성하고 측정하는 소프트웨어가 설치된 컴퓨터;를 포함하여 구성된 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 시스템.
2. 제 1항에 있어서,

   상기 두 대의 DSLR 카메라는 DSLR 카메라의 광축이 서로 평행하거나 교차하도록 배치되는 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 시스템.
3. 제 1항 또는 제 2항에 있어서,

   상기 두 대의 DSLR 카메라는 상기 컴퓨터에 설치되어 있는 소프트웨어에 의해서 동시에 2D 이미지를 촬영하는 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 시스템.
4. 일정 간격 떨어져 평행하게 설치된 두 대의 DSLR 카메라에 의해 두 개의 스테레오 이미지(2D)를 획득하는 이미지 획득단계((Acquire Images);

   상기 이미지 획득단계에서 얻은 두 개의 스테레오 이미지(2D)를 정합하여 입체영상(3D)을 생성하는 3D 이미지 생성단계;

   화장품이나 의약품의 사용 전,후에 얻어진 입체영상 피부 데이터를 측정하여 주름의 길이, 깊이 또는 부피를 비교하여 피부 주름의 변화를 측정하는 3D 피부 주름 이미지 측정단계;를 포함하여 구성된 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 방법.
5. 제 4항에 있어서,

   상기 3D 이미지 생성단계는,

   스테레오 이미지 획득단계에서 촬영된 2D 피부 주름 이미지를 재구성(Reconstruction)을 하기 위하여 두 개의 2D 주름 이미지의 정합 점을 검색하는 정합 점 검색단계;

   검출된 정합 점에 8-포인트 알고리즘을 사용하여 에프 매트릭스(Fundamental Matrix)를 계산하는 에프 매트릭스 계산 단계;

   상기 에프 매트릭스 계산 단계에서 얻어진 에프 매트릭스 값을 이용하여 이미지 평면을 워핑해 주는 화상 보정(Image Rectification) 단계;

   상기 화상 보정(Image Rectification) 작업 후, 모든 픽셀에 대해서 왼쪽 이미지와 오른쪽 이미지의 정합 점 좌표를 계산하고 계산된 시차(Disparity)값을 이 용하여 덴스 시차 맵(Dense Disparity Map)을 만드는 덴스 매칭(Dense Matching) 단계;

   상기 덴스 매칭 단계에서 얻어진 3D 좌표값을 이용하여 삼각측량(triangulation) 작업을 수행하여 3D 피부 주름 이미지를 만드는 입체영상 재구성(3D Reconstruction) 단계를 포함하여 구성된 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 방법.
6. 제 5항에 있어서,

   상기 정합 점 검색단계는 정합 점을 효과적으로 찾기 위해서 코너가 아닌 에지(Edge)를 이용하는 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 방법.
7. 제 5항 또는 제 6항에 있어서,

   상기 정합 점 검색단계는, 에지 검출기인 캐니 에지 검출기(Canny Edge Detection)를 사용하여 두 피부 주름 이미지의 에지를 검출하고, 검출된 각 에지들의 기울기를 계산하고 이를 비교하여, 최대로 근사한 기울기를 갖는 에지의 양 끝점을 정합 점으로 하는 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 방법.
8. 제 7항에 있어서,

   상기 정합 점 검색단계는, 에지의 비교를 효율적으로 하기 위해 필요 없는 잔주름은 모폴로지 연산인 침식(Erosion), 팽창(Dilation)의 순으로 작업을 하는 열기(Opening) 연산을 사용하여 제거하는 것을 특징으로 하는 피부 주름 평가를 위한 입체영상 측정 방법.

Images