KR101661853B1 - 피부로부터 상처를 분할하기 위한 영상 처리 방법 및 영상 처리 장치 - Google Patents

Abstract

본 발명은 피부로부터 상처를 분할하기 위한 영상 처리 방법 및 영상 처리 장치에 관한 것이다. 본 발명에 따르면, 사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성하는 단계; 상기 생성한 피처 영상을 이용하여 상기 원본 영상의 에너지를 추출하는 단계; 및 상기 추출한 원본 영상의 에너지를 이용하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 단계를 포함하는 영상 처리 방법이 제공된다. 본 발명에 따르면, 상처 분할하여 치유 과정 판단시 더욱 정확한 정보를 제공할 수 있다.

Description

피부로부터 상처를 분할하기 위한 영상 처리 방법 및 영상 처리 장치 {METHOD AND APPARATUS FOR PROCESSING IMAGE}

본 발명은, 피부로부터 상처를 구분하기 위한 영상 처리 방법 및 영상 처리 장치에 관한 것이다.

상처의 형태는 치료, 진단, 예측에 매우 중요한 요소이다. 초기의 정확한 진단은 흉터 없이 상처를 치료하는 것을 가능하게 한다.

최근에는 흉터 발생의 측면에서도 상처 치유의 과정이 중요하다고 판단되고 있다. 치유과정의 염증 반응이 과도하거나 지속되는 경우 켈로이드 또는 과형성 흉터로도 이어질 가능성이 있기 때문이다. 따라서, 이러한 변화를 지속적으로 감지하고 적절한 치료를 위한 안내를 해야 흉터 발생을 예방할 수 있다.

하지만, 제대로 치료되지 않은 상처는 오래 지속될 뿐만 아니라 흉터를 남겨 환자의 고통을 더할 수 있다.

또한, 자동적인 상처 판단은 피부과 의사들이 정확한 진단을 하는 데에 도움을 주고, 원격진료 시스템 구축을 위해 필수적인 기술이다. 따라서, 상처 분할은 이를 위한 첫 단계라고 할 수 있다.

이에, 본 발명은 상처를 피부로부터 정확하게 분할하는 기술을 제안하고자 한다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

본 발명은, Gradient Vector Flow (GVF) snake를 활용한 새로운 선형 판별 피처로서 상처와 피부의 차이가 극대화된 피처를 형성하고, 형성된 피처를 GVF 스네이크(GVF snake)에 적용하여 상처 분할하는 것을 제공하는 것을 다른 목적으로 한다.

본 발명은, 상처의 면적을 측정하고, 치유 과정을 판단하는 데에 보다 정확한 정보를 제공하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

일실시예에 따른, 정상 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 피부로부터 상처를 구분하기 위한 영상 처리 방법은, 사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성하는 단계; 상기 생성한 피처 영상을 이용하여 상기 원본 영상의 에너지를 추출하는 단계; 및 상기 추출한 원본 영상의 에너지를 이용하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 단계를 포함할 수 있다.

다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 피처 영상을 생성하는 단계는, 상기 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출하는 단계; 상기 변환 영상의 픽셀들을 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분하는 단계; 상기 상처 클러스터에 기초하여 상기 상처 영역에 대응하는 바이너리 마스크를 생성하는 단계; 상기 바이너리 마스크를 변환 영상에 적용하여 상기 상처 영역과 피부 영역과 관련된 색상 데이터를 결정하는 단계; 및 상기 색상 데이터에 선형 판별 알고리즘을 적용하여 최종으로 정확하게 상처를 분할하는 단계를 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 클러스터로 구분하는 단계는, 상기 변환 영상의 픽셀들의 유사도를 고려하여 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 클러스터로 구분하는 단계는, 상기 피부 클러스터, 상기 상처 클러스터 각각에 해당되는 라벨에 기초한 벡터를 각각의 클러스터의 데이터에 적용하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 색상 데이터를 결정하는 단계는, 상기 바이너리 마스크를 수축 또는 팽창하여 상기 경계선 영역을 상기 상처 영역과 피부 영역과 관련된 색상 데이터에서 제외하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 선형 판별 알고리즘을 적용하는 단계는, 상기 선형 판별 알고리즘의 트레이닝 과정에서 획득한 파라미터를 이용하여 피처를 획득하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 원본 영상의 에너지를 추출하는 단계는, 상기 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하는 단계; 및 상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 단계를 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 외적 에너지를 추출하는 단계는, 상기 피처 영상의 그레디언트 벡터 플로우에 기초하여 상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 그레디언트 벡터 플로우는, 상기 피처 영상으로부터 도출된 경계맵에 기초하여 생성되고, 상기 경계맵은, 상기 피처 영상에 절대값을 적용함으로써 결정되는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 방법에 있어서, 상기 영상을 상처 영역과 피부 영역으로 분할하는 단계는, 상기 추출한 원본 영상의 에너지의 값을 최소화하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 것을 포함할 수 있다.

일실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 장치에 있어서, 피부로부터 상처를 구분하기 위한 영상 처리 장치는, 사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성하는 피처 영상 생성부; 상기 생성한 피처 영상을 이용하여 상기 원본 영상의 에너지를 추출하는 영상 에너지 추출부; 및 상기 추출한 원본 영상의 에너지를 이용하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 영역 분할부를 포함할 수 있다.

다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 장치에 있어서, 상기 피처 영상 생성부는, 상기 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출하고, 상기 변환 영상의 픽셀들을 클러스터로 구분하고, 상기 상처 영역과 피부 영역과 관련된 색상 데이터에 선형 판별 알고리즘을 적용하는 것을 포함할 수 있다.

또 다른 실시예에 따른, 피부로부터 상처를 구분하기 위한 영상 처리 장치에 있어서, 상기 영상 에너지 추출부는, 상기 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하고, 상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 것을 포함할 수 있다.

본 발명은, GVF 스네이크(GVF snake)에 적용할 새로운 선형 판별 피처로서 상처와 피부의 차이가 극대화된 피처를 형성할 수 있다. 그러므로, 본 발명은, 형성된 피처를 GVF 스네이크에 적용하여 상처 분할할 수 있는 효과가 있다.

본 발명은, 상처의 면적을 측정하고, 치유 과정을 판단하는 데에 보다 정확한 정보를 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 피부로부터 상처를 구분하기 위한 영상 처리 방법으로서, 영상 처리 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일실시예에 따른 피부로부터 상처를 구분하기 위한 영상 처리 방법을 나타내는 것이다.
도 3은 본 발명의 일실시예에 따른 상처 및 피부 색상 데이터의 분포 형태를 나타내는 것이다.
도 4는 본 발명의 일실시예에 따른 알고리즘을 사용하여 선형 판별 피처를 획득한 것을 나타내는 것이다.
도 5는 본 발명의 일실시예에 따른 영상을 이용하여 계산한 기울기 벡터장을 나타내는 것이다.
도 6은 본 발명의 일실시예에 따른 생성한 선형 판별 피처를 이용하는 것을 나타내는 것이다.
도 7은 본 발명의 일실시예에 따른 알파 값을 조정한 결과를 나타내는 것이다.
도 8은 본 발명의 일실시예에 따른 베타 값을 조정한 결과를 나타내는 것이다.
도 9는 본 발명의 일실시예에 따른 분할 방식인 스네이크를 사용한 것을 나타내는 것이다.
도 10은 본 발명의 일실시예에 따른 GVF 스네이크를 사용한 것을 나타내는 것이다.
도 11은 본 발명의 일실시예에 따른 바이너리 마스크를 영상에 적용한 것을 나타내는 것이다.
도 12는 본 발명의 일실시예에 따른 상처가 포함된 영상과 선형 판별 피처를 나타내는 것이다.
도 13은 본 발명의 일실시예에 따른 마스크를 팽창시키는 것을 나타내는 것이다.
도 14는 본 발명의 일실시예에 따른 유클리드 거리 피처를 생성하는 것을 나타내는 것이다.
도 15는 본 발명의 일실시예에 따른 유클리드 거리 피처와 선형 판별 피처의 비교를 나타내는 것이다.
도 16a는 본 발명의 일실시예에 따른 최적화된 경계선을 구하는 것을 나타내는 것이다.
도 16b는 본 발명의 일실시예에 따른 최적화된 경계선을 도출하는 것을 나타내는 것이다.
도 17은 본 발명의 일실시예에 따른 경계선 부분을 고려하여 경계 맵(edge map)를 생성하는 것을 나타내는 것이다.
도 18은 본 발명의 일실시예에 따른 피처로 계산한 기울기 벡터장을 나타내는 것이다.
도 19는 본 발명의 일실시예에 따른 GVF를 사용하여 얻은 최종 결과를 나타내는 것이다.
도 20은 본 발명의 일실시예에 따른 실험을 수행하기 위한 흑인의 상처 가 포함된 영상을 나타내는 것이다.
도 21은 본 발명의 일실시예에 따른 피처를 생성하고, 각각을 비교하는 것을 나타내는 것이다.
도 22는 본 발명의 일실시예에 따른 피부로부터 상처를 구분하기 위한 영상 처리 장치로서, 영상 처리 장치를 나타내는 블록도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 피부로부터 상처를 구분하기 위한 영상 처리 방법으로서, 영상 처리 방법을 나타내는 흐름도이다.

먼저, 도 1을 참조하면, 피부로부터 상처를 구분하기 위한 영상 처리 장치가 수행하는 피부로부터 상처를 구분하기 위한 영상 처리 방법은, 하기와 같은 단계를 포함하여 이루어 질 수 있다. 이때, 영상 처리 장치는, 프로세서를 포함하는 컴퓨팅 디바이스, 디지털 영상 처리 장치 또는 화소 처리 장치가 될 수 있으나 이에 한정되지는 않는다. 또한, 영상 처리 장치는, 메모리, 프로세서, 데이터 송수신기, 영상 신호 처리기, 광신호 처리기 중 적어도 하나를 포함하여 구성될 수도 있다.

단계(S101)에서, 영상 처리 장치는, 사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성할 수 있다.

구체적으로, 영상 처리 장치는, 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출하고, 변환 영상의 픽셀들을 클러스터로 구분하고, 상처 영역과 피부 영역과 관련된 색상 데이터에 선형 판별 알고리즘을 적용할 수 있다. 또한, 영상 처리 장치는, 경우에 따라서, 상처 영역과 피부 영역과 관련된 색상 데이터에 선형 관계를 이용한 다른 알고리즘을 적용할 수도 있으나, 선형 알고리즘이 이에 한정되는 것은 아니다.

단계(S102)에서, 영상 처리 장치는, 생성한 피처 영상을 이용하여 원본 영상의 에너지를 추출할 수 있다.

구체적으로, 영상 처리 장치는, 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하고, 피처 영상의 경계선과 관련된 외적 에너지를 추출할 수 있다.

또한, 영상 처리 장치는, 피처 영상의 그레디언트 벡터 플로우에 기초하여 피처 영상의 경계선과 관련된 외적 에너지를 추출할 수도 있다. 이때, 그레디언트 벡터 플로우는, 피처 영상으로부터 도출된 경계맵에 기초하여 생성되고, 경계맵은, 피처 영상에 절대값을 적용함으로써 결정될 수 있다.

단계(S103)에서, 영상 처리 장치는, 추출한 원본 영상의 에너지를 이용하여 원본 영상을 상처 영역과 피부 영역으로 분할할 수 있다.

구체적으로, 영상 처리 장치는, 추출한 원본 영상의 에너지의 값을 최소화하여 원본 영상을 상처 영역과 피부 영역으로 분할할 수 있다.

도 2는 본 발명의 일실시예에 따른 피부로부터 상처를 구분하기 위한 영상 처리 방법을 나타내는 것이다.

도 2를 참조하면, 피부로부터 상처를 구분하기 위한 영상 처리 장치가 수행하는 영상 처리 방법으로서, 영상 처리 장치가 사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성할 경우, 하기와 같은 단계를 포함하여 구성될 수 있다.

단계(S201)에서, 영상 처리 장치는, 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출할 수 있다.

단계(S202)에서, 영상 처리 장치는, 변환 영상의 픽셀들을 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분할 수 있다.

구체적으로, 영상 처리 장치는, 변환 영상의 픽셀들의 유사도를 고려하여 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분할 수 있다. 이때, 영상 처리 장치는, 피부 클러스터, 상처 클러스터 각각에 해당되는 라벨에 기초한 벡터를 각각의 클러스터의 데이터에 적용할 수 있다.

단계(S203)에서, 영상 처리 장치는, 상처 클러스터에 기초하여 상처 영역에 대응하는 바이너리 마스크를 생성할 수 있다.

단계(S204)에서, 영상 처리 장치는, 바이너리 마스크를 변환 영상에 적용하여 상처 영역과 피부 영역과 관련된 색상 데이터를 결정할 수 있다. 구체적으로, 영상 처리 장치는, 바이너리 마스크를 수축 또는 팽창하여 경계선 영역을 상처 영역과 피부 영역과 관련된 색상 데이터에서 제외할 수 있다.

단계(S205)에서, 영상 처리 장치는, 색상 데이터에 선형 판별 알고리즘을 적용할 수 있다.

이때, 영상 처리 장치는, 선형 판별 알고리즘의 트레이닝 과정에서 획득한 파라미터를 이용하여 피처를 획득할 수 있다.

도 3은 본 발명의 일실시예에 따른 상처 및 피부 색상 데이터의 분포 형태를 나타내는 것이다.

일실시예에 따르면, 영상 처리 장치는, 영역을 분할하기 위하여 유클리드 거리, 벌룬즈(balloons), 디퓨전 스네이크(diffusion snake), 그리고 기울기 벡터장(gradient vector flow) 등을 사용할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 기울기 벡터장에 기반된 방식으로 활성 외곽선(active contour)를 먼 위치에서도 경계선으로 잘 끌어당겨 정확한 결과를 나타낼 수 있다. 구체적으로, 영상 처리 장치는, GVF 스네이크(GVF snake)에 적용할 수 있는 새로운 피처 공간을 생성할 수 있다. 이 피처 공간은 색상 정보를 사용하여 상처와 피부를 선형적으로 분리할 수 있는 특성으로서 높은 정확성으로 상처에 대한 분할 결과를 제공해 준다.

또한, 영상 처리 장치는, 색상 데이터를 입력으로, LDA 알고리즘을 사용하여 새로운 피처를 생성하고, 이를 GVF 스네이크 알고리즘에 적용함으로써 최종적으로 얻은 분할 결과를 보일 수 있다.

도 3을 참조하면, L*a*b 색상 공간에서의 상처, 피부 색상 데이터의 분포 형태를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 선형 판별 피처를 생성할 수 있다. 예를 들어, 영상 처리 장치는, GVF 스네이크를 사용하여 정확한 분할을 하기 위해, 강도 피처(intensity feature)를 대체할 새로운 피처 영상을 생성할 수 있다. 또한, 영상 처리 장치는, 상처를 분할하려고 하는 영상에 선형 판별(LDA, Linear Discriminant Analysis) 알고리즘을 적용함으로써 상처 부분과 피부부분이 선형적으로 나뉘게 되는 피처를 생성할 수 있다. 도 3을 다시 참조하면, L*a*b 색상 공간에서 상처와 피부에 대한 색상 데이터가 나눠져서 분포하는 것을 알 수 있다.

도 4는 본 발명의 일실시예에 따른 알고리즘을 사용하여 선형 판별 피처를 획득한 것을 나타내는 것이다.

도 4를 참조하면, 원본 상처 영상(a)으로부터 LDA 알고리즘을 사용하여 얻은 선형 판별 피처(b)를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 우선 LDA 알고리즘에 적용할 색상 데이터를 하기와 같은 과정으로 얻을 수 있다. 먼저, 영상 처리 장치는, 원본 영상을 L*a*b 색상 공간으로 변환할 수 있다. L*a*b 색 좌표는 픽셀 값 간의 차이가 사람이 인지와 비슷하기 때문에 사람이 인식하는 정도와 비슷하게 분할을 시행할 수 있기 때문이다.

일실시예에 따르면, 영상 처리 장치는, L*a*b 색상 공간으로 변환한 영상에서 상처와 피부에 해당하는 곳에 15x15 크기의 마스크를 적용하여 L*a*b 색상 공간의 데이터를 얻고, 이 색상 데이터를 LDA 알고리즘에 사용할 수 있다. 이때, 영상 처리 장치는, 상처에 대한 색상 데이터를 -1로, 피부에 대한 데이터를 1로 레이블링함으로써 상처와 피부를 분리할 수 있는 계수를 계산할 수 있다. 또한, 영상 처리 장치는, 이 계수를 영상에 곱함으로써 피부에 가까운 값은 1에 가깝게, 상처에 해당하는 값은 -1에 가깝게 계산이 된 선형 판별 피처를 생성할 수 있다. 이때, 피처 영상은 상처와 피부 값의 차이가 극대화 됨으로써 경계선 부분을 더 확실히 판별할 수 있다. 영상 처리 장치는, 선형 판별 피처를 이용하여 상처 부분과 피부 부분이 극명하게 나뉘도록 할 수 있다.

도 5는 본 발명의 일실시예에 따른 영상을 이용하여 계산한 기울기 벡터장을 나타내는 것이다.

도 5를 참조하면, 선형 판별 피처 영상에 절대값을 씌워 계산한 경계맵 f(a)과 경계맵으로부터 계산한 기울기 벡터장(gradient vector flow) (b), 회색 영상을 이용하여 계산한 기울기 벡터장 (c)을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 기울기 벡터장을 이용할 수 있다. 영상 처리 장치는, 획득한 피처 영상을 GVF 스네이크에 적용할 수 있다. 이때, GVF 스네이크는 활성 외곽선(active contour) 방법의 일종으로, 영상에 대한 에너지 식을 최소화 하는 과정에서 분할 결과를 얻는 방식이다. 이때, 에너지 식은 하기의 수학식 1과 같이 내적 에너지와 외적 에너지로 이루어질 수 있다.

일실시예에 따르면, 영상 처리 장치는, 내적 에너지를 라인의 성질을 결정하는 요소로서 변수 alpha와 beta로 조절할 수 있다. 이때, alpha는 분할선의 장력(tension) 정도를 결정하며, beta는 분할선의 평탄함(smoothness) 정도를 결정할 수 있다. 영상 처리 장치는, 외적 에너지를 앞에서 계산한 선형 판별 피처로부터 계산한 기울기 벡터장으로 할 수 있다. 이때, 영상 처리 장치는, 선형 판별 피처로부터 기울기 벡터장을 계산하기 위하여 경계맵(edge map) f를 형성할 수도 있다. 기울기 벡터장은 경계맵으로부터 구해지는 확산 벡터영상이며, 확산벡터는 경계선을 향해있고, 경계선과 가까워질수록 큰 값을 갖을 수 있다. 또한, 영상 처리 장치는, 회색 영상의 변화도의 크기를 계산하여 경계맵을 형성할 수도 있다.

일실시예에 따르면, 영상 처리 장치는, 형성한 선형 판별 피처(LDA FEATURE)를 사용하여서 경계맵을 계산할 수 있다. 예를 들면, 영상 처리 장치는, 선형 판별 피처 영상에서 상처부분은 음수, 피부부분은 양수이므로 절대값을 씌우게 되면, 상처에서 피부로 변하는 경계선 부분이 제일 작은 값을 가지게 되어 경계선을 강조한 경계맵 f(a)를 구할 수 있다. 또한, 영상 처리 장치는, 절대값을 취해 얻은 경계맵 f를 사용하여 기울기 벡터장 g(x,y)=(u,v)를 계산할 수 있다. 이때, 영상 처리 장치는, 하기 수학식 2를 오일러 방정식을 이용해 최소화 하는 과정을 통해 계산할 수 있다.

이때, 영상 처리 장치가 선형 판별 피처(b)를 이용하여 계산한 기울기 벡터장은, 기존 회색 영상으로 계산한 기울기 벡터장(c)보다 더 정확한 경계선 정보를 가질 수 있다. 이는, 영상 처리 장치가 선형 판별 피처로 계산한 기울기 벡터장이 상처 분할선을 상처의 경계선으로 끌어당기는 힘이 더욱 더 강력하다는 것을 뜻할 수 있다. 선형 판별 피처로부터 계산된 기울기 벡터장은 수학식 1의 외적 에너지로 쓰일 수 있다. 수학식 1은 기존 스네이크(snake) 방법과 동일하게 이산화 과정과 반복적인 과정을 통하여 최소화될 수 있다.

일실시예에 따르면, 영상 처리 장치는, 초기 분할선으로부터 반복 과정을 거쳐, 분할선이 상처의 경계선으로 끌어당겨 지면서 최종적으로 스네이크 분할선 x(s=[x(s), y(s)])를 획득할 수 있다.

도 6은 본 발명의 일실시예에 따른 생성한 선형 판별 피처를 이용하는 것을 나타내는 것이다.

도 6을 참조하면, 원본 영상(a), LDA 알고리즘을 통해 계산한 선형 판별 피처(b), GVF 스네이크를 이용한 분할 결과(c)를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, GVF 스네이크에 사용할 수 있는 새로운 피처를 생성할 수 있다. 예를 들어, 영상 처리 장치는, L*a*b 색상 공간에서 상처와 피부에 대한 데이터를 얻고, 이를 LDA 알고리즘에 사용하여 선형 판별 피처를 생성할 수 있다. 영상 처리 장치는, 이렇게 생성한 새로운 피처를 GVF 스네이크에 적용함으로써 정확한 분할 결과를 획득할 수 있다.

다시, 도 6을 참조하면, 분할하려고 하는 원본 영상과, 이에 대한 새로운 선형 판별 피처, 그리고 새로운 피처를 GVF 스네이크에 적용하여 얻은 최종적인 분할 결과를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, GVF 스네이크에 적용할 새로운 선형 판별 피처를 생성할 수 있다. 영상 처리 장치는, L*a*b 색상 공간에서의 영상에 LDA 알고리즘을 적용함으로써 상처와 피부의 차이가 극대화된 피처를 형성하고, 이를 GVF 스네이크에 적용하여 상처 분할 결과를 획득할 수 있다. 이때, 영상 처리 장치는, 알고리즘을 이용하여 상처의 면적을 측정하고, 치유 과정을 판단하는 데에 보다 정확한 정보를 제공할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 스네이크의 활성 외곽선 모델(model)을 이용할 수 있다. 영상 처리 장치는, 분할(Segmentation)을 할 수 있는 방식으로 스네이크 알고리즘(snake algorithm)을 이용하여 이미지에서 얻은 저수준의 정보만을 가지고도 분할할 수 있다.

예를 들면, 영상 처리 장치는, 스네이크 알고리즘을 이용하여 에너지 최소화(Energy minimization)과정을 수행할 수 있다. 이때, 영상 처리 장치는, 내부 에너지(internal energy)와 외부 에너지(external energy)인 두 가지 에너지를 조절하여서 최소화 시키는 과정에서 분할 경계선(contour)를 획득할 수 있다. 또한, 영상 처리 장치는, 내부 에너지를 이용하여, 스네이크 외곽선(snake contour)의 구부러짐 정도와 팽팽함 정도를 조절할 수 있다. 또한, 영상 처리 장치는, 외부 이미지(external image)가 에지(edge)에 관한 특징들을 나타내어 에지에 맞게 경계선(contour)를 잡아당기는 힘을 작용하도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이렇게 경계선의 특징들을 결정해주는 각각의 에너지(energy)를 결합한 하기의 수학식 3을 최소화시킴으로써 우리의 목적인 분할을 얻어낼 수 있다. 두 개의 에너지를 나타내는 식은 하기와 같이 나타낼 수 있다.

이때, 내부 에너지를 나타내는 식은 하기의 수학식 4와 같을 수 있다.

일실시예에 따르면, 영상 처리 장치는, 내부 에너지를 알파(alpha)와 베타(beta), 두 가지의 계수로 조정할 수 있다. 예를 들면, 영상 처리 장치는, 경계선을 일차 미분한 값은 알파로 조절하게 되고, 이차 미분한 값은 베타로 조정할 수 있다. 이때, 알파는 경계선이 물체를 분할(segment)할 때 얼마나 팽팽한지를 조절해주는 계수이고, 베타는 경계선이 강직 되어 있는 정도, 즉 곡선의 부드러움을 조절하는 계수일 수 있다. 이때, 영상 처리 장치는, 오목한 부분을 나타내야 하는 경우, 베타의 값을 0으로 줌으로서 최대한 부드러운 곡선이 될 수 있도록 하여 분할이 잘 되도록 할 수 있다. 알파와 베타의 영향은 하기의 결과에서 확인할 수 있다.

도 7은 본 발명의 일실시예에 따른 알파 값을 조정한 결과를 나타내는 것이다.

도 7을 참조하면, 알파 값에 따른 스네이크의 결과를 알 수 있다. 이때, (a)의 알파 값은 0.2, (b)의 알파 값은 0.6, (c)의 알파 값은 1이 될 수 있다.

영상 처리 장치는, 베타 값을 고정한 상태에서 알파 값의 변화에 따라 결과를 도출할 수 있다. 이때, 값이 커질수록 경계선의 팽팽함이 증가하는 것을 볼 수 있다. 예를 들면, 영상 처리 장치는, 물체를 분할할 때 경계선이 감싸고 있는 길이를 더욱 더 줄여서 작은 면적을 포함하도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 알파값을 너무 크게 정해줄 경우 경계선이 줄어들려는 힘이 강해지게 되어서 분할을 해야 하는 부분보다 작게 분할될 수 있으므로 적절한 값으로 조정할 수도 있다.

도 8은 본 발명의 일실시예에 따른 베타 값을 조정한 결과를 나타내는 것이다.

도 8을 참조하면, 베타 값에 따른 스네이크 결과를 알 수 있다. 이때, (a)의 베타 값은 0, (b)의 베타 값은 2, (c)의 베타는 4가 될 수 있다.

영상 처리 장치는, 알파 값을 고정한 상태에서 베타 값에 따라서 값이 작을수록 부드러운 곡선이 나오게 되고 값이 클수록 경직된 곡선이 나오도록 할 수 있다. 예를 들면, 영상 처리 장치는, 분할하고 싶은 대상의 경계선의 굴곡에 따라서 베타 값을 조정할 수도 있다.

도 9는 본 발명의 일실시예에 따른 분할 방식인 스네이크를 사용한 것을 나타내는 것이다.

도 9를 참조하면, 스네이크(original snake)를 사용했을 때의 오목한 부분을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이미지의 특징들을 나타내주는 외부 에너지 항으로 하기의 수학식5와 같이 계산할 수 있다.

이때, 영상 처리 장치는, 전체적인 이미지의 에너지가 세 가지의 요소로 이루어지도록 할 수 있다. 첫 번째로 라인 에너지(line energy)는 이미지의 강도 값으로 표현될 수 있다. 영상 처리 장치는, 이 요소를 조절함으로써 경계선이 밝은 부분으로 당겨질지, 어두운 부분으로 당겨질지를 결정하게 될 수 있다. 두 번째 이미지 에너지의 요소는 에지 에너지일 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이미지의 변화도(gradient)를 계산하여 사용하는 항으로 분할하고자 하는 부분의 에지정보를 나타낼 수 있다. 이미지의 에너지를 계산 하는 데에 사용되는 세 번째 항은 종료(termination) 에너지일 수 있다. 영상 처리 장치는, 분할을 하기 위해 경계선을 변화시키는 것의 종료 시점을 알려줄 수 있다. 이때, 이 방식은 분할 대상 이미지의 곡률에 따라 결정될 수 있다.

일실시예에 따르면, 영상 처리 장치는, 스네이크(orignal snake)를 사용하는 데에 문제점이 발생할 수 있으므로, 영상 처리 장치는, 초기 곡선을 잡는 것과 오목한 부분을 표현하는 데서의 한계점을 해결할 수 있다. 첫 번째로 영상 처리 장치는, 초기 값 설정에 대한 문제점은 분할 대상 이미지로 당기는 힘의 세기가 작기 때문에 경계선에서 떨어진 부분에서는 경계선을 끌어당기는 힘이 없어서 발생하는 문제를 해결할 수 있다. 예를 들어, 영상 처리 장치는, 시그마(sigma) 값을 증가시킴으로써 개선할 수 있다. 또한, 영상 처리 장치는, 스네이크의 오목한 부분을 정확하게 분할하는 데에 한계점을 해결할 수도 있다.

일실시예에 따르면, 영상 처리 장치는, 스네이크방식을 이용시 (a)의 그림을 분할할 때에 (c)에서 보는 것처럼 여러 번의 반복을 거쳐서 분할을 하더라도 오목한 부분에는 다가가지 못할 수 있는 문제를 해결할 수 있다. (b)에서 볼 수 있듯이 오목한 부분의 에너지가 수평 방향으로 향하고 있어서 오목한 부분의 에지까지 끌어당기는 힘이 없기 때문일 수 있다. 이때, 영상 처리 장치는, 오목한 부분에서 나타나는 문제점을 보완하기 위하여 스네이크에 사용되는 외부 에너지를 GVF 필드로 대체할 수도 있다.

도 10은 본 발명의 일실시예에 따른 GVF 스네이크를 사용한 것을 나타내는 것이다.

도 10을 참조하면, GVF 스네이크를 사용한 오목한 이미지 분할을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 기울기 벡터장 필드(Field)를 이용할 수 있다.

GVF 에너지는 이미지의 경계선으로 향하는 방향을 가지고 있기 때문에 오목한 부분에서 경계선을 끌어당길 수 있다는 장점을 가지고 있다. 영상 처리 장치는, 이러한 특징을 사용한다면 스네이크에서 한계점이었던 부분을 보완할 수 있다.

우선, 영상 처리 장치는, GVF 에너지를 구하기 위해서는 이미지로부터 경계맵 f(x,y)를 계산할 수 있다. 이때, 경계맵의 특징은 이미지의 에지 부분에서 큰 값을 가지고 있고 벡터 필드(vector field)의 방향은 에지를 향하고 있다는 것일 수 있다. 영상 처리 장치는, 경계맵을 구하기 위해 하기와 같은 수학식 10을 사용할 수 있다. 이때, I(x,y)는 이미지의 강도를 의미할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 앞에서 구한 경계맵을 가지고서 GVF를 구하기 위해서는 하기의 수학식 11과 같이 벡터 필드(vector field) V(x,y) = (u(x,y),v(x,y))를 최소화 시켜주는 과정을 수행할 수 있다.

경계맵

이 작은 값을 가진다면, 에너지는 벡터 필드의 편도함수의 영향만을 받게 될 수 있다. 반면

이 큰 값을 가진다면 두 번째 항이 에너지의 최소화 과정에 큰 영향을 끼치게 되고, V(x,y)가

와 같은 값을 가질 때, 에너지가 가장 최소화 될 수 있다. 영상 처리 장치는, 계수 mu가 큰 값을 가질수록 gradients 벡터(vector)들이 증가되어 경계선에서 멀리 떨어진 곳에도 끌어당기는 힘을 전달하게 할 수 있다. 또한, 영상 처리 장치는, 계수 mu는 첫 번째 요소와 두 번째 요소의 영향력을 조절해주는 중요한 역할이 되도록 하고, 이미지에 노이즈가 많을 경우일수록 mu의 값을 키워줌으로써 보완할 수도 있다.

일실시예에 따르면, 영상 처리 장치는, GVF를 구하기 위해서는 하기의 수학식 12와 같은 라플라시어 연산자(Laplacian operator)

와 오일러 공식을 이용할 수 있다.

또한, 영상 처리 장치는, 상기 수학식 12의 두 개의 식을 u와 v를 시간에 관한 함수로 생각하여 ‘generalized diffusion equations’를 사용하여 하기 수학식 13과 같이 계산할 수 있다.

영상 처리 장치는, 그 결과 u가 기울기 벡터(gradient vector)의 x 방향 성분을 얻게 되도록 하고, v는 기울기 벡터의 y 방향 성분을 가지게 되도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이렇게 얻은 기울기 벡터장 v(x,y)을 앞서 보았던 스네이크 식에서 외부 에너지 부분을 대신하게 할 수 있다. 영상 처리 장치는, 그 결과로 에너지 함수를 하기 수학식 14와 같이 되도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이렇게 외부 에너지를 GVF로 대체한 식을 얻고 나면 앞의 스네이크를 구하는 과정에서와 같이 식을 최소화 하여 원하는 대상에 대한 분할이 이루어지도록 할 수 있다.

이러한 방식은 이전에 사용하였던 스네이크 방법에 비하여 오목한 부분까지 분할이 잘 되는 것을 확인할 수 있다.

일실시예에 따르면, 영상 처리 장치가 GVF 스네이크를 사용하였을 때, 오목한 부분이 있는 이미지(a)를 분할하는 경우 (c)에서 보는 것처럼 오목한 부분까지 분할이 된 것을 확인할 수 있다. 이는 경계선에서 떨어진 부분에서도 경계선으로 잡아당기는 벡터들이 존재하기 때문에, 오목한 부분까지 경계선을 끌어당기게 될 수 있다. 영상 처리 장치는, 이렇게 스네이크에 GVF 벡터를 도입함으로써 분할 과정에서 더 정확한 결과를 획득할 수 있다.

도 11은 본 발명의 일실시예에 따른 바이너리 마스크를 영상에 적용한 것을 나타내는 것이다.

도 11을 참조하면, 영상 처리 장치가 GVF 스네이크를 위한 새로운 피처 생성하는 것을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, GVF 스네이크를 이용하여 상처 영상의 강도의 기울기(gradient) 값의 의존하여 얻게 할 수도 있으나, 상처와 피부간의 차이를 강조한 피처를 사용하게 된다면 더욱 큰 기울기 값을 얻게 됨으로써 더 정확한 GVF 스네이크 결과를 얻을 수 있게 할 수 있다. 영상 처리 장치는, K-means 알고리즘(algorithm)을 이용하여 상처와 피부에 대한 L*a*b 컬러 데이터를 얻어 LDA 알고리즘(algorithm)에 적용해 새로운 피처를 생성하도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, K-means 알고리즘을 사용할 수 있다. 예를 들면, 영상 처리 장치는, 주어진 상처 영상에서 LDA 알고리즘에 사용 할 상처, 피부의 L*a*b 컬러 데이터를 얻기 위하여 k-means 알고리즘을 적용할 수 있다. 영상 처리 장치는, 클러스터링(clustering)을 하기 전에 클러스터링을 수월하게 하기 위하여 이미지를 블러링(blurring)할 수 있다. 이때, 영상 처리 장치는, 클러스터(cluster) 개수 k의 값이 기본적으로 3으로 주어 상처, 피부, 그리고 상처와 피부의 경계선 3개의 클러스터로 묶이도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 특정 사진의 경우, 반사성(specularity)이 있어 상처와 같이 클러스터링되는 경우가 있는데, 이는 클러스터링 결과의 블롭(blob) 개수를 판단하여 k의 값을 늘린 후, 다시 클러스터링을 하여 정확한 상처 클러스터 결과를 얻을 수 있도록 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이미지에서 결과로 얻은 K개의 클러스터중에, 상처에 해당되는 클러스터를 자동적으로 판단하는 방법이 필요하다. 이때, 영상 처리 장치는, 이전에 얻었던 상처, 피부의 RGB 데이터(data)를 기반으로 하여, 상처인지, 아닌지를 판별하는 판별 피처 벡터를 생성할 수 있다. 또한, 영상 처리 장치는, 상처에 해당하는 RGB 데이터에 대한 label을 1로, 나머지 데이터를 -1로 레이블링하여 얻은 피처 벡터(feature vector)를 각 클러스터 RGB 데이터에 적용함으로써, 정답이라고 판단할 수 있는 1과의 거리(distance)가 가장 작은 클러스터를 상처라고 판단할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 판단한 상처 클러스터정보를 가지고 상처에 해당하는 바이너리 마스크(binary mask)를 생성할 수 있다. 이때, 영상 처리 장치는, 생성한 바이너리 마스크를 L*a*b 색공간으로 변환된 이미지(image)에 적용하여 상처와 피부에 해당하는 컬러 데이터를 획득할 수 있다. 물론, 경우에 따라서, 영상 처리 장치는, 이 과정에서 상처와 피부의 경계선은 데이터에 포함되지 않게 하기 위한 과정이 필요할 수 있다. 또한, 영상 처리 장치는, 상처의 데이터를 얻을 때에는 앞의 마스크를 수축시켜서 사용하고, 피부의 데이터를 얻을 때에는, 마스크를 팽창시켜서 사용할 수 있다.

도 12는 본 발명의 일실시예에 따른 상처가 포함된 영상과 선형 판별 피처를 나타내는 것이다.

도 12를 참조하면, RGB 상처 영상(image) (a)와 선형 판별 피처(Linearly Discriminated feature) (b)를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 선형 판별 피처를 생성할 수 있다. 예를 들면, 영상 처리 장치는, RGB 이미지를 Lab 공간(space)으로 변환을 해 준 뒤, LDA 방법을 사용하여 분리해 줄 수 있다. Luv 혹은 Lab 색공간은 픽셀(pixel)간의 유클리드 거리가 사람의 인지 정도와 연관성(correlation)이 매우 높기 때문에 단일 시스템(uniform system)이라고 불린다. 그렇기 때문에 지각적 균일(perceptual uniformity)에 적합하며, 두 개의 컬러 벡터(color vector) 간의 색상 차이(color difference)를 잘 평가(estimation)할 수 있다.

일실시예에 따르면, 영상 처리 장치는, Lab 공간으로 변환한 이미지를 얻은 후에 상처와 피부 픽셀 값 간의 차이(difference)를 더욱 강조해 줄 수 있는 선형 판별 피처를 만들게 된다. 영상 처리 장치는, 상처와 피부의 샘플 데이터(sample data)를 이용하여 상처와 피부를 선형적(linearly)으로 분리할 수 있는 파라미터(parameter)를 얻을 수 있다. 영상 처리 장치는, k-means 클러스터링을 사용하여 얻은 상처, 피부의 L*a*b 컬러 데이터를 이용하여서 LDA 알고리즘에 적용해 줄 수 있다.

영상 처리 장치는, 상처와 피부의 컬러(color) 값을 얻어서 각각의 샘플 데이터를 -1, 1로 레이블링을 할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이미지에서 얻은 상처와 피부 샘플 데이터 X_wound, X_skin 를 가지고 선형 판별(linear discriminant) 방식을 통해 트레이닝(training)을 해 주게 된다.

일실시예에 따르면, 영상 처리 장치는, 수도 인버스(Pseudo invers)를 사용하여 각각의 데이터를 정답이라고 할 수 있는 -1, 1로 만들어주는 파라미터 P를 얻게 된다. 영상 처리 장치는, 트레이닝과정에서 얻어진 파라미터를 전체 이미지 데이터에 곱해주게 되면, 상처와 피부가 선형적(linearly)으로 분리된 피처를 획득할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 선형 판별 피처는 상처의 픽셀값은 -1에 가깝게, 피부의 픽셀값은 1에 가까운 값을 가지는 피처이므로 임계값값을 0으로 주어줌으로써 상처와 피부의 경계를 확인할 수 있다. 영상 처리 장치는, LD 피처가 얼마나 상처와 피부를 잘 분리할 수 있는지 확인하기 위하여 픽셀의 컬러(color) 값 간의 유클리드 거리를 측정하여 분할하는 방법과 LD 피처를 비교 할 수 있다.

도 13은 본 발명의 일실시예에 따른 마스크를 팽창시키는 것을 나타내는 것이다.

일실시예에 따르면, 영상 처리 장치는, 획득한 LD 피처를 이용하여 GVF 스네이크에 사용할 초기 경계선을 획득할 수 있다. 영상 처리 장치는, 상처와 피부의 중간 값인 0으로 임계값 설정을 함으로써 피부와 상처를 분리하는 마스크를 얻게 되고, 이를 팽창시킴으로써 상처의 경계선까지 포함하는 대략적인 초기 경계선을 얻을 수 있다. 또한, 영상 처리 장치는, 이렇게 얻은 초기 경계선을 사용하여 GVF 스네이크를 수행할 수 있다.

도 14는 본 발명의 일실시예에 따른 유클리드 거리 피처를 생성하는 것을 나타내는 것이다.

도 14를 참조하면, 이미지에서 15x15 마스크로 얻어낸 샘플 데이터를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 유클리드 거리 피처를 생성할 수도 있다.

영상 처리 장치는, 상처 이미지를 유클리드 거리 피처로 생성할 수 있다. 예를 들어, 영상 처리 장치는, LD 피처와 동일하게 RGB를 Lab 공간(space)으로 변환한 후 적용할 수 있다. 이때, 영상 처리 장치는, 유클리드 거리를 상처 영역의 15x15의 마스크형태로 얻어낸 컬러 데이터를 기준으로 생성할 수 있다.

도 15는 본 발명의 일실시예에 따른 유클리드 거리 피처와 선형 판별 피처의 비교를 나타내는 것이다.

도 15를 참조하면, 원본 이미지 (a), 선형 분류 결과(linear classification result) (b), 유클리드 거리 (c)를 이용한 결과를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 상처 부분에서 얻어낸 Lab 데이터의 평균을 구하여 전체 이미지 픽셀(image pixel)의 값과 마스크의 평균 값 간의 유클리드 거리를 계산을 하여 1-채널(1-channel)의 피처를 얻을 수 있다. 이때, 영상 처리 장치가 마스크 내의 있는 데이터를 컬럼 스택킹(column stacking)을 하게 되면, 3x255 크기의 데이터 샘플(data sample)을 얻게 되고 이를 L, a, b 각각의 값의 평균을 구해주게 되고 이를

이라 할 수 있다.

일실시예에 따르면, 영상 처리 장치는,

를 사용하여 유클리드 거리를 구해주기 위해서는 이미지 전제의 픽셀 값(pixel value)과 각각 계산을 할 수 있다. 이때, 이미지의 픽셀 값을 P(i,j)라고 하고 하기의 수학식과 같이 나타낼 수 있다.

일실시예에 따르면, 영상 처리 장치는, 유클리드 거리 피처(Euclidean distance feature)를 사용하여 분할을 할 때에는 Otsu 임계값 설정 방식(Otsu’s thresholding method)를 사용하여 상처, 피부를 분리할 수 있다.

도 16a는 본 발명의 일실시예에 따른 최적화된 경계선을 구하는 것을 나타내는 것이다.

도 16a를 참조하면, (a)는 원본 이미지를 나타내고, (b)는 선형 판별 피처, (c)는 유클리드 거리 피처, (d)는 선형 판별 경계(Linear discriminant boundary), (e)는 유클리드 거리 경계, (f)는 경계 비교한 것을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 임계값 설정을 사용하여 경계 비교를 할 수 있다.

영상 처리 장치는, 선형 판별 피처를 상처를 -1, 피부를 1로 분류(classification)하였기 때문에, 0을 임계값으로 주었을 때, 가장 최적화 된 경계를 구할 수 있다. 영상 처리 장치는, 유클리드 거리 피처를 사용할 때에는 Otsu 임계값 방법을 사용하여 분할을 하였기 때문에, 임계값 설정을 통한 경계를 확인할 때에도 Otsu 임계값 설정을 사용할 수 있다.

도 16b는 본 발명의 일실시예에 따른 최적화된 경계선을 도출하는 것을 나타내는 것이다.

도 16b를 참조하면, (a)는 원본 이미지를 나타내고, (b)는 선형 판별 피처, (c)는 유클리드 거리 피처, (d)는 선형 판별 경계, (e)는 유클리드 거리 경계, (f)는 경계 비교한 것을 알 수 있다.

도 17은 본 발명의 일실시예에 따른 경계선 부분을 고려하여 경계 맵(edge map)을 생성하는 것을 나타내는 것이다.

도 17을 참조하면, 각 피처에 대한 GVF 적용 결과를 비교한 것을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, GVF 스네이크 방식으로 하기 수학식에서 I를 강도의 값으로 사용할 수도 있다.

하지만, 영상 처리 장치는, 실험에서 강도 I 대신에 새로 제안한 선형 판별 피처와 Euclidean 피처로 대체를 하여 실험할 수도 있다. 영상 처리 장치는, 작은 값으로 향하는 GVF 스네이크의 특성에 맞는 피처를 만들어 주기 위하여, LDA 피처에 절대값을 취해줌으로써 경계선 부분이 제일 작은 값을 가지는 피처를 생성할 수 있다. 이때, 영상 처리 장치는, 초기 경계선이 가장 작은 값을 가진 경계선을 따라 움직이도록 할 수 있다.

도 18은 본 발명의 일실시예에 따른 피처로 계산한 기울기 벡터장을 나타내는 것이다.

도 18를 참조하면, (a)는 Gray 피처로 계산한 GVF flow, (b)는 LD 피처로 계산한 GVF 벡터, (c)는 Euclidean 피처로 계산한 GVF flow인 것을 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 이렇게 절대값을 취해 얻은 경계맵을 사용하여 GVF를 구하기 위해서 하기 수학식과 같이 벡터 필드 V(x,y) = (u(x,y),v(x,y))를 최소화 시켜주는 과정을 수행할 수 있다. 또한, 그 결과를 비교하면 하기와 같다.

이때, 기울기 벡터장을 보면 선형 판별 피처에서 에지 부분이 제일 강조되는 것을 알 수 있다.

도 19는 본 발명의 일실시예에 따른 GVF를 사용하여 얻은 최종 결과를 나타내는 것이다.

도 19를 참조하면, 영상 처리 장치가 획득한 기울기 벡터장을 사용하여서 얻은 최종적인 GVF 분할 결과를 비교하는 것을 알 수 있다.

도 20은 본 발명의 일실시예에 따른 실험을 수행하기 위한 흑인의 상처 가 포함된 영상을 나타내는 것이다.

도 20을 참조하면, 흑인 상처 이미지(African wound image)에 적용한 GVF 분할결과를 알 수 있다.

일실시예에 따르면, 영상 처리 장치는, 새롭게 생성한 피처가 컬러에 의존하는 방식으로서, 상처의 색과 피부의 색 값에 따라 성능이 결정되도록 할 수 있다. 따라서, 생성한 피처가 기존에 사용하였던 데이터 이외에 다른 인종의 상처 데이터에도 잘 적용되는지 확인하기 위해, 흑인 상처 이미지를 가지고 실험을 할 수 있다. 이때, 실험에 사용할 데이터를 확인할 수 있다.

도 21은 본 발명의 일실시예에 따른 피처를 생성하고, 각각을 비교하는 것을 나타내는 것이다.

도 21을 참조하면, 영상 처리 장치는, 흑인 상처 이미지를 사용하여, 선형 판별 피처, Euclidean 피처를 만들고, 각각을 임계값 설정 방법을 적용하여 비교할 수 있다.

도 22는 본 발명의 일실시예에 따른 피부로부터 상처를 구분하기 위한 영상 처리 장치로서, 영상 처리 장치를 나타내는 블록도이다.

먼저, 도 22를 참조하면, 피부로부터 상처를 구분하기 위한 영상 처리 장치(2200)는, 피처 영상 생성부(2210), 영상 에너지 추출부(2220), 영역 분할부(2230)를 포함하여 구성될 수 있다. 이때, 영상 처리 장치(2200)는, 프로세서를 포함하는 컴퓨팅 디바이스, 디지털 영상 처리 장치 또는 화소 처리 장치가 될 수도 있다. 또한, 영상 처리 장치(2200)는, 메모리, 프로세서, 데이터 송수신기, 영상 신호 처리기, 광신호 처리기 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다. 또한, 피처 영상 생성부(2210), 영상 에너지 추출부(2220), 영역 분할부(2230)는, 전자 회로, 전기 회로, 집적 회로, 소자, 센서, 메모리, 프로세서, 데이터 송수신기 중 적어도 하나를 포함하여 구성될 수도 있으나, 이에 한정되지는 않는다.

피처 영상 생성부(2210)는, 사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성할 수 있다.

구체적으로, 피처 영상 생성부(2210)는, 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출하고, 변환 영상의 픽셀들을 클러스터로 구분하고, 상처 영역과 피부 영역과 관련된 색상 데이터에 선형 판별 알고리즘을 적용할 수 있다.

영상 에너지 추출부(2220)는, 생성한 피처 영상을 이용하여 원본 영상의 에너지를 추출할 수 있다.

구체적으로, 영상 에너지 추출부(2220)는, 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하고, 피처 영상의 경계선과 관련된 외적 에너지를 추출할 수 있다.

영역 분할부(2230)는, 추출한 원본 영상의 에너지를 이용하여 원본 영상을 상처 영역과 피부 영역으로 분할할 수 있다.

일실시예에 따르면, 영상 처리 장치는, 경우에 따라서, 스마트폰으로 촬영된 피부 상처, 욕창, 수술후 흉터 등의 피부병변에 대해 영상 처리 기술들을 이용하여 크기 및 색상 정보를 분석할 수 있다. 또한, 영상 처리 장치는, 분석한 정보를 처리하고, 그 결과를 이용하여 병변의 치유 정도에 대한 자동진단을 제공하는 시스템에 적용될 수도 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (13)

1. 영상 처리 방법에 있어서,
   사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성하는 단계;
   상기 생성한 피처 영상을 이용하여 상기 원본 영상의 에너지를 추출하는 단계; 및
   상기 추출한 원본 영상의 에너지를 이용하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 단계
   를 포함하고,
   상기 피처 영상을 생성하는 단계는,
   상기 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출하는 단계;
   상기 변환 영상의 픽셀들을 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분하는 단계;
   상기 상처 클러스터에 기초하여 상기 상처 영역에 대응하는 바이너리 마스크를 생성하는 단계;
   상기 바이너리 마스크를 변환 영상에 적용하여 상기 상처 영역과 피부 영역과 관련된 색상 데이터를 결정하는 단계; 및
   상기 색상 데이터에 선형 판별 알고리즘을 적용하는 단계
   를 포함하는 영상 처리 방법.
2. 삭제
3. 제1항에 있어서,
   상기 클러스터로 구분하는 단계는,
   상기 변환 영상의 픽셀들의 유사도를 고려하여 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분하는 영상 처리 방법.
4. 제3항에 있어서,
   상기 클러스터로 구분하는 단계는,
   상기 피부 클러스터, 상기 상처 클러스터 각각에 해당되는 라벨에 기초한 벡터를 각각의 클러스터의 데이터에 적용하는 영상 처리 방법.
5. 제1항에 있어서,
   상기 색상 데이터를 결정하는 단계는,
   상기 바이너리 마스크를 수축 또는 팽창하여 경계선 영역을 상기 상처 영역과 피부 영역과 관련된 색상 데이터에서 제외하는 영상 처리 방법.
6. 제1항에 있어서,
   상기 선형 판별 알고리즘을 적용하는 단계는,
   상기 선형 판별 알고리즘의 트레이닝 과정에서 획득한 파라미터를 이용하여 피처를 획득하는 영상 처리 방법.
7. 제1항에 있어서,
   상기 원본 영상의 에너지를 추출하는 단계는,
   상기 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하는 단계; 및
   상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 단계
   를 포함하는 영상 처리 방법.
8. 제7항에 있어서,
   상기 외적 에너지를 추출하는 단계는,
   상기 피처 영상의 그레디언트 벡터 플로우에 기초하여 상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 영상 처리 방법.
9. 영상 처리 방법에 있어서,
   사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성하는 단계;
   상기 생성한 피처 영상을 이용하여 상기 원본 영상의 에너지를 추출하는 단계; 및
   상기 추출한 원본 영상의 에너지를 이용하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 단계
   를 포함하고,
   상기 원본 영상의 에너지를 추출하는 단계는,
   상기 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하는 단계; 및
   상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 단계
   를 포함하고,
   상기 외적 에너지를 추출하는 단계는,
   상기 피처 영상의 그레디언트 벡터 플로우에 기초하여 상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하고,
   상기 그레디언트 벡터 플로우는,
   상기 피처 영상으로부터 도출된 경계맵에 기초하여 생성되고,
   상기 경계맵은,
   상기 피처 영상에 절대값을 적용함으로써 결정되는 영상 처리 방법.
10. 제1항에 있어서,
    상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 단계는,
    상기 추출한 원본 영상의 에너지의 값을 최소화하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 영상 처리 방법.
11. 영상 처리 장치에 있어서,
    사용자의 특정 부위를 촬영한 원본 영상에 선형 알고리즘을 적용하여 피처 영상을 생성하는 피처 영상 생성부;
    상기 생성한 피처 영상을 이용하여 상기 원본 영상의 에너지를 추출하는 영상 에너지 추출부; 및
    상기 추출한 원본 영상의 에너지를 이용하여 상기 원본 영상을 상처 영역과 피부 영역으로 분할하는 영역 분할부
    를 포함하고,
    상기 피처 영상 생성부는,
    상기 원본 영상의 색공간을 변환하여 원본 영상으로부터 변환 영상을 추출하고, 상기 변환 영상의 픽셀들을 피부 클러스터, 상처 클러스터 및 경계선 클러스터로 구분하고, 상기 상처 클러스터에 기초하여 상기 상처 영역에 대응하는 바이너리 마스크를 생성하고, 상기 바이너리 마스크를 변환 영상에 적용하여 상기 상처 영역과 피부 영역과 관련된 색상 데이터를 결정하고, 상기 색상 데이터에 선형 판별 알고리즘을 적용하는, 영상 처리 장치.
12. 삭제
13. 제11항에 있어서,
    상기 영상 에너지 추출부는,
    상기 상처 영역과 피부 영역 사이의 경계선의 속성과 관련된 내적 에너지를 추출하고, 상기 피처 영상의 경계선과 관련된 외적 에너지를 추출하는 영상 처리 장치.

Images