KR20100071822A - 이미지에서의 의류 검출 장치와 그 방법 - Google Patents

Abstract

본 발명은 이미지에서 사람의 얼굴을 인식하고, 인식된 얼굴을 기반으로 의류를 검출하는 의류 검출 장치와 그 방법을 개시한다. 본 발명은 질의로 입력된 질의 입력 이미지에서 사람의 얼굴을 인식하는 얼굴 인식부; 인식된 얼굴을 기반으로 질의 입력 이미지에서 의류 영역을 추출하는 의류 영역 추출부; 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 컬러 매칭시키고, 컬러 매칭으로부터 의류 영역의 컬러 유사도 값을 계산하는 컬러 유사도 계산부; 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 텍스처 매칭시키고, 텍스처 매칭으로부터 의류 영역의 텍스처 유사도 값을 계산하는 텍스처 유사도 계산부; 및 계산된 컬러 유사도 값과 계산된 텍스처 유사도 값을 각각 미리 정해진 기준값과 비교하여 추출된 의류 영역의 컬러나 텍스처가 비교 대상 이미지의 소정 영역과 유사한지를 판별하며, 판별 결과가 유사하다는 것이면 의류 영역을 의류를 표시하는 의류 이미지로 검출하는 의류 검출부를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치를 제공한다. 본 발명에 따르면, 이미지에서 사람이 착용한 의류에 대한 인식율을 향상시킬 수 있다. 또한, 메타데이터를 기반으로 동영상 객체 기반의 다양한 서비스 경쟁력을 확보할 수 있다.

얼굴 인식, 의류 검출, 메타데이터, 컬러 매칭, 텍스처 매칭, 히스토그램 인터섹션(histogram intersection)

Description

이미지에서의 의류 검출 장치와 그 방법 {Apparatus and method for detecting clothes in image}

본 발명은 이미지에서 의류를 검출하는 장치와 그 방법에 관한 것이다. 보다 상세하게는, 이미지에서 사람의 얼굴을 인식하고, 인식된 얼굴을 기반으로 의류를 검출하는 의류 검출 장치와 그 방법에 관한 것이다.

종래 의류를 구매하고자 할 경우에는 백화점, 대리점, 의류 판매점 등을 방문하여 취향이나 선호도, 개성 등을 고려하여 먼저 특정 의류를 선택하였다. 이후, 선택한 의류를 직접 착용해 보고, 구매 의사를 확정한 다음에야 의류의 구매가 이루어졌다. 최근 들어 인터넷이 활성화되면서 인터넷 쇼핑몰과 같은 웹사이트들이 늘어나고, PC나 휴대폰 등 수시 인터넷에 접속할 수 있는 단말이 보급되면서 직접 방문 없이도 의류의 구입이 가능해졌다.

그런데, 종래 인터넷 쇼핑몰에서는 의류를 웹사이트에 등록시키기 위해서 해당 의류를 직접 촬영하거나 해당 의류에 대한 사진을 구해야만 했다. 그러나, 다양한 종류의 의류를 구비한다는 것은 불가능에 가깝고, 여러 각도에서 촬영한 사진을 구한다는 것도 쉽지 않았다. 이에, 종래에는 영상 처리 기술을 이용하여 영상 안에 서 의류를 인식하기도 했다.

그러나, 종래 일반적인 영상 처리 기술 중에서 영상 안에서 의류를 인식하는 방법은 다음과 같은 문제점을 가지고 있었다. 첫째, HD급 동영상 또는 Full-HD급 동영상을 대상으로 할 경우 전역 검사 방식을 사용하기 때문에 영상을 처리하는 데에 많은 시간이 소요된다. 둘째, 조명의 영향과 카메라의 촬영 각도로 인해 의류 자체가 많은 변화를 일으킨다.

한편, 오늘날 동영상 콘텐츠 시장의 성장과 더불어 다양한 매체를 통한 동영상 서비스 시장이 점차 활성화되고 있다. 이에 발맞추어 최근 들어 새로운 인터액티브 서비스를 위한 동영상과 상기 동영상을 실행시키는 각종 플레이어(ex. 디지털 방송 플레이어) 등이 앞다퉈 개발되고 있다. 또한, 이러한 서비스가 구현될 수 있도록 인프라도 점차 구축되어 가고 있는 실정이다.

그런데, 이러한 인터액티브 서비스를 구현하기 위해서는 동영상 데이터의 내용에 알맞게 인터액티브를 위한 메타데이터를 생성하는 절차가 필요하다. 또한, 이러한 메타데이터를 만들기 위한 저작도구도 함께 필요하다. 그러나, 기존의 메타데이터 저작도구들은 메타데이터 편집자로 하여금 동영상 내에서 객체 데이터를 직접 영역 설정하고, 이로부터 메타데이터의 생성이 이루어지도록 하였다. 이에, 기존에는 편집자가 동영상 전체 내용을 봐야 하는 불편이 따랐다.

최근 UCC 서비스가 일반화되기 시작하면서 UCC 동영상 내의 객체를 선택한 후 트래킹(tracking)을 통해 메타데이터를 생성하는 방식의 웹 서비스가 출현하였다. 이러한 웹 서비스를 제공하는 사이트로는 asterpix.com, overlay.tv, videoclix.tv 등이 있다. 최근 들어 이러한 동영상 서비스는 IPTV 등에도 적용이 고려되고 있다. 그러나, 종래의 메타데이터 저작도구는 다음과 같은 문제점을 가지고 있다. 첫째, 동영상 속에 있는 내용을 이해하여 직접 객체를 선택하여 편집해야 하기 때문에 초보자들이 사용하기에는 매우 어렵다. 둘째, IPTV 서비스를 위한 HD급/Full-HD급 동영상을 편집하기 위해서는 동영상 재생 시간에 대비하여 5~10배 정도의 편집 시간이 소요된다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 이미지에서 사람의 얼굴을 인식하고, 인식된 얼굴을 기반으로 의류를 검출하는 의류 검출 장치와 그 방법을 제공함을 목적으로 한다.

또한, 본 발명은 상기 의류 검출 방법을 이용하여 의류 관련 메타데이터를 자동 생성하는 의류 검출 장치와 그 방법을 제공함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 질의로 입력된 질의 입력 이미지에서 사람의 얼굴을 인식하는 얼굴 인식부; 상기 인식된 얼굴을 기반으로 상기 질의 입력 이미지에서 의류 영역을 추출하는 의류 영역 추출부; 상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 컬러 매칭시키고, 상기 컬러 매칭으로부터 상기 의류 영역의 컬러 유사도 값을 계산하는 컬러 유사도 계산부; 상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 텍스처 매칭시키고, 상기 텍스처 매칭으로부터 상기 의류 영역의 텍스처 유사도 값을 계산하는 텍스처 유사도 계산부; 및 상기 계산된 컬러 유사도 값과 상기 계산된 텍스처 유사도 값을 각각 미리 정해진 기준값과 비교하여 상기 추출된 의류 영역의 컬러나 텍스처가 상기 비교 대상 이미지의 소정 영역과 유사한지를 판별하며, 상기 판별 결과가 유사하다는 것이면 상기 의류 영역을 의류를 표시하는 의류 이미지로 검출하는 의류 검출부를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치를 제공한다.

바람직하게는, 상기 의류 영역 추출부는 상기 얼굴의 크기를 기반으로 상기 얼굴 영역을 설정하며, 상기 설정된 얼굴 영역의 아래 위치에서 상기 의류 영역을 추출한다.

더욱 바람직하게는, 상기 의류 영역 추출부는 상기 설정된 얼굴 영역의 가로 크기와 세로 크기를 결정하는 얼굴 영역 크기 결정부; 및 상기 얼굴 영역의 아래 위치에서 상기 얼굴 영역의 가로 크기의 2.5~3.5배를 넓이로 하고 상기 얼굴 영역의 세로 크기의 1.5~2.5배를 높이로 하는 상기 의류 영역을 검출하는 의류 영역 검출부를 포함한다.

바람직하게는, 상기 컬러 유사도 계산부는 상기 의류 영역을 포함하는 프레임의 컬러 스페이스를 RGB에서 HSI로 이미지 변환시키는 컬러 스페이스 변환부; 상기 변환된 이미지에서 상기 RGB를 고려하여 컬러에 대한 정보를 도출하는 컬러 정보 도출부; 및 상기 비교 대상 이미지의 소정 영역으로부터 컬러에 대한 정보가 도출되면, 두 컬러 정보를 비교하여 상기 컬러 유사도 값을 계산하는 컬러 유사도 값 계산부를 포함한다.

더욱 바람직하게는, 상기 컬러 유사도 값 계산부는 상기 질의 입력 이미지를 블록 단위로 분할한 후 상기 분할된 블록들 중에서 적어도 하나의 블록을 추출하고 상기 추출된 블록을 상기 비교 대상 이미지의 블록과 상호 비교하는 블록 매칭을 통해 상기 두 컬러 정보를 비교한다. 또한, 상기 컬러 정보 도출부는 상기 컬러에 대한 정보로 R(Red) 성분값, G(Green) 성분값 및 B(Blue) 성분값이 포함된 상기 의류 영역에서의 색상값을 도출하며, 상기 도출된 색상값을 0~12의 범위값으로 정규 화시킨다.

바람직하게는, 상기 텍스처 유사도 계산부는 상기 의류 영역에 대한 이미지를 DCT를 이용하여 주파수 도메인으로 전환시키는 주파수 도메인 전환부; 상기 전환으로부터 도출된 이미지의 블록별 변환 계수들 중에서 주파수 영역별 계수를 추출하고, 상기 추출된 주파수 영역별 계수가 포함된 질감 특징 벡터를 추출하는 질감 특징 벡터 추출부; 상기 추출된 적어도 2개의 질감 특징 벡터들을 비교하여 질감 특징 벡터들 간의 거리를 구하는 거리 계산부; 및 상기 비교 대상 이미지의 소정 영역으로부터 상기 질감 특징 벡터들 간의 거리가 구해지면, 두 구해진 거리값을 비교하여 상기 텍스처 유사도 값을 계산하는 텍스처 유사도 값 계산부를 포함한다.

더욱 바람직하게는, 상기 거리 계산부는 블록별로 존재하는 9개의 질감 특징 벡터값을 이용하여 상기 질감 특징 벡터들 간의 거리를 구한다.

바람직하게는, 상기 의류 검출 장치는 상기 인식된 얼굴이 지시하는 인물에 대한 정보를 취득하는 인물 정보 취득부를 더 포함한다.

또한, 본 발명은 (a) 질의로 입력된 질의 입력 이미지에서 사람의 얼굴을 인식하는 단계; (b) 상기 인식된 얼굴을 기반으로 상기 질의 입력 이미지에서 의류 영역을 추출하는 단계; (c) 상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 컬러 매칭시키고, 상기 컬러 매칭으로부터 상기 의류 영역의 컬러 유사도 값을 계산하는 단계; (d) 상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 텍스처 매칭시키고, 상기 텍스처 매칭으로부터 상기 의류 영역의 텍스처 유사도 값 을 계산하는 단계; 및 (e) 상기 계산된 컬러 유사도 값과 상기 계산된 텍스처 유사도 값을 각각 미리 정해진 기준값과 비교하여 상기 추출된 의류 영역의 컬러나 텍스처가 상기 비교 대상 이미지의 소정 영역과 유사한지를 판별하며, 상기 판별 결과가 유사하다는 것이면 상기 의류 영역을 의류를 표시하는 의류 이미지로 검출하는 단계를 포함한다.

바람직하게는, 상기 (d) 단계와 상기 (e) 단계의 중간 단계는 상기 인식된 얼굴이 지시하는 인물에 대한 정보를 취득하는 단계를 포함하며, 상기 (e) 단계는 상기 의류 이미지 검출시 상기 취득된 인물에 대한 정보를 이용한다.

본 발명에 따르면 다음 효과를 얻을 수 있다. 첫째, 이미지에서 사람의 얼굴을 인식하고 인식된 얼굴을 기반으로 의류를 검출함으로써 사람이 착용한 의류에 대한 인식율을 향상시킬 수 있다. 특히, 모든 동영상 프레임에서 의류를 매칭시키지 않고 얼굴이 인식된 프레임만을 대상으로 의류를 검색함으로써 의류 인식율이 우수하고 빠른 실행 속도를 가지는 의류 인식 기술을 개발할 수 있다. 둘째, 상기 의류 검출 방법을 이용하여 의류 관련 메타데이터를 자동 생성함으로써 동영상 기반의 메타데이터 저작 시간을 대폭 단축시킬 수 있다. 또한, 메타데이터 저작 시간을 단축시킴에 따라 동영상 객체 기반의 다양한 서비스 경쟁력을 확보할 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요 소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 의류 검출 장치를 개략적으로 도시한 블록도이다. 그리고, 도 2는 본 발명의 바람직한 실시예에 따른 의류 검출 방법을 도시한 순서도이다. 상기 도 1에 도시한 바에 따르면, 본 발명의 바람직한 실시예에 따른 의류 검출 장치(100)는 얼굴 인식부(110), 의류 영역 추출부(120), 컬러 유사도 계산부(130), 텍스처 유사도 계산부(140), 인물 정보 취득부(150), 의류 검출부(160), 전원부(170) 및 제어부(180)를 포함한다.

최근 IPTV 등의 양방향 서비스가 실시되면서 영상 기반의 양방향 서비스에 대한 기술의 필요성이 대두되고 있다. 이러한 서비스를 위해서는 무엇보다 객체에 대한 자동 인식 기술이 핵심이다. 본 발명에 따른 의류 검출 장치(100)는 영상의 다양한 객체 중에서 의류에 대해 자동으로 인식하는 기능을 수행한다. 이 의류 검출 장치(100)를 이용하면 의류 관련 메타데이터 생성 등 영상 객체 기반의 인터액티브 서비스를 위한 저작 툴의 저작 시간을 단축시킬 수가 있다. 기존 수작업을 통해 객체 영역을 하나하나 지정해 주었던 방식의 한계를 극복하여 얼굴 인식 기반의 의류 객체 인식이 자동으로 이루어지도록 한다면 동영상 기반 객체 저작 즉, 동영 상 객체 메타데이터의 추출 시간은 종래보다 대폭 단축이 가능하다.

의류 검출 장치(100)가 구현하는 의류 인식 기술은 의류의 형태가 동일한 의류라 하더라도 일정한 형태를 유지하지 않기 때문에 사람이 입고 있는 의류만이 의미가 있는 것으로 전제한다.

얼굴 인식부(110)는 자동으로 얼굴을 인식하는 툴을 이용하여 동영상 등 이미지에서 사람의 얼굴을 자동으로 인식하는 기능을 수행한다. 얼굴 인식부(110)가 사람의 얼굴을 자동으로 인식하면 의류 영역 추출부(120)는 얼굴 하단에 위치하는 의류 영역을 자동으로 추출한다. 의류 영역 추출부(120)가 의류 영역을 자동으로 찾을 때에는 얼굴의 크기와 사람의 상체의 비율을 기반으로 한다.

이미지에서 얼굴의 위치가 결정되고 이로부터 의류 영역이 추출되면, 추출된 의류 영역을 기반으로 하여 동영상 전 영역에 대하여 의류를 찾을 수가 있다. 의류를 찾을 때에는 의류의 특성인 색상(color) 정보와 텍스처(texture) 정보가 이용된다. 의류의 색상 정보만을 이용하여 의류를 찾게 되면, 조명 등의 영향으로 잘못 찾아지는 등 오류가 발생할 가능성이 높다. 또한, 의류의 텍스처 정보만을 이용하여 의류를 찾게 되면, 서로 다른 색상을 가진 옷임에도 불구하고 동일한 옷으로 인식하는 오류가 발생한다. 따라서, 본 발명에 따른 의류 검출 장치(100)는 컬러 유사도 계산부(130)와 텍스처 유사도 계산부(140)를 통하여 의류의 색상 정보와 의류의 텍스처 정보를 모두 이용하여 의류를 찾는 것을 특징으로 한다.

한편, 의류의 색상 정보와 의류의 텍스처 정보를 모두 이용한다 하더라도 완벽하게 동일한 의류를 찾지 못하는 경우가 발생할 수 있다. 그 이유는 특징점으로 찾지 않은 텍스처 정보가 빠져서 서로 다른 옷임에도 불구하고 동일한 옷으로 인식하는 경우가 발생할 수 있기 때문이다. 이에, 본 발명에 따른 의류 검출 장치(100)는 의류의 인식률을 보다 향상시키기 위해 그 옷을 입고 있는 인물의 정보까지 활용할 수 있다. 인물에 대한 정보는 인물 정보 취득부(150)를 통하여 취득할 수 있다.

의류를 찾는 데에 인물에 대한 정보까지 활용하면, 의류를 오인하는 오류율을 더욱 줄일 수가 있으며, 의류 검색/인식 시간도 더욱 단축시킬 수가 있다. 또한, 동영상 저작툴의 핵심 이슈인 저작 시간도 더욱 단축시킬 수가 있다. 이것이 가능한 것은 모든 영역에 대해 의류 영역을 검색하지 않고 인식된 얼굴을 기반으로 의류를 인식하기 때문이다.

전원부(170)는 의류 검출 장치(100)의 모든 구성부에 전원을 공급하는 역할을 하며, 제어부(180)는 의류 검출 장치(100)의 모든 구성부의 전체 작동을 제어하는 역할을 한다.

이하에서는 도 2를 참조하여 의류 검출 장치(100)의 의류 검출 방법을 설명한다.

먼저, 얼굴 인식부(110)가 이미지에서 사람의 얼굴을 인식한다(S200). 이후, 의류 영역 추출부(120)가 이미지에서의 얼굴의 위치를 근거로 얼굴 하단에 위치하는 의류 영역을 추출한다(S210). 이때, 추출되는 의류 영역은 사용자 위주의 관심 영역(ROI ; Region-Of Interest)임이 바람직하다.

각각의 컬러 정보와 텍스처 정보의 매칭을 위해서는 먼저 각 이미지에서 의 류로 생각되는 부분의 ROI를 설정하고, 이를 대상으로 하는 검색이 이루어져야 한다. 기본적으로 각 이미지에서의 얼굴 검색이 끝났다고 가정한다. 또한, 사람의 몸에 이미 의류가 입혀져 있음을 가정한다. 이러한 가정 하에서 얼굴 아래 영역을 얼굴 크기의 일정 비율로 잡아 ROI를 설정하게 된다. 단, 질의로 입력되는 이미지는 사용자가 직접 ROI를 수동 지정한다. 그러나, 그 외 비교 대상이 되는 이미지는 의류로 생각되는 ROI의 설정을 얼굴 아래의 일정 부위에서 얼굴 크기에 비례하게 설정한다. 도 3을 참조하면, 도면부호 300이 이미지에 나타난 사람의 얼굴이며, 도면부호 310이 ROI이다. ROI는 적어도 하나 추출된다.

face recognized image = fr + i

상기에서, fr은 얼굴 영역 정보이며, i는 원본 이미지이다. 즉, 사람의 얼굴이 인식된 이미지는 이미지 자체에 사람의 얼굴 영역에 대한 정보가 들어있는 것임을 알 수 있다.

ROI.top = fr.bottom + fr.Height/3

ROI.bottom = fr.Height×2

ROI.left = fr.left - fr.Width

ROI.right = ROI.left + fr.Width×3

수학식 2는 얼굴 영역을 이용하여 의류로 생각되는 영역을 설정하는 방법에 대한 것이다. 수학식 2에 따르면, 얼굴 크기에 비례하여 목 부분을 제외한 아래 부 분을 얼굴 크기의 약 3배 넓이(바람직하게는 2.5~3.5배 넓이), 얼굴 길이의 약 2배 높이(바람직하게는 1.5~2.5배 높이)로 의류 영역을 설정하게 된다.

의류 영역 즉, ROI가 추출되면 컬러 유사도 계산부(130)가 ROI가 추출된 질의 입력 이미지를 비교 대상 이미지에 컬러 매칭시킨다(S220a). 이후, 컬러 유사도 계산부(130)는 질의 입력 이미지의 컬러 유사도를 계산한다(S221a). 만약 계산된 질의 입력 이미지의 컬러 유사도 값이 기준 유사도 값보다 크다면 이때의 질의 입력 이미지는 비교 대상 이미지와 컬러가 유사한 것으로 판별한다.

본 발명의 실시예에서 컬러 유사도 계산부(130)는 의류에서 컬러 매칭 정도를 측정하기 위하여 RGB 컬러 스페이스를 HSI 컬러 스페이스로 변환하고, 이중 H 요소 간의 유사도를 히스토그램 인터섹션(histogram intersection) 방법을 이용하여 측정한다.

기본적으로 비디오 데이터에서 디코딩된 각 프레임의 컬러 스페이스(color space)는 RGB(Red, Green, Blue)이다. 그런데, 각각의 RGB 요소에서 컬러만을 위한 부분을 뽑아 분석하기 어렵기 때문에 H(Hue, 색상), S(Saturation, 채도), I(Intensity, 명도)로 분리할 수 있는 HSI 컬러 스페이스로 먼저 이미지를 변환시킨다. 이후, 이중에서 컬러 정보를 담고 있는 H를 이용하여 이미지의 컬러 정보를 분석한다. RGB의 HSI 변환은 수학식 3과 같다.

수학식 3에서 H는 0°~360° 사이의 값을 가지게 된다. 그런데, 괄호 안의 값이 소수점까지 허용되는 값을 가질 수 있기 때문에 유사도 측정에 있어서 서로 다른 H 값끼리 측정이 어려울 수 있다. 그래서, 0°~360° 사이의 값을 0~12 사이의 정수값으로 정규화(normalization)시켜 유사도 측정의 효율성을 높인다. 변환 방법은 수학식 4와 같다.

상기에서, NH는 정규화된 H값, n은 정규화 단계로 상기와 같은 조건에서는 12가 된다.

수학식 3과 수학식 4를 이용하여 ROI를 포함하는 질의 입력 이미지와 비교 대상 이미지 모두를 변환시킨다. 이후, 각각의 H 값의 차이를 분석하여 그 컬러 유사도를 측정한다. 컬러 유사도를 정확하게 측정하기 위해서는 이미지 전체를 비교하지 않고, 소정 개수의 블록을 설정한 다음 가장 유사도가 높은 블록을 먼저 찾고 그 후에 모든 블록의 평균값을 구하는 것이 바람직하다. 이를 좀더 구체적으로 설명하면 다음과 같다.

먼저, 질의로 입력된 이미지를 블록 단위로 분할한다. 이후, 분할된 블록을 이용하여 비교 대상이 되는 이미지의 각 블록을 스캔한다. 도 4는 블록 간의 매칭 방법에 대한 예시이다. 이후, 스캔된 블록 중에서 비교 대상 이미지에 대해 최대 유사도가 나오는 블록의 유사도 값을 저장한다. 이후, 저장된 블록의 유사도 값들에 대한 평균값을 구하여 전체적인 컬러 유사도를 측정한다.

각 블록끼리의 유사도는 히스토그램 인터섹션(histogram intersection) 방법을 이용하여 블록 내부의 H 값의 분포가 서로 유사한지를 측정하여 계산하게 된다. 히스토그램 인터섹션 방법은 수학식 5와 같다.

상기에서, SI는 질의 입력 이미지의 히스토그램, CI는 비교 대상 이미지의 히스토그램이다.

상기와 같이 계산된 유사도가 50% 이상이면 유사 블록으로 간주한다. 이렇게 유사 블록으로 간주된 블록의 개수가 전체 블록의 개수의 50% 이상이면 질의로 입력된 이미지는 비교 대상 이미지와 컬러가 유사한 것으로 판단된다. 이는 수학식 6으로 나타낼 수 있다.

상기에서, Fcm은 컬러 매칭 평가함수이다.

한편, 의류 영역이 추출되면 텍스처 유사도 계산부(140)는 질의 입력 이미지를 비교 대상 이미지에 텍스처 매칭시킨다(S220b). 이후, 텍스처 유사도 계산부(140)는 질의 입력 이미지의 텍스처 유사도를 계산한다(S221b). 본 발명에서 텍스처 유사도 계산부(140)의 기능 수행은 컬러 유사도 계산부(130)의 기능 수행과 동시에 이루어질 수 있으며, 컬러 유사도 계산부(130)의 기능 수행 이후에 이루어짐도 가능하다.

본 발명의 실시예에서 텍스처 유사도 계산부(140)는 의류 검색에서 의류 질감을 비교하고 측정하기 위해 질감 특징 벡터를 추출하고, 질감 벡터 간의 거리(distance)를 구하여 의류의 질감 유사도를 측정한다.

의류 질감은 특징적으로 나타나는 헝겊의 형태적인 패턴이다. 이미지의 형태적인 패턴은 이미지의 주파수 계수의 특징으로 수치화하여 나타낼 수 있다. 그래서, 먼저 이미지를 주파수 도메인으로 전환하고, 이 주파수 도메인으로부터 질감 특징 벡터를 산출하도록 한다.

먼저, 주파수 도메인의 변환은 DCT를 이용한다. DCT 방법은 수학식 7에 나타난 바와 같다. DCT 변환은 정현파 및 여현파 함수를 기본 벡터로 하는 이산 변환이다. DCT를 이용하여 8 x 8 블록 크기로 이미지를 나누어 DCT를 변환할 경우 64개의 변환 계수를 얻을 수 있다. 이중에서 형태학적 특성을 잘 반영하는 부분의 계수를 추출하여 질감 특징 벡터를 구성하게 된다.

이때, 블록의 각 방향의 계수로 특징 벡터를 추출하는데, 형태학적 특성이 잘 반영되도록 하려면 도 5의 (a)에서와 같이 x축 방향의 계수들로 특징 벡터를 추출하거나, y축 방향의 계수들로 특징 벡터를 추출하거나, 대각선 방향의 계수들로 특징 벡터를 추출하면 된다. 그러면, 추출된 특징 벡터들에 포함되는 주파수 성분들은 공간 영역의 이미지에서 질의 입력 이미지의 형태적 변화를 잘 반영하게 된다.

8 × 8 블록에서는 도 5의 (b)를 거쳐 도 5의 (c)를 통해 9개의 특징 벡터를 산출한다. 도 5의 (b)와 (c)에서 각 숫자는 벡터의 번호를 가리킨다. 각 번호 자리의 DCT 계수들의 합으로 9개의 특징 벡터를 추출해 낸다. 수학식 8은 질감 특징 벡터값을 산정하는 방법을 나타낸 것이다.

상기 방법으로 특징 벡터를 산출하면 8 x 8 블록 크기로 나누어진 이미지에는 각 블록당 9개의 벡터 값들이 존재하게 된다. 그러면, 질의 입력 이미지의 한 블록을 이용해 비교 대상이 되는 이미지의 블록들을 스캔하며, 각 9개 벡터의 거리를 구하게 된다. 벡터간 거리를 구하는 방법은 수학식 9에 잘 나타나 있다.

수학식 9를 이용하여 계산된 각 블록들의 거리를 모두 합산하면 질감 벡터 간의 거리를 구할 수 있다. 계산된 질감 벡터 간의 거리가 적절한 거리 내에 존재하면 이때의 질의 입력 이미지는 비교 대상 이미지와 텍스처가 유사한 것으로 판별한다. 이에 대해서는 수학식 10을 참조하면 된다.

컬러 유사도 계산부(130)와 텍스처 유사도 계산부(140)가 각각 질의 입력 이미지의 컬러 유사도와 텍스처 유사도를 계산하면, 의류 검출부(160)는 계산된 각각 의 유사도 값을 기준값과 비교한다. 이후, 의류 검출부(160)는 컬러 유사도나 텍스처 유사도가 기준치 이상이면 질의 입력 이미지의 컬러나 텍스처가 비교 대상 이미지와 유사한 것으로 판별한다.(S230a, S230b).

의류 검출부(160)는 S230 단계 이후 유사한 것으로 판별된 질의 입력 이미지의 ROI를 의류 이미지로 검출한다(S240).

한편, 본 발명은 의류 검출 방법을 이용하여 의류 관련 메타데이터를 생성하는 것도 가능하다. 이하에서는 의류 관련 메타데이터를 생성하는 방법에 대해서 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 의류 검출 방법을 이용한 의류 관련 메타데이터를 생성하는 방법을 도시한 순서도이다. 이하 도 6을 참조하여 설명한다.

메타데이터란 일반적으로 데이터의 의미를 기술하거나 대표하는 데이터를 말한다. 의류 인식의 경우에 있어서 메타데이터란 의류의 색상, 의류의 질감 등 이미지에 포함된 의류 관련 데이터를 의미한다.

먼저 동영상이 입력되면(S600), 그 입력된 동영상에서 사람의 얼굴 영역을 인식한다(S610). 이후, 인식된 얼굴 영역을 기반으로 얼굴 아래에 위치하는 의류 영역 ROI를 추출한다(S620). 이후, 추출된 의류 영역 ROI 내에서 의류의 특징인 색상 유사도와 텍스처 유사도를 계산한다(S630). 이후, 계산된 유사도 값과 미리 정해진 기준값을 비교하여 유사한 것으로 판별된 질의 입력 이미지의 ROI를 검출한다. 이 과정은 동영상 전체에 대한 의류 영역을 탐색하여 유사도가 가장 큰 의류에 대해서 영역을 찾게 한다(S640).

S600 단계 내지 S640 단계에 대해서는 이미 설명하였는 바, 여기서는 설명을 생략한다.

동영상 전체 영역에 대해 탐색이 완료되지 않았다면(S650), S620 단계 내지 S640 단계가 반복 진행된다. 반면, 동영상 전체 영역에 대해 탐색이 완료되었다면(S650), 최종적으로 그동안 검출된 ROI를 수집하여 메타데이터를 생성한다(S660).

도 6에 따른 메타데이터 생성 방법이 시스템으로 구현될 경우 영상 인식 기능이 추가될 수 있는 구조를 가진 동영상 편집기, 영상에서 대표 프레임을 추출하여 그 안에서 인물 정보 구성을 위한 얼굴 인식된 위치 및 메타데이터를 생성하는 편집기 등이 구비됨은 물론이다. 또한, 이러한 시스템은 얼굴 인식 위치를 중심으로 하단에서 찾고자 하는 의류의 컬러 정보와 텍스처 정보를 찾아주는 기능도 수행한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 이미지에서 사람의 얼굴을 인식하고, 인식된 얼굴을 기반으로 의류를 검출하는 의류 검출 장치와 그 방법을 개시한다. 본 발명에 따르면, 이미지로부터 의류 인식율이 우수하고 빠른 실행 속도를 가지는 의류 인식 기술을 개발할 수 있다. 또한, 종전보다 동영상 기반의 메타데이터 저작 시간을 대폭 단축시킬 수 있다.

이미지에서 의류를 검출하는 의류 인식 기술은 기존 인터넷 쇼핑몰, 특히 의류 관련 쇼핑몰에서 편리하게 사용할 수 있다. 또한, 메타데이터 생성 기술은 동영상 객체 기반의 다양한 서비스를 제공하는 업체에서 이용할 수 있다. 본 발명에 따른 의류 검출 방법과 메타데이터 생성 방법은 우수한 인식률, 자동 검출이나 자동 생성에 따른 저작 시간의 단축 등으로 향후 관련 업계에서 경쟁력을 확보할 수 있을 것으로 예측된다.

도 1은 본 발명의 바람직한 실시예에 따른 의류 검출 장치를 개략적으로 도시한 블록도이고,

도 2는 본 발명의 바람직한 실시예에 따른 의류 검출 방법을 도시한 순서도이고,

도 3은 이미지에서 인식된 얼굴을 이용하여 의류 영역을 설정하는 예시도이고,

도 4는 블록 간 매칭 방법의 예시도이고,

도 5는 DCT 계수의 특성에 대한 예시도 및 질감 특징 벡터를 추출하는 방법의 예시도이고,

도 6은 본 발명의 바람직한 실시예에 따른 의류 검출 방법을 이용한 의류 관련 메타데이터를 생성하는 방법을 도시한 순서도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100 : 의류 검출 장치 110 : 얼굴 인식부

120 : 의류 영역 추출부 130 : 컬러 유사도 계산부

140 : 텍스처 유사도 계산부 150 : 인물 정보 취득부

160 : 의류 검출부 170 : 전원부

180 : 제어부 310 : ROI

Claims (14)

1. 질의로 입력된 질의 입력 이미지에서 사람의 얼굴을 인식하는 얼굴 인식부;

   상기 인식된 얼굴을 기반으로 상기 질의 입력 이미지에서 의류 영역을 추출하는 의류 영역 추출부;

   상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 컬러 매칭시키고, 상기 컬러 매칭으로부터 상기 의류 영역의 컬러 유사도 값을 계산하는 컬러 유사도 계산부;

   상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 텍스처 매칭시키고, 상기 텍스처 매칭으로부터 상기 의류 영역의 텍스처 유사도 값을 계산하는 텍스처 유사도 계산부; 및

   상기 계산된 컬러 유사도 값과 상기 계산된 텍스처 유사도 값을 각각 미리 정해진 기준값과 비교하여 상기 추출된 의류 영역의 컬러나 텍스처가 상기 비교 대상 이미지의 소정 영역과 유사한지를 판별하며, 상기 판별 결과가 유사하다는 것이면 상기 의류 영역을 의류를 표시하는 의류 이미지로 검출하는 의류 검출부

   를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
2. 제 1 항에 있어서,

   상기 의류 영역 추출부는 상기 얼굴의 크기를 기반으로 상기 얼굴 영역을 설정하며, 상기 설정된 얼굴 영역의 아래 위치에서 상기 의류 영역을 추출하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
3. 제 1 항에 있어서,

   상기 컬러 유사도 계산부는,

   상기 의류 영역을 포함하는 프레임의 컬러 스페이스를 RGB에서 HSI로 이미지 변환시키는 컬러 스페이스 변환부;

   상기 변환된 이미지에서 상기 RGB를 고려하여 컬러에 대한 정보를 도출하는 컬러 정보 도출부; 및

   상기 비교 대상 이미지의 소정 영역으로부터 컬러에 대한 정보가 도출되면, 두 컬러 정보를 비교하여 상기 컬러 유사도 값을 계산하는 컬러 유사도 값 계산부

   를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
4. 제 1 항에 있어서,

   상기 텍스처 유사도 계산부는,

   상기 의류 영역에 대한 이미지를 DCT를 이용하여 주파수 도메인으로 전환시키는 주파수 도메인 전환부;

   상기 전환으로부터 도출된 이미지의 블록별 변환 계수들 중에서 주파수 영역별 계수를 추출하고, 상기 추출된 주파수 영역별 계수가 포함된 질감 특징 벡터를 추출하는 질감 특징 벡터 추출부;

   상기 추출된 적어도 2개의 질감 특징 벡터들을 비교하여 질감 특징 벡터들 간의 거리를 구하는 거리 계산부; 및

   상기 비교 대상 이미지의 소정 영역으로부터 상기 질감 특징 벡터들 간의 거리가 구해지면, 두 구해진 거리값을 비교하여 상기 텍스처 유사도 값을 계산하는 텍스처 유사도 값 계산부

   를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
5. 제 3 항에 있어서,

   상기 컬러 유사도 값 계산부는 상기 질의 입력 이미지를 블록 단위로 분할한 후 상기 분할된 블록들 중에서 적어도 하나의 블록을 추출하고 상기 추출된 블록을 상기 비교 대상 이미지의 블록과 상호 비교하는 블록 매칭을 통해 상기 두 컬러 정보를 비교하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
6. 제 1 항에 있어서,

   상기 인식된 얼굴이 지시하는 인물에 대한 정보를 취득하는 인물 정보 취득부

   를 더 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
7. 제 2 항에 있어서,

   상기 의류 영역 추출부는,

   상기 설정된 얼굴 영역의 가로 크기와 세로 크기를 결정하는 얼굴 영역 크기 결정부;

   상기 얼굴 영역의 아래 위치에서 상기 얼굴 영역의 가로 크기의 2.5~3.5배를 넓이로 하고 상기 얼굴 영역의 세로 크기의 1.5~2.5배를 높이로 하는 상기 의류 영역을 검출하는 의류 영역 검출부

   를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
8. 제 3 항에 있어서,

   상기 컬러 정보 도출부는 상기 컬러에 대한 정보로 R(Red) 성분값, G(Green) 성분값 및 B(Blue) 성분값이 포함된 상기 의류 영역에서의 색상값을 도출하며, 상기 도출된 색상값을 0~12의 범위값으로 정규화시키는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
9. 제 4 항에 있어서,

   상기 거리 계산부는 블록별로 존재하는 9개의 질감 특징 벡터값을 이용하여 상기 질감 특징 벡터들 간의 거리를 구하는 것을 특징으로 하는 이미지에서의 의류 검출 장치.
10. (a) 질의로 입력된 질의 입력 이미지에서 사람의 얼굴을 인식하는 단계;

    (b) 상기 인식된 얼굴을 기반으로 상기 질의 입력 이미지에서 의류 영역을 추출하는 단계;

    (c) 상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 컬러 매칭시키고, 상기 컬러 매칭으로부터 상기 의류 영역의 컬러 유사도 값을 계산하는 단계;

    (d) 상기 추출된 의류 영역을 비교 대상 이미지의 소정 영역에 텍스처 매칭시키고, 상기 텍스처 매칭으로부터 상기 의류 영역의 텍스처 유사도 값을 계산하는 단계; 및

    (e) 상기 계산된 컬러 유사도 값과 상기 계산된 텍스처 유사도 값을 각각 미리 정해진 기준값과 비교하여 상기 추출된 의류 영역의 컬러나 텍스처가 상기 비교 대상 이미지의 소정 영역과 유사한지를 판별하며, 상기 판별 결과가 유사하다는 것이면 상기 의류 영역을 의류를 표시하는 의류 이미지로 검출하는 단계

    를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 방법.
11. 제 10 항에 있어서,

    상기 (c) 단계는,

    (ca) 상기 의류 영역을 포함하는 프레임의 컬러 스페이스를 RGB에서 HSI로 이미지 변환시키는 단계;

    (cb) 상기 변환된 이미지에서 상기 RGB를 고려하여 컬러에 대한 정보를 도출하는 단계; 및

    (cc) 상기 비교 대상 이미지의 소정 영역으로부터 컬러에 대한 정보가 도출되면, 두 컬러 정보를 비교하여 상기 컬러 유사도 값을 계산하는 단계

    를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 방법.
12. 제 10 항에 있어서,

    상기 (d) 단계는,

    (da) 상기 의류 영역에 대한 이미지를 DCT를 이용하여 주파수 도메인으로 전환시키는 단계;

    (db) 상기 전환으로부터 도출된 이미지의 블록별 변환 계수들 중에서 주파수 영역별 계수를 추출하고, 상기 추출된 주파수 영역별 계수가 포함된 질감 특징 벡터를 추출하는 단계;

    (dc) 상기 추출된 적어도 2개의 질감 특징 벡터들을 비교하여 질감 특징 벡터들 간의 거리를 구하는 단계; 및

    (dd) 상기 비교 대상 이미지의 소정 영역으로부터 상기 질감 특징 벡터들 간의 거리가 구해지면, 두 구해진 거리값을 비교하여 상기 텍스처 유사도 값을 계산하는 단계

    를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 방법.
13. 제 10 항에 있어서,

    상기 상기 (b) 단계는,

    (ba) 상기 얼굴의 크기를 기반으로 상기 얼굴 영역을 설정하는 단계; 및

    (bb) 상기 설정된 얼굴 영역의 아래 위치에서 상기 의류 영역을 추출하는 단계

    를 포함하는 것을 특징으로 하는 이미지에서의 의류 검출 방법.
14. 제 10 항에 있어서,

    상기 (d) 단계와 상기 (e) 단계의 중간 단계는 상기 인식된 얼굴이 지시하는 인물에 대한 정보를 취득하는 단계를 포함하며,

    상기 (e) 단계는 상기 의류 이미지 검출시 상기 취득된 인물에 대한 정보를 이용하는 것을 특징으로 하는 이미지에서의 의류 검출 방법.

Images