KR20170067383A - 영상에서의 신체 부위 검출 방법 및 그 장치 - Google Patents

Abstract

본 발명은 영상에서 특정 신체 부위를 검출하는 방법에 관한 것이다.
본 발명에 따른 어깨 위치 검출 방법은 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출 단계; 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정하는 어깨 영역 설정 단계; 상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션 단계; 및 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출하는 어깨 검출 단계;를 포함할 수 있다.

Description

영상에서의 신체 부위 검출 방법 및 그 장치{Apparatus and Method of Body Part Detection in Image}

본 발명은 영상에서 특정 신체 부위를 검출하는 방법에 관한 것이다.

얼굴이나 손 등 신체의 일부를 검출하기 위하여 특징 또는 탬플릿이나 색상 등의 신호 성분을 이용하여 타겟 부위를 검출하는 기술이 영상 인식 분야에서 다양하게 개발되어 사용되고 있다. 예를 들면 SIFT 기반의 특징을 이용한 검출기나 아다부스트 등의 분류기를 이용하여 얼굴을 검출하거나 마스크 탬플릿 등을 이용하여 얼굴을 검출하는 등, 여러 신체의 타겟 부위를 검출하는 기술들이 개발되어 사용되고 있다.

그런데 얼굴이나 손과 같이 피부가 노출되고 눈, 코, 입 또는 손가락과 같은 특징적인 패턴을 가지는 부위에 대한 신체 검출과는 달리, 어깨 또는 허리의 검출은 의류를 피복한 상태의 사람에 대하여 의류 내부에 위치하는 신체 부위의 위치를 추정하는 것이어서 그 위치 인식에 어려움이 있다.

또한 어깨 또는 허리의 위치에 대한 검출을 시도하는 경우, 사람이 착용하고 있는 의류의 색상이나 패턴, 배경의 복잡함 등의 문제로 인해 신체 부위별 위치에 대한 정확한 결과를 도출하기 힘들다. 더불어 3차원 영상이나 깊이 정보를 가지고 있는 영상이 아닌 2차원 영상의 경우는, 주어진 정보의 제한으로 인해 정확한 어깨 또는 허리의 위치를 검출하는데 있어 어려운 점이 많다.

(특허문헌 0001) 대한민국 공개특허공보 제2014-0123399호 (2014.10.22)

이에 본 발명은 이미지 세그먼테이션을 이용하여 배경과 의류의 색깔 차이를 구분하여 의류 영역에서 신체 부위를 검출하고, 또한 다양한 해상도에서 모서리 점을 탐측하고 이를 원 영상에 매칭하여 어깨 및 허리 위치를 보다 신뢰도 있게 검출하는 방법을 제공하고자 한다.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 영상에서의 어깨 위치 검출 방법은 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출 단계; 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정하는 어깨 영역 설정 단계; 상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션 단계; 및 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출하는 어깨 검출 단계;를 포함할 수 있다.

일 실시예에 있어서 상기 기준 신체 부위 검출 단계는 상기 영상에서 상기 기준 신체 부위로 얼굴을 검출하고, 상기 어깨 영역 설정 단계는 상기 검출한 얼굴의 위치를 기준으로 상기 검출한 얼굴의 하부에, 상기 검출한 얼굴의 너비 또는 높이 중 적어도 어느 하나 이상에 따라 크기 및 위치를 설정한 블록을 상기 어깨 영역으로 설정할 수 있다.

일 실시예에 있어서 상기 영상 세그멘테이션 단계는 상기 어깨 영역에 해당하는 영상 블록을 복수개의 영역으로 분할하고, 동일한 상기 영역에 포함된 화소들이 소정의 범위 이내의 영상 신호 값을 가지도록 상기 화소의 상기 영상 신호 값을 설정하여, 상기 세그멘테이션 영상을 생성할 수 있다.

일 실시예에 있어서 상기 어깨 검출 단계는, 상기 세그멘테이션 영상을 적어도 하나 이상의 비율로 해상도를 축소하여, 적어도 하나 이상의 축소 영상을 생성하는 다중 스케일 영상 생성 단계; 상기 세그멘테이션 영상과 각 상기 축소 영상에서 상기 에지를 추출하는 에지 추출 단계; 및 상기 에지에서 상기 모서리 점을 검출하고, 상기 검출된 모서리 점들을 매칭하고, 상기 매칭된 모서리 점을 이용하여 상기 어깨 위치를 추정하는 어깨 위치 추정 단계;를 포함할 수 있다.

일 실시예에 있어서 상기 어깨 위치 추정 단계는 상기 에지에서 상기 모서리 점을 검출하고, 상기 세그멘테이션 영상에서 검출된 상기 모서리 점과 각 상기 축소 영상에서 검출된 상기 모서리 점을 매칭하여, 상기 매칭된 모서리 점을 선별하고, 상기 선별한 모서리 점의 위치에 따라 상기 어깨 위치를 추정할 수 있다.

일 실시예에 있어서 상기 어깨 위치 추정 단계는, 상기 세그멘테이션 영상에서 추출한 상기 에지 및 상기 축소 영상에서 추출한 상기 에지에서 상기 모서리 점을 검출하는 모서리 점 검출 단계; 상기 검출한 모서리 점들의 위치가 어느 한 기준 해상도에서 서로 매칭되는지 여부를 판단하고, 상기 검출한 모서리 점들이 매칭되는 것으로 판단된 경우 상기 매칭된 모서리 점을 선별하는 모서리 점 매칭 단계; 및 상기 선별된 모서리 점의 위치에 따라 상기 어깨 위치를 결정하는 어깨 위치 결정 단계;를 포함할 수 있다.

일 실시예에 있어서 상기 모서리 점 검출 단계는 아래 방향 및 좌측 또는 우측 방향으로 패턴 값이 설정된 로컬 바이너리 패턴(Local Binary Pattern)을 이용하여 상기 에지에서 적어도 하나 이상의 상기 모서리 점을 검출할 수 있다.

일 실시예에 있어서 상기 모서리 점 매칭 단계는, 상기 축소 영상에서 검출한 상기 모서리 점들을 상기 세그멘테이션 영상에 매핑하고, 상기 세그멘테이션 영상에서 검출한 상기 모서리 점과 상기 매핑한 모서리 점들이 소정의 거리 이내에 존재하는 경우 상기 모서리 점들이 서로 매칭되는 것으로 판단할 수 있다.

일 실시예에 있어서 상기 어깨 위치 결정 단계는 상기 모서리 점 매칭 단계에서 선별된 모서리 점들 간에 거리를 산출하고, 상기 선별된 모서리 점들 중에서 상기 산출한 거리를 기준으로 상기 모서리 점을 선정하고, 상기 선정한 모서리 점의 위치에 따라 상기 어깨 위치를 결정할 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 영상에서의 허리 위치 검출 방법은 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출 단계; 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 허리 영역을 설정하는 허리 영역 설정 단계; 상기 허리 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션 단계; 및 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 세로선 상 점을 검출하고, 상기 검출한 세로선 상 점의 위치에 따라 허리 위치를 검출하는 허리 검출 단계;를 포함할 수 있다.

일 실시예에 있어서 상기 기준 신체 부위 검출 단계는, 상기 영상에서 얼굴을 검출하는 얼굴 검출 단계; 및 상기 영상에서 어깨를 검출하는 어깨 검출 단계를 포함하고, 상기 허리 영역 설정 단계는 상기 검출한 얼굴의 위치를 기준으로 상기 검출한 얼굴의 하부에, 상기 검출한 어깨의 너비 또는 높이 중 적어도 어느 하나 이상에 따라 크기 및 위치를 설정한 블록을 상기 허리 영역으로 설정할 수 있다.

일 실시예에 있어서 상기 영상 세그멘테이션 단계는 상기 허리 영역에 해당하는 영상 블록을 복수개의 영역으로 분할하고, 동일한 상기 영역에 포함된 화소들이 소정의 범위 이내의 영상 신호 값을 가지도록 상기 화소의 상기 영상 신호 값을 설정하여, 상기 세그멘테이션 영상을 생성할 수 있다.

일 실시예에 있어서 상기 허리 검출 단계는, 상기 세그멘테이션 영상을 적어도 하나 이상의 비율로 해상도를 축소하여, 적어도 하나 이상의 축소 영상을 생성하는 다중 스케일 영상 생성 단계; 상기 세그멘테이션 영상과 각 상기 축소 영상에서 상기 에지를 추출하는 에지 추출 단계; 및 상기 에지에서 상기 세로선 상 점을 검출하고, 상기 검출된 세로선 상 점들을 매칭하고, 상기 매칭된 세로선 상 점을 이용하여 상기 허리 위치를 추정하는 허리 위치 추정 단계;를 포함할 수 있다.

일 실시예에 있어서 상기 허리 위치 추정 단계는 상기 에지에서 상기 세로선 상 점을 검출하고, 상기 세그멘테이션 영상에서 검출된 상기 세로선 상 점과 각 상기 축소 영상에서 검출된 상기 세로선 상 점을 매칭하여, 상기 매칭된 세로선 상 점을 선별하고, 상기 선별한 세로선 상 점의 위치에 따라 상기 허리 위치를 추정할 수 있다.

일 실시예에 있어서 상기 허리 위치 추정 단계는, 상기 세그멘테이션 영상에서 추출한 상기 에지 및 상기 축소 영상에서 추출한 상기 에지에서 상기 세로선 상 점을 검출하는 세로선 상 점 검출 단계; 상기 검출한 세로선 상 점들의 위치가 어느 한 기준 해상도에서 서로 매칭되는지 여부를 판단하고, 상기 검출한 세로선 상 점들이 매칭되는 것으로 판단된 경우 상기 매칭된 세로선 상 점을 선별하는 세로선 상 점 매칭 단계; 및 상기 선별된 세로선 상 점의 위치에 따라 상기 허리 위치를 결정하는 허리 위치 결정 단계;를 포함할 수 있다.

일 실시예에 있어서 상기 세로선 상 점 검출 단계는 세로 방향으로 패턴 값이 설정된 로컬 바이너리 패턴(Local Binary Pattern)을 이용하여 상기 에지에서 적어도 하나 이상의 상기 세로선 상 점을 검출할 수 있다.

일 실시예에 있어서 상기 세로선 상 점 매칭 단계는, 상기 축소 영상에서 검출한 상기 세로선 상 점들을 상기 세그멘테이션 영상에 매핑하고, 상기 세그멘테이션 영상에서 검출한 상기 세로선 상 점과 상기 매핑한 세로선 상 점들이 소정의 거리 이내에 존재하는 경우 상기 세로선 상 점들이 서로 매칭되는 것으로 판단할 수 있다.

일 실시예에 있어서 상기 허리 영역에서 기준점을 설정하는 기준점 설정 단계를 더 포함하고, 상기 허리 위치 결정 단계는 상기 세로선 상 점 매칭 단계에서 선별된 세로선 상 점들과 상기 설정한 기준점 간에 거리를 산출하고, 상기 선별된 세로선 상 점들 중에서 상기 산출한 거리를 기준으로 상기 세로선 상 점을 선정하고, 상기 선정한 세로선 상 점의 위치에 따라 상기 허리 위치를 결정할 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 영상에서의 어깨 위치 검출 방법은 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출부; 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정하는 어깨 영역 설정부; 상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션부; 및 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출하는 어깨 검출부;를 포함할 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 영상에서의 허리 위치 검출 방법은 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출부; 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 허리 영역을 설정하는 허리 영역 설정부; 상기 허리 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션부; 및 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 세로선 상 점을 검출하고, 상기 검출한 세로선 상 점의 위치에 따라 허리 위치를 검출하는 허리 검출부;를 포함할 수 있다.

본 발명에 따른 신체 검출 방법에 의하면 영상에서 빠르고 신뢰도 있게 어깨와 허리를 검출할 수 있는 효과가 있다. 또한 본 발명에 따른 신체 검출 방법에 의하면, 영상에서 다양한 배경이 존재하는 경우나 사람이 의류를 착용하고 있는 경우에도 신뢰도 있게 신체의 어깨 또는 허리의 위치를 검출할 수 있는 효과가 있다. 또한 본 발명에 따른 신체 검출 방법은 이미지 세그멘테이션 기법을 이용함으로써 배경과 의류의 색깔이 유사한 경우에도 이를 구분할 수 있는 효과가 있고, 또한 다양한 해상도에서의 모서리 점을 검출하여 이를 원 영상에 매칭하는 방식으로 어께 또는 허리를 검출하므로, 보다 정확하게 상기 부위들을 검출할 수 있는 효과가 있다.

또한 본 발명에 따른 신체 검출 방법은 검출한 어깨와 허리의 위치를 기반으로 2차원 영상에 존재하는 사람에게 의류 이미지를 보다 정확하게 덧입히는 증강 현실 서비스에 이용될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 영상에서의 어깨 위치 검출 방법의 흐름도이다.
도 2는 어깨 영역 설정 단계의 동작을 설명하기 위한 참고도이다.
도 3은 어깨 영역에 해당하는 영상 블록 중 일부를 나타내는 참고도이다.
도 4는 도 3의 영상 블록을 이미지 세그멘테이션하여 생성한 세그멘테이션 영상을 나타내는 참고도이다.
도 5는 어깨 검출 단계의 세부 흐름도이다.
도 6은 세그멘테이션 영상과 축소 영상에서 추출한 에지를 나타내는 참고도이다.
도 7은 어깨 위치 추정 단계의 세부 흐름도이다.
도 8은 어깨에 대응하는 모서리 점을 검출하기 위하여 사용하는 로컬 바이너리 패턴을 나타내는 참고도이다.
도 9는 모서리 점 매칭 단계의 동작을 설명하기 위한 참고도이다.
도 10은 어깨 위치 결정 단계를 설명하기 위한 참고도이다.
도 11은 상기 본 발명에 따른 허리 위치 검출 방법의 흐름도이다.
도 12는 허리 검출 단계의 세부 흐름도이다.
도 13은 허리 추정 단계의 세부 흐름도이다.
도 14는 세로선 상 점을 검출하기 위하여 설정한 로컬 바이너리 패턴을 나타내는 참고도이다.
도 15는 기준 점 설정 단계를 포함하는 허리 위치 검출 방법의 흐름도이다.
도 16은 상기 실시예에 따른 영상에서의 어깨 위치 검출 장치의 블록도이다.
도 17은 상기 실시예에 따른 영상에서의 허리 위치 검출 장치의 블록도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 일 실시예에 따른 영상에서의 어깨 위치 검출 방법의 흐름도이다.

상기 본 발명의 일 실시예에 다른 영상에서의 어깨 위치 검출 방법은 기준 신체 부위 검출 단계(S100), 어깨 영역 설정 단계(S200), 영상 세그멘테이션 단계(S300), 어깨 검출 단계(S400)를 포함할 수 있다.

기준 신체 부위 검출 단계(S100)는 영상에서 기준 신체 부위를 검출한다.

어깨 영역 설정 단계(S200)는 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정한다.

영상 세그멘테이션 단계(S300)는 상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성한다.

어깨 검출 단계(S400)는 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출한다.

먼저 기준 신체 부위 검출 단계(S100)에 대하여 설명한다.

기준 신체 부위 검출 단계(S100)는 영상에서 기준 신체 부위를 검출한다. 기준 신체 부위는 본 발명에 따른 어깨 위치 검출 방법에서 어깨의 위치를 검출하기 위하여 영상에서 어깨가 존재할 수 있는 어깨 영역을 설정함에 있어서 기준으로 삼는 신체 부위를 의미한다. 기준 신체 부위는 필요에 따라서 사람의 신체 중 다양한 부위가 될 수 있다. 예를 들면, 얼굴, 목, 손, 발 등이 될 수 있다.

여기서 기준 신체 부위 검출 단계(S100)는 바람직하게는 영상에서 기준 신체 부위로 얼굴을 검출할 수 있다. 영상에 존재하는 사람은 통상적으로 다양한 종류의 의류를 피복한 상태일 수 있다. 따라서 기준 신체 부위는 의류로 가려지지 않는 영역인 얼굴이 되는 것이 바람직하다. 기준 신체 부위 검출 단계(S100)는 다양한 공지된 얼굴 검출 기술을 이용하여 영상에서 얼굴을 검출할 수 있다. 여기서 기준 신체 부위 검출 단계(S100)는 영상을 분석하여 미리 정해진 특징(Feature) 정보를 이용하여 얼굴을 검출할 수 있다. 여기서 얼굴을 검출하기 위하여, 기존의 다양한 종류의 특징을 상기 영상에서 추출하고, 이를 이용하여 얼굴 검출할 수 있다. 예를 들면 얼굴의 검출을 위하여 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 다양한 특징을 추출하여 이용할 수 있다. 또한 여기서 얼굴의 검출을 위하여 SIFT(Scale-invariant feature transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 특징 서술(Feature Description) 방식을 이용할 수 있다. 또는 얼굴의 검출을 위하여 템플릿 이미지와 대상 이미지 내의 일정 영역을 비교하여 얼굴을 검출할 수도 있다.

보다 구체적으로 예를 들면 기준 신체 부위 검출 단계(S100)는 'Turk, Matthew, and Alex P. Pentland. "Face recognition using eigenfaces." Computer Vision and Pattern Recognition, 1991. Proceedings CVPR'91., IEEE Computer Society Conference on. IEEE, 1991.'나 'Wiskott, Laurenz, et al. "Face recognition by elastic bunch graph matching." Pattern Analysis and Machine Intelligence, IEEE Transactions on 19.7 (1997): 775-779.'나 'Zhao, Wenyi, et al. "Face recognition: A literature survey." ACM computing surveys (CSUR) 35.4 (2003): 399-458.'에 개시된 기술을 이용하여 영상에서 얼굴을 검출할 수 있다. 여기서 기준 신체 부위 검출 단계(S100)는 상술한 예 이외에도 다양한 공지된 얼굴 검출 기술을 이용하여 영상에서 얼굴을 검출할 수 있음은 물론이다.

다음으로 어깨 영역 설정 단계(S200)에 대하여 설명한다.

어깨 영역 설정 단계(S200)는 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정한다. 여기서 어깨 영역은 사람의 어깨가 포함될 수 있는 영상 내 일정 범위에 해당하는 영역을 의미한다. 여기서 어깨 영역은 어깨가 포함되는 영역으로 충분한 마진을 가지도록 설정될 수 있다.

여기서 어깨 영역 설정 단계(S200)는 상기 검출한 얼굴의 위치를 기준으로 상기 검출한 얼굴의 하부에, 상기 검출한 얼굴의 너비 또는 높이 중 적어도 어느 하나 이상에 따라 크기 및 위치를 설정한 블록을 상기 어깨 영역으로 설정할 수 있다. 사람의 어깨는 사람의 얼굴을 기준으로 얼굴 아래에 일정한 영역에서 존재할 수 있으므로, 어깨 영역은 얼굴의 위치를 기준으로 설정하는 것이 바람직하다. 또한 어깨 영역의 크기는 사람의 신체 크기와 관련성이 있고, 사람의 신체 크기는 사람의 얼굴 크기와도 관련성이 있으므로, 어깨 영역의 크기를 사람의 얼굴 크기 즉 너비 또는 높이에 따라 설정하는 것이 바람직하다. 바람직하게는 어깨 영역은 검출한 얼굴 영역의 아래에서부터 시작하여 얼굴의 크기를 기준으로 설정되는 소정의 높이만큼, 또한 얼굴 영역을 기준으로 좌우로 얼굴 크기에 따른 소정의 너비만큼의 영역을 가지도록 설정될 수 있다. 일 실시예에 있어서 어깨 영역의 좌우 즉 가로 길이는 얼굴 너비의 N배, 어깨 영역의 상하 즉 세로 길이는 얼굴 높이의 M배로 설정될 수 있다. 여기서 상기 N은 3 내지 7, 상기 M은 1 내지 2로 설정되는 것이 바람직하고, 가장 바람직하게는 N은 5, M은 1.5로 설정될 수 있다.

도 2는 어깨 영역 설정 단계(S200)의 동작을 설명하기 위한 참고도이다.

도 2와 같이 영상에서 검출된 얼굴 영역(F)을 기준으로 위에서 설명한 바와 같이 어깨 영역(S)이 설정될 수 있다.

다음으로 영상 세그멘테이션 단계(S300)에 대하여 설명한다.

영상 세그멘테이션 단계(S300)는 상기 어깨 영역에 해당하는 영상 블록을 미리 설정한 이미지 세그멘테이션 알고리즘을 이용하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성한다. 이미지 세그멘테이션은 영상에서 균질한 영역을 동일 영역으로 하여, 영상을 복수개의 영역들로 분할하는 것이다. 여기서 영상 세그멘테이션 단계(S300)는 상기 어깨 영역에 해당하는 영상 블록을 복수개의 영역으로 분할하고, 동일한 상기 영역에 포함된 화소들이 소정의 범위 이내의 영상 신호 값을 가지도록 상기 화소의 상기 영상 신호 값을 설정하여, 상기 세그멘테이션 영상을 생성할 수 있다.

도 3은 어깨 영역에 해당하는 영상 블록 중 일부를 나타내는 참고도이다.

그리고 도 4는 도 3의 영상 블록을 이미지 세그멘테이션하여 생성한 세그멘테이션 영상을 나타내는 참고도이다. 도 4와 같이 영상 세그멘테이션 단계(S300)는 어깨 영역 영상 블록을 복수개의 영역으로 분할하되, 동일한 영역의 화소들의 영상 신호값을 동일한 값으로 설정하여, 각 영역들이 서로 구분되도록 세그멘테이션 영상을 생성할 수 있다.

이를 위하여 영상 세그멘테이션 단계(S300)는 Graph based Segmentation 기술을 사용할 수 있고, 기타 다양한 공지된 이미지 세그멘테이션 알고리즘을 이용하여 상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션 할 수 있다. 예를 들면 영상 세그멘테이션 단계(S300)는 'Shi, Jianbo, and Jitendra Malik. "Normalized cuts and image segmentation." Pattern Analysis and Machine Intelligence, IEEE Transactions on 22.8 (2000): 888-905.'나 'Pal, Nikhil R., and Sankar K. Pal. "A review on image segmentation techniques." Pattern recognition 26.9 (1993): 1277-1294.'나 'Felzenszwalb, Pedro F., and Daniel P. Huttenlocher. "Efficient graph-based image segmentation." International Journal of Computer Vision 59.2 (2004): 167-181.' 등에서 개시하고 있는 세그멘테이션 기법을 이용하여 영상을 복수개의 영역으로 분할할 수 있다. 여기서 영상 세그멘테이션 단계(S300)는 상술한 예 이외에도 다양한 공지된 이미지 세그멘테이션 알고리즘을 이용하여 상기 영상을 분할할 수 있음은 물론이다.

다음으로 어깨 검출 단계(S400)에 대하여 설명한다.

어깨 검출 단계(S400)는 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출한다. 이는 영상에서 사람의 어깨가 추출한 에지 상의 모서리 점일 확률이 높기 때문이다.

보다 상세하게 어깨 검출 단계(S400)는 다중 스케일 영상 생성 단계(S410), 에지 추출 단계(S420), 어깨 위치 추정 단계(S430)를 포함할 수 있다.

도 5는 어깨 검출 단계(S400)의 세부 흐름도이다.

다중 스케일 영상 생성 단계(S410)는 상기 세그멘테이션 영상을 적어도 하나 이상의 비율로 해상도를 축소하여, 적어도 하나 이상의 축소 영상을 생성한다. 예를 들면 세그멘테이션 영상을 1/2, 1/4, 1/8과 같은 비율들로 각각 축소하여 축소 영상들을 생성할 수 있다. 일 예로 세그멘테이션 영상이 256 x 256의 크기를 가지는 경우 축소 영상들은 각각 128 x 128, 64 x 64, 32 x 32의 크기를 가질 수 있고, 위와 같이 일련의 다중 스케일 영상을 구성할 수 있다. 이와 같은 영상 축소는 다운샘플링을 통하여 이루어질 수 있고, 축소 과정에서 발생할 수 있는 노이즈 또는 오류의 제거를 위해 필터링을 수행하는 과정이 더 포함될 수 있다.

에지 추출 단계(S420)는 상기 세그멘테이션 영상과 각 상기 축소 영상에서 상기 에지를 추출한다. 여기서 세그멘테이션 영상은 동질의 영역들이 동일 또는 소정의 범위 내의 화소 값을 가지도록 영역이 분할된 영상이기 때문에, 에지를 추출할 경우 영역의 경계선에서 에지가 추출되게 된다. 이는 세그멘테이션 영상을 축소하여 생성한 축소 영상들의 경우에도 마찬가지이다. 여기서 에지 추출 단계(S420)는 Canny Edge Detection 알고리즘을 사용할 수 있고, 기타 공지된 다양한 에지 검출 알고리즘을 이용하여 에지를 추출할 수 있다. 예를 들면 에지 추출 단계(S420)는 'Perona, Pietro, and Jitendra Malik. "Scale-space and edge detection using anisotropic diffusion." Pattern Analysis and Machine Intelligence, IEEE Transactions on 12.7 (1990): 629-639.'나 'Ziou, Djemel, and Salvatore Tabbone. "Edge detection techniques-an overview." Pattern Recognition and Image Analysis C/C of Raspoznavaniye Obrazov I Analiz Izobrazhenii 8 (1998): 537-559.' 등에서 개시하고 있는 에지 검출 알고리즘을 이용하여 에지를 검출할 수 있고, 상술한 예 이외에도 다양한 공지된 에지 검출 방법을 이용하여 에지를 검출할 수 있음은 물론이다.

도 6은 세그멘테이션 영상과 축소 영상에서 추출한 에지를 나타내는 참고도이다. 도 6의 (a)는 세그멘테이션 영상에서 추출한 에지이고, (b)와 (c)는 각각 소정의 비율로 축소한 축소 영상에서 추출한 에지를 세그멘테이션 영상과 동일한 크기로 확대하여 표현한 그림이다.

어깨 위치 추정 단계(S430)는 상기 에지에서 상기 모서리 점을 검출하고, 상기 검출된 모서리 점들을 매칭하고, 상기 매칭된 모서리 점을 이용하여 상기 어깨 위치를 추정한다. 여기서 어깨 위치 추정 단계(S430)는 상기 에지에서 상기 모서리 점을 검출하고, 상기 세그멘테이션 영상에서 검출된 상기 모서리 점과 각 상기 축소 영상에서 검출된 상기 모서리 점을 매칭하여, 상기 매칭된 모서리 점을 선별하고, 상기 선별한 모서리 점의 위치에 따라 상기 어깨 위치를 추정할 수 있다.

보다 상세하게 어깨 위치 추정 단계(S430)는 모서리 점 검출 단계(S431), 모서리 점 매칭 단계(S432), 어깨 위치 결정 단계(S433)를 포함할 수 있다.

도 7은 어깨 위치 추정 단계(S430)의 세부 흐름도이다.

모서리 점 검출 단계(S431)는 상기 세그멘테이션 영상에서 추출한 상기 에지 및 상기 축소 영상에서 추출한 상기 에지에서 상기 모서리 점을 검출한다. 여기서 모서리 점은 에지 상의 특정 점에서, 특정 점을 기준으로 양 방향으로 연결된 에지가 소정의 범위 내의 기울기를 가지고 진행하는 특성을 가질 때 해당 특정 점으로 정의될 수 있다. 여기서 소정의 범위는 예를 들면 90도를 중심으로 하여 설정되는 범위가 될 수 있고, 보다 상세하게는 120도 내지 60도와 같이 설정될 수 있다. 특히 어깨에 해당하는 모서리 점의 경우는 어깨에서 팔의 외측으로 이어지는 선이 수직 방향으로 진행하고, 어깨에서 목 부분으로 이어지는 선은 수평 방향으로 진행하는 특성을 가지고 있다. 따라서 모서리 점 검출 단계(S431)에서는 위와 같은 어깨의 모서리 부분에 해당하는 에지 부분을 상기 모서리 점으로 검출하는 것이 바람직하다.

이를 위하여 모서리 점 검출 단계(S431)는 아래 방향 및 좌측 또는 우측 방향으로 패턴 값이 설정된 로컬 바이너리 패턴(Local Binary Pattern)을 이용하여 상기 에지에서 적어도 하나 이상의 상기 모서리 점을 검출할 수 있다. 로컬 바이너리 패턴은 특정 화소를 기준으로 이웃하는 소정의 숫자의 화소들과 특정 화소의 영상 신호 값을 비교하여, 그 비교 결과에 따라 0 또는 1로 값을 설정하고, 이와 같이 설정한 0 또는 1을 순서대로 나열한 바이너리 패턴을 의미한다. 여기서 이웃 화소들은 소정의 방향을 가지도록 특정 화소 주변에 설정될 수 있다. 예를 들면 이웃 화소가 총 특정 화소의 영상 신호 값이 1번 이웃 화소의 영상 신호 값 보다 큰 경우 1번 이웃 화소에 해당하는 비트는 0으로 설정될 수 있고, 2번 이웃 화소의 영상 신호 값이 특정 화소의 영상 신호 값보다 큰 경우 2번 이웃 화소에 해당하는 비트는 1로 설정될 수 있다. 여기서 필요에 따라 0과 1이 반대로 설정될 수도 있다. 예를 들어 총 3 x 3 크기의 커널을 이용하여 특정 화소 주위로 총 8개의 이웃 화소들을 설정하였다면, 바이너리 패턴은 0 또는 1의 비트 값이 각 설정된 8 비트의 값이 될 수 있다.

여기서 모서리 점 검출 단계(S431)는 에지 상의 각 점에서 로컬 바이너리 패턴을 산출한 다음, 산출한 바이너리 패턴이 어깨에 해당하는 모서리 점에 해당하는 바이너리 패턴들에 속하는 것으로 판단되는 경우, 해당 점을 상기 모서리 점으로 검출할 수 있다. 이때 모서리 점에 해당하는 바이너리 패턴은 어깨의 형상 정보에 따라 미리 설정될 수 있다.

도 8은 어깨에 대응하는 모서리 점을 검출하기 위하여 사용하는 로컬 바이너리 패턴을 나타내는 참고도이다. 도 8은 7 x 7 크기의 커널을 이용하는 경우 어깨에 해당하는 모서리 점에 해당하는 로컬 바이너리 패턴을 나타낸다. 도 8의 (a)는 왼쪽 어깨를 (b)는 오른쪽 어깨를 나타내며, 0부터 15까지의 방향이 도 8과 같이 설정될 수 있다. 이때 도 8의 (a)에서와 같이 3, 4, 5, 7, 8, 9, 10과 같은 방향을 가지는 선 상에 위치하는 커널 화소의 바이너리 패턴 값이 다른 화소들과 구별되도록 0 또는 1로 설정될 수 있다. 또한 도 8의 (b)에서와 같이 6, 7, 8, 9, 11, 12, 13과 같은 방향을 가지는 선 상에 위치하는 커널 화소의 바이너리 패턴 값이 다른 화소들과 구별되도록 0 또는 1로 설정될 수 있다.

상술한 바와 같이 모서리 점 검출 단계(S431)는 에지 상의 각 점에 대하여 로컬 바이너리 패턴을 구한 다음, 미리 정의된 어깨에 해당하는 모서리 점의 바이너리 패턴과 비교하여, 해당 점이 모서리 점인지 여부를 검출할 수 있다. 여기서 모서리 점은 세그멘테이션 영상 및 각 축소 영상들에서 각각 복수개 검출될 수 있고, 이들 모서리 점이 어깨 위치의 1차 후보군이 된다.

다음으로 모서리 점 매칭 단계(S432)는 상기 검출한 모서리 점들의 위치가 어느 한 기준 해상도에서 서로 매칭되는지 여부를 판단하고, 상기 검출한 모서리 점들이 매칭되는 것으로 판단된 경우 상기 매칭된 모서리 점을 선별한다. 여기서 모서리 점 매칭 단계(S432)는 상기 축소 영상에서 검출한 상기 모서리 점들을 상기 세그멘테이션 영상에 매핑할 수 있다. 그리고 모서리 점 매칭 단계(S432)는 상기 세그멘테이션 영상에서 검출한 상기 모서리 점과 상기 매핑한 모서리 점들이 소정의 거리 이내에 존재하는 경우 상기 모서리 점들이 서로 매칭되는 것으로 판단할 수 있다.

도 9는 모서리 점 매칭 단계(S432)의 동작을 설명하기 위한 참고도이다. 도 9와 같이 2배 축소한 축소 영상에서 검출된 모서리 점(2)과 4배 축소한 축소 영상에서 검출된 모서리 점(4)는 세그멘테이션 영상의 크기로 확대되면서 세그멘테이션 영상에 매핑됨으로써 크기가 세그멘테이션 영상에서 검출된 모서리 점(S)보다 커지게 된다. 이와 같이 매핑된 모서리 점들 간에 서로 소정의 거리 이내에 존재하는 모서리 점들이 매칭되어 어깨 위치의 2차 후보군으로 선별될 수 있다.

일 실시예에 있어서 모서리 점 매칭 단계(S432)는 세그멘테이션 영상의 크기로 매핑된 각 축소 영상의 모서리 점들과 세그멘테이션 영상의 모서리 점이 서로 오버랩되는 경우, 오버랩되는 세그멘테이션 영상의 모서리 점을 상기 2차 후보군으로 선별할 수 있다. 여기서 세그멘테이션 영상의 모서리 점 중에서 모든 축소 영상 별로 매칭되는 모서리 점이 존재하는 모서리 점을 2차 후보군으로 선별하는 것이 바람직하다. 예를 들면 2개의 축소 영상을 생성한 경우 세그멘테이션 영상의 모서리 점이 2개의 축소 영상에서 각각 검출되어 매핑된 모서리 점과 모두 오버랩되는 경우만, 세그멘테이션 영상의 모서리 점을 2차 후보군으로 선별할 수 있다.

다음으로 어깨 위치 결정 단계(S433)는 상기 선별된 모서리 점의 위치에 따라 상기 어깨 위치를 결정한다. 여기서 모서리 점 매칭 단계(S432)에서 2차 후보군으로 선별된 모서리 점들 중 왼쪽 어깨와 오른쪽 어깨 별로 어느 하나를 선택하여 어깨 위치로 결정하거나, 또는 선별된 모서리 점들의 좌표를 이용하여 어깨 위치를 산출할 수도 있다. 예를 들면 왼쪽 어깨와 오른쪽 어깨 별로 선별된 모서리 점들의 좌표의 평균을 산출하여 어깨 위치로 결정하거나, 미디언 필터링을 하여 어깨 위치를 결정할 수도 있다. 그리고 이 과정에서 아웃라이어들을 제거하기 위한 필터링을 수행할 수도 있다. 여기서 왼쪽 어깨와 오른쪽 어깨 별 선별된 모서리 점들은 모서리 점의 좌표를 기준으로 구분할 수 있다.

일 실시예에 있어서 어깨 위치 결정 단계(S433)는 모서리 점 매칭 단계(S432)에서 선별된 모서리 점들 간에 거리를 산출하고, 상기 선별된 모서리 점들 중에서 상기 산출한 거리를 기준으로 상기 모서리 점을 선정하고, 상기 선정한 모서리 점의 위치에 따라 상기 어깨 위치를 결정할 수 있다. 이때 선별된 모서리 점들 별로 다른 선별된 모서리 점들과의 거리의 합을 산출하고, 상기 산출한 거리의 합이 가장 작은 모서리 점을 최종 어깨 위치로 결정할 수 있다.

도 10은 어깨 위치 결정 단계(S433)를 설명하기 위한 참고도이다. 도 10과 같이 복수개의 선별된 모서리 점들(M) 중에서 어느 한 지점이 어깨 위치(F)로 결정될 수 있다.

본 발명의 또 다른 실시예에 따른 영상에서의 허리 위치 검출 방법은 기준 신체 부위 검출 단계(S1000), 허리 영역 설정 단계(S2000), 영상 세그멘테이션 단계(S3000), 허리 검출 단계(S4000)를 포함할 수 있다.

도 11은 상기 본 발명에 따른 허리 위치 검출 방법의 흐름도이다.

기준 신체 부위 검출 단계(S1000)는 영상에서 기준 신체 부위를 검출한다. 여기서 일 실시예로 기준 신체 부위로 얼굴과 어깨를 검출할 수 있다. 이를 위하여 기준 신체 부위 검출 단계(S1000)는 상기 영상에서 얼굴을 검출하는 얼굴 검출 단계, 및 상기 영상에서 어깨를 검출하는 어깨 검출 단계를 포함할 수 있다. 여기서 얼굴 검출과 어깨 검출은 위에서 본 발명에 따른 어깨 위치 검출 방법을 설명하면서 설명한 방식과 동일한 방식으로 검출할 수 있다.

허리 영역 설정 단계(S2000)는 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 허리 영역을 설정한다. 이때 허리 영역 설정 단계(S2000)는 상기 검출한 얼굴의 위치를 기준으로 상기 검출한 얼굴의 하부에, 상기 검출한 어깨의 너비 또는 높이 중 적어도 어느 하나 이상에 따라 크기 및 위치를 설정한 블록을 상기 허리 영역으로 설정할 수 있다. 예를 들면 도 2와 같이 검출한 얼굴 영역(F)과, 어깨 영역(S)의 위치와 크기에 따라 허리 영역(W)을 설정할 수 있다. 일 실시예에서는 허리 영역의 가로 너비를 어깨의 너비의 N 배로 설정하고, 얼굴의 하단으로부터 어깨 너비의 M1 배 내지 M2 배 에 해당하는 지점을 허리 영역의 세로 방향의 상한 및 하한으로 설정할 수 있다. 예를 들면 N은 1, M1은 1, M2는 1.75가 될 수 있고, 위 수치는 필요에 따라 다양하게 설정될 수 있다.

영상 세그멘테이션 단계(S3000)는 상기 허리 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성한다. 여기서 영상 세그멘테이션 단계(S3000)는 상기 허리 영역에 해당하는 영상 블록을 복수개의 영역으로 분할하고, 동일한 상기 영역에 포함된 화소들이 소정의 범위 이내의 영상 신호 값을 가지도록 상기 화소의 상기 영상 신호 값을 설정하여, 상기 세그멘테이션 영상을 생성할 수 있다. 여기서 이미지 세그멘테이션은 위에서 본 발명에 따른 어깨 위치 검출 방법을 설명하면서 설명한 방식과 동일한 방식으로 수행할 수 있다.

허리 검출 단계(S4000)는 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 세로선 상 점을 검출하고, 상기 검출한 세로선 상 점의 위치에 따라 허리 위치를 검출한다.

다음으로는 허리 검출 단계(S4000)의 동작에 대하여 보다 상세히 설명한다.

도 12는 허리 검출 단계(S4000)의 세부 흐름도이다.

허리 검출 단계(S4000)는 다중 스케일 영상 생성 단계(S4100), 에지 추출 단계(S4200), 허리 위치 추정 단계(S4300)를 포함할 수 있다.

다중 스케일 영상 생성 단계(S4100)는 상기 세그멘테이션 영상을 적어도 하나 이상의 비율로 해상도를 축소하여, 적어도 하나 이상의 축소 영상을 생성한다. 여기서 축소 영상은 위에서 본 발명에 따른 어깨 위치 검출 방법을 설명하면서 설명한 방식과 동일한 방식으로 생성할 수 있다.

에지 추출 단계(S4200)는 상기 세그멘테이션 영상과 각 상기 축소 영상에서 상기 에지를 추출한다. 여기서 에지 추출도 위에서 본 발명에 따른 어깨 위치 검출 방법을 설명하면서 설명한 방식과 동일한 방식으로 추출할 수 있다.

허리 위치 추정 단계(S4300)는 상기 에지에서 상기 세로선 상 점을 검출하고, 상기 검출된 세로선 상 점들을 매칭하고, 상기 매칭된 세로선 상 점을 이용하여 상기 허리 위치를 추정한다. 여기서 허리 위치 추정 단계(S4300)는 상기 에지에서 상기 세로선 상 점을 검출하고, 상기 세그멘테이션 영상에서 검출된 상기 세로선 상 점과 각 상기 축소 영상에서 검출된 상기 세로선 상 점을 매칭하여, 상기 매칭된 세로선 상 점을 선별하고, 상기 선별한 세로선 상 점의 위치에 따라 상기 허리 위치를 추정할 수 있다.

이를 위하여 허리 추정 단계는 세로선 상 점 검출 단계(S4310), 세로선 상 점 매칭 단계(S4320), 허리 위치 결정 단계(S4330)를 포함할 수 있다.

도 13은 허리 추정 단계의 세부 흐름도이다.

세로선 상 점 검출 단계(S4310)는 상기 세그멘테이션 영상에서 추출한 상기 에지 및 상기 축소 영상에서 추출한 상기 에지에서 상기 세로선 상 점을 검출한다. 여기서 세로선 상 점은 에지 상의 특정 점에서, 특정 점을 기준으로 양 방향으로 연결된 에지가 소정의 범위 내의 기울기를 가지고 진행하는 특성을 가질 때 해당 특정 점으로 정의될 수 있다. 여기서 소정의 범위는 예를 들면 180도를 중심으로 하여 설정되는 범위가 될 수 있고, 보다 상세하게는 150도 내지 210도와 같이 설정될 수 있다. 특히 허리에 해당하는 세로선 상 점의 경우는 허리에서 위 아래로 진행하는 선이 수직 방향으로 진행하는 특성을 가지고 있다. 따라서 세로선 상 점 검출 단계(S4310)에서는 위와 같은 허리에 따른 라인에 해당하는 에지 부분을 세로선 상 점으로 검출하는 것이 바람직하다.

여기서 세로선 상 점 검출 단계(S4310)는 세로 방향으로 패턴 값이 설정된 로컬 바이너리 패턴(Local Binary Pattern)을 이용하여 상기 에지에서 적어도 하나 이상의 상기 세로선 상 점을 검출할 수 있다. 여기서 세로선 상 점 검출 단계(S4310)는 에지 상의 각 점에서 로컬 바이너리 패턴을 산출한 다음, 산출한 로컬 바이너리 패턴이 허리에 해당하는 세로선 상 점에 해당하는 바이너리 패턴들에 속하는 것으로 판단되는 경우, 해당 점을 상기 세로선 상 점으로 검출할 수 있다. 이때 세로선 상 점에 해당하는 로컬 바이너리 패턴은 허리의 형상 정보에 따라 미리 설정될 수 있다. 여기서 세로선 상 점은 세그멘테이션 영상 및 각 축소 영상들에서 각각 복수개 검출될 수 있고, 이들 세로선 상 점이 허리 위치의 1차 후보군이 된다.

도 14는 세로선 상 점을 검출하기 위하여 설정한 로컬 바이너리 패턴을 나타내는 참고도이다. 도 14는 7 x 7 크기의 커널을 이용하는 경우 허리에 해당하는 세로선 상 점에 해당하는 로컬 바이너리 패턴을 나타낸다. 0부터 15까지의 방향이 도 14과 같이 설정될 수 있고 이때 0, 1, 7, 8, 9, 15와 같은 방향을 가지는 선 상에 위치하는 커널 화소의 바이너리 패턴 값이 다른 화소들과 구별되도록 0 또는 1로 설정될 수 있다.

상술한 바와 같이 세로선 상 점 검출 단계(S4310)는 에지 상의 각 점에 대하여 로컬 바이너리 패턴을 구한 다음, 미리 정의된 허리에 해당하는 세로선 상 점의 바이너리 패턴과 비교하여, 해당 점이 세로선 상 점인지 여부를 검출할 수 있다.

세로선 상 점 매칭 단계(S4320)는 상기 검출한 세로선 상 점들의 위치가 어느 한 기준 해상도에서 서로 매칭되는지 여부를 판단하고, 상기 검출한 세로선 상 점들이 매칭되는 것으로 판단된 경우 상기 매칭된 세로선 상 점을 허리 위치의 2차 후보군으로 선별한다. 여기서 세로선 상 점 매칭 단계(S4320)는, 상기 축소 영상에서 검출한 상기 세로선 상 점들을 상기 세그멘테이션 영상에 매핑할 수 있다. 다음으로 세로 선 상 점 매칭 단계는 상기 세그멘테이션 영상에서 검출한 상기 세로선 상 점과 상기 매핑한 세로선 상 점들이 소정의 거리 이내에 존재하는 경우 상기 세로선 상 점들이 서로 매칭되는 것으로 판단할 수 있다. 여기서 세로선 상 점 매칭 단계(S4320)는 위에서 본 발명에 따른 어깨 위치 검출 방법을 설명하면서 모서리 점을 매칭할 때 설명한 방식과 동일한 방식으로 세로선 상 점을 매칭하여 허리 위치의 2차 후보군을 선별할 수 있다.

허리 위치 결정 단계(S4330)는 상기 선별된 세로선 상 점의 위치에 따라 상기 허리 위치를 결정한다

여기서 본 발명에 따른 영상에서의 허리 위치 검출 방법은 상기 허리 영역에서 기준점을 설정하는 기준점 설정 단계(S2500)를 더 포함할 수 있다. 여기서 기준점은 허리 위치가 존재할 가능성이 높은 위치로 허리의 양쪽에 하나씩 설정되어 총 2개가 설정될 수 있다. 여기서 기준점의 가로 방향(X 축 방향)의 좌표는 기준 신체부위 검출 단계(S1000)에서 검출된 얼굴 또는 어깨의 좌측 및 우측의 X 축 방향 좌표로 설정할 수 있다. 그리고 기준점의 세로 방향(Y 축 방향)의 좌표는 허리 영역 설정 단계(S2000)(S2000)에서 설정된 허리 영역의 Y 축 방향의 중심 좌표로 설정할 수 있다. 여기서 X 축 방향은 영상의 가로 방향, Y 축 방향은 영상의 세로 방향으로 설정될 수 있다.

도 15는 기준 점 설정 단계를 포함하는 허리 위치 검출 방법의 흐름도이다.

이 경우 허리 위치 결정 단계(S4330)는 상기 세로선 상 점 매칭 단계(S4320)에서 선별된 세로선 상 점들과 상기 설정한 기준점 간에 거리를 산출하고, 상기 선별된 세로선 상 점들 중에서 상기 산출한 거리를 기준으로 상기 세로선 상 점을 선정하고, 상기 선정한 세로선 상 점의 위치에 따라 상기 허리 위치를 결정할 수 있다. 일 실시예에 있어서 허리 위치 결정 단계(S4330)는 2개의 각 기준점 별로, 2차 후보군에 포함되는 상기 선별된 세로선 상 점들 중에서 기준점으로부터 가장 가까운 거리에 위치하는 세로선 상 점을 최종 허리 위치로 각각 설정할 수 있다.

또는 필요에 따라 허리 위치 결정 단계(S4330)는 세로선 상 점 매칭 단계(S4320)에서 2차 후보군으로 선별된 세로선 상 점들 중 허리의 좌측과 우측 별로 어느 하나를 선택하여 허리 위치로 결정하거나, 또는 선별된 모서리 점들의 좌표를 이용하여 허리 위치를 산출할 수도 있다. 예를 들면 허리 왼쪽과 허리 오른쪽 별로 선별된 세로선 상 점들의 좌표의 평균을 산출하여 허리 위치로 결정하거나, 미디언 필터링을 하여 허리 위치를 결정할 수도 있다. 그리고 이 과정에서 아웃라이어들을 제거하기 위한 필터링을 수행할 수도 있다. 여기서 허리 왼쪽과 허리 오른쪽 별 선별된 세로선 상 점들은 세로선 상 점의 좌표를 기준으로 구분할 수 있다.

본 발명의 또 다른 실시예에 따른 영상에서의 어깨 위치 검출 장치는 기준 신체 부위 검출부(100), 어깨 영역 설정부(200), 영상 세그멘테이션부(300), 어깨 검출부(400)를 포함할 수 있다. 여기서 상기 본 발명에 따른 영상에서의 어깨 위치 검출 장치는 위에서 도 1 내지 도 10을 참조하면서 상세히 설명한 본 발명에 따른 어깨 위치 검출 방법과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 설명한다.

도 16은 상기 실시예에 따른 영상에서의 어깨 위치 검출 장치의 블록도이다.

기준 신체 부위 검출부(100)는 영상에서 기준 신체 부위를 검출한다.

어깨 영역 설정부(200)는 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정한다.

영상 세그멘테이션부(300)는 상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성한다.

어깨 검출부(400)는 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출한다.

본 발명의 또 다른 실시예에 따른 영상에서의 허리 위치 검출 장치는 기준 신체 부위 검출부(1000), 허리 영역 설정부(2000), 영상 세그멘테이션부(3000), 허리 검출부(4000)를 포함할 수 있다. 여기서 상기 본 발명에 따른 영상에서의 허리 위치 검출 장치는 위에서 도 11 내지 도 14를 참조하면서 상세히 설명한 본 발명에 따른 허리 위치 검출 방법과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 설명한다.

도 17은 상기 실시예에 따른 영상에서의 허리 위치 검출 장치의 블록도이다.

기준 신체 부위 검출부(1000)는 영상에서 기준 신체 부위를 검출한다.

허리 영역 설정부(2000)는 상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 허리 영역을 설정한다.

영상 세그멘테이션부(3000)는 상기 허리 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성한다.

허리 검출부(4000)는 상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 세로선 상 점을 검출하고, 상기 검출한 세로선 상 점의 위치에 따라 허리 위치를 검출한다.

본 발명에 따른 어깨 및 허리 검출 방법과 그 장치에 의하면 영상에서 빠르고 신뢰도 있게 어깨와 허리를 검출할 수 있는 효과가 있다. 또한 본 발명에 따른 어깨 및 허리 검출 방법과 그 장치에 의하면, 영상에서 다양한 배경이 존재하는 경우나 사람이 의류를 착용하고 있는 경우에도 신뢰도 있게 신체의 어깨 또는 허리의 위치를 검출할 수 있는 효과가 있다. 또한 본 발명에 따른 어깨 및 허리 검출 방법과 그 장치는 이미지 세그멘테이션 기법을 이용함으로써 배경과 의류의 색깔이 유사한 경우에도 이를 구분할 수 있는 효과가 있고, 또한 다양한 해상도에서의 모서리 점 또는 세로선 상 점을 검출하여 이를 원 세그멘테이션 영상에 매칭하는 방식으로 어께 또는 허리를 검출하므로, 보다 정확하게 상기 부위들을 검출할 수 있는 효과가 있다.

또한 본 발명에 따른 어깨 및 허리 검출 방법과 그 장치는 검출한 어깨와 허리의 위치를 기반으로 2차원 영상에 존재하는 사람에게 의류 이미지를 보다 정확하게 덧입히는 증강 현실 서비스를 제공할 수 있다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

S100 : 기준 신체 부위 검출 단계
S200 : 어깨 영역 설정 단계
S300 : 영상 세그멘테이션 단계
S400 : 어깨 검출 단계
S410 : 다중 스케일 영상 생성 단계
S420 : 에지 추출 단계
S430 : 어깨 위치 추정 단계
S431 : 모서리 점 검출 단계
S432 : 모서리 점 매칭 단계
S433 : 어깨 위치 결정 단계
S1000 : 기준 신체 부위 검출 단계
S2000 : 허리 영역 설정 단계
S2500 : 기준점 설정 단계
S3000 : 영상 세그멘테이션 단계
S4000 : 허리 검출 단계
S4100 : 다중 스케일 영상 생성 단계
S4200 : 에지 추출 단계
S4300 : 허리 위치 추정 단계
S4310 : 세로선 상 점 검출 단계
S4320 : 세로선 상 점 매칭 단계
S4330 : 허리 위치 결정 단계
100 : 기준 신체 부위 검출부
200 : 어깨 영역 설정부
300 : 영상 세그멘테이션부
400 : 어깨 검출부
1000 : 기준 신체 부위 검출부
2000 : 허리 영역 설정부
3000 : 영상 세그멘테이션부
4000 : 허리 검출부

Claims (20)

1. 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출 단계;
   상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정하는 어깨 영역 설정 단계;
   상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션 단계; 및
   상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출하는 어깨 검출 단계;를 포함하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
2. 제1항에 있어서,
   상기 기준 신체 부위 검출 단계는 상기 영상에서 상기 기준 신체 부위로 얼굴을 검출하고,
   상기 어깨 영역 설정 단계는 상기 검출한 얼굴의 위치를 기준으로 상기 검출한 얼굴의 하부에, 상기 검출한 얼굴의 너비 또는 높이 중 적어도 어느 하나 이상에 따라 크기 및 위치를 설정한 블록을 상기 어깨 영역으로 설정하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
3. 제1항에 있어서,
   상기 영상 세그멘테이션 단계는 상기 어깨 영역에 해당하는 영상 블록을 복수개의 영역으로 분할하고, 동일한 상기 영역에 포함된 화소들이 소정의 범위 이내의 영상 신호 값을 가지도록 상기 화소의 상기 영상 신호 값을 설정하여, 상기 세그멘테이션 영상을 생성하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
4. 제1항에 있어서, 상기 어깨 검출 단계는,
   상기 세그멘테이션 영상을 적어도 하나 이상의 비율로 해상도를 축소하여, 적어도 하나 이상의 축소 영상을 생성하는 다중 스케일 영상 생성 단계;
   상기 세그멘테이션 영상과 각 상기 축소 영상에서 상기 에지를 추출하는 에지 추출 단계; 및
   상기 에지에서 상기 모서리 점을 검출하고, 상기 검출된 모서리 점들을 매칭하고, 상기 매칭된 모서리 점을 이용하여 상기 어깨 위치를 추정하는 어깨 위치 추정 단계;를 포함하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
5. 제4항에 있어서,
   상기 어깨 위치 추정 단계는 상기 에지에서 상기 모서리 점을 검출하고, 상기 세그멘테이션 영상에서 검출된 상기 모서리 점과 각 상기 축소 영상에서 검출된 상기 모서리 점을 매칭하여, 상기 매칭된 모서리 점을 선별하고, 상기 선별한 모서리 점의 위치에 따라 상기 어깨 위치를 추정하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
6. 제5항에 있어서, 상기 어깨 위치 추정 단계는,
   상기 세그멘테이션 영상에서 추출한 상기 에지 및 상기 축소 영상에서 추출한 상기 에지에서 상기 모서리 점을 검출하는 모서리 점 검출 단계;
   상기 검출한 모서리 점들의 위치가 어느 한 기준 해상도에서 서로 매칭되는지 여부를 판단하고, 상기 검출한 모서리 점들이 매칭되는 것으로 판단된 경우 상기 매칭된 모서리 점을 선별하는 모서리 점 매칭 단계; 및
   상기 선별된 모서리 점의 위치에 따라 상기 어깨 위치를 결정하는 어깨 위치 결정 단계;를 포함하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
7. 제6항에 있어서,
   상기 모서리 점 검출 단계는 아래 방향 및 좌측 또는 우측 방향으로 패턴 값이 설정된 로컬 바이너리 패턴(Local Binary Pattern)을 이용하여 상기 에지에서 적어도 하나 이상의 상기 모서리 점을 검출하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
8. 제6항에 있어서, 상기 모서리 점 매칭 단계는,
   상기 축소 영상에서 검출한 상기 모서리 점들을 상기 세그멘테이션 영상에 매핑하고,
   상기 세그멘테이션 영상에서 검출한 상기 모서리 점과 상기 매핑한 모서리 점들이 소정의 거리 이내에 존재하는 경우 상기 모서리 점들이 서로 매칭되는 것으로 판단하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
9. 제6항에 있어서,
   상기 어깨 위치 결정 단계는 상기 모서리 점 매칭 단계에서 선별된 모서리 점들 간에 거리를 산출하고, 상기 선별된 모서리 점들 중에서 상기 산출한 거리를 기준으로 상기 모서리 점을 선정하고, 상기 선정한 모서리 점의 위치에 따라 상기 어깨 위치를 결정하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
10. 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출 단계;
    상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 허리 영역을 설정하는 허리 영역 설정 단계;
    상기 허리 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션 단계; 및
    상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 세로선 상 점을 검출하고, 상기 검출한 세로선 상 점의 위치에 따라 허리 위치를 검출하는 허리 검출 단계;를 포함하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
11. 제10항에 있어서,
    상기 기준 신체 부위 검출 단계는,
    상기 영상에서 얼굴을 검출하는 얼굴 검출 단계; 및
    상기 영상에서 어깨를 검출하는 어깨 검출 단계를 포함하고,
    상기 허리 영역 설정 단계는 상기 검출한 얼굴의 위치를 기준으로 상기 검출한 얼굴의 하부에, 상기 검출한 어깨의 너비 또는 높이 중 적어도 어느 하나 이상에 따라 크기 및 위치를 설정한 블록을 상기 허리 영역으로 설정하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
12. 제10항에 있어서,
    상기 영상 세그멘테이션 단계는 상기 허리 영역에 해당하는 영상 블록을 복수개의 영역으로 분할하고, 동일한 상기 영역에 포함된 화소들이 소정의 범위 이내의 영상 신호 값을 가지도록 상기 화소의 상기 영상 신호 값을 설정하여, 상기 세그멘테이션 영상을 생성하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
13. 제10항에 있어서, 상기 허리 검출 단계는,
    상기 세그멘테이션 영상을 적어도 하나 이상의 비율로 해상도를 축소하여, 적어도 하나 이상의 축소 영상을 생성하는 다중 스케일 영상 생성 단계;
    상기 세그멘테이션 영상과 각 상기 축소 영상에서 상기 에지를 추출하는 에지 추출 단계; 및
    상기 에지에서 상기 세로선 상 점을 검출하고, 상기 검출된 세로선 상 점들을 매칭하고, 상기 매칭된 세로선 상 점을 이용하여 상기 허리 위치를 추정하는 허리 위치 추정 단계;를 포함하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
14. 제13항에 있어서,
    상기 허리 위치 추정 단계는 상기 에지에서 상기 세로선 상 점을 검출하고, 상기 세그멘테이션 영상에서 검출된 상기 세로선 상 점과 각 상기 축소 영상에서 검출된 상기 세로선 상 점을 매칭하여, 상기 매칭된 세로선 상 점을 선별하고, 상기 선별한 세로선 상 점의 위치에 따라 상기 허리 위치를 추정하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
15. 제14항에 있어서, 상기 허리 위치 추정 단계는,
    상기 세그멘테이션 영상에서 추출한 상기 에지 및 상기 축소 영상에서 추출한 상기 에지에서 상기 세로선 상 점을 검출하는 세로선 상 점 검출 단계;
    상기 검출한 세로선 상 점들의 위치가 어느 한 기준 해상도에서 서로 매칭되는지 여부를 판단하고, 상기 검출한 세로선 상 점들이 매칭되는 것으로 판단된 경우 상기 매칭된 세로선 상 점을 선별하는 세로선 상 점 매칭 단계; 및
    상기 선별된 세로선 상 점의 위치에 따라 상기 허리 위치를 결정하는 허리 위치 결정 단계;를 포함하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
16. 제15항에 있어서,
    상기 세로선 상 점 검출 단계는 세로 방향으로 패턴 값이 설정된 로컬 바이너리 패턴(Local Binary Pattern)을 이용하여 상기 에지에서 적어도 하나 이상의 상기 세로선 상 점을 검출하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
17. 제16항에 있어서, 상기 세로선 상 점 매칭 단계는,
    상기 축소 영상에서 검출한 상기 세로선 상 점들을 상기 세그멘테이션 영상에 매핑하고,
    상기 세그멘테이션 영상에서 검출한 상기 세로선 상 점과 상기 매핑한 세로선 상 점들이 소정의 거리 이내에 존재하는 경우 상기 세로선 상 점들이 서로 매칭되는 것으로 판단하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
18. 제16항에 있어서,
    상기 허리 영역에서 기준점을 설정하는 기준점 설정 단계를 더 포함하고,
    상기 허리 위치 결정 단계는 상기 세로선 상 점 매칭 단계에서 선별된 세로선 상 점들과 상기 설정한 기준점 간에 거리를 산출하고, 상기 선별된 세로선 상 점들 중에서 상기 산출한 거리를 기준으로 상기 세로선 상 점을 선정하고, 상기 선정한 세로선 상 점의 위치에 따라 상기 허리 위치를 결정하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.
19. 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출부;
    상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 어깨 영역을 설정하는 어깨 영역 설정부;
    상기 어깨 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션부; 및
    상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 모서리 점을 검출하고, 상기 검출한 모서리 점의 위치에 따라 어깨 위치를 검출하는 어깨 검출부;를 포함하는 것을 특징으로 하는 영상에서의 어깨 위치 검출 방법.
20. 영상에서 기준 신체 부위를 검출하는 기준 신체 부위 검출부;
    상기 검출한 기준 신체 부위의 위치에 따라 상기 영상에서 허리 영역을 설정하는 허리 영역 설정부;
    상기 허리 영역에 해당하는 영상 블록을 이미지 세그멘테이션하여 복수개의 영역으로 분할한 세그멘테이션 영상을 생성하는 영상 세그멘테이션부; 및
    상기 세그멘테이션 영상에서 에지를 추출하고, 상기 추출한 에지 상에서 세로선 상 점을 검출하고, 상기 검출한 세로선 상 점의 위치에 따라 허리 위치를 검출하는 허리 검출부;를 포함하는 것을 특징으로 하는 영상에서의 허리 위치 검출 방법.

Images