KR102211159B1 - 사용자 영상의 신체 부위를 검출하는 장치 및 방법 - Google Patents

사용자 영상의 신체 부위를 검출하는 장치 및 방법 Download PDF

Info

Publication number
KR102211159B1
KR102211159B1 KR1020130168788A KR20130168788A KR102211159B1 KR 102211159 B1 KR102211159 B1 KR 102211159B1 KR 1020130168788 A KR1020130168788 A KR 1020130168788A KR 20130168788 A KR20130168788 A KR 20130168788A KR 102211159 B1 KR102211159 B1 KR 102211159B1
Authority
KR
South Korea
Prior art keywords
image
user
body part
user image
classifier
Prior art date
Application number
KR1020130168788A
Other languages
English (en)
Other versions
KR20140123399A (ko
Inventor
롱 리우
마오린 첸
판 장
김지연
루진 공
선 쑨
치란 후
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/249,464 priority Critical patent/US9443136B2/en
Publication of KR20140123399A publication Critical patent/KR20140123399A/ko
Application granted granted Critical
Publication of KR102211159B1 publication Critical patent/KR102211159B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

사용자의 신체 부위를 검출하는 장치 및 방법을 제공한다. 상기 장치는, 깊이 영상(depth image)을 획득하는 영상 획득부; 획득된 깊이 영상으로부터 전경(foreground)에 있는 사용자 영상을 추출하는 추출부; 및 단일 사용자 영상 샘플(single user image sample) 및 복수 사용자 영상 샘플(multi user image sample) 중 적어도 하나에 기초하여 트레이닝(training)된 분류기(sorter)를 이용하여, 사용자 영상으로부터 신체 부위를 검출하는 부위 검출부를 포함한다. 상기 단일 사용자 영상은 상기 사용자가 다른 사용자와 중첩되지 않은 영상이고, 상기 복수 사용자 영상은 상기 사용자가 다른 사용자와 중첩된 영상일 수 있다. 상기 장치 및 방법에 따라, 복수 사용자 영상으로부터 신체부위를 효율적으로 검출할 수 있다

Description

사용자 영상의 신체 부위를 검출하는 장치 및 방법{Apparatus and Method of Body Parts Detection}
본 명세서는 컴퓨터 시각(visual) 기술 및 모드 식별 기술에 관한 것으로, 더욱 구체적으로는 촬영된 영상으로부터 사용자 영상의 신체 부위를 검출하는 장치 및 방법에 관한 것이다.
인체의 자세에 대한 추정 기술은 컴퓨터 시각 기술의 중요한 구성으로서 많은 영역에 사용되고 있다. 예를 들어, HCI(예를 들면, 3D 인터랙션이 포함됨), 스마트 모니터링, 게임 또는 영화에 나타난 실제 역할의 애니메이션 등을 포함할 수 있다. 이러한 인체의 자세에 대한 추정 기술은 학술 가치 및 상업적 전망을 가지고 있으므로 많은 주목을 받고 있으며, 이와 관련된 연구가 지속적으로 진행되고 있다.
인체의 자세를 추정하기 위한 기술로서, 신체 부위에 대한 검출이 있다. 검출된 신체 부위는 중요한 참고 정보로써 인체의 자세에 대한 추정에 사용된다. 이 때, 실제의 응용 환경(예를 들면, 가정의 환경)에서 복수의 사용자 영상 사이에 중첩되는 경우가 자주 발생한다. 예를 들어, 사용자가 악수 또는 어깨 걸치는 동작을 할 때 대응하는 사용자 영상들이 연결된다. 또한 서로 다른 위치에 있는 사용자가 깊이 방향에 대해 서로 가리거나, 사용자가 서로 팔을 잡거나 포옹하는 동작을 할 때, 대응하는 사용자 영상들이 중첩된다.
일 실시예에 따르면 촬영된 영상으로부터 사용자의 각 신체 부위를 검출할 수 있는 장치 및 방법을 제공할 수 있다. 상기 장치 및 방법에 의하여 서로 중첩된 복수 사용자 영상으로부터 신체 부위를 효율적으로 검출할 수 있다.
일 실시예에 따른 사용자의 신체 부위를 검출하는 장치는, 깊이 영상(depth image)을 획득하는 영상 획득부; 획득된 깊이 영상으로부터 전경(foreground)에 있는 사용자 영상을 추출하는 추출부; 및 단일 사용자 영상 샘플(single user image sample) 및 복수 사용자 영상 샘플(multi user image sample) 중 적어도 하나에 기초하여 트레이닝(training)된 분류기(sorter)를 이용하여, 사용자 영상으로부터 신체 부위를 검출하는 부위 검출부를 포함할 수 있다. 상기 단일 사용자 영상은 상기 사용자가 다른 사용자와 중첩되지 않은 영상이고, 상기 복수 사용자 영상은 상기 사용자가 다른 사용자와 중첩된 영상일 수 있다.
다른 일 실시예에 따르면 상기 장치는 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할하는 분할부를 더 포함할 수 있다. 상기 분류기는, 단일 사용자 영상 샘플에 기초하여 트레이닝된 단일 사용자 영상 분류기; 및 복수 사용자 영상 샘플에 기초하여 트레이닝된 복수 사용자 영상 분류기를 포함할 수 있다. 상기 부위 검출부는, 분할부로부터 상기 분할된 단일 사용자 영상을 수신하고, 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단일 사용자 영상 부위 검출기; 및 분할부로부터 상기 분할된 복수의 사용자 영상을 수신하고, 상기 복수 사용자 영상 분류기를 이용하여 상기 분할된 복수 사용자 영상으로부터 신체 부위를 검출하는 복수 사용자 영상 부위 검출기를 포함할 수 있다.
또 다른 일 실시예에 따르면 상기 장치에 있어서, 분할부는, 추출부에 의하여 최초 획득된 깊이 영상으로부터 추출된 사용자 영상의 각각을 플래그(flag)하고, 후속 획득된 깊이 영상에서 상기 플래그된 사용자 영상의 각각을 추적하고, 상기 후속 획득된 깊이 영상에서 사용자 영상 간의 중첩을 조사하고, 상기 추출된 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할할 수 있다. 상기 최초 획득된 깊이 영상에서의 상기 사용자 영상의 각각은 서로 중첩되지 않을 수 있다.
또 다른 일 실시예에 따르면 상기 장치에 있어서, 상기 분류기는 업그레이드(upgrade) 타입의 분류기를 사용할 수 있다.
또 다른 일 실시예에 따르면 상기 장치에 있어서, 상기 업그레이드 타입의 분류기는 신체 부위의 속성을 나타나는 복수의 특징과 상기 신체 부위 주변의 콘텍스트(context)의 속성을 나타나는 복수의 특징의 합(sum)에 기초할 수 있다.
또 다른 일 실시예에 따르면 상기 장치에 있어서, 상기 특징은 MSOP（multi-scale ordinal pattern）특징을 포함할 수 있고, 상기 MSOP 특징은, 멀티 스케일로 깊이 영상에서의 복수의 사각형 구역 간의 깊이에 대한 대비 관계를 나타낼 수 있다.
또 다른 일 실시예에 따르면 상기 장치에 있어서, 부위 검출부는, 서브 윈도(sub window) 기반으로 검색을 수행하여 상기 신체 부위를 검출할 수 있다.
일 실시예에 따른 사용자의 신체 부위를 검출하는 방법은, 깊이 영상을 획득하는 단계; 획득된 깊이 영상으로부터 전경에 있는 사용자 영상을 추출하는 단계; 및 단일 사용자 영상 샘플 및 복수 사용자 영상 샘플 중 적어도 하나에 기초하여 트레이닝된 분류기를 이용하여, 사용자 영상으로부터 신체 부위를 검출하는 단계를 포함할 수 있다. 상기 단일 사용자 영상은 상기 사용자가 다른 사용자와 중첩되지 않은 영상이고, 상기 복수 사용자 영상은 상기 사용자가 다른 사용자와 중첩된 영상일 수 있다.
다른 일 실시예에 따르면 상기 방법은 사용자 영상을 상기 단일 사용자 영상 및 상기 복수 사용자 영상으로 분할하는 단계를 더 포함할 수 있다. 상기 분류기는, 단일 사용자 영상 샘플에 기초하여 트레이닝된 단일 사용자 영상 분류기 및 복수 사용자 영상 샘플에 기초하여 트레이닝된 복수 사용자 영상 분류기를 포함할 수 있다. 또한, 상기 검출하는 단계는, 분할부로부터 상기 분할된 단일 사용자 영상을 수신하고 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단계; 및 분할부로부터 상기 분할된 복수의 사용자 영상을 수신하고 복수 사용자 영상 분류기를 이용하여 상기 분할된 복수 사용자 영상으로부터 신체 부위를 검출하는 단계를 포함할 수 있다.
또 다른 일 실시예에 따르면 상기 방법에 있어서, 상기 분할하는 단계는, 추출부에 의하여 최초 획득된 깊이 영상으로부터 추출된 사용자 영상을 각각 플래그하고, 후속 획득된 깊이 영상에서 상기 플래그된 사용자 영상의 각각을 추적하고, 상기 후속된 깊이 영상에서 사용자 영상 간의 종첩을 조사하고, 상기 추출된 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할하는 단계를 포함 할 수 있다. 상기 최초 획득된 깊이 영상에서의 상기 사용자 영상의 각각은 서로 중첩되지 않을 수 있다.
또 다른 일 실시예에 따르면 상기 방법에 있어서, 상기 부위 검출부 단계는, 서브 윈도 기반으로 검색을 수행하여 상기 신체 부위를 검출하는 단계를 포함할 수 있다.
일 실시예에 따른 신체 부위 검출 장치 및 방법은 복수 사용자 영상으로부터 신체 부위를 효율적으로 검출할 수 있으며 영상 분할의 정확성에 따라 한정되지 않을 수 있다.
일 실시예에 따른 사용자의 신체 부위를 검출하는 장치는, 깊이 영상(depth image)을 획득하는 영상 획득부, 상기 깊이 영상으로부터 전경(foreground)에 있는 사용자 영상을 추출하는 추출부 및 단일 사용자 영상 샘플(single user image sample) 및 사용자-객체 영상 샘플(user-object image sample) 중 적어도 하나에 기초하여 트레이닝(training)된 분류기(sorter)를 이용하여, 상기 사용자 영상으로부터 신체 부위를 검출하는 부위 검출부를 포함할 수 있다.
도 1은 일반적인 영상 분할 처리 기술에 따라 연결된 영상을 분할하는 예시를 도시한 것이다.
도 2는 일반적인 영상 분할 처리 기술에 따라 중첩된 영상을 분할하는 예시를 도시한 것이다.
도 3은 일반적인 영상 분할 처리 기술에 따라 중첩된 영상을 분할하는 다른 예시를 도시한 것이다.
도 4는 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 장치를 도시한 블록도이다.
도 5는 다른 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 장치를 도시한 블록도이다.
도 6은 일 실시예에 따라 추출된 사용자 영상을 단일 사용자 영상으로 분할하는 예시를 도시한 것이다.
도 7은 일 실시예에 따라 분할된 복수 사용자 영상의 예시를 도시한 것이다.
도 8은 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 방법을 도시한 흐름도이다.
도 9는 다른 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 방법을 도시한 흐름도이다.
도 10은 일 실시예에 따른 신체 부위의 검출 결과를 도시한 것이다.
복수 사용자 영상 간의 중첩에 대하여, 먼저 영상 분할을 수행하여 각 단일 사용자 영상을 획득하고, 그 다음에 분할된 사용자 영상으로부터 신체 부위를 검출할 수 있다. 그러나 중첩된 사용자 영상에 대한 분할을 통해서 각 사용자의 신체 부위를 검출하는 것은, 영상 분할의 정확성에 따라 신체 부위 검출의 효율성이 한정될 수 있다. 일반적으로 각 사용자 영상에 대한 정확한 분할을 수행하기 어렵기 때문에 각 사용자 영상으로 신체 부위를 효율적으로 검출하기 어려울 수 있다. 따라서, 중첩된 영상으로부터 각 사용자 영상을 정확하게 분할할 수 있더라도 부분적인 영상의 파손으로 인해 신체 부위를 검출할 수 없거나 검출된 신체 부위가 오차를 나타낼 수 있다.
도 1은 일반적인 영상 분할 처리 기술에 따라 연결된 영상을 분할하는 예시를 도시한 것이다. 도 1의 (a) 및 (b)에 도시된 바와 같이, 두 사용자의 악수 및 어깨 걸치는 동작에 의하여 그들의 영상이 연결된다. 이때, 일반적인 영상 분할 처리 기술에 의하여 캡처된 연속 영상으로부터 도 1의 (c)와 같은 결과를 획득할 수 있다. 도 1의 (c)를 참조하면, 영상 분할 처리는 사용자 영상의 연결 부분을 정확하게 분할할 수 없으므로, 사용자의 신체 부위(예, 사용자의 팔)을 효율적으로 검출할 수 없다.
또한, 도 2는 일반적인 영상 분할 처리 기술에 따라 중첩된 영상을 분할하는 예시를 도시한 것이다. 여기서, 서로 다른 위치에 있는 두 사용자는 깊이 방향으로 서로를 가리고, 거리가 멀다. 도 2의 (a) 및 (b)에 도시된 바 같이, 두 사용자가 서 있는 위치에 따라 그들의 영상이 중첩될 수 있다. 이때, 일반적인 영상 분할 처리 기술에 의하여 캡처된 연속 영상으로부터 도 2의 (c)와 같은 결과를 획득할 수 있다. 도 2의 (c)를 참조하면, 두 사용자의 거리가 멀어서, 영상 분할 처리는 촬영 장치에 가까운 사용자의 영상을 완벽하게 분할 할 수 있지만 촬영 장치에 멀리 떨어져 있는 사용자의 일부의 신체 부위를 차폐로 인해 효율적으로 검출할 수 없다.
또한 도 3은 일반적인 영상 분할 처리 기술에 따라 중첩된 영상을 분할하는 다른 예시를 도시한 것이다. 이 예시에 따라, 두 사용자가 깊이 방향으로 서로를 가리고, 거리가 가깝다. 도 3의 (a) 및 (b)에 도시된 바와 같이, 두 사용자의 서 있는 위치 또는 팔을 잡은 동작으로 인해 그들의 영상이 중첩된다. 이때, 일반적인 영상 분할 처리 기술에 의하여 캡처된 연속 영상으로부터 도 3의 (c)와 같은 결과를 획득할 수 있다. 도 3의 (c)를 참조하면, 두 사용자의 거리가 가까워서, 영상 분할 처리는 두 사용자의 영상을 정확하게 분할할 수 없다. 예를 들어, 두 사용자의 팔의 영상이 중첩되어 효율적으로 검출될 수 없다.
상술한 바와 같이, 일반적인 신체 부위 검출 기술은 각 사용자에 대한 영상 분할 처리의 정확성에 따라 한정되므로, 서로 중첩된 복수 사용자 영상으로부터 신체 부위를 검출할 때 원하는 검출 결과를 획득할 수 없다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도면에 상기 실시예들의 예시가 도시되고, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낼 수 있다. 이하, 첨부된 도면들을 참조하여 실시예를 상세하게 기술한다.
도 4는 일 실시예에 따른 촬영된 사용자 영상으로부터 신체 부위를 검출하는 장치를 도시한 블록도이다. 여기서, 신체 부위는 머리, 팔, 및 다리 중에서 적어도 하나를 포함할 수 있다. 그러나, 이에 한정되지 않는다. 예시로 상기 신체 부위는 다음과 같이: 머리, 목, 왼쪽 어깨, 왼쪽 위팔, 왼쪽 팔꿈치, 왼쪽 아래팔, 왼쪽 손목, 왼쪽 손, 오른쪽 어깨, 오른쪽 위팔, 오른쪽 팔꿈치, 오른쪽 아래팔, 오른쪽 손목, 오른쪽 손, 왼쪽 허벅지, 왼쪽 무릎, 왼쪽 종아리, 왼쪽 발목, 왼쪽 발, 오른쪽 허벅지, 오른쪽 무릎, 오른쪽 종아리, 오른쪽 발목, 오른쪽 발 중에서 적어도 하나를 포함할 수 있다.
도 4를 참조하면 일 실시예에 따른 신체 부위 검출 장치는 영상 획득부(410), 추출부(420), 부위 검출부(430)를 포함할 수 있다.
구체적으로, 영상 획득부(410)는 촬영된 사용자의 깊이 영상을 획득하기 위해 사용될 수 있다. 예를 들면, 영상 획득부(410)는, 깊이 영상을 촬영하기 위한 깊이 카메라 및 촬영 장치로부터 촬영된 깊이 영상을 수신하기 위한 포트를 포함할 수 있다. 여기서, 깊이 영상은 ToF(Time-of-Flight) 방식을 이용하는 깊이 카메라에 의해 획득될 수 있고, 구조광(Structured Light) 방식(예를 들면, 15 Prime-Sense)을 이용하는 깊이 카메라에 의해 획득될 수 있으며, 컬러(Color) 카메라에 의해서도 획득될 수 있다. 다만, 깊이 영상을 획득하는 방법은 상기로 한정되지 않는다.
추출부(420)는 획득된 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 상기 사용자 영상은 단일 사용자 영상 또는 복수 사용자 영상을 포함하고, 단일 사용자 영상은 사용자가 다른 사용자와 중첩되지 않는 영상이고, 복수 사용자 영상은 사용자가 다른 사용자와 중첩된 영상일 수 있다. 여기서, 추출부(420)는 획득된 깊이 영상에 적합한 방식으로 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 구체적으로, 획득된 깊이 영상은 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상을 포함할 수 있다. 따라서, 추출부(420)는 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상을 추출할 수 있다.
다른 일 실시예에 따르면, 추출부(420)는 획득된 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 상기 사용자 영상은 단일 사용자 영상 또는 사용자-객체 영상을 포함하고, 단일 사용자 영상은 사용자가 객체와 중첩되지 않는 영상이고, 사용자-객체 영상은 사용자 영상이 객체 영상(예를 들면, 야구 방망이의 영상)과 중첩된 영상(예를 들면, 사용자가 야구 방망이를 쥐고 있는 영상)일 수 있다. 여기서, 추출부(420)는 획득된 깊이 영상에 적합한 방식으로 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 구체적으로, 획득된 깊이 영상은 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상을 포함할 수 있다. 따라서, 추출부(420)는 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상을 추출할 수 있다.
부위 검출부(430)는 단일 사용자 영상 샘플 및 복수 사용자 영상 샘플 중 적어도 하나에 기초하여 트레이닝된 분류기를 이용하여, 사용자 영상으로부터 신체 부위를 검출할 수 있다. 일 실시예에 따라, 부위 검출부(430)에 사용된 분류기는 단일 사용자 영상 샘플에 기초하여 트레이닝된 (예를 들면, 단일 사용자 영상 샘플 데이터베이스에 저장된)것일 뿐만 아니라, 복수 사용자 영상 샘플에 기초하여 트레이닝(예를 들면, 복수 사용자 영상 샘플 데이터베이스에 저장)된 것일 수 있다. 따라서, 일 실시예에 따른 신체 부위 검출 장치는 복수 사용자 영상에 대하여 영상 위의 분할을 수행할 필요가 없으므로, 검출 결과가 영상 분할의 정확성에 따라 한정되지 않을 수 있다.
다른 일 실시예에 따르면, 부위 검출부(430)는 단일 사용자 영상 샘플 및 사용자-객체 영상 샘플(user-object image sample) 중 적어도 하나에 기초하여 트레이닝된 분류기를 이용하여, 사용자 영상으로부터 신체 부위를 검출할 수 있다. 여기서, 부위 검출부(430)에 사용된 분류기는, 단일 사용자 영상 샘플에 기초하여 트레이닝된 것일 뿐만 아니라, 사용자-객체 영상 샘플에 기초하여 트레이닝된 (예를 들면, 사용자-객체 영상 샘플 데이터베이스에 저장)된 것일 수 있다. 따라서, 신체 부위 검출 장치는 복수 사용자 영상에 대하여 영상 위의 분할을 수행할 필요가 없으므로, 검출 결과가 영상 분할의 정확성에 따라 한정되지 않을 수 있다.
일 실시예에 따르면, 상기 분류기는 업그레이드(upgrade) 타입의 분류기 F(x)를 사용할 수 있다. 상기 업그레이드 타입의 분류기는 검출 대상(예를 들면, 신체 부위)의 속성을 나타나는 복수의 특징
Figure 112013121205201-pat00001
과 상기 객체 주변의 콘텍스트(context) 속성을 나타나는 복수의 특징
Figure 112013121205201-pat00002
의 합에 기초할 수 있다.
예를 들면, 다음과 같은 수학식 1로 업그레이드 타입의 분류기 F(x)를 표시할 수 있다.
Figure 112013121205201-pat00003
상술한 수학식 1에서, x는 분류기의 샘플에 있는 검출 대상(예를 들면, 신체 부위)를 트레이닝하기 위한 예시를 나타낼 수 있다. 일 실시예에 따르면, 상술한 샘플은 단일 사용자 영상 샘플 또는 복수 사용자 영상 샘플일 수 있다. 다른 일 실시예에 따르면, 상술한 샘플은 단일 사용자 영상 샘플 또는 사용자-객체 영상 샘플일 수 있다. t 는 특징
Figure 112013121205201-pat00004
및
Figure 112013121205201-pat00005
의 시퀀스를 의미하고, To는
Figure 112013121205201-pat00006
의 개수를 의미하고, Ts 는
Figure 112013121205201-pat00007
의 개수를 의미할 수 있다. 여기서, 특징
Figure 112013121205201-pat00008
및
Figure 112013121205201-pat00009
는 MSOP（multi-scale ordinal pattern）특징을 포함할 수 있고, 상기 MSOP 특징은 멀티 스케일로 영상에서의 복수의 사각형 구역 간의 특정 속성(예를 들면, 깊이)에 대한 대비 관계를 나타낼 수 있다. MSOP의 위치, 크기, 및 유형 등 파라미터를 설정하면 검출 대상의 속성을 나타나는 특징
Figure 112013121205201-pat00010
과 상기 대상 주변의 콘텍스트(context)의 속성을 나타나는 특징
Figure 112013121205201-pat00011
을 획득할 수 있다.
예를 들면, 다음과 같은 수학식 2로 일 실시예에 따른 MSOP 특징을 계산할 수 있다.
Figure 112013121205201-pat00012
상기 수학식 2에서,
Figure 112013121205201-pat00013
는 MSOP 특징을 의미하고, N 개의 사각형 구역을 포함하고 N는 자연수이다. 예를 들어, N=8일 수 있다. gi 는 제 i 개의 사각형 구역에서의 영상 속성을 의미한다. gc 는 영상 속성의 참고치(reference value)를 의미한다. 예시로,
Figure 112013121205201-pat00014
,
Figure 112013121205201-pat00015
는 MSOP의 파라미터(예, 위치, 크기, 및 유형)를 의미한다. 상기 파라미터
Figure 112013121205201-pat00016
에 의하여 검출 대상의 속성을 나타나는 특징
Figure 112013121205201-pat00017
과 상기 대상 주변의 콘텍스트(context)의 속성을 나타나는 특징
Figure 112013121205201-pat00018
을 각각 획득할 수 있다.
상기 수학식 2에 의하여, MSOP 특징에 대한 구체적인 수치를 계산할 수 있고, 이를 2진수(binary number) 시퀀스의 형식으로 표시할 수 있다. 이러한 MSOP 특징에 대한 구체적인 수치는 멀티 스케일로 영상에서의 복수의 사각형 구역 간의 특정 속성에 대한 대비 관계를 나타낼 수 있다. 여기서, 상술한 수학식은 예시로 표시된 것이고, 멀티 스케일로 복수의 구역 간의 어느 대비 관계를 나타나는 각종 특징은 모두 적용될 수 있다.
이에 기초하여, 일 실시예에 따른 분류기는 상술한 구성 방식에 한정되지 않을 수 있다. 사용자의 신체 부위를 검출하기 위해, 단일 사용자 영상 샘플 및 복수 사용자 영상 샘플의 신체 부위에 기초하여 트레이닝된 모든 종류의 분류기를 부위 검출부(430)에 적용할 수 있다. 다른 일 실시예에 따른 분류기는 사용자의 신체 부위를 검출하기 위해, 단일 사용자 영상 샘플 및 사용자-객체 영상 샘플의 신체 부위에 기초하여 트레이닝된 모든 종류의 분류기를 부위 검출부(430)에 적용할 수 있다.
예를 들면, 분류기는 업그레이드 타입의 분류기, 단일 사용자 영상 분류기, 복수 사용자 영상 분류기, 사용자-객체 영상 분류기 및 획득된 깊이 영상에 적합한 방식으로 해당된 사용자 영상 분류기를 포함할 수 있다.
부위 검출부(430)는, 상술한 분류기를 이용하여 서브 윈도(sub window) 기반으로 검색을 수행하여 촬영된 사용자의 신체 부위를 검출할 수 있다. 예를 들면, 서브 윈도의 위치 및 사이즈를 설정하고 설정된 서브 원도에 기초하여 검색을 수행할 수 있다. 부위 검출부(430)는 분류기를 이용하여 검색된 각 서브 윈도에 사용자의 신체부위가 포함되는지 판단할 수 있다. 예를 들어, 부위 검출부(430)는 서브 윈도에 대한 최소의 사이즈, 최대의 사이즈, 사이즈의 변화, 검색 시작점, 검색 종점, 및 검색 스텝 사이즈(step size) 등 파라미터를 설정하여 5개의 서로 다른 서브 윈도를 설정하고, 상기 설정된 서브 윈도들을 이용하여 검색 처리를 수행할 수 있다. 여기서, 부위 검출부(430)는 분류기에 의하여 판단된 특정 신체 부위의 서브 윈도를 합병하여 상술한 특정 신체 부위의 검출 결과로 결정할 수 있다.
상술한 바와 같이, 부위 검출부(430)에 의하여 단일 사용자 영상 샘플 및 복수 사용자 영상 샘플에 기초하여 트레이닝된 분류기를 이용하여 신체 부위를 검출할 수 있다. 또한, 효율적으로 검출 결과를 획득하기 위해, 단일 사용자 영상 샘플에 기초하는 분류기 및 복수 사용자 영상 샘플에 기초하는 분류기를 설정하여 단일 사용자 영상 및 복수 사용자 영상으로부터 신체 부위를 검출할 수 있다.
다른 일 실시예에 따르면, 부위 검출부(430)에 의하여 단일 사용자 영상 샘플 및 사용자-객체 영상 샘플에 기초하여 트레이닝된 분류기를 이용하여 신체 부위를 검출할 수 있다. 또한, 효율적인 검출 결과를 획득하기 위해, 단일 사용자 영상 샘플에 기초하는 분류기 및 사용자-객체 영상 샘플에 기초하는 분류기를 설정하여, 사용자-객체 영상으로부터 신체 부위를 검출할 수 있다.
도 5는 다른 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 장치를 도시한 블록도이다.
도 5를 참조하면 일 실시예에 따른 신체 부위 검출 장치는 영상 획득부(510), 추출부(520), 분할부(525), 및 부위 검출부(530)를 포함할 수 있다.
구체적으로, 영상 획득부(510)는 촬영된 사용자의 깊이 영상을 획득하기 위해 사용될 수 있다. 일 실시예에 따르면, 영상 획득부(510)는 깊이 영상을 촬영하기 위한 깊이 카메라(예, 15 Prime-Sense) 및 촬영 장치로부터 촬영된 깊이 영상을 수신하기 위한 포트를 포함할 수 있다.
추출부(520)는 획득된 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 촬영된 사용자 영상은 단일 사용자 영상 또는 복수 사용자 영상을 포함하고, 단일 사용자 영상은 사용자가 다른 사용자와 중첩되지 않는 영상이고, 복수 사용자 영상은 사용자가 다른 사용자와 중첩되는 영상일 수 있다. 여기서, 추출부(520)는 획득된 깊이 영상에 적합한 방식으로 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 구체적으로, 획득된 깊이 영상에는 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상이 포함될 수 있다. 따라서, 추출부(520)는 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상을 추출할 수 있다.
추출부(520)에 의하여 깊이 영상으로부터 전경에 있는 사용자 영상이 추출되면, 분할부는, 추출된 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할할 수 있다. 예시로, 분할부(525)는 추출부(520)에 의하여 최초 획득된 깊이 영상(예를 들면, 서로 중첩되지 않는 사용자 영상)으로부터 추출된 사용자 영상의 각각을 플래그하고, 후속 획득된 깊이 영상에서 상기 플래그된 사용자 각각을 추적하고, 상기 후속 획득된 깊이 영상에서 사용자 영상 간의 중첩을 조사하여, 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할할 수 있다.
도 6은 분할부(525)가 추출된 사용자 영상을 단일 사용자 영상으로 분할하는 예시를 도시한 것이다. 여기서 단일 사용자 영상은 사용자가 다른 사용자와 중첩되지 않는 영상일 수 있다. 예를 들어, 최초 획득된 깊이 영상에서 각 사용자 영상이 서로 중첩되지 않는 것으로 가정하면, 추출부(520)에 의하여 추출된 전경 마스크(mask)는 단일의 사용자 영상에 각각 대응할 수 있다. 이에 따라, 분할부(525)는 추출된 전경 마스크를 초기의 단일 사용자 영상으로 각각 설정하고 단일 사용자 영상의 각각을 플래그할 수 있다. 후속 깊이 영상의 입력에 따라, 서로 다른 전경 마스크 사이에 중첩이 나타나며, 상기 중첩된 부분은 복수 사용자 영상에 대응할 수 있다. 따라서, 분할부(525)는 후속 깊이 영상에서 마스크 개수의 변화를 추적하고 상기 플래그된 사용자 영상 간의 중첩을 조사하여 복수 사용자 영상으로 분할할 수 있다. 도 7은 분할부(525)에 의하여 분할된 복수 사용자 영상의 예시를 도시한 것이다.
분할부(525)에 의하여, 추출된 사용자 영상이 단일 사용자 영상 및 복수 사용자 영상으로 분할되면, 부위 검출부(530)는, 분할부(525)로부터 분할된 단일 사용자 영상을 수신하고 단일 사용자 영상 샘플에 기초하여 트레이닝된 단일 사용자 영상 분류기를 이용하여 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단일 사용자 영상 부위 검출기(531); 및 분할부(525)에 의하여 분할된 복수 사용자를 수신하고 복수 사용자 영상 샘플에 기초하여 트레이닝된 복수 사용자 영상 분류기를 이용하여 분할된 복수 사용자 영상으로부터 신체 부위를 검출하는 복수 사용자 영상 부위 검출기(532)를 포함할 수 있다.
여기서, 도 1에 도시된 방식으로 단일 사용자 영상 분류기, 복수 사용자 영상 분류기, 단일 사용자 부위 검출기(531), 및 복수 사용자 부위 검출기(532)를 구성할 수 있다. 다만, 이에 한정하지 않는 바, 예를 들면 획득된 깊이 영상에 적합한 방식으로 해당된 사용자 영상 분류기, 복수 사용자 영상 분류기, 단일 사용자 부위 검출기(531), 및 복수 사용자 부위 검출기 (532)를 설치할 수 있다.
일 실시예에 따르면, 추출된 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할하고, 단일 사용자 영상 및 복수 사용자 영상에 대하여 해당하는 분류기 및 검출기를 각각 구성할 수 있다. 이를 통해 분류기의 효율성을 향상시킬 수 있으므로 검출 결과를 개선할 수 있다.
다른 일 실시예에 따른 추출부는 획득된 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 촬영된 사용자 영상은 단일 사용자 영상 또는 사용자-객체 영상을 포함하고, 단일 사용자 영상은 사용자가 객체와 중첩되지 않는 영상이고, 사용자-객체 영상은 사용자가 객체(예를 들면, 야구 방망이)와 중첩되는 영상(예를 들면, 사용자가 야구 방망이를 쥐고 있는 영상)일 수 있다. 여기서, 추출부는 획득된 깊이 영상에 적합한 방식으로 깊이 영상으로부터 전경에 있는 사용자 영상을 추출할 수 있다. 구체적으로, 획득된 깊이 영상에는 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상이 포함될 수 있다. 따라서, 추출부는 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상을 추출할 수 있다.
다른 일 실시예에 따른 추출부에 의하여 깊이 영상으로부터 전경에 있는 사용자 영상이 추출되면, 분할부는, 추출된 사용자 영상을 단일 사용자 영상 및 사용자-객체 영상으로 분할할 수 있다. 예시로, 분할부는 추출부에 의하여 최초 획득된 깊이 영상(예를 들면, 사용자 영상 및 객체 영상이 서로 중첩되지 않는 사용자 영상)으로부터 추출된 사용자 영상 및 객체 영상을 플래그하고, 후속 획득된 깊이 영상에서 상기 플래그된 사용자 영상 및 객체 영상을 추적하고, 상기 후속 획득된 깊이 영상에서 사용자 영상 및 객체 영상 간의 중첩을 조사하여, 사용자 영상을 단일 사용자 영상 및 사용자-객체 영상으로 분할할 수 있다.
다른 일 실시예에 따르면, 최초 획득된 깊이 영상에서 사용자 영상 및 객체 영상이 서로 중첩되지 않는 것으로 가정하면, 추출부에 의하여 추출된 전경 마스크(mask)는 단일의 사용자 영상 및 객체 영상에 각각 대응할 수 있다. 이에 따라, 분할부는 추출된 전경 마스크를 초기의 단일 사용자 영상 및 객체 영상으로 각각 설정하고 단일 사용자 영상 및 객체 영상을 플래그할 수 있다. 후속 깊이 영상의 입력에 따라, 서로 다른 전경 마스크 사이에 중첩이 나타나며, 상기 중첩된 부분은 사용자-객체 영상에 대응할 수 있다. 따라서, 분할부는 후속 깊이 영상에서 마스크 개수의 변화를 추적하고 상기 플래그된 사용자 영상 및 객체 영상간의 중첩을 조사하여 사용자-객체 영상으로 분할할 수 있다.
다른 일 실시예에 따르면, 분할부에 의하여, 추출된 사용자 영상이 단일 사용자 영상 및 사용자-객체 영상으로 분할되면, 부위 검출부는, 분할부로부터 분할된 단일 사용자 영상을 수신하고 단일 사용자 영상 샘플에 기초하여 트레이닝된 단일 사용자 영상 분류기를 이용하여 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단일 사용자 영상 분위 검출기; 및 분할부에 의해 분할된 사용자-객체를 수신하고 사용자-객체 영상 샘플에 기초하여 트레이닝된 사용자-객체 영상 분류기를 이용하여 분할된 사용자-객체 영상으로부터 신체 부위를 검출하는 사용자-객체 영상 부위 검출기를 포함할 수 있다.
여기서, 도 1에 도시된 방식으로 단일 사용자 영상 분류기, 사용자-객체 영상 분류기, 단일 사용자 부위 검출기, 및 사용자-객체 부위 검출기를 구성할 수 있다. 다만, 이에 한정하지 않는 바, 예를 들면 획득된 깊이 영상에 적합한 방식으로 해당된 단일 사용자 영상 분류기, 사용자-객체 영상 분류기, 단일 사용자 부위 검출기, 및 사용자-객체 부위 검출기를 설치할 수 있다.
예를 들면, 추출된 사용자 영상을 단일 사용자 영상 및 사용자-객체 영상으로 분할하고, 단일 사용자 영상 및 사용자-객체 영상에 대하여 해당하는 분류기 및 검출기를 각각 구성할 수 있다. 이를 통해 분류기의 효율성을 향상시킬 수 있으므로 검출 결과를 개선할 수 있다.
이하, 도 8 및 도 9를 참조하여, 촬영된 사용자 영상으로부터 신체 부위를 검출하는 방법을 상세히 설명한다. 일 실시예에 따른 방법은 도 1 및 도 5에 도시된 검출 장치를 이용하여 실현될 수 있으나, 이에 한정되지 않는다. 예를 들면, 일 실시예에 따른 방법은 컴퓨터 프로그램을 이용하여 실현될 수도 있다.
도 8은 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 방법을 도시한 흐름도이다.
도 8을 참조하면, 단계(810)에서, 도 4에 도시된 영상 획득부(410)를 이용하여 사용자의 깊이 영상을 획득할 수 있다.
그리고, 단계(820)에서, 도 4에 도시된 추출부(420)를 이용하여 획득된 깊이 영상으로부터 전경에 있는 사용자를 추출할 수 있다. 여기서, 사용자 영상은 단일 사용자 영상 또는 복수 사용자 영상을 포함할 수 있다. 단일 사용자 영상은 사용자가 다른 사용자와 중첩되지 않은 영상이고, 복수 사용자 영상은 사용자가 다른 사용자와 중첩된 영상일 수 있다. 구체적으로, 획득된 깊이 영상에는 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상이 포함될 수 있다. 따라서, 단계(820)에서 도 4에 도시된 추출부(420)는, 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상을 추출할 수 있다.
다른 일 실시예에 따르면, 사용자 영상은 단일 사용자 영상 또는 사용자-객체 영상을 포함할 수 있다. 단일 사용자 영상은 사용자가 객체와 중첩되지 않은 영상이고, 사용자-객체 영상은 사용자가 객체와 중첩된 영상일 수 있다. 구체적으로, 획득된 깊이 영상에는 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상이 포함될 수 있다. 따라서, 단계(820)에서 도 4에 도시된 추출부(420)는, 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상을 추출할 수 있다.
단계(830)에서, 도 4에 도시된 부위 검출부(430)는 단일 사용자 영상 샘플 및 복수 사용자 영상 샘플에 기초하여 트레이닝된 분류기를 이용하여, 사용자 영상으로부터 신체 부위를 검출할 수 있다. 일 실시예를 따라, 도 4에 도시된 부위 검출부(430)에 사용된 분류기는 단일 사용자 영상 샘플에 기초하여 트레이닝될 수 있고, 또한 복수 사용자 영상 샘플에 기초하여 트레이닝될 수 있다. 따라서, 일 실시예에 따른 신체 부위 검출 장치는 복수 사용자 영상에 대하여 영상 위의 분할을 수행할 필요가 없으므로, 검출 결과는 영상 분할의 정확성에 따라 한정되지 않을 수 있다.
다른 일 실시예에 따르면, 부위 검출부(430)는 단일 사용자 영상 샘플 및 사용자-객체 영상 샘플에 기초하여 트레이닝된 분류기를 이용하여, 사용자 영상으로부터 신체 부위를 검출할 수 있다. 여기서, 도 4에 도시된 부위 검출부(430)에 사용된 분류기는 단일 사용자 영상 샘플에 기초하여 트레이닝될 수 있고, 또한 사용자-객체 영상 샘플에 기초하여 트레이닝될 수 있다. 따라서, 신체 부위 검출 장치는 사용자-객체 영상에 대하여 영상 위의 분할을 수행할 필요가 없으므로, 검출 결과는 영상 분할의 정확성에 따라 한정되지 않을 수 있다.
도 4에 도시된 부위 검출부(430)는, 상술한 분류기를 이용하여 서브 윈도 기반으로 검색을 수행하여 신체 부위를 검출할 수 있다. 예를 들면, 서브 윈도의 위치 및 사이즈를 설정하고 설정된 서브 원도에 기초하여 검색을 수행할 수 있다. 도 4에 도시된 부위 검출부(430)는 분류기를 이용하여 검색된 각 서브 윈도에 사용자 영상의 신체부위가 포함되는지 판단할 수 있다. 예를 들어, 도 4에 도시된 부위 검출부(430)는 서브 윈도에 대한 최소의 사이즈, 최대의 사이즈, 사이즈의 변화, 검색 시작점, 검색 종점, 및 검색 스텝 사이즈 등 파라미터를 설정하여 복수의 서브 윈도를 설정할 수 있고, 상기 설정된 서브 윈도들을 이용하여 검색 처리를 수행할 수 있다. 여기서, 도 4에 도시된 부위 검출부(430)는 분류기에 의하여 판단된 특정 신체 부위의 서브 윈도를 합병하여 상기 특정 신체 부위의 검출 결과로 결정할 수 있다.
도 9는 다른 일 실시예에 따라 촬영된 사용자 영상으로부터 신체 부위를 검출하는 방법을 도시한 흐름도이다.
도 9를 참고하면, 단계(910)에서 도 5에 도시된 영상 획득부(510)를 이용하여 촬영된 사용자의 깊이 영상을 획득할 수 있다.
그리고 단계(920)에서, 도 5에 도시된 추출부(520)를 이용하여 획득된 깊이 영상으로부터 전경에 있는 사용자를 추출할 수 있다. 여기서, 사용자 영상은 단일 사용자 영상 또는 복수 사용자 영상을 포함할 수 있다. 단일 사용자 영상은 사용자가 다른 사용자와 중첩되지 않은 영상이고, 복수 사용자 영상은 사용자가 다른 사용자와 중첩된 영상일 수 있다. 구체적으로, 획득된 깊이 영상에는 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상이 포함될 수 있다. 따라서, 단계(920)에서 도 5에 도시된 추출부(520)는 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 복수 사용자 영상을 추출할 수 있다.
그리고 단계(925)에서, 도 5에 도시된 분할부(525)에 의하여, 추출된 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할할 수 있다. 구체적으로 도 5에 도시된 상기 분할부(525)는 최초 획득된 깊이 영상으로부터 추출된 사용자 영상의 각각을 플래그하고, 후속 획득된 깊이 영상에서 상기 플래그된 사용자 영상의 각각을 추적하고, 상기 후속 획득된 깊이 영상에서 사용자 영상 간의 중첩을 조사하여, 추출된 사용자 영상을 단일 사용자 영상 및 복수의 사용자 영상으로 분할할 수 있다. 상술한 최초 획득된 깊이 영상에서의 사용자 영상의 각각은 서로 중첩되지 않을 수 있다.
단계(930)에서 도 5에 도시된 부위 검출부(530)에 포함된 도 5에 도시된 단일 사용자 영상 부위 검출기(531)를 이용하여 분할된 단일 사용자 영상을 수신하고 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하고, 도 5에 도시된 부위 검출부(530)에 포함된 도 5에 도시된 복수 사용자 영상 부위 검출기(532)를 이용하여 분할된 복수 사용자 영상을 수신하고 복수 사용자 영상 분류기를 이용하여 상기 분할된 복수 사용자 영상으로부터 신체 부위를 검출할 수 있다. 여기서, 단일 사용자 영상 샘플에 기초하여 상기 단일 사용자 영상 분류기를 트레이닝하여 단일 사용자 영상으로부터 신체 부위를 검출하고, 복수 사용자 영상 샘플에 기초하여 상기 복수 사용자 영상 분류기를 트레이닝하여 복수 사용자 영상으로부터 신체 부위를 검출할 수 있다.
다른 일 실시예에 따르면, 추출부를 이용하여 획득된 깊이 영상으로부터 전경에 있는 사용자를 추출할 수 있다. 여기서, 사용자 영상은 단일 사용자 영상 또는 사용자-객체 영상을 포함할 수 있다. 단일 사용자 영상은 사용자가 객체와 중첩되지 않은 영상이고, 사용자-객체 영상은 사용자가 객체와 중첩된 영상일 수 있다. 구체적으로, 획득된 깊이 영상에는 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상이 포함될 수 있다. 따라서, 추출부는 상기 깊이 영상으로부터 적어도 하나의 단일 사용자 영상 및/또는 적어도 하나의 사용자-객체 영상을 추출할 수 있다.
그리고 분할부에 의하여, 추출된 사용자 영상을 단일 사용자 영상 및 사용자-객체 영상으로 분할할 수 있다. 구체적으로 상기 분할부는 최초 획득된 깊이 영상으로부터 추출된 사용자 영상 및 객체 영상을 플래그하고, 후속 획득된 깊이 영상에서 상기 플래그된 사용자 영상 및 객체 영상을 추적하고, 상기 후속 획득된 깊이 영상에서 사용자 영상 및 객체 영상 간의 중첩을 조사하여, 추출된 사용자 영상을 단일 사용자 영상 및 사용자-객체 영상으로 분할할 수 있다. 상술한 최초 획득된 깊이 영상에서의 단일 사용자 영상 및 객체 영상은 서로 중첩되지 않을 수 있다.
다른 일 실시예에 따르면, 부위 검출부에 포함된 단일 사용자 영상 부위 검출기를 이용하여 분할된 단일 사용자 영상을 수신하고 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하고, 부위 검출부에 포함된 사용자-객체 영상 부위 검출기를 이용하여 분할된 사용자-객체 영상을 수신하고 사용자-객체 영상 분류기를 이용하여 상기 분할된 사용자-객체 영상으로부터 신체 부위를 검출할 수 있다. 여기서, 단일 사용자 영상 샘플에 기초하여 상기 단일 사용자 영상 분류기를 트레이닝하여 단일 사용자 영상으로부터 신체 부위를 검출하고, 사용자-객체 영상 샘플에 기초하여 상기 사용자-객체 영상 분류기를 트레이닝하여 사용자-객체 영상으로부터 신체 부위를 검출할 수 있다.
도 10은 일 실시예에 따른 신체 부위의 검출 결과를 도시한 것이다. 도 10을 참조하면, 100k개의 단일 사용자 영상 샘플에 기초하여 단일 사용자 영상 분류기를 트레이닝하고, 100k개의 복수 사용자 영상 샘플에 기초하여 복수 사용자 영상 분류기를 트레이닝하는 경우, 도 10에 도시된 박스(box)와 같이, 중첩된 복수 사용자 영상으로부터 머리, 팔, 및 다리를 효율적으로 검출할 수 있다.
상술한 바와 같이, 일 실시예에 따라 촬영된 영상에서 사용자 영상으로부터 각 신체 부위를 검출하기 위한 장치 및 방법은 복수 사용자 영상 샘플에 기초하는 분류기를 이용하여 복수 사용자 영상으로부터 신체 부위를 검출함으로써, 서로 중첩된 복수 사용자 영상으로부터 신체 부위를 효율적으로 검출할 수 있다. 또한, 추출된 사용자 영상을 단일 사용자 영상 및 복수 사용자 영상으로 분할하고 단일 사용자 영상 및 복수 사용자 영상에 대하여 해당하는 분류기 및 검출기를 구성하므로, 분류기의 효율성을 향상 시킬 수 있으며 검출 결과를 개선할 수 있다.
다른 일 실시예에 따르면, 100k개의 단일 사용자 영상 샘플에 기초하여 단일 사용자 영상 분류기를 트레이닝하고, 100k개의 사용자-객체 영상 샘플에 기초하여 사용자-객체 영상 분류기를 트레이닝하는 경우, 중첩된 사용자-객체 영상으로부터 머리, 팔, 및 다리를 효율적으로 검출할 수 있다.
상술한 바와 같이, 일 실시예에 따라 촬영된 영상에서 사용자 영상으로부터 각 신체 부위를 검출하기 위한 장치 및 방법은 사용자-객체 영상 샘플에 기초하는 분류기를 이용하여 사용자-객체 영상으로부터 신체 부위를 검출함으로써, 단일 사용자 영상과 중첩된 사용자-객체 영상으로부터 신체 부위를 효율적으로 검출할 수 있다. 또한, 추출된 사용자 영상을 단일 사용자 영상 및 사용자-객체 영상으로 분할하고 단일 사용자 영상 및 사용자-객체 영상에 대하여 해당하는 분류기 및 검출기를 구성하므로, 분류기의 효율성을 향상 시킬 수 있으며 검출 결과를 개선할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 사용자의 신체 부위를 검출하는 장치에 있어서,
    제1 깊이 영상(depth image) 및 상기 제1 깊이 영상 이후의 제2 깊이 영상을 획득하는 영상 획득부;
    상기 제1 깊이 영상으로부터 전경(foreground)에 있는 사용자 영상을 추출하는 추출부;
    사용자들이 중첩되지 않은 단일 사용자 영상 및 사용자들이 중첩된 복수 사용자 영상 중 적어도 하나로 상기 사용자 영상을 분할하는 분할부; 및
    단일 사용자 영상 샘플(single user image sample) 및 복수 사용자 영상 샘플(multi user image sample) 중 적어도 하나에 기초하여 트레이닝(training)된 분류기를 이용하여, 상기 사용자 영상으로부터 신체 부위를 검출하는 부위 검출부
    를 포함하고,
    상기 분할부는,
    상기 제1 깊이 영상으로부터 추출된 상기 사용자 영상을 플래그(flag)하고, 상기 제2 깊이 영상에서 상기 플래그된 사용자 영상을 추적하며, 상기 제2 깊이 영상에서 상기 플래그된 사용자 영상의 중첩을 결정하는,
    신체 부위 검출 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 분류기는,
    상기 단일 사용자 영상 샘플에 기초하여 트레이닝된 단일 사용자 영상 분류기; 및
    상기 복수 사용자 영상 샘플에 기초하여 트레이닝된 복수 사용자 영상 분류기
    를 포함하는 신체 부위 검출 장치.
  4. 제3항에 있어서,
    상기 부위 검출부는,
    상기 분할부로부터 상기 분할된 단일 사용자 영상을 수신하고, 상기 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단일 사용자 영상 부위 검출기; 및
    상기 분할부로부터 상기 분할된 복수 사용자 영상을 수신하고, 상기 복수 사용자 영상 분류기를 이용하여 상기 분할된 복수 사용자 영상으로부터 신체 부위를 검출하는 복수 사용자 영상 부위 검출기
    를 포함하는 신체 부위 검출 장치.
  5. 제1항에 있어서,
    상기 제1 깊이 영상은,
    최초 획득된 깊이 영상으로서, 상기 사용자 영상의 각각은 서로 중첩되지 않는,
    신체 부위 검출 장치.
  6. 제1항에 있어서,
    상기 분류기는,
    상기 신체 부위의 속성을 나타나는 복수의 특징과 상기 신체 부위 주변의 콘텍스트(context)의 속성을 나타나는 복수의 특징의 합(sum)에 기초하는 신체 부위 검출 장치.
  7. 제6항에 있어서,
    상기 특징은,
    MSOP（multi-scale ordinal pattern）특징을 포함하고,
    상기 MSOP 특징은,
    멀티 스케일로 깊이 영상에서의 복수의 사각형 구역 간의 깊이에 대한 대비 관계를 나타내는 신체 부위 검출 장치.
  8. 제1항에 있어서,
    상기 부위 검출부는,
    서브 윈도(sub window) 기반으로 검색을 수행하여 상기 신체 부위를 검출하는 신체 부위 검출 장치.
  9. 사용자의 신체 부위를 검출하는 방법에 있어서
    제1 깊이 영상(depth image) 및 상기 제1 깊이 영상 이후의 제2 깊이 영상을 획득하는 단계;
    상기 제1 깊이 영상로부터 전경(foreground)에 있는 사용자 영상을 추출하는 단계;
    사용자들이 중첩되지 않은 단일 사용자 영상 및 사용자들이 중첩된 복수 사용자 영상 중 적어도 하나로 상기 사용자 영상을 분할하는 단계; 및
    단일 사용자 영상 샘플(single user image sample) 및 복수 사용자 영상 샘플(multi user image sample)중 적어도 하나에 기초하여 트레이닝(training)된 분류기를 이용하여, 상기 사용자 영상으로부터 신체 부위를 검출하는 단계
    를 포함하고,
    상기 분할하는 단계는,
    상기 제1 깊이 영상으로부터 추출된 상기 사용자 영상을 플래그(flag)하는 단계, 상기 제2 깊이 영상에서 상기 플래그된 사용자 영상을 추적하는 단계, 및 상기 제2 깊이 영상에서 상기 플래그된 사용자 영상의 중첩을 결정하는 단계를 포함하는
    신체 부위 검출 방법.
  10. 삭제
  11. 제9항에 있어서
    상기 검출하는 단계는,
    상기 분류기를 상기 단일 사용자 영상 샘플에 기초하여 트레이닝하는 단계; 및
    상기 분류기를 상기 복수 사용자 영상 샘플에 기초하여 트레이닝하는 단계
    를 포함하는 신체 부위 검출 방법
  12. 제11항에 있어서
    상기 검출하는 단계는,
    분할부로부터 상기 분할된 단일 사용자 영상을 수신하고 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단계; 및
    상기 분할부로부터 상기 분할된 복수의 사용자 영상을 수신하고 복수 사용자 영상 분류기를 이용하여 상기 분할된 복수 사용자 영상으로부터 신체 부위를 검출하는 단계
    를 포함하는 신체 부위 검출 방법.
  13. 제9항에 있어서,
    상기 제1 깊이 영상은,
    최초 획득된 깊이 영상으로서, 상기 사용자 영상의 각각은 서로 중첩되지 않는,
    신체 부위 검출 방법.
  14. 제9항에 있어서,
    상기 검출하는 단계는,
    서브 윈도(sub window) 기반으로 검색을 수행하여 상기 신체 부위를 검출하는 단계
    를 포함하는 신체 부위 검출 방법.
  15. 사용자의 신체 부위를 검출하는 장치에 있어서,
    제1 깊이 영상(depth image) 및 상기 제1 깊이 영상 이후의 제2 깊이 영상을 획득하는 영상 획득부;
    상기 제1 깊이 영상으로부터 전경(foreground)에 있는 사용자 영상을 추출하는 추출부;
    사용자와 객체가 중첩되지 않은 단일 사용자 영상 및 사용자와 객체가 중첩된 사용자-객체 영상 중 적어도 하나로 상기 사용자 영상을 분할하는 분할부; 및
    단일 사용자 영상 샘플(single user image sample) 및 사용자-객체 영상 샘플(user-object image sample) 중 적어도 하나에 기초하여 트레이닝(training)된 분류기(sorter)를 이용하여, 상기 사용자 영상으로부터 신체 부위를 검출하는 부위 검출부
    를 포함하고,
    상기 분할부는,
    상기 제1 깊이 영상으로부터 추출된 상기 사용자 영상을 플래그(flag)하고, 상기 제2 깊이 영상에서 상기 플래그된 사용자 영상을 추적하며, 상기 제2 깊이 영상에서 상기 플래그된 사용자 영상의 중첩을 결정하는,
    신체 부위 검출 장치.
  16. 삭제
  17. 제15항에 있어서,
    상기 분류기는,
    상기 단일 사용자 영상 샘플에 기초하여 트레이닝된 단일 사용자 영상 분류기; 및
    상기 사용자-객체 영상 샘플에 기초하여 트레이닝된 사용자-객체 영상 분류기
    를 포함하는 신체 부위 검출 장치.
  18. 제17항에 있어서,
    상기 부위 검출부는,
    상기 분할부로부터 상기 분할된 단일 사용자 영상을 수신하고, 상기 단일 사용자 영상 분류기를 이용하여 상기 분할된 단일 사용자 영상으로부터 신체 부위를 검출하는 단일 사용자 영상 부위 검출기; 및
    상기 분할부로부터 상기 분할된 사용자-객체 영상을 수신하고, 상기 사용자-객체 영상 분류기를 이용하여 상기 분할된 사용자-객체 영상으로부터 신체 부위를 검출하는 사용자-객체 영상 부위 검출기
    를 포함하는 신체 부위 검출 장치.
  19. 제15항에 있어서,
    상기 제1 깊이 영상은,
    최초 획득된 깊이 영상으로서, 상기 사용자 영상 및 객체 영상은 서로 중첩되지 않는 신체 부위 검출 장치.
  20. 제15항에 있어서,
    상기 분류기는,
    상기 신체 부위의 속성을 나타나는 복수의 특징과 상기 신체 부위 주변의 콘텍스트(context)의 속성을 나타나는 복수의 특징의 합(sum)에 기초하는 신체 부위 검출 장치.
KR1020130168788A 2013-04-12 2013-12-31 사용자 영상의 신체 부위를 검출하는 장치 및 방법 KR102211159B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/249,464 US9443136B2 (en) 2013-04-12 2014-04-10 Apparatus and method for detecting body parts from user image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310126459.1A CN104102895B (zh) 2013-04-12 2013-04-12 用于检测被拍摄用户的身体部位的设备和方法
CN201310126459.1 2013-04-12

Publications (2)

Publication Number Publication Date
KR20140123399A KR20140123399A (ko) 2014-10-22
KR102211159B1 true KR102211159B1 (ko) 2021-02-02

Family

ID=51671037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130168788A KR102211159B1 (ko) 2013-04-12 2013-12-31 사용자 영상의 신체 부위를 검출하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102211159B1 (ko)
CN (1) CN104102895B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930644B1 (ko) * 2017-09-15 2018-12-18 한국과학기술원 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치
CN108665429A (zh) * 2018-04-28 2018-10-16 济南浪潮高新科技投资发展有限公司 一种深度学习训练样本优化方法
KR102062386B1 (ko) * 2018-06-01 2020-01-03 건양대학교 산학협력단 딥 러닝을 이용한 엑스레이 영상의 뼈 영역 제거 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140613A1 (ja) * 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
US20110293180A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Foreground and Background Image Segmentation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551852B (zh) * 2008-04-01 2013-01-16 索尼（中国）有限公司 训练系统、训练方法和检测方法
CN102129569B (zh) * 2010-01-20 2016-01-20 三星电子株式会社 基于多尺度对比特征的对象检测设备和方法
US8582820B2 (en) * 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140613A1 (ja) * 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
US20120076361A1 (en) 2009-06-03 2012-03-29 Hironobu Fujiyoshi Object detection device
US20110293180A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Foreground and Background Image Segmentation

Also Published As

Publication number Publication date
CN104102895A (zh) 2014-10-15
CN104102895B (zh) 2019-10-25
KR20140123399A (ko) 2014-10-22

Similar Documents

Publication Publication Date Title
CN106203305B (zh) 人脸活体检测方法和装置
CN106133752B (zh) 眼睛注视跟踪
JP7266106B2 (ja) 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
US8582867B2 (en) Learning-based pose estimation from depth maps
KR100507780B1 (ko) 고속 마커프리 모션 캡쳐 장치 및 방법
CN106033601B (zh) 检测异常情形的方法和装置
CN106803083B (zh) 行人检测的方法及装置
KR101929077B1 (ko) 이미지 식별 방법 및 이미지 식별 장치
EP3540574B1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
JP2013122763A (ja) 映像処理装置及び映像処理方法
CN111950321B (zh) 步态识别方法、装置、计算机设备及存储介质
US9443136B2 (en) Apparatus and method for detecting body parts from user image
JPWO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2020515974A (ja) 歩行者追跡の方法および電子デバイス
JP2012191354A (ja) 情報処理装置、情報処理方法及びプログラム
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
US20160364321A1 (en) Emulating a user performing spatial gestures
CN113658211A (zh) 一种用户姿态的评估方法、装置以及处理设备
KR102211159B1 (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
KR102186875B1 (ko) 움직임 추적 시스템 및 방법
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
KR101482850B1 (ko) 손 모양 인식 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant