KR102325072B1 - 포즈 매칭 방법 및 이를 수행하기 위한 장치 - Google Patents

포즈 매칭 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR102325072B1
KR102325072B1 KR1020200120388A KR20200120388A KR102325072B1 KR 102325072 B1 KR102325072 B1 KR 102325072B1 KR 1020200120388 A KR1020200120388 A KR 1020200120388A KR 20200120388 A KR20200120388 A KR 20200120388A KR 102325072 B1 KR102325072 B1 KR 102325072B1
Authority
KR
South Korea
Prior art keywords
pose
information
image
user
node
Prior art date
Application number
KR1020200120388A
Other languages
English (en)
Inventor
권귀태
Original Assignee
주식회사 위딧
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위딧 filed Critical 주식회사 위딧
Priority to KR1020200120388A priority Critical patent/KR102325072B1/ko
Application granted granted Critical
Publication of KR102325072B1 publication Critical patent/KR102325072B1/ko

Links

Images

Classifications

    • G06K9/00369—
    • G06K9/4604—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

포즈 매칭 방법 및 이를 수행하기 위한 장치가 개시된다. 본 발명의 일 실시예에 따른 포즈 매칭 방법 및 이를 수행하기 위한 장치는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자에게 제공된 이미지를 따라하는 상기 사용자를 촬영한 사용자 이미지를 획득하는 이미지 획득 모듈; 상기 사용자 이미지에서 상기 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 생성하고, 상기 생성한 노드 정보 및 에지 정보를 기반으로 상기 사용자 이미지에 대한 포즈 정보를 생성하는 포즈 추정 모듈; 및 상기 사용자 이미지의 포즈 정보와 상기 사용자에게 제공된 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단하는 포즈 매칭 모듈을 포함한다.

Description

포즈 매칭 방법 및 이를 수행하기 위한 장치{METHOD FOR POSE MATCHING AND DEVICE FOR EXECUTING THE METHOD}
본 발명의 실시예들은 포즈 매칭 기술과 관련된다.
최근에 스마트폰 등과 같은 휴대용 정보기기의 사용이 급증하고 있으며, 휴대용 정보기기에서 사용되는 콘텐츠가 멀티미디어의 형태를 띄면서, 멀티미디어 콘텐츠를 취급 및 생성하기 위한 다양한 장치들이 휴대용 정보기기에 도입되는 실정이다. 카메라를 구비한 휴대용 정보기기에서, 사용자의 편의를 증대시키기 위한 다양한 기능들이 연구되고 있다. 특히, 획득한 영상으로부터 객체를 검출하는 기능에 대한 기술이 활발하게 연구되고 있다. 객체 검출 기능은 영상 속의 객체의 검출에 이용되며, 더 나아가 영상 속의 객체의 특정한 기분, 포즈 등을 검출할 수 있다.
이러한 객체 검출에 사용되는 객체 포즈 추정 방법은 일반적으로 추적(tracking) 기반의 방법 및 학습 기반의 방법으로 구분된다. 상기 추적 기반의 방법은 비디오 시퀀스에 있는 현재 프레임(Current Frame)과 전 프레임(Previous Frame)의 사이에 하나의 쌍(paired) 매칭 방법으로 객체의 포즈를 추정하는 것이다. 상기 학습 기반의 방법은 일반적으로 객체 포즈 추정을 분류(classify) 방식 또는 복귀 방식으로 정의하며, 라벨을 포함하는 샘플을 통해 트레이닝을 진행하고 획득된 트레이닝 모델을 이용하여 객체의 포즈를 추정한다.
한편, 휴대용 정보기기를 이용하여 제공한 영상을 사용자가 따라하도록 제공하는 콘텐츠가 증가하고 있다. 콘텐츠에서 제공하는 영상의 포즈와 사용자의 포즈를 매칭하여 사용자가 얼마나 정확히 따라하는지를 사용자에게 제공하고 있다.
그러나, 상기 객체 포즈 추정 방법을 이용하여 사용자의 포즈를 추정하고, 영상의 포즈와 사용자의 포즈를 매칭하는 경우, 방향성을 고려하지 않아 정확도가 떨어지는 문제가 있다.
대한민국 공개특허공보 제10-2016-0071781호 (2016.06.22.)
본 발명의 실시예들은 제공된 영상의 객체 포즈와 촬영 영상의 객체 포즈를 매칭하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 사용자에게 제공된 이미지를 따라하는 상기 사용자를 촬영한 사용자 이미지를 획득하는 이미지 획득 모듈; 상기 사용자 이미지에서 상기 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 생성하고, 상기 생성한 노드 정보 및 에지 정보를 기반으로 상기 사용자 이미지에 대한 포즈 정보를 생성하는 포즈 추정 모듈; 및 상기 사용자 이미지의 포즈 정보와 상기 사용자에게 제공된 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단하는 포즈 매칭 모듈을 포함하는 포즈 매칭 장치가 제공된다.
상기 포즈 추정 모듈은 상기 사용자 이미지를 입력 받고, 상기 사용자 이미지로부터 상기 노드 정보 및 상기 에지 정보를 출력하도록 학습되는 머신 러닝 모델을 포함하는 머신 러닝 모듈; 및 상기 머신 러닝 모듈에서 출력된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 포즈 정보를 생성하는 포즈 생성부를 포함할 수 있다.
상기 머신 러닝 모듈은 상기 사용자 이미지를 입력 받고, 상기 사용자 이미지의 특징을 추출하여 특징 이미지를 생성하도록 학습되는 특징 추출부; 상기 특징 이미지를 입력 받고, 상기 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 상기 노드 정보를 생성하도록 학습되는 노드 추출부; 및 상기 특징 이미지 및 상기 노드 정보를 입력 받고, 상기 특징 이미지로부터 상기 노드 정보에 기반하여 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 에지 추출부를 포함할 수 있다.
상기 포즈 생성부는 상기 노드 정보를 기반으로 상기 에지 정보와의 연관성을 판단하여 상기 포즈 정보를 생성할 수 있다.
상기 연관성의 판단은 신체 구조에 따라 상기 노드 정보에 포함된 관절과 상기 에지 정보에 포함된 경로가 상호 부합하는지에 따라 결정될 수 있다.
상기 포즈 매칭 모듈은 상기 사용자 이미지의 포즈 정보의 각 경로와 상기 사용자 이미지의 포즈 정보의 각 경로에 대응하는 상기 사용자에게 제공된 이미지의 포즈 정보의 각 경로를 코사인 유사도(cosine similarity)를 이용하여 상기 사용자 이미지의 포즈 정보의 각 경로에 대한 유사도를 산출하고, 상기 산출된 유사도를 기반으로 상기 포즈 유사도를 판단할 수 있다.
상기 포즈 매칭 모듈은 상기 사용자 이미지의 바운딩 박스와 상기 사용자에게 제공된 이미지의 바운딩 박스와의 IoU(intersection over union)를 이용하여 상기 사용자 이미지의 사용자를 추출하며, 상기 사용자 이미지의 바운딩 박스는 상기 포즈 정보를 포함하도록 형성될 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 포즈 매칭 방법으로서, 사용자에게 제공된 이미지를 따라하는 상기 사용자를 촬영한 사용자 이미지를 획득하는 단계; 상기 사용자 이미지에서 상기 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 생성하는 단계; 상기 생성한 노드 정보 및 에지 정보를 기반으로 상기 사용자 이미지에 대한 포즈 정보를 생성하는 단계; 및 상기 사용자 이미지의 포즈 정보와 상기 사용자에게 제공된 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단하는 단계를 포함하는 포즈 매칭 방법이 제공된다.
본 발명의 실시예들에 따르면, 사용자 이미지에서 관절 및 각 관절의 경로를 포함하는 포즈 정보를 생성하여 사용자에게 제공한 이미지의 포즈와 사용자 이미지의 포즈와의 유사도를 판단함으로써, 각 관절 간의 각도뿐만 아니라 방향성도 고려하여 유사도 판단에 대한 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 포즈 매칭 장치의 구성을 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 포즈 매칭 장치의 포즈 추정 모듈을 설명하기 위한 블록도
도 3은 본 발명의 일 실시예에 따른 포즈 매칭 장치의 포즈 매칭 모듈의 포즈 유사도를 판단하기 위한 동작을 나타내는 도면
도 4는 본 발명의 일 실시예에 따른 포즈 매칭 장치의 포즈 매칭 모듈의 사용자를 추출하기 위한 동작을 나타내는 도면
도 5는 본 발명의 일 실시예에 있어서 바운딩 박스 간 중첩 정도를 나타내는 IoU의 측정 예시를 나타내는 도면
도 6은 본 발명의 일 실시예에 따른 포즈 매칭 방법을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 포즈 매칭 장치(100)의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 포즈 매칭 장치(100)는 이미지 획득 모듈(110), 저장 모듈(120), 포즈 추정 모듈(130) 및 포즈 매칭 모듈(140)을 포함할 수 있다.
이미지 획득 모듈(110)은 제공된 이미지를 따라하는 사용자에 대한 이미지(사용자 이미지)을 획득할 수 있다. 예를 들어, 이미지 획득 모듈(110)은 카메라가 구비된 사용자 단말로부터 촬영된 사용자 이미지를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니며 사용자 단말 이외의 다른 기기에서 촬영된 사용자 이미지를 획득할 수 있다. 또한, 이미지 획득 모듈(110)은 획득한 사용자 이미지를 포즈 추정 모듈(130)로 제공할 수 있다.
저장 모듈(120)은 사용자에게 제공하는 이미지(기본 이미지)을 저장할 수 있다. 여기서, 사용자에게 제공하는 이미지는 사용자가 이미지를 시청하면서 따라하도록 제공되는 것으로, 예를 들어, 자세 교정 이미지, 댄스 이미지, 필라테스 이미지, 헬스 이미지 등일 수 있다.
포즈 추정 모듈(130)은 사용자 이미지에서 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 추출하며, 추출한 노드 정보 및 에지 정보를 기반으로 사용자 이미지에 대한 포즈 정보를 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 포즈 매칭 장치(100)의 포즈 추정 모듈(130)을 설명하기 위한 블록도이다.
도 2를 참조하면, 포즈 추정 모듈(130)은 머신 러닝 모듈(131) 및 포즈 생성부(132)를 포함할 수 있다.
예시적인 실시예에서, 포즈 추정 모듈(130)은 머신러닝(Machine Learning) 기반 기술을 사용하여 입력되는 사용자 이미지를 기반으로 사용자의 포즈 정보를 생성할 수 있다. 이때, 포즈 추정 모듈(130)은 이미지 획득 모듈(110)로부터 사용자 이미지가 입력되면, 머신 러닝 모듈(131)을 통해 사용자의 관절 종류 및 관절의 경로를 인식할 수 있다.
머신 러닝 모듈(131)은 이미지 획득 모듈(110)로부터 사용자 이미지를 입력받고, 사용자 이미지에서 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 각각 추출하도록 학습된 머신 러닝 모델로 구현될 수 있다.
머신 러닝 모듈(131)은 특징 추출부(131a), 노드 추출부(131b) 및 에지 추출부(131c)를 포함할 수 있다.
특징 추출부(131a)는 이미지 획득 모듈(110)로부터 사용자 이미지를 입력받아 사용자 이미지의 특징을 추출하여 특징 이미지를 생성하도록 학습된 신경망일 수 있다. 특징 추출부(131a)는 생성한 특징 이미지를 각각 노드 추출부(131b) 및 에지 추출부(131c)로 전달할 수 있다.
예시적인 실시예에서, 특징 추출부(131a)는 CNN(Convolutional Neural Network)을 이용하여 사용자 이미지에서 RGB값을 추출할 수 있으며, 추출한 RGB값에 기 설정된 가중치를 부여할 수 있다. 예를 들어, CNN 모델은 VGG-19 네트워크(Network)를 이용할 수 있다. CNN 모델은 VGG-19 네트워크의 10개의 레이어(layer)를 이용하여 입력된 사용자 이미지에서 특징을 추출하고, 추출한 특징에 기 설정된 가중치를 부여하여 특징이 강조되도록 특징 이미지를 생성할 수 있다.
노드 추출부(131b)는 특징 추출부(131a)로부터 특징 이미지를 입력받아 특징 이미지로부터 기 저장된 포즈 데이터에 기반하여 노드 정보를 생성하도록 학습된 신경망일 수 있다.
예시적인 실시예에서, 노드 추출부(131b)는 특징 이미지를 입력받고, 특징 이미지의 각 특징 중 기 설정된 기준 이상의 특징을 노드로 선정할 수 있다. 여기서, 노드는 사용자의 각 관절(사람의 머리, 좌우 어깨, 좌우 팔꿈치, 좌우 손, 좌우 무릎, 좌우 발 등)을 의미할 수 있다. 노드 추출부(131b)는 특징 이미지가 입력되는 경우, 머신 러닝 모델에 의하여 특징 이미지에서 노드를 추출하고, 추출한 노드를 관절로 분류하도록 학습될 수 있다. 또한, 노드 추출부(131b)는 추출한 노드를 기 저장된 포즈 데이터와 비교하고, 각 노드에 대응하는 관절로 분류하여 노드 정보를 생성할 수 있다.
에지 추출부(131c)는 특징 추출부(131a)로부터 특징 이미지를 입력받아 특징 이미지로부터 노드 정보에 기반하여 각 노드 사이의 모든 경로를 포함하는 에지 정보를 생성하도록 학습된 신경망일 수 있다.
예시적인 실시예에서, 에지 추출부(131c)는 특징 이미지를 입력받고, 각 특징 중 노드를 추출하고, 추출한 노드 간의 경로를 추출할 수 있다. 여기서, 경로(에지)는 사용자의 각 관절 사이를 연결하는 선일 수 있다. 에지 추출부(131c)는 특징 이미지가 입력되는 경우, 머신 러닝 모델에 의해 특징 이미지에서 노드를 추출하고, 추출한 노드 간의 경로를 출력하도록 학습될 수 있다. 또한, 에지 추출부(131c)는 특정 노드에서 특정 노드를 제외한 다른 노드로의 모든 경로를 포함하는 에지 정보를 생성할 수 있다.
포즈 생성부(132)는 노드 추출부(131b) 및 에지 추출부(131c)로부터 출력된 노드 정보 및 에지 정보를 기반으로 사용자의 포즈 정보를 생성할 수 있다. 구체적으로, 포즈 생성부(132)는 노드 정보를 기반으로 에지 정보와의 연관성을 판단하고, 연관성이 있다고 판단되는 경로을 선택하여 사용자의 포즈 정보를 생성할 수 있다.
여기서, 연관성의 판단은 신체 구조(목, 좌우 팔, 좌우 다리, 몸통 등)에 따라 노드 정보에 포함된 관절과 에지 정보에 포함된 경로가 상호 부합하는지에 따라 결정될 수 있다.
예를 들어, 노드 정보에 포함된 오른손과 경로가 형성된 노드 정보가 오른발로 확인된 경우, 오른손과 오른발은 연관성이 없다고 판단하고, 해당 에지 정보에 포함된 경로는 제외할 수 있다. 또한, 노드 정보에 포함된 오른손과 경로가 형성된 노드 정보가 오른 팔꿈치로 확인된 경우, 오른손과 오른 팔꿈치는 연관성이 있다고 판단하고, 해당 에지 정보에 포함된 경로를 선택할 수 있다.
포즈 매칭 모듈(140)은 사용자 이미지의 포즈 정보와 기본 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단할 수 있다.
구체적으로, 포즈 매칭 모듈(140)은 사용자 이미지의 포즈 정보의 각 경로와 사용자 이미지의 포즈 정보의 각 경로에 대응하는 기본 이미지의 포즈 정보의 각 경로를 코사인 유사도를 이용하여 각 경로에 대한 포즈 유사도를 판단할 수 있다. 여기서, 코사인 유사도(cosine similarity)는 벡터 간의 유사한 정도를 나타내는 것으로, 예를 들어, 사용자 이미지의 포즈 정보의 경로와 기본 이미지의 포즈 정보의 경로 간의 유사한 정도를 나타낼 수 있다. 이에, 포즈 매칭 모듈(140)은 코사인 유사도를 이용하여 포즈 유사도를 판단함으로써, 방향성을 고려하여 포즈 매칭에 대한 정확도를 향상시킬 수 있다.
도 3과 같이, (a)기본 이미지의 포즈 정보와 (b)사용자 이미지의 포즈 정보를 매칭하여 각 경로에 대한 유사도를 산출할 수 있다. 예를 들어, 유사도는 0~2사이의 값을 가질 수 있으며, 값이 작을수록 유사도가 크다고 판단할 수 있다. 각 경로에 대한 유사도를 기반으로 사용자 이미지와 기본 이미지의 포즈 유사도를 판단할 수 있다.
또한, 포즈 매칭 모듈(140)은 사용자 이미지의 바운딩 박스와 기본 이미지의 바운딩 박스와의 IoU(intersection over union)를 이용하여 사용자 이미지에서 사용자만 추출할 수 있다. 여기서, IoU는 도 4와 같이, 두 영역(바운딩 박스) 사이의 중첩 정도를 나타내는 것이다. 또한, 도 5와 같이, (a)기본 이미지의 바운딩 박스와 (b)사용자 이미지의 객체들의 바운딩 박스 간의 IoU 스코어를 산출할 수 있다. 포즈 매칭 모듈(140)은 사용자 이미지의 객체 중 IoU 스코어가 가장 높은 객체를 사용자로 판단할 수 있다. 이 때, 바운딩 박스는 포즈 정보를 모두 포함하도록 형성될 수 있다.
예시적인 실시예에서, 포즈 매칭 모듈(140)은 사용자 이미지의 바운딩 박스와 기본 이미지의 바운딩 박스와의 IoU(intersection over union)를 이용하여 기 설정된 기준 이상의 IoU 스코어를 가지는 객체를 추출할 수 있다. 포즈 매칭 모듈(140)은 추출된 객체가 복수인 경우, 칼만 필터(Kalman Filter)를 이용하여 복수의 객체 중 사용자를 추출할 수 있다.
따라서, 본 발명의 일 실시예에 따른 포즈 매칭 장치(100)는 사용자 이미지에서 관절 및 각 관절의 경로를 포함하는 포즈 정보를 생성하여 사용자에게 제공한 이미지의 포즈와 사용자 이미지의 포즈와의 유사도를 판단함으로써, 각 관절 간의 각도뿐만 아니라 방향성도 고려하여 유사도 판단에 대한 정확도를 향상시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 포즈 매칭 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 전술한 포즈 매칭 장치에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 602에서, 컴퓨팅 장치(12)는 사용자에게 제공한 이미지를 따라하는 사용자를 촬영한 사용자 이미지를 획득한다.
단계 604에서, 컴퓨팅 장치(12)는 사용자 이미지에서 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 생성한다. 컴퓨팅 장치(12)는 사용자 이미지를 입력받고, 사용자 이미지에서 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 각각 추출하도록 학습된 머신 러닝 모델로 구현될 수 있다.
단계 606에서, 컴퓨팅 장치(12)는 생성한 노드 정보 및 에지 정보를 기반으로 사용자 이미지에 대한 포즈 정보를 생성한다. 구체적으로, 컴퓨팅 장치(12)는 노드 정보를 기반으로 에지 정보와의 연관성을 판단하고, 연관성이 있다고 판단되는 경로를 선택하여 사용자의 포즈 정보를 생성할 수 있다. 여기서, 연관성의 판단은 신체 구조(목, 좌우 팔, 좌우 다리, 몸통 등)에 따라 노드 정보에 포함된 관절과 에지 정보에 포함된 경로가 상호 부합하는지에 따라 결정될 수 있다.
단계 608에서, 컴퓨팅 장치(12)는 사용자 이미지의 포즈 정보와 사용자에게 제공한 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단한다. 구체적으로, 컴퓨팅 장치(12)는 사용자 이미지의 포즈 정보의 각 경로와 사용자 이미지의 포즈 정보의 각 경로에 대응하는 기본 이미지의 포즈 정보의 각 경로를 코사인 유사도를 이용하여 각 경로에 대한 포즈 유사도를 계산할 수 있다.
따라서, 본 발명의 일 실시예에 따른 포즈 매칭 방법은 사용자 이미지에서 관절 및 각 관절의 경로를 포함하는 포즈 정보를 생성하여 사용자에게 제공한 이미지의 포즈와 사용자 이미지의 포즈와의 유사도를 판단함으로써, 각 관절 간의 각도뿐만 아니라 방향성도 고려하여 유사도 판단에 대한 정확도를 향상시킬 수 있다.
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 포즈 매칭을 수행하기 위한 장치일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 포즈 매칭 장치
110 : 이미지 획득 모듈
120 : 저장 모듈
130 : 포즈 추정 모듈
131 : 머신 러닝 모듈
131a : 특징 추출부
131b : 노드 추출부
131c : 에지 추출부
132 : 포즈 생성부
140 : 포즈 매칭 모듈

Claims (8)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    사용자에게 제공된 이미지를 따라하는 상기 사용자를 촬영한 사용자 이미지를 획득하는 이미지 획득 모듈;
    상기 사용자 이미지에서 상기 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 생성하고, 상기 생성한 노드 정보 및 에지 정보를 기반으로 상기 사용자 이미지에 대한 포즈 정보를 생성하는 포즈 추정 모듈; 및
    상기 사용자 이미지의 포즈 정보와 상기 사용자에게 제공된 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단하는 포즈 매칭 모듈을 포함하며,
    상기 포즈 추정 모듈은,
    상기 사용자 이미지를 입력 받고, 상기 사용자 이미지로부터 상기 노드 정보 및 상기 에지 정보를 출력하도록 학습되는 머신 러닝 모델을 포함하는 머신 러닝 모듈; 및
    상기 머신 러닝 모듈에서 출력된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 포즈 정보를 생성하는 포즈 생성부를 포함하고,
    상기 머신 러닝 모듈은,
    상기 사용자 이미지를 입력 받고, CNN(Convolutional Neural Network)을 이용하여 상기 사용자 이미지로부터 RGB 값을 추출하고, 추출된 상기 RGB 값에 기 설정된 가중치를 부여하여 상기 사용자 이미지의 특징이 강조되는 방향으로 특징 이미지를 생성하도록 학습되는 특징 추출부;
    상기 특징 이미지를 입력 받고, 상기 특징 이미지의 각 특징 중 기 설정된 기준 이상의 특징을 노드로 선정하고, 선정된 상기 노드를 기 저장된 포즈 데이터와 비교한 후 상기 노드에 대응되는 관절로 분류하여 상기 노드 정보를 생성하도록 학습되는 노드 추출부; 및
    상기 특징 이미지 및 상기 노드 정보를 입력 받고, 상기 특징 이미지로부터 상기 노드 정보에 기반하여 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 에지 추출부를 포함하며,
    상기 포즈 생성부는, 신체 구조에 따라 상기 노드 정보에 포함된 관절과 상기 에지 정보에 포함된 경로가 상호 부합하는 것으로 판단되는 경우 상기 상호 부합하는 것으로 판단된 상기 에지 정보에 포함된 경로를 선택하여 상기 포즈 정보를 생성하고, 신체 구조에 따라 상기 노드 정보에 포함된 관절과 상기 에지 정보에 포함된 경로가 상호 부합하지 않는 것으로 판단되는 경우 상기 상호 부합하지 않는 것으로 판단된 상기 에지 정보에 포함된 경로를 제외시켜 상기 포즈 정보를 생성하는, 포즈 매칭 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 포즈 매칭 모듈은,
    상기 사용자 이미지의 포즈 정보의 각 경로와 상기 사용자 이미지의 포즈 정보의 각 경로에 대응하는 상기 사용자에게 제공된 이미지의 포즈 정보의 각 경로를 코사인 유사도(cosine similarity)를 이용하여 상기 사용자 이미지의 포즈 정보의 각 경로에 대한 유사도를 산출하고, 상기 산출된 유사도를 기반으로 상기 포즈 유사도를 판단하는, 포즈 매칭 장치.
  7. 청구항 1에 있어서,
    상기 포즈 매칭 모듈은,
    상기 사용자 이미지의 바운딩 박스와 상기 사용자에게 제공된 이미지의 바운딩 박스와의 IoU(intersection over union)를 이용하여 상기 사용자 이미지의 사용자를 추출하며,
    상기 사용자 이미지의 바운딩 박스는,
    상기 포즈 정보를 포함하도록 형성되는, 포즈 매칭 장치.
  8. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 포즈 매칭 방법으로서,
    사용자에게 제공된 이미지를 따라하는 상기 사용자를 촬영한 사용자 이미지를 획득하는 단계;
    상기 사용자 이미지에서 상기 사용자의 관절을 포함하는 노드 정보 및 각 노드 사이의 경로를 포함하는 에지 정보를 생성하는 단계;
    상기 생성한 노드 정보 및 에지 정보를 기반으로 상기 사용자 이미지에 대한 포즈 정보를 생성하는 단계; 및
    상기 사용자 이미지의 포즈 정보와 상기 사용자에게 제공된 이미지의 포즈 정보를 매칭하여 포즈 유사도를 판단하는 단계를 포함하며,
    상기 포즈 정보를 생성하는 단계는,
    머신 러닝 모듈에서, 상기 사용자 이미지를 입력 받고, 상기 사용자 이미지로부터 상기 노드 정보 및 상기 에지 정보를 출력하도록 학습되는 단계; 및
    포즈 생성부에서, 상기 머신 러닝 모듈에서 출력된 상기 노드 정보 및 상기 에지 정보를 기반으로 상기 포즈 정보를 생성하는 단계를 포함하며,
    상기 노드 정보 및 상기 에지 정보를 출력하도록 학습되는 단계는,
    특징 추출부에서, CNN(Convolutional Neural Network)을 이용하여 상기 사용자 이미지로부터 RGB 값을 추출하고, 추출된 상기 RGB 값에 기 설정된 가중치를 부여하여 상기 사용자 이미지의 특징이 강조되는 방향으로 특징 이미지를 생성하도록 학습되는 단계;
    노드 추출부에서, 상기 특징 이미지를 입력 받고, 상기 특징 이미지의 각 특징 중 기 설정된 기준 이상의 특징을 노드로 선정하고, 선정된 상기 노드를 기 저장된 포즈 데이터와 비교한 후 상기 노드에 대응되는 관절로 분류하여 상기 노드 정보를 생성하도록 학습되는 단계; 및
    에지 추출부에서, 상기 특징 이미지 및 상기 노드 정보를 입력 받고, 상기 특징 이미지로부터 상기 노드 정보에 기반하여 상기 각 노드 사이의 모든 경로를 포함하는 상기 에지 정보를 생성하도록 학습되는 단계를 포함하며,
    상기 포즈 정보를 생성하는 단계는, 신체 구조에 따라 상기 노드 정보에 포함된 관절과 상기 에지 정보에 포함된 경로가 상호 부합하는 것으로 판단되는 경우 상기 상호 부합하는 것으로 판단된 상기 에지 정보에 포함된 경로를 선택하여 상기 포즈 정보를 생성하고, 신체 구조에 따라 상기 노드 정보에 포함된 관절과 상기 에지 정보에 포함된 경로가 상호 부합하지 않는 것으로 판단되는 경우 상기 상호 부합하지 않는 것으로 판단된 상기 에지 정보에 포함된 경로를 제외시켜 상기 포즈 정보를 생성하는, 포즈 매칭 방법.
KR1020200120388A 2020-09-18 2020-09-18 포즈 매칭 방법 및 이를 수행하기 위한 장치 KR102325072B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200120388A KR102325072B1 (ko) 2020-09-18 2020-09-18 포즈 매칭 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200120388A KR102325072B1 (ko) 2020-09-18 2020-09-18 포즈 매칭 방법 및 이를 수행하기 위한 장치

Publications (1)

Publication Number Publication Date
KR102325072B1 true KR102325072B1 (ko) 2021-11-11

Family

ID=78516387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200120388A KR102325072B1 (ko) 2020-09-18 2020-09-18 포즈 매칭 방법 및 이를 수행하기 위한 장치

Country Status (1)

Country Link
KR (1) KR102325072B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411765B1 (ko) * 2021-12-01 2022-06-22 안수현 신경망을 이용한 바른 자세 추정 시스템 및 그 방법
KR20230135449A (ko) * 2022-03-16 2023-09-25 호서대학교 산학협력단 딥러닝 기반 자세 추정 시스템 및 실시간 애니메이션을 위한 딥러닝 기반의 메타버스 시스템
KR102672823B1 (ko) * 2023-10-13 2024-06-07 주식회사 핏투비 인공지능 기반 기능적 움직임 검사 서비스 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071781A (ko) 2014-12-12 2016-06-22 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
JP2018013999A (ja) * 2016-07-21 2018-01-25 日本電信電話株式会社 姿勢推定装置、方法、及びプログラム
KR20190113265A (ko) * 2018-03-28 2019-10-08 주식회사 스탠스 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템
JP2019191974A (ja) * 2018-04-26 2019-10-31 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071781A (ko) 2014-12-12 2016-06-22 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
JP2018013999A (ja) * 2016-07-21 2018-01-25 日本電信電話株式会社 姿勢推定装置、方法、及びプログラム
KR20190113265A (ko) * 2018-03-28 2019-10-08 주식회사 스탠스 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템
JP2019191974A (ja) * 2018-04-26 2019-10-31 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411765B1 (ko) * 2021-12-01 2022-06-22 안수현 신경망을 이용한 바른 자세 추정 시스템 및 그 방법
KR20230135449A (ko) * 2022-03-16 2023-09-25 호서대학교 산학협력단 딥러닝 기반 자세 추정 시스템 및 실시간 애니메이션을 위한 딥러닝 기반의 메타버스 시스템
KR102675619B1 (ko) * 2022-03-16 2024-06-19 호서대학교 산학협력단 딥러닝 기반 자세 추정 시스템 및 실시간 애니메이션을 위한 딥러닝 기반의 메타버스 시스템
KR102672823B1 (ko) * 2023-10-13 2024-06-07 주식회사 핏투비 인공지능 기반 기능적 움직임 검사 서비스 시스템

Similar Documents

Publication Publication Date Title
KR102325072B1 (ko) 포즈 매칭 방법 및 이를 수행하기 위한 장치
KR102225093B1 (ko) 카메라 포즈 추정 장치 및 방법
US9390315B1 (en) Image match for featureless objects
US9098740B2 (en) Apparatus, method, and medium detecting object pose
US9767352B2 (en) Apparatus and method for analyzing body part association
US10678342B2 (en) Method of virtual user interface interaction based on gesture recognition and related device
US11748904B2 (en) Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method
KR102552968B1 (ko) 다중 객체 추적 방법 및 이를 위한 장치
US11200694B2 (en) Apparatus and method for extracting object information
KR20180107988A (ko) 객체 탐지 장치 및 방법
KR20200079175A (ko) 행위 예측에 기초한 ar 장치 제어 방법 및 장치
US20150104065A1 (en) Apparatus and method for recognizing object in image
Ragusa et al. Egocentric Point of Interest Recognition in Cultural Sites.
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
US11941498B2 (en) Facial motion detection and image correction method and apparatus
KR101743169B1 (ko) 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
KR101541421B1 (ko) 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템
KR20190134920A (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
CN114170439A (zh) 姿态识别方法、装置、存储介质和电子设备
KR102094927B1 (ko) Qr 코드 추적 장치 및 방법
JP6836985B2 (ja) 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法
Banne et al. Object detection and translation for blind people using deep learning
US20230244713A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
KR20210085485A (ko) 분석 모델 학습 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant