KR102369151B1 - 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 - Google Patents

동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 Download PDF

Info

Publication number
KR102369151B1
KR102369151B1 KR1020210131896A KR20210131896A KR102369151B1 KR 102369151 B1 KR102369151 B1 KR 102369151B1 KR 1020210131896 A KR1020210131896 A KR 1020210131896A KR 20210131896 A KR20210131896 A KR 20210131896A KR 102369151 B1 KR102369151 B1 KR 102369151B1
Authority
KR
South Korea
Prior art keywords
motion
metadata
information
posture
extracting
Prior art date
Application number
KR1020210131896A
Other languages
English (en)
Inventor
바렌드 토마스 해리스
정현우
윤승민
Original Assignee
아이픽셀 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이픽셀 주식회사 filed Critical 아이픽셀 주식회사
Priority to KR1020210131896A priority Critical patent/KR102369151B1/ko
Priority to PCT/KR2021/014928 priority patent/WO2023058809A1/ko
Application granted granted Critical
Publication of KR102369151B1 publication Critical patent/KR102369151B1/ko
Priority to US18/626,533 priority patent/US20240249421A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명에 따른 컴퓨팅 장치에서 실행 가능한 동작 인식을 위한 메타 데이터 생성 방법은, 영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 분리하는 단계, 분리된 영상 데이터로부터 자세 정보를 추출하는 단계 및 자세 정보에서 메타데이터를 생성하는 단계를 포함한다.

Description

동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 {Metadata generation system and method for motion recognition}
본 발명은 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법에 관한 것이다.
코로나 19로 인한 실내 활동이 늘어남에 따라 영상 콘텐츠가 증가하는 추세이다. 이에, 많은 양의 영상 콘텐츠들의 내용을 이해하고, 요약 및 분석하고자 하는 연구들이 많이 진행되고 있다. 이러한 수많은 영상 콘텐츠를 보다 효율적으로 분석하기 위해서 최근 딥러닝 기술이 주목을 받고 있는데, 딥러닝 기술을 효과적이고 성공적으로 적용하기 위해서는 다양한 종류의 양질의 대용량 메타데이터를 생성하고 활용하는 것이 필수적이다.
이와 관련한 종래의 기술로, 한국공개특허 제2015-0079064호, '자동 태깅 시스템'에서는 정지영상의 시각적인 물리적인 정보, 의미론적인 정보만을 추출하는 기술이 개시되어 있고, 한국공개특허 제2011-0020158호, '메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법'에서는 이미지를 분석하여 시각정보와 장소정보를 추출하는 기술이 개시되어 있다. 그러나 이러한 종래기술은 이미지 내의 시각정보 태깅으로 한정되고, 메타데이터의 질을 보장하지 못한다. 또한, 하나의 영상에 대한 시각정보, 소리정보, 자막정보, 캡션정보를 모두 가지고 있는 통합 메타데이터를 생성할 수 없으며, 대량의 데이터 태깅을 위해서는 비용이 많이 들고 작업하기도 어렵다.
특히, 실내에서의 활동이 증가함에 따라 온라인 클래스, 홈트레이닝과 같은 영상 기반의 비대면 온라인 코칭 서비스가 주목받고 있다. 그러나 대부분의 영상 기반의 온라인 코칭 서비스는 피드백을 받을 수 있는 양방향 코칭 방식이 아닌 일방적으로 지식을 전달하는 단방향 티칭 방식으로 구현된다. 따라서 사용자는 본인이 얼마나 잘하고 있는지 혹은 결과물이 얼마나 일치하는지 스스로 판단해야 하는 문제가 발생한다. 특히 동영상을 이용한 홈트레이닝 서비스 같은 경우 단방향 코칭 방식으로 컨텐츠가 진행 된다면 사용자가 잘못된 방식으로 동작을 수행 할 가능성이 있기 때문에 부상의 위험이 존재한다.
따라서, 전술한 문제점을 해결하기 위한 사용자의 영상을 분석하여 동작을 기록하고, 피드백을 주는 시스템을 구현이 요구된다. 예를 들어, 영상 내에서 동작이 존재하는 프레임을 추출하여 동작에 대한 정보를 획득하고 획득된 동작에 대한 정보들을 이용하여 반복 횟수, 유사도와 같은 동작에 대한 정보 및 각 사용자별 동작에 대한 통계치 등의 결과를 제공 할 수 있다.
그러나 피드백을 위한 정보를 만들기 위해서는 영상내 원하는 부분을 추출하고, 이로부터 동작에 대한 여러 메타 데이터를 생성해야 하는데 이러한 메타 데이터 생성 과정은 시간이 많이 걸리고, 노동 집약적이다. 따라서 과정을 반 자동화 하여 효율적인 메타 데이터 생성을 하는 기술이 요구된다.
상술한 바와 같은 문제점을 해결하기 위해, 본 발명은 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법을 제공하고자 한다.
일 실시예에 따른, 컴퓨팅 장치에서 실행 가능한 동작 인식을 위한 메타 데이터 생성 방법은, 영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하는 단계; 분리된 영상 데이터로부터 자세 정보를 추출하는 단계; 및 자세 정보에서 메타데이터를 생성하는 단계;를 포함한다.
상기 자세 정보를 추출하는 단계는, 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계; 딥러닝 기반의 자세 인식(Pose Estimation) 모델을 이용하여 관절 정보(key points)를 추출하는 단계; 동작의 중요 자세가 결정가능한지 여부를 판별하여 중요 자세 판별이 안되는 경우, 추출된 관절 정보로부터 중요 자세를 결정하여 기준 동작을 형성하는 단계; 동작의 중요 자세가 결정가능한지 여부를 판별하여 중요 자세 판별이 가능한 경우, 동작의 중요 자세(key pose) 정보를 획득하는 단계; 및 추출된 관절 정보와 기준 동작을 대비하여 유사도를 결정하는 단계;를 포함할 수 있다.
상기 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계는, 영상 내 특정 프레임의 밝기 변화 측정 영역을 결정하는 단계; 프레임 단위로 측정 영역에 대하여 밝기 변화값을 연산하는 단계 ; 및 동작 후보 장면의 도출을 위해 획득한 밝기 변화값에서 최소 임계값과 최대 임계값 사이에서의 밝기 변화값의 시간 정보를 추출하는 단계;를 포함할 수 있다.
상기 밝기 변화값의 시간 정보를 추출하는 단계의 다음에, 추출된 시간 정보를 바탕으로 동작 장면의 시작 지점부터 종료 지점까지 동작 후보 장면의 메타데이터를 저장하는 단계;를 더 포함할 수 있다.
상기 자세 정보에서 메타데이터를 생성하는 단계는, 영상에 대한 메타 데이터를 획득하는 단계; 동작에 대한 메타 데이터를 획득하는 단계; 및 자세 메타 데이터와 동작 메타데이터를 메타 데이터 저장부에 저장하는 단계;를 포함할 수 있다.
상기 영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하는 단계는, 컴퓨터 비전 기반의 딥러닝 알고리즘을 이용하는 것일 수 있다.
상기 추출된 관절 정보로부터 중요 자세를 결정하여 기준 동작을 형성하는 단계는, 추출된 관절 정보와 기설정된 유사도를 초과한 것으로 판단되는 유사 운동을 결정하는 단계; 및 상기 유사 운동의 동작 메타 데이터를 읽어 들이는 단계;를 포함할 수 있다.
상기 유사도는 추출된 관절 정보(key points)들 사이의 거리 데이터, 각도 데이터 기반으로 결정도리 수 있다. 것인 메타 데이터 생성 방법.
상기 유사 운동의 동작 운동 메타 데이터를 읽어 들이는 단계 이후에, 기준 동작의 메타 데이터를 미세 조정 하는 단계를 더 포함할 수 있다.
상기 기준 동작의 메타 데이터를 미세 조정 하는 단계는, 동작 발생의 사용자를 판별하고 유사 운동의 동작 운동 메타 데이터의 사용자를 판별하여 양자가 동일하거나, 또는 동작 발생의 사용자의 메타 데이터와 유사 운동의 사용자 메타 데이터가 유사한 경우, 기준 동작의 메타 데이터를 미세 조정함에 있어서 유사 운동 사용자 메타 데이터를 바탕으로 미세 조정하는 단계일 수 있다.
본 발명에 따른 메타 데이터 생성 시스템은, 네트워크를 통해 외부와 송수신 가능한 송수신부; 메타 데이터 생성 시스템을 제어하는 어플리케이션을 저장하고, 영상 컨텐츠를 저장하는 영상 저장부와 자세 메타 데이터 및 동작 메타 데이터를 저장하는 메타 데이터 저장부를 포함하는 메모리부; 및 상기 메모리부로부터 어플리케이션을 읽어들여 제어하는 프로세서;를 포함하고, 상기 어플리케이션은, 영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하고, 분리된 영상 데이터로부터 자세 정보를 추출하고 및 자세 정보에서 메타데이터를 생성할 수 있다.
본 발명에 따른 컴퓨팅 장치에서 실행 가능한 동작 인식을 위한 메타 데이터 생성 방법 및 생성 시스템은 영상 데이터 내에 사람이 존재한 장면 및 동작이 존재하는 장면의 추출을 사람의 판단이 아닌 시스템이 자동으로 판단하도록 구현할 수 있다. 또한, 이미지가 아닌 메타 데이터 형태로 저장함으로써 효율적인 피드백의 제공 및 최적의 용량 관리가 가능하다.
또한 본 발명에 따른 컴퓨팅 장치에서 실행 가능한 동작 인식을 위한 메타 데이터 생성 방법 및 생성 시스템은 각 장면에 대하여 사용자의 관절 정보를 획득하고 획득 과정을 자동화하였고, 이를 수정 및 편집 할 수 있다. 획득한 관절 정보를 이용하여 최종적으로 사람 동작에 대한 정보를 메타 데이터 형태로 저장하여 수정 및 편집 가능하며 효율적으로 관리 할 수 있다.
발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 메타 데이터 생성 방법을 나타낸 순서도이다.
도 2는 본 발명에 따른 메타 데이터 생성 방법을 세부적으로 나타낸 순서도이다.
도 3은 본 발명에 따른 메타 데이터 생성 방법을 세부적으로 나타낸 순서도이다.
도 4는 본 발명에 따른 메타 데이터 생성 방법을 세부적으로 나타낸 순서도이다.
도 5는 본 발명에 따른 메타 데이터 생성 시스템을 나타낸 블록도이다.
도 6은 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 방법을 예시적으로 나타낸 도면이다.
도 7은 영상 내에서 동작이 존재하는 씬을 획득한 알고리즘을 예시적으로 나타낸 도면이다.
도 8은 동작이 존재하는 씬에서 관절 정보를 도출하고 기준 자세와 대비하는 예시를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 개시에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성 요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명될 수 있다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재된 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위 또는 당해 기술 분야에 속한 통상의 기술자가 자명하게 이해할 수 있는 범위 내에서 구체적인 설명은 생략될 수 있다.
이하, 본 개시의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
이하, 본 발명의 바람직한 실시예 및 첨부한 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 본 발명에 따른 메타 데이터 생성 방법을 나타낸 순서도이다. 도 1을 참조하면, 본 발명에 따른 메타 데이터 생성 방법은,
영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하는 단계(S100), 분리된 영상 데이터로부터 자세 정보를 추출하는 단계(S200), 자세 정보에서 메타데이터를 생성하는 단계(S300)를 포함한다.
본 발명에 따른 메타 데이터 생성 방법은 영상 콘텐츠에서 제공되는 동작과 사용자의 동작을 비교하여 자동화된 피드백을 주기 위해서 영상 내의 동작을 분리 추출하여야 하므로 영상의 각 씬(scene) 에 어떠한 동작들이 존재하는지, 존재하는 동작들이 어떤 동작인지 분석이 요구된다.
영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하는 단계(S100)는 이러한 측면에서 영상 데이터를 씬 단위로 해석하여 동작 발생 부분을 분리 추출할 수 있다. 영상 데이터에는 동작 뿐만 아니라 사물 및 배경 등의 복합 데이터가 존재하는데, 본 발명에 있어서는 오직 효율적인 피드백을 위한 동작 데이터만이 요구된다. 따라서, 영상 데이터 중 사용자가 의도하는 동작이 존재하는 부분의 프레임 정보를 포함하는 씬을 선택하는 과정이 본 단계(S100)에서 수행된다.
본 단계(S100)는 컴퓨터 비전 기반의 딥러닝 알고리즘을 이용하는 것 일 수 있다.
분리된 영상 데이터로부터 자세 정보를 추출하는 단계(S200)는, 씬으로 구분된 영상에서 동작의 중요 자세(key pose)에 해당하는 부분의 프레임을 추출하여 자세 정보를 획득하고 사전 정의된 동작과 비교하는 단계이다. 만약 동작이 사전 정의되지 않은 경우, 딥러닝을 이용한 자세 인식(Pose estimation) 모델을 이용하여 자동으로 관절 (key points) 정보를 추출하고 유사 운동의 메타 정보를 불러와 자동으로 미세조정 함으로써 새로운 동작에 대한 메타 정보의 생성이 가능하다. 본 단계(S200)에 대한 세부적인 단계는 도 2 및 도 3에서 후술한다. 자세 인식모델은 딥러닝 모델을 활용한 것으로 위치 정보만을 획득하는 2D 모델뿐만 아니라 깊이 정보까지 획득하는 3D 모델을 포함한다.
자세 정보에서 메타데이터를 생성하는 단계(S300)는, 전 단계(S200)를 통해 모든 동작에 대해 구분이 되어 씬이 나뉘어지고 자세 정보가 추출되고 나면, 영상 메타 정보를 통하여 각 동작의 발생시각과 각 동작을 구분 할 수 있게 된다. 최종적으로 얻어진 메타 데이터들은 시스템(도 5의100) 관리하는 별도의 메모리(도 5의 101)에 저장된다. 세부적으로 메타 데이터는 자세 메타 데이터(key pose metadata)와 동작 메타 데이터(movement metadata)로 구분될 수 있다. 동작 메타 데이터(movement metadata)는 동작이 발생하는 시작 시간과 끝나는 시간, 동작의 id 및 반복 횟수 정보를 포함할 수 있다. 자세 메타 데이터는 중요 자세에 대한 관절 좌표 정보, 사람의 크기, 비율과 같은 객체에 대한 정보와 동작 반복 간격에 대한 메타 데이터를 포함할 수 있다.
도 2는 본 발명에 따른 메타 데이터 생성 방법을 세부적으로 나타낸 순서도이다. 도 2를 참조하면, 자세 정보를 추출하는 단계(S200)는, 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계(S210), 딥러닝 기반의 자세 인식(Pose Estimation) 모델을 이용하여 관절 정보(key points)를 추출하는 단계(S220), 관절 정보를 바탕으로 동작의 주요 자세가 결정한지 여부에 따라, 불가능할 경우, 추출된 관절 정보로부터 중요 자세를 결정하여 기준 동작을 형성하는 단계(S230) 및 가능할 경우 핵심이 되는 동작들의 관절 정보를 이용하여 동작의 중요 자세(key pose) 정보를 획득하는 단계(S240) 및 추출된 관절 정보와 기준 동작을 대비하여 유사도를 결정하는 단계(S250)를 포함한다.
영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계(S210)는, 사물, 배경의 밝기 변화값이 매우 작거나 장면의 변화에 따라 매우 급격한 변화값을 가지는 반면, 동일 객체의 연속적인 동작은 밝기의 변화량이 소정의 범위에 들어오도록 점진적으로 변화하는 특성을 이용하여 동작 발생 프레임을 추출한다. 본 발명에 따른 방법 및 시스템은 동작이 진행되는 프레임의 자동으로 찾기 위하여 영상 밝기(intensity) 변화 정도를 기반으로 한 컴퓨터 비전 알고리즘을 채용할 수 있다. 자세한 알고리즘은 도 3에서 후술한다.
딥러닝 기반의 자세 인식(Pose Estimation) 모델을 이용하여 관절 정보(key points)를 추출하는 단계(S220)는, 선택된 장면으로부터 딥러닝 기반의 자세 인식 모델을 사용하여 관절 정보(key points)를 추출한다. 추출한 관절 정보는 기준(reference)이 되는 동작인 중요 자세(key pose)에 대한 메타 데이터를 생성하는데 필요하다. 본 명세서에서 각 동작에 대해 해당 동작을 수행하기 위해 필수가 되는 자세를 중요 자세(key pose)라 하고, 동작 별로 중요 자세를 설정하는 것이 요구된다.
관절 정보를 바탕으로 동작의 주요 자세가 결정한지 여부에 따라, 불가능할 경우, 추출된 관절 정보로부터 중요 자세를 결정하여 기준 동작을 형성하는 단계(S230)는, 동작이 사전 정의되지 않은 경우 추출된 관절 정보를 바탕으로 유사 운동의 메타 데이터를 불러들여 기준 동작을 형성할 수 있다.
기준 동작을 형성하는 단계는 하기의 단계로 구성될 수 있다.
1) 추출된 관절 정보와 기설정된 유사도를 초과한 것으로 판단되는 유사 운동을 결정하는 단계; 및
2) 상기 유사 운동의 동작 메타 데이터를 읽어 들이는 단계;
3) 상기 유사 운동의 동작 운동 메타 데이터를 읽어 들이는 단계 이후에, 기준 동작의 메타 데이터를 미세 조정 하는 단계
상기 기준 동작의 메타 데이터를 미세 조정 하는 단계는, 동작 발생의 사용자를 판별하고 유사 운동의 동작 운동 메타 데이터의 사용자를 판별하여 양자가 동일하거나, 또는 동작 발생의 사용자의 메타 데이터와 유사 운동의 사용자 메타 데이터가 유사한 경우, 기준 동작의 메타 데이터를 미세 조정함에 있어서 유사 운동 사용자 메타 데이터를 바탕으로 미세 조정하는 단계인 것을 특징으로 한다.
관절 정보를 바탕으로 동작의 주요 자세가 결정한지 여부에 따라, 가능할 경우 핵심이 되는 동작들의 관절 정보를 이용하여 동작의 중요 자세(key pose) 정보를 획득하는 단계(S240)는, 추출된 관절 정보에 대응하는 기결정된 중요 자세 정보와 매칭 여부를 통해 중요 자세 정보를 획득할 수 있다. 중요 자세는 일반적으로 사전 정의를 하는데, 사전 정의를 할 때는 딥러닝 모델이 사용 될 수 있다.
각 중요자세 (key pose)는 메타 데이터로 저장이 될 수 있다. 중요 자세의 관절 좌표 정보(key points)를 이용한다면 사람의 크기를 근사하는 값, 같은 동작에 대해 동일 위치에서 중요 자세를 비교하게 할 수 있는 중심 좌표 정보, 그리고 각 관절의 중요도에 대한 메타 데이터를 생성할 수 있다. 또한 회전 유무와 회전 방향, 만약 동작의 중요 자세가 멈추어 있는 자세라면(Ex.플랭크) 몇초동안 멈추어있는지, 관절을 추정하는 딥러닝 모델이 잘 동작하는지에 대하여 메타 데이터를 생성할 수 있다. 먼저 관절 정보를 통하여 얻어지는 메타 데이터들의 생성 방법은 다음과 같다.
1) 사람의 크기의 경우 일반적으로 관절로부터 몸통(torso)에 해당하는 부분을 따로 추출하여 높이를 계산하고, 계산한 값에 상수를 곱해 줌으로 써 근사 할 수 있다. 최종적으로 상수와 몸통 혹은 기준이 되는 좌표를 메타 데이터로써 저장한다.
2) 중심 좌표의 경우 동작에 대해 중요 자세를 수행함에 있어, 최대한 변하지 않는 관절들을 선택하여 메타 데이터로 저장한다.
3) 관절의 중요도는 중요 자세를 수행함에 있어, 핵심이 되는 관절을 의미한다. 기본적으로 중요도를 0으로 설정하고, 핵심이 되는 관절의 중요도를 0과 1사이의 값으로 설정하여 저장한다.
관절 정보를 사용하지 않는 메타 데이터들은 다음과 같이 설정한다.
1) 회전 데이터에 대해서는 사람의 얼굴이 어느 방향을 향하고 있는지를 기준으로 각도를 결정한다. 예를 들어, 0도, -90도, 90도 중 어느 하나의 값을 가질 수 있다.
2) 동작의 멈춤 유무는 동작과 그 중요자세를 결정 한 뒤 해당 동작, 자세가 정지되어 있는 시간을 연산하여 메타 데이터로 저장한다.
3) 딥러닝 모델의 동작 유무는, 자세에 따라서 관절 추정이 잘 되지않는 경우가 있는데, 이에 대한 추정 여부에 대한 내용을 메타데이터로 저장할 수 있다.
추출된 관절 정보와 기준 동작을 대비하여 유사도를 결정하는 단계(S250)는 유사도는 추출된 관절 정보(key points)들 사이의 거리 데이터, 각도 데이터 기반으로 결정될 수 있다.
도 3은 본 발명에 따른 메타 데이터 생성 방법을 세부적으로 나타낸 순서도이다. 도 3을 참조하면, 상기 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계(S210)는 다음의 단계를 포함한다. 영상 내 특정 프레임의 밝기 변화 측정 영역을 결정하는 단계(S211), 프레임 단위로 측정 영역에 대하여 밝기 변화값을 연산하는 단계(S212), 동작 후보 장면의 도출을 위해 획득한 밝기 변화값에서 최소 임계값과 최대 임계값 사이에서의 밝기 변화값의 시간 정보를 추출하는 단계(S213)를 포함한다. 밝기 변화값의 시간 정보를 추출하는 단계(S213)의 다음에, 추출된 시간 정보를 바탕으로 동작 장면의 시작 지점부터 종료 지점까지 동작 후보 장면의 메타데이터를 저장하는 단계(S214)를 더 포함한다.
전술한바와 같이 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계(S210)는, 사물, 배경의 밝기 변화값이 매우 작거나 장면의 변화에 따라 매우 급격한 변화값을 가지는 반면, 동일 객체의 연속적인 동작은 밝기의 변화량이 소정의 범위에 들어오도록 점진적으로 변화하는 특성을 이용하는 것이다.
영상 내 특정 프레임의 밝기 변화 측정 영역을 결정하는 단계(S211)는 영상 내 밝기 변화를 측정하고자 하는 영역을 정의한다. 예를 들어 영역은, 영상의 전체 혹은 일부분으로 정의될 수 있다.
프레임 단위로 측정 영역에 대하여 밝기 변화값을 연산하는 단계(S212)는 현재 프레임에서 이전 프레임 밝기를 뺀 값으로 정의한다. 일반적으로 N 프레임 이전값과 현재 값의 밝기 차이를 구한다. 일반적으로 N=10으로 한다. 효율적으로 밝기 변화를 구하기 위하여 N의 크기를 가지는 큐(queue) 자료구조를 이용할 수 있다. 변화값은 영상 데이터의 모든 프레임에 대하여 구해질 수 있다.
동작 후보 장면의 도출을 위해 획득한 밝기 변화값에서 최소 임계값과 최대 임계값 사이에서의 밝기 변화값의 시간 정보를 추출하는 단계(S213)는 원하는 동작이 존재하는 후보(candidate) 장면을 나누기 위하여 획득한 밝기 변화값에서 최소 임계값(minimum threshold)과 최대 임계값(maximum threshold)를 정하여 그 사이에 존재하는 밝기 변화값의 시간 정보를 추출한다. 추출한 시간 정보중 가장 앞에 있는 시간을 최초 동작 시작 시간으로 하여 (동작 시작, 동작 끝)의 정보를 만들어낸다. 예를 들어 시간 정보가 1,6,159,253,300,350, ? 의 값이 얻어졌다고 하면 (1,6), (159, 253), (300, 350), ? 의 값을 만들어 낸다. 이를 이용하여 동작이 존재하는 장면의 시간을 자동으로 획득 할 수 있다
추출된 시간 정보를 바탕으로 동작 장면의 시작 지점부터 종료 지점까지 동작 후보 장면의 메타데이터를 저장하는 단계(S214)는 획득 한 장면은 영상이 아닌 메타 데이터 형태로 저장이 된다. 저장 된 영상에 관한 메타 데이터는 동작의 id와 시작 및 끝나는 시간, 경우에 따라 반복 횟수 정보를 포함한다.
도 4는 본 발명에 따른 메타 데이터 생성 방법을 세부적으로 나타낸 순서도이다. 도 4를 참조하면, 자세 정보에서 메타데이터를 생성하는 단계(S300)는, 영상에 대한 메타 데이터를 획득하는 단계(S310), 동작에 대한 메타 데이터를 획득하는 단계(S320) 및 자세 메타 데이터와 동작 메타데이터를 메타 데이터 저장부에 저장하는 단계(S330)를 포함한다.
도 5는 본 발명에 따른 메타 데이터 생성 시스템(100)을 나타낸 블록도이다. 메타 데이터 생성 시스템(100)은 메모리(101), 프로세서(103), 송수신부(104), 출력부(105), 입력부(106), 및 메모리(101)에서 읽어져 프로세서(103)에 의해 제어되는 어플리케이션(102)을 포함한다.
프로세서(103)는 단말에 구성되는 메모리(101)에 저장된 프로그램 및 데이터를 이용하여 단말의 전반적인 제어 기능을 실행한다. 프로세서(103)는 RAM(random access memory), ROM(read only memory), CPU(central processing unit), GPU(graphic processing unit), 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. 프로세서(103)는 저장부에 액세스하여, 메모리(101)에 저장된 O/S(operating system)를 이용하여 부팅을 수행할 수 있으며, 메모리(101)에 저장된 어플리케이션(102)을 이용하여 어플리케이션부로 동작하면서 본 발명에서 설명하는 다양한 동작을 수행하도록 구성될 수 있다. 프로세서(103)는 노드의 장치 내 구성들, 즉, 메모리(101), 입력부(106), 출력부(105), 송수신부(104) 및 카메라(미도시)를 제어함으로써 본 발명에서 개시되는 다양한 실시 예들을 수행하도록 구성될 수 있다.
이외에도 메타 데이터 생성 시스템(100)은 어플리케이션(102) 관련 데이터를 비롯한 각종 데이터를 저장하는 메모리(101), 사용자 입력을 수신하는 입력부(106), 각종 정보를 표시하는 출력부(105), 타 단말과의 통신을 위한 송수신부(104) 등과 같은 다양한 구성부를 포함하여 구성될 수 있다.
메모리(101)는 데이터베이스(database, DB)로 구성되거나, 물리적인 하드디스크(hard disk), SSD(solid state drive), 웹하드(web hard) 등과 같은 다양한 저장 수단으로 구성될 수 있다.
입력부(106) 및 출력부(105)는 스마트폰에서 터치 디스플레이의 형태로 동시에 입출력부로서 구성될 수 있다. 입력부(106)는 물리적 키보드 장치, 터치 디스플레이, 카메라를 구성하는 이미지 입력 센서, 지문을 입력받는 센서, 홍채를 인식하는 센서 등으로 구성될 수 있다. 출력부(105)는 모니터, 터치 디스플레이 등으로 구성될 수 있다. 그러나 이에 한정되는 것은 아니며 퍼스널 컴퓨터(PC) 등에서 입력부로 이용되는 키보드, 마우스, 터치스크린 및 출력부로 이용되는 모니터, 스피커 등의 구성을 포함할 수 있음은 물론이다.
송수신부(104)는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 구성될 수 있다.
또한, 이런 메타 데이터 생성 시스템(100)은 스마트폰(smart phone), 휴대폰, PDA(personal digital assistant), PMP(portable multimedia player), 태블릿 PC 등과 같이 무선 통신망을 통하여 외부 서버와 연결될 수 있는 모든 종류의 핸드헬드(handheld) 기반의 무선 통신 장치를 포함할 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 네트워크를 통하여 외부 서버와 연결될 수 있는 통신 장치도 포함할 수 있다.
어플리케이션(102)은 영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하고, 분리된 영상 데이터로부터 자세 정보를 추출하고 및 자세 정보에서 메타데이터를 생성한다. 어플리케이션(102)이 수행하는 메타데이터 생성 방법은 도 1 내지 도 4에서 전술한 바와 같으므로 중복되는 설명은 생략한다.
도 6은 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 방법을 예시적으로 나타낸 도면이다. 도 6을 참조하면, 원하는 동작이 존재하는 후보(candidate) 장면을 나누기 위하여 획득한 밝기 변화값에서 최소 임계값(minimum threshold)과 최대 임계값(maximum threshold)를 정하여 그 사이에 존재하는 밝기 변화값의 시간 정보를 추출하는 예시가 도시된다.
도 7은 영상 내에서 동작이 존재하는 씬을 획득한 알고리즘을 예시적으로 나타낸 도면이다. 도 7을 참조하면, 획득 한 영상을 장면이 바뀌는 씬(Scene) 단위로 자동으로 나눈 뒤 동작을 수행하기 위해 필수가 되는 자세를 중요 자세(key pose)를 도출하고 영상 내 해당 동작 메타 데이터를 확보하는 예시가 도시된다.
도 8은 동작이 존재하는 씬에서 관절 정보를 도출하고 기준 자세와 대비하는 예시를 나타낸 도면이다. 도 8을 참조하면, 관절 정보를 도출한 예시를 바탕으로 중요자세의 도출 및 유사도 결정의 예시가 도시된다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

  1. 컴퓨팅 장치에서 실행 가능한 동작 인식을 위한 메타 데이터 생성 방법에서,
    영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하는 단계;
    분리된 영상 데이터로부터 자세 정보를 추출하는 단계; 및
    자세 정보에서 메타데이터를 생성하는 단계;를 포함하고,
    상기 자세 정보를 추출하는 단계는,
    딥러닝 기반의 자세 인식(Pose Estimation) 모델을 이용하여 관절 정보(key points)를 추출하는 단계 및 동작의 중요 자세(key pose)가 결정가능한지 여부를 판별하여 중요 자세 판별이 안되는 경우, 추출된 관절 정보로부터 중요 자세를 결정하여 기준 동작을 형성하는 단계;를 포함하며,
    상기 기준 동작을 형성하는 단계는,
    추출된 관절 정보와 기설정된 유사도를 초과하여 사전에 정의되어 있지 않은 중요 자세로 판단되는 경우, 유사 운동으로 결정하는 단계; 및 상기 유사 운동의 동작 메타 데이터를 읽어 들이는 단계;를 포함하고,
    상기 중요 자세의 관절 좌표 정보(key points)는 사람의 크기를 근사하는 값 및 같은 동작에 대해 동일 위치에서 중요 자세를 비교할 수 있는 중심 좌표 정보로서 몸통(torso) 정보를 이용하는 것을 특징으로 하는 메타 데이터 생성 방법.
  2. 제1 항에 있어서,
    상기 자세 정보를 추출하는 단계는,
    영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계;
    동작의 중요 자세가 결정가능한지 여부를 판별하여 중요 자세 판별이 가능한 경우, 동작의 중요 자세(key pose) 정보를 획득하는 단계; 및
    추출된 관절 정보와 기준 동작을 대비하여 유사도를 결정하는 단계;를 포함하는 메타 데이터 생성 방법.
  3. 제2 항에 있어서,
    상기 영상 밝기 변화 정도를 바탕으로 동작 발생 프레임을 추출하는 단계는,
    영상 내 특정 프레임의 밝기 변화 측정 영역을 결정하는 단계;
    프레임 단위로 측정 영역에 대하여 밝기 변화값을 연산하는 단계 ; 및
    동작 후보 장면의 도출을 위해 획득한 밝기 변화값에서 최소 임계값과 최대 임계값 사이에서의 밝기 변화값의 시간 정보를 추출하는 단계;를 포함하는 메타 데이터 생성 방법.
  4. 제3 항에 있어서,
    상기 밝기 변화값의 시간 정보를 추출하는 단계의 다음에,
    추출된 시간 정보를 바탕으로 동작 장면의 시작 지점부터 종료 지점까지 동작 후보 장면의 메타데이터를 저장하는 단계;를 더 포함하는 메타 데이터 생성 방법.
  5. 제1 항에 있어서,
    상기 자세 정보에서 메타데이터를 생성하는 단계는,
    영상에 대한 메타 데이터를 획득하는 단계;
    동작에 대한 메타 데이터를 획득하는 단계; 및
    자세 메타 데이터와 동작 메타데이터를 메타 데이터 저장부에 저장하는 단계;를 포함하는 메타 데이터 생성 방법.
  6. 제1 항에 있어서,
    상기 영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하는 단계는,
    컴퓨터 비전 기반의 딥러닝 알고리즘을 이용하는 것인 메타 데이터 생성 방법.
  7. 삭제
  8. 제1 항에 있어서,
    상기 유사도는 추출된 관절 정보(key points)들 사이의 거리 데이터, 각도 데이터 기반으로 결정되는 것인 메타 데이터 생성 방법.
  9. 제1 항에 있어서,
    상기 유사 운동의 동작 운동 메타 데이터를 읽어 들이는 단계 이후에,
    기준 동작의 메타 데이터를 미세 조정 하는 단계를 더 포함하는 메타 데이터 생성 방법.
  10. 제9 항에 있어서,
    상기 기준 동작의 메타 데이터를 미세 조정 하는 단계는,
    동작 발생의 사용자를 판별하고 유사 운동의 동작 운동 메타 데이터의 사용자를 판별하여 양자가 동일하거나,
    또는 동작 발생의 사용자의 메타 데이터와 유사 운동의 사용자 메타 데이터가 유사한 경우, 기준 동작의 메타 데이터를 미세 조정함에 있어서 유사 운동 사용자 메타 데이터를 바탕으로 미세 조정하는 단계인 것을 특징으로 하는 메타 데이터 생성 방법.
  11. 본 발명에 따른 메타 데이터 생성 시스템은,
    네트워크를 통해 외부와 송수신 가능한 송수신부;
    메타 데이터 생성 시스템을 제어하는 어플리케이션을 저장하고, 영상 컨텐츠를 저장하는 영상 저장부와 자세 메타 데이터 및 동작 메타 데이터를 저장하는 메타 데이터 저장부를 포함하는 메모리부; 및
    상기 메모리부로부터 어플리케이션을 읽어들여 제어하는 프로세서;를 포함하고,
    상기 어플리케이션은,
    영상에서 장면이 바뀌는 씬(scene) 단위로 동작 발생 부분을 추출하고,
    분리된 영상 데이터로부터 자세 정보를 추출하고 자세 정보에서 메타데이터를 생성하되,
    상기 자세 정보 추출 시, 딥러닝 기반의 자세 인식(Pose Estimation) 모델을 이용하여 관절 정보(key points)를 추출하고 동작의 중요 자세(key pose)가 결정가능한지 여부를 판별하여 중요 자세 판별이 안되는 경우, 추출된 관절 정보로부터 중요 자세를 결정하여 기준 동작을 형성하며,
    상기 기준 동작 형성 시, 추출된 관절 정보와 기설정된 유사도를 초과하여 사전에 정의되어 있지 않은 중요 자세로 판단되는 경우, 유사 운동으로 결정하고 상기 유사 운동의 동작 메타 데이터를 읽어 들이고,
    상기 중요 자세의 관절 좌표 정보(key points)는 사람의 크기를 근사하는 값 및 같은 동작에 대해 동일 위치에서 중요 자세를 비교할 수 있는 중심 좌표 정보로서 몸통(torso) 정보를 이용하는 메타 데이터 생성 시스템.
KR1020210131896A 2021-10-05 2021-10-05 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 KR102369151B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210131896A KR102369151B1 (ko) 2021-10-05 2021-10-05 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법
PCT/KR2021/014928 WO2023058809A1 (ko) 2021-10-05 2021-10-22 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법
US18/626,533 US20240249421A1 (en) 2021-10-05 2024-04-04 Generation system and generation method for metadata for movement estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210131896A KR102369151B1 (ko) 2021-10-05 2021-10-05 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법

Publications (1)

Publication Number Publication Date
KR102369151B1 true KR102369151B1 (ko) 2022-03-02

Family

ID=80815346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210131896A KR102369151B1 (ko) 2021-10-05 2021-10-05 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법

Country Status (3)

Country Link
US (1) US20240249421A1 (ko)
KR (1) KR102369151B1 (ko)
WO (1) WO2023058809A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118718A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd シーン変化点検出方法および装置並びにプログラム
KR20190097687A (ko) * 2018-02-13 2019-08-21 삼성전자주식회사 전자 장치 및 전자 장치의 요약 영상 생성 방법
JP2021141434A (ja) * 2020-03-05 2021-09-16 Kddi株式会社 シーン抽出方法、装置およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2802348A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US20130178960A1 (en) * 2012-01-10 2013-07-11 University Of Washington Through Its Center For Commercialization Systems and methods for remote monitoring of exercise performance metrics
US9501942B2 (en) * 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
JP6359343B2 (ja) * 2013-07-01 2018-07-18 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
US9589207B2 (en) * 2013-11-21 2017-03-07 Mo' Motion Ventures Jump shot and athletic activity analysis system
US9619039B2 (en) * 2014-09-05 2017-04-11 The Boeing Company Obtaining metrics for a position using frames classified by an associative memory
US20180204481A1 (en) * 2017-01-18 2018-07-19 Behzad Nejat Method of creating and distributing digital data sets to improve performance of physical activities
US11521326B2 (en) * 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
US11557215B2 (en) * 2018-08-07 2023-01-17 Physera, Inc. Classification of musculoskeletal form using machine learning model
KR102148392B1 (ko) * 2018-11-12 2020-08-26 주식회사 코난테크놀로지 동영상 메타데이터 태깅 시스템 및 그 방법
US11521373B1 (en) * 2019-03-22 2022-12-06 Bertec Corporation System for estimating a three dimensional pose of one or more persons in a scene
WO2021007581A1 (en) * 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive personal training system
CN110991319B (zh) * 2019-11-29 2021-10-19 广州市百果园信息技术有限公司 手部关键点检测方法、手势识别方法及相关装置
CN113345069A (zh) * 2020-03-02 2021-09-03 京东方科技集团股份有限公司 三维人体模型的建模方法、装置、系统及存储介质
KR102152237B1 (ko) * 2020-05-27 2020-09-04 주식회사 와치캠 상황 분석 기반의 cctv 관제 방법 및 시스템
US20220054892A1 (en) * 2020-08-21 2022-02-24 Craig North System and Method for Providing Real-Time Feedback Related to Fitness Training
US20220066544A1 (en) * 2020-09-01 2022-03-03 Georgia Tech Research Corporation Method and system for automatic extraction of virtual on-body inertial measurement units
WO2022141376A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 一种位姿估计方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118718A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd シーン変化点検出方法および装置並びにプログラム
KR20190097687A (ko) * 2018-02-13 2019-08-21 삼성전자주식회사 전자 장치 및 전자 장치의 요약 영상 생성 방법
JP2021141434A (ja) * 2020-03-05 2021-09-16 Kddi株式会社 シーン抽出方法、装置およびプログラム

Also Published As

Publication number Publication date
WO2023058809A1 (ko) 2023-04-13
US20240249421A1 (en) 2024-07-25

Similar Documents

Publication Publication Date Title
US11875467B2 (en) Processing method for combining a real-world environment with virtual information according to a video frame difference value to provide an augmented reality scene, terminal device, system, and computer storage medium
US10616475B2 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
US10318797B2 (en) Image processing apparatus and image processing method
US8971585B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
US9092662B2 (en) Pattern recognition method and pattern recognition apparatus
US8934759B2 (en) Video editing apparatus and video editing method
KR102169925B1 (ko) 이미지 캡션 자동 생성 방법 및 시스템
CN105426827A (zh) 活体验证方法、装置和系统
CN111723784B (zh) 一种风险视频识别方法、装置和电子设备
JP2004199669A (ja) 顔検出
CN111241340A (zh) 视频标签确定方法、装置、终端及存储介质
KR20210079542A (ko) 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템
CN109858464B (zh) 底库数据处理方法、人脸识别方法、装置和电子设备
CN112995757B (zh) 视频剪裁方法及装置
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
KR102369152B1 (ko) 인공지능을 이용한 실시간 자세 동작 인식 시스템 및 인식 방법
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
CN111491179B (zh) 一种游戏视频剪辑方法和装置
KR102369151B1 (ko) 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법
CN112700568A (zh) 一种身份认证的方法、设备及计算机可读存储介质
CN111461971B (zh) 图像处理方法、装置、设备及计算机可读存储介质
US11210335B2 (en) System and method for judging situation of object

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant