KR102092630B1 - 영상 모션 인식 장치 및 방법 - Google Patents
영상 모션 인식 장치 및 방법 Download PDFInfo
- Publication number
- KR102092630B1 KR102092630B1 KR1020190130625A KR20190130625A KR102092630B1 KR 102092630 B1 KR102092630 B1 KR 102092630B1 KR 1020190130625 A KR1020190130625 A KR 1020190130625A KR 20190130625 A KR20190130625 A KR 20190130625A KR 102092630 B1 KR102092630 B1 KR 102092630B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- motion
- unit
- person
- image data
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims description 25
- 238000012937 correction Methods 0.000 claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 238000013500 data storage Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000013075 data extraction Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G06K9/00335—
-
- G06K9/00711—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Abstract
본 발명의 일 실시예에 따른 영상 모션 인식 장치는 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 저장하는 인물 데이터 저장부, 대상자가 사용하는 대상자 단말로부터 상기 대상자가 선택한 인물에 대한 정보를 포함하는 인물 정보를 수신하는 인물 정보 수신부, 모션을 취하는 대상자의 촬영한 모션 데이터를 수신하는 모션 데이터 수신부, 상기 모션 데이터로부터 상기 대상자의 신체를 추출하여 신체 데이터를 생성하는 신체 데이터 생성부, 상기 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하는 후보 영역 생성부, 상기 후보 영역 각각을 기준 크기로 변환하는 크기 변환부, 딥러닝 알고리즘을 이용하여 상기 기준 크기로 변환된 후보 영역 각각에 대한 특징 추출하여, 해당 후보 영역에 포함되어 있는 신체 부위를 인식하는 객체 인식부, 상기 객체 인식부에 의해서 인식된 신체 부위를 머신 러닝 알고리즘을 이용하여 분류하고, 분류된 신체 부위의 이미지 데이터 각각의 단위셀에 상응하는 매칭 데이터를 상기 대상자가 선택한 인물의 이미지 데이터 또는 영상 데이터로부터 추출하는 매칭 데이터 추출부, 및 상기 분류된 이미지 데이터를 상기 매칭 데이터로 변환 후, 기존 후보 영역의 크기로 변환한 보정 데이터를 상기 대상자 단말에 출력하는 보정 데이터 출력부를 포함한다.
Description
본 발명은 영상 모션 인식 장치 및 방법에 관한 것으로 보다 상세하게는 딥 러닝 기술을 활용한 영상 모션 인식 장치 및 방법에 관한 것이다.
영상에서 객체 형태의 특징을 판별하고 이러한 정보를 어떻게 설계 및 검출할 것인가에 대한 다양한 방법들이 연구가 진행되고 있다. 이러한 객체 인식 영상 처리는 교육, 쇼핑, 교통 등 모든 산업에 직접적 혹은 간접적으로 영향을 미치고 있으며, 현대 사회에서 필요한 인식 관련 문제들을 해결할 실마리가 될 수 있다.
기존의 객체 인식 영상 처리 및 모션 인식 기술은 퍼포먼스 캡처 환경 제작 프로세스에 따라 데이터의 물리적 시간적 동기화 공정이 필요하며, 하드웨어 제원 상의 한계로 인하여 다수의 모션 인식을 동시에 처리하기가 불가능하다.
본 명세서에서는 이러한 한계에서 자유로울 수 있고, 하드웨어 장치가 별도로 필요하지 않는 영상 모션 인식 장치 및 방법을 소개하고자 한다.
[선행문헌]
등록 특허 10-1990123
본 발명은 영상 모션 인식 장치 및 방법에 관한 것으로 보다 상세하게는 딥 러닝 기술을 활용한 영상 모션 인식 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 영상 모션 인식 장치는 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 저장하는 인물 데이터 저장부, 대상자가 사용하는 대상자 단말로부터 상기 대상자가 선택한 인물에 대한 정보를 포함하는 인물 정보를 수신하는 인물 정보 수신부, 모션을 취하는 대상자의 촬영한 모션 데이터를 수신하는 모션 데이터 수신부, 상기 모션 데이터로부터 상기 대상자의 신체를 추출하여 신체 데이터를 생성하는 신체 데이터 생성부, 상기 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하는 후보 영역 생성부, 상기 후보 영역 각각을 기준 크기로 변환하는 크기 변환부, 딥러닝 알고리즘을 이용하여 상기 기준 크기로 변환된 후보 영역 각각에 대한 특징 추출하여, 해당 후보 영역에 포함되어 있는 신체 부위를 인식하는 객체 인식부, 상기 객체 인식부에 의해서 인식된 신체 부위를 머신 러닝 알고리즘을 이용하여 분류하고, 분류된 신체 부위의 이미지 데이터 각각의 단위셀에 상응하는 매칭 데이터를 상기 대상자가 선택한 인물의 이미지 데이터 또는 영상 데이터로부터 추출하는 매칭 데이터 추출부, 및 상기 분류된 이미지 데이터를 상기 매칭 데이터로 변환 후, 기존 후보 영역의 크기로 변환한 보정 데이터를 상기 대상자 단말에 출력하는 보정 데이터 출력부를 포함한다.
상기 딥러닝 알고리즘은 R-CNN(Region Proposal-Convolutional Neural Network) 신경망을 통한 알고리즘이고, 상기 머신 러닝 알고리즘은 서포트 벡터 머신(Support Vector Machine)을 이용한 알고리즘이다.
상기 객체 인식부는 상기 인물 데이터 저장부에 저장된 이미지 데이터 및 영상 데이터에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 상기 기준 크기로 변환된 후보 영역 각각의 셀들을 판별하는 상기 R-CNN 신경망을 통한 알고리즘으로, 해당 후보 영역에 포함되어 있는 신체 부위를 인식한다.
상기 모션 데이터가 실시간으로 수신되는 경우, 상기 보정 데이터 출력부는 상기 모션 데이터의 단위 프레임에 대응하는 보정 데이터를 실시간으로 상기 대상자 단말에 출력한다.
본 발명의 일 실시예에 따른 영상 모션 인식 방법은 인물 데이터 저장부가 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 저장하는 단계, 인물 정보 수신부가 대상자가 사용하는 대상자 단말로부터 상기 대상자가 선택한 인물에 대한 정보를 포함하는 인물 정보를 수신하는 단계, 모션 데이터 수신부가 모션을 취하는 대상자의 촬영한 모션 데이터를 수신하는 단계, 신체 데이터 생성부가 상기 모션 데이터로부터 상기 대상자의 신체를 추출하여 신체 데이터를 생성하는 단계, 후보 영역 생성부가 상기 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하는 단계, 크기 변환부가 상기 후보 영역 각각을 기준 크기로 변환하는 단계, 객체 인식부가 딥러닝 알고리즘을 이용하여 상기 기준 크기로 변환된 후보 영역 각각에 대한 특징 추출하여, 해당 후보 영역에 포함되어 있는 신체 부위를 인식하는 단계, 매칭 데이터 추출부가 상기 객체 인식부에 의해서 인식된 신체 부위를 머신 러닝 알고리즘을 이용하여 분류하는 단계, 상기 매칭 데이터 추출부가 상기 분류된 신체 부위의 이미지 데이터 각각의 단위셀에 상응하는 매칭 데이터를 상기 대상자가 선택한 인물의 이미지 데이터 또는 영상 데이터로부터 추출하는 단계, 및 보정 데이터 출력부가 상기 분류된 이미지 데이터를 상기 매칭 데이터로 변환 후, 기존 후보 영역의 크기로 변환한 보정 데이터를 상기 대상자 단말에 출력하는 단계를 포함한다.
상기 딥러닝 알고리즘은 R-CNN(Region Proposal-Convolutional Neural Network) 신경망을 통한 알고리즘이고, 상기 머신 러닝 알고리즘은 서포트 벡터 머신(Support Vector Machine)을 이용한 알고리즘이다.
상기 신체 부위를 인식하는 단계에서, 상기 인물 데이터 저장부에 저장된 이미지 데이터 및 영상 데이터에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 상기 기준 크기로 변환된 후보 영역 각각의 셀들을 판별하는 R-CNN 신경망을 통한 알고리즘으로, 해당 후보 영역에 포함되어 있는 신체 부위가 인식된다.
상기 모션 데이터를 수신하는 단계에서 상기 상기 모션 데이터가 실시간으로 수신되는 경우 상기 보정 데이터를 출력하는 단계에서 상기 모션 데이터의 단위 프레임에 대응하는 보정 데이터가 실시간으로 상기 대상자 단말에 출력된다.
본 발명의 영상 모션 인식 장치는 대상자가 특정 패턴에 따라 댄스(모션)을 하여 정확한 동작을 취하는 경우,대상자는 특정 패턴에 따라 모션을 취하면서, 해당 모션을 대상자 단말을 통해서 확인할 수 있는데 이 때 대상자가 선택한 인물이 자신이 취하는 동작을 앞서 언급한 딥 러닝 및 머신 러닝에 의한 알고리즘을 통해서 동일하게 따라하는 것을 실시간으로 확인하면서 해당 게임에 더욱더 흥미를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 모션 인식 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 영상 모션 인식 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 모션 인식 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 영상 모션 인식 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 모션 인식 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 모션 인식 시스템(1000)의 개략도이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 모션 인식 시스템(1000)은 대상자 단말(100) 및 대상자 단말(100)과 네트워크(400)로 연계되는 영상 모션 인식 장치(200)를 포함할 수 있다.
대상자 단말(100)은 영상 모션 인식 장치(200)를 이용하는 자가 사용하는 단말일 수 있다. 좀 더 구체적으로 설명하면 대상자 단말(100)은 영상 모션 인식 장치(200)로부터 구현되는 어플리케이션을 설치하여 이용하는 자인 대상자가 사용하는 단말일 수 있다. 예를 들어, 어플리케이션은 게임 어플리케이션일 수 있고, 대상자는 게임 어플리케이션을 실행한 후 모션을 취할 수 있고 어플리케이션을 통해서 해당 모션을 특정 인물이 취하는 것으로 변환되어 대상자 단말(100)에 출력될 수 있다. 이러한 과정은 도 2 및 도 3에서 더 자세히 서술하도록 한다.
대상자 단말(100)은 스마트폰(Smartphone)일 수 있다. 다만 이에 한정되지 않으며, 대상자 단말(100)은 일반적인 데스크탑 컴퓨터, 네비게이션, 노트북, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿PC 등과 같은 전자 장치를 포함할 수 있다. 전자 장치는 하나 이상의 일반적이거나 특수한 목적의 프로세서, 메모리, 스토리지, 및/또는 네트워킹 컴포넌트(유선 또는 무선)를 가질 수 있다.
영상 모션 인식 장치(200)는 네트워크(400)를 통해서 대상자 단말(100)로부터 데이터를 수신하고, 이를 가공한 결과 데이터를 대상자 단말(100)에 제공할 수 있다. 영상 모션 인식 장치(200)는 서버일 수 있고, 대상자 단말(100)에서 어플리케이션 형태로 구현될 수 있다.
네트워크(400)의 통신 방식은 제한되지 않으며, 네트워크(400)가 포함할 수 있는 통신망의 일 예로는 이동통신망, 유선 온라인, 무선 온라인, 방송망을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(400)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 온라인 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 모션 인식 장치(200)의 블록도이고, 도 3은 본 발명의 일 실시예에 따른 영상 모션 인식 방법의 순서도이다.
영상 모션 인식 장치(200)는 인물 데이터 저장부(201), 인물 정보 수신부(202), 모션 데이터 수신부(203), 신체 데이터 생성부(204), 후보 영역 생성부(205), 크기 변환부(206), 객체 인식부(207), 매칭 데이터 추출부(208), 및 보정 데이터 출력부(209)를 포함할 수 있다.
인물 데이터 저장부(201)는 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 저장할 수 있다.(S10) 좀 더 구체적으로 설명하면 인물 데이터 저장부(201)는 대상자 단말(100) 혹은 영상 모션 인식 장치(200)를 관리하는 관리자가 사용하는 단말로부터 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 수신하여 저장할 수 있다. 복수의 인물들은 유명 연예인, 유명한 위인 등일 수 있다. 저장된 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터는 빅데이터화되어 후술할 AI 알고리즘을 통한 매칭 정보를 추출하는 과정에서 이용될 수 있다.
인물 데이터 저장부(201)는 저장된 복수의 인물들에 대한 데이터 각각을 해당 인물의 카테고리 별로 분류한 분류 정보를 생성할 수 있다.
인물 정보 수신부(202)는 대상자 단말(100)로부터 대상자가 선택한 인물에 대한 정보를 포함하는 인물 정보를 수신할 수 있다.(S11) 대상자는 인물 데이터 저장부(201)에 의해서 분류된 분류 정보를 어플리케이션을 통해서 확인할 수 있고, 인물들 중 어느 하나를 선택할 수 있으며, 인물 정보 수신부(202)는 대상자가 선택한 인물 정보를 대상자 단말(100)로부터 수신할 수 있다. 대상자는 분류 정보에 자신이 원하는 인물이 없는 경우 해당 인물에 대한 이미지 데이터 혹은 영상 데이터를 어플리케이션을 통해서 입력할 수 있고, 해당 데이터는 대상자의 고유의 식별 코드(예를 들어, ID)에 매칭되어 대상자만이 활용할 수 있는 데이터로 저장될 수 있다. 예를 들어, 대상자는 유명인이 아닌 자신의 지인에 대한 이미지 데이터 혹은 영상 데이터를 어플리케이션을 통해서 입력할 수 있고, 해당 지인에 대한 데이터는 이를 입력한 대상자 만이 어플리케이션 내에서 활용할 수 있다.
모션 데이터 수신부(203)는 모션을 취하는 대상자의 촬영한 모션 데이터를 수신할 수 있다.(S12) 모션 데이터는 동영상일 수 있다. 앞서 언급한 바와 같이 영상 모션 인식 장치(200)에 의해서 구현되는 어플리케이션은 게임 어플리케이션일 수 있고, 대상자는 어플리케이션 내에서 주어지는 동작 미션들에 따라 모션을 취할 수 있고, 이러한 모션들은 어플리케이션에서 구동되는 촬영 모드에 의해서 동영상으로 촬영될 수 있다.
신체 데이터 생성부(204)는 모션 데이터로부터 대상자의 신체를 추출하여 신체 데이터를 생성할 수 있다.(S13) 즉 신체 데이터 생성부(204)는 수신되는 모션 데이터에서 인체가 있는지 여부를 감지하여, 인체가 없는 경우, 신체 데이터를 생성하지 않아 모션 인식의 과정이 진행되지 않는다.
본 발명의 일 예로, 신체 데이터 생성부(204)가 모션 데이터로부터 대상자의 신체를 감지하여 추출하는 방식은 공지의 대상체 감지 알고리즘을 채택할 수 있다. 해당 알고리즘은 가시광선 영상 정보 또는 열화상 영상 정보를 이용하여 신체를 감지할 수 있고, 두 영상 정보를 동시에 활용하여 신체 감지의 정확성을 향상시킬 수 있다.
후보 영역 생성부(205)는 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성할 수 있다.(S14)
후보 영역 생성부(205)는 모션 데이터에 포함되어 있는 대상자의 신체 부위를 감지하고 감지된 신체 부위 별로 분할하여 후보 영역을 생성할 수 있다. 신체 부위에는 얼굴 부위가 포함될 수 있다.
후보 영역 생성부(205)는 모션 데이터에서 신체 부위가 있을 만한 영역들을 선택적 탐색 알고리즘(Selective Search Algorithm) 통해서 생성할 수 있다.
크기 변환부(206)는 후보 영역 각각을 기준 크기로 변환할 수 있다.(S15) 크기 변환부(206)는 후보 영역을 설정 규격(기준 크기)로 리사이징(resizing) 할 수 있다. 예를 들어 크기 변환부(206)는 3D 형태의 이미지를 포함하고 있는 후보 영역을 2D 형태의 256 x 256 사이즈로 리사이징 할 수 있다.
객체 인식부(207)는 딥 러닝 알고리즘(Deep Learning Algorithm)을 이용하여 기준 크기로 변환된 후보 영역 각각에 대한 특징 추출하여, 해당 후보 영역에 포함되어 있는 신체 부위를 인식할 수 있다.(S16)
딥 러닝 알고리즘은 R-CNN(Region Proposal-Convolutional Neural Network) 신경망을 통한 알고리즘일 수 있다. R-CNN은 Region Proposal 기반의 CNN 기법으로서, 이미지 내에서 추출한 후보 영역(Region Proposal)의 특징을 이용하여 후보 영역 내 객체가 무엇인지 분류하고 객체의 위치를 보정하는 기법이다. 객체 인식부(207)는 인물 데이터 저장부(201)에 저장된 이미지 데이터 및 영상 데이터에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 기준 크기로 변환된 후보 영역 각각의 셀들을 판별하는 R-CNN 신경망을 통한 알고리즘을 통하여 해당 후보 영역에 포함되어 있는 신체 부위를 인식할 수 있다.
R-CNN 신경망을 통한 알고리즘은 앞서 설명한 선택적 탐색 알고리즘과 같이 진행될 수 있다. 즉, 입력 이미지에서 물체가 있을 만한 후보 영역들을 선택적 탐색 알고리즘을 사용하여 추출한 다음, 각각의 후보 영역을 개별 CNN에 입력하여 후보 영역의 특징을 추출함으로써 각 후보 영역 내 존재하는 객체의 종류를 분류하고, 객체에 대한 바운딩 박스(bounding box)를 좁혀 나감으로써 객체의 검출 위치를 정교하게 보정할 수 있다.
매칭 데이터 추출부(208)는 객체 인식부(207)에 의해서 인식된 신체 부위를 머신 러닝 알고리즘(Machine Learning Algorithm)을 이용하여 분류하고,(S17) 분류된 신체 부위의 이미지 데이터 각각의 단위셀에 상응하는 매칭 데이터를 대상자가 선택한 인물의 이미지 데이터 또는 영상 데이터로부터 추출할 수 있다.(S18)
머신 러닝 알고리즘은 서포트 벡터 머신(Support Vector Machine)을 이용한 알고리즘일 수 있다.
보정 데이터 출력부(209)는 분류된 이미지 데이터를 매칭 데이터로 변환 후, 기존 후보 영역의 크기로 변환한 보정 데이터를 대상자 단말(100)에 출력할 수 있다.(S19) 보정 데이터 출력부(209)는 분류된 신체 부위의 이미지 데이터 각각의 단위셀을 상응하는 매칭 데이터의 단위셀로 변환하고, 변환된 데이터를 기존 후보 영역 크기로 최종 변환한 보정 데이터를 대상자 단말(100)에 출력할 수 있다. 본 발명의 일 예로, 보정 데이터를 생성하는 과정은 머신 러닝의 회귀 학습 과정을 통해서 이루어질 수 있다.
이처럼 보정 데이터가 대상자 단말(100)에 출력되면, 대상자는 대상자 단말(100)을 통해서 자신이 선택한 인물이 자신의 모션과 동일한 모션을 취하는 것을 확인할 수 있다.
보정 데이터 출력부(209)는 모션 데이터가 실시간으로 수신되는 경우 모션 데이터의 단위 프레임에 대응하는 보정 데이터를 실시간으로 대상자 단말(100)에 출력할 수 있다. 이는 앞서 도 1의 설명에서 언급한 본 발명의 모션 인식 장치로부터 구현되는 댄스 게임 어플리케이션에 적용될 수 있다. 좀 더 구체적으로 설명하면, 대상자가 특정 패턴에 따라 댄스(모션)을 하여 정확한 동작을 취하는 경우, 그에 따라 점수가 주어지고 상위 레벨의 단계로 갈 수 있는 게임 어플리케이션일 수 있다. 이러한 게임 어플리케이션에서 대상자는 특정 패턴에 따라 모션을 취하면서, 해당 모션을 대상자 단말(100)을 통해서 확인할 수 있는데 이 때 대상자가 선택한 인물(예를 들어, 아인슈타인 등)이 자신이 취하는 동작을 앞서 언급한 딥 러닝 및 머신 러닝에 의한 알고리즘을 통해서 동일하게 따라하는 것을 실시간으로 확인하면서 해당 게임에 더욱더 흥미를 얻을 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
100: 대상자 단말 202: 인물 정보 수신부
200: 영상 모션 인식 장치 203: 모션 데이터 수신부
201: 인물 데이터 저장부 204: 신체 데이터 생성부
200: 영상 모션 인식 장치 203: 모션 데이터 수신부
201: 인물 데이터 저장부 204: 신체 데이터 생성부
Claims (8)
- 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 저장하는 인물 데이터 저장부;
대상자가 사용하는 대상자 단말로부터 상기 대상자가 선택한 인물에 대한 정보를 포함하는 인물 정보를 수신하는 인물 정보 수신부;
모션을 취하는 대상자의 촬영한 모션 데이터를 수신하는 모션 데이터 수신부;
상기 모션 데이터로부터 상기 대상자의 신체를 추출하여 신체 데이터를 생성하는 신체 데이터 생성부;
상기 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하는 후보 영역 생성부;
상기 후보 영역 각각을 기준 크기로 변환하는 크기 변환부;
딥러닝 알고리즘을 이용하여 상기 기준 크기로 변환된 후보 영역 각각에 대한 특징 추출하여, 해당 후보 영역에 포함되어 있는 신체 부위를 인식하는 객체 인식부;
상기 객체 인식부에 의해서 인식된 신체 부위를 머신 러닝 알고리즘을 이용하여 분류하고, 분류된 신체 부위의 이미지 데이터 각각의 단위셀에 상응하는 매칭 데이터를 상기 대상자가 선택한 인물의 이미지 데이터 또는 영상 데이터로부터 추출하는 매칭 데이터 추출부; 및
머신 러닝의 회귀 학습 과정을 근거로 하여 상기 분류된 이미지 데이터 각각의 단위셀을 상기 매칭 데이터로 변환 후, 기존 후보 영역의 크기로 변환한 보정 데이터를 상기 대상자 단말에 출력하는 보정 데이터 출력부를 포함하고,
상기 딥러닝 알고리즘은 R-CNN(Region Proposal-Convolutional Neural Network) 신경망을 통한 알고리즘이고, 상기 머신 러닝 알고리즘은 서포트 벡터 머신(Support Vector Machine)을 이용한 알고리즘이고,
상기 객체 인식부는 상기 인물 데이터 저장부에 저장된 이미지 데이터 및 영상 데이터에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 상기 기준 크기로 변환된 후보 영역 각각의 셀들을 판별하는 상기 R-CNN 신경망을 통한 알고리즘으로, 해당 후보 영역에 포함되어 있는 신체 부위를 인식하고,
상기 모션 데이터가 실시간으로 수신되는 경우, 상기 보정 데이터 출력부는 상기 모션 데이터의 단위 프레임에 대응하는 보정 데이터를 실시간으로 상기 대상자 단말에 출력하고,
상기 보정 데이터는 상기 대상자가 선택한 인물이 상기 대상자가 취하는 모션과 동일한 모션을 취하는 이미지 데이터 또는 영상 데이터인 것을 특징으로 하는 영상 모션 인식 장치. - 삭제
- 삭제
- 삭제
- 인물 데이터 저장부가 복수의 인물들에 대한 이미지 데이터 또는 영상 데이터를 저장하는 단계;
인물 정보 수신부가 대상자가 사용하는 대상자 단말로부터 상기 대상자가 선택한 인물에 대한 정보를 포함하는 인물 정보를 수신하는 단계;
모션 데이터 수신부가 모션을 취하는 대상자의 촬영한 모션 데이터를 수신하는 단계;
신체 데이터 생성부가 상기 모션 데이터로부터 상기 대상자의 신체를 추출하여 신체 데이터를 생성하는 단계;
후보 영역 생성부가 상기 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하는 단계;
크기 변환부가 상기 후보 영역 각각을 기준 크기로 변환하는 단계;
객체 인식부가 딥러닝 알고리즘을 이용하여 상기 기준 크기로 변환된 후보 영역 각각에 대한 특징 추출하여, 해당 후보 영역에 포함되어 있는 신체 부위를 인식하는 단계;
매칭 데이터 추출부가 상기 객체 인식부에 의해서 인식된 신체 부위를 머신 러닝 알고리즘을 이용하여 분류하는 단계;
상기 매칭 데이터 추출부가 상기 분류된 신체 부위의 이미지 데이터 각각의 단위셀에 상응하는 매칭 데이터를 상기 대상자가 선택한 인물의 이미지 데이터 또는 영상 데이터로부터 추출하는 단계; 및
보정 데이터 출력부가 머신 러닝의 회귀 학습 과정을 근거로 하여 상기 분류된 이미지 데이터 각각의 단위셀을 상기 매칭 데이터로 변환 후, 기존 후보 영역의 크기로 변환한 보정 데이터를 상기 대상자 단말에 출력하는 단계를 포함하고,
상기 딥러닝 알고리즘은 R-CNN(Region Proposal-Convolutional Neural Network) 신경망을 통한 알고리즘이고, 상기 머신 러닝 알고리즘은 서포트 벡터 머신(Support Vector Machine)을 이용한 알고리즘이고,
상기 신체 부위를 인식하는 단계에서, 상기 인물 데이터 저장부에 저장된 이미지 데이터 및 영상 데이터에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 상기 기준 크기로 변환된 후보 영역 각각의 셀들을 판별하는 R-CNN 신경망을 통한 알고리즘으로, 해당 후보 영역에 포함되어 있는 신체 부위가 인식되고,
상기 모션 데이터를 수신하는 단계에서 상기 상기 모션 데이터가 실시간으로 수신되는 경우 상기 보정 데이터를 출력하는 단계에서 상기 모션 데이터의 단위 프레임에 대응하는 보정 데이터가 실시간으로 상기 대상자 단말에 출력되고,
상기 보정 데이터는 상기 대상자가 선택한 인물이 상기 대상자가 취하는 모션과 동일한 모션을 취하는 이미지 데이터 또는 영상 데이터인 것을 특징으로 하는 영상 모션 인식 방법. - 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190130625A KR102092630B1 (ko) | 2019-10-21 | 2019-10-21 | 영상 모션 인식 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190130625A KR102092630B1 (ko) | 2019-10-21 | 2019-10-21 | 영상 모션 인식 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102092630B1 true KR102092630B1 (ko) | 2020-03-24 |
Family
ID=70004523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190130625A KR102092630B1 (ko) | 2019-10-21 | 2019-10-21 | 영상 모션 인식 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102092630B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102303106B1 (ko) * | 2021-03-24 | 2021-09-16 | (주)케이넷 이엔지 | 실시간 렌더링을 활용한 웹툰 이미지 구현 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018084890A (ja) * | 2016-11-22 | 2018-05-31 | サイジニア株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20190019824A (ko) * | 2017-08-18 | 2019-02-27 | 강다겸 | 자세 가이드 제공 방법 및 그 장치 |
-
2019
- 2019-10-21 KR KR1020190130625A patent/KR102092630B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018084890A (ja) * | 2016-11-22 | 2018-05-31 | サイジニア株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20190019824A (ko) * | 2017-08-18 | 2019-02-27 | 강다겸 | 자세 가이드 제공 방법 및 그 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102303106B1 (ko) * | 2021-03-24 | 2021-09-16 | (주)케이넷 이엔지 | 실시간 렌더링을 활용한 웹툰 이미지 구현 장치 및 방법 |
| WO2022203115A1 (ko) * | 2021-03-24 | 2022-09-29 | (주)케이넷 이엔지 | 실시간 렌더링을 활용한 웹툰 이미지 구현 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Real-time referring expression comprehension by single-stage grounding network | |
| US11645506B2 (en) | Neural network for skeletons from input images | |
| US10275672B2 (en) | Method and apparatus for authenticating liveness face, and computer program product thereof | |
| US8792722B2 (en) | Hand gesture detection | |
| US8750573B2 (en) | Hand gesture detection | |
| CN108491794B (zh) | 面部识别的方法和装置 | |
| CN111950424B (zh) | 一种视频数据处理方法、装置、计算机及可读存储介质 | |
| US11663502B2 (en) | Information processing apparatus and rule generation method | |
| CN109190470B (zh) | 行人重识别方法及装置 | |
| CN108009466B (zh) | 行人检测方法和装置 | |
| Zhang et al. | Fast face detection on mobile devices by leveraging global and local facial characteristics | |
| KR102234646B1 (ko) | 가상 현실 체험 장치 및 방법 | |
| US20220147735A1 (en) | Face-aware person re-identification system | |
| CN109582813B (zh) | 一种文物展品的检索方法、装置、设备和存储介质 | |
| CN109886223B (zh) | 人脸识别方法、底库录入方法、装置及电子设备 | |
| KR101476799B1 (ko) | 깊이 정보를 이용한 객체 검출 시스템 및 방법 | |
| Ding et al. | Profile HMMs for skeleton-based human action recognition | |
| Rahmani et al. | Action classification with locality-constrained linear coding | |
| CN108647621A (zh) | 一种基于人脸识别的视频分析处理系统及方法 | |
| CN113392270A (zh) | 视频处理方法、装置、计算机设备以及存储介质 | |
| Yao et al. | Human detection using learned part alphabet and pose dictionary | |
| Ji et al. | Deep pedestrian attribute recognition based on LSTM | |
| KR20200020107A (ko) | 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템 | |
| KR102092630B1 (ko) | 영상 모션 인식 장치 및 방법 | |
| Aziz et al. | Bengali Sign Language Recognition using dynamic skin calibration and geometric hashing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |