KR20220081102A - 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 - Google Patents
실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 Download PDFInfo
- Publication number
- KR20220081102A KR20220081102A KR1020200170598A KR20200170598A KR20220081102A KR 20220081102 A KR20220081102 A KR 20220081102A KR 1020200170598 A KR1020200170598 A KR 1020200170598A KR 20200170598 A KR20200170598 A KR 20200170598A KR 20220081102 A KR20220081102 A KR 20220081102A
- Authority
- KR
- South Korea
- Prior art keywords
- human
- deep learning
- human pose
- data
- extraction
- Prior art date
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 84
- 238000001914 filtration Methods 0.000 title abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000013135 deep learning Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 239000013589 supplement Substances 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 206010044565 Tremor Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습을 통해 이미지에서 인체 관절에 대한 정보를 추출하며, 추출된 인체 관절 정보에 이미지 등을 맵핑시켜 다양한 컨텐츠에 활용할 수 있는, 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 관한 것이다. 본 발명에 따르면, 카메라에서 취득된 영상의 휴먼 포즈를 딥러닝 기반으로 추출하도록 이루어지는 휴먼포즈 추출 단계; 상기 휴먼포즈 추출 단계의 휴먼 포즈 딥러닝 과정에서 딥러닝 연산 속도를 보완하기 위하여 프레임을 보정하도록 이루어지는 프레임 보정 단계; 상기 휴먼포즈 추출 단계에서 추출된 데이터 중 인체 정보를 찾지 못한 경우, 이전 값들을 기반으로 다음값을 예측하도록 이루어지는 미래값 예측 단계; 및 상기 휴먼포즈 추출 단계에서 딥러닝 인체추출 모델의 노이즈를 감소시키거나 제거하도록 이루어지는 노이즈 보정 단계;를 포함하는 것을 특징으로 하는 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법이 제공된다.
Description
본 발명은 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 관한 것으로, 더욱 상세하게는 합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습을 통해 이미지에서 인체 관절에 대한 정보를 추출하며, 추출된 인체 관절 정보에 이미지 등을 맵핑시켜 다양한 컨텐츠에 활용할 수 있는, 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 관한 것이다.
인체의 포즈는 사람의 행위의 의도를 나타내기 때문에 여러 검퓨터공학 분야에서 해석하여 사용하고 있다.
2차원 영상으로부터 사람의 동작을 인식하는 연구는 컴퓨터 비전(computer vision)의 초창기부터 수행되어온 매우 중요한 연구분야 중의 하나로써 영상감시(visual surveillance), 사람-컴퓨터 상호작용(human-computer interaction), 지능로봇(intelligent robot) 등 다양한 적용 분야를 가지고 있다.
동작인식에서 인식의 대상인 사람의 동작은 다양한 의미를 지닐 수 있는데, 신체부위들이 어떻게 배치(a configuration of the human bod y)되어 있는가를 표현하는 자세 혹은 특정한 의미를 가지는 신체의 움직임을 나타내는 동작(gesture) 등을 들 수 있다.
특히 촬영된 영상에서 사용자의 동작과 자세를 인식하여 사용자의 행동의 의미를 인식하는 기술이 널리 연구되고 있다. 예를 들면 센서 또는 카메라를 이용하여 사람의 신체 골격을 검출하고, 관절의 이동 궤적을 분석하여 사용자의 행동 및 제스처를 인식하는 기술이 개발되어 사용되고 있다.
그리고 이와 같은 기존의 사용자 행동 인식 방법들은 주로 사용자의 동작을 보다 정확하게 분석하여 행동을 인식하려는 노력을 기울여 왔다.
일반적으로 인체의 포즈를 인식하기 위해서는 다수 혹은 단일 카메라를 사용하는데, 다수 카메라를 사용하는 방법은 인체의 주시 방향이나 카메라의 위치에 따라 인체의 포즈가 달리 보이는 단점을 보완하지만 제작비용이 증가하고 계산이 복잡해지는 단점이 있다.
상기 단일 카메라를 이용하는 경우 비용이 작고 계산이 단순하여 실제현장에서 적용이 용이한 장점이 있지만 인체의 삼차원 포즈를 직접 얻기 어려운 단점이 있다.
또한, 보안 분야과 관련하여, 다양한 보안 위협으로부터 개인의 신변 안전 보장을 위한 영상 보안 서비스와 관련한 기술에 대한 연구 및 개발이 증가하고 있다.
종래의 2D 영상을 이용한 보안 시스템은 사람, 차량 등의 객체에 대한 단순 인식과 함께, 객체의 움직임을 트레킹함으로써, 특정 지점의 통과를 인지하거나, 침입을 인지하거나, 사전에 정해진 단순한 특정 행위를 인지한다.
그러나 종래의 2D 입력 영상이 객체(ex. 사람)의 세부적인 움직임을 분석 및 조합하여 하나의 보안 이벤트를 인지하기에는 충분한 정보를 갖고 있지 못하기 때문에 종래의 2D 영상을 이용한 보안 시스템은 객체의 세부적인 포즈 인지를 수행하지 못한다는 단점이 있다.
또한, 최근에는 보안용 UHD 카메라가 개발되고 있으며, 영상 정보뿐만 아니라, 깊이 맵(depth map) 정보를 함께 사용할 수 있는 3D 카메라를 보안 시스템에 적용하려는 연구가 증가하고 있다. 그러나 보안 서비스를 위해 객체를 추출하고, 이를 기반으로 객체의 세부적인 행동을 인식하는 연구는 대부분 2D 영상을 기반으로 진행하고 있기 때문에, 복합적인 상황에서 객체의 위험 행위/행동을 추론하는데에는 한계가 있어, 보안 서비스를 효율적으로 수행할 수 없다는 문제점이 있다.
이와 같이 단순히 영상 내에 포함된 정보만을 이용하여 사용자의 행동을 인식하는 방식은 인식 정확도에 있어서 한계가 있고, 잘못된 인식 결과가 출력될 가능성이 높다. 따라서, 영상 내의 정보를 체계화하고 이를 활용하여 동작을 인식하고 사용자와 영상 간의 상호 교류가 가능한 기술 개발이 요구되고 있다.
따라서, 상기한 종래의 문제점을 해결하기 위한 본 발명은, 합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습을 통해 이미지에서 인체 관절에 대한 정보를 추출하며, 추출된 인체 관절 정보에 이미지 등을 맵핑시켜 다양한 컨텐츠에 활용할 수 있는, 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법을 제공하는데 그 목적이 있다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 본 발명의 목적들 및 다른 특징들을 달성하기 위한 본 발명의 일 관점에 따르면, 카메라에서 취득된 영상의 휴먼 포즈를 딥러닝 기반으로 추출하도록 이루어지는 휴먼포즈 추출 단계; 상기 휴먼포즈 추출 단계의 휴먼 포즈 딥러닝 과정에서 딥러닝 연산 속도를 보완하기 위하여 프레임을 보정하도록 이루어지는 프레임 보정 단계; 상기 휴먼포즈 추출 단계에서 추출된 데이터 중 인체 정보를 찾지 못한 경우, 이전 값들을 기반으로 다음값을 예측하도록 이루어지는 미래값 예측 단계; 및 상기 휴먼포즈 추출 단계에서 딥러닝 인체추출 모델의 노이즈를 감소시키거나 제거하도록 이루어지는 노이즈 보정 단계;를 포함하는 것을 특징으로 하는 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법이 제공된다.
본 발명에 있어서, 상기 휴먼포즈 추출 단계는, 합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습으로 이미지에서 인체 관절에 대한 정보를 추출하도록 이루어질 수 있다.
본 발명에 있어서, 상기 프레임 보정 단계는, 영상 프레임에서 프레임 스킵과 중간 프레임 보정을 통해 이루어질 수 있다.
본 발명에 있어서, 상기 프레임 보정 단계는, 시로 나타낸 바와 같이, 딥러닝 연산 속도가 카메라의 속도를 따라가지 못할 경우에, 특정 프레임을 연산하지 않고 그 앞뒤의 결과값을 통해 중간값을 예측하여 처리하도록 이루어질 수 있다.
본 발명에 있어서, 상기 미래값 예측 단계는, 딥러닝 인체 추출 연산에서 인체 정보를 찾지 못하는 경우에 연속된 이전 값들을 기반으로 다음 값을 예측하여 보정하도록 이루어지며, 상기 노이즈 보정 단계는 멈춰 있는 인체에 대해서 데이터가 흔들리는 딥러닝 인체추출 모델의 노이즈를 감소시키도록 보정할 수 있다.
본 발명에 있어서, 상기 미래값 예측 단계는 연속된 이전 값들에 대한 변화량을 통해 속도 벡터를 구해 보정하고, 칼만 필터 기반으로 선형데이터의 미래값을 예측하도록 이루어지며, 상기 노이즈 보정 단계는 멈춰 있는 인체에 대해서 데이터가 흔들리는 딥러닝 인체추출 모델의 노이즈를 감소시키도록 보정할 수 있다.
본 발명에 있어서, 상기 노이즈 보정 단계를 거쳐 노이즈 처리된 영상에서 출력되는 인체추출 모델의 각 관절 데이터의 움직임을 보정하는 움직임 보정 단계;를 더 포함하며, 상기 움직임 보정 단계는 영상에서 출력되는 각 관절 데이터를 선형 보간으로 보정하도록 이루어질 수 있다.
본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 의하면 다음과 같은 효과를 제공한다.
첫째, 본 발명은 이미지의 휴먼 포즈를 정확하게 추출함으로써 이를 적용하는 다양한 컨텐트의 신뢰성을 향상시킬 수 있는 효과가 있다.
둘째, 본 발명은 합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습을 통해 이미지에서 인체 관절에 대한 정보를 추출하며, 추출된 인체 관절 정보에 이미지 등을 맵핑시켜 다양한 컨텐츠에 활용할 수 있는 효과가 있다./
셋째, 본 발명은 떨림 현상을 보정하여 이미지의 부드러운 움직임을 제공할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 과정을 개략적으로 나타내는 플로차트이다.
도 2는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법을 통해 인체(휴먼) 관절을 추출하는 예시를 나타내는 도면이다.
도 3은 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 포함되는 프레임 스킵을 설명하기 위하여 도식화 한 도면이다.
도 4는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에서 선형데이터의 미래값을 예측하는데 이용되는 칼란 필터의 예시이다.
도 5는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 포함되는 떨림현상 보정의 설명을 위하여 도식화 한 도면이다.
도 2는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법을 통해 인체(휴먼) 관절을 추출하는 예시를 나타내는 도면이다.
도 3은 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 포함되는 프레임 스킵을 설명하기 위하여 도식화 한 도면이다.
도 4는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에서 선형데이터의 미래값을 예측하는데 이용되는 칼란 필터의 예시이다.
도 5는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 포함되는 떨림현상 보정의 설명을 위하여 도식화 한 도면이다.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
아래 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 대한 상세한 설명에 앞서 본 발명의 기술적 이해를 위한 배경을 설명한다.
딥러닝을 이용한 실시간 2D 휴먼 포즈(관절) 데이터 추출 기술은, 입력 데이터가 일괄적으로 신경망에 입력되는 구조가 아닌 정해진 속도로 단일 영상이 규칙적으로 입력된다.
실시간 2D 휴먼 포즈 추출은 상기한 이유로 딥러닝 연산을 수행할 때 입력과 출력의 양이 비교적 적고 빈번하게 이루어진다. 이와 같은 연산의 구조는 실시간 연산에 적합하지 않지만, 입력 데이터의 양과 그 수가 예측이 가능하다.
따라서, 본 발명은 영상이나 신호 처리 등 여러 분야에서 다음 데이터의 형태나 타입, 위치 등을 예측하는데 사용되고 있는 확장 칼만 필터(Kalman Filter) 등을 사용해 입력되지 않은 이미지의 휴먼 포즈를 추출하도록 이루어진다.
이하, 본 발명의 바람직한 실시 예에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 대하여 도 1 내지 도 5를 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 과정을 개략적으로 나타내는 플로차트이고, 도 2는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법을 통해 인체(휴먼) 관절을 추출하는 예시를 나타내는 도면이고, 도 3은 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 포함되는 프레임 스킵을 설명하기 위하여 도식화 한 도면이다. 도 4는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에서 선형데이터의 미래값을 예측하는데 이용되는 칼란 필터의 예시이며, 도 5는 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 포함되는 떨림현상 보정의 설명을 위하여 도식화 한 도면이다.
본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법은, 도 1 내지 도 5에 나타낸 바와 같이, 크게 휴먼포즈 추출 단계(S100); 프레임 보정 단계(S200); 미래값 예측 단계(S300); 노이즈 보정 단계(S400); 및 움직임 보정 단계(S500);를 포함한다.
구체적으로, 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법은, 도 1 내지 도 5에 나타낸 바와 같이, 카메라에서 취득된 영상의 휴먼 포즈를 딥러닝 기반으로 추출하도록 이루어지는 휴먼포즈 추출 단계(S100); 상기 휴먼포즈 추출 단계(S100)의 휴먼 포즈 딥러닝 과정에서 딥러닝 연산 속도를 보완하기 위하여 프레임을 보정하도록 이루어지는 프레임 보정 단계(S200); 상기 휴먼포즈 추출 단계(S100)에서 추출된 데이터 중 인체 정보를 찾지 못한 경우, 이전 값들을 기반으로 다음값을 예측하도록 이루어지는 미래값 예측 단계(S300); 상기 휴먼포즈 추출 단계(S100)에서 딥러닝 인체추출 모델의 노이즈를 감소시키거나 제거하도록 이루어지는 노이즈 보정 단계(S400); 및 상기 노이즈 보정 단계(S400)를 거쳐 노이즈 처리된 영상에서 출력되는 인체추출 모델의 각 관절 데이터의 움직임을 보정하는 움직임 보정 단계(S500);를 포함하여 구성된다.
상기 휴먼포즈 추출 단계(S100)는, 카메라에서 취득된 영상의 휴먼 포즈를 딥러닝 기반으로 추출하도록 이루어지는 과정이다.
구체적으로, 상기 휴먼포즈 추출 단계(S100)는, CNN(합성신경망) 기반의 딥러닝 모델에 인체 관절 정보 학습을 통해 이미지에서 인체 관절에 대한 정보를 추출하도록 이루어진다.
상기 프레임 보정 단계(S200)는 상기 휴먼포즈 추출 단계(S100)의 휴먼 포즈 딥러닝 과정에서 딥러닝 연산 속도를 보완하기 위하여 프레임을 보정하도록 이루어지는 과정이다.
상기 프레임 보정 단계(S200)는 영상 프레임 중에서 상대적으로 느린 딥러닝 연산 속도를 보완하기 위해 프레임 스킵 기능과 중간 프레임 보정을 통해 이루어진다.
구체적으로, 상기 프레임 보정 단계(S200)는, 도 2에서 예시로 나타낸 바와 같이, 30fps 이상의 카메라에서 딥러닝 연산 속도가 30fps를 따라가지 못할 경우에, 특정 프레임은 연산을 하지 않고 앞 뒤의 결과 값을 통해 중간 값을 예측하여 실시간 처리속도에 달성되도록 이루어진다.
계속해서, 상기 미래값 예측 단계(S300)는 상기 휴먼포즈 추출 단계(S100)에서 추출된 데이터 중 인체 정보를 찾지 못한 경우, 이전 값들을 기반으로 다음값을 예측하도록 이루어지는 과정이다.
구체적으로, 상기 미래값 예측 단계(S30O)는 딥러닝 인체 추출 연산에서 특정 상황에서의 인체 정보를 찾지 못했을 경우에 연속된 이전 값들을 기반으로 다음 값을 예측하여 보정하도록 이루어진다.
상기 미래값 예측 단계(S300)는 상기 연속된 이전 값들에 대한 변화량을 통해 속도 벡터를 구해 보정하고, 도 3에 나타낸 바와 같은 칼만 필터 기반으로 선형데이터의 미래값을 예측하도록 이루어진다.
다음으로, 상기 노이즈 보정 단계(S400)는 딥러닝 인체추출 모델의 노이즈를 감소시키거나 제거하도록 이루어진다.
상기 노이즈 보정 단계(S400)는 멈춰 있는 인체에 대해서도 데이터가 흔들리는 딥러닝 인체추출 모델의 노이즈를 감소시키도록 보정하게 된다.
또한, 상기 움직임 보정 단계(S500)는 상기 노이즈 보정 단계(S500)를 영상에서 출력되는 인체추출 모델의 각 관절 데이터의 움직임을 보정하도록 이루어진다.
이러한 움직임 보정 단계(S500)와 관련하여, 딥러닝 모델의 특성상 사람이 멈춰있더라도 관절 데이터가 흔들리기 때문에 관절에 이미지를 합성했을 때 떨림 현상으로 인해 어색해 보이는 부분이 많은데, 이를 해결하기 위해 움직임 보정 단계(S500)는 영상에서 출력되는 각 관절 데이터를 선형 보간 등을 통해 부드러운 움직임으로 보정하게 된다.
이상에서 설명한 바와 같은 본 발명에 따른 실시간 카메라 영상 기반 2D 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법에 의하면, 이미지의 휴먼 포즈를 정확하게 추출함으로써 이를 적용하는 다양한 컨텐트의 신뢰성을 향상시킬 수 있고, 떨림 현상을 보정하여 이미지의 부드러운 움직임을 제공할 수 있으며, 합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습을 통해 이미지에서 인체 관절에 대한 정보를 추출하며, 추출된 인체 관절 정보에 이미지 등을 맵핑시켜 다양한 컨텐츠에 활용할 수 있는 이점이 있다.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시 예는 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S100: 휴먼포즈 추출 단계
S200: 프레임 보정 단계
S300: 미래값 예측 단계
S400: 노이즈 보정 단계
S500: 움직임 보정 단계
S200: 프레임 보정 단계
S300: 미래값 예측 단계
S400: 노이즈 보정 단계
S500: 움직임 보정 단계
Claims (7)
- 카메라에서 취득된 영상의 휴먼 포즈를 딥러닝 기반으로 추출하도록 이루어지는 휴먼포즈 추출 단계;
상기 휴먼포즈 추출 단계의 휴먼 포즈 딥러닝 과정에서 딥러닝 연산 속도를 보완하기 위하여 프레임을 보정하도록 이루어지는 프레임 보정 단계;
상기 휴먼포즈 추출 단계에서 추출된 데이터 중 인체 정보를 찾지 못한 경우, 이전 값들을 기반으로 다음값을 예측하도록 이루어지는 미래값 예측 단계; 및
상기 휴먼포즈 추출 단계에서 딥러닝 인체추출 모델의 노이즈를 감소시키거나 제거하도록 이루어지는 노이즈 보정 단계;를 포함하는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
- 제1항에 있어서,
상기 휴먼포즈 추출 단계는,
합성신경망 기반의 딥러닝 모델에 인체 관절 정보 학습으로 이미지에서 인체 관절에 대한 정보를 추출하도록 이루어지는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
- 제1항에 있어서,
상기 프레임 보정 단계는,
영상 프레임에서 프레임 스킵과 중간 프레임 보정을 통해 이루어지는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
- 제3항에 있어서,
상기 프레임 보정 단계는,
시로 나타낸 바와 같이, 딥러닝 연산 속도가 카메라의 속도를 따라가지 못할 경우에, 특정 프레임을 연산하지 않고 그 앞뒤의 결과값을 통해 중간값을 예측하여 처리하도록 이루어지는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
- 제1항에 있어서,
상기 미래값 예측 단계는, 딥러닝 인체 추출 연산에서 인체 정보를 찾지 못하는 경우에 연속된 이전 값들을 기반으로 다음 값을 예측하여 보정하도록 이루어지며,
상기 노이즈 보정 단계는 멈춰 있는 인체에 대해서 데이터가 흔들리는 딥러닝 인체추출 모델의 노이즈를 감소시키도록 보정하는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
- 제1항에 있어서,
상기 미래값 예측 단계는 연속된 이전 값들에 대한 변화량을 통해 속도 벡터를 구해 보정하고, 칼만 필터 기반으로 선형데이터의 미래값을 예측하도록 이루어지며,
상기 노이즈 보정 단계는 멈춰 있는 인체에 대해서 데이터가 흔들리는 딥러닝 인체추출 모델의 노이즈를 감소시키도록 보정하는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 노이즈 보정 단계를 거쳐 노이즈 처리된 영상에서 출력되는 인체추출 모델의 각 관절 데이터의 움직임을 보정하는 움직임 보정 단계;를 더 포함하며,
상기 움직임 보정 단계는 영상에서 출력되는 각 관절 데이터를 선형 보간으로 보정하도록 이루어지는 것을 특징으로 하는
카메라에서 취득된 휴먼 포즈 추출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200170598A KR20220081102A (ko) | 2020-12-08 | 2020-12-08 | 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200170598A KR20220081102A (ko) | 2020-12-08 | 2020-12-08 | 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220081102A true KR20220081102A (ko) | 2022-06-15 |
Family
ID=81987348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200170598A KR20220081102A (ko) | 2020-12-08 | 2020-12-08 | 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220081102A (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100933957B1 (ko) | 2008-05-16 | 2009-12-28 | 전남대학교산학협력단 | 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법 |
| KR20100119558A (ko) | 2008-02-27 | 2010-11-09 | 모토로라 인코포레이티드 | 디지털 카메라들에서의 이미지 데이터 추출 및 어셈블리에 대한 시스템과 방법 |
| KR20170077444A (ko) | 2015-12-28 | 2017-07-06 | 전자부품연구원 | 인체 포즈 인지 시스템 및 방법 |
| KR102174695B1 (ko) | 2018-11-15 | 2020-11-05 | 송응열 | 객체 움직임 인식 방법 및 장치 |
-
2020
- 2020-12-08 KR KR1020200170598A patent/KR20220081102A/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100119558A (ko) | 2008-02-27 | 2010-11-09 | 모토로라 인코포레이티드 | 디지털 카메라들에서의 이미지 데이터 추출 및 어셈블리에 대한 시스템과 방법 |
| KR100933957B1 (ko) | 2008-05-16 | 2009-12-28 | 전남대학교산학협력단 | 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법 |
| KR20170077444A (ko) | 2015-12-28 | 2017-07-06 | 전자부품연구원 | 인체 포즈 인지 시스템 및 방법 |
| KR102174695B1 (ko) | 2018-11-15 | 2020-11-05 | 송응열 | 객체 움직임 인식 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Narayanan et al. | Proxemo: Gait-based emotion learning and multi-view proxemic fusion for socially-aware robot navigation | |
| US11182909B2 (en) | Scalable real-time hand tracking | |
| CN113302620B (zh) | 使用机器学习模型确定对象与人之间的关联 | |
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| Lim et al. | A feature covariance matrix with serial particle filter for isolated sign language recognition | |
| KR101534742B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| US9256324B2 (en) | Interactive operation method of electronic apparatus | |
| JP7091485B2 (ja) | 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器 | |
| Ali et al. | Multiple object tracking with partial occlusion handling using salient feature points | |
| US11804026B2 (en) | Device and a method for processing data sequences using a convolutional neural network | |
| Mathur et al. | Intelligent video surveillance based on object tracking | |
| Sulyman et al. | REAL-TIME NUMERICAL 0-5 COUNTING BASED ON HAND-FINGER GESTURES RECOGNITION. | |
| CN110298237B (zh) | 头部姿势识别方法、装置、计算机设备及存储介质 | |
| EP2366502B1 (en) | Robot with hand-object movement correlations for online temporal segmentation of movement tasks | |
| Khan et al. | Vision-based inceptive integration for robotic control | |
| Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
| KR20220081102A (ko) | 실시간 카메라 영상 기반 2d 휴먼 포즈 추출 데이터의 필터링을 통한 데이터 보간법을 이용한 휴먼 포즈 추출 방법 | |
| Mi et al. | A system for an anticipative front human following robot | |
| EP3309713B1 (en) | Method and device for interacting with virtual objects | |
| CN114092899A (zh) | 从输入数据中识别对象的方法和设备 | |
| Tiwari et al. | Deep learning approach for generating 2D pose estimation from video for motion capture animation | |
| KR101958270B1 (ko) | 영상분리 영상추적을 이용한 지능형 영상분석 시스템 | |
| JP2019191691A (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| Narain et al. | Gesture Command Recognition System for Human Machine Interaction | |
| Ravichandar et al. | Gyro-aided image-based tracking using mutual information optimization and user inputs |