KR20200017564A

KR20200017564A - 인물 포즈 예측을 위한 사스 서비스 방법

Info

Publication number: KR20200017564A
Application number: KR1020180085140A
Authority: KR
Inventors: 오치민
Original assignee: 오치민
Priority date: 2018-07-23
Filing date: 2018-07-23
Publication date: 2020-02-19

Abstract

본 발명은 사스(SAAS) 서비스 방법에 관한 것으로, 보다 구체적으로는 클라이언트 컴퓨터가 전송하는 대상 영상을 인터넷을 통해 전송받고, 대상 영상의 관절 좌표를 추정하여 다시 인터넷을 통해 클라이언트 컴퓨터로 전송해줌으로써 클라이언트 컴퓨터가 대상 영상의 포즈를 예측할 수 있게 하는 사스 서비스 방법에 관한 것이다.

Description

인물 포즈 예측을 위한 사스 서비스 방법{Method of Software as a Service for human pose estimation}

사스(SAAS:Software as a Service)는 클라우드 환경에서 운영되는 어플리케이션 서비스를 의미하는 것으로 모든 서비스가 클라우드에서 이루어진다.

따라서, 사스 서비스는 소프트웨어를 구입하여 PC에 설치하지 않아도 인터넷(웹)을 통해 소프트웨어를 빌려 원하는 작업을 처리할 수 있으며 장치 독립적이고 언어 독립적이며, 필요할 때 원하는 비용만 지불하면 언제 어디서든 곧바로 소프트웨어를 사용할 수 있는 장점이 있다.

한편, 신경망(neural networks)은 패턴인식(Pattern recognition), 컴퓨터 비젼(Computer vision), 자연어처리(Natural language processing; NLP), 그리고 로보틱스(Robotics) 등 인공지능의 다양한 분야에서 사용된다

딥러닝 알고리즘 중, 합성곱 신경망(CNN,Convolutional Neural Network,컨벌루션 신경망)은 영상과 음성 인식에서 좋은 성능을 보이고 있으며, 2차원 데이터의 입력이 용이하고 훈련이 쉬운 장점이 있어 최근 연구가 활발하다.

합성곱 신경망을 통한 영상 내의 관절 자세 예측은 감시, 보안, 스포츠 등 다양한 분야에서 적용되고 있으며 예측의 정확도를 향상시키고자 하는 노력이 있다.

따라서, 소프트웨어를 설치하지 않고도 인터넷을 통해 알고자 하는 원하는 영상의 인물 포즈를 예측할 수 있는 사스 서비스의 요구가 있다.

1. 한국등록특허 제10-1657495호, '딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법' 2. 한국등록특허 제10-0442835호, '인공 신경망을 이용한 얼굴 인식 방법 및 장치'

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 프로그램을 설치하지 않고도 인터넷을 통해 원하는 영상 내의 인물 포즈를 예측할 수 있게 하는 인물 포즈 예측을 위한 사스 서비스 방법을 제공하는 것이다.

또한, 본 발명의 목적인 다중 합성곱 신경망을 이용하여 영상 내에서 인물의 관절 위치를 정확하게 예측해 줄 수 있는 사스 서비스 방법을 제공하는 것이다.

상기의 목적을 달성하기 위하여 본 발명은 클라이언트 컴퓨터가 포즈 예측을 원하는 대상 영상을 서버 컴퓨터로 전송하는 단계; 상기 서버 컴퓨터가 상기 대상 영상을 다중 합성곱 신경망에 입력하여 상기 대상 영상 내 인물의 관절 좌표를 도출하는 단계; 및 상기 서버 컴퓨터가 도출된 관절 좌표를 상기 클라인언트 컴퓨터로 전송하는 단계;를 포함하는 것을 특징으로 하는 인물 포즈 예측을 위한 사스(SAAS) 서비스 방법을 제공한다.

바람직한 실시예에 있어서, 상기 다중 합성곱 신경망은 관절 좌표를 예측하는 프로그램으로 상기 서버 컴퓨터의 저장 매체에 저장되고, 적어도 제1 합성곱 신경망 및 제2 합성곱 신경망을 포함하며, 상기 제1 합성곱 신경망은 관절 좌표를 미리 알고 있는 사람 영상인 학습 영상들을 각각 제1 초기 합성곱 신경망(CNN:Convolutional Neural Network)에 입력하여 관절 좌표를 예측하고 오류 역전파 알고리즘(error back-propagatiom algorithm)을 통해 상기 제1 초기 합성곱 신경망의 가중치를 보정하여 생성되고, 상기 제2 합성곱 신경망은 상기 제1 초기 합성곱 신경망에서 예측된 예측 관절 좌표를 포함하는 부분 영역의 영상인 부분 학습 영상들을 제2 초기 합성곱 신경망에 입력하여 관절 좌표를 예측하고 오류 역전파 알고리즘을 통해 상기 제2 초기 합성곱 신경망의 가중치를 보정하여 생성된다.

바람직한 실시예에 있어서, 상기 다중 합성곱 신경망은 상기 대상 영상을 상기 제1 합성곱 신경망에 입력하여 관절 좌표를 예측하고, 예측된 관절좌표를 포함하는 부분 영역의 영상인 부분 대상 영상을 상기 제2 합성곱 신경망에 입력하여 관절 좌표를 예측하고 예측된 관절 좌표를 최종 관절 좌표로 도출한다.

또한, 본 발명은 상기 사스 서비스 방법을 수행하기 위해 다중 합성곱 신경망을 저장매체에 저장한 서버 컴퓨터를 더 제공한다.

본 발명은 다음과 같은 우수한 효과를 가진다.

먼저, 본 발명의 일 실시예에 따른 사스 서비스 방법에 의하면, 클라이언트 컴퓨터가 별도의 프로그램을 설치하지 않더라도 인터넷을 통해 서버 컴퓨터에 접속하여 원하는 대상 영상의 인물 포즈를 예측할 수 있는 장점이 있다.

또한, 본 발명의 일 실시예에 따른 사스 서비스 방법에 의하면, 복수의 합성곱 신경망을 이용하여 영상 내의 사람 관절 위치를 정확하게 예측하여 인물 포즈 예측의 정확도를 향상시킬 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 사스 서비스 방법을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 사스 서비스 방법에서 서버 컴퓨터의 다중 합성곱 신경망의 생성과정을 설명하기 위한 흐름도,
도 3은 본 발명의 일 실시예에 따른 사스 서비스 방법에서 서버 컴퓨터의 다중 합성곱 신경망의 생성과정을 설명하기 위한 블럭도,
도 4는 본 발명의 일 실시예에 따른 사스 서비스 방법에서 서버 컴퓨터가 대상 영상의 관절 좌표를 도출하는 과정을 설명하기 위한 흐름도,
도 5는 본 발명의 일 실시예에 따른 사스 서비스 방법에서 서버 컴퓨터가 대상 영상의 관절 좌표를 도출하는 과정을 설명하기 위한 블럭도이다.

본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.

이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.

그러나 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사스 서비스 방법은 클라이언트 컴퓨터(1000)가 별도의 프로그램없이 인터넷을 통해 서버 컴퓨터(2000)에 접속하여 원하는 영상의 관절 좌표를 요청하고 응답된 관절 좌표를 이용하여 인물 포즈를 예측할 수 있는 클라우드 서비스 방법이다.

먼저, 상기 클라이언트 컴퓨터(1000)는 포즈 예측을 원하는 대상 영상(50)을 상기 서버 컴퓨터(2000)에 전송한다(S100).

이때, 상기 대상 영상(50)은 포스트(POST) 방식으로 상기 서버 컴퓨터(2000)의 URI로 전송된다.

다음, 상기 서버 컴퓨터(2000)는 수신된 대상 영상(50)을 다중 합성곱 신경망에 입력하여 상기 대상 영상(50) 내의 인물의 관절 좌표를 예측한다(S200).

또한, 상기 서버 컴퓨터(2000)는 딥러닝 전용 클러스터일 수 있고 일반적인 컴퓨터를 이용할 수 있다.

다음, 상기 서버 컴퓨터(2000)는 예측된 관절 좌표를 상기 클라이언트 컴퓨터(1000)로 전송하고(S300), 상기 클라이언트 컴퓨터(1000)는 전송받은 관절 좌표(21)를 이용하여 대상 영상(50) 내의 인물 포즈를 예측한다.

또한, 상기 서버 컴퓨터(2000)는 예측된 관절 좌표를 JSON 데이터 전송방식으로 전송한다. 이 JSON 데이터 전송방식은 경량의 데이터교환 방식으로 텍스트로 데이터를 전송하며, 장치가 읽고 분석하기에 용이한 장점이 있다.

한편, 상기 다중 합성곱 신경망은 상기 서버 컴퓨터(2000)에 저장되는 컴퓨터 프로그램이다.

또한, 상기 컴퓨터 프로그램은 별도의 기록 매체에 저장되어 제공될 수 있으며, 상기 기록매체는 본 발명을 위하여 특별히 설계되어 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수 있다.

예를 들면, 상기 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD, DVD와 같은 광 기록 매체, 자기 및 광 기록을 겸할 수 있는 자기-광 기록 매체, 롬, 램, 플래시 메모리 등 단독 또는 조합에 의해 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치일 수 있다.

또한, 상기 컴퓨터 프로그램은 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등이 단독 또는 조합으로 구성된 프로그램일 수 있고, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드로 짜여진 프로그램일 수 있다.

상기 다중 합성곱 신경망은 복수의 합성곱 신경망으로 이루어지며, 상기 다중 합성곱 신경망의 생성과정을 설명하기 위한 흐름도, 도 3은 상기 다중 합성곱 신경망의 생성과정을 설명하기 위한 블럭도이다.

도 2 및 도 3을 참조하면, 먼저, 학습 영상(10)을 제1 초기 합성곱 신경망(100)에 입력한다(S1000).

또한, 상기 학습 영상(10)이란 상기 제1 초기 합성곱 신경망(100)을 훈련시키기 위한 데이터로써 관절 좌표를 미리 알고있는 사람영상이다.

또한, 상기 학습 영상(10)의 개수에는 제한이 없으며, 많으면 많을수록 상기 제1 초기 합성곱 신경망(100)의 정확도는 올라가지만 학습시간이 늘어나는 단점이 있다.

본 발명에서는 10,000개의 학습 영상(10)을 이용하여 학습하였으며, 노이즈를 부여하여 학습 영상(10)의 개수를 늘린 후 학습이 가능하다.

또한, 상기 제1 초기 합성곱 신경망(100)은 상기 학습 영상(10)을 입력받아 관절 좌표를 예측하기 위한 알고리즘으로 최근 많이 이용되는 딥러닝(deep learning) 패턴인식 알고리즘의 하나이며, 영상이나 음성인식에 인식률이 매우 좋은 것으로 알려져 있다.

다음, 상기 제1 초기 합성곱 신경망(100)은 입력된 학습 영상(10)의 관절 좌표를 예측한다(S1100).

상기 제1 초기 합성곱 신경망(100)의 동작을 간단히 설명하면, 먼저, 상기 제1 초기 합성곱 신경망(100)은 입력된 학습 영상(10)을 소정의 가중치를 갖는 콘볼루션 필터(convolution filter)를 통과시켜 특징 영상인 복수의 콘볼루션 레이어를 생성한다.

다음, 정류 선형 유닛(ReLU,Rectified Linear Unit)을 통해 상기 각 콘볼루션 레이어의 픽셀 값들 중, 신경망에서 무의미한 '0'이하의 값들을 '0'으로 변환하여 정류된 선형의 콘볼루션 레이어들을 생성한다.

다음, 콘볼루션 레이어의 크기를 맥스 연산(max operation) 또는 민 연산(mean operation)으로 축소하여 풀링 레이어를 생성한다. 본 발명에서는 2×2 윈도우 내의 픽셀들 중 최대치를 선택하여 픽셀 수를 절반으로 줄임으로써 크기가 절반으로 줄어든 맥스 풀링 레이어(max pooling layer)를 생성하였다.

다음, 각 풀링 레이어들을 입력 영상으로 하여 콘볼루션 레이어를 생성하고 정류한 후 다시 축소하는 과정을 반복함으로써, 원하는 크기와 개수의 풀링 레이어들을 획득한다.

다음, 상기 풀링 레이어들을 완전 연결(fully connected)하여 하나의 1차원 특징벡터를 생성한다. 여기서 상기 1차원 특징벡터는 완전 연결 레이어(fully connected layer)이라고도 한다.

다음, 상기 1차원 특징벡터에 가중치를 내적하여 하나의 실수를 계산하고, 가중치를 변경하면서 실수를 계산하는 과정을 반복한다. 여기서 계산된 실수는 예측되는 관절 좌표의 x좌표 및 y좌표가 된다. 본 발명에서는 상기 관절 좌표가 총 14개 이고, 각 관절 좌표는 x좌표 및 y좌표를 포함하므로 총 28개의 실수가 계산되도록 반복하였다.

다음, 상기 제1 초기 합성곱 신경망(100)은 예측된 관절 좌표(20)를 출력한다.

한편, 상기 제1 초기 합성곱 신경망(100)은 연산과정에서 콘볼루션 레이어를 계산하거나 1차원 특징벡터에 내적할 때, 이용되는 가중치들이 별도로 특정되지 않은 임의의 값이거나 최초에 미리 설정된 기본값을 갖는 합성곱 신경망이다.

다음, 예측된 관절 좌표(20)와 학습영상(10)의 실제 관절 좌표의 차이값인 에러값을 계산하고, 계산된 에러값이 기준값보다 클 경우, 오류 역전파 알고리즘(200,error back-propagation algorithm)을 통해 가중치 보정하여 가중치가 최적으로 보정된 제1 합성곱 신경망(100a)을 생성한다.

이러한 가중치 보정과정은 모든 학습 영상(10)을 순차로 입력하여 반복하여 이루어진다.

다음, 상기 제1 초기 합성곱 신경망(100)에 의해 예측된 관절 좌표(20)를 포함하는 학습 영상(10)의 부분 영상인 부분 학습 영상(30)을 생성한다.

여기서 상기 부분 학습 영상(20)은 상기 예측된 관절 좌표(20)를 이용하여 사람이 존재할 것으로 예상되는 관심 영역만을 잘라낸(크로핑,cropping) 영상이다.

예를 들면, 상기 부분 학습 영상(20)은 예측된 관절 좌표(20)들 중, 상하좌우 최외각에 위치하는 좌표들을 서로 연결한 사각형 영역으로 추출될 있으며, 추출된 사각형을 포함하여 미리 정해진 크기만큼 더 큰 사각형 영역으로 추출될 수도 있다.

또한, 상기 부분 학습 영상(20)은 노이즈를 부여하여 개수를 증가시킬 수 있다.

다음, 상기 부분 학습 영상(20)을 제2 초기 합성곱 신경망(300)에 입력하고(S3000), 상기 제2 초기 합성곱 신경망(300)은 상기 부분 학습 영상(20) 내에서 사람의 관절 좌표를 예측한다(S3100).

또한, 상기 제2 초기 합성곱 신경망(300)이 관절좌표를 예측하는 과정은 상기 제1 초기 합성곱 신경망(100)의 동작과 실질적으로 동일하므로 설명을 생략한다.

다음, 예측된 관절 좌표(40)와 부분 학습 영상(30) 내에서 관절 좌표를 서로 비교하여 에러값을 계산하고, 오류 역전파 알고리즘(200a)을 이용하여 가중치를 보정함으로써 제2 합성곱 신경망을 생성한다(S4000).

본 발명에서는 두 개의 합성곱 신경망을 생성하는 것을 예시하였으나 두 개 이상 복수개로 생성될 수 있으며 합성곱 신경망을 개수가 늘어날수록 실제 대상 영상의 관절 좌표 예측 정확도가 높아진다.

다음, 이렇게 생성된 다중 합성곱 신경망은 상기 클라이언트 컴퓨터(1000)에서 전송된 대상 영상(50)의 관절 좌표를 예측하여 도출한다. 도 4는 상기 다중 합성곱 신경망이 상기 대상 영상(50)의 관절 좌표를 도출하는 과정을 설명하기 위한 흐름도이고, 도 5는 본 발명의 상기 다중 합성곱 신경망이 상기 대상 영상(50)의 관절 좌표를 도출하는 과정을 설명하기 위한 블럭도이다.

도 4 및 도 5를 참조하면, 실제 관절 좌표를 예측하고자 하는 영상인 대상 영상(50)을 상기 제1 합성곱 신경망(100a)에 입력하고(S5000), 상기 제1 합성곱 신경망(100a)은 관절 좌표를 예측한다(S5100).

다음, 예측된 관절 좌표(60)를 포함하는 부분 영상인 부분 대상 영상(70)을 상기 제2 합성곱 신경망(300a)에 입력하고, 상기 제2 합성곱 신경망(300a)은 관절 좌표를 예측한다(S6100).

여기서, 상기 제2 합성곱 신경망(300a)에 의해 예측된 관절 좌표는 최종적으로 상기 대상 영상(50) 내에서 사람의 관절 좌표로 예측되어 도출된다(S7000).

즉, 본 발명의 일 실시예에 따른 관절 좌표 예측 방법에 의하면, 다중의 합성곱 신경망을 순차적으로 이용하여 영상 내에서 사람의 관절 좌표를 정확하게 예측할 수 있는 장점이 있다.

이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.

100:제1 초기 합성곱 신경망 100a:제1 합성곱 신경망
200,200a:오류 역전파 알고리즘 300:제2 초기 합성곱 신경망
300a:제2 합성곱 신경망
1000:클라이언트 컴퓨터 2000:서버 컴퓨터

Claims

클라이언트 컴퓨터가 포즈 예측을 원하는 대상 영상을 서버 컴퓨터로 전송하는 단계;
상기 서버 컴퓨터가 상기 대상 영상을 다중 합성곱 신경망에 입력하여 상기 대상 영상 내 인물의 관절 좌표를 도출하는 단계; 및
상기 서버 컴퓨터가 도출된 관절 좌표를 상기 클라인언트 컴퓨터로 전송하는 단계;를 포함하는 것을 특징으로 하는 인물 포즈 예측을 위한 사스(SAAS) 서비스 방법.
제 1 항에 있어서,
상기 다중 합성곱 신경망은 관절 좌표를 예측하는 프로그램으로 상기 서버 컴퓨터의 저장 매체에 저장되고, 적어도 제1 합성곱 신경망 및 제2 합성곱 신경망을 포함하며,
상기 제1 합성곱 신경망은 관절 좌표를 미리 알고 있는 사람 영상인 학습 영상들을 각각 제1 초기 합성곱 신경망(CNN:Convolutional Neural Network)에 입력하여 관절 좌표를 예측하고 오류 역전파 알고리즘(error back-propagatiom algorithm)을 통해 상기 제1 초기 합성곱 신경망의 가중치를 보정하여 생성되고,
상기 제2 합성곱 신경망은 상기 제1 초기 합성곱 신경망에서 예측된 예측 관절 좌표를 포함하는 부분 영역의 영상인 부분 학습 영상들을 제2 초기 합성곱 신경망에 입력하여 관절 좌표를 예측하고 오류 역전파 알고리즘을 통해 상기 제2 초기 합성곱 신경망의 가중치를 보정하여 생성되는 것을 특징으로 하는 인물 포즈 예측을 위한 사스(SAAS) 서비스 방법.
제 2 항에 있어서,
상기 다중 합성곱 신경망은 상기 대상 영상을 상기 제1 합성곱 신경망에 입력하여 관절 좌표를 예측하고, 예측된 관절좌표를 포함하는 부분 영역의 영상인 부분 대상 영상을 상기 제2 합성곱 신경망에 입력하여 관절 좌표를 예측하고 예측된 관절 좌표를 최종 관절 좌표로 도출하는 것을 특징으로 하는 인물 포즈 예측을 위한 사스(SAAS) 서비스 방법.
제 1 항 내지 제 3 항 중, 어느 한 항의 사스 서비스 방법을 수행하기 위해 다중 합성곱 신경망을 저장매체에 저장한 서버 컴퓨터.