KR20210158291A

KR20210158291A - 이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법

Info

Publication number: KR20210158291A
Application number: KR1020200141426A
Authority: KR
Inventors: 김도형; 김재홍; 윤영우; 이재연; 장민수; 최정단
Original assignee: 한국전자통신연구원
Priority date: 2020-06-23
Filing date: 2020-10-28
Publication date: 2021-12-30
Also published as: KR102568538B1

Abstract

이동 로봇을 이용한 휴먼 동작 평가 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 방법은, 이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계, 식별된 운동 동작에 상응하는 표준 자세와 이동 로봇의 카메라에 의해 적어도 둘 이상의 목표 위치에서 촬영한 휴먼 전신 영상들을 비교하여 휴먼의 자세를 평가하는 단계 및 적어도 둘 이상의 목표 위치들 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 포함할 수 있다.

Description

이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법{Apparatus and Method for Estimating Human Motion using Mobile Robot}

기재된 실시예는 휴먼과 함께 생활하는 로봇이 피트니스, 요가, 스트레칭 등과 같은 휴먼의 운동 동작을 영상 분석 기반으로 평가하는 기술에 관한 것이다.

TV나 스마트폰으로 영상물을 보면서 집에서 혼자 하는 운동인 홈트(홈 트레이닝)가 큰 인기를 끌고 있으며 하나의 트랜드로 자리 잡아가고 있다. 최근에는 인공지능 기술을 활용하여 카메라가 학습자의 운동 자세를 인식해서 실시간으로 자세를 평가하고 교정해주는 상용 제품들이 속속 등장하고 있다. 이러한 동작 평가를 기반으로 하는 AI 코칭 서비스는 피트니스, 다이어트뿐만 아니라 전문 스포츠, 의료 재활 등 다양한 영역으로 파급될 것으로 예상되며 관련 시장이 급격하게 성장할 것으로 예상된다.

영상 분석 기반의 AI 코칭 서비스의 핵심 기술은 학습자가 어떤 자세를 취하고 있는지를 파악하는 자세 정보 추출 기술이다. 대부분의 종래 기술들은 휴먼의 관절(joint) 위치를 검출하고 검출된 관절들로 구성된 골격(skeleton) 정보를 학습자의 자세 정보로 활용한다. 따라서, 정확한 관절 위치의 검출이 매우 중요하며 관절 위치 검출의 정확도가 전체 동작 평가 시스템의 성능을 크게 좌우한다.

그런데, TV 또는 스마트폰에 부착된 카메라로 휴먼의 동작을 평가하는 기존의 기술들은 동작 평가에 중요한 관절 모두를 정확하게 검출하지 못한다. 따라서 사용자에게 신뢰성 있는 평가 결과를 제공하지 못하는 문제가 있다. 즉, 동작에 따라 각 관절의 위치를 검출하기에 용이한 최적의 카메라 방향이 있는데, 고정된 카메라 위치로는 모든 관절을 정확하게 검출하기에는 한계가 있다. 또한, 특정 관절이 신체의 다른 부분이나 도구에 의해서 가려지는 경우에도 관절 위치를 정확하게 검출하기가 어렵다. 따라서 종래의 기술들은 위치 검출이 가능한 몇몇의 관절에 대해서만 비교 평가를 수행해서 부분적인 평가 결과만을 제공하고 있는 수준이다.

이러한 단일 카메라의 한계를 극복하기 위해서 다중 카메라(2~4대)를 사용하여 문제를 해결하려는 시도도 있다. 하지만 설치 비용의 증가와 다중 카메라로 구성된 별도의 시스템을 구성해야 한다는 또 다른 문제들이 발생한다. 또한, 다중 카메라가 관절 위치 검출에 유리하기는 하지만 카메라가 고정되어 있기 때문에 각 관절의 검출에 용이한 최적의 방향에 능동적으로 대처하지 못하는 근본적인 문제는 여전히 남아있다.

한국공개특허 10-2020-0022788호

기재된 실시예는 휴먼이 동작을 수행할 때 로봇이 위치를 변경해가면서 최적의 위치에서 휴먼의 동작을 관찰함으로써 자세나 동작의 평가 성능을 향상시키도록 하는데 그 목적이 있다.

실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 방법은, 이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계, 식별된 운동 동작에 상응하는 표준 자세와 이동 로봇의 카메라에 의해 적어도 둘 이상의 목표 위치에서 촬영한 휴먼 전신 영상들을 비교하여 휴먼의 자세를 평가하는 단계 및 적어도 둘 이상의 목표 위치들 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 포함할 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 휴먼 전신 영상에서 관절을 검출하는 단계 및 검출 정확도가 기준치 이상인 관절들로 구성된 분절에 대한 자세 정확도 점수를 산출하는 단계를 포함할 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 관절의 검출 정확도 및 분절에 대한 자세 정확도 점수를 자세 평가도에 기록하는 단계를 더 포함하되, 자세 평가도는, 휴먼의 전체 분절들 및 관절들이 표시된 것일 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 분절 별로 반복 평가되고, 자세 평가도에 기록하는 단계는, 분절의 평가 횟수를 색상 또는 명도에 따라 구별되도록 자세 평가도에 기록될 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 자세 프로파일을 기반으로 목표 위치를 설정하되, 자세 프로파일이, 분절들 각각에 대한 가중치 및 2차원 방향 벡터를 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 선택된 분절의 2차원 방향 벡터를 기반으로 해당 분절의 최적 관찰 위치인 목표 위치를 설정할 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 자세 프로파일을 기반으로 목표 위치를 설정하되, 자세 프로파일이, 분절들 각각에 대한 가중치만을 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 최적 관찰 위치인 목표 위치를 실시간 계산하되, 목표 위치는, 선택된 분절을 구성하는 두 관절들이 관찰되고, 분절의 중심으로부터 수직 연장되고, 두 관절들 각각으로부터의 거리가 동일한 지점으로 설정될 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 자세 프로파일이 제공되지 않을 경우, 휴먼을 중심으로 일정 거리의 지점을 일정 각도만큼 이동하면서 목표 위치를 설정할 수 있다.

이때, 휴먼의 운동 동작을 평가하는 단계는, 분절을 구성하는 관절들의 검출 정확도의 평균으로 분절 검출 정확도를 산출하는 단계, 분절 검출 정확도 점수 및 분절 검출 정확도의 평균으로 분절의 최종 자세 정확도 점수를 산출하는 단계 및 분절 각각의 최종 자세 정확도 점수 및 가중치를 기반으로 최종 동작 정확도를 산출하는 단계를 포함할 수 있다.

실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계, 식별된 운동 동작에 상응하는 표준 자세와 이동 로봇의 카메라에 의해 적어도 둘 이상의 목표 위치에서 촬영한 휴먼 전신 영상들을 비교하여 휴먼의 자세를 평가하는 단계 및 적어도 둘 이상의 목표 위치들 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 수행할 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 분절 별로 반복 평가되고, 자세 평가도에 기록하는 단계는, 분절의 평가 횟수를 색상 또는 명도에 따라 구별되도록 자세 평가도에 기록할 수 있다.

실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 방법은, 이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계, 식별된 운동 동작에 상응하는 표준 자세와 자세 프로파일을 검출하는 단계, 자세 프로파일을 기반으로 목표 위치를 설정하는 단계, 이동 로봇이 설정된 목표 위치로 이동하여 카메라에 의해 촬영한 휴먼 전신 영상과 표준 자세를 비교하여 휴먼의 자세를 평가하는 단계 및 목표 위치 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 포함하되, 목표 위치를 설정하는 단계 및 휴먼의 자세를 평가하는 단계는 반복 수행될 수 있다.

이때, 휴먼의 자세를 평가하는 단계는, 휴먼 전신 영상에서 관절을 검출하는 단계 및 검출 정확도가 기준치 이상인 관절들로 구성된 분절에 대한 자세 정확도 점수를 소정 평가 횟수만큼 반복적으로 산출하는 단계를 포함할 수 있다.

이때, 목표 위치를 설정하는 단계는, 자세 프로파일을 기반으로 목표 위치를 설정하되, 자세 프로파일이, 분절들 각각에 대한 가중치 및 2차원 방향 벡터를 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 선택된 분절의 2차원 방향 벡터를 기반으로 해당 분절의 최적 관찰 위치인 목표 위치를 설정할 수 있다.

이때, 목표 위치를 설정하는 단계는, 자세 프로파일을 기반으로 목표 위치를 설정하되, 자세 프로파일이, 분절들 각각에 대한 가중치만을 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 최적 관찰 위치인 목표 위치를 실시간 계산하되, 목표 위치는, 선택된 분절을 구성하는 두 관절들이 관찰되고, 분절의 중심으로부터 수직 연장되고, 두 관절들 각각으로부터의 거리가 동일한 지점으로 설정될 수 있다.

실시예에 따라, 이동 로봇은 휴먼이 특정 동작을 수행할 때 관절의 위치 검출에 유리한 최적의 위치로 스스로 이동하여, 다양한 방향에서 휴먼의 동작을 관찰함으로써 자세나 동작 평가의 신뢰도를 현저히 향상시킬 수 있는 이점이 있다.

도 1은 고정 카메라를 이용하여 휴먼 자세를 평가하는 장치에 대한 개념도이다.
도 2는 실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 장치의 개략적인 개념도이다.
도 3은 실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 방법을 설명하기 위한 순서도이다.
도 4는 실시예에 따른 자세 평가 단계를 설명하기 위한 순서도이다.
도 5는 실시예에 따른 자세 평가도의 예시도이다.
도 6은 실시예에 따른 로봇 위치 이동 단계를 설명하기 위한 순서도이다.
도 7은 실시예에 따른 목표 위치 설정을 위한 자세 프로파일의 예시도이다.
도 8은 실시예에 따른 목표 위치 설정 단계를 설명하기 위한 순서도이다.
도 9는 실시예에 따른 분절의 최적 관찰 방향 검색 방법을 설명하기 위한 예시도이다.
도 10은 실시예에 따른 자세 프로파일이 제공되지 않은 경우의 이동 로봇의 목표 위치 결정 예시도이다.
도 11은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는, 도 1 내지 도 11을 참조하여 실시예에 따른 이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법이 상세히 설명된다.

도 1은 고정 카메라를 이용하여 휴먼 자세를 평가하는 장치에 대한 개념도이다.

도 1을 참조하면, 종래의 휴먼 자세를 평가하는 장치는 TV 또는 스마트폰에 부착된 카메라로 고정된 단일 카메라(10) 또는 다중 카메라(21, 22)를 사용한다.

이러한 종래의 휴먼 자세를 평가하는 장치는 동작 평가에 중요한 관절 모두를 정확하게 검출하지 못한다. 즉, 동작에 따라 각 관절의 위치를 검출하기에 용이한 최적의 카메라 방향이 있는데, 고정된 카메라 위치로는 모든 관절을 정확하게 검출하기에는 한계가 있다. 또한, 특정 관절이 신체의 다른 부분이나 도구에 의해서 가려지는 경우에도 관절 위치를 정확하게 검출하기가 어렵다. 따라서 종래의 기술들은 위치 검출이 가능한 몇몇의 관절에 대해서만 비교 평가를 수행해서 부분적인 평가 결과만을 제공하고 있는 수준으로 그 신뢰성이 낮다.

도 2는 실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 장치의 개략적인 개념도이다.

도 2를 참조하면, 실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 장치(100)는 카메라가 장착된 이동 로봇을 이용하여 구현될 수 있다.

이러한 휴먼 동작 평가 장치(100)는 관절을 정확하게 추출할 수 있는 최적의 위치를 스스로 찾아서 이동함으로써 관절 검출의 정확도를 향상시키고, 궁극적으로 동작 평가의 성능을 향상시킨다. 실시예는 마치 전문 트레이너가 관찰이 용이한 위치로 이동하면서 학습자의 자세를 정확하게 지도하는 것과 같은 상황을 효과적으로 연출함으로써 고수준의 코칭 서비스를 제공해 줄 수 있다.

이때, 휴먼 동작 평가 장치(100)는, 이동 로봇에 일체형으로 구현될 수도 있고, 이동 로봇과 무선 통신을 통해 이동 로봇의 이동을 제어하고, 이동 로봇이 촬영한 영상을 수신할 수 있는 별도의 분리된 장치로 구현될 수도 있다.

이하 실시예에서는 설명의 편의를 위해 휴먼 동작 평가 장치(100)가 이동 로봇에 장착되어 일체형으로 구현된 형태를 예로 들어 설명하나, 본 발명은 이에 한정되지 않는다.

도 3은 실시예에 따른 이동 로봇을 이용한 휴먼 동작 평가 방법을 설명하기 위한 순서도이다.

도 3을 참조하면, 이동 로봇(100)은 장착된 카메라를 통해 획득된 영상을 기반으로 휴먼의 운동 동작을 식별한다(S110).

이때, 운동 동작은, 휴먼이 건강 증진을 위해 의식적으로 수행하는 동작일 수 있다.

이동 로봇(100)은, 카메라를 통해 획득된 동영상에서 캡쳐된 영상 시퀀스를 분석하여 휴먼이 현재 어떤 행동을 취하고 있는지를 판별한다.

이때, 휴먼은 일상적인 행동을 취할 수도 있고, 실시예에 따른 평가 대상인 운동 동작을 수행할 수도 있다

이동 로봇(100)은, 휴먼이 일상 행동이 아닌 운동 동작을 수행하고 있을 경우, 해당 운동 동작의 종류를 식별한다.

이때, 동작을 식별하는 구체적인 방법은 특허 "로봇의 사용자 적응형 행동 인식 방법 및 이를 위한 장치" (출원번호: 10-2019-0109364)에 기술된 방법을 따를 수 있다.

이때, 이동 로봇(100)은 운동 동작 종류 별로 상응하는 표준 자세와 자세 프로파일이 구축된 데이터베이스로부터 식별된 운동 동작에 상응하는 정보를 검색한다.

이때, 표준 자세는, 운동 동작에 대한 올바른 자세 정보일 수 있다.

이때, 자세 프로파일은, 분절 가중치 정보 및 분절별 최적 관찰 방향 정보를 포함하는 메타 정보일 수 있다. 이때, 분절 가중치 정보는, 표준 자세를 수행하는 데 있어 중요하게 평가되어야 할 분절들 정보일 수 있고, 분절별 최적 관찰 방향 정보는 분절들 각각에 대해 정확하게 평가하기 위한 최적 관찰 방향 정보일 수 있다.

이러한, 운동 동작 종류별 표준 자세 및 자세 프로파일은 해당 운동의 전문가로부터 획득된 정보로 구축될 수 있다.

이동 로봇(100)은, 일 위치에서 촬영된 영상에서의 휴먼의 자세를 운동 동작에 상응하는 표준 자세와의 비교를 통해 그 자세 정확도를 평가한다(S120).

이때, 휴먼 동작 평가 장치(200)는, 자세 프로파일을 기반으로 휴먼의 자세에서 평가 대상 분절을 추출하여, 그 평가 대상 분절과 표준 자세에서의 해당 분절의 비교를 통해 자세 정확도를 평가하고, 평가된 자세 정확도를 자세 평가도에 저장한다. 이에 대한 상세한 설명은 도 4 및 도 5를 참조하여 후술하기로 한다.

그런 후, 이동 로봇(100)은, 다른 위치 이동할 필요가 있는지 판단한다(S130). 즉, 일 위치에서 자세 평가가 충분히 이루어졌는지를 판단하는 것이다.

S130의 판단 결과 이동할 필요가 있는 것으로 판단된 경우, 이동 로봇(100)은 다음 목표 위치로 이동한다(S140).

이때, 다음 목표 위치는 자세 평가에 유리한 위치일 수 있다. S140의 상세한 설명은 도 6 내지 도 10을 참조하여 후술하기로 한다.

S120 내지 S140을 통해 이동 로봇(100)은, 위치 이동과 자세 평가를 반복 수행하고, 각각의 위치에서 검출된 관절과 평가된 분절들에 대한 정보들은 자세 평가도에 계속해서 저장된다.

반면, S130의 판단 결과 이동이 필요하지 않은 것으로 판단된 경우, 이동 로봇(100)은, 자세 평가 결과를 종합하여 최종적으로 휴먼 동작에 대한 평가 결과를 제공한다(S150). 즉, 자세 평가도에 도시된 모든 분절에 대하여 자세 평가 정보가 확보되면, 이동 로봇(100)은, 그 동안 확보한 자세 평가 정보를 종합하여 최종적으로 휴먼 동작을 평가한다.

이때, 최종 동작 평가는 자세 프로파일에서 제공되는 각 분절들의 가중치 w와, S120에서 산출된 각 관절들의 검출 정확도 j, 각 분절들의 자세 정확도 점수 s, 각 분절들의 평가 횟수 n를 기반으로 모든 분절의 최종 자세 정확도 점수 M을 다음과 같은 <수학식 1>로 결정된다.

<수학식 1>

<수학식 1>에서 m 은 모든 분절의 개수로, 예컨대 15일 수 있고, Bi는 i번째 분절이 n회 평가되었을 때의 자세 정확도 점수를 종합한 i번째 분절의 최종 자세 정확도 점수로, 다음의 <수학식 2>에 의해 산출될 수 있다.

<수학식 2>

<수학식 2>에서 Ei는 i번째 분절을 구성하는 양끝 관절들 ja, jb의 검출 정확도로 산출된 분절 검출 정확도 값으로, 다음의 <수학식 3>에 의해 산출될 수 있다.

<수학식 3>

그러면, 도 3에 도시된 자세 평가 단계(S120)에 대해 상세히 설명하기로 한다.

도 4는 실시예에 따른 자세 평가 단계를 설명하기 위한 순서도이고, 도 5는 실시예에 따른 자세 평가도의 예시도이다.

도 4를 참조하면, 이동 로봇(100)은 현재 위치한 지점에서 휴먼의 전신이 포함된 영상을 촬영한다(S210).

그런 후, 이동 로봇(100)은 촬영된 휴먼의 전신 영상에서 관절들의 위치를 검출한다(S220).

도 5에 도시된 자세 평가도를 참조하면, 휴먼의 전신 영상에서 검출될 수 있는 관절들은 j1 내지 j16까지의 총 16개의 관절들일 수 있다. 그리고, 총 16개의 관절들 사이에는 s1 내지 s15까지의 총 15개의 분절들이 구성될 수 있다.

이때, 이동 로봇(100)이 현재 위치에서 휴먼을 바라보는 방향의 뷰에서 가려짐이 없이 잘 보이는 관절들은 촬영한 전신 영상으로부터 검출이 가능하므로 검출 정확도(certainty)가 높다. 그러나, 로봇 뷰에서 보이지 않는 관절들은 전신 영상으로부터 검출할 수 없으므로, 이동 로봇(100)은 해당 관절의 위치는 추정해야 한다. 그런데, 이러한 추정 관절 위치는 검출된 관절 위치에 비해 상대적으로 그 정확도가 낮을 수 밖에 없다.

예컨대, 이동 로봇(100)이 휴먼의 오른쪽 방향에 위치하고 있다면, 로봇 뷰에서 보여지는 오른쪽 팔과 오른쪽 다리의 관절들은 검출 정확도가 높지만, 로봇 뷰에서 가려짐에 의해 보이지 않는 왼쪽 팔과 왼쪽 다리의 관절들은 검출 정확도가 낮다.

따라서, 실시예에 따라, 이동 로봇(100)은 로봇 뷰에서 검출 정확도가 기준치 이상인 관절에 대해서만 자세 평가 프로세스를 진행한다.

즉, 이동 로봇(100)은 검출된 관절들 각각에 대해 그 관절 검출 정확도를 산출하고, 산출된 관절 검출 정확도가 기준치 이상인 관절이 존재하는지를 판단한다(S230).

S230의 판단 결과 관절 검출 정확도가 기준치 이상인 관절이 존재할 경우, 이동 로봇(100)은 해당 관절들로 구성된 분절(body segment)에 대해서만 자세 정확도 점수를 산출한다(S250).

이때, 하나의 분절은 적어도 한번 이상 평가될 수 있다.

따라서, 이동 로봇(100)은 검출된 관절 검출 정확도가 기준치 이상인 관절들로 구성된 분절의 반복 평가 필요 여부를 판단(S240)하는 단계를 더 수행한다. 즉, 해당 분절에 대해 충분한 반복 평가가 이루어졌는지를 판단하는 것이다.

따라서, S240의 판단 결과 해당 관절로 구성된 분절의 반복 평가가 필요할 경우, 이동 로봇(100)은 해당 분절의 자세 정확도 점수를 산출(S250)하고, 자세 정확도 점수가 산출되면 그 평가 결과를 갱신한다(S260).

그런 후, 이동 로봇(100)은 분절의 자세 정확도 점수가 산출되면 그 평가 결과를 갱신한다(S260).

이때, 자세 정확도 점수는 도 5에 도시된 바와 같은 자세 평가도에 기록/갱신될 수 있다.

이때, 자세 평가도에는 전술한 자세 평가에 의해 산출되는 정보들인 관절의 검출 정확도, 분절의 자세 정확도 점수 및 분절의 평가 횟수가 기록될 수 있다.

이때, 동일 관절 및 분절에 대해서 복수 회 평가될 수 있으므로, 각 평가 시에 산출되는 정보가 모두 기록될 수 있다.

이때, 평가 횟수는 명도 또는 색상 차이로 구별하여 표시되도록 할 수 있다.

예컨대, 도 5를 참조하면, 관절 또는 분절에 표시된 명도는 평가 횟수와 비례할 수 있다. 즉, 분절 s4가 평가 횟수가 0 회 이고, 분절 s14는 평가 횟수가 1회이고, 분절 s5는 평가 횟수가 2회이고, 분절 s8은 평가 횟수가 3회일 수 있다.

이러한 자세 평가도는 사용자에게 현재의 평가 진행 상태에 대한 정보를 제공하기 위한 인터페이스로도 활용될 수 있다.

한편, 다시 도 4를 참조하면, S230 및 S240의 판단 결과 현재 위치에서 관절 검출 정확도가 기준치 이상인 관절이 존재하지 않거나, 기준치 이상의 관절이 존재한다 하더라도 해당 관절로 구성된 분절이 설정된 횟수 이상으로 충분히 평가가 되었다면 이동 로봇(100)은 다음 위치로 이동하게 된다(S130).

다음으로 도 3에 도시된 로봇 위치 이동 단계(S140)에 대해 상세히 설명하기로 한다.

도 6은 실시예에 따른 로봇 위치 이동 단계를 설명하기 위한 순서도이고, 도 7은 실시예에 따른 목표 위치 설정을 위한 자세 프로파일의 예시도이고, 도 8은 실시예에 따른 목표 위치 설정 단계를 설명하기 위한 순서도이고, 도 9는 실시예에 따른 분절의 최적 관찰 방향 검색 방법을 설명하기 위한 예시도이고, 도 10은 실시예에 따른 자세 프로파일이 제공되지 않은 경우의 이동 로봇의 목표 위치 결정 예시도이다.

도 6을 참조하면, 이동 로봇(100)은 다음으로 이동할 목표 위치를 설정한다(S310).

이때, 목표 위치는 자세 평가에 유리한 위치일 수 있다.

이때, 목표 위치 설정은 자세 프로파일 존재 여부에 따라 다양한 방식으로 이루어질 수 있다.

이때, 자세 프로파일은, 특정 자세를 평가함에 있어서 각 분절들의 중요도를 나타내는 가중치 값과 각 분절들의 평가에 용이한 방향을 나타내는 2차원 방향 벡터를 포함할 수 있다. 예컨대, 도 7을 참조하면, 자세 프로파일의 각 분절들에는 가중치 w1, w2,..., w15 및 2차원 방향 벡터가 표시될 수 있다.

이러한 자세 프로파일은, 해당 운동 동작의 전문가로부터 획득될 수 있는데, 도메인 전문가는 해당 자세를 취함에 있어서 어떤 분절이 가장 중요하며 그 분절의 평가를 위한 최적의 관찰 방향 정보를 경험에 의해 쉽게 알 수 있기 때문이다.

예컨대, 스쿼트(Squat) 자세의 경우, 도메인 전문가들이 종아리와 허벅지 분절이 가장 중요하고 다음으로 척추 자세가 중요하다고 판단한다면 이러한 중요도에 따라 해당 분절의 가중치를 높게 설정할 수 있다. 반면, 상대적으로 팔 자세는 중요도가 떨어지기 때문에 해당 분절들의 가중치는 낮게 설정할 수 있으며 전혀 중요하지 않는 분절의 경우 0으로 설정할 수도 있다. 또한, 스쿼트 자세에서의 중요한 평가 요소인 다리 사이의 간격은 정면에서 확인이 가장 용이하며, 무릎의 굽힘 정도와 척추가 제대로 펴져 있는지 여부는 측면에서 관찰할 때 가장 정확하게 평가할 수 있다.

이러한 도메인 전문가들이 가지고 있는 도메인 지식들은 자세 프로파일 사용자 인터페이스를 통해서 비용 부담없이 간단하게 편집이 가능하기 때문에 쉽게 제공될 수 있다.

하지만 자세 프로파일 정보가 제공되지 않는 상황도 고려하여, 실시예에서는 자세 프로파일에서 제공되는 정보의 유무 또는 자세 프로파일에 최적 관찰 방향의 포함 여부에 따라 목표 이동 위치가 설정될 수 있다.

구체적으로, 도 8을 참조하면, 이동 로봇(100)은 자세 프로파일이 존재하는지를 판단한다(S311).

S311의 판단 결과 자세 프로파일이 존재하는 경우, 이동 로봇(100)은 자세 프로파일에 최적 관찰 방향의 제공 여부를 판단한다(S312).

S311 및 S312의 판단 결과 자세 프로파일에서 분절 중요도와 최적 관찰 방향 정보가 제공되는 경우, 이동 로봇(100)은 로봇의 목표 이동 위치를 결정함에 있어 가장 중요한 정보인 분절 중요도가 높은 순서대로 평가를 수행(S313)하되, 자세 프로파일에 제공된 각 분절의 최적 관찰 방향 정보를 기준으로 목표 이동 위치를 설정한다(314).

반면, S311 및 S312의 판단 결과 자세 프로파일에서 분절 중요도만 제공되는 경우, 이동 로봇(100)은 분절 중요도가 높은 순서대로 평가를 수행(S315)하되, 최적 관찰 방향 정보가 제공되지 않기 때문에 해당 분절을 가장 잘 관찰할 수 있는 위치, 즉 최적 관찰 위치를 검출해내야 한다(S316).

도 9에 도시된 바와 같이 특정 자세를 평가함에 있어서 관절 A와 관절 B로 구성된 좌측 허벅지 분절 AB를 평가한다고 가정하자. 이때 로봇이 분절 AB를 평가하기 위한 최적의 위치는 다음 두 가지 상황을 모두 만족하는 위치이다.

첫 번째로 최적 관찰 위치는 관절 A와 관절 B를 가장 정확하게 검출할 수 있는 위치이어야 한다. 전술한 바와 같이 관절 검출 정확도는 자세 평가에 있어서 매우 중요하다. 따라서 관절 A와 관절 B가 가려짐 없이 잘 관찰되어 높은 정확도로 검출이 가능해야 한다.

두 번째로 분절 AB가 형성하는 각도를 로봇이 가장 잘 관찰할 수 있는 위치이어야 한다. 자세 평가는 사용자가 특정 자세를 취할 때의 사용자의 해당 분절들과 표준자세의 해당 분절들이 이루는 각도들의 집합으로 평가된다. 따라서 분절이 이루는 각도를 정확히 측정할 수 있는 위치의 선정은 정확한 관절 검출만큼 중요하다.

전술한 두 가지 상황을 모두 만족하는 로봇의 위치는 아래 세 가지 조건을 동시에 만족하는 지점이다.

① 로봇이 캡쳐한 영상에서 두 점 A, B 모두가 관찰되는 지점

② 3차원 상의 두 점 A, B로 이루어진 선분 AB가 로봇(정확히는 로봇 카메라)을 중점으로 하는 3차원 좌표계의 z 축과 수직을 이루는 지점

③ 로봇에서 점 A까지의 z 방향으로의 실측 거리 d1과 로봇에서 점 B까지의 z 방향으로의 실측 거리인 d2가 동일한 지점

도 9에서 전술한 세 가지 조건들을 모두 만족하는 이동 로봇의 위치는 R1일 수 있다. 위치 R1에서 이동 로봇이 캡쳐한 xy 평면으로 이루어진 2차원 영상에서 관절 A, B 모두가 관찰될 수 있다. 동시에 분절 AB는 이동 로봇의 z축과 수직을 이루며, 이동 로봇에서 관절 A까지의 거리와 관절 B까지의 거리가 동일한 지점이다.

따라서, 전술한 세 가지 조건들을 모두 만족하는 위치 R1은 관절이 가장 잘 검출될 수 있고, 분절이 형성하는 각도를 가장 잘 관찰할 수 있는 최적 관찰 지점으로 설정될 수 있다.

반면, 위치 R2는 조건 ②, ③은 만족하지만, 사용자의 오른쪽 허벅지에 의해 분절 AB가 가려지는 상황이므로 조건 ①이 만족되지 않기에 최적의 이동 위치가 아니다.

그런데, 이동 로봇이 운용되는 상황에서 전술한 조건들 ②, ③을 정확하게 만족하는 지점을 찾기란 쉽지 않다. 따라서, 실시예에서는 조건 ②의 경우에는 선분 AB와 z축이 이루는 각도가 수직이 되어야 된다는 조건을 완화하여 지정된 구간 설정치(90도±α)를 사용할 수 있다. 또한, 조건 ③의 경우도 d1, d2가 동일해야 된다는 조건을 완화하여 지정된 거리차 설정치(|d1-d1|<α)를 사용할 수 있다.

한편, 특정 자세를 수행할 경우, 각 분절들은 경우에 따라서 최적의 위치가 여러 개 나올 수도 있다. 이러한 경우는 현재의 로봇 위치에서 가장 가까운 거리에 있는 목표 위치를 다음 로봇 위치로 설정할 수 있다.

다시 도 8을 참조하면, S311의 판단 결과 자세 프로파일이 제공되지 않을 경우, 이동 로봇(100)은 모든 분절이 동일한 중요도를 갖는다고 판단한다. 따라서, 이동 로봇(100)은 휴먼의 전신을 캡쳐할 수 있도록 휴먼을 중심으로 일정 거리 상의 동심원을 일정 각도로 분할한 위치를 목표 위치로 설정한다(S317). 예컨대, 도 10을 참조하면, 이동 로봇(100)은 휴먼과 일정 거리를 유지하면서 8개의 방향을 순서대로 이동하면서 해당 위치에서 자세 평가를 반복해서 수행할 수 있다.

다시 도 6을 참조하면, 이동 로봇(100)은 로봇의 하드웨어 구동부 제어를 통해 로봇의 목표 위치를 향해 이동한다(S320). 이때, 휴먼의 전신이 영상 내에 존재할 수 있도록 사용자와의 적정 거리를 유지하면서 이동할 수 있다.

이동 로봇(100)은 이동 중에 현재 위치를 계속해서 파악하면서 목표 위치에 도착 여부를 파악한다(S330). 이동 로봇(100)은 목표 위치에 도착한 것으로 판단(S340)될 때까지 S320 및 S330을 반복적으로 수행한다.

반면, 로봇은 목표 위치에 도착한 것으로 판단(S340)되면 S120(도 4 참조)의 자세 평가 프로세스를 수행한다.

도 11은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.

실시예에 따른 이동 로봇을 이용한 휴먼 자세 평가 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.

컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.

이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims

이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계;
식별된 운동 동작에 상응하는 표준 자세와 이동 로봇의 카메라에 의해 적어도 둘 이상의 목표 위치에서 촬영한 휴먼 전신 영상들을 비교하여 휴먼의 자세를 평가하는 단계; 및
적어도 둘 이상의 목표 위치들 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 포함하는, 이동 로봇을 이용한 휴먼 동작 평가 방법.
제1 항에 있어서, 휴먼의 자세를 평가하는 단계는,
휴먼 전신 영상에서 관절을 검출하는 단계; 및
검출 정확도가 기준치 이상인 관절들로 구성된 분절에 대한 자세 정확도 점수를 산출하는 단계를 포함하는, 로봇에 의한 휴먼 동작 평가 방법.
제2 항에 있어서, 휴먼의 자세를 평가하는 단계는,
관절의 검출 정확도 및 분절에 대한 자세 정확도 점수를 자세 평가도에 기록하는 단계를 더 포함하되,
자세 평가도는,
휴먼의 전체 분절들 및 관절들이 표시된 것인, 로봇에 의한 휴먼 동작 평가 방법.
제3 항에 있어서, 휴먼의 자세를 평가하는 단계는,
분절 별로 반복 평가되고,
자세 평가도에 기록하는 단계는,
분절의 평가 횟수를 색상 또는 명도에 따라 구별되도록 자세 평가도에 기록하는, 로봇에 의한 휴먼 동작 평가 방법.
제2 항에 있어서, 휴먼의 자세를 평가하는 단계는,
자세 프로파일을 기반으로 목표 위치를 설정하되,
자세 프로파일이,
분절들 각각에 대한 가중치 및 2차원 방향 벡터를 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 선택된 분절의 2차원 방향 벡터를 기반으로 해당 분절의 최적 관찰 위치인 목표 위치를 설정하는, 로봇에 의한 휴먼 동작 평가 방법.
제2 항에 있어서, 휴먼의 자세를 평가하는 단계는,
자세 프로파일을 기반으로 목표 위치를 설정하되,
자세 프로파일이,
분절들 각각에 대한 가중치만을 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 최적 관찰 위치인 목표 위치를 실시간 계산하되,
목표 위치는,
선택된 분절을 구성하는 두 관절들이 관찰되고, 분절의 중심으로부터 수직 연장되고, 두 관절들 각각으로부터의 거리가 동일한 지점으로 설정되는, 로봇에 의한 휴먼 동작 평가 방법.
제2 항에 있어서, 휴먼의 자세를 평가하는 단계는,
자세 프로파일이 제공되지 않을 경우,
휴먼을 중심으로 일정 거리의 지점을 일정 각도만큼 이동하면서 목표 위치를 설정하는, 로봇에 의한 휴먼 동작 평가 방법.
제1 항에 있어서, 휴먼의 운동 동작을 평가하는 단계는,
분절을 구성하는 관절들의 검출 정확도의 평균으로 분절 검출 정확도를 산출하는 단계;
분절 검출 정확도 점수 및 분절 검출 정확도의 평균으로 분절의 최종 자세 정확도 점수를 산출하는 단계; 및
분절 각각의 최종 자세 정확도 점수 및 가중치를 기반으로 최종 동작 정확도를 산출하는 단계를 포함하는, 로봇에 의한 휴먼 자세 평가 방법.
적어도 하나의 프로그램이 기록된 메모리; 및
프로그램을 실행하는 프로세서를 포함하며,
프로그램은,
이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계;
식별된 운동 동작에 상응하는 표준 자세와 이동 로봇의 카메라에 의해 적어도 둘 이상의 목표 위치에서 촬영한 휴먼 전신 영상들을 비교하여 휴먼의 자세를 평가하는 단계; 및
적어도 둘 이상의 목표 위치들 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 수행하는, 이동 로봇을 이용한 휴먼 동작 평가 장치.
제9 항에 있어서, 휴먼의 자세를 평가하는 단계는,
휴먼 전신 영상에서 관절을 검출하는 단계; 및
검출 정확도가 기준치 이상인 관절들로 구성된 분절에 대한 자세 정확도 점수를 산출하는 단계를 포함하는, 로봇에 의한 휴먼 동작 평가 장치.
제10 항에 있어서, 휴먼의 자세를 평가하는 단계는,
관절의 검출 정확도 및 분절에 대한 자세 정확도 점수를 자세 평가도에 기록하는 단계를 더 포함하되,
자세 평가도는,
휴먼의 전체 분절들 및 관절들이 표시된 것인, 로봇에 의한 휴먼 동작 평가 장치.
제11 항에 있어서, 휴먼의 자세를 평가하는 단계는,
분절 별로 반복 평가되고,
자세 평가도에 기록하는 단계는,
분절의 평가 횟수를 색상 또는 명도에 따라 구별되도록 자세 평가도에 기록하는, 로봇에 의한 휴먼 동작 평가 장치.
제10 항에 있어서, 휴먼의 자세를 평가하는 단계는,
자세 프로파일을 기반으로 목표 위치를 설정하되,
자세 프로파일이, 분절들 각각에 대한 가중치 및 2차원 방향 벡터를 포함할 경우,
가중치 순으로 다음 관찰 대상인 분절을 선택하고, 선택된 분절의 2차원 방향 벡터를 기반으로 해당 분절의 최적 관찰 위치인 목표 위치를 설정하는, 로봇에 의한 휴먼 동작 평가 장치.
제10 항에 있어서, 휴먼의 자세를 평가하는 단계는,
자세 프로파일을 기반으로 목표 위치를 설정하되,
자세 프로파일이, 분절들 각각에 대한 가중치만을 포함할 경우,
가중치 순으로 다음 관찰 대상인 분절을 선택하고, 최적 관찰 위치인 목표 위치를 실시간 계산하되,
목표 위치는,
선택된 분절을 구성하는 두 관절들이 관찰되고, 분절의 중심으로부터 수직 연장되고, 두 관절들 각각으로부터의 거리가 동일한 지점으로 설정되는, 로봇에 의한 휴먼 동작 평가 장치.
제19 항에 있어서, 휴먼의 자세를 평가하는 단계는,
자세 프로파일이 제공되지 않을 경우, 휴먼을 중심으로 일정 거리의 지점을 일정 각도만큼 이동하면서 목표 위치를 설정하는, 로봇에 의한 휴먼 동작 평가 장치.
제9 항에 있어서, 휴먼의 운동 동작을 평가하는 단계는,
분절을 구성하는 관절들의 검출 정확도의 평균으로 분절 검출 정확도를 산출하는 단계;
분절 검출 정확도 점수 및 분절 검출 정확도의 평균으로 분절의 최종 자세 정확도 점수를 산출하는 단계; 및
분절 각각의 최종 자세 정확도 점수 및 가중치를 기반으로 최종 동작 정확도를 산출하는 단계를 포함하는, 로봇에 의한 휴먼 자세 평가 장치.
이동 로봇에 장착된 카메라로 촬영된 휴먼 전신 영상을 분석하여 휴먼의 운동 동작을 식별하는 단계;
식별된 운동 동작에 상응하는 표준 자세와 자세 프로파일을 검출하는 단계;
자세 프로파일을 기반으로 목표 위치를 설정하는 단계;
이동 로봇이 설정된 목표 위치로 이동하여 카메라에 의해 촬영한 휴먼 전신 영상과 표준 자세를 비교하여 휴먼의 자세를 평가하는 단계;
목표 위치 각각에서의 휴먼의 자세 평가 정보를 기반으로 휴먼의 운동 동작을 종합 평가하는 단계를 포함하되,
목표 위치를 설정하는 단계 및 휴먼의 자세를 평가하는 단계는 반복 수행되는, 이동 로봇을 이용한 휴먼 동작 평가 방법.
제17 항에 있어서, 휴먼의 자세를 평가하는 단계는,
휴먼 전신 영상에서 관절을 검출하는 단계; 및
검출 정확도가 기준치 이상인 관절들로 구성된 분절에 대한 자세 정확도 점수를 소정 평가 횟수만큼 반복적으로 산출하는 단계를 포함하는, 로봇에 의한 휴먼 동작 평가 방법.
제17 항에 있어서, 목표 위치를 설정하는 단계는,
자세 프로파일을 기반으로 목표 위치를 설정하되,
자세 프로파일이,
분절들 각각에 대한 가중치 및 2차원 방향 벡터를 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 선택된 분절의 2차원 방향 벡터를 기반으로 해당 분절의 최적 관찰 위치인 목표 위치를 설정하는, 로봇에 의한 휴먼 동작 평가 방법.
제17 항에 있어서, 목표 위치를 설정하는 단계는,
자세 프로파일을 기반으로 목표 위치를 설정하되,
자세 프로파일이,
분절들 각각에 대한 가중치만을 포함할 경우, 가중치 순으로 다음 관찰 대상인 분절을 선택하고, 최적 관찰 위치인 목표 위치를 실시간 계산하되,
목표 위치는,
선택된 분절을 구성하는 두 관절들이 관찰되고, 분절의 중심으로부터 수직 연장되고, 두 관절들 각각으로부터의 거리가 동일한 지점으로 설정되는, 로봇에 의한 휴먼 동작 평가 방법.