KR102315696B1 - 관절 모델 정합 장치 및 방법 - Google Patents

관절 모델 정합 장치 및 방법 Download PDF

Info

Publication number
KR102315696B1
KR102315696B1 KR1020180167986A KR20180167986A KR102315696B1 KR 102315696 B1 KR102315696 B1 KR 102315696B1 KR 1020180167986 A KR1020180167986 A KR 1020180167986A KR 20180167986 A KR20180167986 A KR 20180167986A KR 102315696 B1 KR102315696 B1 KR 102315696B1
Authority
KR
South Korea
Prior art keywords
feature point
dimensional coordinates
joint
estimated
estimating
Prior art date
Application number
KR1020180167986A
Other languages
English (en)
Other versions
KR20200078258A (ko
Inventor
장정우
황영규
김정배
Original Assignee
주식회사 알체라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알체라 filed Critical 주식회사 알체라
Priority to KR1020180167986A priority Critical patent/KR102315696B1/ko
Publication of KR20200078258A publication Critical patent/KR20200078258A/ko
Application granted granted Critical
Publication of KR102315696B1 publication Critical patent/KR102315696B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상으로부터 신체, 예를 들어, 손, 상반신, 신체 전체 등의 관절 모델을 3차원으로 복원하는 것으로, 2차원 영상으로부터 2차원 특징점으로 취득하여 이에 대응하는 3차원 관절 모델을 생성하여 추정하는 관절 모델 정합 방법 및 장치에 관한 것이다.

Description

관절 모델 정합 장치 및 방법{APPARATUS FOR FITTING OF ARTICULATED MODEL AND METHOD FOR THE SAME}
본 발명은 영상으로부터 신체, 예를 들어, 손, 상반신, 신체 전체 등의 관절 모델을 3차원으로 복원하는 것으로, 2차원 영상으로부터 2차원 특징점으로 취득하여 이에 대응하는 3차원 관절 모델을 생성하여 추정하는 것에 관한 것이다.
영상으로부터 신체, 예를 들어, 손, 상반신, 신체 전체 등의 관절 모델을 3차원으로 복원하는 기술은 최근 스마트폰 등 휴대 촬영 및 디스플레이 기기가 보편화되기 이전부터 계속 연구되어왔으며, 2차원 영상 이외에 깊이 정보를 취득하는 RGBD 카메라, 광학 입력을 복수화하여 3차원 정보를 취득하는 스테레오 카메라 등의 3차원 입력을 사용하는 기존 연구가 존재하였다.
최근, 프로세서의 비약적인 발전으로 프로세서의 빠른 연산 능력을 이용하는 기계학습, 특히 딥러닝 기술을 활용하여 손, 신체 등의 관절 모델(articulated model)을 3차원으로 복원하는 연구가 진행되고 있다.
이러한 관절 모델 복원 기술 중 딥러닝 기술을 이용하여 2차원 특징점(landmark)을 취득한 후 IK(inverse kinematics) 기법을 이용해서 3차원으로 복원하는 기술이 존재하나, 이는 자코비안(Jacobian) 행렬 또는 켤레 기울기법(Conjugate gradient)을 이용하여 비용 함수에 대한 최적화를 수행하므로, 연산이 복잡하여 처리시간이 많이 소요되고 특히 휴대기기에서 전력량 소모가 과도함과 동시에 로컬 미니멈(local minimum)에 빠질 수 있는 위험성이 있는 문제점이 존재하였다.
본 발명은 영상으로부터 신체의 관절 모델을 3차원으로 복원하는 것으로, 2차원 영상으로부터 2차원 특징점으로 취득하여 이에 대응하는 3차원 관절 모델을 적은 연산량으로 추정하여, 처리 시간이 적게 소요되고, 로컬 미니멈 문제를 해결하며, 특히, 스마트폰과 같은 휴대기기에서 전력량 소모를 저감할 수 있는 관절 모델 정합 장치 및 방법을 제공하고자 한다.
본 발명은 원본 영상에서 신체 영역의 영상을 검출하는, 신체 영상 검출 단계;
상기 검출된 신체 영역의 영상으로부터 관절 포인트를 포함하는 하나 이상의 특징점을 추출하는, 특징점 추출 단계;
평균 3차원 신체 형상 모델을 생성하는, 신체 형상 모델 생성 단계;
상기 추출된 특징점 중 어느 하나 이상의 특징점을 포함하는 변환 추정 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 변환 추정 단계; 및
상기 추출된 특징점 중 어느 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 자세 추정 단계;를 포함하는 관절 모델 정합 방법으로서,
상기 자세 추정부는 3차원 좌표 상의 임의의 위치에서, 특징점 중 어느 하나 이상으로부터 추정된 3차원 좌표 상 위치를 연결하는 기준 직선으로부터, 상기 특징점의 3차원 좌표 상의 위치를 추정하는 것인, 관절 모델 정합 방법을 제공한다.
또한, 본 발명은 원본 영상에서 신체 영역의 영상을 검출하는, 신체 영상 검출부;
상기 검출된 신체 영역의 영상으로부터 관절 포인트를 포함하는 하나 이상의 특징점들을 추출하는, 특징점 추출부;
평균 3차원 신체 형상 모델을 생성하는, 신체 형상 모델 생성부;
상기 특징점 중 관절 포인트가 아닌 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 변환 추정부; 및
상기 특징점 중 하나 이상의 관절 포인트로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 자세 추정부;를 포함하는 관절 모델 정합 장치로서,
상기 자세 추정부는 3차원 좌표 상의 임의의 위치에서, 상기 관절 포인트 중 어느 하나 이상으로부터 추정된 3차원 좌표 상 위치를 연결하는 직선을 기준으로, 관절 포인트의 3차원 좌표 상의 위치를 추정하는 것인, 관절 모델 정합 장치를 제공한다.
본 발명에 따른 관절 모델 정합 장치 및 방법은, 2차원 영상으로부터 2차원 특징점으로 취득하여 이에 대응하는 신체, 예를 들어, 손, 상반신, 신체 전체 등의 3차원 관절 모델을 적은 연산량으로 추정함으로써, IK 기법보다 최대 2백분의 1로 처리 시간이 감축되고, 특히, 스마트폰과 같은 휴대기기에서 전력량 소모를 저감할 수 있으며, 몇개의 후보 해를 닫힌 형태의 해(Closed-form solution)으로 계산하여, IK 기법과 같은 최적화 기법을 사용하는 것에서 발생하는 로컬 미니멈 문제가 발생하지 않는다.
도 1은 본 발명에 따른 관절 모델 정합 장치(10)의 일 실시예를 도시한 것이다.
도 2 및 3은 각각 본 발명에 따른 관절 모델 정합 장치(10)의 일 실시예를 도시한 것이다.
도 4는 본 발명에 따른 관절 모델 정합 방법의 일 실시예를 도시한 것이다.
도 5는 기준 직선을 산출하는 단계에 관한 과정을 2차원 적으로 도시한 것이다.
도 6은 본 발명에 따른 자세 추정 단계(S15)에 포함된 구체적인 단계들을 도시한 것이다.
도 7은 본 발명에 따른 반복 추정 단계(S153)에 의하여, 신체 중 어깨에 대응되는 특징점(P0)으로부터, 팔꿈치에 대응되는 특징점(P1) 및 말단의 팔목에 대응되는 특징점(P2)을 순서대로 3차원 좌표 상의 위치를 추정한 일 예시를 도시한 것이다.
도 8은 본 발명에 따른 반복 추정 단계(S153)에 의하여, 신체 중 손, 구체적으로 검지의 뿌리 관절에 대응되는 특징점(P0)으로부터, 검지의 두 관절에 대응되는 특징점(P1, P2) 및 검지의 말단에 대응되는 특징점(P3)을 순서대로 3차원 좌표 상의 위치를 추정한 일 예시를 도시한 것이다.
도 9는 본 발명에 따른 반복 추정 단계(S153)에 포함된 구체적인 단계들을 도시한 것이다.
도 10은 식 6의 산출 과정을 2차원 적으로 도시한 것이다.
도 11은 신체 중 손 중지의 두번째 관절의 후보 중 적절한 근을 선택하는 예를 도시한 것이다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다.
이하, 도면을 참조하여, 관절 모델 정합 장치 및 관절 모델 정합 방법을 설명한다.
도 1은 본 발명에 따른 관절 모델 정합 장치(10)의 일 실시예를 도시한 것으로, 상기 관절 모델 정합 장치(10)는 원본 영상에서 신체 영역의 영상을 검출하는, 신체 영상 검출부(102); 상기 검출된 신체 영역의 영상으로부터 관절 포인트를 포함하는 하나 이상의 특징점들을 추출하는, 특징점 추출부(103); 평균 3차원 신체 형상 모델을 생성하는, 신체 형상 모델 생성부(104); 상기 특징점 중 관절 포인트가 아닌 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 변환 추정부(105); 및 상기 특징점 중 하나 이상의 관절 포인트로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 자세 추정부(106);를 포함할 수 있다.
본 발명의 일 실시예에 따른 관절 모델 정합 장치(10)는 영상 입력부(101)를 더 포함할 수 있다. 본 발명의 일 실시예에 따른 영상 입력부(101)는 원본 영상을 전자 데이터 형태로 입력 받는 것일 수 있다. 상기 영상 입력부(101)는 카메라(204)이거나, 카메라(204)로부터 입력된 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 원본 영상 입력부(101)는 원본 영상이 전자 데이터로 저장된 데이터베이스로부터 상기 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 영상 입력부(101)는 원본 영상이 전자 데이터로 저장된 데이터베이스가 연결된 외부 네트워크로부터 상기 원본 영상을 전송 받는 것일 수 있다.
또한, 상기 영상 입력부(101)는 원본 영상의 3차원 좌표 상 촬영 기준점 및 방향을 나타내는 카메라 행렬을 입력 받는 것일 수 있다.
본 발명의 일 실시예에 따른 신체 영상 검출부(102)는 원본 영상에서 신체 영역의 영상을 검출하는 것일 수 있다. 신체 영상 검출부(102)는 원본 영상에서 신체 영역의 영상을 검출 할 수 있는 것이면 이를 제한하지 않으며, 오브젝트 검출기이거나 이를 이용하는 것일 수 있다. 상기 오브젝트 검출기는 머신 러닝 기반 검출기일 수 있으며, 예를 들어, SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once) 등일 수 있다.
본 발명의 일 실시예에 따른 특징점 추출부(103)는 예를 들어, 신체 영역과 배경 영역 사이의 경계선 벡터를 검출한 후, 경계선 벡터에서 신체 말단 포인트 및 신체 말단 사이 포인트를 검출하는 것일 수 있으며, 구체적으로 손 영역일 경우, 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역을 검출하는 것일 수 있다. 또한, 신체 영역과 배경 영역 사이의 경계선 벡터를 검출하는 과정은 예를 들어, 검출된 신체 영역의 영상의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환한 후 신체 영역과 배경 영역 사이의 경계선 벡터를 검출하는 것일 수 있다.
또한, 구체적으로, 경계선 벡터에서 신체 말단 포인트 및 신체 말단 사이 포인트를 검출하는 과정은 예를 들어, 신체 영역과 배경 영역 사이의 경계선 벡터에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 신체 말단 포인트 및 신체 말단 사이 포인트로 검출하는 것일 수 있다. 예를 들어, 예를 들어, 딥 러닝 기반의 방법, 구체적으로 CPM(convolutional pose machine) 기반 세그멘테이션 기법으로 검출하는 것일 수 있으며, 또한, 검출된 신체 영역과 배경 영역 사이의 경계선 벡터를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 신체 말단 포인트로 검출하고, 볼록(convex) 형태면 신체 사이 포인트로 검출하는 것일 수 있다.
본 발명의 일 실시예에 따른 3차원 신체 형상 모델 생성부(104)는, 하나 이상의 3차원 신체 형상 모델이 저장된 3차원 신체 형상 모델 데이터베이스에서, 3차원 신체 형상 모델을 로딩하여 생성하는 것일 수 있다.
본 발명에 있어서, '3차원 신체 형상 모델'은 신체의 단말 포인트 및 관절 포인트들의 3차원 공간 상의 위치 정보 집합으로서, 원본 영상으로부터 인식하고자 하는 3차원 신체 자세를 의미할 수 있다. 구체적으로, 신체 형상 모델은 평균 3차원 신체 스켈레톤과 주성분 분석(Principal Component Analysis)를 통해 구축된 신체 형상 분산의 기저 벡터 집합일 수 있다. 상기 평균 3차원 신체 형상 모델은 3차원 신체 형상의 정합을 위하여, 기계학습 시 사용한 신체 형상 및 크기의 평균적인 크기의 일반적 신체의 형상과 크기에 대한 정보일 수 있다.
본 발명의 일 실시예에 따른 변환 추정부(105)는, 원본 영상의 3차원 좌표 상 카메라 행렬 및 상기 특징점 중 관절 포인트가 아닌 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는 것일 수 있으며, 예를 들어, OpenCV의 SolvePnP 함수를 호출하여 추정하는 것일 수 있다.
또한, 상기 자세 추정부(106)는 3차원 좌표 상의 임의의 위치에서, 상기 관절 포인트 중 어느 하나 이상으로부터 추정된 3차원 좌표 상 위치를 연결하는 직선을 기준으로, 관절 포인트의 3차원 좌표 상의 위치를 추정하는 것일 수 있다.
본 발명에 있어서, '자세(posture)'는 신체의 단말 포인트 및 관절 포인트들의 3차원 공간 상의 위치 정보 집합을 의미할 수 있다.
도 2는 본 발명에 따른 관절 모델 정합 장치(10)의 일 실시예를 도시한 것으로, 상기 관절 모델 정합 장치(10)는 메모리(201), 프로세서(202) 및 통신부(203)를 포함할 수 있으며, 상기 메모리(201)는 신체 영상 검출부(101), 상기 특징점 추출부(102), 상기 신체 형상 모델 생성부(103), 상기 변환 추정부(104), 상기 자세 추정부(105)를 포함할 수 있다. 구체적으로 상기 메모리(201)는 해당 부/모듈을 정적 또는 동적으로 할당하여, 프로세서(202)를 통하여 수행되는 것일 수 있다.
메모리(201)는 의도한 목적에 적합한 휘발성 및 비휘발성 메모리의 임의의 조합(적절한 경우, 분산되거나 국소화되어 있음)을 포함할 수 있으며, 설명의 편의상, 본 일례에서 예시되지 않은 다른 메모리 세그먼트를 포함할 수 있다. 예를 들면, 메모리(208)는, 본 발명 대상의 범위를 벗어나지 않고, 코드 저장 영역, 코드 실행 영역 및 데이터 영역을 포함할 수 있다.
통신부(203)는 주어진 구현예에 대해 적절한 경우, 위성, 케이블, 저장 매체, 인터넷, 또는 기타 콘텐츠 공급자를 통한 정지 영상 콘텐츠, 오디오 및 비디오 콘텐츠, 또는 기타 콘텐츠의 검색, 및 기타 활동 등을 위하여, 데이터 통신 기능을 제공할 수 있으며, 예를 들어 유선 이더넷, 셀룰러 무선 통신 및 Bluetooth®_ 등 무선 통신 표준을 포함할 수 있다.
도 3은 본 발명에 따른 관절 모델 정합 장치(10)의 일 실시예를 도시한 것으로, 상기 관절 모델 정합 장치(10)는 메모리(201), 프로세서(202), 통신부(203), 카메라(204) 및 디스플레이(205)를 포함할 수 있으며, 상기 메모리(201)는 신체 영상 검출부(101), 상기 특징점 추출부(102), 상기 신체 형상 모델 생성부(103), 상기 변환 추정부(104), 상기 자세 추정부(105)를 포함할 수 있다.
상기 카메라(204)는 광학 정보를 2차원 픽셀 색상 정보로 변환하는 것일 수 있다. 또한, 상기 카메라(204)는 2차원 픽셀 심도 정보를 변환하는 것일 수 있다. 또한, 상기 카메라(204)는 원본 영상의 3차원 좌표 상 촬영 기준점 및 방향을 나타내는 카메라 행렬을 생성하는 것일 수 있다.
본 발명에 있어서, '영상(image)'은 2차원 시각 정보의 데이터 또는 2차원 시각 정보에 심도 정보를 더 포함하는 데이터일 수 있다. 또한, 영상은 복수의 프레임으로 이루어진 동영상의 어느 하나의 프레임에 해당되는 것일 수 있다.
상기 디스플레이(205)는 영상을 광학적으로 표시하는 것이면 이를 제한하지 않으며, 예를 들어, 음금선관, 액정표시장치, 발광소자장치, 플라즈마 디스플레이 등일 수 있으며, 터치패널을 더 포함하는 것일 수 있다.
본 발명에 따른 따른 관절 모델 정합 장치(10)는 후술할 관절 모델 정합 방법을 수행하는 것일 수 있으며, 후술할 관절 모델 정합 방법에 대한 설명이 모두 적용될 수 있다.
도 4는 본 발명에 따른 관절 모델 정합 방법의 일 실시예를 도시한 것으로, 본 발명에 따른 관절 모델 정합 방법은 원본 영상에서 신체 영역의 영상을 검출하는, 신체 영상 검출 단계(S11); 상기 검출된 신체 영역의 영상으로부터 관절 포인트를 포함하는 하나 이상의 특징점을 추출하는, 특징점 추출 단계(S12); 평균 3차원 신체 형상 모델을 생성하는, 신체 형상 모델 생성 단계(S13); 상기 추출된 특징점 중 어느 하나 이상의 특징점을 포함하는 변환 추정 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 변환 추정 단계(S14); 및 상기 추출된 특징점 중 어느 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 자세 추정 단계(S15);를 포함할 수 있다.
상기 자세 추정 단계(S15)는 3차원 좌표 상의 임의의 위치에서, 특징점 중 어느 하나 이상으로부터 추정된 3차원 좌표 상 위치를 연결하는 기준 직선으로부터, 상기 특징점의 3차원 좌표 상의 위치를 추정하는 것일 수 있다.
본 발명의 일 실시예에 따른 신체 자세 인식 방법은 원본 영상을 입력 받는 단계(미도시)를 더 포함할 수 있다. 구체적으로, 상기 원본 영상을 입력 받는 단계 원본 영상을 전자 데이터 형태로 입력 받는 것, 예를 들어, 카메라로부터 전자 데이터 형태로 입력 받는 것이거나, 또는 원본 영상이 전자 데이터로 저장된 데이터베이스로부터 상기 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 원본 영상 입력부(101)는 원본 영상이 전자 데이터로 저장된 데이터베이스가 연결된 외부 네트워크로부터 상기 원본 영상을 전송 받는 것일 수 있으며, 카메라(204)로부터 상기 원본 영상을 전송 받는 것일 수 있다.
본 발명의 일 실시예에 따른 신체 영상 검출 단계(S11)는 원본 영상에서 손 영역의 영상을 검출하는 것일 수 있다.
신체 영상 검출 단계(S11)는 원본 영상에서 신체 영역의 영상을 검출 할 수 있는 것이면 이를 제한하지 않으며, 오브젝트 검출기이거나 이를 이용하는 것일 수 있다. 상기 오브젝트 검출기는 머신 러닝 기반 검출기일 수 있으며, 예를 들어, SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once) 등일 수 있다.
본 발명의 일 실시예에 따른 특징점 추출 단계(S12)는 예를 들어, 신체 영역과 배경 영역 사이의 경계선 벡터를 검출한 후, 경계선 벡터에서 신체 말단 포인트 및 신체 말단 사이 포인트를 검출하는 것일 수 있으며, 구체적으로 손 영역일 경우, 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역을 검출하는 것일 수 있다. 또한, 신체 영역과 배경 영역 사이의 경계선 벡터를 검출하는 과정은 예를 들어, 검출된 신체 영역의 영상의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환한 후 신체 영역과 배경 영역 사이의 경계선 벡터를 검출하는 것일 수 있다.
또한, 구체적으로, 경계선 벡터에서 신체 말단 포인트 및 신체 말단 사이 포인트를 검출하는 과정은 예를 들어, 신체 영역과 배경 영역 사이의 경계선 벡터에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 신체 말단 포인트 및 신체 말단 사이 포인트로 검출하는 것일 수 있다. 예를 들어, 딥 러닝 기반의 방법, 구체적으로 CPM(convolutional pose machine) 기반 세그멘테이션 기법으로 검출하는 것일 수 있으며, 또한, 검출된 신체 영역과 배경 영역 사이의 경계선 벡터를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다.
본 발명의 일 실시예에 따른 신체 형상 모델 생성 단계(S13)는, 하나 이상의 3차원 신체 형상 모델이 저장된 3차원 신체 형상 모델 데이터베이스에서, 평균 3차원 손 형상 모델을 매칭시켜 생성하는 것일 수 있다.
본 발명의 일 실시예에 변환 추정 단계(S14)는, 원본 영상의 3차원 좌표 상 카메라 행렬 및 상기 특징점 중 관절 포인트가 아닌 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는 것일 수 있으며, 예를 들어, OpenCV의 SolvePnP 함수를 호출하여 추정하는 것일 수 있다.
본 발명의 일 실시예에 변환 추정 단계(S14)에서, 상기 변환 추정 특징점은 관절 각도 변화에 따라 바뀌지 않는 관절에 대응되는 특징점일 수 있다.
상기 변환 추정 특징점은, 손에 대한 특징점을 추정하는 경우, 손목, 검지의 뿌리 관절, 중지의 뿌리 관절, 약지의 뿌리 관절 및 소지의 뿌리 관절로 이루어진 군에서 선택되는 어느 하나 이상에 대응되는 특징점인 것일 수 있다. 엄지에 해당하는 관절과 다른 네 손가락의 뿌리가 아닌 관절들은 손의 위치 뿐만 아니라 손의 포즈에 의한 자유도가 높아 다음 단계에 이루어질 포즈에 대한 추정 없이는 위치 추정을 위해 사용할 수 없다.
또한, 상기 변환 추정 특징점은, 신체 전체에 대한 특징점을 추정하는 경우, 어깨 또는 엉덩이 관절에 대응되는 특징점일 수 있다.
도 6은 본 발명에 따른 자세 추정 단계(S15)에 포함된 구체적인 단계들을 도시한 것이다.
본 발명에 따른 자세 추정 단계(S15)는 상기 자세 추정 단계는 상기 원본 영상의 3차원 좌표 상 카메라 행렬과 상기 3차원 좌표 상 위치가 추정된 특징점은 연결하는 기준 직선을 산출하는 단계(S151)를 포함할 수 있다.
본 발명에 따른 자세 추정 단계(S15)는 상기 원본 영상으로부터 3차원 좌표 상 투영 기준 행렬인 카메라 행렬 및 상기 카메라 행렬에 의해 투영된 2차원 좌표 상 특징점으로 기준 직선을 산출하는 단계(S151')를 포함할 수 있으며, 이에 관한 과정을 2차원 적으로 도시하면 도 5와 같다.
상기 기준 직선을 산출하는 단계(S151')는 하기 식 1로 표시되는 기준 직선을 산출하는 단계(S151')를 포함할 수 있다.
[식 1]
Figure 112018129423015-pat00001
상기 식 1에 있어서, 방향벡터 D는 하기 식 2로 표시되는 것이고, Pb는 하기 식 3으로 표시되는 것이며,
[식 2]
Figure 112018129423015-pat00002
상기 식 2에 있어서, C0, C2는 상기 원본 영상으로부터 3차원 좌표 상 투영 기준 행렬인 카메라 행렬 C의 1행 및 3행 성분이며, x'' 및 y''는 상기 자세 특징점의 2차원 좌표계 상 좌표이고,
[식 3]
Figure 112018129423015-pat00003
상기 식 3에 있어서, Pb는 z좌표값이 0으로 설정하여, Pb를 산출할 수 있다.
구체적으로 설명하면, 3차원 좌표 상 투영 기준 행렬인 카메라 행렬 C와 3차원 공간상의 한 정점 P3D가 존재할 때 해당 정점의 2D 좌표는 하기 식 3a와 같이 정의된다.
[식 3a]
Figure 112018129423015-pat00004
P2D와 C가 주어졌을 때 P3D는 직선 상에 놓인다. 이 직선을 Pb + Dt라 할 때 직선의 한 점 Pb와 방향벡터 D는 다음의 방법으로 구할 수 있다.
C의 각 행을 C0, C1, C2라 할 때, 하기 식 3b를 이용하여 D를 산출한다.
[식 3b]
Figure 112018129423015-pat00005
Pb는 직선과 xy평면의 교점을 얻는다. 상기 식 3에서 Pb를 (xb, yb,0)으로 놓고 2개의 식과 2개의 미지수에 대한 연립 방정식의 해를 구하여 xb, yb를 구할 수 있다.
본 발명에 따른 자세 추정 단계(S15)는, 추정 시작 특징점을, 상기 기준 직선 상에서 추정 시작 특징점과 가장 근접한 3차원 좌표로 이동하는 단계(S152);를 포함할 수 있다. 상기 추정 시작 특징점은 상기 변환 추정 특징점으로 설정할 수 있다.
본 발명에 따른 자세 추정 단계(S15)는, 상기 추정 시작 특징점부터 말단 특징점까지 연결된 순서로 특징점의 3차원 좌표 상의 위치를 추정하는 반복 추정 단계(S153)를 포함할 수 있다.
도 7은 본 발명에 따른 반복 추정 단계(S153)에 의하여, 신체 중 어깨에 대응되는 특징점(P0)으로부터, 팔꿈치에 대응되는 특징점(P1) 및 말단의 팔목에 대응되는 특징점(P2)을 순서대로 3차원 좌표 상의 위치를 추정한 일 예시를 도시한 것이다.
도 8은 본 발명에 따른 반복 추정 단계(S153)에 의하여, 신체 중 손, 구체적으로 검지의 뿌리 관절에 대응되는 특징점(P0)으로부터, 검지의 두 관절에 대응되는 특징점(P1, P2) 및 검지의 말단에 대응되는 특징점(P3)을 순서대로 3차원 좌표 상의 위치를 추정한 일 예시를 도시한 것이다.
도 9는 본 발명에 따른 반복 추정 단계(S153)에 포함된 구체적인 단계들을 도시한 것이다.
본 발명에 따른 반복 추정 단계(S153)는 추정이 완료된 특징점을 기준으로, 상기 추정이 완료된 특징점 및 다음 연결 순서인 특징점으로 산출되는 3차원 좌표 상의 직선과의 거리와, 상기 추정이 완료된 특징점과 다음 연결 순서인 특징점 사이의 거리가 동일한 조건을 만족하는 특징점 근을 산출하는 단계(S1531)를 포함할 수 있다.
도 5에 도시된 바와 같이, 기존 관절의 위치가 Pc이고 관절간 거리가 r일 때 다음 관절의 특징점에 대응하는 3차원 직선 상에 존재하여 Pc와의 거리가 r인 정점은 하기 식 4를 t에 대하여 풀어서 얻을 수 있다. 일반적인 경우 해는 Pa, Pb 2개가 존재한다. 단, 거리 r에 따라 해당하는 정점이 하나 존재하거나 (이차방정식이 중근을 가지는 경우) 존재하지 않을 수 있다. 구체적으로, 상기 반복 추정 단계(S153)는 추정이 완료된 특징점을 기준으로, 다음 연결 순서인 특징점을 하기 식 4에 따른 t의 근을 산출하여 추정하는 단계(S1531')를 포함할 수 있다.
[식 4]
Figure 112018129423015-pat00006
상기 식 4에 있어서, PC는 상기 추정이 완료된 특징점의 3차원 좌표상의 위치이고, r은 상기 추정이 완료된 특징점과 다음 연결 순서인 특징점 사이의 거리이며, Pb 및 D는 식 1과 동일하다.
본 발명에 따른 반복 추정 단계(S153)는, 상기 특징점 근이 1개인 경우, 특징점 근을 추정이 완료된 특징점의 다음 연결 순서인 특징점으로 추정하는 단계(S1532)를 포함할 수 있다.
신체 관절이 굽혀지는 방향은 제한되어 있다. 신체 관절이 일반적으로 굽혀지는 범위에 후보 근이 포함되는지 검사할 수 있으며, 상기 반복 추정 단계(S153)는 상기 특징점 근이 2개인 경우, 신체 관절의 가동 영역에 포함되는 근을 특징점 근을 추정이 완료된 특징점의 다음 연결 순서인 특징점으로 추정하는 단계(S1533)을 포함할 수 있다.
상기 특징점으로 추정하는 단계(S1533)는 하기 식 5를 만족하는 Pcandidate를 다음 연결 순서인 특징점으로 추정하는 단계(S1533')를 포함할 수 있다.
[식 5]
Figure 112018129423015-pat00007
상기 식 5에 있어서, PC는 상기 추정이 완료된 특징점의 3차원 좌표상의 위치이고, N은 하기 식 6으로 표시되는 법선 방향(Norm Direction)의 벡터이며,
[식 6]
N = L × C
상기 식 6에 있어서, L은 Pcandidate - Pc, 즉, 3차원 좌표 상 위치에서 뿌리 관절의 3차원 좌표 상 위치의 차이인 연결 방향(Link Direction)일 수 있으며, C는 상기 추정 시작 특징점 중 어느 두 개의 차이인 교선 방향(Cross Direction)일 수 있다. 상기 식 6을 2차원 적으로 도시하면, 도 10과 같다.
예를 들어, 손의 특짐점을 추정 시에 첫번째 관절의 후보인 Pcandidate를 선택하는 경우, 각 손가락의 첫번째 관절은 손바닥 방향으로 굽혀지므로 손바닥 방향을 법선 방향(Norm Direction)으로 설정할 수 있다.
본 발명에 따른 반복 추정 단계(S153)는, 상기 특징점 근이 없는 경우, 상기 기준 직선에서 Pc와 최단 거리인 위치를 다음 연결 순서인 특징점으로 추정하는 단계(S1534)를 포함할 수 있으며, 구체적으로, 상기 기준 직선에서 Pc와 최단 거리는 PA와 PB 사이의 3차원 좌표 상 직선의 중점일 수 있다.
도 11은 신체 중 손 중지의 두번째 관절의 후보 중 적절한 근을 선택하는 예를 도시한 것이다. 상기 식 6의 C는 소지의 뿌리 관절에 대응되는 특징점과 검지의 뿌리 관절에 대응되는 특징점 간의 3차원 좌표 상의 벡터의 차이인 교선 방향(Cross Direction)일 수 있다.
본 발명은 또한, 관절 모델 정합 방법을 실행하기 위한 명령을 포함하는 프로그램을 제공할 수 있다.
본 발명은 또한, 전술한 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 원본 영상에서 신체 영역의 영상을 검출하는, 신체 영상 검출 단계;
    상기 검출된 신체 영역의 영상으로부터 관절 포인트를 포함하는 하나 이상의 특징점을 추출하는, 특징점 추출 단계;
    평균 3차원 신체 형상 모델을 생성하는, 신체 형상 모델 생성 단계;
    상기 추출된 특징점 중 어느 하나 이상의 특징점을 포함하는 변환 추정 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 변환 추정 단계; 및
    상기 추출된 특징점 중 어느 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 자세 추정 단계;를 포함하는 관절 모델 정합 방법으로서,
    상기 자세 추정 단계는 3차원 좌표 상의 임의의 위치에서, 특징점 중 어느 하나 이상으로부터 추정된 3차원 좌표 상 위치를 연결하는 기준 직선으로부터, 상기 특징점의 3차원 좌표 상의 위치를 추정하는 것이며,
    상기 변환 추정 특징점은 관절 각도 변화에 따라 바뀌지 않는 관절에 대응되는 특징점이고,
    상기 자세 추정 단계는, 상기 원본 영상의 3차원 좌표 상 카메라 행렬과 상기 3차원 좌표 상 위치가 추정된 특징점을 연결하는 기준 직선을 산출하는 단계;
    상기 변환 추정 특징점을 추정 시작 특징점으로 설정하고, 상기 추정 시작 특징점을, 상기 기준 직선 상에서 추정 시작 특징점과 가장 근접한 3차원 좌표로 이동하는 단계; 및
    상기 추정 시작 특징점부터 말단 특징점까지 연결된 순서로 특징점의 3차원 좌표 상의 위치를 추정하는 반복 추정 단계;를 포함하며,
    상기 기준 직선을 산출하는 단계는 상기 원본 영상으로부터 3차원 좌표 상 투영 기준 행렬인 카메라 행렬 및 상기 카메라 행렬에 의해 투영된 2차원 좌표 상 특징점으로 특정되는 기준 직선을 산출하는 단계를 포함하는, 관절 모델 정합 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 반복 추정 단계는 추정이 완료된 특징점을 기준으로, 상기 추정이 완료된 특징점 및 다음 연결 순서인 특징점으로 산출되는 3차원 좌표 상의 직선과의 거리와, 상기 추정이 완료된 특징점과 다음 연결 순서인 특징점 사이의 거리가 동일한 조건을 만족하는 특징점을 산출하는 단계를 포함하는 관절 모델 정합 방법.
  8. 제7항에 있어서,
    상기 반복 추정 단계는 상기 특징점 근이 2개인 경우, 신체 관절의 가동 영역에 포함되는 근을 특징점 근을 추정이 완료된 특징점의 다음 연결 순서인 특징점으로 추정하는 단계를 포함하는 관절 모델 정합 방법.
  9. 제7항에 있어서,
    상기 반복 추정 단계는 상기 특징점 근이 없는 경우, 상기 기준 직선에서 Pc와 최단 거리인 위치를 다음 연결 순서인 특징점으로 추정하는 단계를 포함하는 관절 모델 정합 방법.
  10. 원본 영상에서 신체 영역의 영상을 검출하는, 신체 영상 검출부;
    상기 검출된 신체 영역의 영상으로부터 관절 포인트를 포함하는 하나 이상의 특징점들을 추출하는, 특징점 추출부;
    평균 3차원 신체 형상 모델을 생성하는, 신체 형상 모델 생성부;
    상기 특징점 중 관절 포인트가 아닌 하나 이상의 특징점으로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 변환 추정부; 및
    상기 특징점 중 하나 이상의 관절 포인트로부터 상기 생성된 신체 형상 모델의 3차원 좌표 상의 위치를 추정하는, 자세 추정부;를 포함하는 관절 모델 정합 장치로서,
    상기 자세 추정부는, 3차원 좌표 상의 임의의 위치에서, 특징점 중 어느 하나 이상으로부터 추정된 3차원 좌표 상 위치를 연결하는 기준 직선으로부터, 상기 특징점의 3차원 좌표 상의 위치를 추정하고,
    상기 원본 영상의 3차원 좌표 상 카메라 행렬과 상기 3차원 좌표 상 위치가 추정된 특징점을 연결하는 기준 직선을, 상기 원본 영상으로부터 3차원 좌표 상 투영 기준 행렬인 카메라 행렬 및 상기 카메라 행렬에 의해 투영된 2차원 좌표 상 특징점으로 특정되어 산출하며,
    상기 변환 추정 특징점을 추정 시작 특징점으로 설정하고, 상기 추정 시작 특징점을, 상기 기준 직선 상에서 추정 시작 특징점과 가장 근접한 3차원 좌표로 이동하며,
    상기 추정 시작 특징점부터 말단 특징점까지 연결된 순서로 특징점의 3차원 좌표 상의 위치를 추정하는 반복하는 것이고,
    상기 변환 추정 특징점은 관절 각도 변화에 따라 바뀌지 않는 관절에 대응되는 특징점인 것인, 관절 모델 정합 장치.
KR1020180167986A 2018-12-21 2018-12-21 관절 모델 정합 장치 및 방법 KR102315696B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180167986A KR102315696B1 (ko) 2018-12-21 2018-12-21 관절 모델 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180167986A KR102315696B1 (ko) 2018-12-21 2018-12-21 관절 모델 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200078258A KR20200078258A (ko) 2020-07-01
KR102315696B1 true KR102315696B1 (ko) 2021-10-21

Family

ID=71602116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180167986A KR102315696B1 (ko) 2018-12-21 2018-12-21 관절 모델 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102315696B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102461875B1 (ko) * 2021-01-21 2022-11-02 주식회사 아더하프 반려동물 비만도 측정 시스템 및 방법
KR102640496B1 (ko) * 2022-04-27 2024-02-23 한국로봇융합연구원 사용자의 모션정보를 기반으로 상호 작용을 지원하는 키네틱 제어 장치 및 방법
KR20230170485A (ko) * 2022-06-10 2023-12-19 삼성전자주식회사 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4667900B2 (ja) * 2005-02-17 2011-04-13 株式会社ユニメック 二次元画像からの三次元解析方法とそれを実行するシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4667900B2 (ja) * 2005-02-17 2011-04-13 株式会社ユニメック 二次元画像からの三次元解析方法とそれを実行するシステム

Also Published As

Publication number Publication date
KR20200078258A (ko) 2020-07-01

Similar Documents

Publication Publication Date Title
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
WO2020228644A1 (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
JP7273880B2 (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
CN109215080B (zh) 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
KR102315696B1 (ko) 관절 모델 정합 장치 및 방법
WO2016123913A1 (zh) 数据处理的方法和装置
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN111767853B (zh) 车道线检测方法和装置
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
US9613404B2 (en) Image processing method, image processing apparatus and electronic device
CN112001859A (zh) 一种人脸图像的修复方法及系统
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
CN105809664B (zh) 生成三维图像的方法和装置
WO2023093739A1 (zh) 一种多视图三维重建的方法
KR101593316B1 (ko) 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
CN110706262A (zh) 图像处理方法、装置、设备及存储介质
CN112183506A (zh) 一种人体姿态生成方法及其系统
CN111275827B (zh) 基于边缘的增强现实三维跟踪注册方法、装置和电子设备
CN114998406A (zh) 一种自监督多视图深度估计方法、装置
CN114584785A (zh) 视频图像的实时稳像方法及装置
CN116580169B (zh) 一种数字人驱动方法及装置、电子设备和存储介质
CN111339969B (zh) 人体姿势估计方法、装置、设备及存储介质
US9135715B1 (en) Local feature cameras for structure from motion (SFM) problems with generalized cameras

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right