KR20150061549A - 하이브리드 카메라 기반 동작 추적 장치 및 그 방법 - Google Patents

하이브리드 카메라 기반 동작 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20150061549A
KR20150061549A KR1020140083916A KR20140083916A KR20150061549A KR 20150061549 A KR20150061549 A KR 20150061549A KR 1020140083916 A KR1020140083916 A KR 1020140083916A KR 20140083916 A KR20140083916 A KR 20140083916A KR 20150061549 A KR20150061549 A KR 20150061549A
Authority
KR
South Korea
Prior art keywords
subject
data
depth
resolution
pixel
Prior art date
Application number
KR1020140083916A
Other languages
English (en)
Other versions
KR102075079B1 (ko
Inventor
김종성
김명규
백성민
김예진
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/554,365 priority Critical patent/US20150146928A1/en
Publication of KR20150061549A publication Critical patent/KR20150061549A/ko
Application granted granted Critical
Publication of KR102075079B1 publication Critical patent/KR102075079B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 사람의 동작을 획득하기 위해 사용되는 동작 분석 시스템에서, 하이브리드 카메라에서 획득되는 고해상도의 영상 데이터와 저해상도의 깊이 데이터를 이용하여 피사체의 동작을 추적하는 장치 및 방법에 관한 것으로, 데이터 수집부, 데이터 결합부, 데이터 분할부, 대응점 추적부, 관절 추적부를 포함할 수 있으며, 이를 통해 하이브리드 카메라에서 획득 되는 고해상도 영상 데이터와 저해상도 깊이 데이터를 결합하여 피사체의 동작을 정밀하게 추적하는데 그 목적이 있다.

Description

하이브리드 카메라 기반 동작 추적 장치 및 그 방법{MOTION TRACKING APPARATUS WITH HYBRID CAMERAS AND METHOD THERE}
본 발명은 사람의 동작을 획득하기 위해 사용되는 동작 분석 시스템에서, 하이브리드 카메라에서 획득되는 고해상도의 영상 데이터와 저해상도의 깊이 데이터를 이용하여 피사체의 동작을 추적하는 장치 및 방법에 관한 것이다.
통상적으로, 동작 추적 기술은 애니메이션, 게임, 영화, 스포츠, 의료, 국방 분야 등에서, 캐릭터 애니메이션, 특수 효과, 운동 분석, 재활 치료, 군사 훈련 등을 위해 배우, 선수, 환자, 군인 등의 동작 추적에 필요한 기술이다.
종래의 동작 추적 기술은 여러 대의 고해상도 카메라에서 획득 영상 데이터에 사전에 주어진 피사체의 3차원 외형 모델을 정합하여 동작을 추적하거나 여러 대의 고해상도 카메라로부터 획득되는 영상 데이터에서 피사체의 3차원 외형 모델 복원과 정합을 동시에 수행하여 동작을 추적하는 카메라 방식 및 한 대의 깊이 센서에서 획득되는 저해상도 깊이 데이터에서 피사체의 관절 위치를 인식함으로써 동작을 추적하는 센서 방식이 존재하였다.
그러나 카메라 방식은 3차원 공간상에서 고해상도 영상 데이터에서 피사체의 외형 모델을 변형하거나 복원해야 하는 어려움이 있고, 반면 센서 방식은 피사체의 외형 모델을 별도로 복원할 필요는 없으나 저해상도 깊이 데이터 사용으로 인해 동작 추적에 제약이 발생하게 된다.
본 발명은 하이브리드 카메라 기반의 동작 분석을 위하여 고해상도 카메라를 이용한 피사체의 전신 복원 또는 저해상도 깊이 센서를 이용한 피사체의 관절 인식 과정 없이 고해상도 영상 카메라와 저해상도 깊이 센서를 포함하는 하이브리드 카메라에서 획득 되는 고해상도 영상 데이터와 저해상도 깊이 데이터를 결합하여 피사체의 동작을 정밀하게 추적하는데 그 목적이 있다.
본 발명의 실시 예에 따르면 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 데이터 수집부, 획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 데이터 결합부, 상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 데이터 분할부, 상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 대응점 추적부, 상기 수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 관절 추적부를 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 수집부는, 하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 결합부는, 획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 깊이 값 산출부, 상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 업샘플링부, 상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 고해상도 결합 데이터 생성부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 깊이 값 산출부는, 상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 3차원 좌표 값 변환부, 상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 영상평면 투영부,투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 픽셀 깊이 값 계산부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 픽셀 깊이 값 계산부는, 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 변환부, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 워핑부, 상기 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 보간부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 분할부는, 상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 분할부는, 피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 하이브리드 카메라 기반 동작 추적 방법은 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 단계, 획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 단계, 상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 단계, 상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 단계, 상기 수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터를 획득하는 단계는, 하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득할 수 있다.
본 발명의 실시 예에 따르면 상기 고해상도 결합 데이터를 생성하는 단계는, 획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 단계, 상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 단계, 상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 픽셀의 깊이 값을 산출하는 단계는, 상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 단계, 상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 단계, 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 픽셀 깊이 값 산출하는 단계는, 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 단계, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 단계, 상기 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 피사체 부위별로 그룹화하는 단계는, 상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 상기 피사체 부위별로 그룹화하는 단계는, 피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화할 수 있다.
도 1은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치의 구성도이다.
도 2는 도 1에 도시된 데이터 결합부의 구성도이다.
도 3은 도 2에 도시된 깊이 값 산출부의 구성도이다.
도 4는 도 3에 도시된 픽셀 깊이 값 계산부의 구성도이다.
도 5는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 영상 데이터와 저해상도 깊이 데이터를 통해 피사체의 동작을 정밀하게 추적하기 위한 데이터의 흐름도이다.
도 6는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 부위별 픽셀 분할 및 관절의 위치 및 각도 추적에 사용되는 피사체 골격모델의 계층 구조를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따라 하이브리드 카메라 기반 동작 분석 장치를 통해 피사체 골격 모델 구조를 피사체에 적용한 것을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 깊이 데이터 픽셀에 해당하는 3차원 지점과 피사체 골격 모델 상 관절과 관절을 연결하는 뼈대까지의 최단 거리를 기준으로 픽셀을 부위별로 분할하는 부위별 픽셀 분할을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 추적 장치 및 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치(10)의 구성도이다.
도 1을 참조하면 하이브리드 카메라 기반 동작 분석 장치(10)는 데이터 수집부(1000), 데이터 결합부(2000), 데이터 분할부(3000), 대응점 추적부(4000), 관절 추적부(5000)를 포함할 수 있다.
데이터 수집부(1000)는 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 수집할 수 있다.
본 발명의 실시 예에 따르면 캐릭터 애니메이션, 특수 효과, 운동 분석, 재활 치료, 군사 훈련 등을 위해 배우, 선수, 환자, 군인 등의 동작을 추적하기 위하여 사람을 피사체로 하여 하이브리드 카메라에 포함된 하나의 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 하나의 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 수집할 수 있다.
데이터 결합부(2000)는 수신한 데이터를 이용하여 상기 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성할 수 있다.
데이터 결합부(2000)는 도 2을 참조하여 더 자세히 설명하도록 한다.
데이터 분할부(3000)는 생성된 고해상도 결합 데이터를 픽셀로 나누어 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하기 위하여 고해상도 결합 데이터에서 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 나누어 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체의 관절 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하고, 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 모아 그룹화할 수 있다.
본 발명의 실시 예에 따르면 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하는 방법은 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀이 구분되어 발생하는 피사체와 배경 픽셀의 영상 값(밝기 값 또는 컬러 값 등)의 차이를 수치적 혹은 확률적으로 분석하는 방법을 사용할 수 있으나 이에 한정되지 아니하며, 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하여 분할 하는 방법, 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하여 구분 하는 방법이 사용될 수 있다.
여기서, 피사체의 골격 모델은 도 6 및 도 7을 참조하여 더 자세히 설명하도록 한다.
고해상도 결합 데이터에서 피사체에 해당하는 픽셀의 부위별 그룹화는, 먼저 피사체에 해당하는 픽셀의 3차원 위치인
Figure pat00001
를 해당되는 깊이 값을 통해 계산하고, 계산된 피사체 픽셀의 3차원 위치인
Figure pat00002
에서 도 7과 같이 피사체 골격 모델 상에서 i번째 관절
Figure pat00003
와 i+1번째 관절
Figure pat00004
을 연결하는 뼈대까지의 최단거리
Figure pat00005
를 수학식 1를 통해 계산한다.
Figure pat00006
여기서
Figure pat00007
는 관절
Figure pat00008
의 3차원 좌표,
Figure pat00009
는 관절
Figure pat00010
의 3차원 좌표, 피사체 픽셀의 3차원 좌표 벡터인
Figure pat00011
는 고해상도 영상 센서의 보정 행렬
Figure pat00012
와 해당하는 고해상도 깊이 데이터 값인
Figure pat00013
를 이용하여 수학식 2를 통해 계산할 수 있다.
Figure pat00014
상술한 수학식을 통해 산출한 최단거리를 모든 뼈대를 대상으로 계산한 후 최단거리의 최소값을 가지는 뼈대에 해당하는 부위에 픽셀을 할당함으로써 피사체 픽셀을 부위별로 그룹화할 수 있다.
이때, 최단거리의 최소값이 특정 경계치보다 크면 해당 픽셀은 피사체의 골격 부위에는 해당하지 않는 픽셀로 판별할 수 있다.
이러한 방법으로 도 8과 같이 피사체의 옷 등에 해당하는 픽셀을 제외하고 피사체에 해당하는 픽셀을 피사체 골격 부위별로 그룹화할 수 있다.
대응점 추적부(4000)는 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 영상 값 불변 제약을 이용해 추적할 수 있다.
본 발명의 실시 예에 따르면 대응점 추적 과정은 수학식 3과 같이 영상 값의 차이를 최소화하는, 현재 프레임인
Figure pat00015
상에서
Figure pat00016
위치에 존재하는 픽셀의 다음 프레임,
Figure pat00017
상에 대응점,
Figure pat00018
를 계산함으로써 대응점을 추적할 수 있다.
Figure pat00019
관절 추적부(5000)는 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 수신하고, 수신한 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적할 수 있다.
본 발명의 실시 예에 따르면 관절의 3차원 위치 및 각도를 추적하는 방법은 현재 프레임에서 i번째 부위에 할당된 픽셀의 3차원 위치인
Figure pat00020
는 i번째 부위의 관절인
Figure pat00021
의 동작에 근거하여 골격 모델의 계층 구조와 운동 연쇄에 의하여 다음 프레임에서의 3차원 위치
Figure pat00022
는 수학식 4와 같이 계산된다.
Figure pat00023
여기서
Figure pat00024
는 관절
Figure pat00025
의 회전 값,
Figure pat00026
는 관절
Figure pat00027
의 4x4 뒤틀림(twist) 행렬이다.
이와 같은 뒤틀림 운동 모델을 이용해 피사체의 N개의 모든 관절에 대해 다음 수학식 5와 같이 다음 프레임에서의 픽셀의 2차원 위치
Figure pat00028
와 3차원 위치
Figure pat00029
를 영상 평면상에 투영한 2차원 위치
Figure pat00030
의 차이를 최소화하는 관절 위치 및 각도 파라미터
Figure pat00031
를 계산함으로써 동작 추적을 수행할 수 있다.
Figure pat00032
도 2는 도 1에 도시된 데이터 결합부의 구성도이다.
도 2를 참조하면 데이터 결합부는 깊이 값 산출부(2100), 업샘플링부(2200), 고해상도 결합 데이터 생성부(2300)를 포함할 수 있다.
깊이 값 산출부(2100)는 수신한 영상 데이터 및 깊이 데이터의 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 픽셀의 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출할 수 있다.
깊이 값 산출부(2100)는 도 3을 참조하여 더 자세히 설명하도록 한다.
업샘플링부(2200)는 산출된 모든 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 설정하고, 고해상도 영상 데이터의 밝기 값과 각 상기 픽셀 간의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링할 수 있다.
본 발명의 실시 예에 따르면 결합형 양방향 필터링은 수학식 6을 통해 구현될 수 있다.
Figure pat00033
여기서
Figure pat00034
는 고해상도 영상 평면에서 2차원 좌표
Figure pat00035
에 위치한 픽셀의 깊이 값,
Figure pat00036
는
Figure pat00037
에 위치한 픽셀을 중심으로 하는 주변 영역, N에 포함되는 픽셀의 2차원 좌표,
Figure pat00038
는 결합형 양방향 가중치(joint-bilateral weight)로써 수학식 7을 통해 계산될 수 있다.
Figure pat00039
여기서
Figure pat00040
는
Figure pat00041
에 위치한 픽셀을 중심으로 한 주변 영역 내 임의의
Figure pat00042
에 위치한 픽셀까지 거리(distance) 값에 대한 표준 편차,
Figure pat00043
는
Figure pat00044
에 위치한 픽셀의 영상 데이터 값,
Figure pat00045
와
Figure pat00046
에 위치한 픽셀의 영상 데이터 값,
Figure pat00047
의 차이(difference) 값에 대한 표준 편차이다. 상술한 것과 같은 결합형 양방향 필터링은 깊이 데이터 값의 경계(edge)를 영상 데이터와 동일하게 하면서 국부적으로 평활화(regularization)해주는 특성이 있다.
그리하여 고해상도 영상 데이터의 에지 정보를 반영하여 저해상도 깊이 데이터에서 고해상도 깊이 데이터로의 데이터 업샘플링할 수 있다.
고해상도 결합 데이터 생성부(2300)는 저해상도 깊이 데이터를 업샘플링을 통해 고해상도 깊이 데이터와 고해상도 영상 데이터와 해상도 및 투영 관계가 동일하도록 하고, 업샘플링된 저해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성할 수 있다.
도 3은 도 2에 도시된 깊이 값 산출부(2100)의 구성도이다.
도 3을 참조하면, 3차원 좌표 값 변환부(2110), 영상평면 투영부(2120), 픽셀 깊이 값 계산부(2130)을 포함할 수 있다.
3차원 좌표 값 변환부(2110)는 깊이 센서의 내부 및 외부 파라미터로 표현되는 깊이 센서의 3차원 투시 투영(3-D perspective projection)
Figure pat00048
을 역으로 적용해 피사체에 해당하는 깊이 데이터 픽셀의 깊이 값을 3차원 좌표 값으로 변환할 수 있다.
본 발명의 실시 예에 따르면 내부 파라미터(intrinsic parameters)는 영상 카메라 및 깊이 센서에 사용된 각 렌즈의 초점 길이(focal length), 광중심(optical center), 종횡비(aspect ratio) 파라미터를 포함할 수 있다.
또한 외부 파라미터(extrinsic parameters)는 3차원 공산 상에서 영상 및 깊이 센서의 회전(orientation), 위치(position) 파라미터를 포함할 수 있다.
영상평면 투영부(2120)는 영상 카메라의 내부 및 외부 파라미터를 통해 표현되는 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영할 수 있다.
픽셀 깊이 값 계산부(2130)는 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출할 수 있다.
픽셀 깊이 값 계산부(2130)는 도 4를 참조하며 더 자세히 설명하도록 한다.
도 4는 도 3에 도시된 픽셀 깊이 값 계산부의 구성도이다.
도 4를 참조하면 픽셀 깊이 값 계산부(2130)는 변환부(2131), 워핑부(2132), 보간부(2133)를 포함할 수 있다.
변환부(2131)는 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환할 수 있다.
워핑부(2132)는 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산할 수 있다.
본 발명의 실시 예에 따르면 워핑은 수학식 8을 통해 수행될 수 있다.
Figure pat00049
여기서
Figure pat00050
는 깊이 데이터 픽셀의 깊이 값에 해당하는 3차원 좌표를 나타내는 3x1벡터이며,
Figure pat00051
는 깊이 센서의 3차원 회전 파라미터를 나타내는 3x3 행렬,
Figure pat00052
는 깊이 센서의 3차원 위치를 나타내는 3x1 벡터,
Figure pat00053
는 영상 센서의 내부 및 외부 보정 파라미터를 나타내는 3x3 행렬,
Figure pat00054
는 영상 센서의 3차원 회전을 나타내는 3x3행렬,
Figure pat00055
는 깊이 센서의 3차원 위치를 나타내는 3x1 벡터,
Figure pat00056
는
Figure pat00057
에 해당하는 영상 센서의 영상 평면상 2차원 좌표를 나타내는 3x1 벡터이다.
깊이 데이터 상에서의 2차원 좌표인 에 위치한 깊이 데이터 픽셀의 깊이 값인
Figure pat00059
에 해당하는 3차원 좌표 벡터
Figure pat00060
는 깊이 센서의 내부 및 외부 보정 파라미터를 나타내는 3x3 행렬
Figure pat00061
을 이용해 다음 수학식 9을 통해 계산될 수 있다.
Figure pat00062
보간부(2133)는 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산할 수 있다.
본 발명의 실시 예에 따르면 깊이 값이 워핑되지 않은 픽셀의 깊이 값은 4개 이상의 주변 픽셀의 깊이 값에서 보간(interpolation)을 통해 깊이 값의 근사치를 계산할 수 있다.
또한 이러한 계산을 통해 고해상도 영상 평면상에 있는 모든 픽셀의 깊이 값을 설정한 후 영상 데이터의 밝기 값과 픽셀 간의 거리를 고려하는 결합형 양방향 필터링을 통하여, 저해상도 깊이 데이터로부터 고해상도 깊이 데이터를 획득할 수 있다.
여기서 결합형 양방향 필터링은 수학식 10을 통해 구현될 수 있다.
Figure pat00063
여기서
Figure pat00064
는 고해상도 영상 평면에서 2차원 좌표
Figure pat00065
에 위치한 픽셀의 깊이 값,
Figure pat00066
는
Figure pat00067
에 위치한 픽셀을 중심으로 하는 주변 영역, N에 포함되는 픽셀의 2차원 좌표,
Figure pat00068
는 결합형 양방향 가중치(joint-bilateral weight)로써 다음 수학식 11을 통해 계산될 수 있다.
Figure pat00069
여기서
Figure pat00070
는
Figure pat00071
에 위치한 픽셀을 중심으로 한 주변 영역 내 임의의
Figure pat00072
에 위치한 픽셀까지 거리(distance) 값에 대한 표준 편차,
Figure pat00073
는
Figure pat00074
에 위치한 픽셀의 영상 데이터 값,
Figure pat00075
와
Figure pat00076
에 위치한 픽셀의 영상 데이터 값,
Figure pat00077
의 차이(difference) 값에 대한 표준 편차이다.
상술한 바와 같은 결합형 양방향 필터링의 깊이 데이터 값의 경계(edge)는 영상 데이터와 동일하게 하면서 국부적으로 평활화(regularization)해주는 특성이 있어, 고해상도 영상 데이터의 에지 정보를 반영하면서 저해상도 깊이 데이터에서 고해상도 깊이 데이터로의 데이터 업샘플링을 가능하게 한다.
도 5는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 영상 데이터와 저해상도 깊이 데이터를 통해 피사체의 동작을 정밀하게 추적하기 위한 데이터의 흐름도이다.
도 5를 참조하면 고해상도 영상 카메라 및 저해상도 깊이 센서를 통하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 수집할 수 있다.
고해상도 영상 데이터 및 저해상도 깊이 데이터는 보정 파라미터인 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 값을 산출하고 이를 업샘플링하여 저해상도 깊이 데이터를 고해상도 깊이 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하며, 업샘플링된 저해상도 깊이 데이터 및 고해상도 영상 데이터를 결합하여 고해상도 결합 데이터를 생성할 수 있다.
결합된 고해상도 결합 데이터에서 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분한 다음, 피사체에 해당하는 픽셀의 깊이 값을 이용해 도 6과 같은 피사체의 관절 계층 구조상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 기준으로 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
이때, 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀의 분할은 피사체와 배경 픽셀의 영상 값(예를 들면 밝기 값 또는 컬러 값 등)의 차이를 수치적 혹은 확률적으로 분석하는 방법을 사용할 수 있다.
그리고 상술한 분석 방법에 한정되지 않고 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하여 구분할 수도 있으며, 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하여 구분하는 방법을 사용할 수도 있다.
본 발명의 실시 예에 따르면 부위별로 분할된 고해상도 결합 데이터를 이용하여 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 영상 값 불변 제약을 이용해 추적하여 그 결과 데이터를 생성할 수 있다.
또한 결과 데이터 및 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 수신하고, 수신한 정보를 이용하여 피사체 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하여 그 결과에 대한 데이터를 생성할 수 있다.
여기서 피사체 골격 모델의 계층 구조는 도 6을 참조하여 더 자세히 설명하도록 한다.
도 6는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 부위별 픽셀 분할 및 관절의 위치 및 각도 추적에 사용되는 피사체 골격모델의 계층구조를 나타낸 도면이다.
도 6을 참조하면 본 발명의 실시 예에 따른 부위별 픽셀 분할 및 관절의 위치 및 각도 추적에 사용되는 피사체 관절 계층 구조는 머리(head), 어깨 중심(shoulder center), 좌측 어깨(left shoulder), 좌측 팔꿈치(left elbow), 좌측 손목(left wrist), 좌측 손(left hand), 우측 어깨(right shoulder), 우측 팔꿈치(right elbow), 우측 손목(right wrist), 우측 손(right hand), 등뼈(spin), 둔부 중심(hip center), 좌측 둔부(left hip), 좌측 무릎(left knee), 좌측 발목(left ankle), 좌측 발(left foot), 우측 둔부(right hip), 우측 무릎(right knee), 우측 발목(right ankle), 우측 발(right foot) 등을 포함하여 그룹화되어 질 수 있다.
도 7은 본 발명의 실시 예에 따라 하이브리드 카메라 기반 동작 분석 장치를 통해 피사체 골격 모델 구조를 피사체에 적용한 것을 나타낸 도면이다.
도 7을 참조하면 도 6에 도시된 피사체 골격모델의 계층구조가 실제 피사체에 대응된 것을 나타낼 수 있다.
도 8은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 깊이 데이터 픽셀에 해당하는 3차원 지점과 피사체 골격 모델 상 관절과 관절을 연결하는 뼈대까지의 최단 거리를 기준으로 픽셀을 부위별로 그룹화하는 부위별 픽셀 그룹을 나타낸 도면이다.
도 8을 참조하면 도 7의 피사체 골격모델의 계층구조가 대입된 실제 피사체를 고해상도 깊이 데이터 픽셀에 해당하는 3차원 지점과 피사체 골격 모델 상 관절과 관절을 연결하는 뼈대까지의 최단 거리를 기준으로 픽셀을 부위별로 그룹화한 결과를 나타낸 도면이다.
고해상도 결합 데이터에서 피사체에 해당하는 픽셀의 부위별 그룹화는 수학식 1을 통해 이루어 질 수 있다.
도 1에서 설명한 바와 같이 수학식 1과 수학식 2를 통해 상술한 수학식을 통해 산출한 최단거리를 모든 뼈대를 대상으로 계산한 후 최단거리의 최소값을 가지는 뼈대에 해당하는 부위에 픽셀을 할당함으로써 피사체 픽셀을 부위별로 분할 할 수 있다.
이와 같은 방법으로 피사체의 옷 등에 해당하는 픽셀을 제외하고 피사체에 해당하는 픽셀을 피사체의 골격 부위별로 그룹화 할 수 있다.
이렇게 분할한 픽셀 데이터를 통해 고해상도 영상 센서에서 획득되는 영상 데이터의 현재 프레임과 다음 프레임에서 측광 제약(photometric constraints), 즉 영상 값 불변 제약을 이용해 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적할 수 있다.
도 9는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 방법을 나타낸 흐름도이다.
고해상도 영상 데이터 및 저해상도 깊이 데이터를 수집한다(910).
본 발명의 실시 예에 따르면 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 획득할 수 있다.
본 발명의 일 실시 예에 따르면 피사체의 동작을 추적하기 위하여 사람을 피사체로 하여 하나의 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 하나의 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 획득할 수 있다.
깊이 데이터 픽셀의 깊이 값을 3차원 좌표 값으로 변환한다(915).
본 발명의 실시 예에 따르면 깊이 센서의 내부 및 외부 파라미터로 표현되는 깊이 센서의 3차원 투시 투영(3-D perspective projection)
Figure pat00078
을 역으로 적용해 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환할 수 있다.
깊이 데이터의 3차원 좌표 값을 영상 센서의 영상 평면에 투영한다(920).
본 발명의 실시 예에 따르면 영상 카메라의 내부 및 외부 파라미터를 통해 표현되는 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영할 수 있다.
투영된 3차원 좌표를 해당 영상 평면 픽셀의 깊이 값으로 변환한다(925).
본 발명의 실시 예에 따르면 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환할 수 있다.
워핑을 통해 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값을 계산한다(930).
워핑되지 않은 픽셀을 대상으로 보간을 통해 깊이 값을 계산한다(935).
본 발명의 실시 예에 따르면 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 수학식 7를 이용한 워핑을 통해 깊이 값을 계산할 수 있다.
저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링한다(940).
본 발명의 실시 예에 따르면 모든 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 설정하고, 고해상도 영상 데이터의 밝기 값과 각 픽셀 간의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링할 수 있다.
결합형 양방향 필터링은 수학식 5을 통해 수학식 5에서의
Figure pat00079
는 결합형 양방향 가중치로써 수학식 6을 통해 계산될 수 있다.
업샘플링된 저해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성한다(945).
본 발명의 실시 예에 따르면 저해상도 깊이 데이터를 업샘플링을 통해 고해상도 깊이 데이터와 고해상도 영상 데이터와 해상도 및 투영 관계가 동일하도록 하고, 업샘플링된 저해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성할 수 있다.
피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적한다(950).
본 발명의 실시 예에 따르면 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 영상 값 불변 제약을 이용해 추적할 수 있다.
여기서 대응점 추적 과정은 수학식 3과 같이 영상 값의 차이를 최소화하는, 현재 프레임인
Figure pat00080
상에서
Figure pat00081
위치에 존재하는 픽셀의 다음 프레임,
Figure pat00082
상에 대응점,
Figure pat00083
를 계산함으로써 대응점을 추적할 수 있다.
피사체의 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적한다(955).
본 발명의 실시 예에 따르면 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 수신하고, 상기 수신한 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적할 수 있다.
여기서 관절의 3차원 위치 및 각도를 추적하는 방법은 현재 프레임에서 i번째 부위에 할당된 픽셀의 3차원 위치인
Figure pat00084
는 i번째 부위의 관절인
Figure pat00085
의 동작에 근거하여 골격 모델의 계층 구조와 운동 연쇄에 의하여 다음 프레임에서의 3차원 위치
Figure pat00086
는 수학식 4를 통해 계산될 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10 : 하이브리드 카메라 기반 동작 추적장치
1000 : 데이터 획득부 2000 : 데이터 결합부
2100 : 깊이 값 산출부 2110 : 3차원 좌표값 변환부
2120 : 영상평면 투영부 2130 : 픽셀 깊이 값 계산부
2200 : 업샘플링부 2300 : 고해상도 결합 데이터 생성부
3000 : 데이터 분할부 4000 : 대응점 추적부
5000 : 관절 추적부

Claims (14)

  1. 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 데이터 수집부;
    획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 데이터 결합부;
    상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 데이터 분할부;
    상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 대응점 추적부; 및
    상기 수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 관절 추적부를 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  2. 제 1 항에 있어서 상기 데이터 수집부는,
    하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  3. 제 1 항에 있어서 상기 데이터 결합부는,
    획득한 상기 고해상도 영상 데이터 및 저해상도 깊 이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 깊이 값 산출부;
    상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 업샘플링부; 및
    상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 고해상도 결합 데이터 생성부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  4. 제 3 항에 있어서 상기 깊이 값 산출부는,
    상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 3차원 좌표 값 변환부;
    상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 영상평면 투영부; 및
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 픽셀 깊이 값 계산부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  5. 제 4 항에 있어서 상기 픽셀 깊이 값 계산부는,
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 변환부;
    피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 워핑부; 및
    상기 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 보간부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  6. 제 1 항에 있어서 상기 데이터 분할부는,
    상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  7. 제 1 항에 있어서 상기 데이터 분할부는,
    피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화하는 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  8. 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 단계;
    획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 단계;
    상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 단계;
    상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 단계; 및
    상기 수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 단계를 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  9. 제 8 항에 있어서 상기 데이터를 획득하는 단계는,
    하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  10. 제 8 항에 있어서 상기 고해상도 결합 데이터를 생성하는 단계는,
    획득한 상기 고해상도 영상 데이터 및 저해상도 깊 이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 단계;
    상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 단계; 및
    상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  11. 제 10 항에 있어서 상기 픽셀의 깊이 값을 산출하는 단계는,
    상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 단계;
    상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 단계; 및
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  12. 제 11 항에 있어서 상기 픽셀 깊이 값 산출하는 단계는,
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 단계;
    피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 단계; 및
    상기 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  13. 제 8 항에 있어서 상기 피사체 부위별로 그룹화하는 단계는,
    상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  14. 제 8 항에 있어서 상기 피사체 부위별로 그룹화하는 단계는,
    피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화하는 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
KR1020140083916A 2013-11-27 2014-07-04 하이브리드 카메라 기반 동작 추적 장치 및 그 방법 KR102075079B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/554,365 US20150146928A1 (en) 2013-11-27 2014-11-26 Apparatus and method for tracking motion based on hybrid camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130145656 2013-11-27
KR20130145656 2013-11-27

Publications (2)

Publication Number Publication Date
KR20150061549A true KR20150061549A (ko) 2015-06-04
KR102075079B1 KR102075079B1 (ko) 2020-03-02

Family

ID=53499503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140083916A KR102075079B1 (ko) 2013-11-27 2014-07-04 하이브리드 카메라 기반 동작 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102075079B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076267A (ko) * 2018-12-19 2020-06-29 전자부품연구원 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
KR20210079137A (ko) * 2019-12-19 2021-06-29 한국전자통신연구원 사용자 모션 자동 인식 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232353A1 (en) * 2006-11-10 2009-09-17 University Of Maryland Method and system for markerless motion capture using multiple cameras
KR20120007878A (ko) * 2010-07-15 2012-01-25 경희대학교 산학협력단 인체 동작의 3ｄ 모션 구현방법
KR20120127151A (ko) * 2011-05-13 2012-11-21 삼성전자주식회사 영상 변환 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232353A1 (en) * 2006-11-10 2009-09-17 University Of Maryland Method and system for markerless motion capture using multiple cameras
KR20120007878A (ko) * 2010-07-15 2012-01-25 경희대학교 산학협력단 인체 동작의 3ｄ 모션 구현방법
KR20120127151A (ko) * 2011-05-13 2012-11-21 삼성전자주식회사 영상 변환 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200076267A (ko) * 2018-12-19 2020-06-29 전자부품연구원 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
KR20210079137A (ko) * 2019-12-19 2021-06-29 한국전자통신연구원 사용자 모션 자동 인식 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102075079B1 (ko) 2020-03-02

Similar Documents

Publication Publication Date Title
CN110599540B (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
US9418474B2 (en) Three-dimensional model refinement
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
Shiratori et al. Motion capture from body-mounted cameras
CN101310289B (zh) 捕捉和处理面部运动数据
US9191648B2 (en) Hybrid stitching
Dockstader et al. Stochastic kinematic modeling and feature extraction for gait analysis
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
US20150146928A1 (en) Apparatus and method for tracking motion based on hybrid camera
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
JPWO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
CN112790758A (zh) 一种基于计算机视觉的人体运动测量方法、系统及电子设备
JP2003061936A (ja) 動立体モデル生成装置及び方法
Yang et al. Building anatomically realistic jaw kinematics model from data
JP7498404B2 (ja) 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
JP7318814B2 (ja) データ生成方法、データ生成プログラムおよび情報処理装置
KR102075079B1 (ko) 하이브리드 카메라 기반 동작 추적 장치 및 그 방법
JP2010238134A (ja) 画像処理装置及びプログラム
Cheng et al. Capturing human motion in natural environments
Wang et al. Markerless body motion capturing for 3d character animation based on multi-view cameras
Xing et al. Markerless motion capture of human body using PSO with single depth camera
Nguyen et al. Real-time subject-specific head and facial mimic animation system using a contactless Kinect sensor and system of systems approach
AU2020436767B2 (en) Markerless motion capture of hands with multiple pose estimation engines
JP6868875B1 (ja) 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム
CN104423567A (zh) 动态影像分析系统及其方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant