KR102075079B1 - 하이브리드 카메라 기반 동작 추적 장치 및 그 방법 - Google Patents

하이브리드 카메라 기반 동작 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR102075079B1
KR102075079B1 KR1020140083916A KR20140083916A KR102075079B1 KR 102075079 B1 KR102075079 B1 KR 102075079B1 KR 1020140083916 A KR1020140083916 A KR 1020140083916A KR 20140083916 A KR20140083916 A KR 20140083916A KR 102075079 B1 KR102075079 B1 KR 102075079B1
Authority
KR
South Korea
Prior art keywords
subject
data
depth
high resolution
pixel
Prior art date
Application number
KR1020140083916A
Other languages
English (en)
Other versions
KR20150061549A (ko
Inventor
김종성
김명규
백성민
김예진
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/554,365 priority Critical patent/US20150146928A1/en
Publication of KR20150061549A publication Critical patent/KR20150061549A/ko
Application granted granted Critical
Publication of KR102075079B1 publication Critical patent/KR102075079B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 사람의 동작을 획득하기 위해 사용되는 동작 분석 시스템에서, 하이브리드 카메라에서 획득되는 고해상도의 영상 데이터와 저해상도의 깊이 데이터를 이용하여 피사체의 동작을 추적하는 장치 및 방법에 관한 것으로, 데이터 수집부, 데이터 결합부, 데이터 분할부, 대응점 추적부, 관절 추적부를 포함할 수 있으며, 이를 통해 하이브리드 카메라에서 획득 되는 고해상도 영상 데이터와 저해상도 깊이 데이터를 결합하여 피사체의 동작을 정밀하게 추적하는데 그 목적이 있다.

Description

하이브리드 카메라 기반 동작 추적 장치 및 그 방법{MOTION TRACKING APPARATUS WITH HYBRID CAMERAS AND METHOD THERE}
본 발명은 사람의 동작을 획득하기 위해 사용되는 동작 분석 시스템에서, 하이브리드 카메라에서 획득되는 고해상도의 영상 데이터와 저해상도의 깊이 데이터를 이용하여 피사체의 동작을 추적하는 장치 및 방법에 관한 것이다.
통상적으로, 동작 추적 기술은 애니메이션, 게임, 영화, 스포츠, 의료, 국방 분야 등에서, 캐릭터 애니메이션, 특수 효과, 운동 분석, 재활 치료, 군사 훈련 등을 위해 배우, 선수, 환자, 군인 등의 동작 추적에 필요한 기술이다.
종래의 동작 추적 기술은 여러 대의 고해상도 카메라에서 획득 영상 데이터에 사전에 주어진 피사체의 3차원 외형 모델을 정합하여 동작을 추적하거나 여러 대의 고해상도 카메라로부터 획득되는 영상 데이터에서 피사체의 3차원 외형 모델 복원과 정합을 동시에 수행하여 동작을 추적하는 카메라 방식 및 한 대의 깊이 센서에서 획득되는 저해상도 깊이 데이터에서 피사체의 관절 위치를 인식함으로써 동작을 추적하는 센서 방식이 존재하였다.
그러나 카메라 방식은 3차원 공간상에서 고해상도 영상 데이터에서 피사체의 외형 모델을 변형하거나 복원해야 하는 어려움이 있고, 반면 센서 방식은 피사체의 외형 모델을 별도로 복원할 필요는 없으나 저해상도 깊이 데이터 사용으로 인해 동작 추적에 제약이 발생하게 된다.
본 발명은 하이브리드 카메라 기반의 동작 분석을 위하여 고해상도 카메라를 이용한 피사체의 전신 복원 또는 저해상도 깊이 센서를 이용한 피사체의 관절 인식 과정 없이 고해상도 영상 카메라와 저해상도 깊이 센서를 포함하는 하이브리드 카메라에서 획득 되는 고해상도 영상 데이터와 저해상도 깊이 데이터를 결합하여 피사체의 동작을 정밀하게 추적하는데 그 목적이 있다.
본 발명의 실시 예에 따르면 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 데이터 수집부, 획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 데이터 결합부, 상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 데이터 분할부, 상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 대응점 추적부, 상기 수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 관절 추적부를 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 수집부는, 하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 결합부는, 획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 깊이 값 산출부, 상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 업샘플링부, 상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 고해상도 결합 데이터 생성부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 깊이 값 산출부는, 상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 3차원 좌표 값 변환부, 상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 영상평면 투영부,투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 픽셀 깊이 값 계산부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 픽셀 깊이 값 계산부는, 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 변환부, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 워핑부, 상기 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 보간부를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 분할부는, 상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터 분할부는, 피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 하이브리드 카메라 기반 동작 추적 방법은 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 단계, 획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 단계, 상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 단계, 상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 단계, 상기 수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 데이터를 획득하는 단계는, 하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득할 수 있다.
본 발명의 실시 예에 따르면 상기 고해상도 결합 데이터를 생성하는 단계는, 획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 단계, 상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 단계, 상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 픽셀의 깊이 값을 산출하는 단계는, 상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 단계, 상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 단계, 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 픽셀 깊이 값 산출하는 단계는, 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 단계, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 단계, 상기 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 상기 피사체 부위별로 그룹화하는 단계는, 상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 상기 피사체 부위별로 그룹화하는 단계는, 피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화할 수 있다.
도 1은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치의 구성도이다.
도 2는 도 1에 도시된 데이터 결합부의 구성도이다.
도 3은 도 2에 도시된 깊이 값 산출부의 구성도이다.
도 4는 도 3에 도시된 픽셀 깊이 값 계산부의 구성도이다.
도 5는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 영상 데이터와 저해상도 깊이 데이터를 통해 피사체의 동작을 정밀하게 추적하기 위한 데이터의 흐름도이다.
도 6는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 부위별 픽셀 분할 및 관절의 위치 및 각도 추적에 사용되는 피사체 골격모델의 계층 구조를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따라 하이브리드 카메라 기반 동작 분석 장치를 통해 피사체 골격 모델 구조를 피사체에 적용한 것을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 깊이 데이터 픽셀에 해당하는 3차원 지점과 피사체 골격 모델 상 관절과 관절을 연결하는 뼈대까지의 최단 거리를 기준으로 픽셀을 부위별로 분할하는 부위별 픽셀 분할을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 추적 장치 및 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치(10)의 구성도이다.
도 1을 참조하면 하이브리드 카메라 기반 동작 분석 장치(10)는 데이터 수집부(1000), 데이터 결합부(2000), 데이터 분할부(3000), 대응점 추적부(4000), 관절 추적부(5000)를 포함할 수 있다.
데이터 수집부(1000)는 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 수집할 수 있다.
본 발명의 실시 예에 따르면 캐릭터 애니메이션, 특수 효과, 운동 분석, 재활 치료, 군사 훈련 등을 위해 배우, 선수, 환자, 군인 등의 동작을 추적하기 위하여 사람을 피사체로 하여 하이브리드 카메라에 포함된 하나의 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 하나의 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 수집할 수 있다.
데이터 결합부(2000)는 수신한 데이터를 이용하여 상기 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성할 수 있다.
데이터 결합부(2000)는 도 2을 참조하여 더 자세히 설명하도록 한다.
데이터 분할부(3000)는 생성된 고해상도 결합 데이터를 픽셀로 나누어 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
본 발명의 실시 예에 따르면 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하기 위하여 고해상도 결합 데이터에서 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 나누어 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체의 관절 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하고, 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 모아 그룹화할 수 있다.
본 발명의 실시 예에 따르면 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하는 방법은 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀이 구분되어 발생하는 피사체와 배경 픽셀의 영상 값(밝기 값 또는 컬러 값 등)의 차이를 수치적 혹은 확률적으로 분석하는 방법을 사용할 수 있으나 이에 한정되지 아니하며, 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하여 분할 하는 방법, 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하여 구분 하는 방법이 사용될 수 있다.
여기서, 피사체의 골격 모델은 도 6 및 도 7을 참조하여 더 자세히 설명하도록 한다.
고해상도 결합 데이터에서 피사체에 해당하는 픽셀의 부위별 그룹화는, 먼저 피사체에 해당하는 픽셀의 3차원 위치인
Figure 112014063366597-pat00001
를 해당되는 깊이 값을 통해 계산하고, 계산된 피사체 픽셀의 3차원 위치인
Figure 112014063366597-pat00002
에서 도 7과 같이 피사체 골격 모델 상에서 i번째 관절
Figure 112014063366597-pat00003
와 i+1번째 관절
Figure 112014063366597-pat00004
을 연결하는 뼈대까지의 최단거리
Figure 112014063366597-pat00005
를 수학식 1를 통해 계산한다.
Figure 112014063366597-pat00006
여기서
Figure 112014063366597-pat00007
는 관절
Figure 112014063366597-pat00008
의 3차원 좌표,
Figure 112014063366597-pat00009
는 관절
Figure 112014063366597-pat00010
의 3차원 좌표, 피사체 픽셀의 3차원 좌표 벡터인
Figure 112014063366597-pat00011
는 고해상도 영상 센서의 보정 행렬
Figure 112014063366597-pat00012
와 해당하는 고해상도 깊이 데이터 값인
Figure 112014063366597-pat00013
를 이용하여 수학식 2를 통해 계산할 수 있다.
Figure 112014063366597-pat00014
상술한 수학식을 통해 산출한 최단거리를 모든 뼈대를 대상으로 계산한 후 최단거리의 최소값을 가지는 뼈대에 해당하는 부위에 픽셀을 할당함으로써 피사체 픽셀을 부위별로 그룹화할 수 있다.
이때, 최단거리의 최소값이 특정 경계치보다 크면 해당 픽셀은 피사체의 골격 부위에는 해당하지 않는 픽셀로 판별할 수 있다.
이러한 방법으로 도 8과 같이 피사체의 옷 등에 해당하는 픽셀을 제외하고 피사체에 해당하는 픽셀을 피사체 골격 부위별로 그룹화할 수 있다.
대응점 추적부(4000)는 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 영상 값 불변 제약을 이용해 추적할 수 있다.
본 발명의 실시 예에 따르면 대응점 추적 과정은 수학식 3과 같이 영상 값의 차이를 최소화하는, 현재 프레임인
Figure 112014063366597-pat00015
상에서
Figure 112014063366597-pat00016
위치에 존재하는 픽셀의 다음 프레임,
Figure 112014063366597-pat00017
상에 대응점,
Figure 112014063366597-pat00018
를 계산함으로써 대응점을 추적할 수 있다.
Figure 112014063366597-pat00019
관절 추적부(5000)는 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 수신하고, 수신한 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적할 수 있다.
본 발명의 실시 예에 따르면 관절의 3차원 위치 및 각도를 추적하는 방법은 현재 프레임에서 i번째 부위에 할당된 픽셀의 3차원 위치인
Figure 112014063366597-pat00020
는 i번째 부위의 관절인
Figure 112014063366597-pat00021
의 동작에 근거하여 골격 모델의 계층 구조와 운동 연쇄에 의하여 다음 프레임에서의 3차원 위치
Figure 112014063366597-pat00022
는 수학식 4와 같이 계산된다.
Figure 112014063366597-pat00023
여기서
Figure 112014063366597-pat00024
는 관절
Figure 112014063366597-pat00025
의 회전 값,
Figure 112014063366597-pat00026
는 관절
Figure 112014063366597-pat00027
의 4x4 뒤틀림(twist) 행렬이다.
이와 같은 뒤틀림 운동 모델을 이용해 피사체의 N개의 모든 관절에 대해 다음 수학식 5와 같이 다음 프레임에서의 픽셀의 2차원 위치
Figure 112014063366597-pat00028
와 3차원 위치
Figure 112014063366597-pat00029
를 영상 평면상에 투영한 2차원 위치
Figure 112014063366597-pat00030
의 차이를 최소화하는 관절 위치 및 각도 파라미터
Figure 112014063366597-pat00031
를 계산함으로써 동작 추적을 수행할 수 있다.
Figure 112014063366597-pat00032
도 2는 도 1에 도시된 데이터 결합부의 구성도이다.
도 2를 참조하면 데이터 결합부는 깊이 값 산출부(2100), 업샘플링부(2200), 고해상도 결합 데이터 생성부(2300)를 포함할 수 있다.
깊이 값 산출부(2100)는 수신한 영상 데이터 및 깊이 데이터의 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 픽셀의 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출할 수 있다.
깊이 값 산출부(2100)는 도 3을 참조하여 더 자세히 설명하도록 한다.
업샘플링부(2200)는 산출된 모든 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 설정하고, 고해상도 영상 데이터의 밝기 값과 각 상기 픽셀 간의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링할 수 있다.
본 발명의 실시 예에 따르면 결합형 양방향 필터링은 수학식 6을 통해 구현될 수 있다.
Figure 112014063366597-pat00033
여기서
Figure 112014063366597-pat00034
는 고해상도 영상 평면에서 2차원 좌표
Figure 112014063366597-pat00035
에 위치한 픽셀의 깊이 값,
Figure 112014063366597-pat00036
는
Figure 112014063366597-pat00037
에 위치한 픽셀을 중심으로 하는 주변 영역, N에 포함되는 픽셀의 2차원 좌표,
Figure 112014063366597-pat00038
는 결합형 양방향 가중치(joint-bilateral weight)로써 수학식 7을 통해 계산될 수 있다.
Figure 112014063366597-pat00039
여기서
Figure 112014063366597-pat00040
는
Figure 112014063366597-pat00041
에 위치한 픽셀을 중심으로 한 주변 영역 내 임의의
Figure 112014063366597-pat00042
에 위치한 픽셀까지 거리(distance) 값에 대한 표준 편차,
Figure 112014063366597-pat00043
는
Figure 112014063366597-pat00044
에 위치한 픽셀의 영상 데이터 값,
Figure 112014063366597-pat00045
와
Figure 112014063366597-pat00046
에 위치한 픽셀의 영상 데이터 값,
Figure 112014063366597-pat00047
의 차이(difference) 값에 대한 표준 편차이다. 상술한 것과 같은 결합형 양방향 필터링은 깊이 데이터 값의 경계(edge)를 영상 데이터와 동일하게 하면서 국부적으로 평활화(regularization)해주는 특성이 있다.
그리하여 고해상도 영상 데이터의 에지 정보를 반영하여 저해상도 깊이 데이터에서 고해상도 깊이 데이터로의 데이터 업샘플링할 수 있다.
고해상도 결합 데이터 생성부(2300)는 저해상도 깊이 데이터를 업샘플링을 통해 고해상도 깊이 데이터와 고해상도 영상 데이터와 해상도 및 투영 관계가 동일하도록 하고, 업샘플링된 저해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성할 수 있다.
도 3은 도 2에 도시된 깊이 값 산출부(2100)의 구성도이다.
도 3을 참조하면, 3차원 좌표 값 변환부(2110), 영상평면 투영부(2120), 픽셀 깊이 값 계산부(2130)을 포함할 수 있다.
3차원 좌표 값 변환부(2110)는 깊이 센서의 내부 및 외부 파라미터로 표현되는 깊이 센서의 3차원 투시 투영(3-D perspective projection)
Figure 112014063366597-pat00048
을 역으로 적용해 피사체에 해당하는 깊이 데이터 픽셀의 깊이 값을 3차원 좌표 값으로 변환할 수 있다.
본 발명의 실시 예에 따르면 내부 파라미터(intrinsic parameters)는 영상 카메라 및 깊이 센서에 사용된 각 렌즈의 초점 길이(focal length), 광중심(optical center), 종횡비(aspect ratio) 파라미터를 포함할 수 있다.
또한 외부 파라미터(extrinsic parameters)는 3차원 공산 상에서 영상 및 깊이 센서의 회전(orientation), 위치(position) 파라미터를 포함할 수 있다.
영상평면 투영부(2120)는 영상 카메라의 내부 및 외부 파라미터를 통해 표현되는 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영할 수 있다.
픽셀 깊이 값 계산부(2130)는 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출할 수 있다.
픽셀 깊이 값 계산부(2130)는 도 4를 참조하며 더 자세히 설명하도록 한다.
도 4는 도 3에 도시된 픽셀 깊이 값 계산부의 구성도이다.
도 4를 참조하면 픽셀 깊이 값 계산부(2130)는 변환부(2131), 워핑부(2132), 보간부(2133)를 포함할 수 있다.
변환부(2131)는 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환할 수 있다.
워핑부(2132)는 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산할 수 있다.
본 발명의 실시 예에 따르면 워핑은 수학식 8을 통해 수행될 수 있다.
Figure 112014063366597-pat00049
여기서
Figure 112014063366597-pat00050
는 깊이 데이터 픽셀의 깊이 값에 해당하는 3차원 좌표를 나타내는 3x1벡터이며,
Figure 112014063366597-pat00051
는 깊이 센서의 3차원 회전 파라미터를 나타내는 3x3 행렬,
Figure 112014063366597-pat00052
는 깊이 센서의 3차원 위치를 나타내는 3x1 벡터,
Figure 112014063366597-pat00053
는 영상 센서의 내부 및 외부 보정 파라미터를 나타내는 3x3 행렬,
Figure 112014063366597-pat00054
는 영상 센서의 3차원 회전을 나타내는 3x3행렬,
Figure 112014063366597-pat00055
는 깊이 센서의 3차원 위치를 나타내는 3x1 벡터,
Figure 112014063366597-pat00056
는
Figure 112014063366597-pat00057
에 해당하는 영상 센서의 영상 평면상 2차원 좌표를 나타내는 3x1 벡터이다.
깊이 데이터 상에서의 2차원 좌표인
Figure 112014063366597-pat00058
에 위치한 깊이 데이터 픽셀의 깊이 값인
Figure 112014063366597-pat00059
에 해당하는 3차원 좌표 벡터
Figure 112014063366597-pat00060
는 깊이 센서의 내부 및 외부 보정 파라미터를 나타내는 3x3 행렬
Figure 112014063366597-pat00061
을 이용해 다음 수학식 9을 통해 계산될 수 있다.
Figure 112014063366597-pat00062
보간부(2133)는 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산할 수 있다.
본 발명의 실시 예에 따르면 깊이 값이 워핑되지 않은 픽셀의 깊이 값은 4개 이상의 주변 픽셀의 깊이 값에서 보간(interpolation)을 통해 깊이 값의 근사치를 계산할 수 있다.
또한 이러한 계산을 통해 고해상도 영상 평면상에 있는 모든 픽셀의 깊이 값을 설정한 후 영상 데이터의 밝기 값과 픽셀 간의 거리를 고려하는 결합형 양방향 필터링을 통하여, 저해상도 깊이 데이터로부터 고해상도 깊이 데이터를 획득할 수 있다.
여기서 결합형 양방향 필터링은 수학식 10을 통해 구현될 수 있다.
Figure 112014063366597-pat00063
여기서
Figure 112014063366597-pat00064
는 고해상도 영상 평면에서 2차원 좌표
Figure 112014063366597-pat00065
에 위치한 픽셀의 깊이 값,
Figure 112014063366597-pat00066
는
Figure 112014063366597-pat00067
에 위치한 픽셀을 중심으로 하는 주변 영역, N에 포함되는 픽셀의 2차원 좌표,
Figure 112014063366597-pat00068
는 결합형 양방향 가중치(joint-bilateral weight)로써 다음 수학식 11을 통해 계산될 수 있다.
Figure 112014063366597-pat00069
여기서
Figure 112014063366597-pat00070
는
Figure 112014063366597-pat00071
에 위치한 픽셀을 중심으로 한 주변 영역 내 임의의
Figure 112014063366597-pat00072
에 위치한 픽셀까지 거리(distance) 값에 대한 표준 편차,
Figure 112014063366597-pat00073
는
Figure 112014063366597-pat00074
에 위치한 픽셀의 영상 데이터 값,
Figure 112014063366597-pat00075
와
Figure 112014063366597-pat00076
에 위치한 픽셀의 영상 데이터 값,
Figure 112014063366597-pat00077
의 차이(difference) 값에 대한 표준 편차이다.
상술한 바와 같은 결합형 양방향 필터링의 깊이 데이터 값의 경계(edge)는 영상 데이터와 동일하게 하면서 국부적으로 평활화(regularization)해주는 특성이 있어, 고해상도 영상 데이터의 에지 정보를 반영하면서 저해상도 깊이 데이터에서 고해상도 깊이 데이터로의 데이터 업샘플링을 가능하게 한다.
도 5는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 영상 데이터와 저해상도 깊이 데이터를 통해 피사체의 동작을 정밀하게 추적하기 위한 데이터의 흐름도이다.
도 5를 참조하면 고해상도 영상 카메라 및 저해상도 깊이 센서를 통하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 수집할 수 있다.
고해상도 영상 데이터 및 저해상도 깊이 데이터는 보정 파라미터인 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 값을 산출하고 이를 업샘플링하여 저해상도 깊이 데이터를 고해상도 깊이 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하며, 업샘플링된 저해상도 깊이 데이터 및 고해상도 영상 데이터를 결합하여 고해상도 결합 데이터를 생성할 수 있다.
결합된 고해상도 결합 데이터에서 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분한 다음, 피사체에 해당하는 픽셀의 깊이 값을 이용해 도 6과 같은 피사체의 관절 계층 구조상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 기준으로 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화할 수 있다.
이때, 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀의 분할은 피사체와 배경 픽셀의 영상 값(예를 들면 밝기 값 또는 컬러 값 등)의 차이를 수치적 혹은 확률적으로 분석하는 방법을 사용할 수 있다.
그리고 상술한 분석 방법에 한정되지 않고 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하여 구분할 수도 있으며, 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하여 구분하는 방법을 사용할 수도 있다.
본 발명의 실시 예에 따르면 부위별로 분할된 고해상도 결합 데이터를 이용하여 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 영상 값 불변 제약을 이용해 추적하여 그 결과 데이터를 생성할 수 있다.
또한 결과 데이터 및 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 수신하고, 수신한 정보를 이용하여 피사체 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하여 그 결과에 대한 데이터를 생성할 수 있다.
여기서 피사체 골격 모델의 계층 구조는 도 6을 참조하여 더 자세히 설명하도록 한다.
도 6는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 부위별 픽셀 분할 및 관절의 위치 및 각도 추적에 사용되는 피사체 골격모델의 계층구조를 나타낸 도면이다.
도 6을 참조하면 본 발명의 실시 예에 따른 부위별 픽셀 분할 및 관절의 위치 및 각도 추적에 사용되는 피사체 관절 계층 구조는 머리(head), 어깨 중심(shoulder center), 좌측 어깨(left shoulder), 좌측 팔꿈치(left elbow), 좌측 손목(left wrist), 좌측 손(left hand), 우측 어깨(right shoulder), 우측 팔꿈치(right elbow), 우측 손목(right wrist), 우측 손(right hand), 등뼈(spin), 둔부 중심(hip center), 좌측 둔부(left hip), 좌측 무릎(left knee), 좌측 발목(left ankle), 좌측 발(left foot), 우측 둔부(right hip), 우측 무릎(right knee), 우측 발목(right ankle), 우측 발(right foot) 등을 포함하여 그룹화되어 질 수 있다.
도 7은 본 발명의 실시 예에 따라 하이브리드 카메라 기반 동작 분석 장치를 통해 피사체 골격 모델 구조를 피사체에 적용한 것을 나타낸 도면이다.
도 7을 참조하면 도 6에 도시된 피사체 골격모델의 계층구조가 실제 피사체에 대응된 것을 나타낼 수 있다.
도 8은 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 장치에서 고해상도 깊이 데이터 픽셀에 해당하는 3차원 지점과 피사체 골격 모델 상 관절과 관절을 연결하는 뼈대까지의 최단 거리를 기준으로 픽셀을 부위별로 그룹화하는 부위별 픽셀 그룹을 나타낸 도면이다.
도 8을 참조하면 도 7의 피사체 골격모델의 계층구조가 대입된 실제 피사체를 고해상도 깊이 데이터 픽셀에 해당하는 3차원 지점과 피사체 골격 모델 상 관절과 관절을 연결하는 뼈대까지의 최단 거리를 기준으로 픽셀을 부위별로 그룹화한 결과를 나타낸 도면이다.
고해상도 결합 데이터에서 피사체에 해당하는 픽셀의 부위별 그룹화는 수학식 1을 통해 이루어 질 수 있다.
도 1에서 설명한 바와 같이 수학식 1과 수학식 2를 통해 상술한 수학식을 통해 산출한 최단거리를 모든 뼈대를 대상으로 계산한 후 최단거리의 최소값을 가지는 뼈대에 해당하는 부위에 픽셀을 할당함으로써 피사체 픽셀을 부위별로 분할 할 수 있다.
이와 같은 방법으로 피사체의 옷 등에 해당하는 픽셀을 제외하고 피사체에 해당하는 픽셀을 피사체의 골격 부위별로 그룹화 할 수 있다.
이렇게 분할한 픽셀 데이터를 통해 고해상도 영상 센서에서 획득되는 영상 데이터의 현재 프레임과 다음 프레임에서 측광 제약(photometric constraints), 즉 영상 값 불변 제약을 이용해 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적할 수 있다.
도 9는 본 발명의 실시 예에 따른 하이브리드 카메라 기반 동작 분석 방법을 나타낸 흐름도이다.
고해상도 영상 데이터 및 저해상도 깊이 데이터를 수집한다(910).
본 발명의 실시 예에 따르면 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 획득할 수 있다.
본 발명의 일 실시 예에 따르면 피사체의 동작을 추적하기 위하여 사람을 피사체로 하여 하나의 고해상도 카메라를 이용하여 고해상도 영상 데이터를, 하나의 저해상도의 깊이 센서를 이용하여 저해상도 깊이 데이터를 획득할 수 있다.
깊이 데이터 픽셀의 깊이 값을 3차원 좌표 값으로 변환한다(915).
본 발명의 실시 예에 따르면 깊이 센서의 내부 및 외부 파라미터로 표현되는 깊이 센서의 3차원 투시 투영(3-D perspective projection)
Figure 112014063366597-pat00078
을 역으로 적용해 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환할 수 있다.
깊이 데이터의 3차원 좌표 값을 영상 센서의 영상 평면에 투영한다(920).
본 발명의 실시 예에 따르면 영상 카메라의 내부 및 외부 파라미터를 통해 표현되는 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영할 수 있다.
투영된 3차원 좌표를 해당 영상 평면 픽셀의 깊이 값으로 변환한다(925).
본 발명의 실시 예에 따르면 투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환할 수 있다.
워핑을 통해 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값을 계산한다(930).
워핑되지 않은 픽셀을 대상으로 보간을 통해 깊이 값을 계산한다(935).
본 발명의 실시 예에 따르면 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 수학식 7를 이용한 워핑을 통해 깊이 값을 계산할 수 있다.
저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링한다(940).
본 발명의 실시 예에 따르면 모든 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 설정하고, 고해상도 영상 데이터의 밝기 값과 각 픽셀 간의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링할 수 있다.
결합형 양방향 필터링은 수학식 5을 통해 수학식 5에서의
Figure 112014063366597-pat00079
는 결합형 양방향 가중치로써 수학식 6을 통해 계산될 수 있다.
업샘플링된 저해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성한다(945).
본 발명의 실시 예에 따르면 저해상도 깊이 데이터를 업샘플링을 통해 고해상도 깊이 데이터와 고해상도 영상 데이터와 해상도 및 투영 관계가 동일하도록 하고, 업샘플링된 저해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성할 수 있다.
피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적한다(950).
본 발명의 실시 예에 따르면 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 영상 값 불변 제약을 이용해 추적할 수 있다.
여기서 대응점 추적 과정은 수학식 3과 같이 영상 값의 차이를 최소화하는, 현재 프레임인
Figure 112014063366597-pat00080
상에서
Figure 112014063366597-pat00081
위치에 존재하는 픽셀의 다음 프레임,
Figure 112014063366597-pat00082
상에 대응점,
Figure 112014063366597-pat00083
를 계산함으로써 대응점을 추적할 수 있다.
피사체의 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적한다(955).
본 발명의 실시 예에 따르면 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 수신하고, 상기 수신한 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적할 수 있다.
여기서 관절의 3차원 위치 및 각도를 추적하는 방법은 현재 프레임에서 i번째 부위에 할당된 픽셀의 3차원 위치인
Figure 112014063366597-pat00084
는 i번째 부위의 관절인
Figure 112014063366597-pat00085
의 동작에 근거하여 골격 모델의 계층 구조와 운동 연쇄에 의하여 다음 프레임에서의 3차원 위치
Figure 112014063366597-pat00086
는 수학식 4를 통해 계산될 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10 : 하이브리드 카메라 기반 동작 추적장치
1000 : 데이터 획득부 2000 : 데이터 결합부
2100 : 깊이 값 산출부 2110 : 3차원 좌표값 변환부
2120 : 영상평면 투영부 2130 : 픽셀 깊이 값 계산부
2200 : 업샘플링부 2300 : 고해상도 결합 데이터 생성부
3000 : 데이터 분할부 4000 : 대응점 추적부
5000 : 관절 추적부

Claims (14)

  1. 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 데이터 수집부;
    획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 데이터 결합부;
    상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 데이터 분할부;
    상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 대응점 추적부; 및
    수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 관절 추적부를 포함하고,
    상기 데이터 결합부는,
    획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 깊이 값 산출부;
    상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 업샘플링부; 및
    상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 고해상도 결합 데이터 생성부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  2. 제 1 항에 있어서 상기 데이터 수집부는,
    하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  3. 삭제
  4. 제 1 항에 있어서 상기 깊이 값 산출부는,
    상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 3차원 좌표 값 변환부;
    상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 영상평면 투영부; 및
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 픽셀 깊이 값 계산부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  5. 제 4 항에 있어서 상기 픽셀 깊이 값 계산부는,
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 변환부;
    피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 워핑부; 및
    상기 피사체에 해당하는 영상 픽셀 중 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 보간부를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  6. 제 1 항에 있어서 상기 데이터 분할부는,
    상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  7. 제 1 항에 있어서 상기 데이터 분할부는,
    피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화하는 특징으로 하는 하이브리드 카메라 기반 동작 추적 장치.
  8. 피사체에 대한 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 단계;
    획득한 저해상도 깊이 데이터를 고해상도 영상 데이터와 동일한 영상 평면 상으로 워핑(warping)하고, 저해상도 깊이 데이터를 업샘플링(upsampling)하여 생성한 고해상도 깊이 데이터를 고해상도 영상 데이터와 픽셀 단위로 결합하여 고해상도 결합 데이터를 생성하는 단계;
    상기 생성된 고해상도 결합 데이터를 픽셀 단위로 분할하여 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀 구분하고, 상기 피사체에 해당하는 픽셀의 깊이 값을 이용해 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 단계;
    상기 피사체에 해당하는 픽셀의 현재 프레임과 다음 프레임 사이의 대응점을 추적하는 단계; 및
    수신한 피사체에 해당하는 픽셀의 깊이 정보, 피사체의 부위 정보, 대응점 정보를 이용하여 피사체의 골격 모델의 계층 구조(hierarchical structure)와 운동 연쇄(kinematic chain)를 고려하여 골격 모델 상에 있는 각 관절의 3차원 위치 및 각도를 추적하는 단계를 포함하고,
    상기 고해상도 결합 데이터를 생성하는 단계는,
    획득한 상기 고해상도 영상 데이터 및 저해상도 깊이 데이터에 포함된 내부 파라미터와 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하여 3차원 좌표 값을 영상 평면에 투영하고, 상기 투영된 3차원 좌표 값을 통해 픽셀의 깊이 값을 산출하고, 산출된 깊이 값이 없는 피사체에 해당하는 픽셀은 워핑 또는 보간을 통해 모든 픽셀의 깊이 값을 산출하는 단계;
    상기 산출된 픽셀의 깊이 값을 고해상도 영상 평면상에 있는 모든 픽셀에 대응시키고, 상기 고해상도 영상 데이터의 밝기 값과 상기 픽셀 간 각각의 거리를 고려하는 결합형 양방향 필터링을 이용하여 저해상도 깊이 데이터에서 고해상도 영상 데이터와 해상도 및 투영 관계가 동일한 고해상도 깊이 데이터로 업샘플링하는 단계; 및
    상기 업샘플링 된 고해상도 깊이 데이터를 고해상도 영상 데이터와 결합하여 고해상도 결합 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  9. 제 8 항에 있어서 상기 데이터를 획득하는 단계는,
    하나의 고해상도 영상 정보수집장치와 하나의 저해상도의 깊이 정보수집장치를 이용하여 고해상도 영상 데이터 및 저해상도 깊이 데이터를 획득하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  10. 삭제
  11. 제 8 항에 있어서 상기 픽셀의 깊이 값을 산출하는 단계는,
    상기 고해상도 영상 데이터의 내부 및 외부 파라미터를 이용하여 피사체에 해당하는 깊이 데이터를 3차원 좌표 값으로 변환하는 단계;
    상기 저해상도 깊이 데이터의 내부 파라미터 또는 외부 파라미터를 이용하여 영상 센서의 3차원 투시 투영을 적용해 깊이 데이터 픽셀의 3차원 좌표 값을 영상 센서의 영상 평면에 투영하는 단계; 및
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하고, 피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑 또는 보간을 통해 픽셀 깊이 값 산출하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  12. 제 11 항에 있어서 상기 픽셀 깊이 값 산출하는 단계는,
    투영된 3차원 좌표를 영상 센서의 3차원 투시 투영 관계로부터 해당 영상 평면 픽셀의 깊이 값으로 변환하는 단계;
    피사체에 해당하는 영상 픽셀 중 깊이 값이 없는 영상 평면 픽셀의 깊이 값은 워핑을 통해 깊이 값을 계산하는 단계; 및
    상기 피사체에 해당하는 영상 픽셀 중 워핑되지 않은 픽셀을 대상으로 4개 이상의 주변 픽셀의 깊이 값을 수집하여 보간(interpolation)을 통해 상기 워핑되지 않은 픽셀의 깊이 값의 근사치를 산출함으로써 깊이 값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  13. 제 8 항에 있어서 상기 피사체 부위별로 그룹화하는 단계는,
    상기 고해상도 결합 데이터를 픽셀로 분할하여 상기 분할된 픽셀을 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀로 구분하고, 피사체에 해당하는 픽셀의 깊이 값을 이용해 상기 피사체의 골격 모델 상에서 관절과 관절을 연결하는 뼈대(bone)까지의 최단거리를 산출하여, 상기 산출한 최단거리를 기준으로 상기 피사체에 해당하는 모든 픽셀을 피사체 부위별로 그룹화하는 것을 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
  14. 제 8 항에 있어서 상기 피사체 부위별로 그룹화하는 단계는,
    피사체와 배경 픽셀의 영상 값의 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 피사체와 배경 픽셀의 깊이 값 차이를 수치적 혹은 확률적으로 분석하는 방법 또는 영상 값과 깊이 값의 차이를 동시에 수치적 혹은 확률적으로 분석하는 방법을 통해 상기 피사체에 해당하는 픽셀과 배경에 해당하는 픽셀을 피사체 부위별로 그룹화하는 특징으로 하는 하이브리드 카메라 기반 동작 추적 방법.
KR1020140083916A 2013-11-27 2014-07-04 하이브리드 카메라 기반 동작 추적 장치 및 그 방법 KR102075079B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/554,365 US20150146928A1 (en) 2013-11-27 2014-11-26 Apparatus and method for tracking motion based on hybrid camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130145656 2013-11-27
KR20130145656 2013-11-27

Publications (2)

Publication Number Publication Date
KR20150061549A KR20150061549A (ko) 2015-06-04
KR102075079B1 true KR102075079B1 (ko) 2020-03-02

Family

ID=53499503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140083916A KR102075079B1 (ko) 2013-11-27 2014-07-04 하이브리드 카메라 기반 동작 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102075079B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102371127B1 (ko) * 2018-12-19 2022-03-07 한국전자기술연구원 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
KR102610840B1 (ko) * 2019-12-19 2023-12-07 한국전자통신연구원 사용자 모션 자동 인식 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232353A1 (en) * 2006-11-10 2009-09-17 University Of Maryland Method and system for markerless motion capture using multiple cameras

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101193223B1 (ko) * 2010-07-15 2012-10-22 경희대학교 산학협력단 인체 동작의 3ｄ 모션 구현방법
KR20120127151A (ko) * 2011-05-13 2012-11-21 삼성전자주식회사 영상 변환 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232353A1 (en) * 2006-11-10 2009-09-17 University Of Maryland Method and system for markerless motion capture using multiple cameras

Also Published As

Publication number Publication date
KR20150061549A (ko) 2015-06-04

Similar Documents

Publication Publication Date Title
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
Guerra-Filho Optical Motion Capture: Theory and Implementation.
EP2973417B1 (en) A method and system for three-dimensional imaging
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
US20150146928A1 (en) Apparatus and method for tracking motion based on hybrid camera
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
US20130329020A1 (en) Hybrid stitching
Kolahi et al. Design of a marker-based human motion tracking system
JP5795250B2 (ja) 被写体姿勢推定装置および映像描画装置
JP4761670B2 (ja) 動立体モデル生成装置及び方法
KR102075079B1 (ko) 하이브리드 카메라 기반 동작 추적 장치 및 그 방법
Kirmizibayrak et al. Digital analysis and visualization of swimming motion
JP2010238134A (ja) 画像処理装置及びプログラム
Zhu et al. Kinematic Motion Analysis with Volumetric Motion Capture
JP6868875B1 (ja) 姿勢推定学習システム、姿勢推定学習方法及び機械学習用データの作成プログラム
Dai Modeling and simulation of athlete’s error motion recognition based on computer vision
Cheng et al. Capturing human motion in natural environments
Robertini et al. Capture of arm-muscle deformations using a depth-camera
JP7499345B2 (ja) 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉
JP2011149952A (ja) モデル入力装置およびモデル生成システム
KR102714028B1 (ko) 교정치료 정보 제공 시스템 및 이의 동작 방법
Bakken Using synthetic data for planning, development and evaluation of shape-from-silhouette based human motion capture methods
JP2010238169A (ja) 画像処理装置及び画像処理プログラム
CN114998383A (zh) 单目3d动作捕捉方法、系统以及终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant