KR102152436B1 - 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 - Google Patents

3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 Download PDF

Info

Publication number
KR102152436B1
KR102152436B1 KR1020190024919A KR20190024919A KR102152436B1 KR 102152436 B1 KR102152436 B1 KR 102152436B1 KR 1020190024919 A KR1020190024919 A KR 1020190024919A KR 20190024919 A KR20190024919 A KR 20190024919A KR 102152436 B1 KR102152436 B1 KR 102152436B1
Authority
KR
South Korea
Prior art keywords
point cloud
skeleton information
information
viewpoint
skeleton
Prior art date
Application number
KR1020190024919A
Other languages
English (en)
Inventor
서영호
박병서
임완택
Original Assignee
광운대학교 산학협력단
스크린커플스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 스크린커플스(주) filed Critical 광운대학교 산학협력단
Priority to KR1020190024919A priority Critical patent/KR102152436B1/ko
Application granted granted Critical
Publication of KR102152436B1 publication Critical patent/KR102152436B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법에 관한 것으로서, (b) 일련의 연속된 다시점의 깊이 및 텍스처 프레임을 수신하는 단계; (c) 각 시점의 깊이 프레임의 포인트 클라우드를 월드좌표계로 변환하는 단계; (d) 각 시점의 포인트 클라우드를 하나의 통합 포인트 클라우드로 통합하는 단계; (e) 각 시점별 뼈대정보의 좌표 세트를 추출하는 단계; 및, (f) 각 시점별 뼈대 정보의 좌표를 평균하여 해당 프레임의 뼈대 정보의 좌표를 구하는 단계를 포함하는 구성을 마련하여, 텍스처 영상에서 뼈대 정보를 추출하고 3차원 포인트 클라우드를 이용하여 뼈대 정보를 보정함으로써, 보다 정확한 뼈대 정보를 추출할 수 있다.

Description

3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 { A skeleton processing system for dynamic 3D model based on 3D point cloud and the method thereof }
본 발명은 각기 다른 시점을 가지는 다수의 깊이 및 텍스처 카메라로부터 다시점의 깊이 영상 및 다시점의 텍스처 영상을 획득하고, 텍스처 영상에서 뼈대 정보를 추출하고, 다시점 깊이 영상으로부터 추출된 3차원 포인트 클라우드를 이용하여 뼈대 정보를 보정하는, 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법에 관한 것이다.
또한, 본 발명은 실사 객체를 360도 전방위에서 관찰이 가능한 3차원 그래픽 모델로 변환하는 시스템에서, 3차원 포인트 클라우드에 대한 뼈대 정보를 추출하고, 이를 이용하여 동적인 3D 모델을 생성하는, 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법에 관한 것이다.
최근, 차세대 혼합현실(MR) 시대가 도래되고 있다. MR기술은 인간의 상상력이 극대화된 형태의 차세대 미디어 서비스를 제공할 수 있다. 온라인 시장조사기관에 따르면, 혼합현실 시장 규모는 급성장할 것으로 예측하고 있다.
혼합현실(MR)은 증강현실 기술을 더욱 확대하고 가상현실 기술의 한계를 극복함으로써 현실과의 인터랙션 요소를 강화할 수 있다. 또한, 혼합현실 기술은 교육, 엔터테인먼트, 비즈니스 컨설팅, 건축, 토목, 물류, 에너지와 환경 관리, 의료, 군사 등 다방면에서 활용될 수 있다.
혼합현실이란 증강현실과 가상현실의 장점을 통합하고 사용자와의 인터랙션을 더욱 강화한 방식으로 정의할 수 있는데, 이를 위해 사람에 대해 실사 형태를 가지면서 360도의 전방위 관찰이 가능한 동적인 3D모델 제작기술이 가장 핵심적인 요소이다.
즉, 기존 실사 기반의 AR/VR/MR/홀로그램용 3D 콘텐츠 서비스는 주어진 시점에서만 서비스가 가능하다는 한계를 가지고 있다. 따라서 인터렉션이 가능하면서 360도 다시점 체험이 요구되는 MR 환경에서는, 원천적으로 현실의 실사 데이터를 전방위에서 3D 데이터로 서비스할 수 있는 시스템 및 제작기술이 필요하다.
특히, 사람에 대해 실사형태를 전방위로 관찰 가능하도록 동적인 3차원 모델을 처리할 때, 정확한 뼈대 정보를 추출하고 처리하는 것은 무엇보다 중요하다.
Xu, Weipeng, et al. "Mo2cap2: real-time mobile 3d motion capture with a cap-mounted fisheye camera." arXiv preprint arXiv:1803.05959 (2018). Zuffi, Silvia, et al. "3D menagerie: Modeling the 3D shape and pose of animals." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. Caroline Chan, et al, "Everybody Dance Now", arXiv:1808.07371, Vol. 1, No. 1, August 2018. Zhe Cao, et al, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1611.08050v2 [cs.CV], 14 Apr 2017.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 각기 다른 시점을 가지는 다수의 깊이 및 텍스처 카메라로부터 다시점의 깊이 영상 및 다시점의 텍스처 영상을 획득하고, 텍스처 영상에서 뼈대 정보를 추출하고, 다시점 깊이 영상으로부터 추출된 3차원 포인트 클라우드를 이용하여 뼈대 정보를 보정하는, 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 다시점 깊이 및 텍스처 카메라에 의해 촬영된 다시점 깊이 및 텍스처 영상에서 뼈대 정보를 추출하는 뼈대 정보 처리 장치에 의해 수행되는, 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 관한 것으로서, (b) 일련의 연속된 다시점의 깊이 및 텍스처 프레임을 수신하는 단계; (c) 각 시점의 깊이 프레임의 포인트 클라우드를 월드좌표계로 변환하는 단계; (d) 각 시점의 포인트 클라우드를 하나의 통합 포인트 클라우드로 통합하는 단계; (e) 각 시점별 뼈대정보의 좌표 세트를 추출하는 단계; 및, (f) 각 시점별 뼈대 정보의 좌표를 평균하여 해당 프레임의 뼈대 정보의 좌표를 구하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 있어서, 상기 방법은, (a) 카메라에 캘리브레이션을 수행하는 단계를 더 포함하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 있어서, 상기 (c)단계에서, 각 시점별로 구해진 깊이 정보에 의한 포인트 클라우드 좌표들에, 외부 파라미터로부터 구해진 카메라 위치 정보를 반영하여, 각 시점에 공통인 공간상의 특정한 위치를 기준으로 표현한 포인트 클라우드 좌표를 월드 좌표계의 좌표로 구하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 있어서, 상기 (e)단계에서, 각 시점의 텍스처 프레임에서 2차원 뼈대 정보를 추출하고, 동일 시점의 포인트 클라우드 정보에 정합시켜 상기 2차원 뼈대 정보를 월드좌표계 공간 상의 뼈대 정보로 변환하고, 월드좌표계 상의 뼈대 정보의 조인트에 대한 유효성을 검증하고, 유효성이 통과된 조인트들만 포함하는 뼈대 정보의 좌표들을 평균하여 최종 뼈대 정보의 좌표 세트로 구성하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 있어서, 상기 (e)단계에서, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트가 조인트 위치의 3차원 포인트 클라우드 좌표 내부의 유효 공간 내에 존재하는지 여부에 의해 유효성을 검증하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 있어서, 상기 (e)단계에서, 뼈대 정보의 조인트가 유효하지 않으면, 해당 조인트 및, 뼈대 정보의 조인트의 계층 구조에 따라 해당 조인트의 하위 조인트도 제외시키는 것을 특징으로 한다.
또한, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
또한, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템에 관한 것으로서, 대상 객체의 주변에 각기 다른 시점에서 촬영하도록 설치되는 다수의 깊이 및 텍스처 카메라; 및, 일련의 연속된 다시점의 깊이 및 텍스처 프레임을 수신하고, 각 시점의 깊이 프레임의 포인트 클라우드를 월드좌표계로 변환하고, 각 시점의 포인트 클라우드를 하나의 통합 포인트 클라우드로 통합하고, 각 시점별 뼈대정보의 좌표 세트를 추출하고, 각 시점별 뼈대 정보의 좌표를 평균하여 해당 프레임의 뼈대 정보의 좌표를 구하는 뼈대 정보 처리 장치를 포함하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템에 있어서, 상기 뼈대 정보 처리 장치는, 각 시점의 텍스처 프레임에서 2차원 뼈대 정보를 추출하고, 동일 시점의 포인트 클라우드 정보에 정합시켜 상기 2차원 뼈대 정보를 월드좌표계 공간 상의 뼈대 정보로 변환하고, 월드좌표계 상의 뼈대 정보의 조인트에 대한 유효성을 검증하고, 유효성이 통과된 조인트들만 포함하는 뼈대 정보의 좌표들을 평균하여 최종 뼈대 정보의 좌표 세트로 구성하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템에 있어서, 상기 뼈대 정보 처리 장치는, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트가 조인트 위치의 3차원 포인트 클라우드 좌표 내부의 유효 공간 내에 존재하는지 여부에 의해 유효성을 검증하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법에 의하면, 텍스처 영상에서 뼈대 정보를 추출하고 3차원 포인트 클라우드를 이용하여 뼈대 정보를 보정함으로써, 보다 정확한 뼈대 정보를 추출할 수 있는 효과가 얻어진다.
본 발명에 따른 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법에 의하면, 3차원 입체 뼈대를 생성함으로써 정적인 포인트 클라우드 정보라 할지라도 이를 이용하여 생성한 3차원 모델의 움직임을 생성할 수 있고, 포인트 클라우드와 3차원 입체 뼈대를 이용하면 3차원 모델을 활용한 콘텐츠에서 인터렉티브한 기능을 만들 수 있는 효과가 얻어진다. 또한, 뼈대 정보와 포인트 클라우드의 정합을 이용하면 포인트 클라우드로 구성된 비디오 콘텐츠를 효율적으로 압축할 수 있다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 일례에 대한 구성도.
도 2는 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법을 설명하는 흐름도.
도 3은 본 발명의 제1 실시예에 따른 각 시점의 뼈대 정보의 좌표 세트를 추출하는 단계를 설명하는 세부
도 4는 본 발명의 제1 실시예에 따른 뼈대 정보의 계층 구조에 대한 예시도.
도 5는 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드에서 관절 유효 영역 설정을 나타낸 예시도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예에 대하여 도 1을 참조하여 설명한다. 도 1은 본 발명이 컴퓨터 단말 상에서 실시되는 예를 도시한 것이다.
도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 대상 객체(10)의 주변에 설치되는 다수의 깊이 및 텍스처 카메라(20), 컴퓨팅 기능을 보유한 컴퓨터 단말(30), 및, 컴퓨터 단말(30) 상에 설치되는 뼈대 정보 처리 시스템(40)으로 구성된다.
먼저, 깊이 및 텍스처 카메라(20)는 키넥트 등 깊이 및 텍스처를 동시에 동일한 시점에서 획득하는 카메라로서, 깊이를 측정하는 깊이 카메라(21) 및, 텍스처를 획득하는 텍스처 카메라(22)로 구성된다.
깊이 및 텍스처 카메라(20)는 다수 개가 구비되어, 대상 객체(10)의 모든 면이 빠짐없이 촬영될 수 있도록, 대상 객체(10)의 주변에 배치된다. 즉, 깊이 및 텍스처 카메라(20)들은 모두 서로 다른 시점(또는 촬영 시점)을 갖는다. 즉, 각 카메라(20)는 고유한 시점을 가지므로, 각 카메라(20)에서 촬영된 영상은 고유한 시점의 영상이다.
깊이 카메라(21)는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이 영상을 출력한다. 촬영된 깊이 영상(61)은 깊이 카메라(21)로 촬영된 깊이 영상이다.
또한, 텍스처 카메라(22)는 통상의 RGB카메라 또는 색상 카메라로서, 대상 객체(10)의 색상을 획득한다. 촬영된 텍스처 영상(62)은 텍스처 카메라(22)로 촬영된 색상 영상 또는 RGB 영상이다.
깊이 영상(61) 및 텍스처 영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 뼈대 정보 처리 시스템(40)에 의해 처리된다. 또는, 깊이 영상(61) 및 텍스처 영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 뼈대 정보 처리 시스템(40)에 의해 저장된 깊이 영상(61) 및 텍스처 영상(62)을 읽어 입력될 수도 있다.
깊이 영상(61) 및 텍스처 영상(62)은 깊이 및 텍스처 카메라(20)별로 각각 생성된다. 따라서 깊이 및 텍스처 카메라(20)가 N대로 구성되면, 깊이 영상(61) 및 텍스처 영상(62)도 각 카메라에 해당하는 N개가 획득된다.
또한, 어느 한 시점에서의 다수의 깊이 및 텍스처 영상은 모두 동기화되어 처리된다. 즉, 시간 t에서, N개의 카메라(20)들은 동시에 대상 객체(10)를 촬영하고, 이때 촬영된 영상의 프레임들은 각 카메라에 대응되는 N개의 영상 프레임이 획득된다. N개의 영상 프레임은 모두 동일한 시간 t에 촬영된 영상 또는 프레임이다. 또한, N개의 영상 프레임은 서로 다른 시점의 영상 프레임이다.
또한, N개의 영상(또는 프레임)은 각각 한 쌍의 영상, 즉, 깊이 영상(또는 깊이 프레임)과 텍스처 영상으로 구성된다. 이들 한쌍의 프레임(즉, 깊이 프레임과 텍스처 프레임)은 동일한 시점을 가진다. 따라서 시점 t에서 N개의 깊이 프레임과, N개의 텍스처 영상이 획득되고, 서로 한 쌍인 깊이 프레임과 텍스처 프레임은 동일한 시점을 갖는다.
한편, 깊이 영상(61) 및 텍스처 영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다. 이하에서 특별한 구별의 필요성이 없는 한, 영상과 프레임의 용어를 혼용한다.
다음으로, 뼈대 정보 처리 시스템(40)은 컴퓨터 단말(30) 상의 프로그램 시스템으로서, 깊이 영상(61) 및 텍스처 영상(62)을 입력받아 해당 대상 객체(10)의 영상을 처리하여 뼈대 정보를 추출한다.
즉, 본 발명에 따른 뼈대 정보 처리 방법은 컴퓨터 단말(30)에 설치되어 하나의 프로그램 시스템으로 동작될 수 있다. 다른 실시예로서, 본 발명에 따른 뼈대 정보 처리 방법 및 시스템은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이 영상 및 텍스처 영상으로부터 뼈대 정보 처리를 수행하는 것만을 전용으로 처리하는 전용 컴퓨터 단말로 개발될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다.
다음으로, 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법을 도 2를 참조하여 설명한다.
본 발명에 따른 뼈대 정보 처리 방법은 뼈대 정보 처리 시스템(40)에 의해 수행되는 방법이다.
도 2에서 보는 바와 같이, 먼저, 깊이 및 텍스처 카메라(20)에 대해 카메라 캘리브레이션(카메라 보정) 작업을 수행한다(S10).
앞서 도 1과 같이, 대상 객체(10)의 모든 면이 빠짐없이 촬영될 수 있도록, 대상 객체(10)의 주변에, 적어도 2대(또는 N대, N은 2이상의 자연수)의 깊이 및 텍스처 카메라(20)를 배치한다.
다수의 깊이 및 텍스처 카메라(20)들은 공간 상에서 자신들의 위치를 확인하고 보정하기 위해서, 3차원 보정판을 이용하여, 내부 및 외부 파라미터를 구한다. 각각의 카메라 별로 내부 및 외부 파라미터를 구하는 방법은 일반적인 영상 기하학에서 사용하는 이론을 이용할 수 있다.
다음으로, 서로 다른 시점의 다수의 깊이 및 텍스처 카메라(20)에 의해 촬영된 다시점의 깊이 및 텍스처 영상을 수신받는다(S20).
다수의(또는 다시점의) 깊이 및 텍스처 영상은 각 카메라(20)들에 의해 촬영된 연속된 프레임으로 수신된다. 즉, 시간 t, t+1, t+2, ... 등 연속된 시간의 프레임들로 수신된다. 시간 t에서의 N개의 프레임들은 서로 다른 시점의 프레임들이나, 모두 동기화되어 촬영된 이미지들이다. 또한, 각 시점의 프레임(또는 각 카메라의 프레임)은 깊이 프레임 및 텍스처 프레임의 한 쌍의 프레임으로 구성된다.
다음으로, 다시점 영상의 연속된 깊이 프레임에 대하여, 각 시점별 및 프레임별로 3차원 포인트 클라우드 데이터를 월드 좌표계로 변환하여 저장한다(S30).
즉, 동기화된 프레임별로 각 카메라로부터 촬영된 영상(또는 각 시점의 영상)을 포인트 클라우드로 변환하여 저장한다. 따라서 각 시점별 및 프레임별로 3차원 포인트 클라우드 정보를 저장한다.
이때, 각 시점별 및 프레임별의 포인트 클라우드의 3차원 좌표를 모두 공통인 월드 좌표계로 변환한다.
구체적으로, 각 시점별로 구해진 깊이 정보에 의한 포인트 클라우드 좌표들(카메라 좌표계 기준)에, 외부 파라미터로부터 구해진 카메라 위치 정보를 반영하여, 공간상의 특정한 위치(월드 좌표계 기준)를 기준으로 표현한 포인트 클라우드 좌표(월드 좌표계)를 구한다. 즉, 각 카메라들로부터 얻어진 3차원 포인트 클라우드 좌표(각 카메라 좌표계로 표현된 객체의 좌표)가 월드 좌표계로 변환된다.
각 시점의 카메라로부터 획득된 3차원 포인트 클라우드 좌표들에 적용하면, 각 카메라로부터(각 시점으로부터) 획득된 3차원 포인트 클라우드 좌표들이 공통된 월드좌표계로 표현될 수 있다.
다음으로, 각 시점의 3차원 포인트 클라우드 좌표들을 하나의 통합 월드좌표로 합하여 통합 포인트 클라우드를 생성한다(S40). 이 단계의 작업을 다시점 포인트 클라우드 통합(Multi-view Point Cloud Integration) 작업이라 부르기로 한다.
예를 들어, 제1 깊이 카메라의 제1 포인트 클라우드, 제2 깊이 카메라의 제2 포인트 클라우드, ..., 제k 깊이 카메라의 제k 포인트 클라우드가 있다고 가정한다. 제1,2, .., k 포인트 클라우드를 각각 모두 월드 좌표계로 변환하고, 변환된 제1,2,..., k 포인트 클라우드를 모두 하나의 월드 좌표로 합하여 1개의 통합 포인트 클라우드를 생성한다.
월드좌표계로 변환된 3차원 포인트 클라우드들을 모두 통합하면, 공간상에 특정한 위치(월드좌표계의 원점)을 기준으로 객체의 모든 면을 3차원 포인트 클라우드(이하 통합 포인트 클라우드)로 표현할 수 있다.
다음으로, 각 시점별 영상으로부터 해당 프레임의 각 시점별 뼈대 정보의 좌표 세트를 구한다(S50).
도 3에서 보는 바와 같이, 먼저, 각 시점의 텍스처 영상(또는 텍스처 프레임)에서 시점별 2차원의 뼈대 정보를 추출한다(S51).
바람직하게는, 각 시점의 텍스처 프레임에 대해 딥러닝 기술 등을 적용하여 뼈대 정보를 획득한다. 텍스처 영상에서 뼈대를 획득하는 기술은 통상의 기술을 사용한다[비특허문헌 3,4]. 즉, 2차원 영상에서 뼈대 정보를 추출하는 방법을 이용하여 해당 시점의 2차원 텍스처 영상(또는 텍스처 프레임)으로부터 뼈대 정보에 대한 2차원 좌표를 추출한다.
각각의 텍스처 프레임으로부터 뼈대 정보를 검출하므로, 텍스처 카메라의 대수(또는 시점의 개수)에 따라 뼈대 정보의 개수가 결정된다. 즉, N개의 카메라(N개의 시점)인 경우, N개의 시점별 뼈대 정보가 검출된다.
한편, 뼈대 정보는 조인트(joint, 관절 혹은 마디) 정보를 포함한다. 조인트 정보는 조인트(또는 관절)의 식별정보(이름 또는 아이디 등), 및 위치 등으로 구성된다. 또한, 도 4와 같이, 뼈대 정보의 조인트의 계층 구조는 사전에 설정되어 저장된다.
특히, 뼈대 정보는 조인트(관절)와, 조인트 간을 연결하는 뼈대로 구성된다.
다음으로, 동일 시점의 텍스처 영상과 포인트 클라우드 정보를 정합시켜, 시점별 2차원 뼈대 정보를 3차원 월드좌표계의 시점별 뼈대 정보로 변환한다(S52). 즉, 텍스처 영상으로부터 획득된 뼈대 정보는 3차원 포인트 클라우드 정보를 이용하여 월드좌표계로 변환하여 공간상에 위치시킨다.
특정 시점의 텍스처 영상은 해당 시점의 깊이 영상(또는 포인트 클라우드)과 서로 대응된다. 그리고 앞서 포인트 클라우드 정보를 월드좌표계로 변환된다. 따라서 "텍스처 영상 -> 포인트 클라우드(깊이 영상) -> 월드좌표계의 포인트 클라우드"의 대응 관계(정합 관계)가 형성된다. 따라서 텍스처 영상 내의 2차원 뼈대 정보는 상기와 같은 정합 관계(텍스처 영상과 포인트 클라우드 정보의 정합 관계)를 이용하면, 월드좌표계로 변환시킬 수 있다. 즉, 2차원 뼈대 정보를 월드좌표계의 공간 상에 위치시킬 수 있다.
다음으로, 월드좌표계의 시점별 뼈대 정보의 조인트에 대한 유효성을 검증한다(S53).
이상적일 경우에 각 카메라로부터 추출된 뼈대 정보(또는 각 시점의 뼈대 정보)는 공간상에 매우 극소의 오차만을 가지면서 위치해야 한다. 하지만 다양한 원인에 의해서 다시점의 뼈대 정보는 공간상의 유사 위치에 존재하지 않는다. 이러한 오차는 외부 파라마터 연산의 원천적인 한계성(외부 파라미터를 연산하는 이론은 핀홀 카메라 모델에 기반하지만 실제로 카메라는 이상적인 핀홀 카메라 모델이 아님)이나 뼈대 정보 추출 알고리즘의 한계성 등에 의해 발생된다.
구체적으로, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트(joint, 관절 혹은 마디)가 유효 공간(신체의 관절 위치의 3차원 포인트 클라우드 좌표 내부)내에 존재하는지 검사한다.
도 5는 포인트 클라우드에서 관절 유효 영역을 설정하는 것을 예시하고 있다.
각 시점의 텍스처 영상에서 추출한 뼈대 정보의 조인트(관절) 영역(2차원 조인트 영역)을 통합 포인트 클라우드(3차원 포인트 클라우드)에 투영하면, 통합 포인트 클라우드에 투영되는 내부 영역을 관절 유효 영역으로 설정한다. 이때, 바람직하게는, 월드좌표계에서의 해당 텍스처 영상의 시점 방향으로 2차원 포인트 영역을 통합 포인트 클라우드로 투영한다.
바람직하게는, 적어도 2개 시점의 텍스처 영상에 동일한 조인트가 존재하면, 해당 모든 시점의 투영되는 내부 영역 중에서 모두 겹치는 영역을 관절 유효 영역으로 설정한다.
다음으로, 시점별 뼈대 정보의 조인트가 유효하지 않으면, 해당 시점별 뼈대 정보에서 제외시킨다(S54). 또한, 뼈대 정보의 조인트(또는 관절)의 계층 구조에 따라, 제외되는 조인트의 하위 조인트가 존재할 경우에 하위 조인트들도 뼈대 정보의 결합에서 제외한다.
이때, 조인트를 제외하면 조인트에 연결되는 뼈대도 제외된다.
다음으로, 최종 시점별 뼈대 정보에 대한 3차원 포인트 클라우드(월드좌표계)에서의 좌표 세트를 구한다(S55). 즉, 유효성이 통과된 조인트들을 포함하는 뼈대 정보의 3차원 좌표들이 좌표 세트로 구성된다.
다음으로, 각 시점별 뼈대 정보의 3차원 좌표(또는 월드좌표계에서의 좌표)를 평균하여, 해당 프레임의 뼈대 정보의 좌표를 산출한다(S60).
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 대상 객체 20 : 깊이 및 텍스처 카메라
21 : 깊이 카메라 22 : 텍스처 카메라
30 : 컴퓨터 단말 40 : 뼈대 정보 처리 시스템
61 : 깊이 영상 62 : 텍스처 영상

Claims (10)

  1. 다시점 깊이 및 텍스처 카메라에 의해 촬영된 다시점 깊이 및 텍스처 영상에서 뼈대 정보를 추출하는 뼈대 정보 처리 장치에 의해 수행되는, 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법에 있어서,
    (b) 일련의 연속된 다시점의 깊이 및 텍스처 프레임을 수신하는 단계;
    (c) 각 시점의 깊이 프레임의 포인트 클라우드를 월드좌표계로 변환하는 단계;
    (d) 각 시점의 포인트 클라우드를 하나의 통합 포인트 클라우드로 통합하는 단계;
    (e) 각 시점별 뼈대정보의 좌표 세트를 추출하는 단계; 및,
    (f) 각 시점별 뼈대 정보의 좌표를 평균하여 해당 프레임의 뼈대 정보의 좌표를 구하는 단계를 포함하고,
    상기 (e)단계에서, 각 시점의 텍스처 프레임에서 2차원 뼈대 정보를 추출하고, 동일 시점의 포인트 클라우드 정보에 정합시켜 상기 2차원 뼈대 정보를 월드좌표계 공간 상의 뼈대 정보로 변환하고, 월드좌표계 상의 뼈대 정보의 조인트에 대한 유효성을 검증하고, 유효성이 통과된 조인트들만 포함하는 뼈대 정보의 좌표들을 평균하여 최종 뼈대 정보의 좌표 세트로 구성하는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법.
  2. 제1항에 있어서,
    상기 방법은, (a) 카메라에 캘리브레이션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법.
  3. 제2항에 있어서,
    상기 (c)단계에서, 각 시점별로 구해진 깊이 정보에 의한 포인트 클라우드 좌표들에, 외부 파라미터로부터 구해진 카메라 위치 정보를 반영하여, 각 시점에 공통인 공간상의 특정한 위치를 기준으로 표현한 포인트 클라우드 좌표를 월드 좌표계의 좌표로 구하는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 (e)단계에서, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트가 조인트 위치의 3차원 포인트 클라우드 좌표 내부의 유효 공간 내에 존재하는지 여부에 의해 유효성을 검증하는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법.
  6. 제1항에 있어서,
    상기 (e)단계에서, 뼈대 정보의 조인트가 유효하지 않으면, 해당 조인트 및, 뼈대 정보의 조인트의 계층 구조에 따라 해당 조인트의 하위 조인트도 제외시키는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법.
  7. 제1항 내지 제3항, 제5항 내지 제6항 중 어느 한 항의 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  8. 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템에 있어서,
    대상 객체의 주변에 각기 다른 시점에서 촬영하도록 설치되는 다수의 깊이 및 텍스처 카메라; 및,
    일련의 연속된 다시점의 깊이 및 텍스처 프레임을 수신하고, 각 시점의 깊이 프레임의 포인트 클라우드를 월드좌표계로 변환하고, 각 시점의 포인트 클라우드를 하나의 통합 포인트 클라우드로 통합하고, 각 시점별 뼈대정보의 좌표 세트를 추출하고, 각 시점별 뼈대 정보의 좌표를 평균하여 해당 프레임의 뼈대 정보의 좌표를 구하는 뼈대 정보 처리 장치를 포함하고,
    상기 뼈대 정보 처리 장치는, 각 시점의 텍스처 프레임에서 2차원 뼈대 정보를 추출하고, 동일 시점의 포인트 클라우드 정보에 정합시켜 상기 2차원 뼈대 정보를 월드좌표계 공간 상의 뼈대 정보로 변환하고, 월드좌표계 상의 뼈대 정보의 조인트에 대한 유효성을 검증하고, 유효성이 통과된 조인트들만 포함하는 뼈대 정보의 좌표들을 평균하여 최종 뼈대 정보의 좌표 세트로 구성하는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템.
  9. 삭제
  10. 제8항에 있어서,
    상기 뼈대 정보 처리 장치는, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트가 조인트 위치의 3차원 포인트 클라우드 좌표 내부의 유효 공간 내에 존재하는지 여부에 의해 유효성을 검증하는 것을 특징으로 하는 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템.
KR1020190024919A 2019-03-04 2019-03-04 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 KR102152436B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190024919A KR102152436B1 (ko) 2019-03-04 2019-03-04 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190024919A KR102152436B1 (ko) 2019-03-04 2019-03-04 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102152436B1 true KR102152436B1 (ko) 2020-09-04

Family

ID=72470813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190024919A KR102152436B1 (ko) 2019-03-04 2019-03-04 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102152436B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598689A (zh) * 2020-12-29 2021-04-02 凌云光技术股份有限公司 一种纹理背景下弱线的提取方法
CN112884822A (zh) * 2021-02-09 2021-06-01 北京工业大学 一种基于RepNet模型的人体多视角图像序列的骨架提取方法
CN113269673A (zh) * 2021-04-26 2021-08-17 西安交通大学 一种基于标准球架的三维点云拼接方法
KR20220082594A (ko) * 2020-12-10 2022-06-17 광운대학교 산학협력단 3차원 정보를 이용한 고정밀 스켈레톤 추출 방법
KR20220085678A (ko) * 2020-12-15 2022-06-22 광운대학교 산학협력단 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
KR20220088216A (ko) 2020-12-18 2022-06-27 중앙대학교 산학협력단 와서스테인 분포를 이용하는 고해상도 3d 포인트 클라우드를 생성을 위한 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130088507A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 인체의 관절구조를 추정하기 위한 장치 및 방법
JP2015028702A (ja) * 2013-07-30 2015-02-12 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130088507A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 인체의 관절구조를 추정하기 위한 장치 및 방법
JP2015028702A (ja) * 2013-07-30 2015-02-12 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Caroline Chan, et al, "Everybody Dance Now", arXiv:1808.07371, Vol. 1, No. 1, August 2018.
Xu, Weipeng, et al. "Mo2cap2: real-time mobile 3d motion capture with a cap-mounted fisheye camera." arXiv preprint arXiv:1803.05959 (2018).
Zhe Cao, et al, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1611.08050v2 [cs.CV], 14 Apr 2017.
Zuffi, Silvia, et al. "3D menagerie: Modeling the 3D shape and pose of animals." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220082594A (ko) * 2020-12-10 2022-06-17 광운대학교 산학협력단 3차원 정보를 이용한 고정밀 스켈레톤 추출 방법
KR102534748B1 (ko) 2020-12-10 2023-05-22 광운대학교 산학협력단 3차원 정보를 이용한 고정밀 스켈레톤 추출 방법
KR20220085678A (ko) * 2020-12-15 2022-06-22 광운대학교 산학협력단 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
KR102416523B1 (ko) 2020-12-15 2022-07-05 광운대학교 산학협력단 다시점 카메라로부터 획득된 조인트 기반의 캘리브레이션을 이용한 3차원 스켈레톤 생성 방법
KR20220088216A (ko) 2020-12-18 2022-06-27 중앙대학교 산학협력단 와서스테인 분포를 이용하는 고해상도 3d 포인트 클라우드를 생성을 위한 장치 및 방법
KR102456682B1 (ko) 2020-12-18 2022-10-19 중앙대학교 산학협력단 와서스테인 분포를 이용하는 고해상도 3d 포인트 클라우드를 생성을 위한 장치 및 방법
CN112598689A (zh) * 2020-12-29 2021-04-02 凌云光技术股份有限公司 一种纹理背景下弱线的提取方法
CN112598689B (zh) * 2020-12-29 2024-05-17 凌云光技术股份有限公司 一种纹理背景下弱线的提取方法
CN112884822A (zh) * 2021-02-09 2021-06-01 北京工业大学 一种基于RepNet模型的人体多视角图像序列的骨架提取方法
CN112884822B (zh) * 2021-02-09 2024-03-15 北京工业大学 一种基于RepNet模型的人体多视角图像序列的骨架提取方法
CN113269673A (zh) * 2021-04-26 2021-08-17 西安交通大学 一种基于标准球架的三维点云拼接方法

Similar Documents

Publication Publication Date Title
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
Alexiadis et al. An integrated platform for live 3D human reconstruction and motion capturing
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
WO2019219012A1 (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
Kolb et al. ToF-sensors: New dimensions for realism and interactivity
US20120162372A1 (en) Apparatus and method for converging reality and virtuality in a mobile environment
CN104715479A (zh) 基于增强虚拟的场景复现检测方法
JP5068732B2 (ja) ３次元形状生成装置
JP2013120556A (ja) 被写体姿勢推定装置および映像描画装置
JP4965967B2 (ja) 映像表示システムの調整システム
KR20200000106A (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
US20100158482A1 (en) Method for processing a video data set
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
Placitelli et al. Low-cost augmented reality systems via 3D point cloud sensors
Afzal et al. Rgb-d multi-view system calibration for full 3d scene reconstruction
KR101579491B1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
Yamaguchi et al. Superimposing thermal-infrared data on 3D structure reconstructed by RGB visual odometry
JP4354708B2 (ja) 多視点カメラシステム
KR20120071281A (ko) 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법
Jaiswal et al. 3D object modeling with a Kinect camera
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
KR102196025B1 (ko) 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법
CN110148206B (zh) 多空间的融合方法
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant