KR102671280B1 - 3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법 - Google Patents

3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법 Download PDF

Info

Publication number
KR102671280B1
KR102671280B1 KR1020230133933A KR20230133933A KR102671280B1 KR 102671280 B1 KR102671280 B1 KR 102671280B1 KR 1020230133933 A KR1020230133933 A KR 1020230133933A KR 20230133933 A KR20230133933 A KR 20230133933A KR 102671280 B1 KR102671280 B1 KR 102671280B1
Authority
KR
South Korea
Prior art keywords
original
ratio
volume object
height
lower body
Prior art date
Application number
KR1020230133933A
Other languages
English (en)
Inventor
민병왕
박승규
Original Assignee
엠앤앤에이치 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠앤앤에이치 주식회사 filed Critical 엠앤앤에이치 주식회사
Priority to KR1020230133933A priority Critical patent/KR102671280B1/ko
Application granted granted Critical
Publication of KR102671280B1 publication Critical patent/KR102671280B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치 및 그의 방법에 관한 것으로, 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성하는 합성부와, 다수의 프레임들마다 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출하는 2D 정지영상 추출부와, 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점을 추정하는 신체 추정부와, 신체의 상체 조정 비율과 하체 조정 비율, 추정된 각 관절의 좌표 및 신체 기준점을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 조정하기 위한 수식을 생성하는 수식 생성부와, 생성된 수식을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성하는 3D 체적 객체 조정부를 포함한다.

Description

3D 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법{Apparatus and method for automatically correcting body proportions of multi frame avatar object in 3D volumetric video}
본 발명은 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치 및 그의 방법에 관한 것으로서, 보다 상세하게는, 3D 체적 객체의 상체 비율 또는 하체 비율에 따라 키 높이를 자동으로 조정할 수 있는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치 및 그의 방법에 관한 것이다.
영화 제작에 사용되는 3D 애니메이션 또는 3D 동영상을 제작하는 방법으로 볼류메트릭 캡쳐를 이용하는 방법이 있다.
도 1은 볼류메트릭 동영상 구현 방법을 설명하기 위한 예시도이다.
볼류메트릭 캡쳐를 이용한 3D 객체 동영상 제작 방법은, 다시점 카메라 또는 깊이 카메라를 이용하여 실제 인물을 2D 영화 촬영 방법과 같이 기준 프레임 레이트 (frame rate, 단위는 fps)의 시간에 맞추어 3D 인물 객체로 생성한다.
도 1을 참조하면, 볼류메트릭 캡쳐를 이용한 동영상 재생 방법은 프레임 생성 시간에 맞추어 준비된 각각 다른 3D 객체를 생성하여 동영상을 제작하는 것이다. 볼류메트릭 동영상의 경우, 예를 들어 60초 분량의 30fps 3D 동영상을 만들기 위해서는 3600개의 3D 객체가 필요하다. 따라서, 기존의 방식을 이용하여 3D 객체(예를 들어, 다리 길이)를 수정할 경우, 3600개의 3D 객체 모두를 각각 개별적으로 수정하여야 한다.
특히, 6축자유도(6DoF)의 실감 미디어 재생 환경에서 재생하기 위한 실사 인물을 촬영한 3D 체적 객체의 신체 비율을 단순 비율로 수정할 경우, 키가 커지긴 했지만, 키 방향의 신체 비율이 같게 된다. 따라서, 기존 방식으로 볼류메트릭 동영상에서 상체 비율은 원본과 동일하게 유지하고, 하체 비율을 늘려야 하는 경우, 각 프레임마다 새로 생성되는 인물의 크기를 수동으로 변경하여야 한다.
국내 공개특허 10-2022-0032948
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 3D 동영상을 이루는 다수의 프레임들의 3D 객체 신체 비율을 각 프레임마다 자동으로 변경 및 보정할 수 있는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치 및 그의 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치는, 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성하는 합성부; 상기 다수의 프레임들마다 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출하는 2D 정지영상 추출부; 상기 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점을 추정하는 신체 추정부; 신체의 상체 조정 비율과 하체 조정 비율, 상기 추정된 각 관절의 좌표 및 신체 기준점을 이용하여 상기 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 조정하기 위한 수식을 생성하는 수식 생성부; 상기 생성된 수식을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성하는 3D 체적 객체 조정부;를 포함할 수 있다.
상기 2D 정지영상 추출부는, 렌더링 카메라로 상기 원본 3D 체적 객체를 소정 각도로 회전하면서 촬영하여 상기 다시점 2D 렌더링 정지영상들을 추출할 수 있다.
상기 신체 추정부는, 상기 추출된 다시점 2D 렌더링 정지영상들을 신체 자세 추정을 위한 딥러닝 모델에 입력하여 신체의 각 관절 좌표를 추정하는 관절 좌표 추정부; 상기 다시점 2D 렌더링 정지영상들 중 상기 신체 기준점 추정에 사용할 적어도 하나의 2D 렌더링 정지영상을 선택하는 2D 정지영상 선택부; 상기 선택되는 적어도 하나의 2D 렌더링 정지영상을 분석하여 상기 원본 3D 체적 객체의 최종 관절 좌표를 결정하는 관절 좌표 결정부; 및 상기 원본 3D 체적 객체의 최종 관절 좌표 중 좌측 히프와 우측 히프의 높이의 평균을 상기 신체 기준점으로서 산출하는 신체 기준점 산출부;를 포함할 수 있다.
상기 2D 정지영상 선택부는, 하나의 2D 렌더링 정지영상을 선택하는 경우, 상기 관절 좌표 추정부에서 추정된 각 좌표로부터 양 어깨 간격이 가장 긴 2D 렌더링 정지영상을 정면 영상으로 하나 선택하고, 다수의 2D 렌더링 정지영상을 선택하는 경우, 상기 정면 영상과, 상기 정면 영상을 기준으로 양측에 위치하는 N개의 측면 영상들을 상기 다수의 2D 렌더링 정지영상들로서 선택할 수 있다.
상기 수식 생성부는, 상기 신체의 상체 조정 비율과 하체 조정 비율 중 적어도 하나에 따라 조정되어 생성되는 변형 3D 체적 객체의 예상 키를 산출하는 예상 키 산출부; 및 상체 조정 비율과 하체 조정 비율 중 적어도 하나, 원본 3D 체적 객체의 키를 이용하여 상기 원본 3D 체적 객체를 이루는 버텍스의 높이 방향 좌표를 보정하기 위한 수식을 생성하는 버텍스 높이 보정부;를 포함할 수 있다.
상기 버텍스 높이 보정부는, 다음의 식을 이용하여 상기 수식을 생성한다.
여기서, Y는 원본 3D 체적 객체의 버텍스의 높이 방향 좌표, Ymid는 신체 기준점, Y'는 변형 3D 체적 객체의 버텍스의 높이 방향 좌표, Ytop은 원본 3D 체적 객체의 키, Ratiohead는 상체의 조정 비율, Ratioleg는 하체의 조정 비율, Fcurve1과 Fcurve2는 각각 상체와 하체의 세부 비율 보정을 위한 변형 곡선, CurveCoeff는 상기 변형 곡선의 형태를 결정하는 계수이다.
상기 신체의 상체와 하체 비율이, 상체는 원본으로 유지하고 하체는 확대하도록 설정된 경우, 하체를 이루는 무릎-허리 구간과 무릎-발목 구간의 확대 가중치는 상기 계수에 따라 조정된다.
상기 무릎-허리 구간과 무릎-발목 구간의 확대 가중치를 동일하게 하는 경우 상기 계수는 1로 설정되고, 상기 무릎-허리 구간의 확대 가중치를 무릎-발목 구간의 확대 가중치보다 크게 하는 경우, 상기 계수는 1보다 크게 설정되고, 상기 무릎-발목 구간의 확대 가중치를 무릎-허리 구간의 확대 가중치보다 크게 하는 경우, 상기 계수는 1보다 작게 설정된다.
한편, 본 발명의 다른 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법은, (A) 전자장치가, 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성하는 단계; (B) 상기 전자장치가, 상기 다수의 프레임들마다 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출하는 단계; (C) 상기 전자장치가, 상기 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점을 추정하는 단계; (D) 상기 전자장치가, 신체의 상체 조정 비율과 하체 조정 비율, 상기 추정된 각 관절의 좌표 및 신체 기준점을 이용하여 상기 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 조정하기 위한 수식을 생성하는 단계; (E) 상기 전자장치가, 상기 생성된 수식을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성하는 단계;를 포함한다.
상기 (B) 단계는, 렌더링 카메라로 상기 원본 3D 체적 객체를 소정 각도로 회전하면서 촬영하여 상기 다시점 2D 렌더링 정지영상들을 추출한다.
상기 (C) 단계는, (C1) 상기 추출된 다시점 2D 렌더링 정지영상들을 신체 자세 추정을 위한 딥러닝 모델에 입력하여 신체의 각 관절 좌표를 추정하는 단계; (C2) 상기 다시점 2D 렌더링 정지영상들 중 상기 신체 기준점 추정에 사용할 적어도 하나의 2D 렌더링 정지영상을 선택하는 단계; (C3) 상기 선택되는 적어도 하나의 2D 렌더링 정지영상을 분석하여 상기 원본 3D 체적 객체의 최종 관절 좌표를 결정하는 단계; 및 (C4) 상기 원본 3D 체적 객체의 최종 관절 좌표 중 좌측 히프와 우측 히프의 높이의 평균을 상기 신체 기준점으로서 산출하는 단계;를 포함한다.
상기 (C2) 단계는, 하나의 2D 렌더링 정지영상을 선택하는 경우, 상기 (C1) 단계에서 추정된 각 좌표로부터 양 어깨 간격이 가장 긴 2D 렌더링 정지영상을 정면 영상으로 하나 선택하고, 다수의 2D 렌더링 정지영상을 선택하는 경우, 상기 정면 영상과, 상기 정면 영상을 기준으로 양측에 위치하는 N개의 측면 영상들을 상기 다수의 2D 렌더링 정지영상들로서 선택한다.
상기 (D) 단계는, (D1) 상기 신체의 상체 조정 비율과 하체 조정 비율 중 적어도 하나에 따라 조정되어 생성되는 변형 3D 체적 객체의 예상 키를 산출하는 단계; 및 (D2) 상체 조정 비율과 하체 조정 비율 중 적어도 하나, 원본 3D 체적 객체의 키를 이용하여 상기 원본 3D 체적 객체를 이루는 버텍스의 높이 방향 좌표를 보정하기 위한 수식을 생성하는 단계;를 포함한다.
상기 (D2) 단계는, 다음의 식을 이용하여 상기 수식을 생성한다.
본 발명에 따르면, 볼류메트릭 동영상 3D 체적 객체는 매시간, 프레임 간 독립적으로 생성되어 만들어지고, 3D 애니메이션에서 사용하는 뼈대가 없다는 이유로 체형 보정이 어렵다는 기존 문제를 해결하고, 자동으로 프레임마다 실사 인물의 3D 체적 객체의 비율을 자동으로 조정하는 것이 가능하다.
또한, 본 발명에 따르면, 원본 3D 체적 객체의 2D 렌더링 결과물을 딥러닝을 통해 자세 및 신체 부위를 분석하여 상체와 하체를 분리한 후 신체 비율을 각각 보정할 수 있다.
또한, 본 발명에 따르면, 딥러닝을 통해 자세 및 신체 부위를 분석하기 위하여 정면영상과 정면영상의 좌우측에 위치하는 다수의 2D 렌더링 이미지를 보간하여 관절 좌표를 추출함으로써 보다 정확한 관절 좌표를 추정하고, 신체 비율에 따른 키를 보다 정확히 조정할 수 있다.
또한, 본 발명에 따르면, 신체의 상체와 하체 보정 비율을 다르게 설정할 수 있으며, 또한, 상체에서도 가슴과 머리 부분의 보정 비율, 하체에서도 바닥과 허리 부분의 보정 비율을 보정 곡선을 이용하여 개별적으로 설정함으로써 사용자가 원하는 다양한 비율로 3D 체적 객체를 보정할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 볼류메트릭 동영상 구현 방법을 설명하기 위한 예시도,
도 2는 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치(100)를 도시한 블록도,
도 3은 일반적으로 3D 체적 객체의 형상을 구성하는 요소를 보여주는 도면,
도 4는 원본 3D 체적 객체와, 원본의 신체 비율을 조정한 결과를 보여주는 예시도,
도 5는 도 2에 도시된 프로세서(160)를 자세히 도시한 블록도,
도 6은 3D 체적 객체를 포함하는 프레임으로부터 추출되는 2D 렌더링 정지영상의 예시도,
도 7은 다수의 2D 렌더링 정지영상들 중 정면 영상과 측면 영상의 예시도,
도 8은 딥러닝 모델을 이용한 신체 자세 추정 결과를 보여주는 예시도,
도 9는 원본 3D 체적 객체의 상체와 하체 부위별 비율 변경을 설명하기 위한 예시도,
도 10은 하체 보정을 설명하기 위한 예시도,
도 11은 CurveCoeff를 설명하기 위한 그래프,
도 12는 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법을 개략적으로 도시한 흐름도,
도 13은 S1220단계를 자세히 도시한 흐름도,
도 14는 S1230단계를 자세히 도시한 흐름도,
도 15는 S1240단계를 자세히 도시한 흐름도, 그리고,
도 16은 원본 3D 체적 객체와 변형 3D 체적 객체를 비교한 도면이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다.
또한, 제1구성요소가 제2구성요소 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1구성요소는 제2구성요소가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2구성요소와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.
어떤 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 구성요소가 구현됨에 있어서 특별한 언급이 없다면, 그 구성요소는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에서 '부', '모듈', '서버', '시스템', '플랫폼', '장치' 또는 '단말' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 상기 용어들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 2는 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치(100)를 도시한 블록도이다.
도 2에 도시된 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치(100)는 n개의 다시점 카메라들(미도시)이 다양한 각도에서 동시에 피사체를 촬영한 다시점 영상들을 분석하여 3D 객체를 매 시간(또는 매 프레임)에 맞춰 재생함으로써 실사 인물의 볼류메트릭 3D 객체 동영상을 제작할 수 있다.
도 3은 일반적으로 3D 체적 객체의 형상을 구성하는 요소를 보여주는 도면이다.
도 3을 참조하면, 일반적으로 3D 동영상 객체의 형상은 버텍스(vertex, 꼭지점)들의 좌표와, 버텍스를 연결하여 생성되는 선(edge)과, 선들을 연결하여 생성되는 면(face)들의 연결을 표현하는 구조로 3D 체적 객체를 표현한다. 버텍스의 좌표를 이동시키면 면의 형태는 자동적으로 수정되며 3D 체적 객체의 형상도 바뀌게 된다.
도 4는 원본 3D 체적 객체와, 원본의 신체 비율을 조정한 결과를 보여주는 예시도이다.
도 4를 참조하면, 6축자유도(6DoF)의 실감 미디어 재생 환경에서 재생하기 위한 실사 인물을 촬영한 원본 3D 체적 객체의 상체와 하체 비율을 단순 비율로 수정할 경우, 도 4의 2에 도시된 것처럼 키가 커지긴 했지만, 키 방향의 상체와 하체 신체 비율이 같게 된다. 본 발명의 실시 예에서는 볼류메트릭 동영상에서 도 4의 3에 도시된 것처럼 상체는 원본대로 유지하고 하체 비율을 늘려야 하는 경우, 각 프레임마다 새로 생성되는 인물의 하체 길이를 자동적으로 변경할 수 있다.
즉, 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치(100)는 볼류메트릭 동영상 방식으로 제작된 실사 인물의 3D 체적 객체의 상체와 하체 비율을 서로 다르게 자동으로 변경할 수 있다.
이를 위하여, 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치(100)는 도 2에 도시된 것처럼, 통신 인터페이스부(110), 사용자 인터페이스부(120), 저장부(130), 이미지 처리부(140), 메모리(150) 및 프로세서(160)를 포함할 수 있다.
통신 인터페이스부(110)는 n개의 다시점 카메라들(미도시)과 유무선 통신가능하도록 연결되어 n개의 다시점 카메라들(미도시)이 촬영한 동영상을 수신할 수 있다.
사용자 인터페이스부(120)는 사용자와 신체 비율 자동 보정 장치(100) 간의 명령이나 정보 전달을 위한 인터페이싱 경로를 제공한다. 사용자 인터페이스부(120)는 마우스, 키보드, 모니터 등의 장치를 포함한다.
저장부(130)는 n개의 다시점 카메라들(미도시)이 동시에 촬영한 n개의 동영상과, 프로세서(160)에서 위치와 방향이 보정된 프레임들을 저장할 수 있다.
이미지 처리부(140)는 저장부(130)에 저장된 n개의 동영상을 처리하여 동일한 시점에 촬영된 n개의 정지영상을 획득한 후 프로세서(160)로 전달할 수 있다.
메모리(150)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(150)에는 예를 들어, 신체 비율 자동 보정 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(110~150)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
메모리(150)에 저장되는 프로그램은 피사체의 위치와 방향이 조정된 3D 동영상에 포함된 3D 체적 객체의 신체 비율, 특히, 상체 또는 하체의 높이 비율을 선택적으로 조정하는 신체 비율 조정 프로그램을 포함할 수 있다.
프로세서(160)는 메모리(150)에 저장된 하나 이상의 프로그램을 실행하여 신체 비율 자동 보정 장치(100)의 전반적인 동작을 제어한다.
프로세서(160)는 신체 비율 조정 프로그램을 실행하여 3D 체적 객체의 각 프레임마다 신체의 상체 비율 또는 하체 비율을 자동으로 조정할 수 있다.
도 5는 도 2에 도시된 프로세서(160)를 자세히 도시한 블록도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 프로세서(160)는 합성부(151), 2D 정지영상 추출부(153), 신체 추정부(155), 수식 생성부(157) 및 3D 체적 객체 조정부(159)를 포함할 수 있다.
합성부(151)는 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성할 수 있다. 합성부(151)는 1개 이상의 3D 객체를 포함하는 프레임을 시간 순서에 따라 순차적으로 생성하고, 각 프레임마다 영상 특징점을 추출하여 3D 객체를 재건한다. 합성부(151)는 재건된 3D 객체의 3D 포인트 클라우드를 추출하고, 3D 메쉬를 생성하고, 3D 텍스처를 생성한 후, 모든 프레임들의 3D 텍스처를 합성하여 볼류메트릭 3D 체적 객체를 포함하는 3D 객체 동영상을 준비할 수 있다.
2D 정지영상 추출부(153)는 3D 동영상을 이루는 매 시간(프레임)에서의 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출할 수 있다. 2D 정지영상 추출부(153)는 렌더링 카메라(미도시)로 원본 3D 체적 객체를 소정 각도로 회전하면서 촬영하여 매 프레임에서 다시점 2D 렌더링 정지영상들을 추출할 수 있다.
도 6은 3D 체적 객체를 포함하는 프레임으로부터 추출되는 2D 렌더링 정지영상의 예시도이다.
도 6을 참조하면, 3D 체적 객체를 2D 렌더링 이미지로 생성할 때, 인물의 정면 방향으로 렌더링용 카메라를 위치시킨 후 렌더링한 결과물이 필요하다. 일 예로, 인물을 64 방향으로 촬영하기 위하여, 3D 체적 객체를 회전 중심축으로 이동시킨 후, 렌더링용 카메라의 위치를 조정 및 세팅한다. 360°/64인 5.625°씩 렌더링용 카메라를 세로축 기준으로 회전시켜 64장의 2D 렌더링 정지영상을 도 6과 같이 추출할 수 있다. 다수의 2D 렌더링 정지영상은 최소 1개 이상의 정면 영상을 포함할 수 있다. 정면 영상은 다수의 2D 렌더링 정지영상들 중 양 어깨의 거리가 가장 길면서 양 어깨 간의 거리 차이가 최소인 2D 렌더링 정지영상일 수 있다.
도 7은 다수의 2D 렌더링 정지영상들 중 정면 영상과 측면 영상의 예시도이다.
도 7을 참조하면, 도 6에 도시된 64장의 2D 렌더링 정지영상 들 중 하나의 정면 영상과 3D 체적 객체(인물)의 측면을 렌더링한 측면 영상이 추출될 수 있다.
다시 도 5를 참조하면, 신체 추정부(155)는 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점(Ymid)을 추정할 수 있다. 신체 기준점(Ymid)은 신체의 상체와 하체를 구분하는 점으로서 신체 기준점(Ymid) 아래는 하체 높이가 되고, 위는 상체 높이가 된다.
이를 위하여, 신체 추정부(155)는 관절 좌표 추정부(155a), 2D 정지영상 선택부(155b), 관절 좌표 결정부(155c) 및 신체 기준점 산출부(155d)를 포함할 수 있다.
관절 좌표 추정부(155a)는 2D 정지영상 추출부(153)에서 추출된 다수의 다시점 2D 렌더링 정지영상들을 신체 자세 추정을 위한 딥러닝 모델에 입력하여 각 2D 렌더링 정지영상 별로 신체의 각 관절과 각 관절의 좌표를 자동으로 추정할 수 있다.
신체 자세 추정을 위한 딥러닝 모델은 예를 들어, 구글사에서 제공하는 텐서플로우(Tensorflow) 기반의 딥러닝 알고리즘일 수 있으며, 이에 한정되지 않는다.
도 8은 딥러닝 모델을 이용한 신체 자세 추정 결과를 보여주는 예시도로서, 신체의 관절을 추정함으로써 자세를 추정할 수 있다.
2D 정지영상 선택부(155b)는 관절 좌표가 추정된 다수의 다시점 2D 렌더링 정지영상들 중 신체 기준점 추정에 사용할 적어도 하나의 2D 렌더링 정지영상을 선택할 수 있다.
사용자가 사용자 인터페이스부(120)를 통해 하나의 2D 렌더링 정지영상을 선택하도록 설정한 경우, 2D 정지영상 선택부(155b)는 관절 좌표 추정부(155a)에서 추정된 관절 좌표로부터 양 어깨길이가 가장 길면서 양 어깨 길이의 차이가 가장 적은 2D 렌더링 정지영상을 정면 영상으로 선택할 수 있다.
또한, 2D 정지영상 선택부(155b)는, 다수의 2D 렌더링 정지영상을 선택하도록 설정된 경우, 상술한 방식으로 선택되는 정면 영상과, 정면 영상의 양측에 위치하는 N개의 측면 영상들을 다수의 2D 렌더링 정지영상들로서 선택할 수 있다. 예를 들어, 2D 정지영상 선택부(155b)는 정면 영상을 기준으로 좌우 각각 22.5도까지의 정지영상들, 즉, 좌측 영상 4개, 우측 영상 4개까지의 정지영상들을 더 선택할 수 있다.
관절 좌표 결정부(155c)는 2D 정지영상 선택부(155b)에서 선택되는 적어도 하나의 2D 렌더링 정지영상을 분석하여 원본 3D 체적 객체의 최종 관절 좌표를 결정할 수 있다.
관절 좌표 결정부(155c)는 2D 정지영상 선택부(155b)에서 하나의 정면 영상만 선택된 경우, 정면 영상의 각 관절 좌표를 원본 3D 체적 객체의 최종 관절 좌표로 결정할 수 있다.
또한, 관절 좌표 결정부(155c)는 2D 정지영상 선택부(155b)에서 다수의(예를 들어, 9개) 2D 렌더링 정지영상들이 선택된 경우, 다수의 2D 렌더링 정지영상들의 관절 좌표를 회전 및 보간하여 안정적인 최종 관절 좌표로 결정할 수 있다.
신체 기준점 산출부(155d)는 원본 3D 체적 객체의 최종 관절 좌표 중 좌측 히프와 우측 히프의 높이의 평균을 신체 기준점으로서 산출할 수 있다. 신체 기준점 산출부(155d)는 [수학식 1]을 이용하여 신체 기준점을 산출할 수 있다.
[수학식 1]을 참조하면, 좌측 히프에 해당하는 관절 좌표(X_left, Y_left, Z_left) 와 우측 히프에 해당하는 관절 좌표(X_right, Y_right, Z_right) 중 높이에 해당하는 Y_left 와 Y_right 위치를 산술 평균하여 상반신과 하반신을 구분하는 높이, 즉, 신체 기준점(Yleg)을 산출한다. 이로써, 본 발명은 히프를 기준으로 신체를 상체와 하체로 나누고, 볼류메트릭 3D 체적 객체의 높이 방향(즉, 키)을 보정할 수 있다.
산출된 신체 기준점은 볼류메트릭 동영상과 같이 많은 양의 3D 객체에 대한 신체 비율 보정을 자동화하는데 사용될 수 있다.
도 9는 원본 3D 체적 객체의 상체와 하체 부위별 비율 변경을 설명하기 위한 예시도이다.
도 9를 참조하면, 예를 들어, 하체의 키만 늘리고 싶은 경우, 상체를 이루는 버텍스들(이하, '상체 버텍스들'이리 한다)은 높이 방향으로 이동시키고, 상체 버텍스들 간의 Y 방향 간격은 원본과 동일하게 유지하며, 하체를 이루는 버텍스들(이하, '하체 버텍스들'이라 한다)은 높이 방향으로 이동시키고, 하체 버텍스들 간의 Y 방향 간격은 확장하고자 하는 비율만큼 늘릴 수 있다. 이로써 상체의 크기는 유지되고 하체는 비율만큼 확장된 변형 3D 체적 객체를 획득할 수 있다.
다시 도 5를 참조하면, 수식 생성부(157)는 신체의 상체 조정 비율과 하체 조정 비율과, 추정된 각 관절의 좌표와, 신체 관절 추정을 통하여 자동으로 구한 신체 기준점을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 도 9에 도시된 것처럼 조정하기 위한 수식을 생성할 수 있다.
이를 위하여, 수식 생성부(157)는 예상 키 산출부(157a) 및 버텍스 높이 보정부(157b)를 포함할 수 있다.
예상 키 산출부(157a)는 사용자 인터페이스부(120)를 통해 사용자로부터 변경을 원하는 신체의 상체 조정 비율과 하체 조정 비율 중 적어도 하나가 입력되면, 입력되는 적어도 하나의 비율에 따라 조정되어 생성될 변형 3D 체적 객체의 예상 키를 산출할 수 있다. 상체 조정 비율은 상체의 높이를 확대 또는 감소시키기 위한 비율이고, 하체 조정 비율은 하체의 높이를 확대 또는 감소시키기 위한 비율이다.
예상 키 산출부(157a)는 [수학식 2]를 이용하여 변형 3D 체적 객체의 예상 키를 산출할 수 있다.
[수학식 2]에서, Y'top는 변형 3D 체적 객체의 예상 키, Ratiohead는 상체 조정 비율, Ratioleg는 하체 조정 비율, Ytop는 원본 3D 체적 객체의 키, Ymid는 신체 기준점의 높이, Ybot는 원본 3D 체적 객체의 바닥 높이이다.
[수학식 2]를 참조하면, 예상 키 산출부(157a)는 원본 3D 체적 객체의 키와 신체 기준점을 이용하여 상체 조정 비율 또는 하체 조정 비율에 따른 변형 3D 체적 객체의 예상 키를 산출할 수 있다.
버텍스 높이 보정부(157b)는 상체 조정 비율과 하체 조정 비율 중 적어도 하나, 원본 3D 체적 객체의 키, 원본 3D 체적 객체를 이루는 버텍스들의 높이 방향 좌표, 그리고, 상체 또는 하체의 세부 비율 보정을 위한 변형 곡선 중 적어도 하나를 이용하여, 원본 3D 체적 객체를 이루는 버텍스의 높이 방향 좌표를 보정하기 위한 수식을 [수학식 3] 및 [수학식 4]와 같이 생성할 수 있다.
[수학식 3]은 변형된(즉, 보정된) 상체 버텍스의 높이 방향 좌표를 구하는 경우의 식이고, [수학식 4]는 변형된(즉, 보정된) 하체 버텍스의 높이 방향 좌표를 구하는 식이다.
[수학식 3] 및 [수학식 4]에서 Y는 원본 3D 체적 객체의 버텍스의 높이 방향 좌표, Ymid는 신체 기준점, Y'는 변형 3D 체적 객체의 버텍스의 높이 방향 좌표, Ytop은 원본 3D 체적 객체의 키, Ratiohead는 상체 조정 비율, Ratioleg는 하체 조정 비율, Fcurve1과 Fcurve2는 각각 상체와 하체의 세부 비율 보정을 위한 변형 곡선이다.
Y'mid는 [수학식 5]에 의해 산출된다.
[수학식 5]에서 Y'mid는 변형 3D 체적 객체의 신체 기준점으로서 하체 조정 비율과 [수학식 1]에서 산출된 신체 기준점(Ymid)에 의해 결정된다.
[수학식 3] 및 [수학식 4]의 Fcurve1과 Fcurve2는 [수학식 6]에 의해 산출된다.
Fcurve1은 상체의 세부 비율 보정을 위한 변형 곡선이고, Fcurve2는 하체의 세부 비율 보정을 위한 변형 곡선이다. CurveCoeff1은 Fcurve1의 형태를 결정하는 계수이고, CurveCoeff2는 Fcurve2의 형태를 결정하는 계수로서, 사용자에 의해 설정될 수 있다. 즉, 변형 곡선(Fcurve1, Fcurve2)은 사용자에 의해 조정된다.
상체의 세부 비율은 예를 들어 복부부터 가슴 구간인 가슴 부분과 가슴부터 머리 구간인 머리 부분의 높이 비율이고, 하체의 세부 비율은 도 10에 도시된 하체의 바닥 부분과 허리 부분의 높이 비율일 수 있다. 도 10은 하체 보정을 설명하기 위한 예시도로서, 바닥 부분은 무릎부터 발목 구간이고, 허리 부분은 무릎부터 허리 구간이다.
도 11은 CurveCoeff를 설명하기 위한 그래프이다.
도 11을 참조하면, CurveCoeff 값()은 변형 곡선의 형태를 결정하는 값으로, 0 이상의 값을 가질 수 있다.
신체의 상체 조정 비율과 하체 조정 비율이, 상체는 원본으로 유지하고 하체는 확대 또는 축소하도록 설정된 경우, 하체를 이루는 무릎-허리 구간과 무릎-발목 구간의 확대 가중치는 계수에 따라 조정될 수 있다. 즉, 상체의 높이가 원본과 동일하도록 설정할 경우, 사용자는 Ratiohead는 1로 설정하고, Ratioleg를 1보다 크게 설정하고, CurveCoeff1은 1로 설정하여 가슴과 머리의 높이 비율(확대 가중치)이 동일하도록 조정하고, CurveCoeff2를 1보다 크거나 작게 조정하여 바닥과 허리의 높이 비율(확대 가중치)이 다르도록 조정할 수 있다.
도 10을 참조하여 설명하면, 도 10에 도시된 바닥 부분과 허리 부분을 동일한 비율로 확대하려는 경우, 즉 확대 가중치를 동일하게 하려는 경우, 사용자는 CurveCoeff2를 1로 설정할 수 있다. 또한, 발목(또는 바닥) 부분의 확대 가중치를 허리 부분보다 크게 하려면 CurveCoeff2를 1보다 작게 설정하고, 허리 부분의 확대 가중치를 발목 부분보다 크게 하려면 CurveCoeff2를 1보다 크게 설정할 수 있다. 이러한 방법으로 CurveCoeff1 또는 CurveCoeff2가 사용자에 의해 설정됨에 따라 버텍스의 Y축 방향의 위치를 수정하는 [수학식 3]과 [수학식 4]가 생성될 수 있다.
다시 도 5를 참조하면, 3D 체적 객체 조정부(159)는 수식 생성부(157)에서 생성된 수식을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성할 수 있다.
자세히 설명하면, 3D 체적 객체 조정부(159)는 [수학식 3]을 이용하여 상체 버텍스의 좌표 (X, Y, Z) 중 키 높이 방향인 Y 값을 수정하며, 이로써 원본 3D 체적 객체의 상체 높이가 자동으로 조정된다.
또한, 3D 체적 객체 조정부(159)는 [수학식 4]를 이용하여 하체 버텍스의 좌표 (X, Y, Z) 중 키 높이 방향인 Y 값을 수정하며, 이로써 원본 3D 체적 객체의 하체 높이가 상체가 동일한 비율 또는 다른 비율로 자동으로 조정된다.
도 12는 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법을 개략적으로 도시한 흐름도이다.
도 12에 도시된 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법을 수행하는 전자장치는 도 1 내지 도 11을 참조하여 설명한 신체 비율 자동 보정 장치(100)일 수 있다.
도 12를 참조하면, 전자장치는 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성할 수 있다(S1210).
전자장치는 S1210단계에서 생성된 3D 동영상의 다수의 프레임들마다 각 프레임에 포함된 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출할 수 있다(S1220).
도 13은 S1220단계를 자세히 도시한 흐름도이다.
도 13을 참조하면, 전자장치는 원본 3D 체적 객체를 회전 중심축으로 이동시킨 후(S1221), 렌더링용 카메라의 위치를 조정 및 세팅한다(S1223).
전자장치는 렌더링용 카메라를 세로축(Y축) 기준으로 360/M 각도로 회전시켜 하나의 원본 3D 체적 객체로부터 다수의 2D 렌더링 정지영상을 도 6과 같이 추출 및 저장할 수 있다(S1225, S1227). M은 추출하기 위한 2D 렌더링 정지영상의 개수일 수 있다.
다시 도 12를 참조하면, 전자장치는 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점(Ratioleg)를 [수학식 1]을 이용하여 추정할 수 있다(S1230).
도 14는 S1230단계를 자세히 도시한 흐름도이다.
도 14를 참조하면, 전자장치는 S1220단계에서 추출된 다수의 다시점 2D 렌더링 정지영상들을 신체 자세 추정을 위한 딥러닝 모델에 입력하여 신체의 포즈와 각 관절 좌표를 각 2D 렌더링 정지영상 별로 추정 및 저장할 수 있다(S1231, S1233).
전자장치는 다수의 다시점 2D 렌더링 정지영상들 중 신체 기준점 추정에 사용할 적어도 하나의 2D 렌더링 정지영상을 선택할 수 있다(S1235). S1235단계는, 하나의 2D 렌더링 정지영상을 선택하는 경우, S1233단계에서 추정된 각 관절 좌표로부터 양 어깨 간격이 가장 긴 2D 렌더링 정지영상을 정면 영상으로 하나 선택한다. 또한, S1235단계는, 다수의 2D 렌더링 정지영상을 선택하는 경우, 정면 영상과, 정면 영상을 기준으로 양측에 위치하는 N개의 측면 영상들을 다수의 2D 렌더링 정지영상들로서 선택할 수 있다.
전자장치는 S1235단계에서 선택되는 적어도 하나의 2D 렌더링 정지영상의 관절 좌표를 분석하여 원본 3D 체적 객체의 최종 관절 좌표를 결정할 수 있다(S1237).
전자장치는 S1237단계에서 결정되는 원본 3D 체적 객체의 최종 관절 좌표 중 좌측 히프와 우측 히프의 높이의 평균을 신체 기준점으로서 산출할 수 있다(S1239).
다시 도 12를 참조하면, 전자장치는 사용자에 의해 설정되는 신체의 상체 조정 비율과 하체 조정 비율, S1230단계에서 추정되는 각 관절의 좌표 및 신체 기준점을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 조정하기 위한 수식을 생성할 수 있다(S1240).
도 15는 S1240단계를 자세히 도시한 흐름도이다.
도 15를 참조하면, 전자장치는 사용자로부터 신체의 상체 조정 비율과 하체 조정 비율이 설정되면, 설정되는 비율에 따라 조정될 변형 3D 체적 객체의 예상 키를 원본 3D 체적 객체의 키와, 신체 기준점 및 [수학식 2]를 이용하여 산출할 수 있다(S1241, S1243).
전자장치는 사용자로부터 상체 또는 하체의 세부 비율 보정을 위한 변형 곡선의 계수(CurveCoeff1, CurveCoeff2)가 설정되면, 상체 조정 비율과 하체 조정 비율, 원본 3D 체적 객체의 키, 버텍스의 높이 방향 좌표, 그리고, 계수에 의해 조정된 변형 곡선을 이용하여 원본 3D 체적 객체를 이루는 버텍스의 높이 방향 좌표(즉, Y축 위치)를 보정하기 위한 수식을 [수학식 3] 및 [수학식 4]와 같이 생성할 수 있다(S1245, S1247).
다시 도 12를 참조하면, 전자장치는 S1240단계에서 생성되는 수식을 이용하여 각 버텍스의 보정된 높이 방향 좌표를 산출하고, 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성할 수 있다(S1250).
도 16은 원본 3D 체적 객체와 변형 3D 체적 객체를 비교한 도면이다.
도 16에 도시된, 원본 3D 체적 객체와 보정된 변형 3D 체적 객체의 렌더링 결과에 의하면, 하체 비율 보정에 비중이 많이 실린 결과가 자동으로 생성됨을 알 수 있다. [표 1]은 도 16의 변화량 비교 결과를 보여준다.
　 원본 보정 증가량 증가율
길이1 0.425 0.435 0.011 2.48%
길이2 0.344 0.374 0.031 8.18%
길이3 0.334 0.365 0.031 8.39%
길이4 0.245 0.249 0.004 1.62%
길이5 0.248 0.252 0.004 1.60%
[표 1]은 도 16에 도시된 길이1~길이5의 각 영역이 얼마나 증가되었는지 보여주는 테이블로서, 길이2와 길이3이 길이 1, 길이 4 및 길이 5에 비해 상대적으로 더 증가되었음을 알 수 있다. 즉, 사용자의 요구에 따라 하체 영역의 확대 비율이 상체 영역보다 더 증가되었음을 보여준다. 상술한 본 발명의 실시 예에 따르면, 볼류메트릭 동영상 3D 체적 객체는 매시간, 프레임 간 독립적으로 생성되어 만들어지고, 3D 애니메이션에서 사용하는 뼈대가 없다는 이유로 체형 보정이 어렵다는 기존 문제를 해결하고, 자동으로 프레임마다 3D 체적 객체의 비율을 자동으로 조정하는 것이 가능하다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 신체 비율 자동 보정 장치
110: 통신 인터페이스부 120: 사용자 인터페이스부
130: 저장부 140: 이미지 처리부
150: 메모리 160: 프로세서

Claims (14)

  1. 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성하는 합성부;
    상기 다수의 프레임들마다 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출하는 2D 정지영상 추출부;
    상기 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점을 추정하는 신체 추정부;
    신체의 상체 조정 비율과 하체 조정 비율, 상기 추정된 각 관절의 좌표 및 신체 기준점을 이용하여 상기 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 조정하기 위한 수식을 생성하는 수식 생성부;
    상기 생성된 수식을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성하는 3D 체적 객체 조정부;를 포함하고,
    상기 신체 추정부는,
    상기 추출된 다시점 2D 렌더링 정지영상들을 신체 자세 추정을 위한 딥러닝 모델에 입력하여 신체의 각 관절 좌표를 추정하는 관절 좌표 추정부;
    상기 다시점 2D 렌더링 정지영상들 중 상기 신체 기준점 추정에 사용할 적어도 하나의 2D 렌더링 정지영상을 선택하는 2D 정지영상 선택부;
    상기 선택되는 적어도 하나의 2D 렌더링 정지영상을 분석하여 상기 원본 3D 체적 객체의 최종 관절 좌표를 결정하는 관절 좌표 결정부; 및
    상기 원본 3D 체적 객체의 최종 관절 좌표 중 좌측 히프와 우측 히프의 높이의 평균을 상기 신체 기준점으로서 산출하는 신체 기준점 산출부; 를 포함하며,
    상기 2D 정지영상 선택부는,
    하나의 2D 렌더링 정지영상을 선택하는 경우, 상기 관절 좌표 추정부에서 추정된 각 좌표로부터 양 어깨 간격이 가장 긴 2D 렌더링 정지영상을 정면 영상으로 하나 선택하고,
    다수의 2D 렌더링 정지영상을 선택하는 경우, 상기 정면 영상과, 상기 정면 영상을 기준으로 양측에 위치하는 N개의 측면 영상들을 상기 다수의 2D 렌더링 정지영상들로서 선택하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치.
  2. 제1항에 있어서,
    상기 2D 정지영상 추출부는,
    렌더링 카메라로 상기 원본 3D 체적 객체를 소정 각도로 회전하면서 촬영하여 상기 다시점 2D 렌더링 정지영상들을 추출하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 수식 생성부는,
    상기 신체의 상체 조정 비율과 하체 조정 비율 중 적어도 하나에 따라 조정되어 생성되는 변형 3D 체적 객체의 예상 키를 산출하는 예상 키 산출부; 및
    상체 조정 비율과 하체 조정 비율 중 적어도 하나와, 원본 3D 체적 객체의 키를 이용하여 상기 원본 3D 체적 객체를 이루는 버텍스의 높이 방향 좌표를 보정하기 위한 수식을 생성하는 버텍스 높이 보정부;
    를 포함하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치.
  6. 제5항에 있어서,
    상기 버텍스 높이 보정부는, 다음의 식을 이용하여 상기 수식을 생성하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치:



    여기서, Y는 원본 3D 체적 객체의 버텍스의 높이 방향 좌표, Ymid는 신체 기준점,Y'mid는 변형 3D 체적 객체의 신체 기준점, Ybot은 원본3D 체적 객체의 바닥높이, Y'는 변형 3D 체적 객체의 버텍스의 높이 방향 좌표, Ytop은 원본 3D 체적 객체의 키, Ratiohead는 상체의 조정 비율, Ratioleg는 하체의 조정 비율, Fcurve1과 Fcurve2는 각각 상체와 하체의 세부 비율 보정을 위한 변형 곡선, CurveCoeff는 상기 변형 곡선의 형태를 결정하는 계수로서, CurveCoeff1은 Fcurve1의 형태를 결정하는 계수이고, CurveCoeff2는 Fcurve2의 형태를 결정하는 계수로서, 사용자에 의해 설정될 수 있음.
  7. 제6항에 있어서,
    상기 신체의 상체와 하체 비율이, 상체는 원본으로 유지하고 하체는 확대하도록 설정된 경우, 하체를 이루는 무릎-허리 구간과 무릎-발목 구간의 확대 가중치는 상기 계수에 따라 조정되는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치.
  8. 제7항에 있어서,
    상기 무릎-허리 구간과 무릎-발목 구간의 확대 가중치를 동일하게 하는 경우 상기 계수는 1로 설정되고, 상기 무릎-허리 구간의 확대 가중치를 무릎-발목 구간의 확대 가중치보다 크게 하는 경우, 상기 계수는 1보다 크게 설정되고, 상기 무릎-발목 구간의 확대 가중치를 무릎-허리 구간의 확대 가중치보다 크게 하는 경우, 상기 계수는 1보다 작게 설정되는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 장치.
  9. (A) 전자장치가, 다시점 촬영을 통한 볼류메트릭 원본 3D 체적 객체를 합성하여 다수의 프레임들로 이루어진 3D 동영상을 생성하는 단계;
    (B) 상기 전자장치가, 상기 다수의 프레임들마다 원본 3D 체적 객체로부터 다시점 2D 렌더링 정지영상들을 추출하는 단계;
    (C) 상기 전자장치가, 상기 다수의 프레임들 중 현재 처리할 프레임에서 추출된 다시점 2D 렌더링 정지영상들 중 적어도 하나를 분석하여 신체의 각 관절 좌표와, 신체의 상체와 하체를 구분하는 신체 기준점을 추정하는 단계;
    (D) 상기 전자장치가, 신체의 상체 조정 비율과 하체 조정 비율, 상기 추정된 각 관절의 좌표 및 신체 기준점을 이용하여 상기 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나를 조정하기 위한 수식을 생성하는 단계;
    (E) 상기 전자장치가, 상기 생성된 수식을 이용하여 원본 3D 체적 객체의 상체 높이와 하체 높이 중 적어도 하나가 조정된 변형 3D 체적 객체를 생성하는 단계;를 포함하고,
    상기 (C) 단계는,
    (C1) 상기 추출된 다시점 2D 렌더링 정지영상들을 신체 자세 추정을 위한 딥러닝 모델에 입력하여 신체의 각 관절 좌표를 추정하는 단계;
    (C2) 상기 다시점 2D 렌더링 정지영상들 중 상기 신체 기준점 추정에 사용할 적어도 하나의 2D 렌더링 정지영상을 선택하는 단계;
    (C3) 상기 선택되는 적어도 하나의 2D 렌더링 정지영상을 분석하여 상기 원본 3D 체적 객체의 최종 관절 좌표를 결정하는 단계; 및
    (C4) 상기 원본 3D 체적 객체의 최종 관절 좌표 중 좌측 히프와 우측 히프의 높이의 평균을 상기 신체 기준점으로서 산출하는 단계;
    를 포함하며,
    상기 (C2) 단계는,
    하나의 2D 렌더링 정지영상을 선택하는 경우, 상기 (C1) 단계에서 추정된 각 좌표로부터 양 어깨 간격이 가장 긴 2D 렌더링 정지영상을 정면 영상으로 하나 선택하고,
    다수의 2D 렌더링 정지영상을 선택하는 경우, 상기 정면 영상과, 상기 정면 영상을 기준으로 양측에 위치하는 N개의 측면 영상들을 상기 다수의 2D 렌더링 정지영상들로서 선택하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법.
  10. 제9항에 있어서,
    상기 (B) 단계는,
    렌더링 카메라로 상기 원본 3D 체적 객체를 소정 각도로 회전하면서 촬영하여 상기 다시점 2D 렌더링 정지영상들을 추출하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법.
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 (D) 단계는,
    (D1) 상기 신체의 상체 조정 비율과 하체 조정 비율 중 적어도 하나에 따라 조정되어 생성되는 변형 3D 체적 객체의 예상 키를 산출하는 단계; 및
    (D2) 상체 조정 비율과 하체 조정 비율 중 적어도 하나, 원본 3D 체적 객체의 키를 이용하여 상기 원본 3D 체적 객체를 이루는 버텍스의 높이 방향 좌표를 보정하기 위한 수식을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법.
  14. 제13항에 있어서,
    상기 (D2) 단계는, 다음의 식을 이용하여 상기 수식을 생성하는 것을 특징으로 하는 3D 볼류메트릭 동영상에서 신체 비율 자동 보정 방법:



    여기서, Y는 원본 3D 체적 객체의 버텍스의 높이 방향 좌표, Ymid는 신체 기준점,Y'mid는 변형 3D 체적 객체의 신체 기준점, Ybot은 원본3D 체적 객체의 바닥높이, Y'는 변형 3D 체적 객체의 버텍스의 높이 방향 좌표, Ytop은 원본 3D 체적 객체의 키, Ratiohead는 상체의 조정 비율, Ratioleg는 하체의 조정 비율, Fcurve1과 Fcurve2는 각각 상체와 하체의 세부 비율 보정을 위한 변형 곡선, CurveCoeff는 상기 변형 곡선의 형태를 결정하는 계수로서, CurveCoeff1은 Fcurve1의 형태를 결정하는 계수이고, CurveCoeff2는 Fcurve2의 형태를 결정하는 계수로서, 사용자에 의해 설정될 수 있음.
KR1020230133933A 2023-10-10 2023-10-10 3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법 KR102671280B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230133933A KR102671280B1 (ko) 2023-10-10 2023-10-10 3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230133933A KR102671280B1 (ko) 2023-10-10 2023-10-10 3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법

Publications (1)

Publication Number Publication Date
KR102671280B1 true KR102671280B1 (ko) 2024-05-31

Family

ID=91330099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230133933A KR102671280B1 (ko) 2023-10-10 2023-10-10 3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법

Country Status (1)

Country Link
KR (1) KR102671280B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094204A (ko) * 2015-01-30 2016-08-09 울산대학교 산학협력단 사람의 체형별 3d 대표 아바타 생성 방법
KR20220032948A (ko) 2020-09-08 2022-03-15 에스케이텔레콤 주식회사 3차원 객체 데이터 처리 방법
KR20220066366A (ko) * 2019-09-26 2022-05-24 아마존 테크놀로지스, 인크. 예측적 개인별 3차원 신체 모델

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094204A (ko) * 2015-01-30 2016-08-09 울산대학교 산학협력단 사람의 체형별 3d 대표 아바타 생성 방법
KR20220066366A (ko) * 2019-09-26 2022-05-24 아마존 테크놀로지스, 인크. 예측적 개인별 3차원 신체 모델
KR20220032948A (ko) 2020-09-08 2022-03-15 에스케이텔레콤 주식회사 3차원 객체 데이터 처리 방법

Similar Documents

Publication Publication Date Title
Alexiadis et al. An integrated platform for live 3D human reconstruction and motion capturing
US10366533B2 (en) Image processing device and image processing method
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
KR101711736B1 (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
KR100721536B1 (ko) 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법
CN106846467B (zh) 基于每个相机位置优化的实体场景建模方法和系统
US10467791B2 (en) Motion edit method and apparatus for articulated object
CN107452049B (zh) 一种三维头部建模方法及装置
KR20120096600A (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
KR20040034606A (ko) 단안 얼굴 트래킹을 위해 데이터 구동형 모델을 사용하는시스템 및 방법
CN111861872A (zh) 图像换脸方法、视频换脸方法、装置、设备和存储介质
US20130155062A1 (en) Looping motion space registration for real-time character animation
Yang et al. A virtual try-on system in augmented reality using RGB-D cameras for footwear personalization
EP3091510B1 (en) Method and system for producing output images
CN106296598A (zh) 三维姿态处理方法、系统及拍摄终端
WO2012096907A1 (en) Mesh animation
WO2016030304A1 (en) Method and device for editing a facial image
Liu et al. A new model-based method for multi-view human body tracking and its application to view transfer in image-based rendering
JP2002269580A (ja) 動画像生成システム
CN109407824B (zh) 人体模型的同步运动方法与装置
JP6555755B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102671280B1 (ko) 3d 볼류메트릭 동영상에서 다수 프레임 아바타 객체의 신체 비율 자동 보정 장치 및 그의 방법
Koppel et al. Image-based rendering and modeling in video-endoscopy
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant