KR102361894B1 - 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치 - Google Patents

동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치 Download PDF

Info

Publication number
KR102361894B1
KR102361894B1 KR1020200159433A KR20200159433A KR102361894B1 KR 102361894 B1 KR102361894 B1 KR 102361894B1 KR 1020200159433 A KR1020200159433 A KR 1020200159433A KR 20200159433 A KR20200159433 A KR 20200159433A KR 102361894 B1 KR102361894 B1 KR 102361894B1
Authority
KR
South Korea
Prior art keywords
camera pose
unit
restoration
definition
sharpness
Prior art date
Application number
KR1020200159433A
Other languages
English (en)
Inventor
정인혜
Original Assignee
주식회사 제이토드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이토드 filed Critical 주식회사 제이토드
Priority to KR1020200159433A priority Critical patent/KR102361894B1/ko
Application granted granted Critical
Publication of KR102361894B1 publication Critical patent/KR102361894B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법은 카메라가 동영상을 촬영하고 촬영된 동영상 정보를 사진 선명도 측정부로 전송하는 단계와, 사진 선명도 측정부가 수신된 영상에서 다수의 사진을 도출하고 사진의 선명도를 점수화하고 점수가 높은 사진을 선명도 높은 사진 모음부로 전송하고 선명도가 낮은 사진은 선명도 낮은 사진 모음부로 전송하여 저장하도록 하는 단계와, 선명도 낮은 사진 모음부가 수신된 선명도가 낮은 사진 들을 AI 기반 선명도 복원부로 전송하는 단계와, AI기반 선명도 복원부가 수신된 선명도가 낮은 사진들을 AI 알고리즘을 이용하여 선명도가 높은 사진으로 복원하는 단계와, AI 기반 선명도 복원부가 복원된 선명도가 높은 사진들을 선명도가 높은 사진 모음부로 전송하는 단계와, 선명도가 높은 사진 모음부가 사진 선명도 측정부로부터 선명도가 높은 사진 정보들을 수신하고 AI 기반 선명도 복원부로부터 복원된 선명도가 높은 사진 정보를을 수신하여 저장하며 저장된 선명도가 높은 사진 정보들을 AI 기반 카메라 포즈 추론부와 비전기반 카메라 포즈 생성부로 전송하는 단계와, AI 기반 카메라 포즈 추론부가 수신된 선명도가 높은 사진 정보들을 기초로 특정 시간에 촬영된 형상을 복원할 2장의 사진을 선정하는 단계와, AI 기반 카메라 포즈 추론부가 선정된 2장의 사진을 기초로 카메라 포즈 추론용 심층 신경망을 이용해 촬영 시점의 두 카메라 포즈를 산정하는 단계와, 비전기반 카메라 포즈 생성부가 선명도가 높은 사진 정보들을 기초로 동일 시간 대의 형상을 복원할 2장의 사진을 선정하는 단계와, 비전기반 카메라 포즈 생성부가 컴퓨터 비전 이론을 기초로 카메라 포즈를 생성하는 단계와, 카메라 포즈 기반 오류 검출부가 AI 기반 카메라 포즈 추론부가 산정한 카메라 포즈와 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 비교하여 오류를 검출하는 단계와, 카메라 포즈 기반 오류 검출부가 검출된 오류가 AI 기반 카메라 포즈 추론부가 산정한 오류인지 비전기반 카메라 포즈 생성부가 산정한 오류인지 여부를 육안으로 판단하는 단계와, 카메라 포즈 기반 오류 검출부가 AI기반 카메라 포즈 추론부의 산정 오류이면 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 선택하고, 비전기반 카메라 포즈 생성부 산정 오류이면 선명도 높은 사진 중에서 유사 포즈를 가진 사진을 선택하는 단계와, 카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 최소화 될 때까지 카메라 포즈 오류 검출을 반복하는 단계와, 카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 제거된 선명도가 높은 사진을 복원용 사진 모음부에 전송하여 복원용 사진 모음을 업데이트하고 사진 기반 형성 복원부로 전송하는 단계와, 사진 기반 형성 복원부가 업데이트된 카메라 포즈 오류가 제거된 선명한 사진 모음을 기초로 3차원 형상을 복원하는 단계를 포함하여 구성된 것을 특징으로 하는 것이다.

Description

동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치{ 3D Shape Restoration Method of Video with Low Volume and High Quality and Apparatus thereof}
본 발명은 동영상을 기반으로 하는 3차원 형상 복원에 관한 것이다. 일반적으로 사진으로부터 3차원 형상을 복원하기 위하여는 카메라 포즈 계산이 필요하며 카메라간 포즈가 너무 조밀하면 복원 정보 중복율이 높아지고 카메라 간 포즈가 희소하면 복원 정보 소실율이 높아지므로 AI 카메라 포즈 추정기를 이용하여 카메라 포즈 계산을 합리적으로 할 수 있는 것이다.
본 발명과 관련된 종래 기술은 대한민국 등록특허 제10-2009292호(2019. 08. 12. 공고)에 게시되어 있는 것이다. 도 1은 상기 종래의 다중 카메라기반 3차원 얼굴 복원장치 구성도이다. 상기도 1에서 종래의 다중 카메라기반 3차원 얼굴 복원장치는 다중 영상 분석부(200), 텍스처 영상 분리부(300), 복원용 영상 자동 동기화부(400), 삼차원 외형 복원부(500), 텍스처 처리부(600)를 포함한다. 다중 영상 분석부(200)는 영상 해상도 비교부(201), 영상정보 분류부(202), 동기화 여부 검사부(203)를 포함한다. 다중 영상 분석부(200)는 깊이 영상 카메라(이하, ‘깊이 카메라’라고도 함) 또는 컬러 영상 카메라(이하, ‘컬러 카메라’라고도 함)를 포함하는 다수의 카메라로부터 입력된 영상들의 해상도 정보를 파악하고, 각 영상들이 동기화 되어 있는지 여부를 검사한다. 영상 해상도 비교부(201)는 입력된 영상들의 해상도를 분석하여 각 영상의 해상도 크기를 비교할 수 있다. 영상정보 분류부(202)는 텍스처 처리용 영상을 제외한 나머지 입력된 영상들의 종류를 컬러 영상 또는 깊이 영상으로 분리할 수 있다. 나머지 영상들에 대해서는 깊이 영상만 입력되는 경우, 두 장 이상의 컬러 영상만 입력되는 경우, 한 장의 깊이 영상과 두장 이상의 컬러 영상이 입력되는 경우, 두 장 이상의 깊이 영상 및 컬러 영상이 입력되는 경우 등으로 세분화하여 분류한다. 동기화 여부 검사부(203)는 영상정보 분류부(202)에서 컬러 영상으로 분류된 영상을 그레이스케일 영상으로 변환하고, 변환된 그레이스케일 영상과 나머지 깊이 영상들간의 동기화 정도를 판단할 수 있다. 동기화 정도가 미리 정해진 허용 기준치 이상이면 영상간 동기가 맞지 않는 것으로 판단해 복원용 영상 자동 동기화부(400)에 영상들을 전달한다. 반면 동기화 정도가 허용 기준치 이내이면 동기화되었다고 판단하고 별도의 동기화 과정 없이 삼차원 외형 복원부로 동기화된 영상들을 전달한다. 텍스처 영상 분리부(300)는 다중 영상 분석부(200)에서 분석한 입력 영상들의 정보를 바탕으로, 입력된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리한다. 이 때, 텍스처 처리용 영상은 가장 해상도가 높은 영상을 분리하는 것이 바람직하다. 텍스처 영상 분리부(300)는 분리된 텍스처 처리용 영상을 텍스처 처리부(600)로 공급한다. 이 때, 삼차원 외형복원을 위해 사용되는 영상과 텍스처 처리용 영상의 해상도 비율에 대한 정보(스텝 사이즈)도 전달할 수 있다. 복원용 영상 자동 동기화부(400)는 영상버퍼 및 동기화여부 확인부(403)를 포함할 수 있다. 이 때, 영상버퍼는 컬러 영상을 처리하는 컬러 영상 버퍼(401)와 깊이 영상을 처리하는 깊이 영상 버퍼(402)로 구분하여 구비할 수 있다. 또한, 각 버퍼는 영상을 입력하는 카메라의 개수만큼 구비될 수 있다. 이 때, 복원용 영상 자동 동기화부(400)는 입력된 영상들이 깊이 영상을 포함하는지 여부에 따라 서로 다른 모드로 동작할 수 있다. 복원용 영상 자동 동기화부(400)는 다중 영상 분석부(200)에서 비동기 영상으로 분류된 영상들을 컬러 및 깊이 영상 버퍼(401, 402)를 사용해 최신 프레임의 영상을 저장함으로써 자동으로 동기화를 수행한다. 영상 버퍼(401, 402)는 비동기 영상으로 분류된 각각의 영상의 프레임을 소정의 시간 간격으로 구분하여 저장하고, 동기화여부 확인부(403)는 영상 버퍼(401, 402)에 저장된 각각의 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리한다. 다시 말하면, 시간 T에 입력된 영상들 간의 동기가 맞지 않을 경우, 사전에 정해 놓은 영상 버퍼 크기에 따라 T+1, T+2, …, T+N (N은 버퍼 크기) 시간에 영상을 추가로 입력 받아 동기화 여부 확인부(403)에서 영상간 차이가 최소가 되는 시간을 찾고, 그 때의 영상을 동기화된 영상으로 처리한다. 이때, 다중 입력 영상이 시간 T에 한 번만 들어오는 것이 아니라 스트림 형태로 적용할 수 있다. 즉, 얼굴 촬영 시 동영상 모드에서 시간을 조절해 짧게는 1초에서 길게는 수초의 영상을 촬영하고 버퍼링을 통해 일정 타임 프레임 구간에 대한 영상을 저장하게 함으로써 동기화를 수행한다. 일반적인 삼차원 객체 복원과는 달리 사용자가 대부분 가만히 앉아있거나 움직임이 적은 자세를 취하며, 움직임은 표정 변화 정도로 국한되므로 일반적인 삼차원 객체 복원방식과는 달리 우수한 품질로 자동 동기화 처리가 가능하다. 삼차원 외형 복원부(500)에서는 입력된 영상들로부터 물체에 대한 깊이정보를 추출하고 이를 통해 삼차원 좌표 값을 계산한다. 이렇게 계산된 삼차원 외형에 텍스처 영상을 입히는 텍스처링(600) 과정을 거쳐 최종 복원 결과를 얻게 된다. 삼차원 외형 복원부(500)는 입력된 영상들로부터 물체에 대한 깊이정보를 추출하고 이를 통해 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하고 복원된 영상을 텍스처 처리부(600)로 전달한다. 이 때, 삼차원 외형 복원은 복원용 영상 자동 동기화부(400)에서 깊이 영상을 포함하는지 여부에 따라 서로 다른 모드로 동작할 수 있다. 즉, 삼차원 외형 복원은 깊이 정보의 유무에 따라 두 가지 방식으로 동작이 가능하다. 깊이 카메라를 통해 깊이 정보 혹은 깊이 영상이 입력된 경우에는 깊이 정보를 이용해 물체의 삼차원 좌표를 계산한 후 이를 웹카메라나 CMOS 카메라 위치로 투영시킴으로써, 컬러 영상 사이의 대응관계를 계산하는 초기값으로 사용한다. 깊이 카메라가 없는 경우에는 컬러 카메라의 영상만을 가지고 영상 간 대응관계를 계산한다. 깊이 정보를 초기값으로 이용하여 대응관계를 계산할 경우에는 일반적인 스테레오 정합 방법을 사용할 수다. 또 다른 방식으로는 다수의 컬러 영상 카메라를 통해 입력 받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하고, 삼각화를 통해서 생성된 삼각형들에 대하여 각 영상간의 컬러 값의 비교를 통해 삼차원 좌표를 계산하여 삼차원 외형 영상으로 복원하는 기술을 적용할 수 있다. 컬러 영상 간의 대응점 깊이 정보는 각 화소 위치에서의 거리정보이므로, 이를 삼차원 공간으로 역투영한 후 각 카메라 위치로 투영하면 삼차원 공간상의 한 점이 각 카메라의 위치에서 촬영한 영상에 각각 투영되게 된다. 예를 들어, 두 영상 사이의 대응관계를 계산할 경우 왼쪽 영상에 투영된 점에 대응하는 점을 오른쪽 영상에서 찾을 때 앞서 투영시킨 점(이하,‘후보점’이라고도 한다.) 주변에서 검색을 하면 빠르고 정확하게 대응점을 계산할 수 있다. 얼굴 영역 전체에 대해 깊이 정보로부터 각 영상에 투영된 화소(이하 ‘후보점’이라고도 한다.)들을 계산한 후에, 후보점들을 기준으로 이차원 삼각화(triangulation)을 수행한다. 후보점이 없을 경우(깊이 정보가 없을 경우)에는 영상에서 물체의 경계를 검출하고 검출된 경계면을 기준으로 영상영역 전체에 대해 삼각화를 수행한다. 이렇게 생성한 삼각형들에 대해 영상간 컬러 값 비교를 통해 변이를 계산하고 이 변이를 카메라 정보를 사용해 변환하면 각 점에 대한 삼차원 좌표를 계산할 수 있다. 이 때, 각 삼각형들은 같은 깊이 값을 갖는 것으로 간주할 수 있다. 후보점들이 가깝게 분포하고 있으면 계산시간이 단축될 뿐 아니라 불필요하게 큰 삼각형이 생성되지 않으므로 삼차원 복원의 정밀도도 향상시킬 수 있다. 깊이 정보가 없는 경우 삼각화를 이용한 대응관계 계산 방법은 [1]을 참조하였다. [1] A Geiger, M Roser, and Raquel Urtasun, “Efficient Large-Scale Stereo Matching,”Asian Conference on Computer Vision, New Zealand, Nov 2010 삼차원 외형이 복원되면 텍스처 처리부(600)는 앞서 분류된 텍스처 영상을 계산된 외형에 대한 기하정보를 이용하여 삼차원 외형 영상에 맵핑을 수행한다. 이때, 스텝 사이즈를 이용하여 저해상도의 복원 결과에도 고해상도의 텍스처를 맵핑함으로써 우수한 품질의 복원 영상을 도출할 수 있는 것이다.
상기와 같이 구성된 종래 기술은 다수의 카메라를 이용하고, 동기화 여부를 산정하며 3차원 좌표 값을 산정하므로 오류 가능성이 크고 복원 시간이 커서 비용이 증가하는 문제가 있는 것이다. 또한, 상기와 같이 구성된 종래 기술은 복원에 사진이 많이 필요하므로 비용이 증가하는 문제가 있는 것이다. 따라서 본 발명의 목적은 복원에 필요한 사진 영상의 선명도와 포즈 추정에 AI 학습알고리즘을 적용하므로써 실시간으로 수작업을 줄이고 비용을 절감하기 위한 것이다. 또한 AI 알고리즘을 적용하여 복원 오류를 줄이고 보정의 수작업을 최소한으로 하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법은 카메라가 동영상을 촬영하고 촬영된 동영상 정보를 사진 선명도 측정부로 전송하는 단계와, 사진 선명도 측정부가 수신된 영상에서 다수의 사진을 도출하고 사진의 선명도를 점수화하고 점수가 높은 사진을 선명도 높은 사진 모음부로 전송하고 선명도가 낮은 사진은 선명도 낮은 사진 모음부로 전송하여 저장하도록 하는 단계와, 선명도 낮은 사진 모음부가 수신된 선명도가 낮은 사진 들을 AI 기반 선명도 복원부로 전송하는 단계와, AI기반 선명도 복원부가 수신된 선명도가 낮은 사진들을 AI 알고리즘을 이용하여 선명도가 높은 사진으로 복원하는 단계와, AI 기반 선명도 복원부가 복원된 선명도가 높은 사진들을 선명도가 높은 사진 모음부로 전송하는 단계와, 선명도가 높은 사진 모음부가 사진 선명도 측정부로부터 선명도가 높은 사진 정보들을 수신하고 AI 기반 선명도 복원부로부터 복원된 선명도가 높은 사진 정보를을 수신하여 저장하며 저장된 선명도가 높은 사진 정보들을 AI 기반 카메라 포즈 추론부와 비전기반 카메라 포즈 생성부로 전송하는 단계와, AI 기반 카메라 포즈 추론부가 수신된 선명도가 높은 사진 정보들을 기초로 특정 시간에 촬영된 형상을 복원할 2장의 사진(서로 다른 위치에서 촬영한 것)을 선정하는 단계와, AI 기반 카메라 포즈 추론부가 선정된 2장의 사진을 기초로 카메라 포즈 추론용 심층 신경망을 이용해 촬영 시점의 두 카메라 포즈(위치, 방향)를 산정하는 단계와, 비전기반 카메라 포즈 생성부가 선명도가 높은 사진 정보들을 기초로 동일 시간 대의 형상을 복원할 2장의 사진을 선정하는 단계와, 비전기반 카메라 포즈 생성부가 컴퓨터 비전 이론을 기초로 카메라 포즈를 생성하는 단계와, 카메라 포즈 기반 오류 검출부가 AI 기반 카메라 포즈 추론부가 산정한 카메라 포즈와 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 비교하여 오류를 검출하는 단계와, 카메라 포즈 기반 오류 검출부가 검출된 오류가 AI 기반 카메라 포즈 추론부가 산정한 오류인지 비전기반 카메라 포즈 생성부가 산정한 오류인지 여부를 육안으로 판단하는 단계와, 카메라 포즈 기반 오류 검출부가 AI기반 카메라 포즈 추론부의 산정 오류이면 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 선택하고, 비전기반 카메라 포즈 생성부 산정 오류이면 선명도 높은 사진 중에서 유사 포즈를 가진 사진을 선택하는 단계와, 카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 최소화 될 때까지 카메라 포즈 오류 검출을 반복하는 단계와, 카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 제거된 선명도가 높은 사진을 복원용 사진 모음부에 전송하여 복원용 사진 모음을 업데이트하고 사진 기반 형성 복원부로 전송하는 단계와, 사진 기반 형성 복원부가 업데이트된 카메라 포즈 오류가 제거된 선명한 사진 모음을 기초로 3차원 형상을 복원하는 단계를 포함하여 구성된 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치는 스틸 사진이 아닌 고해상도 동영상을 기반으로 하여 고품질의 형상 복원을 할 수 있는 효과가 있는 것이다. 또한 본 발명은 형상 복원을 위한 사진 촬영인력을 축소하고 시간을 절약할 수 있는 효과가 있는 것이다. 또한, 본 발명은 복원 전 과정의 직관적 오류 검출 및 보정 비율을 높일 수 있는 효과가 있는 것이다.
도 1은 종래의 다중 카메라기반 3차원 얼굴 복원장치 구성도,
도 2는 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법 제어 흐름도,
도 3은 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원 장치 구성도이다.
상기와 같은 목적을 가진 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치를 도 2 내지 도 3을 기초로 하여 설명하면 다음과 같다.
도 2는 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법 제어 흐름도이다. 상기도 2에서 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원방법은 카메라가 동영상을 촬영하고 촬영된 동영상 정보를 사진 선명도 측정부로 전송하는 단계(S11)와, 사진 선명도 측정부가 수신된 영상에서 다수의 사진을 도출하고 사진의 선명도를 점수화하고 점수가 높은 사진을 선명도 높은 사진 모음부로 전송하고 선명도가 낮은 사진은 선명도 낮은 사진 모음부로 전송하여 저장하도록 하는 단계(S12)와, 선명도 낮은 사진 모음부가 수신된 선명도가 낮은 사진 들을 AI 기반 선명도 복원부로 전송하는 단계(S13)와, AI기반 선명도 복원부가 수신된 선명도가 낮은 사진들을 AI 알고리즘을 이용하여 선명도가 높은 사진으로 복원하는 단계(S14)와, AI 기반 선명도 복원부가 복원된 선명도가 높은 사진들을 선명도가 높은 사진 모음부로 전송하는 단계(S15)와, 선명도가 높은 사진 모음부가 사진 선명도 측정부와 AI 기반 선명도 복원부로부터 수신된 선명도가 높은 사진 정보들을 저장하며 저장된 선명도가 높은 사진 정보들을 AI 기반 카메라 포즈 추론부와 비전기반 카메라 포즈 생성부로 전송하는 단계(S16)와, AI 기반 카메라 포즈 추론부가 수신된 선명도가 높은 사진 정보들을 기초로 특정 시간에 촬영된 형상을 복원할 사진을 2장씩(서로 다른 위치에서 촬영한 것) 선정하는 단계(S17)와, AI 기반 카메라 포즈 추론부가 선정된 2장의 사진을 기초로 카메라 포즈 추론용 심층 신경망을 이용해 촬영된 특정 시간의 두 카메라 포즈(위치, 방향)를 산정하고 산정된 두 카메라 포즈 정보를 카메라 포즈 기반 오류 검출부로 전송하는 단계(S18)와, 비전기반 카메라 포즈 생성부가 선명도가 높은 사진 정보들을 기초로 동일 시간 대의 형상을 복원할 2장의 사진을 선정하는 단계(S19)와, 비전기반 카메라 포즈 생성부가 컴퓨터 비전 이론을 기초로 카메라 포즈를 산정하고 산정된 두 카메라 포즈 정보를 카메라 포즈 기반 오류 검출부로 전송하는 단계(S20)와, 카메라 포즈 기반 오류 검출부가 AI 기반 카메라 포즈 추론부가 산정한 카메라 포즈와 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 비교하여 오류를 검출하는 단계(S21)와, 카메라 포즈 기반 오류 검출부가 검출된 오류가 AI 기반 카메라 포즈 추론부가 산정한 오류인지, 비전기반 카메라 포즈 생성부가 산정한 오류인지 여부를 판단하는 단계(S22)와, 카메라 포즈 기반 오류 검출부가 AI기반 카메라 포즈 추론부의 산정 오류이면 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 선택하고, 비전기반 카메라 포즈 생성부의 산정 오류이면 선명도 높은 사진 중에서 유사 포즈를 가진 사진을 선택하는 단계(S23)와, 카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 최소화 될 때까지 카메라 포즈 오류 검출을 반복하는 단계(S24)와, 카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 제거된 선명도가 높은 사진을 복원용 사진 모음부에 전송하여 복원용 사진 모음을 업데이트하는 단계(S25)와, 복원용 사진 모음부가 업데이트된 카메라 포즈 오류가 제거된 선명한 사진 모음을 사진기반 형상 복원부로 전송하는 단계(S26)와, 사진기반 형상 복원부가 수신된 복원용 사진 정보들을 기초로 3차원 형상을 복원하는 단계(S27)를 포함하여 구성된 것을 특징으로 하는 것이다.
도 3은 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원 장치 구성도이다. 상기도 3에서 본 발명 동영상 기반의 저용량 고품질 3차원 형상 복원 장치는 동영상을 촬영하고 촬영된 동영상을 사진 선명도 측정부로 전송하는 카메라(10)와, 수신된 동영상 정보에서 다수의 스틸 사진 정보를 도출하고 스틸 사진 정보의 선명도를 점수화하고 점수가 높은 선명도가 높은 사진은 선명도 높은 사진 모음부로 전송하고, 선명도가 낮은 사진들은 선명도 낮은 사진 모음부로 전송하는 사진 선명도 측정부(20)와, 수신된 선명도가 낮은 사진들을 AI 기반 선명도 복원부로 전송하는 선명도 낮은 사진 모음부(30)와, 수신된 선명도가 낮은 사진들을 AI 알고리즘을 이용하여 선명도가 높은 사진들로 복원하고 복원된 선명도가 높은 사진들을 선명도가 높은 사진 모음부로 전송하는 AI기반 선명도 복원부(40)와, 사진 선명도 측정부와 AI기반 선명도 복원부로부터 수신된 선명도가 높은 사진 정보들을 저장하고, 저장된 선명도가 높은 사진들을 AI기반 카메라 포즈 추론부와 비전기반 카메라 생성부로 전송하는 선명도가 높은 사진 모음부(50)와, 수신된 선명도가 높은 사진 정보들을 기초로 특정 시간에 촬영된 영상을 복원할 사진 2장씩을 선정하고 선정된 2장의 사진을 기초로 카메라 포즈 추론용 심층 신경망을 이용하여 촬영된 특정 시점의 두 카메라 포즈를 산정하는 AI 기반 카메라 포즈 추론부(60)와, 수신된 선명도가 높은 사진 정보들을 기초로 동일 특정 시간의 형상을 복원할 2장의 사진을 선정하고 컴퓨터 비전 이론을 기초로 카메라 포즈를 생성하는 비전기반 카메라 포즈 생성부(70)와, AI 기반 카메라 포즈 추론부가 산정한 카메라 포즈와 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 비교하여 오류를 검출하고, 검출된 오류가 AI 기반 카메라 포즈 추론부가 산정한 오류인지 비전 기반 카메라 포즈 생성부가 산정한 오류인지 여부를 판단하고, AI기반 카메라 포즈 추론부의 오류이면 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 선택하고, 비전기반 카메라 포즈 생성부 오류이면 선명도가 높은 사진 중에서 유사 포즈를 가진 사진을 선택하는 방식으로 카메라 포즈 오류가 최소화될 때까지 오류 검출을 반복하며 카메라 포즈 오류가 제거된 선명도가 높은 사진을 복원용 사진 모음부로 전송하는 카메라 포즈기반 오류 검출부(80)와, 카메라 포즈 기반 오류 검출부로부터 카메라 포즈 오류가 제거된 선명한 사진 정보들을 수신하여 복원용 사진 모음 정보를 업데이트하고 업데이트된 선명한 사진 정보들을 사진 기반 형성 복원부로 전송하는 복원용 사진 모음부(90)와, 복원용 사진 모음부로부터 카메라 포즈 오류가 제거된 선명한 사진 정보들을 수신하고 이를 기초로 3차원 형상을 복원하는 사진 기반 형상 복원부(95)로 구성된 것을 특징으로 하는 것이다. 상기에서 형상물 복원은 선명한 사진들로부터 생성된 3차원 메쉬와 텍스쳐를 기초로 생성하는 것을 특징으로 하는 것이다.
10 : 카메라, 20 : 사진 선명도 측정부,
30 : 선명도 낮은 사진 모음부, 40 : AI 기반 선명도 복원부,
50 : 선명도 높은 사진 모음부, 60 : AI기반 카메라 포즈 추론부,
70 : 비전기반 카메라 포즈 생성부, 80 : 카메라 포즈 기반 오류 검출부,
90 : 복원용 사진 모음부, 95 : 사진 기반 형성 복원부

Claims (3)

  1. 오류를 줄이고 보정의 수작업을 줄이기 위한 동영상 기반의 저용량 고품질 3차원 형상 복원방법에 있어서,
    상기 동영상 기반의 저용량 고품질 3차원 형상 복원방법은,
    카메라가 동영상을 촬영하고 촬영된 동영상 정보를 사진 선명도 측정부로 전송하는 단계(S11)와;
    사진 선명도 측정부가 수신된 영상에서 다수의 사진을 도출하고 사진의 선명도를 점수화하고 점수가 높은 사진을 선명도 높은 사진 모음부로 전송하고 선명도가 낮은 사진은 선명도 낮은 사진 모음부로 전송하여 저장하도록 하는 단계(S12)와;
    선명도 낮은 사진 모음부가 수신된 선명도가 낮은 사진 들을 AI 기반 선명도 복원부로 전송하는 단계(S13)와;
    AI기반 선명도 복원부가 수신된 선명도가 낮은 사진들을 AI 알고리즘을 이용하여 선명도가 높은 사진으로 복원하는 단계(S14)와;
    AI 기반 선명도 복원부가 복원된 선명도가 높은 사진들을 선명도가 높은 사진 모음부로 전송하는 단계(S15)와;
    선명도가 높은 사진 모음부가 수신된 선명도가 높은 사진 정보들을 저장하며 저장된 선명도가 높은 사진 정보들을 AI 기반 카메라 포즈 추론부와 비전기반 카메라 포즈 생성부로 전송하는 단계(S16)와;
    AI 기반 카메라 포즈 추론부가 수신된 선명도가 높은 사진 정보들을 기초로 특정 시간에 촬영된 형상을 복원할 사진을 2장씩 선정하는 단계(S17)와;
    AI 기반 카메라 포즈 추론부가 선정된 2장의 사진을 기초로 카메라 포즈 추론용 심층 신경망을 이용해 촬영 특정 시간의 두 카메라 포즈를 산정하는 단계(S18)와;
    비전기반 카메라 포즈 생성부가 하나의 카메라로부터 수신된 선명도가 높은 사진 정보들을 기초로 동일 특정 시간 대의 형상을 복원할 2장의 사진을 선정하는 단계(S19)와;
    비전기반 카메라 포즈 생성부가 컴퓨터 비전 이론을 기초로 카메라 포즈를 생성하는 단계(S20)와;
    카메라 포즈 기반 오류 검출부가 AI 기반 카메라 포즈 추론부가 산정한 카메라 포즈와 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 비교하여 오류를 검출하는 단계(S21)와;
    카메라 포즈 기반 오류 검출부가 검출된 오류가 AI 기반 카메라 포즈 추론부가 산정한 오류인지, 비전기반 카메라 포즈 생성부가 산정한 오류인지 여부를 판단하는 단계(S22)와;
    카메라 포즈 기반 오류 검출부가 AI기반 카메라 포즈 추론부의 산정 오류이면 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 선택하고, 비전기반 카메라 포즈 생성부의 산정 오류이면 선명도 높은 사진 중에서 유사 포즈를 가진 사진을 선택하는 단계(S23)와;
    카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 최소화 될 때까지 카메라 포즈 오류 검출을 반복하는 단계(S24)와;
    카메라 포즈 기반 오류 검출부가 카메라 포즈 오류가 제거된 선명도가 높은 사진을 복원용 사진 모음부에 전송하여 복원용 사진 모음을 업데이트하는 단계(S25)와;
    복원용 사진 모음부가 업데이트된 카메라 포즈 오류가 제거된 선명한 사진 모음을 사진기반 형상 복원부로 전송하는 단계(S26);
    및 사진기반 형상 복원부가 수신된 복원용 사진 정보들을 기초로 3차원 형상을 복원하는 단계(S27)를 포함하여 구성된 것을 특징으로 하는 동영상 기반의 저용량 고품질 3차원 형상 복원방법.
  2. 제1항에 있어서,
    카메라 포즈는,
    카메라 위치와 방향을 산정하는 것을 특징으로 하는 동영상 기반의 저용량 고품질 3차원 형상 복원방법.
  3. 오류를 줄이고 보정의 수작업을 줄이기 위한 동영상 기반의 저용량 고품질 3차원 형상 복원 시스템에 있어서,
    상기 동영상 기반의 저용량 고품질 3차원 형상 복원 시스템은,
    동영상을 촬영하고 촬영된 동영상을 사진 선명도 측정부로 전송하는 카메라(10)와;
    수신된 동영상 정보에서 다수의 스틸 사진 정보를 도출하고 스틸 사진 정보의 선명도를 점수화하고 점수가 높은 선명도가 높은 사진은 선명도 높은 사진 모음부로 전송하고, 선명도가 낮은 사진들은 선명도 낮은 사진 모음부로 전송하는 사진 선명도 측정부(20)와;
    수신된 선명도가 낮은 사진들을 AI 기반 선명도 복원부로 전송하는 선명도 낮은 사진 모음부(30)와;
    수신된 선명도가 낮은 사진들을 AI 알고리즘을 이용하여 선명도가 높은 사진들로 복원하고 복원된 선명도가 높은 사진들을 선명도가 높은 사진 모음부로 전송하는 AI기반 선명도 복원부(40)와;
    사진 선명도 측정부와 AI기반 선명도 복원부로부터 수신된 선명도가 높은 사진 정보들을 저장하고, 저장된 선명도가 높은 사진들을 AI기반 카메라 포즈 추론부와 비전기반 카메라 생성부로 전송하는 선명도 높은 사진 모음부(50)와;
    수신된 선명도가 높은 사진 정보들을 기초로 특정 시간에 촬영된 영상을 복원할 사진 2장씩을 선정하고 선정된 2장의 사진을 기초로 카메라 포즈 추론용 심층 신경망을 이용하여 촬영된 특정 시간의 두 카메라 포즈를 산정하는 AI 기반 카메라 포즈 추론부(60)와;
    하나의 카메라로부터 수신된 선명도가 높은 사진 정보들을 기초로 동일 특정 시간의 형상을 복원할 2장의 사진을 선정하고 컴퓨터 비전 이론을 기초로 카메라 포즈를 생성하는 비전기반 카메라 포즈 생성부(70)와;
    AI 기반 카메라 포즈 추론부가 산정한 카메라 포즈와 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 비교하여 오류를 검출하고, 검출된 오류가 AI 기반 카메라 포즈 추론부가 산정한 오류인지 비전 기반 카메라 포즈 생성부가 산정한 오류인지 여부를 판단하고, AI기반 카메라 포즈 추론부의 오류이면 비전기반 카메라 포즈 생성부가 산정한 카메라 포즈를 선택하고, 비전기반 카메라 포즈 생성부 오류이면 선명도가 높은 사진 중에서 유사 포즈를 가진 사진을 선택하는 방식으로 카메라 포즈 오류가 최소화될 때까지 오류 검출을 반복하며 카메라 포즈 오류가 제거된 선명도가 높은 사진을 복원용 사진 모음부로 전송하는 카메라 포즈기반 오류 검출부(80)와;
    카메라 포즈 기반 오류 검출부로부터 카메라 포즈 오류가 제거된 선명한 사진 정보들을 수신하여 복원용 사진 모음 정보를 업데이트하고 업데이트된 선명한 사진 정보들을 사진 기반 형성 복원부로 전송하는 복원용 사진 모음부(90);
    및 복원용 사진 모음부로부터 카메라 포즈 오류가 제거된 선명한 사진 정보들을 수신하고 이를 기초로 3차원 형상을 복원하는 사진 기반 형상 복원부(95)로 구성된 것을 특징으로 하는 동영상 기반의 저용량 고품질 3차원 형상 복원 시스템.






KR1020200159433A 2020-11-25 2020-11-25 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치 KR102361894B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200159433A KR102361894B1 (ko) 2020-11-25 2020-11-25 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159433A KR102361894B1 (ko) 2020-11-25 2020-11-25 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치

Publications (1)

Publication Number Publication Date
KR102361894B1 true KR102361894B1 (ko) 2022-02-14

Family

ID=80253919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159433A KR102361894B1 (ko) 2020-11-25 2020-11-25 동영상 기반의 저용량 고품질 3차원 형상 복원방법 및 장치

Country Status (1)

Country Link
KR (1) KR102361894B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265162A (ja) * 2006-03-29 2007-10-11 Nec Corp ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム
JP2014092984A (ja) * 2012-11-05 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 推定装置、推定方法及びコンピュータプログラム
KR20190114340A (ko) * 2018-03-29 2019-10-10 한국과학기술원 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265162A (ja) * 2006-03-29 2007-10-11 Nec Corp ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム
JP2014092984A (ja) * 2012-11-05 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 推定装置、推定方法及びコンピュータプログラム
KR20190114340A (ko) * 2018-03-29 2019-10-10 한국과학기술원 이미지 디블러링(Deblurring) 네트워크 처리방법 및 시스템

Similar Documents

Publication Publication Date Title
KR102009292B1 (ko) 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
JP3512992B2 (ja) 画像処理装置および画像処理方法
US7825948B2 (en) 3D video conferencing
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
CN108629843B (zh) 一种实现增强现实的方法及设备
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
EP3503030A1 (en) Method and apparatus for generating a three-dimensional model
CN110570457B (zh) 一种基于流数据的三维物体检测与跟踪方法
US20080037862A1 (en) Extensible system and method for stereo matching in real-time
JP2017156162A (ja) 情報処理装置、情報処理方法、及びプログラム
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
JP2018101408A (ja) 画像処理のためのシステムおよび方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
US11880964B2 (en) Light field based reflection removal
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
Argyros et al. Binocular hand tracking and reconstruction based on 2D shape matching
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
KR102083293B1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant