WO2020171258A1 - 영상 처리 방법 및 그 장치 - Google Patents

영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
WO2020171258A1
WO2020171258A1 PCT/KR2019/002123 KR2019002123W WO2020171258A1 WO 2020171258 A1 WO2020171258 A1 WO 2020171258A1 KR 2019002123 W KR2019002123 W KR 2019002123W WO 2020171258 A1 WO2020171258 A1 WO 2020171258A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mesh
reference image
image processing
input image
Prior art date
Application number
PCT/KR2019/002123
Other languages
English (en)
French (fr)
Inventor
노준용
이하늬
김범기
김국호
알폰신 이. 를렁줄리
다스트제리디모하마드 레자 카리미
김알렌
이지원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to PCT/KR2019/002123 priority Critical patent/WO2020171258A1/ko
Priority to US17/429,254 priority patent/US11893704B2/en
Priority to KR1020197026861A priority patent/KR102233606B1/ko
Publication of WO2020171258A1 publication Critical patent/WO2020171258A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G06T3/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

일 실시예에 따른 영상 처리 장치는 연속된 프레임들의 입력 영상과 참조 영상에 기초하여 픽셀 단위의 광학 흐름 정보를 추정하고, 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정한다. 영상 처리 장치는 시간 일관성에 대응하는 텀 및 광학 흐름 정보에 기초하여 메쉬를 결정하고, 메쉬에 기초하여 참조 영상을 변형한다. 영상 처리 장치는 입력 영상, 변형된 참조 영상 및 마스크 데이터에 기초하여 영상 블렌딩을 수행한다.

Description

영상 처리 방법 및 그 장치
아래 실시예들은 영상 처리 방법 및 그 장치에 관한 것으로, 보다 구체적으로 레퍼런스 이미지데이터 정보를 활용한 최적화 메쉬 변형에 기초하여 구면 좌표계 영상의 객체를 제거하는 기법에 관한 것이다.
최근 다양한 360 파노라마 VR 카메라들의 등장으로 보다 손쉽게 360 파노라마 동영상 촬영 및 제작이 가능해졌다. 그러나 이러한 파노라마 촬영은 360도 전방향의 촬영이 한번에 이루어짐으로써 촬영 스탭(staff) 및/또는 촬영 장비가 영상에 포함되는 것이 불가피하며, 촬영 후 보정이 반드시 필요하다.
본 발명은 사용자 입력 도구를 제공하여 객체의 선택 및 추적을 가능하게 하여 파노라마 영상 편집의 시간의 간소화 및 비용 절감을 가능하게 한다.
일 측에 따른 영상 처리 방법은 연속된 프레임들의 입력 영상을 수신하는 단계; 상기 입력 영상에 대응하는 참조 영상을 수신하는 단계; 상기 입력 영상과 상기 참조 영상에 기초하여, 픽셀 단위의 광학 흐름 정보를 추정하는 단계; 상기 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정하는 단계; 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보에 기초하여 메쉬를 결정하는 단계; 상기 메쉬에 기초하여, 상기 참조 영상을 변형하는 단계; 및 상기 입력 영상, 상기 변형된 참조 영상, 및 상기 입력 영상의 프레임들에 포함된 홀(hole)을 지시하는 마스크 데이터에 기초하여, 영상 블렌딩을 수행하는 단계를 포함한다.
상기 메쉬를 결정하는 단계는 상기 시간 일관성에 대응하는 텀의 제1 가중치 및 상기 광학 흐름 정보의 제2 가중치에 기초하여, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보의 조합에 따른 상기 메쉬의 타겟 포인트들의 위치를 결정하는 단계를 포함할 수 있다.
상기 시간 일관성에 대응하는 텀은 이전 프레임의 메쉬 위치에 기초하여 결정될 수 있다.
상기 참조 영상을 변형하는 단계는 상기 메쉬의 기하학적 구조에 따라, 상기 메쉬에 포함되는 픽셀들의 값을 상기 참조 영상으로부터 획득하는 단계를 포함할 수 있다.
상기 영상 블렌딩을 수행하는 단계는 상기 홀에 해당하는 픽셀의 값을 상기 변형된 참조 영상으로부터 획득하는 단계; 및 상기 홀의 주변에 위치하는 픽셀의 값을 상기 입력 영상 및 상기 변형된 참조 영상의 조합에 따라 결정하는 단계를 포함할 수 있다.
상기 영상 처리 방법은 상기 입력 영상으로부터 제1 특징점들을 추출하는 단계; 상기 참조 영상으로부터 제2 특징점들을 추출하는 단계; 및 상기 제1 특징점들과 상기 제2 특징점들을 매칭함으로써, 전처리를 수행하는 단계를 더 포함할 수 있다.
상기 전처리를 수행하는 단계는 상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 회전을 제거하는 단계를 포함할 수 있다.
상기 전처리를 수행하는 단계는 상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 색상 차이를 추정하는 단계를 포함하고, 상기 참조 영상을 변형하는 단계는 상기 색상 차이에 더 기초하여, 상기 참조 영상을 변형하는 단계를 포함할 수 있다.
상기 색상 차이에 더 기초하여 상기 참조 영상을 변형하는 단계는 상기 메쉬의 기하학적 구조에 따라, 상기 참조 영상 및 상기 색상 차이에 기초하여 상기 메쉬에 포함되는 픽셀들의 값을 결정하는 단계를 포함할 수 있다.
상기 홀은 상기 입력 영상으로부터 제거된 영역에 해당할 수 있다.
상기 광학 흐름 정보를 추정하는 단계는 상기 입력 영상에 포함된 픽셀들에 대응하여, 상기 참조 영상에 포함된 참조 픽셀들과 상기 픽셀들 사이의 광학 흐름들을 나타내는 벡터들을 추정하는 단계를 포함할 수 있다.
상기 입력 영상은 360도 파노라마 비디오 데이터를 포함할 수 있다.
일 측에 따른 영상 처리 장치는 연속된 프레임들의 입력 영상을 수신하고, 상기 입력 영상에 대응하는 참조 영상을 수신하는 수신부; 상기 입력 영상과 상기 참조 영상에 기초하여, 픽셀 단위의 광학 흐름 정보를 추정하고, 상기 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정하며, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보에 기초하여 메쉬를 결정하고, 상기 메쉬에 기초하여 상기 참조 영상을 변형하는 변형부; 및 상기 입력 영상, 상기 변형된 참조 영상, 및 상기 입력 영상의 프레임들에 포함된 홀(hole)을 지시하는 마스크 데이터에 기초하여, 영상 블렌딩을 수행하는 영상 블렌딩부를 포함한다.
상기 변형부는 상기 메쉬를 결정하기 위하여, 상기 시간 일관성에 대응하는 텀의 제1 가중치 및 상기 광학 흐름 정보의 제2 가중치에 기초하여, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보의 조합에 따른 상기 메쉬의 타겟 포인트들의 위치를 결정할 수 있다.
상기 변형부는 상기 참조 영상을 변형하기 위하여, 상기 메쉬의 기하학적 구조에 따라, 상기 메쉬에 포함되는 픽셀들의 값을 상기 참조 영상으로부터 획득할 수 있다.
상기 영상 블렌딩부는 상기 홀에 해당하는 픽셀의 값을 상기 변형된 참조 영상으로부터 획득하고, 상기 홀의 주변에 위치하는 픽셀의 값을 상기 입력 영상 및 상기 변형된 참조 영상의 조합에 따라 결정할 수 있다.
상기 변형부는 상기 광학 흐름 정보를 추정하기 위하여, 상기 입력 영상에 포함된 픽셀들에 대응하여, 상기 참조 영상에 포함된 참조 픽셀들과 상기 픽셀들 사이의 광학 흐름들을 나타내는 벡터들을 추정할 수 있다.
상기 영상 처리 장치는 상기 입력 영상으로부터 제1 특징점들을 추출하고, 상기 참조 영상으로부터 제2 특징점들을 추출하며, 상기 제1 특징점들과 상기 제2 특징점들을 매칭함으로써 전처리를 수행하는 전처리부를 더 포함할 수 있다.
상기 전처리부는 상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 회전을 제거할 수 있다.
상기 전처리부는 상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 색상 차이를 추정할 수 있다. 이 경우, 상기 변형부는 상기 색상 차이에 더 기초하여, 상기 참조 영상을 변형할 수 있다.
도 1은 일 실시예에 따른 영상 처리 방법을 설명하는 도면.
도 2는 일 실시예에 따른 레퍼런스 이미지 데이터 정보를 활용한 최적화 메쉬 변형 기반 구면 좌표계 영상 인페인팅 방법을 나타낸 동작 흐름도.
도 3은 일 실시예에 따른 영상 특징점 매칭을 통한 회전 변환 제거 방법을 설명하는 도면.
도 4a는 일 실시예에 따른 픽셀 단위의 광학 흐름 정보를 도시한 도면.
도 4b는 일 실시예에 따른 픽셀 단위의 광학 흐름 정보를 이용한 메쉬 기반 영상 변형을 도시한 도면.
도 5는 일 실시예에 따른 마스크 영역 기반 이미지 블렌딩 기법을 설명하는 도면.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 영상 처리 방법을 설명하는 도면이다. 영상 처리 방법은 영상 처리 장치에 의하여 수행될 수 있고, 영상 처리 장치는 하나 또는 그 이상의 소프트웨어 모듈, 하나 또는 그 이상의 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다.
영상 처리 장치는 입력 데이터(110)와 레퍼런스(reference) 데이터(120)를 수신한다. 입력 데이터(110)는 제거할 객체를 포함하는 영상이고, 레퍼런스 데이터(120)는 객체를 포함하지 않고 해당하는 위치의 배경 값을 가지는 참조 영상일 수 있다. 영상 처리 장치는 입력 데이터(110)와 레퍼런스 데이터(120) 사이의 특징점들을 매칭하여, 입력 데이터(110)와 레퍼런스 데이터(120) 사이의 회전을 제거할 수 있다(130).
영상 처리 장치는 광학 흐름 정보(162)와 시간적 일관성을 고려하여 레퍼런스 데이터(120)를 변형한다. 레퍼런스 데이터(120)의 변형 방법에 관한 보다 상세한 사항은 후술한다. 영상 처리 장치는 변형된 레퍼런스 데이터(140) 및 마스크 정보(161)에 기초하여 입력 데이터(110) 내 객체를 제거한 출력 영상(150)을 생성한다.
일 실시예에 따른 '레퍼런스 데이터를 활용한 고품질 반자동 객체 제거 기술'은 다음과 같은 동작들을 통하여 수행될 수 있다.
1) 객체를 제거하고자 하는 인풋 비디오에 대하여, 같은 장소에서 촬영된 레퍼런스 촬영 데이터에 나타난 배경 정보를 활용해 객체를 제거하는 기술
2) 입력 이미지와 레퍼런스 이미지 사이의 시점 차이를 최소화하기 위해 영상 특징점 추출 및 매칭을 통해 카메라의 회전 값을 추정
3) 추정된 회전 행렬을 역으로 적용하여 회전 변화의 차이를 최소화
4) 사용자 입력 마스크를 통해 구분된 제거 영역에 대하여 레퍼런스 영상의 영상 패치를 가져와 계산된 광학 흐름 정보에 대하여 변형 및 블렌딩
5) 영상의 변형 시 시간적 일관성 유지를 위한 추가적인 텀 추가
실시예들에 따른 기술적 기대효과로, 동일 공간에서 촬영된 레퍼런스 이미지 정보를 활용하여 2차원 다항식 모델 추정을 통한 고해상도(예를 들어, 4K급 품질)의 360도 영상에 대해 높은 퀄리티(예를 들어, 평균 정확도 RMSE 10 이하)로 객체를 제거하는 것이 가능하다.
실시예들은 콘텐츠 산업에 적용됨으로써, 다음과 같은 측면에서 VR 콘텐츠의 효과적인 생산에 기여할 수 있다.
1) VR 촬영 장비의 경우 넓은 화각을 촬영하는 과정에서 불필요하거나 원하지 않던 객체가 함께 촬영되는 경우가 많음
2) 연속되는 프레임 정보에서 광학흐름 정보를 추정하여 이를 2차원 다항식 모델 추정을 통해 복원 및 원하는 객체를 제거할 수 있음
3) 본 인페인팅 기술은 파노라마 영상 편집의 자유도를 높이기 위한 기본이 되는 기술이며 기술 활용도가 높음
또한, 다음과 같은 측면에서 다면 극장 전용 콘텐츠의 효과적인 생산에도 기여할 수 있다.
1) 360 파노라마 영상에서 실감형 콘텐츠로의 변환을 통해 다면 상영용 콘텐츠 제작 효율을 극대화
2) 360 VR 파노라마 콘텐츠의 활용도 증가
3) 일반 콘텐츠의 저비용, 고효율로 몰입형 콘텐츠로의 변환이 가능하여 콘텐츠 활용도 증가
도 2는 일 실시예에 따른 레퍼런스 이미지 데이터 정보를 활용한 최적화 메쉬 변형 기반 구면 좌표계 영상 인페인팅 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 영상 처리 장치는 같은 공간에서 촬영된 레퍼런스 데이터 정보를 활용하여 광학 흐름 정보 기반의 메쉬 변형 및 최적화 결합을 통해 고품질 파노라마 영상 편집을 진행한다.
[입력]: 영상 처리 장치는 스탠다드 파노라마 좌표계의 '360 파노라마 입력 비디오(210)' I와 '레퍼런스 이미지(220)'
Figure PCTKR2019002123-appb-img-000001
를 입력으로 받는다. 입력 비디오(210) 및/또는 레퍼런스 이미지(220)는 360 영상을 표현하기 위한 좌표계에 기반하며, 예를 들어 가로 수평 회전과 세로 수직 회전으로 이루어진 구면좌표계로 이루어져 있을 수 있다. 영상 처리 장치는 사용자 입력 마스크(225)를 통해 제거하고자 하는 객체의 영역을 입력받는다. 일 예로, 사용자 입력 마스크(225)는 베지어 메쉬 기반의 사용자 입력 도구를 활용하여 손쉽게 생성될 수 있다.
[특징점 매칭 기반 파노라마 회전 제거]: 영상 처리 장치는 I와
Figure PCTKR2019002123-appb-img-000002
의 시점 차이를 최소화하기 위해 각 데이터에 대한 특징점을 추출(231, 232)할 수 있다. 영상 처리 장치는 각 데이터에서 추출된 특징점의 매칭(235)을 통해 서로 다른 데이터의 대응 관계를 찾고, 회전 행렬을 구할 수 있다. 영상 처리 장치는 추정된 회전 행렬을 이용하여 입력 데이터(210)(예를 들어, 파노라마 영상)의 촬영 시 발생된 비균일한 회전을 레퍼런스 데이터에 맞춰 제거(240)할 수 있다.
도 3은 일 실시예에 따른 영상 특징점 매칭을 통한 회전 변환 제거 방법을 설명하는 도면이다. 도 3을 참조하면, 입력 영상(310)과 레퍼런스 영상(320) 사이의 특징점들을 매칭하는 과정을 도시한다. 영상 처리 장치는 매칭된 특징점들을 기반으로 두 영상들 사이의 회전 매트릭스를 추정하고, 회전 매트릭스를 이용하여 입력 영상(310)을 회전시킬 수 있다. 물론 설계에 따라, 영상 처리 장치는 입력 영상(310) 대신 레퍼런스 영상(320)을 회전시킬 수도 있다.
[매칭 영역 기반 색상 맞춤 변형]: 영상 처리 장치는 대응 영역의 색상 값의 차이에 기초하여 색상 변형(245)을 통해 서로 다른 데이터의 색상 정보를 일치시킨다. 예를 들어, 입력 데이터(210)의 촬영 환경과 레퍼런스 데이터(220)의 촬영 환경이 일치하지 않을 수 있다. 촬영 환경은 촬영 시간대, 촬영 장비나 노출 값 등의 설정, 촬영 시 날씨나 하늘의 색상 등 다양한 환경적 요소들을 포함할 수 있다. 이로 인하여, 입력 데이터(210)와 레퍼런스 데이터(220)를 동일한 장소에서 촬영하였음에도 불구하고, 두 데이터 간 색상 차이가 발생할 수 있다. 영상 처리 장치는 특징점 매칭 결과에 기반하여, 레퍼런스 데이터(220)의 색상을 입력 데이터(210)의 색상에 맞추는 변형을 할 수 있다. 단계(245)의 출력으로 레퍼런스 데이터(220)에 포함된 픽셀의 색상이 어떻게 변형되어야 하는지를 지시하는 정보가 출력될 수 있다.
[메쉬 기반 이미지 변형]: 영상 처리 장치는 회전 제거된 입력 데이터(250)와 레퍼런스 데이터(220) 사이의 픽셀 단위 광학 흐름 정보를 추정(251)한다. 이를 통해 영상 처리 장치는 두 데이터(250, 220) 사이의 기하 위치 정보의 차이를 추정한다. 또한, 영상 처리 장치는 프레임간 시간 일관성을 위해 템포럴 텀(temporal term)을 추정(252)한다. 영상 처리 장치는 템포럴 텀과 광학 흐름 정보에 기초하여, 메쉬 기반의 이미지 변형(260)을 수행한다.
광학 흐름 정보는 두 영상 사이에서 픽셀 단위의 광학 흐름(optical flow)을 나타내는 벡터들을 포함할 수 있다. 템포럴 텀은 입력 데이터(210) 내 인접한 프레임(예를 들어, 이전 프레임)에서의 메쉬 구조를 유지하기 위한 바이어스(bias)로 이용될 수 있다. 일 실시예에 따르면, 영상 처리 장치는 템포럴 텀에 대한 가중치 및 광학 흐름 정보에 대한 가중치에 기초하여, 템포럴 텀에 따른 메쉬 구조와 광학 흐름 정보에 따른 메쉬 구조를 조합할 수 있다.
도 4a는 일 실시예에 따른 픽셀 단위의 광학 흐름 정보를 도시한 도면이고, 도 4b는 일 실시예에 따른 픽셀 단위의 광학 흐름 정보를 이용한 메쉬 기반 영상 변형을 도시한 도면이다. 일 예로, 영상 처리 장치는 도 4a의 광학 흐름 정보에 기초하여 도 4b의 메쉬의 타겟 포인트들의 위치를 결정할 수 있다. 픽셀 단위가 아닌 메쉬 단위로 이미지를 변형함으로써, 픽셀 단위 정보의 에러-프론(error-prone) 특성이 완화될 수 있다. 또한, 영상 처리 장치는 템포럴 텀을 함께 고려하여 메쉬의 타겟 포인트들의 위치를 결정함으로써, 프레임 단위로 발생하는 떨림 현상을 방지할 수 있다.
영상 처리 장치는 전술한 최적화 이미지 변형을 통해 두 데이터(250, 220)의 기하 정보를 일치시킨다. 예를 들어, 영상 처리 장치는 레퍼런스 데이터(220), 색상 변형 정보, 및 메쉬 정보에 기초하여 레퍼런스 데이터(220)를 변형할 수 있다. 영상 처리 장치는 메쉬 정보에 포함된 메쉬의 구조에 따라, 메쉬 내 포함된 픽셀의 값을 레퍼런스 데이터(220) 및 색상 변형 정보에 기초하여 결정할 수 있다.
[마스크 영역 기반 이미지 블렌딩]: 영상 처리 장치는 사용자 입력 마스크225)를 통해 구분된 제거 영역(예를 들어, 홀 영역)에 대하여 변형 레퍼런스 이미지의 블렌딩(280)을 수행함으로써, 객체 제거된 360 파노라마 비디오(290)를 생성한다.
도 5는 일 실시예에 따른 마스크 영역 기반 이미지 블렌딩 기법을 설명하는 도면이다. 도 5를 참조하면, 마스크 영역(510) 및 그 주변 영역(520)이 도시된다. 영상 처리 장치는 변형된 레퍼런스 데이터(270)에 기초하여 마스크 영역(510)의 값을 결정할 수 있다. 또한, 영상 처리 장치는 주변 영역(520)의 값을 결정할 때, 입력 데이터(210)와 변형된 레퍼런스 데이터(270)를 함께 고려(예를 들어, 두 데이터의 평균 값을 이용)함으로써 제거된 객체와 주변 배경과의 경계를 스무딩(smoothing)하는 효과를 줄 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 연속된 프레임들의 입력 영상을 수신하는 단계;
    상기 입력 영상에 대응하는 참조 영상을 수신하는 단계;
    상기 입력 영상과 상기 참조 영상에 기초하여, 픽셀 단위의 광학 흐름 정보를 추정하는 단계;
    상기 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정하는 단계;
    상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보에 기초하여 메쉬를 결정하는 단계;
    상기 메쉬에 기초하여, 상기 참조 영상을 변형하는 단계; 및
    상기 입력 영상, 상기 변형된 참조 영상, 및 상기 입력 영상의 프레임들에 포함된 홀(hole)을 지시하는 마스크 데이터에 기초하여, 영상 블렌딩을 수행하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 메쉬를 결정하는 단계는
    상기 시간 일관성에 대응하는 텀의 제1 가중치 및 상기 광학 흐름 정보의 제2 가중치에 기초하여, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보의 조합에 따른 상기 메쉬의 타겟 포인트들의 위치를 결정하는 단계
    를 포함하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 시간 일관성에 대응하는 텀은
    이전 프레임의 메쉬 위치에 기초하여 결정되는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 참조 영상을 변형하는 단계는
    상기 메쉬의 기하학적 구조에 따라, 상기 메쉬에 포함되는 픽셀들의 값을 상기 참조 영상으로부터 획득하는 단계
    를 포함하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 영상 블렌딩을 수행하는 단계는
    상기 홀에 해당하는 픽셀의 값을 상기 변형된 참조 영상으로부터 획득하는 단계; 및
    상기 홀의 주변에 위치하는 픽셀의 값을 상기 입력 영상 및 상기 변형된 참조 영상의 조합에 따라 결정하는 단계
    를 포함하는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 입력 영상으로부터 제1 특징점들을 추출하는 단계;
    상기 참조 영상으로부터 제2 특징점들을 추출하는 단계; 및
    상기 제1 특징점들과 상기 제2 특징점들을 매칭함으로써, 전처리를 수행하는 단계
    를 더 포함하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 전처리를 수행하는 단계는
    상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 회전을 제거하는 단계
    를 포함하는, 영상 처리 방법.
  8. 제6항에 있어서,
    상기 전처리를 수행하는 단계는
    상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 색상 차이를 추정하는 단계
    를 포함하고,
    상기 참조 영상을 변형하는 단계는
    상기 색상 차이에 더 기초하여, 상기 참조 영상을 변형하는 단계
    를 포함하는, 영상 처리 방법.
  9. 제8항에 있어서,
    상기 색상 차이에 더 기초하여, 상기 참조 영상을 변형하는 단계는
    상기 메쉬의 기하학적 구조에 따라, 상기 참조 영상 및 상기 색상 차이에 기초하여 상기 메쉬에 포함되는 픽셀들의 값을 결정하는 단계
    를 포함하는, 영상 처리 방법.
  10. 제1항에 있어서,
    상기 홀은
    상기 입력 영상으로부터 제거된 영역에 해당하는, 영상 처리 방법.
  11. 제1항에 있어서,
    상기 광학 흐름 정보를 추정하는 단계는
    상기 입력 영상에 포함된 픽셀들에 대응하여, 상기 참조 영상에 포함된 참조 픽셀들과 상기 픽셀들 사이의 광학 흐름들을 나타내는 벡터들을 추정하는 단계
    를 포함하는, 영상 처리 방법.
  12. 제1항에 있어서,
    상기 입력 영상은
    360도 파노라마 비디오 데이터를 포함하는, 영상 처리 방법.
  13. 제1항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  14. 연속된 프레임들의 입력 영상을 수신하고, 상기 입력 영상에 대응하는 참조 영상을 수신하는 수신부;
    상기 입력 영상과 상기 참조 영상에 기초하여, 픽셀 단위의 광학 흐름 정보를 추정하고, 상기 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정하며, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보에 기초하여 메쉬를 결정하고, 상기 메쉬에 기초하여 상기 참조 영상을 변형하는 변형부; 및
    상기 입력 영상, 상기 변형된 참조 영상, 및 상기 입력 영상의 프레임들에 포함된 홀(hole)을 지시하는 마스크 데이터에 기초하여, 영상 블렌딩을 수행하는 영상 블렌딩부
    를 포함하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 변형부는
    상기 메쉬를 결정하기 위하여,
    상기 시간 일관성에 대응하는 텀의 제1 가중치 및 상기 광학 흐름 정보의 제2 가중치에 기초하여, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보의 조합에 따른 상기 메쉬의 타겟 포인트들의 위치를 결정하는,
    영상 처리 장치.
  16. 제14항에 있어서,
    상기 변형부는
    상기 참조 영상을 변형하기 위하여,
    상기 메쉬의 기하학적 구조에 따라, 상기 메쉬에 포함되는 픽셀들의 값을 상기 참조 영상으로부터 획득하는,
    영상 처리 장치.
  17. 제14항에 있어서,
    상기 영상 블렌딩부는
    상기 홀에 해당하는 픽셀의 값을 상기 변형된 참조 영상으로부터 획득하고, 상기 홀의 주변에 위치하는 픽셀의 값을 상기 입력 영상 및 상기 변형된 참조 영상의 조합에 따라 결정하는,
    영상 처리 장치.
  18. 제14항에 있어서,
    상기 홀은
    상기 입력 영상으로부터 제거된 영역에 해당하는, 영상 처리 장치.
  19. 제14항에 있어서,
    상기 변형부는
    상기 광학 흐름 정보를 추정하기 위하여,
    상기 입력 영상에 포함된 픽셀들에 대응하여, 상기 참조 영상에 포함된 참조 픽셀들과 상기 픽셀들 사이의 광학 흐름들을 나타내는 벡터들을 추정하는,
    영상 처리 장치.
  20. 제14항에 있어서,
    상기 입력 영상은
    360도 파노라마 비디오 데이터를 포함하는, 영상 처리 장치.
PCT/KR2019/002123 2019-02-21 2019-02-21 영상 처리 방법 및 그 장치 WO2020171258A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/002123 WO2020171258A1 (ko) 2019-02-21 2019-02-21 영상 처리 방법 및 그 장치
US17/429,254 US11893704B2 (en) 2019-02-21 2019-02-21 Image processing method and device therefor
KR1020197026861A KR102233606B1 (ko) 2019-02-21 2019-02-21 영상 처리 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/002123 WO2020171258A1 (ko) 2019-02-21 2019-02-21 영상 처리 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2020171258A1 true WO2020171258A1 (ko) 2020-08-27

Family

ID=72144108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002123 WO2020171258A1 (ko) 2019-02-21 2019-02-21 영상 처리 방법 및 그 장치

Country Status (3)

Country Link
US (1) US11893704B2 (ko)
KR (1) KR102233606B1 (ko)
WO (1) WO2020171258A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050008246A (ko) * 2003-07-14 2005-01-21 (주)워치비젼 스포츠 비디오에서 카메라 모션 분석을 통한 그래픽 영상객체 합성 구현 장치 및 방법
KR20110074128A (ko) * 2009-12-24 2011-06-30 연세대학교 산학협력단 비디오 객체 변형 장치
US20140254882A1 (en) * 2013-03-11 2014-09-11 Adobe Systems Incorporated Optical Flow with Nearest Neighbor Field Fusion
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
KR20180119696A (ko) * 2016-04-06 2018-11-02 페이스북, 인크. 이미지 사이의 광학 흐름의 효율적 결정

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053374A1 (en) * 2009-10-30 2011-05-05 Zoran Corporation Method and apparatus for image detection with undesired object removal
KR101633634B1 (ko) * 2014-02-27 2016-06-27 주식회사 세방에스디엘 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치
JP6218237B2 (ja) * 2014-06-09 2017-10-25 Kddi株式会社 撮影画像を平行化する画像変換プログラム、装置及び方法
EP3251086A1 (en) * 2015-01-30 2017-12-06 Thomson Licensing Method and apparatus for generating an initial superpixel label map for an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050008246A (ko) * 2003-07-14 2005-01-21 (주)워치비젼 스포츠 비디오에서 카메라 모션 분석을 통한 그래픽 영상객체 합성 구현 장치 및 방법
KR20110074128A (ko) * 2009-12-24 2011-06-30 연세대학교 산학협력단 비디오 객체 변형 장치
US20140254882A1 (en) * 2013-03-11 2014-09-11 Adobe Systems Incorporated Optical Flow with Nearest Neighbor Field Fusion
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
KR20180119696A (ko) * 2016-04-06 2018-11-02 페이스북, 인크. 이미지 사이의 광학 흐름의 효율적 결정

Also Published As

Publication number Publication date
US20220101488A1 (en) 2022-03-31
US11893704B2 (en) 2024-02-06
KR20200103527A (ko) 2020-09-02
KR102233606B1 (ko) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2019139234A1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
CN106709894B (zh) 一种图像实时拼接方法及系统
CN110493512B (zh) 摄影构图方法、装置、摄影设备、电子装置及存储介质
WO2020017829A1 (ko) 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치
WO2021101097A1 (en) Multi-task fusion neural network architecture
WO2021049784A2 (ko) Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
CN114765667A (zh) 用于多视图拼接的固定图案校准
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN103500471A (zh) 实现高分辨率增强现实系统的方法
WO2020171258A1 (ko) 영상 처리 방법 및 그 장치
EP2859727A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2022025565A1 (en) System and method for generating bokeh image for dslr quality depth-of-field rendering and refinement and training method for the same
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치
WO2020235979A1 (ko) 포인트 클라우드 기반 데이터를 렌더링하는 방법 및 장치
KR102203109B1 (ko) 인공 신경망에 기반한 영상 처리 방법 및 장치
CN109389367B (zh) 人员考勤方法、装置及存储介质
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2023109389A1 (zh) 图像融合方法、装置、计算机设备及计算机可读存储介质
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915649

Country of ref document: EP

Kind code of ref document: A1