KR20170109465A - 영상 재구성 장치 및 방법 - Google Patents

영상 재구성 장치 및 방법 Download PDF

Info

Publication number
KR20170109465A
KR20170109465A KR1020160033664A KR20160033664A KR20170109465A KR 20170109465 A KR20170109465 A KR 20170109465A KR 1020160033664 A KR1020160033664 A KR 1020160033664A KR 20160033664 A KR20160033664 A KR 20160033664A KR 20170109465 A KR20170109465 A KR 20170109465A
Authority
KR
South Korea
Prior art keywords
mesh
image
vertices
target image
warping
Prior art date
Application number
KR1020160033664A
Other languages
English (en)
Other versions
KR102455843B1 (ko
Inventor
신홍창
박영수
이진환
이광순
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160033664A priority Critical patent/KR102455843B1/ko
Publication of KR20170109465A publication Critical patent/KR20170109465A/ko
Application granted granted Critical
Publication of KR102455843B1 publication Critical patent/KR102455843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G06T3/0006—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

영상 재구성 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 영상 재구성 장치는 입력 영상들을 영상 분할(IMAGE SEGMENTATION) 기법을 이용하여 세그먼트단위로 분할하는 영상 분할부; 상기 세그먼트의 크기에 상응하는 메시를 구성하는 메시 구성부; 상기 메시의 특징점을 추출하여 상기 입력 영상들 간의 특징점들을 대응시키는 특징점 정합부; 대응된 특징점들에 기반하여 목표 영상의 특징점의 위치를 산출하고, 산출된 위치에 상기 메시를 워핑하는 메시 워핑부; 상기 입력 영상의 픽셀을 상기 목표 영상에 텍스처 매핑(TEXTURE MAPPING)하는 텍스처 매핑부 및 상기 목표 영상의 빈 영역을 주변 픽셀을 참조하여 보간 하는 것으로 최종 영상을 생성하는 영상 생성부를 포함한다.

Description

영상 재구성 장치 및 방법 {APPARATUS FOR RECONSTRUCTING IMAGE AND METHOD USING THE SAME}
본 발명은 영상의 왜곡을 최소화하면서, 영상을 재구성하는 기술에 관한 것이다.
영상 워핑(IMAGE WARPING)은 영상에서 원래 영상의 화소의 위치를 바꾸어 영상의 형태를 변형시키는 것이다. 영상 워핑은 특정한 규칙에 따라 입력 영상의 크기, 길이, 두께 등 영상의 형태를 변형시킬 수 있다. 이러한 영상 워핑은 초기에는 인공위성과 우주선으로부터 수신된 영상들의 왜곡(DISTORTION)을 복원하는데 사용되었으나, 현재는 카메라로부터 촬영된 영상의 변형 및 복원 또는 영화의 특수효과에 많이 사용되고 있다. 이러한 영상 워핑 기술에는 메시 영상 워핑이 있다. 메시 영상 워핑은 영상의 특징점을 기준으로 워핑하는데 유용하게 사용되며, 입력 영상의 특정 부위에 삼각형 또는 사각형 모양으로 메시 그룹을 형성하여 그룹 단위로 영상 워핑을 수행하는 방법이다.
그러나, 이러한 메시 영상 워핑은 메시 그룹의 면적이 너무 작게 세분화 된 경우, 영상 워핑의 처리 속도가 감소하고, 영상에 왜곡이 발생하며 객체의 엣지에 노이즈가 발생하는 문제점이 존재한다.
한편, 한국공개특허 제 2014-0102999 호 "영상 워핑을 위한 장치 및 방법" 는 스테레오 원본 영상의 희소 변이 정보를 기반으로 차폐영역 정보의 변이를 보간하고, 변이 보간된 차폐영역 정보에 따라 스테레오 원본 영상의 메시 워핑 시 차폐영역과 비차폐 영역을 구분하여 가상 중간시점 영상을 생성하는 기술에 관하여 개시하고 있다.
그러나, 한국공개특허 제 2014-0102999 호는 메시 영상 워핑시 발생하는 영상 왜곡에 대하여 메시를 변형하고, 최적화하는 과정에 대해서는 침묵하고 있다.
본 발명은 영상을 재구성하기 위하여 영상 워핑을 이용할 때, 발생하는 영상 왜곡을 최소화하는 것을 목적으로 한다.
또한, 본 발명은 영상의 왜곡을 최소화하기 위하여, 목표 영상에 워핑된 메시를 최적화하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 재구성 장치는 입력 영상들을 영상 분할(IMAGE SEGMENTATION) 기법을 이용하여 세그먼트 단위로 분할하는 영상 분할부; 상기 세그먼트의 크기에 상응하는 메시를 구성하는 메시 구성부; 상기 메시의 특징점을 추출하여 제1 입력 영상의 특징점들과 제2 입력 영상의 특징점들을 대응시키는 특징점 정합부; 대응된 특징점들에 기반하여 목표 영상의 특징점의 위치를 산출하고, 산출된 위치에 상기 제1 입력 영상의 메시를 워핑하는 메시 워핑부; 상기 제1 입력 영상의 픽셀들을 상기 목표 영상에 텍스처 매핑(TEXTURE MAPPING)하는 텍스처 매핑부 및 상기 목표 영상의 빈 영역에 주변 픽셀을 참조하여 보간 하는 것으로 최종 영상을 생성하는 영상 생성부를 포함한다.
이 때, 상기 영상 분할부는 상기 입력 영상들의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화할 수 있다.
이 때, 상기 메시 워핑부는 상기 대응된 특징점들과, 상기 입력 영상들 사이에 위치된 상기 목표 영상의 위치에 기반하여 상기 목표 영상의 제1 특징점을 산출할 수 있다.
이 때, 상기 메시 워핑부는 상기 제1 특징점의 메시의 꼭지점들에 상응하는 상기 메시의 정점들의 중심 좌표(barycentric coordinates)로부터 관계 계수들을 산출할 수 있다.
이 때, 상기 메시 워핑부는 상기 목표 영상의 제1 특징점과 상기 관계 계수들을 이용하여 상기 목표 영상의 정점들을 산출할 수 있다.
이 때, 상기 메시 워핑부는 상기 목표 영상의 정점들 및 상기 관계 계수들를 이용하여 상기 목표 영상의 제2 특징점을 산출할 수 있다.
이 때, 상기 메시 워핑부는 상기 목표 영상의 제1 특징점과 제2 특징점 간의 오차가 최소가 되는 메시의 정점들을 산출하고, 상기 제1 입력 영상의 메시를 상기 오차가 최소가 되는 메시의 정점들에 워핑할 수 있다.
이 때, 상기 메시 워핑부는 상기 목표 영상에 워핑된 메시의 정점들을 이용하여 산출된 하나의 최적 정점과, 상기 산출된 하나의 최적 정점에 상응하는 상기 워핑된 메시의 정점 간의 오차값이 최소화되도록 나머지 최적 정점들을 산출하고, 산출된 모든 최적 정점들에 기반하여 상기 워핑된 메시를 변형시킬 수 있다.
이 때, 상기 텍스처 매핑부는 상기 메시의 정점들의 개수에 기반한 변환 기법을 이용하여 워핑 전후 정점들의 변화를 반영하는 변환 행렬을 산출할 수 있다.
이 때, 상기 텍스처 매핑부는 상가 변환 행렬을 이용하여 상기 제1 입력 영상의 픽셀들을 상기 목표 영상으로 상기 텍스처 매핑을 수행할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 재구성 방법은 영상 재구성 장치를 이용하는 방법에 있어서, 입력 영상들을 영상 분할(IMAGE SEGMENTATION) 기법을 이용하여 세그먼트 단위로 분할하는 단계; 상기 세그먼트의 크기에 상응하는 메시를 구성하는 단계; 상기 메시의 특징점을 추출하여 제1 입력 영상의 특징점들과 제2 입력 영상의 특징점들을 대응시키는 단계; 대응된 특징점들에 기반하여 목표 영상의 특징점의 위치를 산출하고, 산출된 위치에 상기 제1 입력 영상의 메시를 워핑하는 단계; 상기 제1 입력 영상의 픽셀들을 상기 목표 영상에 텍스처 매핑(TEXTURE MAPPING)하는 단계 및 상기 목표 영상의 빈 영역에 주변 픽셀을 참조하여 보간 하는 것으로 최종 영상을 생성하는 단계를 포함한다.
이 때, 상기 분할하는 단계는 상기 입력 영상의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화할 수 있다.
이 때, 상기 워핑하는 단계는 상기 대응된 특징점들과, 상기 입력 영상들 사이에 위치된 상기 목표 영상의 위치에 기반하여 상기 목표 영상의 제1 특징점을 산출할 수 있다.
이 때, 상기 워핑하는 단계는 상기 제1 특징점의 메시의 꼭지점들에 상응하는 상기 메시의 정점들의 중심 좌표(barycentric coordinates)로부터 관계 계수들을 산출할 수 있다.
이 때, 상기 워핑하는 단계는 상기 목표 영상의 제1 특징점과 상기 관계 계수들을 이용하여 상기 목표 영상의 정점들을 산출할 수 있다.
이 때, 상기 워핑하는 단계는 상기 목표 영상의 정점들 및 상기 관계 계수들를 이용하여 상기 목표 영상의 제2 특징점을 산출할 수 있다.
이 때, 상기 워핑하는 단계는 상기 목표 영상의 제1 특징점과 제2 특징점 간의 오차가 최소가 되는 메시의 정점들을 산출하고, 상기 제1 입력 영상의 메시를 상기 오차가 최소가 되는 메시의 정점들에 워핑할 수 있다.
이 때, 상기 워핑하는 단계는 상기 목표 영상에 워핑된 메시의 정점들을 이용하여 산출된 하나의 최적 정점과, 상기 산출된 하나의 최적 정점에 상응하는 상기 워핑된 메시의 정점 간의 오차값이 최소화되도록 나머지 최적 정점들을 산출하고, 산출된 모든 최적 정점들에 기반하여 상기 워핑된 메시를 변형시킬 수 있다.
이 때, 상기 텍스처 매핑하는 단계는 상기 메시의 정점들의 개수에 기반한 변환 기법을 이용하여 워핑 전후 정점들의 변화를 반영하는 변환 행렬을 산출할 수 있다.
이 때, 상기 텍스처 매핑하는 단계는 상가 변환 행렬을 이용하여 상기 제1 입력 영상의 픽셀들을 상기 목표 영상으로 상기 텍스처 매핑을 수행할 수 있다.
본 발명은 영상을 재구성하기 위하여 영상 워핑을 이용할 때, 발생하는 영상 왜곡을 최소화할 수 있다.
또한, 본 발명은 영상의 왜곡을 최소화하기 위하여, 목표 영상에 워핑된 메시를 최적화할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 재구성 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 재구성 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명의 일실시예에 따른 블록단위로 분할된 영상을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 분할된 세그먼트에 생성된 메시를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 메시 내부에 특징점을 나타낸 도면이다.
도 6은 도 5에 도시된 특징점을 산출하기 위한 삼각형의 중심 좌표계를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 메시가 워핑되어 형태가 최적화되는 과정을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 메시가 워핑되어 메시의 형태가 변형된 것을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 메시가 변환 행렬을 이용하여 워핑되는 것을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 재구성 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 영상 재구성 장치는 영상 분할부(110), 메시 구성부(120), 특징점 정합부(130), 메시 워핑부(140), 텍스처 매핑부(150) 및 영상 생성부(160)을 포함한다.
영상 분할부(110)는 영상들을 입력 받아 영상 분할(IMAGE SEMEENTATION) 기법을 이용하여 세그먼트 단위로 분할할 수 있다. 이 때, 영상들은 시점이 다른 2개의 제1 입력 영상과 제2 입력 영상에 상응할 수 있다. 이 때, 영상 분할 기법은 입력 영상들의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화하여 세그먼트 단위로 분할할 수 있다. 도 3을 참조하면, 입력 영상(301)은 세그먼트 단위로 분할된 것을 알 수 있다.
메시 구성부(120)는 세그먼트의 크기에 상응하는 메시를 구성할 수 있다. 이 때, 메시 구성부(120)는 영상을 분할한 세그먼트들의 크기를 고려하여, 영상을 구성하는 세그먼트 각각에 대하여 메시를 구성할 수 있다. 메시는 세그먼트 하나당 구성될 수 있고, 다른 세그먼트에 구성된 메시와 독립되어 구성될 수 있다. 도 4 를 참조하면, 메시(302)는 하나의 세그먼트 크기에 상응하여 구성된 것을 알 수 있다.
특징점 정합부(130)는 특징점을 추출하여 입력 영상들 간의 특징점들을 대응시킬 수 있다.
먼저, 특징점 정합부(130)는 입력 영상의 특징점을 추출할 수 있다. 특징점 추출은 사용자 입력을 통해 입력될 수 있고, 자동 추출 기법이 이용될 수 있다. 자동 추출 기법은 일반적으로 널리 알려진 스테레오 정합(STEREO MATCHING), 특징점 추출(FEATURE POINT EXTRACTION) 또는 특징점 정합(FEATURE POINT MATCHING) 기법이 이용될 수 있다. 도 5를 참조하면, 세그먼트 크기에 상응하는 메시 내부에 특징점(303)이 추출된 것을 알 수 있다.
이 때, 특징점 정합부(130)는 자동 추출 기법을 이용하여 제1 입력 영상의 추출된 특징점들과 제2 입력 영상의 추출된 특징점들을 1:1로 대응시킬 수 있다.
메시 워핑부(140)는 대응된 특징점들에 기반하여 목표 영상의 특징점을 산출하고, 상기 목표 영상의 특징점에 메시를 워핑할 수 있다.
먼저, 메시 워핑부(140)는 대응된 특징점의 메시를 선택하고, 선택된 메시의 정점들을 이용하여 중심 좌표와 관계 계수들을 산출할 수 있다. 이 때, 메시의 정점들은 특징점을 포함하고 있는 삼각형 형태의 메시의 꼭지점들의 좌표에 상응할 수 있다.
이 때, 메시 워핑부(140)는 정점들의 중심 좌표(BARYCENTRIC COORDINATES)로부터 관계 계수들을 산출할 수 있다. 도 6을 참조하면, 정점들은 v1, v2, v3, 중심 좌표는 p, 중심 좌표로부터 정점들까지 거리는 A1, A2, A3 로 나타낸 것을 알 수 있다. 이 때, 중심 좌표 p 와 관계 계수들 α, β, γ 는 하기 수학식 1로 산출될 수 있다.
[수학식 1]
Figure pat00001
메시 내부의 특징점 Xi(xi,yi) 는 영상 좌표계에서(xi,yi)의 좌표를 가질 수 있으며, 정점들 vi1, vi2, vi3 의 좌표들에 기반하여 수학식 1을 이용하여 하기 수학식 2로 산출될 수 있다.
[수학식 2]
Figure pat00002
메시 워핑부(140)는 수학식 1과 수학식 2를 이용하여 목표 영상의 메시의 특징점의 위치를 산출할 수 있다. 목표 영상의 특징점의 위치는 제1 입력 영상의 특징점과 제2 입력 영상의 특징점 사이의 비례 관계를 이용하여 산출될 수 있다.
예를 들어, 제1 입력 영상의 특징점은 p1(x1,y1)이고, 제2 입력 영상의 특징점이 p2(x2,y2)인 경우, 목표 영상 j 에서의 특징점이 pj(xj,yj) 이고, 목표 영상의 특징점은 하기 수학식 3을 이용하여 산출될 수 있다. 여기서 j는 0<j<1 의 실수 값을 가질 수 있다.
[수학식 3]
Figure pat00003
Figure pat00004
상기 수학식 3을 이용하여 산출된 특징점은 제1 특징점에 상응할 수 있다.
이 때, 메시 워핑부(140)는 산출된 제1 특징점과 관계 계수들을 이용하여 목표 영상의 정점들을 산출할 수 있다. 모든 특징점들은 수학식 2에 기반하여 하기 행렬식으로 표현될 수 있다.
Figure pat00005
행렬식은 관계 계수들을 나타낸 행렬을 A, 정점들의 좌표를 나타낸 행렬을 c, 특징점의 좌표를 나타낸 행렬을 b 라고 놓으면, Ac=b 로 표현될 수 있다. 여기서, 메시 워핑부(140)는 목표 영상의 제1 특징점의 좌표(b`)를 행렬식에 대입할 수 있다. 행렬식은 목표 영상의 정점(c`)들을 구하기 위하여 c`=A- 1b` 로 변형될 수 있다. 즉, 메시 워핑부(140)는 변형된 행렬식을 이용하여 목표 영상에 메시를 워핑할 수 있다. 이 때, 메시 워핑부(140)는 하나의 메시 만을 워핑하는 것이 아니라 하나의 세그먼트를 구성하는 모든 메시들을 워핑 할 수 있으며, 하나의 세그먼트를 구성하는 메시들은 독립적이 아니라 서로의 정점을 공유하고 있기 때문에, 수학식 4를 이용하여 전체 메시의 변형을 최적화 할 수 있다.
[수학식 4]
Figure pat00006
수학식 4에서,
Figure pat00007
부분은 목표 영상으로 워핑된 정점들의 좌표와 관계 계수들을 이용하여 생성된 목표 영상의 제2 특징점을 나타낸 것이다. 이 때,
Figure pat00008
부분은 제1 입력 영상의 특징점(xi,yi)이 목표 영상으로 전방 사상(FORWARD WARPING)된 제1 특징점에 상응할 수 있다. 이 때, 메시 워핑부(140)는 수학식 4에서 E1이 최소값을 갖는 메시의 정점들(v`i1, v`i2, v`i3)을 산출할 수 있다.
또한, 메시 워핑부(140)는 메시의 형태를 최적화하는 과정을 수행할 수 있다. 도 7을 참조하면, 워핑 전 메시(304)가 워핑 후 메시(305)로 메시의 형태가 변형된 것을 알 수 있다. 이 때, 메시 워핑부(140)는 수학식 5와 수학식 6을 이용하여 최적 정점들을 산출하고, 최적화된 메시(306)을 구성할 수 있다.
[수학식 5]
Figure pat00009
Figure pat00010
Figure pat00011
Figure pat00012
Figure pat00013
메시 워핑부(140)는 워핑 후 메시(305)에서 두 정점들(vm1, vm2)에 기반하여 수학식 5를 이용하여 최적화된 정점
Figure pat00014
를 산출할 수 있다.
[수학식 6]
Figure pat00015
이 때, 메시 워핑부(140)는 수학식 6을 이용하여 E2를 최소화하는 목표 영상의 최적 정점들(
Figure pat00016
,
Figure pat00017
,
Figure pat00018
)을 산출할 수 있다.
즉, 메시 워핑부(140)는 상기 E1과 E2를 모두 최소화하는 목표 영상에서의 최적 정점들을 이용하여 워핑된 메시의 변형을 최적화할 수 있다.
텍스처 매핑부(150)는 입력 영상의 픽셀을 목표 영상에 텍스처 매핑(TEXTURE MAPPING) 할 수 있다. 이 때, 텍스처 매핑부(150)는 변환 행렬을 이용하여 제1 입력 영상의 픽셀들을 전방 사상할 수 있고, 변환 역행렬을 이용하여 후방 사상(BACKWARD MAPPING)할 수 있다. 이 때, 텍스처 매핑부(150)는 픽셀들을 사상하여 텍스처 매핑 할 수 있다. 이 때, 변환 행렬은 정점의 개수에 기반하여 아핀 변환(AFFINE TRANSFORMATION) 또는 시점 변환(PERSPECTIVE TRANSFORMATION)을 이용하여 생성될 수 있다. 이 때, 아핀 변환은 3개의 정점을 이용하여 특징점을 산출할 수 있으며, 하기 동차(HOMOGENEOUS) 형태의 행렬식으로 나타낼 수 있다.
Figure pat00019
이 때, 시점 변환은 4개의 정점을 이용하여 특징점을 산출할 수 있으며, 하기 동차 형태의 행렬식으로 나타낼 수 있다.
Figure pat00020
도 9를 참조하면, 원본 메시(311)의 정점(v1, v2, v3, v4)는 변환 행렬(T)을 이용하여 정점(v`1, v`2, v`3, v`4)로 전방 사상되어 변형된 메시(312)로 구성되는 것을 볼 수 있다.
또한, 변형된 메시(312)의 정점(v`1, v`2, v`3, v`4)는 변환 역행렬(T-1)을 이용하여 정점(v1, v2, v3, v4)로 후방 사상되어 원본 메시(311)로 구성되는 것을 볼 수 있다.
영상 생성부(160)는 최종 영상을 생성할 수 있다. 즉, 영상 생성부(160)는 목표 영상의 빈 영역을 보간하는 영상 완성(IMAGE COMPLETION0) 기법을 이용하여 최종 영상을 생성할 수 있다. 이 때, 영상 생성부는 텍스처 매핑 이후에, 목표 영상에 워핑 되지 않은 빈 영역(HOLE)이 존재하는 경우, 공간축/시간축에 기반하여 인접 영역의 유사한 픽셀들을 참조하여 빈 영역을 보간 할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 재구성 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상 재구성 방법은 먼저 영상을 분할한다(S210).
즉, 단계(S210)는 영상들을 입력 받아 영상 분할(IMAGE SEMEENTATION) 기법을 이용하여 세그먼트 단위로 분할할 수 있다. 이 때, 영상들은 시점이 다른 2개의 제1 입력 영상과 제2 입력 영상에 상응할 수 있다. 이 때, 영상 분할 기법은 입력 영상들의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화하여 세그먼트 단위로 분할할 수 있다. 도 3을 참조하면, 입력 영상(301)은 세그먼트 단위로 분할된 것을 알 수 있다.
또한, 영상 재구성 방법은 메시를 구성할 수 있다(S220).
즉, 단계(S220)는 영상을 분할한 세그먼트들의 크기를 고려하여, 영상을 구성하는 세그먼트 각각에 대하여 메시를 구성할 수 있다. 메시는 세그먼트 하나당 구성될 수 있고, 다른 세그먼트에 구성된 메시와 독립되어 구성될 수 있다. 도 4 를 참조하면, 메시(302)는 하나의 세그먼트 크기에 상응하여 구성된 것을 알 수 있다.
또한, 영상 재구성 방법은 특징점을 대응시킬 수 있다(S230).
즉, 단계(S230)는 특징점을 추출하여 입력 영상들 간의 특징점들을 대응시킬 수 있다.
먼저, 단계(S230)는 입력 영상의 특징점을 추출할 수 있다. 특징점 추출은 사용자 입력을 통해 입력될 수 있고, 자동 추출 기법이 이용될 수 있다. 자동 추출 기법은 일반적으로 널리 알려진 스테레오 정합(STEREO MATCHING), 특징점 추출(FEATURE POINT EXTRACTION) 또는 특징점 정합(FEATURE POINT MATCHING) 기법이 이용될 수 있다. 도 5를 참조하면, 세그먼트 크기에 상응하는 메시 내부에 특징점(303)이 추출된 것을 알 수 있다.
이 때, 단계(S230)는 자동 추출 기법을 이용하여 제1 입력 영상의 추출된 특징점들과 제2 입력 영상의 추출된 특징점들을 1:1로 대응시킬 수 있다.
또한, 영상 재구성 방법은 메시를 워핑할 수 있다(S240).
즉, 단계(S240)는 대응된 특징점들에 기반하여 목표 영상의 특징점을 산출하고, 상기 목표 영상의 특징점에 메시를 워핑할 수 있다.
먼저, 단계(S240)는 대응된 특징점의 메시를 선택하고, 선택된 메시의 정점들을 이용하여 중심 좌표와 관계 계수들을 산출할 수 있다. 이 때, 메시의 정점들은 특징점을 포함하고 있는 삼각형 형태의 메시의 꼭지점들의 좌표에 상응할 수 있다.
이 때, 특징 단계(S240)는 정점들의 중심 좌표(BARYCENTRIC COORDINATES)로부터 관계 계수를 산출할 수 있다. 도 6을 참조하면, 정점들은 v1, v2, v3, 중심 좌표는 p, 중심 좌표로부터 정점들까지 거리는 A1, A2, A3 로 나타낸 것을 알 수 있다. 이 때, 중심 좌표 p 와 관계 계수들 α, β, γ 는 상기 수학식 1로 산출될 수 있다. 메시 내부의 특징점 Xi(xi,yi) 는 영상 좌표계에서(xi,yi)의 좌표를 가질 수 있으며, 정점들 vi1, vi2, vi3 의 좌표들에 기반하여 수학식 1을 이용하여 상기 수학식 2로 산출될 수 있다.
이 때, 단계(S240)는 수학식 1과 수학식 2를 이용하여 목표 영상의 메시의 특징점의 위치를 산출할 수 있다. 목표 영상의 특징점의 위치는 제1 입력 영상의 특징점과 제2 입력 영상의 특징점 사이의 비례 관계를 이용하여 산출될 수 있다.
예를 들어, 제1 입력 영상의 특징점은 p1(x1,y1)이고, 제2 입력 영상의 특징점이 p2(x2,y2)인 경우, 목표 영상 j 에서의 특징점이 pj(xj,yj) 이고, 목표 영상의 특징점은 상기 수학식 3을 이용하여 산출될 수 있다. 여기서 j는 0<j<1 의 실수 값을 가질 수 있다. 상기 수학식 3을 이용하여 산출된 특징점은 제1 특징점에 상응할 수 있다.
이 때, 단계(S240)는 산출된 제1 특징점과 관계 계수들을 이용하여 목표 영상의 정점들을 산출할 수 있다. 모든 특징점들은 수학식 2에 기반하여 하기 행렬식으로 표현될 수 있다.
Figure pat00021
행렬식은 관계 계수들을 나타낸 행렬을 A, 정점들의 좌표를 나타낸 행렬을 c, 특징점의 좌표를 나타낸 행렬을 b 라고 놓으면, Ac=b 로 표현될 수 있다. 여기서, 단계(S240)는 목표 영상의 제1 특징점의 좌표(b`)를 행렬식에 대입할 수 있다. 행렬식은 목표 영상의 정점(c`)들을 구하기 위하여 c`=A- 1b` 로 변형될 수 있다. 즉, 단계(S240)는 변형된 행렬식을 이용하여 목표 영상에 메시를 워핑할 수 있다. 이 때, 단계(S240)는 하나의 메시 만을 워핑하는 것이 아니라 하나의 세그먼트를 구성하는 모든 메시들을 워핑 할 수 있으며, 메시들은 독립적이 아니라 서로의 정점을 공유하고 있기 때문에, 수학식 4를 이용하여 전체 메시의 변형을 최적화 할 수 있다. 수학식 4에서,
Figure pat00022
부분은 목표 영상으로 워핑된 정점들의 좌표와 관계 계수들을 이용하여 생성된 목표 영상의 제2 특징점을 나타낸 것이다. 이 때,
Figure pat00023
부분은 제1 입력 영상의 특징점(xi,yi)이 목표 영상으로 전방 사상(FORWARD WARPING)된 제1 특징점에 상응할 수 있다. 이 때, 단계(S240)는 수학식 4에서 E1이 최소값을 갖는 메시의 정점들(v`i1, v`i2, v`i3)을 산출할 수 있다.
또한, 단계(S240)는 메시의 형태를 최적화하는 과정을 수행할 수 있다. 도 7을 참조하면, 워핑 전 메시(304)가 워핑 후 메시(305)로 메시의 형태가 변형된 것을 알 수 있다. 이 때, 단계(S240)는 수학식 5와 수학식 6을 이용하여 최적 정점들을 산출하고, 최적화된 메시(306)을 구성할 수 있다. 이 때, 단계(S240)는 워핑 후 메시(305)에서 두 정점들(vm1, vm2)에 기반하여 수학식 5를 이용하여 최적화된 정점
Figure pat00024
를 산출할 수 있다. 이 때, 단계(S240)는 수학식 6을 이용하여 E2를 최소화하는 목표 영상의 최적 정점들(
Figure pat00025
,
Figure pat00026
,
Figure pat00027
)을 산출할 수 있다.
즉, 단계(S240)는 상기 E1과 E2를 모두 최소화하는 목표 영상에서의 최적 정점들을 이용하여 워핑된 메시의 변형을 최적화할 수 있다.
또한, 영상 재구성 방법은 텍스처 매핑을 할 수 있다(S250).
즉, 단계(S250)는 입력 영상의 픽셀을 목표 영상에 텍스처 매핑(TEXTURE MAPPING) 할 수 있다. 이 때, 단계(S250)는 변환 행렬을 이용하여 제1 입력 영상의 픽셀들을 전방 사상할 수 있고, 변환 역행렬을 이용하여 후방 사상(BACKWARD MAPPING)할 수 있다. 이 때, 단계(S250)는 픽셀들을 사상하여 텍스처 매핑 할 수 있다. 이 때, 변환 행렬은 정점의 개수에 기반하여 아핀 변환(AFFINE TRANSFORMATION) 또는 시점 변환(PERSPECTIVE TRANSFORMATION)을 이용하여 생성될 수 있다. 이 때, 아핀 변환은 3개의 정점을 이용하여 특징점을 산출할 수 있으며, 하기 동차(HOMOGENEOUS) 형태의 행렬식으로 나타낼 수 있다.
Figure pat00028
이 때, 시점 변환은 4개의 정점을 이용하여 특징점을 산출할 수 있으며, 하기 동차 형태의 행렬식으로 나타낼 수 있다.
Figure pat00029
도 9를 참조하면, 원본 메시(311)의 정점(v1, v2, v3, v4)는 변환 행렬(T)을 이용하여 정점(v`1, v`2, v`3, v`4)로 전방 사상되어 변형된 메시(312)로 구성되는 것을 볼 수 있다.
또한, 변형된 메시(312)의 정점(v`1, v`2, v`3, v`4)는 변환 역행렬(T-1)을 이용하여 정점(v1, v2, v3, v4)로 후방 사상되어 원본 메시(311)로 구성되는 것을 볼 수 있다.
또한, 영상 재구성 방법은 최종 영상을 생성할 수 있다(S260).
즉, 단계(S260)는 목표 영상의 빈 영역을 보간하는 영상 완성(IMAGE COMPLETION0) 기법을 이용하여 최종 영상을 생성할 수 있다. 이 때, 단계(S260)는 텍스처 매핑 이후에, 목표 영상에 워핑 되지 않은 빈 영역(HOLE)이 존재하는 경우, 공간축/시간축에 기반하여 인접 영역의 유사한 픽셀들을 참조하여 빈 영역을 보간 할 수 있다.
도 3은 본 발명의 일실시예에 따른 블록단위로 분할된 영상을 나타낸 도면이다.
도 3을 참조하면, 입력 영상(301)는 세그먼트 단위로 분할된 것을 볼 수 있다. 이 때, 세그먼트 단위는 영상 분할 기법을 이용하여 영상이 블록 단위로 분할된 것에 상응할 수 있다. 이 때, 영상 분할 기법은 입력 영상(301)의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화할 수 있다.
도 4는 본 발명의 일실시예에 따른 분할된 세그먼트에 생성된 메시를 나타낸 도면이다.
도 4를 참조하면, 메시(302)는 세그먼트 크기에 상응하여 구성되는 것을 볼 수 있다. 메시(302)는 입력 영상 전체에 구성되며, 메시(302)의 크기는 영상 전체에 분할된 세그먼트들의 크기에 기반하여 결정될 수 있다.
도 5는 본 발명의 일실시예에 따른 메시 내부에 특징점을 나타낸 도면이다.
도 5를 참조하면, 메시 내부에 특징점(303)이 추출된 것을 볼 수 있다. 이 때, 특징점 추출은 사용자 입력을 통해 입력될 수 있고, 자동 추출 기법이 이용될 수 있다. 자동 추출 기법은 일반적으로 널리 알려진 스테레오 정합(STEREO MATCHING), 특징점 추출(FEATURE POINT EXTRACTION) 또는 특징점 정합(FEATURE POINT MATCHING) 기법이 이용될 수 있다. 이 때, 특징점(303)은 메시를 목표 영상으로 워핑하는 기준점이 될 수 있다. 2개의 영상으로부터 목표 영상을 생성하는 경우, 2개의 영상의 모든 특징점들을 추출하고, 특징점들을 모두 1:1 대응시키고, 대응된 특징점들에 기반하여 목표 영상의 특징점들을 산출할 수 있다.
도 6은 도 5에 도시된 특징점을 산출하기 위한 삼각형의 중심 좌표계를 나타낸 도면이다.
도 6을 참조하면, 삼각형의 정점들은 v1, v2, v3, 중심 좌표는 p, 중심 좌표로부터 정점들까지 거리는 A1, A2, A3 로 나타낸 것을 볼 수 있다. 이 때, 중심 좌표 p 와 관계 계수들 α, β, γ 는 상기 수학식 1로 산출될 수 있다.
도 7은 본 발명의 일실시예에 따른 메시가 워핑되어 형태가 최적화되는 과정을 나타낸 도면이다.
도 7을 참조하면, 워핑 전 메시(304)가 워핑 후 메시(305)로 메시의 형태가 변형된 것을 볼 수 있다. 이 때, 메시 워핑부(140)는 수학식 5와 수학식 6을 이용하여 최적 정점들을 산출하고, 최적화된 메시(306)을 구성할 수 있다.
도 8은 본 발명의 일실시예에 따른 메시가 워핑되어 메시의 형태가 변형된 것을 나타낸 도면이다.
도 8을 참조하면, 입력 영상의 메시(309)는 목표 영상으로 워핑되어 형태가 변형된 메시(310)가 생성되는 것을 알 수 있다.
도 9는 본 발명의 일실시예에 따른 메시가 변환 행렬을 이용하여 워핑되는 것을 나타낸 도면이다.
도 9를 참조하면, 원본 메시(311)의 정점(v1, v2, v3, v4)는 변환 행렬(T)을 이용하여 정점(v`1, v`2, v`3, v`4)로 전방 사상되어 변형된 메시(312)로 구성되는 것을 볼 수 있다.
또한, 변형된 메시(312)의 정점(v`1, v`2, v`3, v`4)는 변환 역행렬(T-1)을 이용하여 정점(v1, v2, v3, v4)로 후방 사상되어 원본 메시(311)로 구성되는 것을 볼 수 있다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 10을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 10에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 영상 재구성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 영상 분할부 120: 메시 구성부
130: 특징점 정합부 140: 메시 워핑부
150: 텍스처 매핑부 160: 영상 생성부
301: 입력 영상 302: 메시
303: 특징점 304: 워핑 전 메시
305: 워핑 후 메시 306: 최적화된 메시
309: 메시 310: 메시
311: 원본 메시 312: 변형된 메시
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (20)

  1. 입력 영상들을 영상 분할(IMAGE SEGMENTATION) 기법을 이용하여 세그먼트단위로 분할하는 영상 분할부;
    상기 세그먼트의 크기에 상응하는 메시를 구성하는 메시 구성부;
    상기 메시의 특징점을 추출하여 제1 입력 영상의 특징점들과 제2 입력 영상의 특징점들을 대응시키는 특징점 정합부;
    대응된 특징점들에 기반하여 목표 영상의 특징점의 위치를 산출하고, 산출된 위치에 상기 제1 입력 영상의 메시를 워핑하는 메시 워핑부;
    상기 제1 입력 영상의 픽셀들을 상기 목표 영상에 텍스처 매핑(TEXTURE MAPPING)하는 텍스처 매핑부; 및
    상기 목표 영상의 빈 영역에 주변 픽셀을 참조하여 보간 하는 것으로 최종 영상을 생성하는 영상 생성부;
    를 포함하는 것을 특징으로 하는 영상 재구성 장치.
  2. 청구항 1에 있어서,
    상기 영상 분할부는
    상기 입력 영상들의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화하는 것을 특징으로 하는 영상 재구성 장치.
  3. 청구항 2에 있어서,
    상기 메시 워핑부는
    상기 대응된 특징점들과, 상기 입력 영상들 사이에 위치된 상기 목표 영상의 위치에 기반하여 상기 목표 영상의 제1 특징점을 산출하는 것을 특징으로 하는 영상 재구성 장치.
  4. 청구항 3에 있어서,
    상기 메시 워핑부는
    상기 제1 특징점의 메시의 꼭지점들에 상응하는 상기 메시의 정점들의 중심 좌표(barycentric coordinates)로부터 관계 계수들을 산출하는 것을 특징으로 하는 영상 재구성 장치.
  5. 청구항 4에 있어서,
    상기 메시 워핑부는
    상기 목표 영상의 제1 특징점과 상기 관계 계수들을 이용하여 상기 목표 영상의 정점들을 산출하는 것을 특징으로 하는 영상 재구성 장치.
  6. 청구항 5에 있어서,
    상기 메시 워핑부는
    상기 목표 영상의 정점들 및 상기 관계 계수들를 이용하여 상기 목표 영상의 제2 특징점을 산출하는 것을 특징으로 하는 영상 재구성 장치.
  7. 청구항 6에 있어서,
    상기 메시 워핑부는
    상기 목표 영상의 제1 특징점과 제2 특징점 간의 오차가 최소가 되는 메시의 정점들을 산출하고, 상기 제1 입력 영상의 메시를 상기 오차가 최소가 되는 메시의 정점들에 워핑하는 것을 특징으로 하는 영상 재구성 장치.
  8. 청구항 7에 있어서,
    상기 메시 워핑부는
    상기 목표 영상에 워핑된 메시의 정점들을 이용하여 산출된 하나의 최적 정점과, 상기 산출된 하나의 최적 정점에 상응하는 상기 워핑된 메시의 정점 간의 오차값이 최소화되도록 나머지 최적 정점들을 산출하고, 산출된 모든 최적 정점들에 기반하여 상기 워핑된 메시를 변형시키는 것을 특징으로 하는 영상 재구성 장치.
  9. 청구항 8에 있어서,
    상기 텍스처 매핑부는
    상기 메시의 정점들의 개수에 기반한 변환 기법을 이용하여 워핑 전후 정점들의 변화를 반영하는 변환 행렬을 산출하는 것을 특징으로 하는 영상 재구성 장치.
  10. 청구항 9에 있어서,
    상기 텍스처 매핑부는
    상가 변환 행렬을 이용하여 상기 제1 입력 영상의 픽셀들을 상기 목표 영상으로 상기 텍스처 매핑을 수행하는 것을 특징으로 하는 영상 재구성 장치.
  11. 영상 재구성 장치를 이용하는 방법에 있어서,
    입력 영상들을 영상 분할(IMAGE SEGMENTATION) 기법을 이용하여 세그먼트 단위로 분할하는 단계;
    상기 세그먼트의 크기에 상응하는 메시를 구성하는 단계;
    상기 메시의 특징점을 추출하여 제1 입력 영상의 특징점들과 제2 입력 영상의 특징점들을 대응시키는 단계;
    대응된 특징점들에 기반하여 목표 영상의 특징점의 위치를 산출하고, 산출된 위치에 상기 제1 입력 영상의 메시를 워핑하는 단계;
    상기 제1 입력 영상의 픽셀들을 상기 목표 영상에 텍스처 매핑(TEXTURE MAPPING)하는 단계; 및
    상기 목표 영상의 빈 영역에 주변 픽셀을 참조하여 보간 하는 것으로 최종 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 재구성 방법.
  12. 청구항 11에 있어서,
    상기 분할하는 단계는
    상기 입력 영상들의 픽셀과 유사도가 높은 주변 픽셀들을 그룹화하는 것을 특징으로 하는 영상 재구성 방법.
  13. 청구항 12에 있어서,
    상기 워핑하는 단계는
    상기 대응된 특징점들과, 상기 입력 영상들 사이에 위치된 상기 목표 영상의 위치에 기반하여 상기 목표 영상의 제1 특징점을 산출하는 것을 특징으로 하는 영상 재구성 방법.
  14. 청구항 13에 있어서,
    상기 워핑하는 단계는
    상기 제1 특징점의 메시의 꼭지점들에 상응하는 상기 메시의 정점들의 중심 좌표(barycentric coordinates)로부터 관계 계수들을 산출하는 것을 특징으로 하는 영상 재구성 방법.
  15. 청구항 14에 있어서,
    상기 워핑하는 단계는
    상기 목표 영상의 제1 특징점과 상기 관계 계수들을 이용하여 상기 목표 영상의 정점들을 산출하는 것을 특징으로 하는 영상 재구성 방법.
  16. 청구항 15에 있어서,
    상기 워핑하는 단계는
    상기 목표 영상의 정점들 및 상기 관계 계수들를 이용하여 상기 목표 영상의 제2 특징점을 산출하는 것을 특징으로 하는 영상 재구성 방법.
  17. 청구항 16에 있어서,
    상기 워핑하는 단계는
    상기 목표 영상의 제1 특징점과 제2 특징점 간의 오차가 최소가 되는 메시의 정점들을 산출하고, 상기 제1 입력 영상의 메시를 상기 오차가 최소가 되는 메시의 정점들에 워핑하는 것을 특징으로 하는 영상 재구성 방법.
  18. 청구항 17에 있어서,
    상기 워핑하는 단계는
    상기 목표 영상에 워핑된 메시의 정점들을 이용하여 산출된 하나의 최적 정점과, 상기 산출된 하나의 최적 정점에 상응하는 상기 워핑된 메시의 정점 간의 오차값이 최소화되도록 나머지 최적 정점들을 산출하고, 산출된 모든 최적 정점들에 기반하여 상기 워핑된 메시를 변형시키는 것을 특징으로 하는 영상 재구성 방법.
  19. 청구항 18에 있어서,
    상기 텍스처 매핑하는 단계는
    상기 메시의 정점들의 개수에 기반한 변환 기법을 이용하여 워핑 전후 정점들의 변화를 반영하는 변환 행렬을 산출하는 것을 특징으로 하는 영상 재구성 방법.
  20. 청구항 19에 있어서,
    상기 텍스처 매핑하는 단계는
    상가 변환 행렬을 이용하여 상기 제1 입력 영상의 픽셀들을 상기 목표 영상으로 상기 텍스처 매핑을 수행하는 것을 특징으로 하는 영상 재구성 방법.
KR1020160033664A 2016-03-21 2016-03-21 영상 재구성 장치 및 방법 KR102455843B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160033664A KR102455843B1 (ko) 2016-03-21 2016-03-21 영상 재구성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160033664A KR102455843B1 (ko) 2016-03-21 2016-03-21 영상 재구성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170109465A true KR20170109465A (ko) 2017-09-29
KR102455843B1 KR102455843B1 (ko) 2022-10-19

Family

ID=60035649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160033664A KR102455843B1 (ko) 2016-03-21 2016-03-21 영상 재구성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102455843B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200064222A (ko) * 2018-11-28 2020-06-08 주식회사 큐램 리져널 와핑을 이용한 이미지 정합 방법 및 그 시스템
KR20210074360A (ko) * 2019-03-06 2021-06-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체
CN114913060A (zh) * 2022-05-31 2022-08-16 东风电驱动系统有限公司 图像变形方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040110748A (ko) * 2003-06-20 2004-12-31 학교법인연세대학교 가상 영상 합성 장치 및 그 방법
KR20130068520A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 워핑 처리 방법 및 장치
KR20140102999A (ko) * 2013-02-15 2014-08-25 광운대학교 산학협력단 영상 워핑을 위한 장치 및 방법
KR20150093518A (ko) * 2014-02-07 2015-08-18 삼성전자주식회사 그래픽 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040110748A (ko) * 2003-06-20 2004-12-31 학교법인연세대학교 가상 영상 합성 장치 및 그 방법
KR20130068520A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 워핑 처리 방법 및 장치
KR20140102999A (ko) * 2013-02-15 2014-08-25 광운대학교 산학협력단 영상 워핑을 위한 장치 및 방법
KR20150093518A (ko) * 2014-02-07 2015-08-18 삼성전자주식회사 그래픽 처리 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200064222A (ko) * 2018-11-28 2020-06-08 주식회사 큐램 리져널 와핑을 이용한 이미지 정합 방법 및 그 시스템
KR20210074360A (ko) * 2019-03-06 2021-06-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체
CN114913060A (zh) * 2022-05-31 2022-08-16 东风电驱动系统有限公司 图像变形方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
KR102455843B1 (ko) 2022-10-19

Similar Documents

Publication Publication Date Title
Sitzmann et al. Deepvoxels: Learning persistent 3d feature embeddings
US9013482B2 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
US7760932B2 (en) Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
CN110543858A (zh) 多模态自适应融合的三维目标检测方法
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
US20100156901A1 (en) Method and apparatus for reconstructing 3d model
JP3466661B2 (ja) 画像処理装置及びその方法
US20170278293A1 (en) Processing a Texture Atlas Using Manifold Neighbors
CN110660128B (zh) 一种基于生成对抗网络的三维语义场景重建方法
US8330767B2 (en) Method and apparatus for angular invariant texture level of detail generation
EP1800245B1 (en) System and method for representing a general two dimensional spatial transformation
US20190251734A1 (en) Dynamic local temporal-consistent textured mesh compression
JP2000182038A (ja) 歪まされた情報からの遠近法的矯正デ―タの生成方法及びこれに用いる装置並びにコンピュ―タプログラム製品
CN104732479B (zh) 对图像进行调整大小
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
Horng et al. VLSI architecture for real-time HD1080p view synthesis engine
KR20170109465A (ko) 영상 재구성 장치 및 방법
JP2019016230A (ja) 学習装置、画像合成装置、学習方法、画像合成方法、及びプログラム
KR20140010708A (ko) 대상 물체의 3차원 메쉬 모델의 텍스쳐 생성 장치 및 방법
CN113592994A (zh) 用于纹理贴图的方法、装置和存储介质
KR102681496B1 (ko) 영상변환 방법 및 장치
JPH10334269A (ja) 画像処理装置、画像処理方法、及び画像処理プログラムを記録した記録媒体
CN114757822B (zh) 一种基于双目的人体三维关键点检测方法及系统
CN115082640B (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
US11783493B2 (en) Obtaining high resolution and dense reconstruction of face from sparse facial markers

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160321

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201216

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160321

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220422

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220928

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221013

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221014

End annual number: 3

Start annual number: 1

PG1601 Publication of registration