KR20220099468A - 오브젝트 회전 영상 생성 장치 및 방법 - Google Patents

오브젝트 회전 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20220099468A
KR20220099468A KR1020210045462A KR20210045462A KR20220099468A KR 20220099468 A KR20220099468 A KR 20220099468A KR 1020210045462 A KR1020210045462 A KR 1020210045462A KR 20210045462 A KR20210045462 A KR 20210045462A KR 20220099468 A KR20220099468 A KR 20220099468A
Authority
KR
South Korea
Prior art keywords
image
warping
images
homography
morphing
Prior art date
Application number
KR1020210045462A
Other languages
English (en)
Inventor
채원석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20220099468A publication Critical patent/KR20220099468A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T3/0068—
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 오브젝트 회전 영상 생성 장치 및 방법에 관한 것이다. 본 개시의 실시예에 따른 방법은 오브젝트를 다른 각도에서 촬영한 복수의 입력 이미지들을 수신하는 단계, 입력 이미지들을 평행 배열하기 위한 제1 호모그래피를 산출하는 단계, 제1 호모그래피에 기반하여 입력 이미지들을 투영 변환하는 프리 와핑을 수행하는 단계, 프리 와핑에 의해 와핑된 이미지들을 삼각형 조각들로 나누는 단계, 삼각형 조각들에 기반하여 모핑을 수행하고 하나 이상의 중간각 이미지들을 생성하는 단계, 중간각 이미지들의 테두리 영역에 대한 화질 열화 현상을 제거하는 단계, 중간각 이미지들의 광학 중심을 중간각 이미지들에 대한 가상 촬영 위치로 하는 제2 호모그래피를 산출하는 단계, 및 제2 호모그래피에 기반하여 중간각 이미지들을 투영 변환하는 포스트 와핑을 수행하는 단계를 포함하는 방법을 포함한다. 본 개시에 따르면, 촬영되지 않은 다른 각도에서의 이미지를 합성할 수 있다.

Description

오브젝트 회전 영상 생성 장치 및 방법{DEVICE AND METHOD FOR GENERATING OBJECT SPIN IMAGE}
본 개시는 오브젝트 회전 영상 생성 장치 및 방법에 관한 것으로, 좀 더 상세하게는, 오브젝트 회전 영상을 생성하기 위하여 와핑 및 모핑을 이용해 중간각 촬영 이미지를 합성할 수 있는 오브젝트 회전 영상 생성 장치 및 방법에 관한 것이다.
입력된 복수의 이미지들을 합성하여 새로운 이미지 또는 영상을 생성하는 기술은 컴퓨터 그래픽스(computer graphics) 및 컴퓨터 비전(computer vision) 분야에서 지속적으로 연구되는 주제이다. 예를 들어, 입력된 두 이미지들 사이에 대응되는 특징점들을 지정한 후, 합성될 중간 이미지들에서 특징점들이 연속성을 가질 수 있도록 하는 변환식을 산출하여 중간 이미지들을 생성하는 이미지 모핑(image morphing) 기술이 대표적이다.
3차원 공간에서의 이미지 모핑 기술은, 대응점을 기반으로 3차원 변환하는 호모그래피(homography)를 활용한다. 호모그래피 산출을 위해 사람의 얼굴에서 복수의 대응점들을 추출하는 기술은 이미 대중화되어 있다. 그러나, 사람이 아닌 오브젝트들(예컨대, 도자기 유물)의 경우 대응점 추출이 어렵고, 최종 합성 단계에서의 메쉬(mesh) 구조도 일반화하기 어려운 문제가 있다.
본 개시의 목적은, 오브젝트 회전 영상을 생성하기 위하여, 와핑 및 모핑을 이용하여 중간각 촬영 이미지를 합성할 수 있는 오브젝트 회전 영상 생성 장치 및 방법을 제공하는데 있다.
본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 방법은, 오브젝트를 다른 각도에서 촬영한 복수의 입력 이미지들을 수신하는 단계, 입력 이미지들을 평행하게 배열하기 위한 제1 호모그래피(homography)를 산출하는 단계, 상기 제1 호모그래피에 기반하여 상기 입력 이미지들을 투영 변환하는 프리 와핑(pre-warping)을 수행하는 단계, 상기 프리 와핑에 의해 와핑된 이미지들을 삼각형 조각들로 나누는 단계, 상기 삼각형 조각들에 기반하여 모핑(morphing)을 수행하고 하나 이상의 중간각 이미지들을 생성하는 단계, 상기 중간각 이미지들의 테두리 영역에 대한 화질 열화 현상을 제거하는 단계, 상기 중간각 이미지들의 광학 중심을 상기 중간각 이미지들에 대한 가상 촬영 위치로 하는 제2 호모그래피를 산출하는 단계, 그리고 상기 제2 호모그래피에 기반하여 상기 중간각 이미지들을 투영 변환하는 포스트 와핑(post-warping)을 수행하는 단계를 포함할 수 있다.
본 개시에 의하면, 와핑 및 모핑을 이용하여 촬영되지 않은 다른 각도에서의 이미지를 합성함으로써 오브젝트 회전 영상을 생성할 수 있다. 또한, 본 개시에 의하면, 복수의 입력 데이터 중 한쪽에 없는 테두리 영역을 보정함으로써 합성 이미지의 화질 열화 현상을 제거할 수 있다.
본 개시의 일 실시 예에 따르면, 와핑 과정에서 평행이동 변환을 수행함으로써 이미지 합성 정확도를 상승시킬 수 있다.
도 1은 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 장치를 개략적으로 보여주는 블록도이다.
도 2는 도 1에 도시된 프리 와핑부(110)의 구성을 좀 더 상세하게 보여주는 블록도이다.
도 3은 도 1에 도시된 영상 모핑부(120)의 구성을 좀 더 상세하게 보여주는 블록도이다.
도 4는 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 장치 및 방법 의 예시적으로 보여주는 개념도이다.
도 5는 본 개시의 실시 예에 따른 호모그래피를 산출하기 위한 대응점들을 예시적으로 보여주는 도면이다.
도 6은 본 개시의 실시 예에 따른 호모그래피에 의해 와핑된 이미지들을 예시적으로 보여주는 도면이다.
도 7은 도 1에 도시된 프리 와핑부(110)에 의해 생성된 프리 와핑 결과 데이터(WDPRE)를 예시적으로 보여주는 도면이다.
도 8은 도 3에 도시된 삼각화 모듈(121)에서 프리 와핑 결과 데이터(WDPRE)를 삼각화한 결과물을 예시적으로 보여주는 도면이다.
도 9는 도 3에 도시된 조각별 모핑 변환 모듈(122)이 본 개시의 실시 예에 따른 모핑 연산식에 의해 이미지를 모핑하는 과정을 예시적으로 보여주는 도면이다.
도 10은 도 1에 도시된 영상 모핑부(120)에 의해 생성된 최종 모핑 데이터(MDF)를 예시적으로 보여주는 도면이다.
도 11은 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 장치 및 방법에 의해 최종적으로 생성된 중간 이미지 데이터를 예시적으로 보여주는 도면이다.
도 12는 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 방법을 보여주는 순서도이다.
도 13은 오브젝트 회전 영상 생성 장치의 예시적인 블록도이다.
아래에서는, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 쉽게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.
상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 응용 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.
도 1은 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 장치를 개략적으로 보여주는 블록도이다. 오브젝트 회전 영상 생성 장치(100)는 프리 와핑부(110), 영상 모핑부(120), 및 포스트 와핑부(130)을 포함할 수 있다.
오브젝트 회전 영상 생성 장치(100)는 입력 데이터(DIN)에 기반하여 중간 오브젝트 회전 영상을 생성할 수 있다. 예를 들어, 입력 데이터(DIN)는 오브젝트를 여러 방향에서 촬영한 이미지들의 집합일 수 있다. 본 개시의 예시적인 실시 예에서, 오브젝트 회전 영상 생성 장치(100)는 스마트 폰, 디지털 카메라, 및 태블릿 PC와 같은 이미지 센서를 포함하는 전자 장치의 일부일 수 있다. 이 경우, 입력 데이터(DIN)는 전자 장치가 직접 촬영한 이미지들의 집합일 수 있다. 본 개시의 예시적인 실시 예에서, 오브젝트 회전 영상 생성 장치(100)는 이미지 센서를 포함하지 않는 전자 장치의 일부일 수 있다. 이 경우, 입력 데이터(DIN)는 외부로부터 수신한 이미지들의 집합일 수 있다.
오브젝트 회전 영상 생성 장치(100)는 입력 데이터(DIN)에 기반하여 입력 데이터(DIN)에 존재하지 않는 즉, 실제 촬영되지 않은 방향에서의 이미지 데이터를 생성함으로써 오브젝트 회전 영상을 생성할 수 있다. 오브젝트 회전 영상 생성 장치(100)는 서로 다른 각도에서 오브젝트를 촬영한 적어도 두 개의 이미지들에 대하여 와핑(warping), 및 모핑(morphing)을 수행할 수 있다. 예를 들어, 오브젝트 회전 영상 생성 장치(100)는 오브젝트의 좌각(left-angle) 촬영 이미지와 우각(right-angle) 촬영 이미지(이하, 좌우 이미지), 또는 상각(upper-angle) 촬영 이미지와 하각(lower-angle) 촬영 이미지를 이용하여 와핑, 및 모핑함으로써 하나 이상의 중간각 촬영 이미지(이하, 중간 이미지)를 생성할 수 있다.
설명의 편의를 위해, 이하 좌우 이미지에 기반하여 중간 이미지를 생성하는 방법을 기준으로 설명한다. 여기서, 와핑은 이미지의 형태를 다른 형태로 변환하는 것을 의미한다. 좀더 구체적으로, 와핑은 이미지에 포함된 픽셀(pixel)들의 좌표를 기준 좌표로 변환하는 것을 의미하며, 이때 픽셀들의 좌표는 위치 변환 규칙(예컨대, 호모그래피(homography))을 기반으로 변환될 수 있다. 모핑은 주어진 두 이미지 사이에 대응되는 특징점들을 지정하고, 지정된 특징점들이 연속성을 가질 수 있도록 변환하여 두 이미지의 중간 이미지를 생성하는 것을 의미한다.
프리 와핑부(110)는 입력 데이터(DIN)에 기반하여 프리 와핑(pre-warping) 결과 데이터(WDPRE)를 생성할 수 있다. 예를 들어, 입력 데이터(DIN)는 특정 오브젝트의 좌우 이미지를 포함할 수 있다. 예를 들어, 프리 와핑부(110)는 모핑을 위한 일종의 전처리(pre-processing) 과정으로 투영 변환(projective transformation)을 수행할 수 있다. 좀 더 구체적으로, 프리 와핑부(110)는 광학 중심의 변경 없이 좌우 이미지가 평행하게 정렬되도록 하는 와핑을 수행할 수 있다. 프리 와핑부(110)는 좌우 이미지의 대응점들을 통해 호모그래피를 산출하고, 산출된 호모그래피에 기반하여 와핑을 수행함으로써 프리 와핑 결과 데이터(WDPRE)를 생성할 수 있다. 도시되지 않았지만, 프리 와핑부(110)는 메모리(미도시)에 저장된 입력 데이터(DIN)에 대하여 와핑을 수행할 수 있다. 프리 와핑부(110)의 구체적인 구성 및 동작은 도 2를 통하여 설명될 것이다.
영상 모핑부(120)는 프리 와핑 결과 데이터(WDPRE)에 기반하여 보정된 중간 이미지 모핑 데이터(MDC)를 생성할 수 있다. 예를 들어, 영상 모핑부(120)는 좌우 이미지를 조각화하고 조각화된 이미지 조각들을 모핑할 수 있다. 예를 들어, 좌우 이미지의 조각화는 들로네 삼각분할(Delaunay Triangulation) 방식에 의할 수 있다. 본 개시의 예시적인 실시 예에서, 영상 모핑부(120)는 이미지 조각화 과정에서 손실된 테두리 영역을 보정할 수 있다. 영상 모핑부(120)의 구체적인 구성 및 동작은 도 3을 통하여 설명될 것이다.
포스트 와핑부(130)는 보정된 중간 이미지 모핑 데이터(MDC)에 기반하여 오브젝트 회전 영상을 생성할 수 있다. 포스트 와핑부(130)는 중간 이미지 모핑 데이터(MDC)의 대응점 좌표들과 최종 중간 이미지 데이터의 대응점 좌표들 사이의 호모그래피를 산출하여 최종 와핑을 수행함으로써 최종 중간 이미지 데이터를 생성할 수 있다. 예를 들어, 최종 중간 이미지 데이터의 광학 중심은, 중간 이미지를 촬영하기 위한 카메라의 가상 위치에 대응할 수 있다. 최종 중간 이미지 데이터는 다양한 각도의 하나 이상의 이미지를 포함할 수 있다. 결과적으로, 포스트 와핑부(130)는 메모리(미도시)에 저장된 입력 데이터(DIN) 및 최종 중간 이미지 데이터를 이용하여 오브젝트 회전 영상을 생성할 수 있다. 여기서, 중간 이미지 모핑 데이터(MDC)의 대응점 좌표들과 최종 중간 이미지 데이터의 대응점 좌표들은 수학식 1과 같은 관계를 따를 수 있다.
Figure pat00001
수학식 1을 참고하면, Midc는 중간 이미지의 대응점 좌표들로 정의되고, Leftc 및 Rightc는 각각 좌우 이미지의 대응점 좌표들로 정의된다. 예를 들어, Midc는 중간 이미지 모핑 데이터(MDC)의 대응점 좌표들 또는 최종 중간 이미지 데이터의 대응점 좌표들일 수 있고, Leftc 및 Rightc는 프리 와핑 결과 데이터(WDPRE)에 포함된 좌우 이미지의 대응점 좌표들 또는 입력 데이터(DIN)에 포함된 좌우 이미지의 대응점 좌표들일 수 있다. α는 좌우 이미지 사이의 각도를 0~1로 정의했을 때 그 정도에 따른 변수로 정의된다. 예를 들어, 좌우 이미지 사이의 정중앙에 위치하게 되는 중간 이미지의 α는 0.5가 된다.
도 2는 도 1에 도시된 프리 와핑부(110)의 구성을 좀 더 상세하게 보여주는 블록도이다. 프리 와핑부(110)는 호모그래피 산출 모듈(111), 및 영상 와핑 모듈(112)을 포함할 수 있다.
호모그래피 산출 모듈(111)은 입력 데이터(DIN)에 기반하여 호모그래피 정보(HI)를 생성할 수 있다. 예를 들어, 입력 데이터(DIN)는 오브젝트에 대한 좌우 이미지일 수 있다. 호모그래피 산출 모듈(111)은 광학 중심의 변경 없이 좌우 이미지를 평행하게 정렬하는 투영 변환을 수행하기 위해 변환식인 호모그래피를 산출할 수 있다. 호모그래피는 수학식 2와 같은 관계를 따를 수 있다.
Figure pat00002
수학식 2를 참고하면, s는 스케일 팩터(scale factor)로 정의되고, h1···h9는 호모그래피 행렬식의 미지수들로 정의된다. (xi, yi)는 i번째 대응점에 상응하는 투영변환 전 픽셀좌표로 정의되고, (xi', yi')는 i번째 대응점에 상응하는 투영변환 후 픽셀좌표로 정의된다. 예를 들어, h9는 상수(예컨대, 1)로 설정되어 미지수들(h1···h8)을 계산하기 위해 최소 8개의 식이 필요하고, 따라서 이론적으로 최소 4개의 대응점이 요구될 수 있다. 실제 이미지에서는 더 많은 대응점이 주어지므로, 최소자승법(least square method; LSM)을 사용하여 호모그래피를 구할 수 있다. 다만, 최소자승법을 적용할 경우 정상적인 분포에서 벗어난 이상점(outlier)에 의해 오차가 발생할 수 있으므로, RANSAC(random sample consensus), LMEDS(least median of squares), 또는 RHO 등의 방법에 기반하여 호모그래피를 계산할 수 있다.
호모그래피 산출 모듈(111)이 평행이동(transformation) 변환없이 호모그래피를 산출하면, 투영 변환되면서 이미지의 일부가 기반 좌표 평면상에서 벗어날 수 있다. 본 개시의 예시적인 실시 예에서, 호모그래피 산출 모듈(111)은 좌우 이미지의 영상 좌표계의 원점을 중앙으로 이동시키는 제1 평행이동 변환을 수행한 후 호모그래피를 산출할 수 있다.
영상 와핑 모듈(112)은 호모그래피 정보(HI)에 기반하여 프리 와핑 데이터(WDPRE)를 생성할 수 있다. 예를 들어, 영상 와핑 모듈(112)은 호모그래피 정보(HI)에 기반하여 메모리(미도시)에 저장된 좌우 이미지가 평행하게 정렬되도록 투영 변환할 수 있다. 본 개시의 예시적인 실시 예에서, 영상 와핑 모듈(112)은 투영 변환된 이미지의 상하좌우 한계(bounding box)를 계산하여 상하좌우 한계가 이미지 중앙에 배치되도록 제2 평행이동 변환을 수행할 수 있다. 결과적으로, 영상 와핑 모듈(112)는 투영 변환 및 제2 평행이동 변환을 수행한 프리 와핑 데이터(WDPRE)를 생성할 수 있다.
도 3은 도 1에 도시된 영상 모핑부(120)의 구성을 좀 더 상세하게 보여주는 블록도이다. 영상 모핑부(120)는 삼각화 모듈(121), 조각별 모핑 모듈(122), 및 테두리 보정 모듈(123)을 포함할 수 있다.
삼각화 모듈(121)은 프리 와핑 결과 데이터(WDPRE)에 기반하여 삼각화된 이미지 조각들(TP)을 생성할 수 있다. 삼각화 모듈(121)은 프리 와핑 결과 데이터(WDPRE)를 삼각 분할할 수 있다. 여기서, 삼각 분할 방법은 들로네 삼각분할 방법일 수 있으나, 이에 한정되지 않는다. 예를 들어, 삼각화 모듈(121)은 프리 와핑 결과 데이터(WDPRE)에 포함되는 이미지 평면 위의 점들을 삼각형으로 연결할 때, 각 삼각형에 대한 외접원이 내부에 다른 점을 포함하지 않도록 연결할 수 있다.
조각별 모핑 모듈(122)은 삼각화된 이미지 조각들(TP)에 기반하여 초기 모핑 데이터(MDS)를 생성할 수 있다. 예를 들어, 조각별 모핑 모듈(122)은 좌우 이미지에 대응되는 삼각화된 이미지 조각들(TP)을 이용하여 수학식 3의 관계를 따르는 모핑을 수행할 수 있다
Figure pat00003
수학식 3을 참고하면, p0은 좌측 이미지를 이루는 삼각형의 좌표값들로 정의되고, p1은 우측 이미지를 이루는 삼각형의 좌표값들로 정의된다. pR은 중간 이미지를 이루는 삼각형의 좌표값들로 정의된다. α는 좌우 이미지 사이의 각도를 0~1로 정의했을 때 그 정도에 따른 변수로 정의된다. 예를 들어, 좌우 이미지 사이의 정중앙에 위치하게 되는 중간 이미지의 α는 0.5가 된다. 결과적으로, 조각별 모핑 모듈(122)은 필요한 중간 이미지의 개수에 따라 수학식 3의 α를 산정하고, 수학식 3에 의해 와핑된 중간 이미지들의 집합인 초기 모핑 데이터(MDS)를 생성할 수 있다.
테두리 보정 모듈(123)은 초기 모핑 데이터(MDS)에 기반하여 최종 모핑 데이터(MDF)를 생성할 수 있다. 예를 들어, 테두리 보정 모듈(123)은 조각별 모핑 모듈(122)의 와핑에 의해 누락된 이미지의 테두리 영역을 보정할 수 있다. 좌우 이미지는 카메라 각도에 의해 촬영될 수 없는 영역이 존재할 수 있다. 예를 들어, 좌각 촬영 이미지의 좌측부의 일부는 우각 촬영 이미지에 존재하지 않고, 우각 촬영 이미지의 우측부의 일부는 좌측 촬영 이미지에 존재하지 않을 수 있다. 테두리 보정 모듈(123)은 좌각 촬영 이미지의 좌측 테두리 및 우각 촬영 이미지의 우측 테두리를 이용하여 초기 모핑 데이터(MDS)에 포함되는 중간 이미지의 좌측 및 우측 테두리 영역의 화질 열화 현상을 제거하는 동작을 수행할 수 있다. 테두리 보정 모듈(123)은 초기 모핑 데이터(MDS)의 좌측 및 우측 테두리 영역을 보정한 최종 모핑 데이터(MDF)를 생성할 수 있다.
도 4는 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 장치 및 방법 의 예시적으로 보여주는 개념도이다. 오브젝트 회전 영상 생성 장치는 프리 와핑, 모핑, 및 포스트 와핑을 수행함으로써 오브젝트 회전 영상을 생성할 수 있다.
도 1 내지 도 3과 함께, 도 4를 참조하면, 프리 와핑부(110)는 광학 기준점(P)과 좌각 광학 중심점(C0)을 잇는 직선 중에 광학 중심을 갖는 좌각 촬영 이미지(I0), 및 광학 기준점(P)과 우각 광학 중심점(C1)을 잇는 직선 중에 광학 중심을 갖는 우각 촬영 이미지(I1)에 기반하여 프리 와핑을 수행할 수 있다. 프리 와핑부(110)는 제1 프리 와핑에 의해 평행 배열된 좌각 촬영 이미지(
Figure pat00004
0)에 대응하는 제1 프리 와핑 데이터, 및 평행 배열된 우각 촬영 이미지(
Figure pat00005
1)에 대응하는 제2 프리 와핑 데이터를 생성할 수 있다.
영상 모핑부(120)는 제1 및 제2 프리 와핑 데이터를 모핑한 중간 이미지(
Figure pat00006
S)를 생성할 수 있다. 중간 이미지(
Figure pat00007
S)는 평행 배열된 좌각 촬영 이미지(
Figure pat00008
0), 및 평행 배열된 우각 촬영 이미지(
Figure pat00009
1)와 평행하게 배열될 수 있다. 수학식 3의 α에 따라 중간 이미지(
Figure pat00010
S)는 하나 이상일 수 있다. 영상 모핑부(120)는 하나 이상의 중간 이미지(
Figure pat00011
S)의 집합인 최종 모핑 데이터(MDF)를 생성할 수 있다.
포스트 와핑부(130)는 중간 이미지(
Figure pat00012
S)에 기반하여 광학 기준점(P)과 중간각 광학 중심점(CS)를 잇는 직선 중에 광학 중심을 갖는 최종 중간 이미지(IS)를 생성할 수 있다. 여기서, 중간각 광학 중심점(CS)은 좌각 광학 중심점(C0)과 우각 광학 중심점(C1)을 잇는 직선 중에 포함되는 임의의 점이고, 그 위치는 수학식 3의 α에 종속적이다. 도시되지 않았지만, 포스트 와핑부(130)는 좌각 촬영 이미지(I0), 우각 촬영 이미지(I1), 및 복수의 최종 중간 이미지(IS)에 기반하여 오브젝트 회전 영상을 생성할 수 있다.
도 5는 본 개시의 실시 예에 따른 호모그래피를 산출하기 위한 대응점들을 예시적으로 보여주는 도면이다. 도 2와 함께, 도 5를 참조하면, 호모그래피 산출 모듈(111)은 좌우 이미지의 투영 변환을 위한 호모그래피를 산출할 수 있다. 호모그래피를 산출하기 위해서는 전술한 바와 같이 최소 4개의 대응점들이 요구되고, 도 5의 (a) 및 (b)는 각각 좌우 이미지 대응점들을 보여준다.
도 6은 본 개시의 실시 예에 따른 호모그래피에 의해 와핑된 이미지들을 예시적으로 보여주는 도면이다. 도 2와 함께, 도 6을 참조하면, 도 6은 호모그래피 산출 모듈(111)이 제1 평행이동 변환 없이 호모그래피를 산출하고, 영상 와핑 모듈(122)이 산출된 호모그래피 정보(HI)에 기반하여 제2 평행이동 변환없이 와핑한 결과를 보여주는 도면이다. 호모그래피 산출 모듈(111)이 제1 및 제2 평행이동 변환 없이 호모그래피를 산출함으로써, 도 6과 같이 이미지의 일부가 기반 좌표 평면상에서 벗어날 수 있다.
도 7은 도 1에 도시된 프리 와핑부(110)에 의해 생성된 프리 와핑 결과 데이터(WDPRE)를 예시적으로 보여주는 도면이다. 도 1, 도 2 및 도6과 함께, 도 7을 참조하면, 호모그래피 산출 모듈(111)의 제1 평행이동 변환 및 영상 와핑 모듈(112)의 제2 평행이동 변환을 수행함으로써, 프리 와핑부(110)는 도 7의 (a) 및 (b)와 같은 프리 와핑 결과 데이터(WDPRE)를 생성할 수 있다. 도 7은 도 6과 달리 좌우 이미지의 상하좌우의 한계가 기반 좌표 평면상에 모두 표현되어 있다.
도 8은 도 3에 도시된 삼각화 모듈(121)에서 프리 와핑 결과 데이터(WDPRE)를 삼각화한 결과물을 예시적으로 보여주는 도면이다. 도 3과 함께, 도 8을 설명하면, 삼각화 모듈(121)은 도 8과 같이 평면 위의 점들을 삼각형으로 연결할 때, 각 삼각형에 대한 외접원이 내부에 다른 점을 포함하지 않도록 하여 이미지를 삼각화할 수 있다.
도 9는 도 3에 도시된 조각별 모핑 변환 모듈(122)이 본 개시의 실시 예에 따른 모핑 연산식에 의해 이미지를 모핑하는 과정을 예시적으로 보여주는 도면이다. 도 3과 함께, 도 9를 참조하면, 조각별 모핑 변환 모듈(122)은 상술한 수학식 3에 기반하여 중간 이미지를 합성하는 모핑을 수행할 수 있는데, 도 9는 조각별 모핑 변환 모듈(122)에 의한 모핑 과정을 순차적으로 보여준다.
도 10은 도 1에 도시된 영상 모핑부(120)에 의해 생성된 최종 모핑 데이터(MDF)를 예시적으로 보여주는 도면이다. 도 1 및 도 3과 함께, 도 10을 참조하면, 테두리 보정 모듈(123)은 조각별 모핑 모듈(122)에 의해 생성된 초기 모핑 데이터(MDS)의 테두리 영역에 대한 화질 열화 현상을 제거할 수 있다. 도 10은 테두리 보정 모듈(123)에 의해 테두리 영역이 보정된 최종 모핑 데이터(MDF)를 보여준다.
도 11은 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 장치 및 방법에 의해 생성된 최종 중간 이미지 데이터를 예시적으로 보여주는 도면이다. 도 1과 함께 도 11을 참조하면, 포스트 와핑부(130)는 최종 모핑 데이터(MDF)에 기반하여 포스트 와핑을 수행한 최종 중간 이미지 데이터를 생성할 수 있다. 결과적으로, 오브젝트 회전 영상 생성 장치는 도 11과 같은 최종 중간 이미지 데이터에 기반하여 오브젝트 회전 영상을 생성할 수 있다.
도 12는 본 개시의 실시 예에 따른 오브젝트 회전 영상 생성 방법을 보여주는 순서도이다. 설명의 편의상, 도 1의 도면 부호를 참조하여, 도 4가 설명된다.
S110 단계에서, 프리 와핑부(110)는 입력 데이터(DIN)인 좌우 이미지를 평행하게 배열하는 호모그래피를 산출할 수 있다. 본 개시의 예시적인 실시 예에서, 프리 와핑부(110)는 호모그래피 산출 전, 좌우 이미지에 대한 영상 좌표계의 원점을 중앙으로 이동시키는 제1 평행이동 변환을 먼저 수행할 수 있다.
S120 단계에서, 프리 와핑부(120)는 호모그래피 정보(HI)에 기반하여 좌우 이미지가 평행하게 배열되도록 투영 변환하는 프리 와핑을 수행할 수 있다. 본 개시의 예시적인 실시 예에서, 프리 와핑부(110)는 프리 와핑의 결과 이미지에 대한 상하 좌우의 한계가 기반 좌표 평면상에 모두 배치되도록 하는 제2 평행이동 변환을 추가적으로 수행할 수 있다.
S130 단계에서, 영상 모핑부(120)는 프리 와핑부(120)에 의해 와핑된 이미지를 삼각화할 수 있다. 이 때, 영상 모핑부(120)는 평면 위의 점들을 삼각형으로 연결할 때, 각 삼각형에 대한 외접원이 내부에 다른 점을 포함하지 않도록 하여 이미지를 삼각화할 수 있다.
S140 단계에서, 영상 모핑부(120)는 삼각화된 이미지 조각들을 이용하여 상술한 수학식 3에 의해 하나 이상의 중간 이미지를 합성하는 모핑을 수행할 수 있다.
S150 단계에서, 영상 모핑부(120)는 좌우 이미지에서 한쪽에만 존재하는 테두리 영역을 이용하여 모핑된 이미지의 테두리 영역을 보정할 수 있다.
S160 단계에서, 포스트 와핑부(130)는 광학 기준점(도 4, P)과 중간각 광학 중심점(도 4, CS)를 잇는 직선 중에 광학 중심을 갖도록 하는 호모그래피를 산출할 수 있다. 포스트 와핑부(130)는 산출된 호모그래피에 기반하여 모핑된 이미지를 투영 변환하는 제 2 와핑을 수행할 수 있다.
S170 단계에서, 포스트 와핑부(130)는 포스트 와핑을 수행한 하나 이상의 최종 중간 이미지 데이터와 좌우 이미지에 기반하여 오브젝트 회전 영상을 생성할 수 있다.
도 13은 오브젝트 회전 영상 생성 장치의 예시적인 블록도이다. 도 13을 참조하면, 오브젝트 회전 영상 생성 장치(1300)는 네트워크 인터페이스(1310), 프로세서(1320), 메모리(1330), 스토리지(1340), 및 버스(1350)을 포함할 수 있다.
네트워크 인터페이스(1310)는 외부 서버 또는 외부 전자 장치들과 통신하도록 구성될 수 있다. 네트워크 인터페이스(1310)는 외부 서버 또는 외부 전자 장치들(예컨대, 카메라)과의 통신을 통해 입력 데이터를 수신할 수 있다. 네트워크 인터페이스(1310)는 최종 중간 이미지 데이터 또는 오브젝트 회전 영상을 외부 서버 또는 외부 전자 장치들에 제공할 수 있다.
프로세서(1320)는 오브젝트 회전 영상 생성 장치(1300)의 중앙 처리 장치로의 기능을 수행할 수 있다. 프로세서(1320)는 오브젝트 회전 영상 생성 장치(1300)의 데이터 입력, 관리, 및 산출 등을 위하여 요구되는 제어 동작 및 연산 동작을 수행할 수 있다. 예를 들어, 프로세서(1320)의 제어에 따라, 네트워크 인터페이스(1310)는 입력 데이터를 수신할 수 있다. 프로세서(1320)의 제어에 따라, 오브젝트 회전 영상 생성 장치(1300)는 입력 데이터에 기반하여 와핑 및 모핑을 수행할 수 있다. 프로세서(1320)는 메모리(1330)의 연산 공간을 활용하여 동작할 수 있고, 스토리지(1340)로부터 운영체제를 구동하기 위한 파일들 및 어플리케이션의 실행 파일들을 읽을 수 있다. 프로세서(1320)는 운영 체제 및 다양한 어플리케이션들을 실행할 수 있다. 프로세서(620)는 CPU(central processing unit), GPU(graphic processing unit), 및 NPU(neural processing unit) 중 적어도 하나를 포함할 수 있다.
메모리(1330)는 프로세서(1320)에 의하여 처리되거나 처리될 예정인 데이터, 펌웨어, 소프트웨어, 및 프로세스 코드 등을 임시 저장할 수 있다. 예를 들어, 메모리(1330)는 입력 데이터, 호모그래피 관련 코드, 이미지 삼각화 코드, 연산식 코드, 및 이미지 대응점의 좌표 정보들을 저장할 수 있다.
메모리(1330)는 오브젝트 회전 영상 생성 장치(1300)의 주 기억 장치로 이용될 수 있다. 예를 들어, 메모리(1330)는 DRAM(dynamic random access memory), SRAM(static random access memory), PRAM(phase-change random access memory), MRAM (magnetic random access memory), FeRAM(ferroelectric random access memory), RRAM(resistive random access memory) 등을 포함할 수 있다. 메모리는(1330)는 버퍼 메모리, 워킹 메모리, 또는 캐시 메모리로서 지칭될 수 있다. 도시되지 않았지만, 메모리(1330)의 개수는 하나 이상일 수 있다.
스토리지(1340)는 운영 체제 또는 어플리케이션들과 관련된 데이터, 운영 체제를 구동하기 위한 파일, 또는 어플리케이션들의 실행 파일 등을 저장할 수 있다. 예를 들어, 스토리지(1340)는 오브젝트 회전 영상 생성 장치(1300)의 실행을 위한 파일들을 저장할 수 있다. 예를 들어, 스토리지(1340)는 플래쉬 메모리(flash memory), PRAM(phase-change random access memory), FeRAM(ferroelectric random access memory), RRAM(resistive random access memory) 등을 포함할 수 있다.
버스(1350)는 오브젝트 회전 영상 생성 장치(1300)의 구성 요소들 사이에서 통신 경로를 제공할 수 있다. 네트워크 인터페이스(1310), 프로세서(1320), 메모리(1330), 및 스토리지(1340) 는 버스(1350)를 통해 서로 데이터를 교환할 수 있다. 버스(1350)는 오브젝트 회전 영상 생성 장치(1300)에서 이용되는 다양한 유형의 통신 포맷을 지원하도록 구성될 수 있다.
상술한 내용은 본 개시를 실시하기 위한 구체적인 예들이다. 본 개시에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 개시에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 위에서 설명한 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 본 개시의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
100, 1300: 오브젝트 회전 영상 생성 장치
110: 프리 와핑부
111: 호모그래피 산출 모듈
112: 영상 와핑 모듈
120: 영상 모핑부
121: 삼각화 모듈
122: 조각별 모핑 모듈
123: 테두리 보정 모듈
130: 포스트 와핑부
1310: 네트워크 인터페이스
1320: 프로세서
1330: 메모리
1340: 스토리지
1350: 버스

Claims (1)

  1. 오브젝트 회전 영상 생성 방법에 있어서,
    오브젝트를 다른 각도에서 촬영한 복수의 입력 이미지들을 수신하는 단계;
    상기 입력 이미지들을 평행하게 배열하기 위한 제1 호모그래피(homography)를 산출하는 단계;
    상기 제1 호모그래피에 기반하여 상기 입력 이미지들을 투영 변환하는 프리 와핑(pre-warping)을 수행하는 단계;
    상기 프리 와핑에 의해 와핑된 이미지들을 삼각형 조각들로 나누는 단계;
    상기 삼각형 조각들에 기반하여 모핑(morphing)을 수행하고 하나 이상의 중간각 이미지들을 생성하는 단계;
    상기 중간각 이미지들의 테두리 영역에 대한 화질 열화 현상을 제거하는 단계;
    상기 중간각 이미지들의 광학 중심을 상기 중간각 이미지들에 대한 가상 촬영 위치로 하는 제2 호모그래피를 산출하는 단계; 그리고
    상기 제2 호모그래피에 기반하여 상기 중간각 이미지들을 투영 변환하는 포스트 와핑(post-warping)을 수행하는 단계를 포함하는 방법.
KR1020210045462A 2021-01-06 2021-04-07 오브젝트 회전 영상 생성 장치 및 방법 KR20220099468A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210001557 2021-01-06
KR20210001557 2021-01-06

Publications (1)

Publication Number Publication Date
KR20220099468A true KR20220099468A (ko) 2022-07-13

Family

ID=82401467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210045462A KR20220099468A (ko) 2021-01-06 2021-04-07 오브젝트 회전 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220099468A (ko)

Similar Documents

Publication Publication Date Title
CN111986307B (zh) 使用光度网格表示的3d对象重建
KR101310589B1 (ko) 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들
WO2018119889A1 (zh) 三维场景定位方法和装置
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
US8754887B2 (en) Determining three-dimensional (3D) object data models based on object movement
US10726580B2 (en) Method and device for calibration
JP7058277B2 (ja) 再構成方法および再構成装置
CN111127422A (zh) 图像标注方法、装置、系统及主机
Barandiaran et al. Real-time optical markerless tracking for augmented reality applications
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP7064257B2 (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
CN113140036B (zh) 一种三维建模方法、装置、设备及存储介质
JP7082713B2 (ja) ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正
CN113793387A (zh) 单目散斑结构光系统的标定方法、装置及终端
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
JP5178538B2 (ja) 深度マップを画像から決定する方法、深度マップを決定する装置
CN114742940A (zh) 构建虚拟形象纹理图的方法、装置、设备及存储介质
CN117011494A (zh) 一种基于多深度相机的三维建模方法、电子设备和存储介质
JP7298687B2 (ja) 物体認識装置及び物体認識方法
JP6806160B2 (ja) ３次元運動評価装置、３次元運動評価方法、及びプログラム
US8872832B2 (en) System and method for mesh stabilization of facial motion capture data
KR20220099468A (ko) 오브젝트 회전 영상 생성 장치 및 방법
WO2023215020A1 (en) Digital image sub-division
CN113706692A (zh) 三维图像重构方法、装置、电子设备以及存储介质