KR101915036B1 - 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체 - Google Patents

실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체 Download PDF

Info

Publication number
KR101915036B1
KR101915036B1 KR1020170153760A KR20170153760A KR101915036B1 KR 101915036 B1 KR101915036 B1 KR 101915036B1 KR 1020170153760 A KR1020170153760 A KR 1020170153760A KR 20170153760 A KR20170153760 A KR 20170153760A KR 101915036 B1 KR101915036 B1 KR 101915036B1
Authority
KR
South Korea
Prior art keywords
images
frames
image
real time
window
Prior art date
Application number
KR1020170153760A
Other languages
English (en)
Inventor
강현덕
박시형
하유진
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020170153760A priority Critical patent/KR101915036B1/ko
Application granted granted Critical
Publication of KR101915036B1 publication Critical patent/KR101915036B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—

Abstract

본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법은 영상촬영장치에서 촬영되는 복수의 영상들을 입력받는 단계; 상기 영상들의 동일 시점의 프레임들을 스티칭(Stitching)하여, 각 시점별 프레임들 간의 호모그래피(Homography) 정보들을 생성하는 단계; 상기 영상들의 초당 프레임 수(Frame Per Second, FPS)에 기반하여, 상기 생성된 호모그래피 정보들을 필터링하는 단계; 및 상기 필터링된 호모그래피 정보들에 기반하여, 상기 동일 시점의 프레임들을 결합하여 투영 영상을 생성하는 단계를 포함한다.

Description

실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체 {METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM FOR VIDEO STITCHING IN REAL TIME}
본 발명은 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체에 관한 것으로, 구체적으로 실시간으로 촬영되는 영상을 스티칭(Stitching)하여 하나의 투영 영상을 생성하는 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체에 관한 것이다.
이미지 스티칭(Image Stitching)이란 겹치는 시야각을 가진 분할된 이미지 또는 다수의 카메라를 통해 찍은 이미지를 합성하여, 넓은 화각을 가지는 파노라마 이미지 또는 고해상도의 이미지를 만들어내는 프로세스이다.
일반적으로 이미지 스티칭은 등록(Registration), 교정(Calibration) 및 혼합(Blending)의 단계를 거친다.
등록단계에서 각 이미지들이 가지는 특징점들을 검색하고, 교정단계에서는 이 특징점들에 기반하여, 이미지의 기하학적 변형과 픽셀 데이터에 대한 보정을 계산하고, 혼합단계에서는 교정단계에서 계산된 정보에 의해 이미지들을 투영하는 단계로 이루어져있다.
종래에는 구조물에 설치된 복수 개의 카메라들로부터 획득한 복수의 비디오 스트림을 하나의 360도 파노라마 비디오로 합성하는 고속의 비디오 스티칭 방법 및 장치가 개시되었다.
복수 개의 카메라들로부터 영상들을 획득하여, 영상들의 각 프레임들로부터 특징점을 추출하고, 추출된 특징점들을 정합하여 대응관계 및 카메라 파라미터를 계산하여, 프레임들의 색상을 보정하는 방법을 통해 비디오 영상을 스티칭한다.
다만, 구조물에 설치된 고정된 복수 개의 카메라들을 통해 획득한 영상들에 기반한, 비디오 스티칭 방법 및 장치가 개시되었을 뿐, 동적으로 움직이는 카메라들에서 촬영되는 영상들을 실시간으로 비디오 스티칭하는 방법은 개시하고 있지 않다.
KR 1020160115466 A
본 발명은 고정되지 않은 영상촬영장치를 이용하여 촬영되는 영상을 실시간으로 스티칭하고, 영상의 초당 프레임 수에 기반하여 조정되는 프레임들을 동적으로 할당함으로써, 투영 영상의 오류를 최소화하고, 화면의 떨림을 감소시킬 수 있는 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체에 관한 것이다.
본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법은, 영상촬영장치에서 촬영되는 복수의 영상들을 입력받는 단계; 상기 영상들의 동일 시점의 프레임들을 스티칭(Stitching)하여, 각 시점별 프레임들 간의 호모그래피(Homography) 정보들을 생성하는 단계; 상기 영상들의 초당 프레임 수(Frame Per Second, FPS)에 기반하여, 상기 생성된 호모그래피 정보들을 필터링하는 단계; 및 상기 필터링된 호모그래피 정보들에 기반하여, 상기 동일 시점의 프레임들을 결합하여 투영 영상을 생성하는 단계를 포함할 수 있다.
상기 입력받는 단계는, 상기 영상들이 촬영되는 동안 상기 복수의 영상들을 실시간으로 입력받는 단계를 포함할 수 있다.
상기 입력받는 단계 이후, 상기 입력받은 영상들의 노이즈를 조정하는 단계를 더 포함할 수 있다.
상기 호모그래피 정보를 생성하는 단계는, 상기 영상들의 동일 시점의 프레임들에서 특징점들을 추출하는 단계; 및 상기 추출된 특징점들 중 대응되는 특징점들끼리 스티칭하는 단계를 포함할 수 있다.
상기 필터링하는 단계는, 상기 초당 프레임 수에 기반하여, 윈도우의 크기를 할당하는 단계; 및 상기 호모그래피 정보들이 생성된 순서에 따라, 상기 윈도우를 슬라이딩하여 상기 호모그래피 정보들을 순차적으로 필터링하는 단계를 포함할 수 있다.
상기 윈도우의 크기를 할당하는 단계는, 상기 영상들의 초당 프레임 수가 상이한 경우, 상기 영상들 중 기설정된 조건에 따라 선택된 영상의 초당 프레임 수에 기반하여, 상기 윈도우의 크기를 할당하는 단계를 포함할 수 있다.
상기 윈도우의 크기를 할당하는 단계는, 상기 초당 프레임 수 미만의 크기로 상기 윈도우의 크기를 할당하는 단계를 포함할 수 있다.
상기 윈도우의 크기를 할당하는 단계 이후, 상기 입력되는 영상들의 초당 프레임 수가 변경된 경우, 상기 할당된 윈도우의 크기를 상기 변경된 초당 프레임 수미만의 크기로 변경하는 단계를 포함할 수 있다.
상기 투영 영상을 생성하는 단계는, 상기 필터링된 호모그래피 정보들에 기반하여 상기 영상들의 각 시점별 프레임들을 변환하는 단계; 및 상기 변환된 프레임들 중 동일 시점의 프레임들을 결합하는 단계를 포함할 수 있다.
상기 투영 영상을 생성하는 단계는, 상기 영상들의 각 시점별 프레임들의 투명도, 명도, 채도 또는 색상 중 적어도 하나를 조정하는 단계; 및 상기 필터링된 호모그래피 정보들에 기반하여, 상기 조정된 프레임들 중 동일 시점의 프레임들을 결합하는 단계를 포함할 수 있다.
상기 기설정된 조건은, 상기 영상들의 초당 프레임 수가 상이할 경우, 상기 영상들 중 어느 하나의 영상을 선택하는 조건이며, 상기 기설정된 조건에 따라 선택된 영상은, 상기 영상들 중 주 영상으로 특정된 영상 또는 상기 영상들 중 초당 프레임 수가 가장 큰 영상 중 어느 하나의 영상을 포함할 수 있다.
본 발명의 일 실시예에 따른 실시간 비디오 스티칭 시스템은, 복수 개의 카메라들이 구비되어, 복수 개의 영상들을 촬영하는 영상촬영장치; 및 영상촬영장치로부터 상기 영상들을 전송받아, 상기 영상들의 동일 시점의 프레임들 간의 호모그래피 정보를 생성하고, 상기 생성된 호모그래피 정보들을 필터링하며, 상기 필터링된 호모그래피 정보들에 기반하여, 상기 동일 시점의 프레임들을 결합하여 투영 영상을 생성하는 서버를 포함할 수 있다.
상기 서버는, 상기 영상들의 동일 시점의 프레임들에서 특징점들을 추출하고, 상기 추출된 특징점들 중 대응되는 특징점들끼리 스티칭하여 상기 각 시점별 프레임들 간의 호모그래피 정보를 생성할 수 있다.
상기 서버는, 상기 초당 프레임 수에 기반하여, 윈도우의 크기를 할당할 수 있다.
상기 서버는, 상기 호모그래피 정보들이 생성된 순서에 따라, 상기 윈도우를 슬라이딩하여 상기 호모그래피 정보들을 순차적으로 필터링할 수 있다.
상기 서버는, 상기 초당 프레임 수 미만의 크기로 상기 윈도우의 크기를 할당할 수 있다.
상기 서버는, 상기 영상들의 초당 프레임 수가 상이한 경우, 상기 영상들 중 기설정된 조건에 따라 선택된 영상의 초당 프레임 수에 기반하여, 상기 윈도우의 크기를 할당할 수 있다.
상기 서버는, 상기 윈도우의 크기를 할당한 이후, 상기 입력되는 영상들의 초당 프레임 수가 변경된 경우, 상기 할당된 윈도우의 크기를 상기 변경된 초당 프레임 수미만의 크기로 변경할 수 있다.
상기 서버는, 상기 필터링된 호모그래피 정보들에 기반하여, 상기 각 시점별 프레임들을 변환하고, 상기 변환된 프레임들 중 동일 시점의 프레임들을 결합하여 투영 영상을 생성할 수 있다.
상기 서버는, 상기 각 시점별 프레임들의 투명도, 명도, 채도 또는 색상 중 적어도 하나를 조정한 후, 상기 필터링된 호모그래피 정보들에 기반하여, 조정된 프레임들 중 동일 시점의 프레임들을 결합하여 상기 투영 영상을 생성할 수 있다.
상기 서버는, 상기 전송받은 영상들의 노이즈 및 왜곡을 조정한 후, 상기 영상들의 동일 시점의 프레임들에 대한 호모그래피 정보들을 생성할 수 있다.
상기 기설정된 조건은, 상기 영상들의 초당 프레임 수가 상이할 경우, 상기 영상들 중 어느 하나의 영상을 선택하는 조건이며, 상기 기설정된 조건에 따라 선택된 영상은, 상기 영상들 중 주 영상으로 특정된 영상 또는 상기 영상들 중 초당 프레임 수가 가장 큰 영상 중 어느 하나의 영상을 포함할 수 있다.
본 발명의 일 실시예에 따른 실시간 비디오 스티칭 시스템은 상기 서버로부터 상기 생성된 투영 영상을 전송받아 출력하는 영상출력장치를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 포함할 수 있다.
본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체에 따르면, 카메라의 위치와 각도가 실시간으로 변화하는 상황에서도 비디오 스티칭이 가능한 효과가 있다.
또한, 카메라들의 수가 동적으로 변하는 상황에서도 실시간으로 비디오 스티칭이 가능한 효과가 있다.
또한, 윈도우의 크기를 영상의 초당 프레임 수에 기반하여 동적으로 할당하므로, 노이즈 및 떨림을 효과적으로 제거할 수 있고, 실시간 연산 속도를 향상시킨 효과가 있다.
또한, 복수 개의 영상들을 실시간으로 스티칭함으로써, VR(Virtual Reality) 영상 또는 파노라마 영상을 실시간으로 구현할 수 있는 효과가 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법을 간략히 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 시스템을 간략히 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능한 기록매체의 실시예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능한 기록매체를 통해 생성된 투영 영상의 예시를 도시한 도면이다.
본 명세서에서 제1 및/또는 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 즉, 구성요소들을 상기 용어들에 의해 한정하고자 함이 아니다.
본 명세서에서 '포함하다' 라는 표현으로 언급되는 구성요소, 특징, 및 단계는 해당 구성요소, 특징 및 단계가 존재함을 의미하며, 하나 이상의 다른 구성요소, 특징, 단계 및 이와 동등한 것을 배제하고자 함이 아니다.
본 명세서에서 단수형으로 특정되어 언급되지 아니하는 한, 복수의 형태를 포함한다. 즉, 본 명세서에서 언급된 구성요소 등은 하나 이상의 다른 구성요소 등의 존재나 추가를 의미할 수 있다.
다르게 정의되지 않는 한, 기술적이거나 `과학적인 용어를 포함하여, 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(통상의 기술자)에 의하여 일반적으로 이해되는 것과 동일한 의미이다.
즉, 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법을 간략히 도시한 순서도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법은 영상들을 입력받는 단계(S101), 노이즈를 조정하는 단계(S103), 호모그래피 정보들을 생성하는 단계(S105), 호모그래피 정보들을 필터링하는 단계(S107) 및 투영 영상을 생성하는 단계(S109)를 포함할 수 있다.
영상들을 입력받는 단계(S101)는 복수 개의 카메라가 구비된 영상촬영장치에서 촬영된 복수 개의 영상들을 입력받는 단계이다.
영상촬영장치에서 촬영된 복수 개의 영상들은 각 영상들의 촬영과 동시에 실시간으로 입력될 수 있다.
노이즈를 조정하는 단계(S103)는 입력받은 영상들의 노이즈 및 왜곡을 보정하는 단계로서, 가우시안 필터(Gaussian Filter), 저역 통과 필터(Low-Pass Filter) 또는 미디언 필터(Median Filter) 등의 저역 필터를 이용하여 영상들의 노이즈 및 왜곡 등이 보정될 수 있다.
호모그래피 정보를 생성하는 단계(S105)는 입력된 영상들의 프레임들 중 동일 시점의 프레임들을 스티칭(Stitching)하여, 각 시점별 호모그래피 정보들을 생성하는 단계이다.
호모그래피 정보를 생성하는 단계(S105)에서는 RANSAC(RANdom SAmple Consensus) 방법을 이용하여 입력된 영상들의 동일 시점의 프레임들에서 특징점들이 추출될 수 있다.
추출된 특징점들은 동일 시점의 프레임들의 픽셀 간 최소의 차이점을 보이는 지점으로 추출되며, 특징점들을 보다 쉽게 추출하기 위하여 흑백 변환 및 크기 조정 등의 방법을 통해 프레임들이 보정될 수 있다.
RANSAC 방법을 이용한 특징점들의 추출은 동일 시점의 프레임들에 포함된 모든 데이터들을 비교 분석하는 것이 아니라, 동일 시점의 프레임들에서 무작위로 추출된 임의의 데이터 중 오차범위 내의 데이터만을 분석하는 것이므로, 데이터들의 오차를 줄일 수 있고 연산 속도를 향상시킬 수 있다.
동일 시점의 프레임들에서 특징점들이 추출된 후, 추출된 특징점들 중 대응되는 특징점들끼리 스티칭하여, 호모그래피 정보가 생성될 수 있다.
예컨대, 영상촬영장치에 A카메라 및 B카메라가 구비되어있다고 하면, 제1 시점에서 A1프레임(A카메라를 통해 촬영된 영상의 제1 시점의 프레임) 및 B1프레임(B카메라를 통해 촬영된 영상의 제1 시점의 프레임)의 특징점들이 RANSAC 방법을 이용하여 추출될 수 있다.
그 후, A1프레임 및 B1프레임에서 추출된 특징점들 중 대응되는 특징점들끼리 스티칭되어, 제1 시점에서 A1프레임 및 B1프레임에 대한 제1 호모그래피 정보가 생성될 수 있다.
마찬가지로 제2 시점에서 A2프레임(A카메라를 통해 촬영된 영상의 제2 시점의 프레임) 및 B2프레임(B카메라를 통해 촬영된 영상의 제2 시점의 프레임)의 특징점들이 추출되고, 대응되는 특징점들끼리 스티칭되어 제2 시점에서 A2프레임 및 B2프레임에 대한 제2 호모그래피 정보가 생성될 수 있다.
본 예시에서는 영상촬영장치에 A카메라 및 B카메라를 설명하였으나, 영상촬영장치에 구비되는 카메라의 개수는 이에 국한되는 것은 아니다.
호모그래피 정보는 호모그래피 변환(Homography Transformation)을 수행하기 위한 정보로서, 특징점들의 절대 위치를 특정시켜, 이미지의 기하학적 변형과 픽셀 데이터에 대한 보정을 계산한 정보이다.
호모그래피 변환은 자유도가 8이며, 최소 4개의 매칭쌍을 필요로 하기 때문에, 영상들의 동일 시점의 프레임들에서 스티칭을 위해 추출된 특징점들 중 대응되는 특징점들의 쌍은 4쌍 이상일 수 있다.
호모그래피 정보인 호모그래피 변환 행렬은 다음의 수식을 통해 계산될 수 있다.
Figure 112017114426875-pat00001
여기서 X는 이미지 행렬이며, H는 호모그래피 변환 행렬이다.
h1, h2, h4 및 h5는 회전, 스케일, 전단 및 반사를 나타내고, h3 및 h6은 평행이동을 나타내며, h7 및 h8은 원근변화를 나타낸다.
호모그래피 정보들을 필터링하는 단계(S107)는 영상들의 초당 프레임 수(Frame Per Second, FPS)에 기반하여, 생성된 호모그래피 정보들을 필터링하는 단계이다. 여기서 X는 이미지 행렬이며, H는 호모그래피 변환 행렬이다.
h1, h2, h4 및 h5는 회전, 스케일, 전단 및 반사를 나타내고, h3 및 h6은 평행이동을 나타내며, h7 및 h8은 원근변화를 나타낸다.
호모그래피 정보들을 필터링하는 단계(S107)는 영상들의 초당 프레임 수(Frame Per Second, FPS)에 기반하여, 생성된 호모그래피 정보들을 필터링하는 단계이다.
생성된 호모그래피 정보들은 임시로 저장되고, 미디언 필터(Median Filter) 및 평균값 필터(Average Filter) 등을 이용하여 필터링되어, 최종적으로 생성되는 투영 영상의 오류가 감소하고, 영상의 떨림이 안정화될 수 있다.
호모그래피 정보들을 필터링하기 위한 윈도우의 크기가 영상들의 초당 프레임 수 미만의 크기로 할당될 수 있다.
예컨대, 영상들의 초당 프레임 수가 30인 경우, 윈도우의 크기는 영상들의 초당 프레임 수의 절반인 15로 할당될 수 있으며, 15의 크기를 갖는 윈도우를 이용하여 호모그래피 정보들을 필터링하는 경우, 한 번의 필터링은 0.5초마다 수행될 수 있다.
만약, 영상들의 초당 프레임 수가 상이한 경우, 입력되는 영상들 중 기설정된 조건에 따라 선택된 영상의 초당 프레임 수에 기반하여, 윈도우의 크기를 할당할 수 있다.
여기서, 기설정된 조건은 영상들의 초당 프레임 수가 상이할 경우, 영상들 중 어느 하나의 영상을 선택하기 위해 설정된 조건이다.
기설정된 조건에 따라 선택된 영상은 영상들 중 주 영상으로 특정된 영상 또는 영상들 중 초당 프레임 수가 가장 많은 영상 중 어느 하나일 수 있다.
예컨대, 사용자는 영상들의 초당 프레임 수가 상이할 경우, 촬영된 영상들 중 주 영상을 특정하여, 주 영상의 초당 프레임 수에 기반하여 윈도우의 크기가 할당되도록 설정할 수 있다.
또한, 사용자는 주 영상을 특정하지 않고, 입력되는 복수 개의 영상들 중 초당 프레임 수가 가장 많은 영상의 초당 프레임 수를 기준으로 윈도우의 크기가 할당되도록 설정할 수도 있다.
즉, 기설정된 조건에 따라 선택된 영상은, 사용자에 의하여 영상들 중 주 영상으로 특정된 영상 또는 영상들 중 초당 프레임 수가 가장 많은 영상 중 어느 하나의 영상일 수 있다.
윈도우의 크기가 할당된 후, 입력되는 영상들의 초당 프레임 수가 변경된 경우에는 변경된 초당 프레임 수미만의 크기로 윈도우의 크기가 변경될 수 있다.
즉, 윈도우의 크기는 특정한 크기로 설정된 것이 아니라, 영상들의 초당 프레임 수에 기반하여 동적으로 할당될 수 있으므로, 입력되는 영상들의 개수가 늘거나 줄어드는 변화가 있더라도 능동적인 대처가 가능하다.
호모그래피 정보들이 생성된 순서에 따라, 크기가 할당된 윈도우를 슬라이딩하여 호모그래피 정보들이 순차적으로 필터링 될 수 있다.
예컨대, 윈도우 크기가 3으로 할당되었다고 하면, 먼저 제1 내지 제3 시점의 호모그래피 정보들이 필터링 될 수 있다. 다음으로 제2 내지 제4 시점의 호모그래피 정보들이 필터링 될 수 있다.
즉, 먼저 필터링된 호모그래피 정보들 중 일부는 다음 순차의 필터링 과정에도 포함될 수 있으므로, 결과적으로 모든 호모그래피 정보들은 일정 수준 이하의 오차를 갖게 필터링 될 수 있다.
일정 수준 이하의 오차를 갖게 필터링된 호모그래피 정보들에 기반하여, 영상들의 동일 시점의 프레임들을 결합하여 투영 영상을 생성함으로써, 생성된 투영 영상의 떨림이 안정화되고, 오류가 줄어들 수 있다.
구체적으로, 호모그래피 정보는 3x3 크기의 호모그래피 변환 행렬이므로, 각 시점별 호모그래피 변환 행렬들에서 대응되는 위치의 원소(element)들끼리 필터링 될 수 있다.
또한, 한 번의 필터링 과정의 모집단의 개수인 윈도우의 크기를 영상들의 초당 프레임 수에 기반하여 동적으로 할당함으로써, 각 필터링 과정의연산 시간이 단축될 수 있다.
각 필터링 과정의 연산 시간이 단축됨으로써, 영상촬영장치로부터 실시간으로 입력되는 영상들의 각 시점별 호모그래피 정보들이 실시간으로 필터링 될 수 있다. 또한, 필터링된 호모그래피 정보들에 기반하여 영상들의 동일 시점의 프레임들이 결합됨으로써 투영 영상이 실시간으로 생성될 수 있다.
결과적으로, 호모그래피 정보들을 필터링할 때 사용되는 윈도우의 크기가 영상들의 초당 프레임 수에 기반하여 동적으로 할당되어, 실시간으로 입력되는 영상들의 투영 영상이 생성될 수 있다.
투영 영상을 생성하는 단계(S109)는 필터링된 호모그래피 정보들에 기반하여, 영상들의 동일 시점의 프레임들을 결합함으로써 투영 영상을 생성하는 단계이다.
각 시점별 필터링된 호모그래피 정보들에 기반하여, 각 시점별 프레임들이 변환되고, 변환된 프레임들 중 동일 시점의 프레임들이 결합되어 투영 영상이 생성될 수 있다.
즉, 각 시점별로 필터링된 호모그래피 변환 행렬을 대응되는 시점의 프레임들의 이미지 행렬에 곱함으로써 각 시점별 프레임들을 변환시키고, 변환된 프레임들 중 동일 시점의 프레임들끼리 결합시켜 투영 영상이 생성될 수 있다.
또한, 결합된 복수 개의 영상들의 경계면을 부드럽게 하기 위하여, 영상들의 각 시점별 프레임들의 투명도, 명도, 채도 및 색상 중 적어도 하나가 조정될 수 있다.
예컨대, 투명도, 명도, 채도 및 색상 중 적어도 하나를 조정하기 위하여, 미디언 필터 또는 평균값 필터를 이용하여, 결합되는 동일 시점의 프레임들이 조정될 수 있다.
영상들의 경계면의 차이를 줄임으로써, 생성된 투영 영상은 보다 사실적인 하나의 영상으로 인식될 수 있다.
또한, 실시간으로 필터링된 호모그래피 정보들에 기반하여 영상들이 결합되기 때문에, 전체 영상을 저장한 후 작업을 통해 투영 영상을 생성하는 것이 아니라, 영상들이 입력되는 것과 동시에 실시간으로 투영 영상이 생성되고, 영상출력장치를 통해 사용자에게 투영 영상이 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 시스템을 간략히 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 시스템(100)은 영상촬영장치(101), 서버(103) 및 영상출력장치(105)를 포함할 수 있다.
영상촬영장치(101)는 복수 개의 카메라들이 구비되어 있어, 복수 개의 영상들을 동시에 촬영할 수 있다.
카메라들에서 촬영된 영상들은 일정 부분 겹쳐지게 카메라들의 위치가 설정될 수 있다. 즉, 각 카메라들의 화각이 일정 부분 겹쳐지게끔 카메라들의 위치가 설정될 수 있다.
예컨대, A카메라가 전방 좌측 45도를 향하게 설치되고, B카메라가 전방 우측 45도를 향하게 설치되어, 약 전방 180°범위의 영상을 촬영할 수 있다.
영상촬영장치(101)에서 촬영된 영상들은 실시간으로 서버(103)로 전송될 수 있다.
서버(103)는 영상촬영장치(101)로부터 전송받은 영상들에 기반하여, 투영 영상을 생성하고, 생성한 투영 영상을 영상출력장치(105)로 전송할 수 있다.
먼저, 서버(103)는 가우시안 필터링 및 저역 통과 필터를 이용하여 영상촬영장치(101)로부터 전송받은 영상들의 노이즈(salt and pepper noise) 및 왜곡을 보정할 수 있다.
다음으로, 서버(103)는 영상들의 각 시점별 프레임들의 호모그래피 정보를 생성할 수 있다.
서버(103)는 RANSAC 방법을 이용하여, 영상들의 동일 시점의 프레임들의 특징점들을 추출하고, 추출된 특징점들 중 대응되는 특징점들끼리 스티칭하여 각 시점별 프레임들 간의 호모그래피 정보를 생성할 수 있다.
생성된 호모그래피 정보들은 서버(103)에 임시로 저장되어, 영상들의 초당 프레임 수에 기반하여 필터링될 수 있다.
서버(103)는 생성된 호모그래피 정보들을 필터링 하기 위한 윈도우의 크기를 영상들의 초당 프레임 수에 기반하여 할당할 수 있다.
예컨대, 서버(103)는 윈도우의 크기를 영상들의 초당 프레임 수의 절반의 크기로 설정할 수 있다.
만약, 입력되는 영상들의 초당 프레임 수가 상이할 경우, 서버(103)는 기설정된 조건에 따라 선택된 영상의 초당 프레임 수에 기반하여, 윈도우의 크기를 할당할 수 있다.
기설정된 조건에 따라 선택된 영상은, 사용자에 의하여 영상들 중 주 영상으로 특정된 영상 또는 영상들 중 초당 프레임 수가 가장 많은 영상 중 어느 하나의 영상일 수 있다.
예컨대, 서버(103)에는 입력되는 영상들의 초당 프레임 수가 상이할 경우, 영상들 중 사용자에 의해 특정된 주 영상의 초당 프레임 수를 기준으로 윈도우의 크기를 할당하라고 설정되거나, 또는 입력되는 영상들의 초당 프레임 수들 중 가장 큰 초당 프레임 수를 기준으로 윈도우의 크기를 할당하라는 조건이 설정될 수 있다.
즉, 사용자는 윈도우의 크기를 할당할 때, 기준이 되는 영상을 직접 설정함으로써 투영 영상의 해상도를 조절할 수 있다.
또한, 사용자는 투영 영상이 출력되는 동안에도 윈도우의 크기 할당의 기준이 되는 영상을 변경함으로써 투영 영상의 해상도를 조절할 수 있다.
서버(103)는 윈도우의 크기를 초당 프레임 수에 기반하여 동적으로 할당함으로써, 각 시점별 호모그래피 정보들 간의 오차 범위를 일정 수준 이하로 낮출 수 있다.
윈도우의 크기를 할당한 후, 서버(103)는 호모그래피 정보들이 생성된 순서에 따라, 윈도우를 슬라이딩하며 호모그래피 정보들을 순차적으로 필터링 할 수 있다.
예컨대, 서버(103)는 A1프레임(A영상의 제1 프레임) 및 B1프레임(B영상의 제1 프레임)의 특징점을 추출하고, 추출된 특징점들 중 대응되는 특징점들을 스티칭하여 제1 시점의 호모그래피 정보를 생성할 수 있다.
그 후, 서버(103)는 제2 시점, 제3 시점 등 다음 시점들의 호모그래피 정보들을 생성하고, 생성된 호모그래피 정보들을 필터링하기 위해 윈도우의 크기를 할당할 수 있다.
할당된 윈도우의 크기가 3이라고 가정하면, 제1 내지 제3 호모그래피 정보들이 필터링된 후, 제2 내지 제4 호모그래피 정보들이 필터링 될 수 있다.
즉, 슬라이딩되는 윈도우에 의하여 순차적이고 연쇄적으로 필터링된 호모그래피 정보들은 일정 수준 이하의 오차 범위를 갖게 되므로, 최종적으로 생성되는 투영 영상은 오류가 적고, 떨림의 정도가 완화될 수 있다.
서버(103)는 필터링된 호모그래피 정보들에 기반하여, 각 시점별 프레임들을 변환시킨 후, 변환된 각 시점별 프레임들 중 동일 시점의 프레임들끼리 결합함으로써 투영 영상을 생성할 수 있다.
즉, 서버(103)는 각 시점별로 필터링된 호모그래피 정보인 호모그래피 변환 행렬을 대응되는 시점의 프레임들의 이미지 행렬들에 곱함으로써, 각 시점별 프레임들을 변환시킬 수 있다.
또한, 서버(103)는 결합되는 영상들의 동일 시점의 프레임들의 경계면의 차이를 줄이기 위하여, 프레임들의 투명도, 명도, 채도 및 색상 중 적어도 하나를 조정한 후, 동일 시점의 프레임들끼리 결합하여 투영 영상을 생성할 수 있다.
서버(103)는 투명도, 명도, 채도 및 색상 중 적어도 하나를 조정하기 위하여, 미디언 필터 또는 평균값 필터를 이용하여, 프레임들을 조정할 수 있다.
서버(103)는 생성된 투영 영상을 실시간으로 영상출력장치(105)로 전송하고, 영상출력장치(105)는 전송받은 투영 영상을 출력할 수 있다.
즉, 영상촬영장치(101)는 촬영되는 영상을 실시간으로 서버(103)로 전송하고, 서버(103)는 전송받은 영상들의 각 시점별 호모그래피 정보를 생성하고, 호모그래피 정보들을 필터링하기 위한 윈도우의 크기를 동적으로 할당함으로써 호모그래피 정보들을 필터링한 후, 필터링된 호모그래피 정보들에 기반하여 변환된 동일 시점의 프레임들을 결합함으로써 투영 영상을 생성할 수 있다.
또한, 서버(103)는 생성된 투영 영상을 영상출력장치(105)로 전송함으로써, 사용자는 영상출력장치(105)를 통해 실시간으로 투영 영상을 제공받을 수 있다.
본 발명의 일 실시예에 따른 실시간 비디오 스티칭 시스템은 영상촬영장치(101), 서버(103) 및 영상출력장치(105)를 각각 개별 장치들로 표현하였으나, 본 발명은 이러한 표현에 국한되는 것이 아니라 다양한 양상으로 나타날 수 있다.
예컨대, 영상촬영유닛 및 영상출력유닛이 구비된 제3 장치가 있을 수 있고, 사용자는 제3 장치를 통해 영상을 촬영하고, 동시에 투영 영상을 볼 수 있다.
도 3은 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능한 기록매체의 실시예를 도시한 도면이다.
도 3을 참조하면, 도 3a 내지 3d는 제1 카메라 및 제2 카메라를 구비한 영상촬영장치(101)를 통해 촬영한 영상을 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법으로 투영한 결과를 도시한 도면이다.
도 3a 내지 3d는 제1 카메라 및 제2 카메라를 통해 촬영된 영상들의 제1 내지 제4 시점의 프레임들을 각각 투영한 결과이다.
제1 카메라를 통해 촬영된 영상의 프레임(301) 및 제2 카메라를 통해 촬영된 영상의 프레임(303)의 투영 결과를 보면, 제1 카메라 및 제2 카메라는 고정된 위치에 설치된 것이 아니라, 다양한 위치에서 각각의 영상을 촬영할 수 있다.
즉, 영상촬영장치(101)는 CCTV처럼 고정된 위치에 설치된 것이 아니고 휴대가 가능하므로, 사용자가 영상촬영장치(101)를 통해 원하는 장소에서 복수 개의 영상들을 촬영할 수 있다.
또한, 영상촬영장치(101)에서 촬영된 영상들은 촬영과 동시에 실시간으로 서버(103)로 전송되고, 서버(103)에서 실시간으로 투영 영상을 생성하기 때문에, 사용자는 영상출력장치(103)를 통해 실시간으로 투영 영상을 볼 수 있다.
도 4는 본 발명의 일 실시예에 따른 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능한 기록매체를 통해 생성된 투영 영상의 예시를 도시한 도면이다.
도 4를 참조하면, 영상촬영장치(101)를 통해 촬영한 4개의 영상들의 어느 한 시점의 프레임들(401 내지 407)을 호모그래피 정보를 통해 변환하고, 변환된 프레임(411 내지 417)들을 생성하고, 변환된 이미지(411 내지 417)들을 결합하여 투영 이미지(421)를 생성하였다.
구체적으로, 촬영된 영상들의 어느 한 시점에서의 Left 프레임(401), Front 프레임(403), Right 프레임(405) 및 Back 프레임(407)에서 RANSAC 방법을 이용하여 특징점들을 추출한 후, 추출된 특징점들 중 대응되는 특징점들을 스티칭하여 호모그래피 정보를 생성하였다.
생성된 호모그래피 정보를 필터링한 후, 필터링된 호모그래피 정보를 통해서 변환된 T-Left 프레임(411), T-Front 프레임(413), T-Right 프레임(415) 및 T-Back 프레임(417)을 생성하였다.
필터링된 호모그래피 정보에 기반하여 변환된 T-Left 프레임(411), T-Front 프레임(413), T-Right 프레임(415) 및 T-Back 프레임(417)을 결합하여 투영 이미지(421)를 생성하였다.
본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 단계, 과정, 로직 블록, 수단, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다. 또한, 본 명세서에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 실행될 수 있다. 소프트웨어에 의해 실행되는 경우, 그 기능은 하나 이상의 명령이나 코드로서 컴퓨터-판독가능 저장 매체에 저장되거나 이를 통해 전송될 수 있다. 컴퓨터-판독가능 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용가능한 매체를 총괄적으로 지칭한다.
비록 본 명세서에서의 설명은 예시적인 몇 가지 양상으로 나타났지만, 다양한 수정이나 변경이 후술되는 특허청구범위에 의해 정의되는 범주로부터 이루어질 수 있으며, 본 발명의 기술적인 보호범위는 다음의 특허청구범위에 의하여 정해져야 할 것이다.
101 : 영상촬영장치
103 : 서버
105 : 영상출력장치
301 : 제1 카메라를 통해 촬영된 영상의 프레임
303 : 제2 카메라를 통해 촬영된 영상의 프레임
401 : Left 프레임
403 : Front 프레임
405 : Right 프레임
407 : Back 프레임
411 : T-Left 프레임
413 : T-Front 프레임
415 : T-Right 프레임
417 : T-Back 프레임
421 : 투영 이미지

Claims (24)

  1. 영상촬영장치에서 촬영되는 복수의 영상들을 입력받는 단계;
    상기 영상들의 동일 시점의 프레임들을 스티칭(Stitching)하여, 각 시점별 프레임들 간의 호모그래피(Homography) 정보들을 생성하는 단계;
    상기 영상들의 초당 프레임 수(Frame Per Second, FPS)에 기반하여, 상기 생성된 호모그래피 정보들을 필터링하는 단계; 및
    상기 필터링된 호모그래피 정보들에 기반하여, 상기 동일 시점의 프레임들을 결합하여 투영 영상을 생성하는 단계를 포함하고,
    상기 생성된 호모그래피 정보들을 필터링하는 단계는,
    상기 초당 프레임 수에 기반하여, 윈도우의 크기를 할당하는 단계; 및
    상기 호모그래피 정보들이 생성된 순서에 따라, 상기 윈도우를 슬라이딩하여 상기 호모그래피 정보들을 순차적으로 필터링하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  2. 제1항에 있어서,
    상기 입력받는 단계는,
    상기 영상들이 촬영되는 동안 상기 복수의 영상들을 실시간으로 입력받는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  3. 제1항에 있어서,
    상기 입력받는 단계 이후,
    상기 입력받은 영상들의 노이즈를 조정하는 단계를 더 포함하는,
    실시간 비디오 스티칭 방법.
  4. 제1항에 있어서,
    상기 호모그래피 정보를 생성하는 단계는,
    상기 영상들의 동일 시점의 프레임들에서 특징점들을 추출하는 단계; 및
    상기 추출된 특징점들 중 대응되는 특징점들끼리 스티칭하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 윈도우의 크기를 할당하는 단계는,
    상기 영상들의 초당 프레임 수가 상이한 경우,
    상기 영상들 중 기설정된 조건에 따라 선택된 영상의 초당 프레임 수에 기반하여, 상기 윈도우의 크기를 할당하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  7. 제1항에 있어서,
    상기 윈도우의 크기를 할당하는 단계는,
    상기 초당 프레임 수 미만의 크기로 상기 윈도우의 크기를 할당하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  8. 제1항에 있어서,
    상기 윈도우의 크기를 할당하는 단계 이후,
    상기 입력되는 영상들의 초당 프레임 수가 변경된 경우,
    상기 할당된 윈도우의 크기를 상기 변경된 초당 프레임 수 미만의 크기로 변경하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  9. 제1항에 있어서,
    상기 투영 영상을 생성하는 단계는,
    상기 필터링된 호모그래피 정보들에 기반하여 상기 영상들의 각 시점별 프레임들을 변환하는 단계; 및
    상기 변환된 프레임들 중 동일 시점의 프레임들을 결합하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  10. 제1항에 있어서,
    상기 투영 영상을 생성하는 단계는,
    상기 영상들의 각 시점별 프레임들의 투명도, 명도, 채도 또는 색상 중 적어도 하나를 조정하는 단계; 및
    상기 필터링된 호모그래피 정보들에 기반하여, 상기 조정된 프레임들 중 동일 시점의 프레임들을 결합하는 단계를 포함하는,
    실시간 비디오 스티칭 방법.
  11. 제6항에 있어서,
    상기 윈도우의 크기를 할당하는 단계에서,
    상기 기설정된 조건은,
    상기 영상들의 초당 프레임 수가 상이할 경우, 상기 영상들 중 어느 하나의 영상을 선택하는 조건이며,
    상기 기설정된 조건에 따라 선택된 영상은,
    상기 영상들 중 주 영상으로 특정된 영상 또는 상기 영상들 중 초당 프레임 수가 가장 많은 영상 중 어느 하나의 영상인,
    실시간 비디오 스티칭 방법.
  12. 복수 개의 카메라들이 구비되어, 복수 개의 영상들을 촬영하는 영상촬영장치; 및
    영상촬영장치로부터 상기 영상들을 전송받아, 상기 영상들의 동일 시점의 프레임들 간의 호모그래피 정보를 생성하고,
    상기 영상들의 초당 프레임 수(Frame Per Second, FPS)에 기반하여 윈도우의 크기를 할당하고, 상기 호모그래피 정보들이 생성된 순서에 따라 상기 윈도우를 슬라이딩하여 상기 호모그래피 정보들을 순차적으로 필터링하고,
    상기 필터링된 호모그래피 정보들에 기반하여, 상기 동일 시점의 프레임들을 결합하여 투영 영상을 생성하는 서버를 포함하는,
    실시간 비디오 스티칭 시스템.
  13. 제12항에 있어서,
    상기 서버는,
    상기 영상들의 동일 시점의 프레임들에서 특징점들을 추출하고,
    상기 추출된 특징점들 중 대응되는 특징점들끼리 스티칭하여, 상기 각 시점별 프레임들 간의 호모그래피 정보를 생성하는,
    실시간 비디오 스티칭 시스템.
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 서버는,
    상기 초당 프레임 수 미만의 크기로 상기 윈도우의 크기를 할당하는,
    실시간 비디오 스티칭 시스템.
  17. 제12항에 있어서,
    상기 서버는,
    상기 영상들의 초당 프레임 수가 상이한 경우,
    상기 영상들 중 기설정된 조건에 따라 선택된 영상의 초당 프레임 수에 기반하여, 상기 윈도우의 크기를 할당하는,
    실시간 비디오 스티칭 시스템.
  18. 제12항에 있어서,
    상기 서버는,
    상기 윈도우의 크기를 할당한 이후에 상기 영상들의 초당 프레임 수가 변경된 경우,
    상기 할당된 윈도우의 크기를 상기 변경된 초당 프레임 수 미만의 크기로 변경하는,
    실시간 비디오 스티칭 시스템.
  19. 제12항에 있어서,
    상기 서버는,
    상기 필터링된 호모그래피 정보들에 기반하여, 상기 각 시점별 프레임들을 변환하고,
    상기 변환된 프레임들 중 동일 시점의 프레임들을 결합하여 투영 영상을 생성하는,
    실시간 비디오 스티칭 시스템.
  20. 제12항에 있어서,
    상기 서버는,
    상기 각 시점별 프레임들의 투명도, 명도, 채도 또는 색상 중 적어도 하나를 조정한 후,
    상기 필터링된 호모그래피 정보들에 기반하여, 조정된 프레임들 중 동일 시점의 프레임들을 결합하여 상기 투영 영상을 생성하는,
    실시간 비디오 스티칭 시스템.
  21. 제12항에 있어서,
    상기 서버는,
    상기 전송받은 영상들의 노이즈 및 왜곡을 조정한 후, 상기 영상들의 동일 시점의 프레임들에 대한 호모그래피 정보들을 생성하는,
    실시간 비디오 스티칭 시스템.
  22. 제17항에 있어서,
    상기 기설정된 조건은,
    상기 영상들의 초당 프레임 수가 상이할 경우, 상기 영상들 중 어느 하나의 영상을 선택하는 조건이며,
    상기 기설정된 조건에 따라 선택된 영상은,
    상기 영상들 중 주 영상으로 특정된 영상 또는 상기 영상들 중 초당 프레임 수가 가장 큰 영상 중 어느 하나의 영상을 포함하는,
    실시간 비디오 스티칭 시스템.
  23. 제12항에 있어서,
    상기 서버로부터 상기 생성된 투영 영상을 전송받아 출력하는 영상출력장치를 더 포함하는,
    실시간 비디오 스티칭 시스템.
  24. 제1항의 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020170153760A 2017-11-17 2017-11-17 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체 KR101915036B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170153760A KR101915036B1 (ko) 2017-11-17 2017-11-17 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170153760A KR101915036B1 (ko) 2017-11-17 2017-11-17 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체

Publications (1)

Publication Number Publication Date
KR101915036B1 true KR101915036B1 (ko) 2018-11-05

Family

ID=64328909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170153760A KR101915036B1 (ko) 2017-11-17 2017-11-17 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체

Country Status (1)

Country Link
KR (1) KR101915036B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102110136B1 (ko) * 2018-11-07 2020-05-13 한국항공대학교산학협력단 특징점 누적 기반 호모그래피를 이용한 고정형 비디오 스티칭 장치 및 방법
CN111753856A (zh) * 2020-05-26 2020-10-09 中国人民解放军96901部队21分队 一种基于中心自适应的视频快速拼接方法
KR20210057925A (ko) * 2019-11-13 2021-05-24 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
KR20220081168A (ko) 2020-12-08 2022-06-15 광운대학교 산학협력단 비디오 스티칭 방법 및 장치
KR20230093981A (ko) 2021-12-20 2023-06-27 광운대학교 산학협력단 비디오 스티칭 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012034361A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 手ぶれ補正方法及び手ぶれ補正装置
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR101661476B1 (ko) * 2015-06-04 2016-09-30 숭실대학교산학협력단 비의도 움직임 완화 필터링 기반의 동영상 안정화 방법, 이를 수행하기 위한 기록매체 및 장치
KR101680545B1 (ko) * 2015-06-30 2016-11-30 인천대학교 산학협력단 파노라마 동영상 생성 서비스 제공 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012034361A (ja) * 2010-07-30 2012-02-16 Fujitsu Ltd 手ぶれ補正方法及び手ぶれ補正装置
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR101661476B1 (ko) * 2015-06-04 2016-09-30 숭실대학교산학협력단 비의도 움직임 완화 필터링 기반의 동영상 안정화 방법, 이를 수행하기 위한 기록매체 및 장치
KR101680545B1 (ko) * 2015-06-30 2016-11-30 인천대학교 산학협력단 파노라마 동영상 생성 서비스 제공 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102110136B1 (ko) * 2018-11-07 2020-05-13 한국항공대학교산학협력단 특징점 누적 기반 호모그래피를 이용한 고정형 비디오 스티칭 장치 및 방법
KR20210057925A (ko) * 2019-11-13 2021-05-24 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
KR102261544B1 (ko) * 2019-11-13 2021-06-07 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
CN111753856A (zh) * 2020-05-26 2020-10-09 中国人民解放军96901部队21分队 一种基于中心自适应的视频快速拼接方法
KR20220081168A (ko) 2020-12-08 2022-06-15 광운대학교 산학협력단 비디오 스티칭 방법 및 장치
KR20230093981A (ko) 2021-12-20 2023-06-27 광운대학교 산학협력단 비디오 스티칭 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101915036B1 (ko) 실시간 비디오 스티칭 방법, 시스템 및 컴퓨터 판독 가능 기록매체
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
CN107249096B (zh) 全景摄像机及其拍摄方法
JP4513906B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US7855752B2 (en) Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
US8860816B2 (en) Scene enhancements in off-center peripheral regions for nonlinear lens geometries
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
CN107911682B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN108055452A (zh) 图像处理方法、装置及设备
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
JP6967489B2 (ja) マルチセンサービデオカメラ、ならびにそれのための方法および処理パイプライン
CN105141841B (zh) 摄像设备及其方法
US20130113962A1 (en) Image processing method for producing background blurred image and image capturing device thereof
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2019041389A (ja) パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
JP2019092156A (ja) 重なり合う視界を有する第１の画像と第２の画像とを合成するための方法、デバイス、およびカメラ
WO2020011112A1 (zh) 图像处理方法、系统、可读存储介质及终端
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
CN109697737B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
JP2018056659A (ja) 撮影制御装置およびその制御方法
CN109785390B (zh) 一种用于图像矫正的方法和装置
CN109584311A (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109785225B (zh) 一种用于图像矫正的方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant