KR101990491B1 - 초고해상도 영상 스티칭 방법 및 시스템 - Google Patents
초고해상도 영상 스티칭 방법 및 시스템 Download PDFInfo
- Publication number
- KR101990491B1 KR101990491B1 KR1020170098656A KR20170098656A KR101990491B1 KR 101990491 B1 KR101990491 B1 KR 101990491B1 KR 1020170098656 A KR1020170098656 A KR 1020170098656A KR 20170098656 A KR20170098656 A KR 20170098656A KR 101990491 B1 KR101990491 B1 KR 101990491B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- stitching
- quality
- algorithm
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 238000002156 mixing Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명은 초고해상도 영상 스티칭 방법 및 시스템에 관한 것으로서, 그 초고해상도 영상 스티칭 방법은 초고화질 영상을 전송하기 위해 송신단에서 초고화질의 원본영상을 낮은 화질의 크기로 분할하는 단계; 및 수신단에서 낮은 화질의 영상을 한 장의 영상으로 재구성하는 단계를 포함하고, 그 낮은 화질의 영상은 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 특징점 기반 스티칭 알고리즘을 이용하여 이웃한 영상들 간의 중복되는 부분을 생성하기 위해 여분의 픽셀이 추가되는 것을 특징으로 한다. 그 스티칭 알고리즘은 4개의 4K 영상을 스티칭하기 위해 상, 하단 각각 좌우로 이웃한 영상끼리 스티칭 한 후, 두 영상을 다시 스티칭하여 8K 영상을 재구성하는 단계; 영상내 특징점 추출 알고리즘을 사용하여 특징점을 검출하는 단계; 이웃한 두 영상들 간의 특징점을 매칭시켜서 대응점 후보들을 찾되, RANSAC 알고리즘을 이용하여 정확히 대응하는 점과 영상 간의 관계를 표현할 수 있는 호모그래피 매트릭스를 계산하는 단계; 호모그래피 매트릭스를 이용하여 기준영상(좌측영상)에 대한 참조영상(우측영상)을 변환하고 겹쳐지는 영역에 대한 블렌딩 보정을 통해 파노라마 영상을 생성하는 단계; 및 잔여영상이 있을 경우 파노라마의 영상을 하나의 입력영상으로 하여 상술한 과정을 반복하여 8K 해상도 영상을 생성하는 단계를 포함한다.
Description
본 발명은 영상 스티칭(stiching)에 관한 것으로, 특히 초고해상도 영상 스티칭 방법 및 장치에 관한 것이다.
대용량의 8K급 초고해상도 영상은 한번에 전송하기 쉽지 않다. 따라서 이를 시간 대비 효율적으로 전송하기 위해서는 영상을 분할할 필요가 있다. 초고해상도 영상을 분할한 후 분할된 영상을 전송하면, 수신 측에서는 원래대로 영상을 복원한다. 분할하여 송신한 4K 영상을 수신 측에서 다시 하나의 영상으로 복원하기 위해서는 초고해상도 스티칭 기술이 필요하다. 이 때 수신 측에서는 분할된 영상이 동일 영상이라고 판단되면 두 영상의 스티칭을 위해 정확도와 속도를 고려하여 영상의 특징점을 추출하고 이 때 초고해상도 영상의 크기와 복잡도를 고려하여 강인한 특징점 추출 기술이 필요하다.
분할된 영상을 스티칭하게 되면 중복된 영상이 표출되게 되는 접합부에서 품질 저하 및 픽셀값 끊김 현상이 발생하므로 이를 개선하는 블렌딩 기술이 필요하다. 또한 영상 수신 측에서 복원한 초고해상도 영상 표출 기술 필요하다.
본 발명이 해결하고자 하는 과제는 고해상도의 8K 영상을 전송하기 위해 송신단에서 원본 영상을 4K 크기로 분할하여 전송하면, 수신단에서 다시 한 장의 영상으로 재구성할 수 있는, 영상 스티칭 방법을 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 초고해상도 영상 스티칭 방법은, 초고화질 영상을 전송하기 위해 송신단에서 원본 영상을 상기 초고화질보다 낮은 화질의 크기로 분할하는 단계; 및 수신단에서 상기 낮은 화질의 영상을 한 장의 영상으로 재구성하는 단계를 포함하고, 상기 낮은 화질의 영상은 상기 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 특징점 기반 스티칭 알고리즘을 이용하여 이웃한 영상들 간의 중복되는 부분을 생성하기 위해 여분의 픽셀이 추가되는 것을 특징으로 한다.
상기 스티칭 알고리즘은 상기 초고화질 영상은 8K 영상이고, 상기 낮은 화질의 영상은 4K 영상일 경우, 4개의 4K 영상을 스티칭하기 위해 상, 하단 각각 좌우로 이웃한 영상끼리 스티칭을 한 후, 두 영상을 다시 스티칭하여 8K 영상을 재구성하는 단계; 영상내 특징점 추출 알고리즘을 사용하여 특징점을 검출하는 단계; 이웃한 두 영상들 간의 특징점을 매칭시켜서 대응점 후보들을 찾되, RANSAC 알고리즘을 이용하여 정확히 대응하는 점과 영상 간의 관계를 표현할 수 있는 호모그래피 매트릭스를 계산하는 단계; 호모그래피 매트릭스를 이용하여 기준 영상(좌측 영상)에 대한 참조 영상(우측 영상)을 변환하고 겹쳐지는 영역에 대한 블렌딩 보정을 통해 파노라마 영상을 생성하는 단계; 및 잔여 영상이 있을 경우 상기 파노라마의 영상을 하나의 입력 영상으로 하여 상기 과정을 반복하여 8K 해상도 영상을 생성하는 단계를 포함한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 초고해상도 영상 스티칭 시스템은, 송신단에서 초고화질의 원본 영상을 상기 초고화질보다 낮은 화질의 크기로 분할하는 영상분할부; 및 수신단에서 상기 낮은 화질의 영상을 한 장의 영상으로 재구성하는 영상재구성부를 포함하고, 상기 낮은 화질의 영상은 상기 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 특징점 기반 스티칭 알고리즘을 이용하여 이웃한 영상들 간의 중복되는 부분을 생성하기 위해 여분의 픽셀이 추가되는 것을 특징으로 한다.
본 발명에 따른 초고해상도 영상 스티칭 방법 및 장치에 의하면, 송신단에서 분할된 초고해상도의 영상을 수신단에서 seamless하게 재합성함으로써 대역폭의 확대 또는 영상의 압축률 향상 없이 기존의 전송 환경에서 고화질의 콘텐츠를 표출할 수 있다.
그리고 IPTV 방송 서비스 중 8K 초고해상도 영상 수신기에서의 영상 복원 기술로 활용할 수 있고, 영상 스티칭 후 접합부의 품질을 개선함으로써 픽셀 끊김 현상이 발생하지 않는다.
MFC 기반의 프로그램으로 개발하여 다양한 이미지에서의 스티칭 알고리즘 테스트 가능하다. 또한 프로그램 내 탭을 선택하고 점차적으로 추가함으로써 알고리즘 설정 및 적용이 가능하고, 실시간 스트리밍 시 적용 가능한 스티칭 기법에 대한 기반 연구 기술로 개발될 수 있다.
본 발명은 영상 복원을 위한 스티칭 알고리즘을 응용하여 새로운 알고리즘을 개발하였고, 개발 알고리즘을 다양한 8K 초고해상도 이미지에 적용할 수 있다.
본 발명은 특징점을 기반으로 하는 스티칭 알고리즘의 전체적인 수행 과정을 비교 분석하고 빠른 정합 시간을 위한 새로운 알고리즘은 제안함으로써 사용자가 해당 알고리즘을 다양한 이미지에 적용하고 테스트할 수 있다.
또한 본 발명은 이미지 정합 시 특징점 기반이 아닌 좌표값 기반의 알고리즘을 제안함으로써 이를 동영상에 비고 적용하여 IPTV 서비스를 통해 활용 가능할 것으로 예상된다.
본 발명에 의한 알고리즘과 적용 가능한 이미지를 하나의 MFC 프로그램에 탑재함으로써 향후 알고리즘을 추가 및 수정 보완하여 알고리즘 성능 평가 툴로도 활용할 수 있다.
도 1은 본 발명에 의한 초고해상도 영상 스티칭 기술의 전체 구성도를 나타낸 것이다.
도 2는 송신단에서 원본영상을 분할하여 전송할 때 가장자리 영상의 손실발생 가능성을 고려하여 여분의 픽셀을 추가하는 것을 나타낸 것이다.
도 3은 본 발명에 의한 초고해상도 영상 스티칭 방법에 대한 일실시예를 흐름도로 나타낸 것이다.
도 4는 본 발명에서 사용된 특징점 기반 스티칭 알고리즘을 순서도로 나타낸 것이다.
도 5는 송신단에서 원본영상을 분할하여 전송할 때 가장자리 영상의 손실발생 가능성을 고려하여 여분의 픽셀을 추가하는 것을 나타낸 것이다.
도 6은 특징점 기반 스티칭 알고리즘의 기능 블록도의 일 예를 나타낸 것이다.
도 7은 SURF 알고리즘을 이용하여 좌측상단과 우측상단 입력 영상에 대한 특징점 추출을 나타낸 것이다.
도 8은 좌측 상단, 우측 상단 이미지 2개에 대해 특징점 매칭과 파노라마 영상 생성을 나타낸 것이다.
도 9는 좌측 하단, 우측 하단 이미지 2개에 대한 특징점 매칭과 파노라마 영상 생성을 나타낸 것이다.
도 10 및 도 11은 도 8 및 도 9에서 생성한 파노라마 이미지 2개에 대한 특징점 매칭 및 파노라마 영상 생성을 나타낸 것이다.
도 12는 좌표기반 스티칭 블록도를 나타낸 것이다.
도 13은 좌표 기반 스티칭 경계선을 나타낸 것이다.
도 14는 MFC 프로그램 전체 구성도이다.
도 15 내지 도 20은 동일한 크기의 영상을 입력 받아 3가지의 알고리즘을 적용하여 스티칭을 진행한 결과 4K 영상 크기(5120x2880)의 입력영상으로부터 스티칭 된 8K 영상이 생성되었음을 나타내는 결과물이다.
도 2는 송신단에서 원본영상을 분할하여 전송할 때 가장자리 영상의 손실발생 가능성을 고려하여 여분의 픽셀을 추가하는 것을 나타낸 것이다.
도 3은 본 발명에 의한 초고해상도 영상 스티칭 방법에 대한 일실시예를 흐름도로 나타낸 것이다.
도 4는 본 발명에서 사용된 특징점 기반 스티칭 알고리즘을 순서도로 나타낸 것이다.
도 5는 송신단에서 원본영상을 분할하여 전송할 때 가장자리 영상의 손실발생 가능성을 고려하여 여분의 픽셀을 추가하는 것을 나타낸 것이다.
도 6은 특징점 기반 스티칭 알고리즘의 기능 블록도의 일 예를 나타낸 것이다.
도 7은 SURF 알고리즘을 이용하여 좌측상단과 우측상단 입력 영상에 대한 특징점 추출을 나타낸 것이다.
도 8은 좌측 상단, 우측 상단 이미지 2개에 대해 특징점 매칭과 파노라마 영상 생성을 나타낸 것이다.
도 9는 좌측 하단, 우측 하단 이미지 2개에 대한 특징점 매칭과 파노라마 영상 생성을 나타낸 것이다.
도 10 및 도 11은 도 8 및 도 9에서 생성한 파노라마 이미지 2개에 대한 특징점 매칭 및 파노라마 영상 생성을 나타낸 것이다.
도 12는 좌표기반 스티칭 블록도를 나타낸 것이다.
도 13은 좌표 기반 스티칭 경계선을 나타낸 것이다.
도 14는 MFC 프로그램 전체 구성도이다.
도 15 내지 도 20은 동일한 크기의 영상을 입력 받아 3가지의 알고리즘을 적용하여 스티칭을 진행한 결과 4K 영상 크기(5120x2880)의 입력영상으로부터 스티칭 된 8K 영상이 생성되었음을 나타내는 결과물이다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 의한 초고해상도 영상 스티칭 기술의 전체 구성도를 나타낸 것으로서, 초고해상도 영상 스티칭 기술은 영상 내 특징점 추출 및 정합 기술과 접합부 영상 품질 개선 기술(seamless stitching algorithm)로 이루어진다.
도 2는 본 발명에 의한 초고해상도 영상 스티칭 시스템의 구성을 블록도로 나타낸 것으로서, 영상분할부(200) 및 영상재구성부(250)를 포함하여 이루어진다.
영상분할부(200)는 송신단에서 초고화질의 원본 영상을 상기 초고화질보다 낮은 화질의 크기로 분할한다. 영상재구성부(250)는 수신단에서 상기 낮은 화질의 영상을 한 장의 영상으로 재구성한다.
상기 낮은 화질의 영상은 상기 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 특징점 기반 스티칭 알고리즘을 이용하여 이웃한 영상들 간의 중복되는 부분을 생성하기 위해 여분의 픽셀이 추가된다.
그리고 상기 특징점 기반 스티칭 알고리즘을 설명하면, 먼저 상기 초고화질 영상은 8K 영상이고, 상기 낮은 화질의 영상은 4K 영상일 경우, 4개의 4K 영상을 스티칭하기 위해 상, 하단 각각 좌우로 이웃한 영상끼리 스티칭을 한 후, 두 영상을 다시 스티칭하여 8K 영상을 재구성한다. 그리고 나서 영상내 특징점 추출 알고리즘을 사용하여 특징점을 검출하고, 이웃한 두 영상들 간의 특징점을 매칭시켜서 대응점 후보들을 찾는다. 이때, RANSAC 알고리즘을 이용하여 정확히 대응하는 점과 영상 간의 관계를 표현할 수 있는 호모그래피 매트릭스를 계산하고, 호모그래피 매트릭스를 이용하여 기준 영상(좌측 영상)에 대한 참조 영상(우측 영상)을 변환하고 겹쳐지는 영역에 대한 블렌딩 보정을 통해 파노라마 영상을 생성한다. 파노라마 영상을 생성한 후 잔여 영상이 있을 경우 상기 파노라마의 영상을 하나의 입력 영상으로 하여 상기 과정을 반복하여 8K 해상도 영상을 생성한다.
도 3은 본 발명에 의한 초고해상도 영상 스티칭 방법에 대한 일실시예를 흐름도로 나타낸 것이며, 도 4는 본 발명에서 사용된 특징점 기반 스티칭 알고리즘을 순서도로 나타낸 것이다. 도 3 및 도 4를 참조하여, 본 발명에 의한 초고해상도 영상 스티칭 방법을 설명한다.
먼저, 초고화질 영상을 전송하기 위해 송신단은 원본 영상을 상기 초고화질보다 낮은 화질의 크기로 분할한다.(S310단계) 그리고 수신단은 상기 낮은 화질의 영상을 수신하여 한 장의 영상으로 재구성한다.(S350단계) 이 때 상기 낮은 화질의 영상은 상기 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 특징점 기반 스티칭 알고리즘을 이용하여 이웃한 영상들 간의 중복되는 부분을 생성하기 위해 여분의 픽셀이 추가된다.
그리고 상기 스티칭 알고리즘은 다음과 같이 수행된다. 도 4를 참조하면, 상기 초고화질 영상은 8K 영상이고, 상기 낮은 화질의 영상은 4K 영상일 경우, 4개의 4K 영상을 스티칭하기 위해 상, 하단 각각 좌우로 이웃한 영상끼리 스티칭을 한 후(S410단계), 두 영상을 다시 스티칭하여 8K 영상을 재구성한다.(S420단계)
영상내 특징점 추출 알고리즘을 사용하여 특징점을 검출한다.(S430단계) 특징점이 검출되면, 이웃한 두 영상들 간의 특징점을 매칭시켜서 대응점 후보들을 찾되, RANSAC 알고리즘을 이용하여 정확히 대응하는 점과 영상 간의 관계를 표현할 수 있는 호모그래피 매트릭스를 계산한다.(S440단계) 상기 계산된 호모그래피 매트릭스를 이용하여 기준 영상(좌측 영상)에 대한 참조 영상(우측 영상)을 변환하고 겹쳐지는 영역에 대한 블렌딩 보정을 통해 파노라마 영상을 생성한다.(S450단계)
잔여 영상이 있을 경우에는 상기 파노라마의 영상을 하나의 입력 영상으로 하여 상기 과정을 반복하여 8K 해상도 영상을 생성한다.(S460단계)
상기 스티칭 알고리즘은 특징점을 추출하고 호모그래피 메트릭스를 계산할 때 좌표를 이용할 수 있다. 그리고 상기 좌표 기반 스티칭 알고리즘은 송신단에서 분할된 4K 영상이 전송될 때 분할 영상의 크기, 영상 간의 겹쳐지는 영역에 대한 좌표 정보를 포함하여 전송한다. 그리고 나서 좌표 정보 대로 분할 영상을 각각 할당하고 겹쳐지는 영역에 대해 알파 블랜딩 보정을 통해 하나의 8K 영상으로 재구성한다.
본 발명에 의한 초고해상도 영상 스티칭 방법을 보다 상세히 설명한다. 송신단에서 고해상도의 8K 원본영상 4K 크기로 분할하여 전송하면, 수신단에서 다시 한 장의 영상으로 재구성하는 데, 이를 위해 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 파노라마 스티칭 알고리즘을 이용한다. 도 5는 송신단에서 원본영상을 분할하여 전송할 때 가장자리 영상의 손실발생 가능성을 고려하여 여분의 픽셀을 추가하는 것을 나타낸 것이다. 도 5를 참조하면, 이웃한 영상들 간의 중복되는 부분이 존재하도록 여분의 픽셀을 추가하여 기존 4K 해상도보다 큰 크기로 분할한다.
영상 스티칭 알고리즘은 크게 이미지 픽셀 기반과 영상 내 특징점 기반으로 구분되며, 수신단측으로 영상 전송시 노이즈나 손실 등이 발생할 수 있으므로 본 발명에서는 외부 환경 변화에 강인한 특징점 기반 스티칭 알고리즘을 이용한다.
도 6은 특징점 기반 스티칭 알고리즘의 기능 블록도의 일 예를 나타낸 것이다. 본 발명에서는 4개의 4K 영상을 스티칭하기 위해 먼저 상, 하단 각각 좌우로 이웃한 영상끼리 스티칭을 한 후, 두 영상을 다시 스티칭하여 8K 영상을 재구성한다. 영상내 특징점 추출 알고리즘은 FAST(Features from Accelerated Segment Test), SIFT(Scale Invariant Feature Transform), SURF(Speeded up robust features) 등이 있으며 본 발명에서는 강인하면서 속도가 빠른 검출을 위해 SURF 알고리즘 사용하여 특징점을 검출한다.
이웃한 두 영상들 간의 특징점을 매칭시켜서 대응점 후보들을 찾으며, RANSAC 알고리즘을 이용하여 정확히 대응하는 점과 영상 간의 관계를 표현할 수 있는 호모그래피 매트릭스를 계산한다. 호모그래피 매트릭스를 이용하여 기준 영상(좌측 영상)에 대한 참조 영상(우측 영상)을 변환하고 겹쳐지는 영역에 대한 블랜딩 보정을 통해 파노라마 영상을 생성한다.
잔여 영상이 있을 경우에는 상기 생성된 파노라마 영상을 하나의 입력 영상으로 하여 상기 과정을 반복하여 8K 해상도 영상을 생성한다.
특징점 기반 스티칭 알고리즘은 특징점을 추출하고 호모그래피 매트릭스를 계산하는 데 있어서 많은 시간이 소요 되며 본 발명에서는 시간을 단축 할 수 있도록 좌표를 이용한다. 도 7은 상기 SURF 알고리즘을 이용하여 좌측상단과 우측상단 입력 영상에 대한 특징점 추출을 나타낸 것이다.
특징점 매칭 및 파노라마 영상의 일예를 설명한다. 도 8은 좌측 상단, 우측 상단 이미지 2개에 대해 특징점 매칭과 파노라마 영상 생성을 나타낸 것이다. 도 9는 좌측 하단, 우측 하단 이미지 2개에 대한 특징점 매칭과 파노라마 영상 생성을 나타낸 것이다. 도 10 및 도 11은 도 8 및 도 9에서 생성한 파노라마 이미지 2개에 대한 특징점 매칭 및 파노라마 영상 생성을 나타낸 것이다.
도 12는 좌표기반 스티칭 블록도를 나타낸 것이다. 좌표 이용 스티칭 알고리즘은 송신단측에서 분할된 4K 영상이 전송될 때 분할 영상의 크기, 영상간의 겹쳐지는 영역에 대한 좌표 정보를 포함하여 전송된다고 가정한다. 이 때 좌표 정보대로 분할 영상을 각각 할당하고 겹쳐지는 영역에 대해 알파 블랜딩 보정을 통해 하나의 8K 영상으로 재구성한다. 도 13은 좌표 기반 스티칭 경계선을 나타낸 것이다.
한편, MFC 프로그램을 설명하기로한다. 본 발명은 4K 영상 스티칭에 대해 특징점 및 좌표 기반 알고리즘을 적용하여 8K 영상이 재구성 되도록 하나의 프로그램을 제공한다. 도 14는 MFC 프로그램 전체 구성도이다. 4K 크기의 영상을 불러와 각각 입력하고, 적용하고자 하는 알고리즘을 선택하여 스티칭함으로써 8K 영상 출력 결과를 확인할 수 있다.
사용자가 원하는 새로운 알고리즘 추가하거나 기존 알고리즘을 수정 보완하면서 스티칭 및 8K 영상 출력 결과를 확인할 수 잇다. 알고리즘에 대한 성능 검증 뿐만 아니라 송신단측 8K 영상 분할 및 전송을 연동하여 8K 영상 전송 시스템 툴로서 응용될 수 있다.
MFC 프로그램은, ① 스티칭을 위한 분할된 입력 영상(4K 영상)파일 불러오기 ② 4K 영상에 대한 크기(width : 3840, height : 2160) ③ 4개의 영상으로 분할시 여분으로 준 픽셀 크기 ④ 스티칭 알고리즘 선택(Basic : Using stitching class, SURF : Using SURF, Use point : Using image coordinate) ⑤ 영상 지우기/스티칭된 영상 경계 표시(좌표 알고리즘)/8K 영상 저장으로 구성된다.
한편, 본 발명에 의한 방법을 적용한 알고리즘으로 실험한 결과는 다음과 같다. 4K 영상을 수신단에서 8K 영상으로 스티칭할 경우 영상 전송 시 발생 가능한 노이즈나 손실 등을 고려하여 본 발명에서는 원본 영상에 노이즈를 추가하여 실험을 진행하였다. 동일한 크기의 영상을 입력 받아 3가지의 알고리즘을 적용하여 스티칭을 진행하였다. 실험을 진행한 결과 4K 영상 크기(5120x2880)의 입력 영상으로부터 스티칭 된 8K 영상이 생성되었음을 결과물로서 확인할 수 있었다.
도 15 내지 도 20은 동일한 크기의 영상을 입력 받아 3가지의 알고리즘을 적용하여 스티칭을 진행한 결과 4K 영상 크기(5120x2880)의 입력 영상으로부터 스티칭 된 8K 영상이 생성되었음을 나타내는 결과물이다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
200 : 영상분할부
250 : 영상재구성부
250 : 영상재구성부
Claims (5)
- 초고화질 영상을 전송하기 위해 송신단에서 원본 영상을 상기 초고화질보다 낮은 화질의 크기로 분할하는 단계; 및
수신단에서 상기 낮은 화질의 영상을 한 장의 영상으로 재구성하는 단계를 포함하고,
상기 재구성하는 단계에서의 상기 낮은 화질의 영상은
상기 분할된 영상을 정합하기 위해 초고해상도 영상을 생성할 수 있는 특징점 기반 스티칭 알고리즘을 이용하여 이웃한 영상들 간의 중복되는 부분을 생성하기 위해 여분의 픽셀이 추가되고,
상기 재구성하는 단계에서 상기 스티칭 알고리즘은,
상기 초고화질 영상은 8K 영상이고, 상기 낮은 화질의 영상은 4K 영상일 경우, 4개의 4K 영상을 스티칭하기 위해 상, 하단 각각 좌우로 이웃한 영상끼리 스티칭을 한 후, 두 영상을 다시 스티칭하여 8K 영상을 재구성하는 단계;
영상내 특징점 추출 알고리즘을 사용하여 특징점을 검출하는 단계;
이웃한 두 영상들 간의 특징점을 매칭시켜서 대응점 후보들을 찾되, RANSAC 알고리즘을 이용하여 정확히 대응하는 점과 영상 간의 관계를 표현할 수 있는 호모그래피 매트릭스를 계산하는 단계:
호모그래피 매트릭스를 이용하여 기준 영상(좌측 영상)에 대한 참조 영상(우측 영상)을 변환하고 겹쳐지는 영역에 대한 블렌딩 보정을 통해 파노라마 영상을 생성하는 단계; 및
잔여 영상이 있을 경우 상기 파노라마의 영상을 하나의 입력 영상으로 하여 상기 8K 영상을 재구성하는 단계, 특징점을 검출하는 단계, 계산하는 단계 및 파노라마 영상을 생성하는 단계를 반복하여 8K 해상도 영상을 생성하는 단계를 포함하며,
상기 낮은 화질의 크기로 분할하는 단계는, 이웃한 영상 들 간의 중복되는 부분이 존재하도록 여분의 픽셀을 추가하여 기존 4K 해상도보다 큰 크기로 원본 영상을 분할하는 것을 특징으로 하는 초고해상도 영상 스티칭 방법. - 삭제
- 제1항에 있어서, 상기 스티칭 알고리즘은
특징점을 추출하고 호모그래피 메트릭스를 계산할 때 좌표를 이용하는 것을 특징으로 하는 초고해상도 영상 스티칭 방법. - 제3항에 있어서, 상기 좌표를 기반으로 한 상기 좌표 기반 스티칭 알고리즘은
송신단에서 분할된 4K 영상이 전송될 때 분할 영상의 크기, 영상 간의 겹쳐지는 영역에 대한 좌표 정보를 포함하여 전송하는 단계; 및
좌표 정보 대로 분할 영상을 각각 할당하고 겹쳐지는 영역에 대해 알파 블랜딩 보정을 통해 하나의 8K 영상으로 재구성하는 단계를 포함하는 것을 특징으로 하는, 초고해상도 영상 스티칭 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170098656A KR101990491B1 (ko) | 2017-08-03 | 2017-08-03 | 초고해상도 영상 스티칭 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170098656A KR101990491B1 (ko) | 2017-08-03 | 2017-08-03 | 초고해상도 영상 스티칭 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190014771A KR20190014771A (ko) | 2019-02-13 |
| KR101990491B1 true KR101990491B1 (ko) | 2019-06-20 |
Family
ID=65366402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170098656A KR101990491B1 (ko) | 2017-08-03 | 2017-08-03 | 초고해상도 영상 스티칭 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101990491B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021052138A1 (zh) * | 2019-09-19 | 2021-03-25 | 海信视像科技股份有限公司 | 画质电路、图像处理装置及信号特征检测方法 |
| KR20220039450A (ko) * | 2020-09-22 | 2022-03-29 | 세종대학교산학협력단 | 구조물 외관 조사망도 구축 시스템 및 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136135B (zh) * | 2019-05-17 | 2021-07-06 | 深圳大学 | 分割方法、装置、设备以及存储介质 |
| CN112584075B (zh) * | 2019-09-28 | 2022-12-02 | 安翰科技(武汉)股份有限公司 | 基于图像分辨率的图像传输方法及系统 |
| CN112486440B (zh) * | 2020-11-05 | 2024-03-19 | Tcl华星光电技术有限公司 | 一种算法验证方法和算法验证系统 |
| CN112734639B (zh) * | 2020-12-28 | 2023-09-12 | 南京欣威视通信息科技股份有限公司 | 一种图像显示拼接方法及系统 |
| CN113298720B (zh) * | 2021-04-21 | 2022-08-19 | 重庆邮电大学 | 一种自适应的重叠图像旋转方法 |
| KR102505117B1 (ko) * | 2022-08-11 | 2023-03-02 | (주)진명아이앤씨 | 원격지 스트리밍에 최적화된 다면 영상 스트리밍 시스템 |
| CN117670667B (zh) * | 2023-11-08 | 2024-05-28 | 广州成至智能机器科技有限公司 | 一种无人机实时红外图像全景拼接方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006145944A (ja) | 2004-11-22 | 2006-06-08 | Victor Co Of Japan Ltd | 画像処理システム |
| JP2014096690A (ja) * | 2012-11-09 | 2014-05-22 | Fujitsu Semiconductor Ltd | 動画像処理装置 |
| KR101692227B1 (ko) * | 2015-08-18 | 2017-01-03 | 광운대학교 산학협력단 | Ｆａｓｔ를 이용한 파노라마 영상 생성 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0846961A (ja) * | 1994-08-03 | 1996-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化復号化方法 |
| KR100724134B1 (ko) | 2006-01-09 | 2007-06-04 | 삼성전자주식회사 | 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치 |
-
2017
- 2017-08-03 KR KR1020170098656A patent/KR101990491B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006145944A (ja) | 2004-11-22 | 2006-06-08 | Victor Co Of Japan Ltd | 画像処理システム |
| JP2014096690A (ja) * | 2012-11-09 | 2014-05-22 | Fujitsu Semiconductor Ltd | 動画像処理装置 |
| KR101692227B1 (ko) * | 2015-08-18 | 2017-01-03 | 광운대학교 산학협력단 | Ｆａｓｔ를 이용한 파노라마 영상 생성 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021052138A1 (zh) * | 2019-09-19 | 2021-03-25 | 海信视像科技股份有限公司 | 画质电路、图像处理装置及信号特征检测方法 |
| KR20220039450A (ko) * | 2020-09-22 | 2022-03-29 | 세종대학교산학협력단 | 구조물 외관 조사망도 구축 시스템 및 방법 |
| KR102476701B1 (ko) * | 2020-09-22 | 2022-12-12 | 세종대학교산학협력단 | 구조물 외관 조사망도 구축 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190014771A (ko) | 2019-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101990491B1 (ko) | 초고해상도 영상 스티칭 방법 및 시스템 | |
| Ma et al. | Image retargeting quality assessment: A study of subjective scores and objective metrics | |
| US10140520B2 (en) | Determining native resolutions of video sequences | |
| US9378583B2 (en) | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume | |
| CN112561766B (zh) | 图像隐写及提取方法、装置及电子设备 | |
| US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP6882868B2 (ja) | 画像処理装置、画像処理方法、システム | |
| US11908183B2 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
| CN111836118B (zh) | 视频处理方法、装置、服务器及存储介质 | |
| CN109949898B (zh) | 文件上传方法、存储方法、下载方法、系统、装置及设备 | |
| CN107295352A (zh) | 一种视频压缩方法、装置、设备及存储介质 | |
| US9509862B2 (en) | Image processing system, image output device, and image processing method | |
| US20170054909A1 (en) | Video image alignment for video stabilization | |
| JP2005535028A (ja) | セグメント化のためのシステムおよびセグメント化方法 | |
| Lin et al. | Objective quality assessment for image retargeting based on hybrid distortion pooled model | |
| US11514587B2 (en) | Selectively identifying data based on motion data from a digital video to provide as input to an image processing model | |
| CN102956030A (zh) | 超音波影像对齐装置及其方法 | |
| CN113489791B (zh) | 图像上传方法、图像处理方法及相关装置 | |
| JP2005182098A (ja) | 合成画像を生成・表示する装置及び方法 | |
| CN111416939A (zh) | 一种视频处理方法、设备及计算机可读存储介质 | |
| KR20150073409A (ko) | 동영상의 근복사 검출 방법 및 시스템 | |
| JP2020009227A (ja) | 物体領域抽出装置及び物体領域抽出方法 | |
| WO2022194061A1 (zh) | 目标跟踪方法、装置、设备及介质 | |
| CN118158329A (zh) | 图像隐写和提取的待隐写及提取信息处理方法、电子设备 | |
| KR20220170346A (ko) | 영상 데이터 분산 처리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |