KR20170032288A - 이미지를 업-스케일링하기 위한 방법 및 장치 - Google Patents

이미지를 업-스케일링하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20170032288A
KR20170032288A KR1020177000634A KR20177000634A KR20170032288A KR 20170032288 A KR20170032288 A KR 20170032288A KR 1020177000634 A KR1020177000634 A KR 1020177000634A KR 20177000634 A KR20177000634 A KR 20177000634A KR 20170032288 A KR20170032288 A KR 20170032288A
Authority
KR
South Korea
Prior art keywords
image
superpixel
cross
similarity matching
scale self
Prior art date
Application number
KR1020177000634A
Other languages
English (en)
Inventor
더크 간돌프
조르디 살바도르 마르코스
볼프람 푸츠케-뢰밍
악셀 코샬르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170032288A publication Critical patent/KR20170032288A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

입력 이미지(I2)를 업-스케일링하기 위한 방법 및 장치(20)가 개시되고, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기- 유사성 매칭이 이용된다. 장치(20)는 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 일관된 슈퍼픽셀을 생성(10)하고, 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성(11)하도록 구성되는 슈퍼픽셀 벡터 생성기(7)를 포함한다. 매칭 블록(5)은 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 크로스-스케일 자기-유사성 매칭(12)을 수행한다. 마지막으로, 출력 이미지 생성기(22)는 크로스-스케일 자기-유사성 매칭(12)의 결과를 사용하여 업-스케일링된 출력 이미지(O2)를 생성(13)한다.

Description

이미지를 업-스케일링하기 위한 방법 및 장치{METHOD AND APPARATUS FOR UP-SCALING AN IMAGE}
본 발명은 이미지를 업-스케일링하기 위한 방법 및 장치에 관한 것이다. 더욱 상세하게, 업-스케일링 품질을 향상시키기 위해 슈퍼픽셀 및 보조 이미지를 이용하는 이미지 업-스케일링 방법 및 장치가 개시된다.
초해상도 기술은 현재 다수의 응용 기술에 의해 추진되고 있다. 예를 들어, 2k 및 4k 변형을 갖는 UHD TV와 같은 HD TV 이미지 형식의 후속 제품은 기존의 비디오 컨텐츠를 대형 디스플레이에 맞게 업-스케일링해야 하기 때문에 초해상도의 이점을 얻을 수 있다. 상대적으로 작은 해상도를 갖는 멀티-뷰 이미지를 촬영하는 라이트 필드(light field) 카메라는 최첨단 시스템의 카메라 및 DSLR 카메라(DSLR: 디지털 일안 반사식(Digital Single Lens Reflex))와 경쟁할 수 있는 화질을 제공하기 위해 지능적인 업-스케일링을 필요로 한다. 세 번째 응용 기술은 비디오 압축으로서, 저해상도 이미지 또는 비디오 스트림이 추가적인 초해상도 향상 계층(enhancement layer)에 의해 디코딩되고 향상될 수 있다. 이 향상 계층은 압축된 데이터에 추가로 내장되며 이전의 초해상도의 업-스케일링된 이미지 또는 비디오를 보충하는 역할을 한다.
본원에 기술된 사상은 G. Freedman 등이 문헌("로컬 자기 참조로부터의 이미지 및 비디오 업스케일링(Image and video upscaling from local self - examples)", ACM Transactions on Graphics, Vol. 30 (2011), pp. 12:1-12:11)에서 제안한 이미지 고유의 자기-유사성(self-similarity)을 이용하는 기술을 기반으로 한다. 이러한 근본적인 논문은 정지 화상에 국한되었지만, 이후의 연구에서는 J. M. Salvador 등의 논문에서 논의된 바와 같이 비디오 업-스케일링을 처리하기 위해 다수의 이미지를 통합했다("비강성 움직임을 갖는 비디오용 패치 기반 시공간 초해상도(Patch-based spatio-temporal super-resolution for video with non-rigid motion)", Journal of Image Communication, Vol. 28 (2013), pp. 483-493).
불행하게도, 이미지를 업-스케일링하는 방법은 비참한 품질 손실을 동반한다.
지난 10 년 동안 슈퍼픽셀 알고리즘은 영상 분할을 위한 널리 인정되고 적용되는 방법이 되었고, 후속 처리 작업의 복잡성을 줄였다. 슈퍼픽셀 분할은 이미지의 픽셀 그리드의 견고한 구조로부터 이미지 내의 객체를 정의하는 의미 기술(semantic description)로 전환하는 이점을 제공하며, 이미지 처리 및 컴퓨터 비전 알고리즘에서 인기가 높다.
슈퍼픽셀 알고리즘에 대한 연구는 X. Ren 등이 문헌("분할을 위한 분류 모델 학습(Learning a classification model for segmentation)", IEEE International Conference on Computer Vision (ICCV) 2003, pp. 10-17)에서 제안한 처리 집약적인 특징점 그룹화 방법으로 시작되었다. 이후, R. Achanta 등이 문헌("최첨단 슈퍼픽셀 방법과 비교되는 SLIC 수퍼픽셀(SLIC superpixels compared to state - of - the -art superpixel methods)", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34 (2012), pp. 2274-2282)에서 소개한 단순 선형 반복 클러스터링(simple linear iterative clustering, SLIC) 방법과 같은 슈퍼픽셀 생성을 위한 더욱 효율적인 해결책이 제안되었다. 초기 해결책은 정지 화상에 초점을 맞춘 반면, 이후의 개발은 시간적 일관성을 필요로 하는 비디오에 슈퍼픽셀을 적용하는 것을 목표로 했다. M. Reso 등의 문헌("시간적으로 일관된 슈퍼픽셀(Temporally Consistent Superpixels)", International Conference on Computer Vision (ICCV), 2013, pp. 385-392)에 이러한 요구를 달성하는 접근법이 기술되어 있으며, 이는 비디오 시퀀스 내에서 추적 가능한 슈퍼픽셀을 제공한다.
본 발명의 목적은 품질 손실 감소를 달성할 수 있는, 이미지의 업-스케일링을 위한 개선된 해결책을 개시하는 것이다.
일 실시형태에 따르면, 입력 이미지를 업-스케일링하기 위한 방법에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용되고, 상기 방법은,
- 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 일관된 슈퍼픽셀을 생성하는 단계;
- 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성하는 단계;
- 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 크로스-스케일 자기-유사성 매칭을 수행하는 단계; 및
- 크로스-스케일 자기-유사성 매칭의 결과를 사용하여 업-스케일링된 출력 이미지를 생성하는 단계를 포함한다.
따라서, 컴퓨터 판독 가능한 저장 매체는 입력 이미지를 업-스케일링할 수 있게 하는 명령을 저장하고, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용된다. 상기 명령은 컴퓨터에 의해 실행될 때 컴퓨터로 하여금,
- 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 일관된 슈퍼픽셀을 생성하고;
- 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성하고;
- 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 크로스-스케일 자기-유사성 매칭을 수행하고; 및
- 크로스-스케일 자기-유사성 매칭의 결과를 사용하여 업-스케일링된 출력 이미지를 생성하도록 한다.
또한, 일 실시형태에서, 입력 이미지를 업-스케일링하도록 구성되는 장치에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용되고, 상기 장치는,
- 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 일관된 슈퍼픽셀을 생성하고, 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성하도록 구성되는 슈퍼픽셀 벡터 생성기;
- 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 크로스-스케일 자기-유사성 매칭을 수행하도록 구성되는 매칭 블록; 및
- 크로스-스케일 자기-유사성 매칭의 결과를 사용하여 업-스케일링된 출력 이미지를 생성하도록 구성되는 출력 이미지 생성기를 포함한다.
또 다른 실시형태에서, 입력 이미지를 업-스케일링하도록 구성되는 장치에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기- 유사성 매칭이 이용되고, 상기 장치는 처리 장치 및 내부에 명령을 저장한 메모리 장치를 포함하고, 상기 명령은 처리 장치에 의해 실행될 때 장치로 하여금,
- 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 일관된 슈퍼픽셀을 생성하고;
- 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성하고;
- 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지 및 하나 이상의 보조 입력 이미지에 대해 크로스-스케일 자기-유사성 매칭을 수행하고; 및
- 크로스-스케일 자기-유사성 매칭의 결과를 사용하여 업-스케일링된 출력 이미지를 생성하도록 한다.
제안된 초해상도 방법은 생성된 시간적 또는 멀티-뷰 일관성 슈퍼픽셀을 분석함으로써 캡처된 객체를 추적한다. 이미지 자료 내의 객체 및 시간상의 또는 다른 뷰에서의 이들의 위치에 대한 인식은 관련된 다중-이미지 크로스-스케일 자기-유사성을 찾기 위한 고급 검색 전략으로 전환된다. 다양한 시간 위상 또는 다양한 뷰에 대해 발견된 다수의 유의한 자기-유사성을 통합함으로써, 더욱 적합한 초해상도 향상 신호가 생성되고, 따라서 향상된 화질을 제공한다. 제안된 초해상도 접근법은 기준 데이터에 대한 비교를 통해 피크 신호 대 잡음비로 측정될 수 있는 향상된 화질을 제공한다. 또한, 주관적 테스트는 생성되는 화질에 대해 시각적 개선을 확인하며, 이는 피크 신호 대 잡음비 측정치가 인간의 시각적 인식과 반드시 일치하지 않으므로 유용하다.
초해상도 접근법은 시간상의 이미지 시퀀스(예를 들어, 비디오), 멀티-뷰 샷(예를 들어, 다중 각도를 포함하는 라이트 필드 카메라 이미지), 또는 심지어 멀티-뷰 샷의 시간적 시퀀스를 나타낼 수 있는 다중 이미지에 대해 작동을 한다. 이러한 응용은 상호 교환 가능하며, 이는 멀티-뷰 이미지와 시간상 이미지를 동등한 것으로 간주할 수 있다는 것을 의미한다.
일 실시형태에서, 상기 해결책은:
- 고해상도 저주파 이미지를 얻기 위해 입력 이미지를 업-샘플링하는 단계;
- 입력 이미지 및 고해상도 저주파 이미지 사이 그리고 하나 이상의 보조 입력 이미지 및 고해상도 저주파 이미지 사이의 매치 위치를 결정하는 단계;
- 매치 위치를 이용하여 입력 이미지 및 하나 이상의 보조 입력 이미지로부터 고해상도 고주파 합성 이미지를 합성하는 단계; 및
- 고해상도 저주파 이미지 및 고해상도 고주파 합성 이미지를 고해상도 업-스케일링된 출력 이미지 내에 결합하는 단계를 포함한다.
일반적으로 업-샘플링된 이미지는 누락된 성분으로 인해 비참한 품질 손실을 갖는다. 그러나, 이러한 누락된 성분은 입력 이미지 및 하나 이상의 보조 입력 이미지로부터의 이미지 블록을 사용하여 대체된다. 이들 이미지는 제한된 수의 적절한 이미지 블록만 포함하지만, 이들 블록은 일반적으로 더 적합하다, 즉, 더 잘 맞는다.
일 실시형태에서, 입력 이미지는 저해상도 저주파 이미지 및 저해상도 고주파 이미지로 대역 분할되고, 여기서 저해상도 저주파 이미지는 크로스-스케일 자기-유사성 매칭을 위해 사용되고, 저해상도 고주파 이미지는 업-스케일링된 출력 이미지를 생성하기 위해 사용된다. 이러한 방식으로, 자기-유사성의 효율적인 분석이 보장되고, 업-스케일링된 출력 이미지에 대해 필요한 고주파 성분을 확실하게 얻을 수 있다.
일 실시형태에서, 크로스-스케일 자기-유사성 매칭의 최상의 매치에 의해 정의되는 단일 이미지 블록을 선택하는 단계, 크로스-스케일 자기-유사성 매칭의 매치에 의해 정의되는 모든 또는 부분 집합의 블록의 선형 결합을 생성하는 단계, 및 크로스-스케일 자기-유사성 매칭의 매치에 의해 정의되는 모든 블록에 대해 평균을 생성하는 단계 중 적어도 하나를 수행함으로써 스케일링된 출력 이미지를 생성하기 위한 이미지 블록이 생성된다. 전자의 두 가지 해결책은 적은 처리 능력을 필요로 하는 반면, 후자의 해결책은 피크 신호 대 잡음비에 대해 최상의 결과를 보여준다.
더 나은 이해를 위해, 해결책이 다음의 설명에서 도면을 참조하여 더욱 상세히 설명된다. 해결책은 이러한 예시적인 실시형태에 제한되지 않으며, 명시된 특징들은 첨부된 청구항에 정의되는 본 해결책의 범위를 벗어나지 않고 편의상 결합 및/또는 수정될 수 있음을 이해해야 한다.
도 1은 공지된 초해상도 알고리즘의 블록도를 도시하고.
도 2는 도 1의 블록도의 확장되고 더욱 컴팩트한 버전을 도시하고;
도 3은 슈퍼픽셀을 사용하는 초해상도 다중-이미지 자기-유사성 매칭을 도시하고;
도 4는 결합 가중치가 선형 회귀를 통해 결정되는, 이미지 블록의 선형 결합을 도시하고;
도 5는 슈퍼픽셀로 분할되기 전의 이미지의 일례를 도시하고;
도 6은 슈퍼픽셀로 분할된 후의 도 5의 이미지를 도시하고;
도 7은 3 개의 이미지 기간에 걸쳐 추적되는 시간적으로 일관된 단일 슈퍼픽셀의 일례를 도시하고;
도 8은 다양한 업-스케일링 알고리즘에 대해 얻어진 평균 피크 신호 대 잡음비를 도시하고;
도 9는 다양한 업-스케일링 알고리즘에 대해 얻어진 평균 구조적 유사상 값을 도시하고;
도 10은 이미지를 업-스케일링하기 위한 일 실시형태에 따른 방법을 도시하고;
도 11은 이미지를 업-스케일링하기 위한 방법을 수행하도록 구성되는 장치의 제 1 실시형태를 개략적으로 도시하고; 및
도 12는 이미지를 업-스케일링하기 위한 방법을 수행하도록 구성되는 장치의 제 2 실시형태를 개략적으로 도시한다.
이하에서, 시간상 이미지 시퀀스, 예를 들어, 비디오 시퀀스의 이미지에 초점을 맞추며 해결책을 설명한다. 그러나, 개시되는 접근법은 마찬가지로 공간적으로 관련된 이미지, 예를 들어, 멀티-뷰 이미지에도 적용할 수 있다.
다음에서 설명되는 접근법은 도 1 의 블록도에 도시된 바와 같이 G. Freedman 등에 의한 초해상도 알고리즘을 기반으로 한다. 물론, 일반적인 개념은 다른 초해상도 알고리즘에도 마찬가지로 적용될 수 있다. 단순화를 위해, 블록도는 단일 이미지에 대해서만 작동하는 해결책을 설명하는 반면, 제안된 접근법은 다수의 이미지에 대한 해결책을 제공한다. 해당하는 필요한 모든 확장은 나중에 별도의 블록도에서 설명된다.
도 1에서, 저해상도 입력 이미지(I1)는 3 개의 상이한 필터, 즉, 저주파 고해상도 이미지(O1.1)를 생성하는 업-샘플링 필터(1), 저주파 저해상도 이미지(I1.1)를 생성하는 저역 통과 필터(2), 및 고주파 저해상도 이미지(I1.2)를 생성하는 고역 통과 필터(3)에 의해 처리된다.
일반적으로, 업-샘플링된 이미지(O1.1)는 바이-큐빅(bi-cubic) 또는 더욱 복잡한 업-샘플링에 의해 발생하는 누락된 성분으로 인해 비참한 품질 손실을 갖는다. 다음 단계에서, 이러한 누락된 성분에 대한 대체물이 자연물의 고유한 크로스-스케일 자기-유사성을 활용하여 생성된다. 누락된 성분을 생성하는 프로세스는 고주파 고해상도 이미지(O1.2)를 생성하고, 이는 처리 블록(4)에서 저주파 고해상도 이미지(I1.1)와 결합되어 최종 고해상도 출력 이미지(I2)를 생성할 수 있다.
크로스-스케일 자기-유사성은 매칭 처리 블록(5)에 의해 검출된다. 이 매칭 처리 블록(5)은 고해상도 이미지(O1.1)의 모든 픽셀에 대해 저해상도 이미지(I1.1) 내에서 적절한 매치를 검색한다. 매칭 처리에 대한 최신 기술은 직사각형 검색창의 고정된 확장 내에서 검색하는 것이다. 매칭 처리 블록(5)은 I1.1에 대응하는 O1.1 내의 모든 픽셀에 대해 최상의 매치 위치를 생성한다. 이들 최상의 매치 위치는 합성 블록(6)으로 전송되고, 이는 고주파 저해상도 이미지(I1.2)로부터의 표시된 블록을 고주파 고해상도 이미지(O1.2)로 복사한다.
도 2의 블록 다이어그램은 고급 매칭 기술로 확장된, 도 1의 블록도의 더욱 컴팩트한 버전을 도시하고 있다. 도 2의 추가 블록은 슈퍼픽셀 벡터 생성기(7)이며, 이는 슈퍼픽셀을 계산하기 위해 입력 이미지(I1)를 처리하고, 매칭 블록(5)에 대해 사용되는 테스트 벡터를 선택한다. 슈퍼픽셀 테스트 벡터 생성은 도 2에서 사용된 강성 직사각형 검색창을 대체한다.
도 3의 블록도는 슈퍼픽셀 벡터 생성의 추가 확장, 즉, 슈퍼픽셀을 사용하는 초해상도 다중-이미지 자기-유사성 매칭을 설명하고 있다. 도 2에서 이의 전임자로서. 도 3의 블록도는 이미지 자료 내의 객체를 인식한다. 개념은 객체가 다수의 이미지에 대해 추적되어, 벡터 생성기 블록(7)에서 다수의 입력 이미지에 대한 매칭을 위해 테스트 벡터를 생성하는 것이다. 도 3에서, 입력 이미지의 수는 3이지만, 이 수는 정해진 것은 아니며 미래 또는 과거 방향으로 위치한 이미지를 포함하거나 제외함으로써 증가시키거나 감소시킬 수 있다. 마찬가지로, 멀티-뷰 응용은 또 다른 뷰/앵글을 포함하거나 제외할 수 있고, 또는 멀티-뷰 이미지의 시간적 시퀀스는 또 다른 뷰/앵글 및/또는 시간상 후속하거나 선행하는 이미지를 포함하거나 제외할 수 있다.
도 3에 주어진 예는 시점(t t )에서도 출력 이미지(O2)를 생성하기 위해 시점(t t )에서 이미지(I2)에 대해 실행된 제안된 방법을 도시하고 있다. 시점(t t -1 및 t t+1 )에서의 입력 이미지(I1 및 I3)는 출력 이미지(O2)에 대해 관련 크로스-스케일 자기-유사성을 찾기 위한 추가적인 소스이다.
매칭 블록(5)은 이 예에서 {v t -1 , v t , v t +1 }인 모든 입력 이미지에 대한 슈퍼픽셀 테스트 벡터를 수신하고, 각각 I1.1, I2.1 및 I3.1에 대응하는 O2.1 내의 모든 픽셀에 대해 최상의 매치 위치를 생성한다. 도면에서, 이는 {p t -1 , p t , p t +1 }에 의해 표시되며, 이는 최상의 매치 위치의 3 개의 완전한 집합을 나타낸다. 일반적으로, 집합의 크기는 입력 이미지의 수와 같다. 합성 블록(6)은 I1.2, I2.2 및 I3.2로부터 표시된 블록들을 결합하고, 결합 결과를 고주파 고해상도 이미지(O2.2)로 복사한다.
이하에서, 벡터 생성기 블록(7) 및 합성 블록(6)의 더욱 상세한 설명이 제공된다.
다중-이미지 슈퍼픽셀 벡터 생성기 블록(7)은 다음 단계를 수행함으로써 슈퍼픽셀 테스트 벡터 집합{v t -1 , v t , v t +1 }을 생성한다.
단계 1: 일관된 슈퍼픽셀{SP t -1 (m), SP t (n), SP t +1 (r)}을 생성하는 단계, 여기서 인덱스(m, n, r)는 이미지 내의 모든 슈퍼픽셀에 대해 적용된다. "시간적으로 일관된(temporally consistent)"이란 용어는 멀티-뷰 응용에 대해 일관된 멀티-뷰로 대체될 수 있다. 시간적으로 일관된 슈퍼픽셀을 생성하기 위한 접근법은 M. Reso 등의 문헌("시간적으로 일관된 슈퍼픽셀(Temporally Consistent Superpixels", International Conference on Computer Vision (ICCV), 2013, pp. 385-392)에 개시되어 있다. 도 5는 도 6에 도시된 바와 같이 슈퍼픽셀 영역들로 분할되는 이미지의 일례를 도시하고 있으며, 여기서, 각각의 슈퍼픽셀은 상이한 그레이 값(grey value)을 사용하여 표현된다. 도 6은 슈퍼픽셀 레이블 맵이라고 지칭된다. 도 7은 3 개의 이미지 기간에 걸쳐 추적되는 시간적으로 일관된 단일 슈퍼픽셀의 일례를 도시하고, 여기서 슈퍼픽셀은 시점(t t -1 , t t , 및 t t +1 )에서 이미지에 도시된 비디오 장면에서 움직이는 객체를 따른다.
단계 2: 모든 슈퍼픽셀 이미지에 대해 별도로 검색 벡터{s t -1 (ζ), s t (ζ), s t+1 (ζ)}를 생성하는 단계, 여기서, 인덱스(ζ)는 모든 이미지 위치에서 적용된다. 이러한 검색 벡터를 생성하기 위한 한 가지 접근법이, 예를 들어, 공동 계류 중인 유럽 특허 출원 제 EP14306130호(EP-2966613 A1으로 공개)에 개시되어 있다.
단계 3: 모든 슈퍼픽셀에 대해 객체 관련 픽셀 할당을 생성하는 단계,
Figure pct00001
및
Figure pct00002
여기서 관계의 수는 입력 이미지의 수에 따라 달라진다. 이러한 객체 관련 픽셀 할당을 생성하기 위한 한 가지 접근법이, 예를 들어, 공동 계류 중인 유럽 특허 출원 제 EP14306126호(공개 EP-2966616A1에 대응)에 개시되어 있다. 도 3의 예에서, 첫 번째 줄만 사용된다.
단계 4: 단계 3에서 발견된 픽셀 할당을 적용함으로써 최종 슈퍼픽셀 테스트 벡터{v t -1 , v t , v t +1 }가 결정된다. 도 3의 예에 대해, 시점(t t )에서의 이미지 내의 각각의 슈퍼픽셀(SP t (n) ≡ SP t ,n )은 SP t -1 (m) ≡ SP t -1,m 에 대한 픽셀 개별 할당 및 SP t+1 (r) ≡ SP t +1,r 에 대한 픽셀 개별 할당을 갖고, 이는 p t ,n (i) → p t -1,m (j) 및 p t,n (i) → p t +1,r (k)로 표현될 수 있고, 여기서 i ∈ {1,…I}, j ∈ {1,…J}, 및 k ∈ {1,…K}이다. 다시 말해서, 시점(t t )에서의 이미지 내의 근원 슈퍼픽셀(SP t ,n )에 위치한 각각의 픽셀(p t ,n (i))에 대해, 대응하는 픽셀(p t -1,m (j) 및 p t +1,r (k))이 필요하며, 이는 시점(t t -1 )에서의 이미지 내의 슈퍼픽셀(sp t -1,m ) 및 시점(t t +1 )에서의 이미지 내의 슈퍼픽셀(SP t +1,r ) 내에 위치한다. I는 SP t ,n 에 포함된 픽셀의 수이고, J는 SP t -1,m 에 포함된 픽셀의 수이며, K는 SP t +1,r 에 포함된 픽셀의 수이다. 일반적으로, 픽셀(I, J 및 K)의 수는 서로 다르다. 따라서, 그에 따른 픽셀 매핑은 일대다, 일대일, 다대일 및 이들의 조합일 수 있다. 테스트 벡터(v t )는 직접적으로 취할 수 있기 때문에 할당을 필요로 하지 않는다, 즉, v t (ζ) = s t (ζ)이다. 테스트 벡터(v t -1 및 v t +1 )는 각각, v t -1 (ζ) = s t -1 ( p t ,n (ζ) → p t -1,m (ζ)) 및 v t +1 (ζ) = s t +1 ( p t ,n (ζ) → p t +1,r (ζ))에 따른 할당을 사용한다. 따라서 더욱 많은 수의 입력 이미지가 처리된다.
합성 블록(6)에 의해 수행되는 블록 결합은, 예를 들어, 다음의 접근법 중 하나를 사용하여 구현될 수 있다:
a) 최상의 매치, 즉, 발견된 모든 최상의 매치 중 가장 우수한 매치에 의해서만 정의되는 단일 블록의 선택.
b) 가중치(선형 인자)가 도 4에 도시된 바와 같이 선형 회귀를 통해 결정되는, 전체 또는 부분 집합의 블록의 선형 결합.
c) 발견된 모든 최상의 매치에 대한 평균 생성. 이 접근법이 바람직한데, 이는 PSNR(피크 신호 대 잡음비)에 대해 최상의 결과를 보여주기 때문이다.
도 4는 합성 블록(6) 내에서 수행되는 고주파 고해상도 이미지(O2.2)를 합성하기 위한 선형 회귀 접근법을 도시하고 있다. 선형 회귀는 최상의 매치 위치()를 취함으로써 O2.1에서 각각의 픽셀 위치(ζ)에 대해 개별적으로 처리되어, 다음의 회귀 방정식을 형성함으로써 최상의 매치 블록 데이터
Figure pct00003
및 타겟 블록(
Figure pct00004
)을 가져온다:
Figure pct00005
여기서 q는 매칭 블록에서의 픽셀 수이다. 이 방정식은, 입력 이미지의 총수가 매칭 블록에서의 픽셀 수보다 작거나 같은 경우, 풀릴 수 있다. 입력 이미지의 총수가 더 큰 경우, 최상의 매칭 블록, 즉, 최소 거리 측정치를 블록만을 선택함으로써 행렬 D의 수평 크기를 감소시키는 것이 제안된다.
도 8 및 도 9는 기준 데이터에 대해 업-스케일링된 이미지를 비교함으로써 64 개의 이미지 시퀀스에 대해 분석된 평균 PSNR 및 SSIM(구조적 유사성)을 도시하고 있다. 다음 알고리즘 간의 비교가 도시되어 있다:
바이큐빅: 바이 큐빅 보간법을 통한 업-스케일링.
SISR: 단일 이미지 초해상도(Single Image Super Resolution), 매칭 처리는 직사각형 검색창의 고정된 확장 내에서 검색한다.
SRm25: 벡터 기반 자기-유사성 매칭을 이용한 단일 이미지 초해상도. 검색 벡터 길이는 25이다.
SRuSPt1: 항목 c)에서 설명한 바와 같이 평균함으로써, 3 개의 이미지{}, 즉, 하나의 이전 이미지 및 하나의 미래 이미지에 걸쳐 슈퍼픽셀을 사용하는 다중-이미지 자기-유사성 매칭.
SRuSPt5: 항목 c)에서 설명한 바와 같이 평균함으로써, 11 개의 이미지{}, 즉, 5 개의 이전 이미지 및 5 개의 미래 이미지에 걸쳐 슈퍼픽셀을 사용하는 다중-이미지 자기-유사성 매칭.
SRuSPt1s: 3 개의 이미지{}, 즉, 하나의 이전 이미지 및 하나의 미래 이미지에 걸쳐 슈퍼픽셀을 사용하지만 항목 a)에서 설명한 바와 같이 최상의 매칭 블록을 선택하는 다중-이미지 자기-유사성 매칭.
SRuSPt5s: 11 개의 이미지{}, 즉, 5 개의 이전 이미지 및 5 개의 미래 이미지에 걸쳐 슈퍼픽셀을 사용하지만 항목 a)에서 설명한 바와 같이 최상의 매칭 블록을 선택하는 다중-이미지 자기-유사성 매칭.
두 도면은 슈퍼픽셀 제어 자기-유사성 매칭을 사용하는 모든 방법이 고정 검색 영역 내에서의 매칭보다 우수함을 보여준다. 이들 도면은 또한 입력 이미지의 증가는 PSNR 및 SSIM 값에 대한 향상을 창출하는 것을 보여준다. 마지막으로, 11 개의 입력 이미지를 분석하는 SRuSPt5 알고리즘은 우수한 PSNR 및 SSIM 값을 생성한다는 것을 알 수 있다.
도 10은 이미지를 업-스케일링하기 위한 방법의 일 실시형태를 개략적으로 도시하며, 여기서 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용된다. 제 1 단계에서, 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 일관된 슈퍼픽셀이 생성된다(10).
이러한 일관된 슈퍼픽셀을 기반으로, 슈퍼픽셀 테스트 벡터가 생성된다(11). 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 크로스-스케일 자기-유사성 매칭(12)이 수행된다. 마지막으로, 스케일링된 자기-유사성 매칭(12)의 결과를 사용하여 업-스케일링된 출력 이미지(O2)가 생성된다.
도 11은 입력 이미지(I2)를 업-스케일링하기 위한 장치(20)의 일 실시형태를 도시하고 있다. 장치(20)는 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해 슈퍼픽셀을 사용하는, 크로스-스케일 자기-유사성 매칭을 이용한다. 이를 위해, 장치(20)는 업-스케일링되는 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)를 수신하기 위한 입력부(21)를 포함한다. 슈퍼픽셀 벡터 생성기(7)는 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 10 개의 일관된 슈퍼픽셀을 생성하고, 일관된 슈퍼픽셀을 기반으로 11 개의 슈퍼픽셀 테스트 벡터를 생성한다. 물론, 이들 두 기능은 별도의 처리 블록에 의해 동일하게 수행될 수 있다. 매칭 블록(5)은 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 크로스-스케일 자기-유사성 매칭(12)을 수행한다. 출력 이미지 생성기(22)는 크로스-스케일 자기-유사성 매칭(12)의 결과를 사용하여 업-스케일링된 출력 이미지(O2)를 생성한다(13). 일 실시형태에서, 출력 이미지 생성기(22)는 상기한 합성 블록(6) 및 처리 블록(4)을 포함한다. 생성되는 출력 이미지(O2)는 출력부(23)에서 이용 가능하게 되고 및/또는 로컬 저장소에 저장된다. 슈퍼픽셀 벡터 생성기(7), 매칭 블록(5), 및 출력 이미지 생성기(22)는 전용 하드웨어로서 또는 프로세서 상에서 실행되는 소프트웨어로서 구현된다. 이들은 또한 부분적으로 또는 전체적으로 단일 유닛으로 결합될 수도 있다. 또한, 입력부(21) 및 출력부(23)는 단일 양방향 인터페이스로 결합될 수 있다.
이미지를 업-스케일링하기 위한 방법을 수행하도록 구성되는 장치(30)의 다른 실시형태가 도 2에 개략적으로 도시되어 있다. 장치(30)는 처리 장치(31) 및 명령을 저장하는 메모리 장치(32)를 포함하며, 상기 명령은 실행될 때 장치가 상기한 방법 중 하나에 따른 단계를 수행하도록 한다.
예를 들어, 처리 장치(31)는 상기한 방법 중 하나에 따른 단계를 수행하도록 구성되는 프로세서일 수 있다. 일 실시형태에서, 상기 구성은 프로세서가 상기한 방법 중 하나에 따른 단계를 수행하도록 구성되는, 예를 들어, 프로그래밍되는 것을 포함한다.

Claims (8)

  1. 입력 이미지(I2)를 업-스케일링하기 위한 방법에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용되고, 상기 방법은,
    - 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 일관된 슈퍼픽셀을 생성하는 단계(10);
    - 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성하는 단계(11);
    - 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 크로스-스케일 자기-유사성 매칭(12)을 수행하는 단계; 및
    - 크로스-스케일 자기-유사성 매칭(12)의 결과를 사용하여 업- 스케일링된 출력 이미지(O2)를 생성하는 단계(13)를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 방법은,
    - 고해상도 저주파 이미지(O2.1)를 얻기 위해 입력 이미지(I2)를 업-샘플링하는 단계;
    - 입력 이미지(I2) 및 고해상도 저주파 이미지(O2.1) 사이 그리고 하나 이상의 보조 입력 이미지(I1, I3) 및 고해상도 저주파 이미지(O2.1) 사이의 매치 위치를 결정하는 단계(12);
    - 매치 위치를 이용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)로부터 고해상도 고주파 합성 이미지(O2.2)를 합성하는 단계; 및
    - 고해상도 저주파 이미지(O2.1) 및 고해상도 고주파 합성 이미지(O2.2)를 고해상도 업-스케일링된 출력 이미지(O2) 내에 결합하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)는 이미지 시퀀스의 연속 이미지 또는 하나의 장면의 멀티-뷰 이미지인 것을 특징으로 하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 입력 이미지(I1, I2, I3)는 저해상도 저주파 이미지(I1.1, I2.1, I3.1) 및 저해상도 고주파 이미지(I1.2, I2.2, I3.2)로 대역 분할되고, 상기 저해상도 저주파 이미지(I1.1, I2.1, I3.1)는 크로스-스케일 자기-유사성 매칭(12)을 위해 사용되고, 상기 저해상도 고주파 이미지(I1.2, I2.2, I3.2)는 업-스케일링된 출력 이미지(O2)를 생성(13)하기 위해 사용되는 것을 특징으로 하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    크로스-스케일 자기-유사성 매칭(12)의 최상의 매치에 의해 정의되는 단일 이미지 블록을 선택하는 단계, 크로스-스케일 자기-유사성 매칭(12)의 매치에 의해 정의되는 모든 또는 부분 집합의 블록의 선형 결합을 생성하는 단계, 및 크로스-스케일 자기-유사성 매칭(12)의 매치에 의해 정의되는 모든 블록에 대해 평균을 생성하는 단계 중 적어도 하나를 수행함으로써, 업-스케일링된 출력 이미지(O2)를 생성(13)하기 위한 이미지 블록이 생성되는 것을 특징으로 하는 방법.
  6. 입력 이미지(I2)를 업-스케일링할 수 있게 하는 명령을 내부에 저장한 컴퓨터 판독 가능한 저장 매체에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용되고, 상기 명령은 컴퓨터에 의해 실행될 때 컴퓨터로 하여금,
    - 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 일관된 슈퍼픽셀을 생성(10)하고;
    - 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성(11)하고;
    - 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 크로스-스케일 자기-유사성 매칭(12)을 수행하고; 및
    - 크로스-스케일 자기-유사성 매칭(12)의 결과를 사용하여 업-스케일링된 출력 이미지(O2)를 생성(13)하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  7. 입력 이미지(I2)를 업-스케일링하도록 구성되는 장치(20)에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기-유사성 매칭이 이용되고, 상기 장치(20)는,
    - 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 일관된 슈퍼픽셀을 생성(10)하고 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성(11)하도록 구성되는 슈퍼픽셀 벡터 생성기(7);
    - 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 크로스-스케일 자기-유사성 매칭(12)을 수행하도록 구성되는 매칭 블록(5); 및
    - 크로스-스케일 자기-유사성 매칭(12)의 결과를 사용하여 업-스케일링된 출력 이미지(O2)를 생성(13)하도록 구성되는 출력 이미지 생성기(22)를 포함하는 것을 특징으로 하는 장치.
  8. 입력 이미지(I2)를 업-스케일링하도록 구성되는 장치(30)에 있어서, 업-스케일링된 이미지에서 누락된 성분에 대한 대체물을 얻기 위해, 슈퍼픽셀을 사용하는 크로스-스케일 자기- 유사성 매칭이 이용되고, 상기 장치(30)는 처리 장치(31) 및 내부에 명령을 저장한 메모리 장치(31)를 포함하고, 상기 명령은 처리 장치(31)에 의해 실행될 때 장치(30)로 하여금,
    - 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I3)에 대해 일관된 슈퍼픽셀을 생성(10)하고;
    - 일관된 슈퍼픽셀을 기반으로 슈퍼픽셀 테스트 벡터를 생성(11)하고;
    - 슈퍼픽셀 테스트 벡터를 사용하여 입력 이미지(I2) 및 하나 이상의 보조 입력 이미지(I1, I2)에 대해 크로스-스케일 자기-유사성 매칭(12)을 수행하고; 및
    - 크로스-스케일 자기-유사성 매칭(12)의 결과를 사용하여 업-스케일링된 출력 이미지(O2)를 생성(13)하도록 하는 것을 특징으로 하는 장치.
KR1020177000634A 2014-07-10 2015-07-01 이미지를 업-스케일링하기 위한 방법 및 장치 KR20170032288A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306131 2014-07-10
EP14306131.5 2014-07-10
PCT/EP2015/064974 WO2016005242A1 (en) 2014-07-10 2015-07-01 Method and apparatus for up-scaling an image

Publications (1)

Publication Number Publication Date
KR20170032288A true KR20170032288A (ko) 2017-03-22

Family

ID=51228396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177000634A KR20170032288A (ko) 2014-07-10 2015-07-01 이미지를 업-스케일링하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20170206633A1 (ko)
EP (1) EP3167428A1 (ko)
JP (1) JP2017527011A (ko)
KR (1) KR20170032288A (ko)
CN (1) CN106489169A (ko)
WO (1) WO2016005242A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078331A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
KR20190078348A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 미세조직의 상 분할 방법 및 장치
KR20210077308A (ko) * 2019-12-17 2021-06-25 주식회사 포스코 미세 조직의 상 분할 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124036A1 (en) * 2016-01-16 2017-07-20 Flir Systems, Inc. Systems and methods for image super-resolution using iterative collaborative filtering
CN111382753B (zh) * 2018-12-27 2023-05-12 曜科智能科技（上海）有限公司 光场语义分割方法、系统、电子终端及存储介质
RU2697928C1 (ru) 2018-12-28 2019-08-21 Самсунг Электроникс Ко., Лтд. Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
CN116934636B (zh) * 2023-09-15 2023-12-08 济宁港航梁山港有限公司 一种水质实时监测数据智能管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163329A (zh) * 2011-03-15 2011-08-24 河海大学常州校区 基于尺度类推的单幅红外图像的超分辨率重建方法
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN103700062B (zh) * 2013-12-18 2017-06-06 华为技术有限公司 图像处理方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078331A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
KR20190078348A (ko) * 2017-12-26 2019-07-04 주식회사 포스코 미세조직의 상 분할 방법 및 장치
KR20210077308A (ko) * 2019-12-17 2021-06-25 주식회사 포스코 미세 조직의 상 분할 장치 및 방법

Also Published As

Publication number Publication date
CN106489169A (zh) 2017-03-08
US20170206633A1 (en) 2017-07-20
EP3167428A1 (en) 2017-05-17
JP2017527011A (ja) 2017-09-14
WO2016005242A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
KR20170032288A (ko) 이미지를 업-스케일링하기 위한 방법 및 장치
Liu et al. Video frame synthesis using deep voxel flow
KR102003015B1 (ko) 광류를 사용한 중간 뷰의 생성
Wang et al. Deeplens: Shallow depth of field from a single image
US9756316B2 (en) Joint view expansion and filtering for automultiscopic 3D displays
US20050219642A1 (en) Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP5225313B2 (ja) 画像生成装置、画像生成方法、及びプログラム
US11792453B2 (en) Coding scheme for immersive video with asymmetric down-sampling and machine learning
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
Kim et al. Dynamic scene deblurring using a locally adaptive linear blur model
CN109302600B (zh) 一种立体场景拍摄装置
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis
Marton et al. A real-time coarse-to-fine multiview capture system for all-in-focus rendering on a light-field display
Waizenegger et al. Patch-sweeping with robust prior for high precision depth estimation in real-time systems
Sv et al. Detail warping based video super-resolution using image guides
Hu et al. A multi-user oriented live free-viewpoint video streaming system based on view interpolation
Balure et al. A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images
Cheng et al. H 2-Stereo: High-Speed, High-Resolution Stereoscopic Video System
Jiang et al. An Improved Novel View Synthesis Approach Based on Feature Fusion and Channel Attention
Zhou et al. Video super-resolution via dynamic local filter network
Jin et al. Meshreduce: Scalable and bandwidth efficient 3d scene capture
Jammal Multiview Video View Synthesis and Quality Enhancement Using Convolutional Neural Networks
Suluhan et al. Dual camera based high spatio-temporal resolution video generation for wide area surveillance
Bae et al. Efficient and scalable view generation from a single image using fully convolutional networks