KR20210041694A - 영상의 업샘플링 방법 및 장치 - Google Patents

Abstract

본 발명은 업샘플링 방법 및 장치에 관한 것이다. 개시된 초해상화 방법 및 장치는, 고해상도의 참조영상을 저해상도 참조영상으로 변환하는 참조영상 획득부, 상기 참조영상 획득부를 통한 싱기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 변위벡터를 구하는 변위벡터 계산부 및 상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하는 것을 특징으로 하는 초해상화 장치 및 방법을 제공한다. 본 발명에 의하면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있고, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상 등을 해결할 수 있는 초해상화 방법 및 장치를 제공할 수 있다는 이점이 있다.

Description

영상의 업샘플링 방법 및 장치{METHOD AND APPARATUS FOR UPSCALING IMAGE}

본 발명은 업샘플링 방법 및 장치에 관한 것으로, 더욱 상세하게는 고품질 영상을 만들기 위해 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

급격하게 발전하고 있는 정보 기술 사회와 함께 자율주행, 입체 영상 등 여러가지 최신기술에서 다양한 영상들이 활용되고 있다. 영상의 품질은 이러한 최신기술의 성능과 밀접한 관련이 있다. 따라서 고품질 영상의 생성 방법 역시 주목받고 있다.

종래 기술에 의한 고품질 영상생성 기술에서는 하드웨어적 한계로 인해 고품질 고해상도 영상을 얻기 어려운 영상들이 다수 존재한다. 예를 들어 깊이영상의 경우, 적외선(IR : Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight) 방식의 깊이 카메라와 같은 깊이영상 획득만을 위한 하드웨어 기기를 사용해서 얻는다. 이 방법은 하드웨어 기술의 한계에 의해 컬러 카메라의 발전 속도를 따라가지 못하고, 저해상도의 깊이영상만을 제공한다. 이런 상황을 봤을 때 최신 기술의 발전속도에 맞는 고품질 고해상도의 영상을 생성하는 방법의 발전이 필요하다.

이를 위하여 활용될 수 있는 기술 중 하나로 초해상화(super-resolution, SR) 기술이 있는데, 초해상화란 영상을 업스케일링(upscaling)하는 기술을 의미한다. 업스케일은 영상의 해상도(resolution)를 증가시키는 것을 의미하고, 해상도는 이미지를 표현하는데 있어 몇 개의 픽셀을 사용했는지를 나타낸다. 1인치당 픽셀(pixel per inch, ppi) 갯수로 해상도의 크기를 표현하곤 하는데, 1인치당 많은 픽셀이 빼곡하게 들어서 있다면 고해상도의 영상이다.

사용자는 당연히 훨씬 더 선명하고 실제에 가까운 고해상도의 이미지를 원하지만, 고해상도의 사진이나 동영상은 그만큼 많은 용량을 차지한다. 따라서 전송하는데 시간이 많이 걸리고, 인터넷 비디오 스트리밍으로 동영상을 시청한다면 고해상도의 영상은 버퍼링을 유발할 수 밖에 없다. 그래서 대개는 해상도는 조금 포기하더라도, 원하는 속도를 얻기 위하여 저해상도의 영상을 송출한다.

만약 전달받은 저해상도의 영상을 사용자측에서 빠르게 고해상도의 영상으로 복구시켜줄 수 있다면 속도와 해상도 모두 얻을 수 있을 것이다. 여기에 사용될 수 있는 기술이 바로 초해상화로, 달리 말하면 저해상도 이미지를 고해상도의 이미지로 변환해주는 기술이다.

고품질 고해상도 영상을 생성하기 위해 저해상도 영상을 고해상도 형상으로 변환할 때 일반적으로 사용되는 종래기술에 의한 커널 기반의 필터 기법에 의할 경우, 경계 값 근처에서 생기는 여러 에러 현상이 발생하는 문제가 있었다.

또한, 종래기술에 의한 커널 기반의 필터 기법에 의할 경우, 입력데이터들에 대한 전처리 과정을 거쳐야 출력커널을 통해 최종 고해상도 영상을 획득할 수 있다는 단점이 있었다.

이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 초해상화 방법 및 장치를 제안하고자 한다.

한국등록특허 제10-1975472호, 2019년 1월 29일 공개(명칭: 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법) 한국등록특허공보 제10-1901495호, 2018년 7월 3일 공개(명칭: 다중 시점 카메라 기반 깊이 영상 추정 방법) 한국공개특허공보 제10-2018-0061496 호, 2018년 6월 8일 공개(명칭: 초해상화 방법)

(비특허 문헌 1) FUJIEDA, Shin; TAKAYAMA, Kohei; HACHISUKA, Toshiya. Wavelet Convolutional Neural Networks for Texture Classification. arXiv preprint arXiv:1707.07394, 2019. (비특허 문헌 2) Kim, Beomjun, Jean Ponce, and Bumsub Ham. "Deformable kernel networks for guided depth map upsampling." arXiv preprint arXiv:1903.11286, 2019.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있는 업샘플링 방법 및 장치를 제공하는데 주된 목적이 있다.

또한, 본 발명의 다른 목적은 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상을 해결할 수 있는 하기 위한 초해상화 방법 및 장치를 제공하는데 있다.

또한, 본 발명의 다른 목적은 입력 데이터들의 전처리 과정없이 고품질의 출력영상을 획득하기 위한 초해상화 방법 및 장치를 제공하는데 있다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 양상은, 고해상도의 참조영상을 저해상도 참조영상으로 변환하는 참조영상 획득부; 상기 참조영상 획득부를 통한 싱기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 변위벡터를 구하는 변위벡터 계산부; 및 상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하는 것을 특징으로 하는 업샘플링 장치를 제공한다.

상기 참조영상 획득부는, 저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상을 고행상도의 참조영상으로 할 수 있다.

상기 변위벡터 계산부는, 상기 참조영상 획득부로부터 얻어진 상기 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 두 참조영상 간의 변위벡터를 구할 수 있다.

상기 변위벡터 계산부는, 상기 고해상도 참조영상을 바이큐빅(bicubic) 방법을 사용해 저해상도의 참조영상으로 변환한 후 서로 간의 변위 벡터를 구할 수 있다.

상기 변위벡터 계산부는, 상기 저해상도 참조영상을 다시 고해상도로 변환한 후 상기 원본 고해상도 참조영상과 변환된 고해상도 영상으로부터 변위 벡터를 구할 수 있다.

상기 해상도 변환부는, 상기 변위벡터 계산부에서 변위벡터를 만들 때의 방법을 고려하여 해상도 변환을 할 수 있다.

본 발명의 다른 일 양상은, 참조영상 획득부에서 입력으로 고해상도 참조영상을 제공받는 단계; 상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계; 상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계; 상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 변위벡터를 졔산하는 단계; 상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계; 및 상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 초해상화 방법을 제공한다.

상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계이후에, 추가적으로 후처리 단계를 포함할 수 있다.

본 발명의 다른 일 양상은, 상기 초해상화 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.

본 발명의 초해상화 방법 및 장치에 의하면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있는 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.

또한, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상을 해결할 수 있는 하기 위한 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.

또한, 입력 데이터들의 전처리 과정없이 고품질의 출력영상을 획득하기 위한 초해상화 방법 및 장치를 제공할 수 있다는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 초해상화 장치의 개략적인 구성도를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 초해상화 장치의 영상입출력 구성도를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 초해상화 방법의 구성을 예시한 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.

도 1은 본 발명의 일 실시예에 따른 초해상화 장치의 개략적인 구성도를 예시한 도면이다.

도 1에 나타난 각 구성부들은 초해상화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

참조영상 획득부(100)는 고해상도의 참조영상을 저해상도 참조영상으로 변환한다.

참조영상 획득부(100)는 저해상도 영상을 고해상도로 변환하고자 할 때 얻고자 하는 고해상도 영상에 대한 참조영상을 이용하는 것으로써, 예를 들면 저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상이 주어지는 경우가 있는데, 이를 고행상도의 참조영상으로 활용할 수 있다.

변위벡터 계산부(200)는 저해상도 영상을 고해상도 영상으로 변환하기 위한 변위벡터를 참조영상으로부터 구한다. 즉, 참조영상 획득부(100)로부터 얻어진 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다.

이 때, 다양한 방식으로 두 참조영상에서 변위벡터를 구하는 것이 가능하다. 예를 들어, 고해상도 참조영상을 전통적인 바이큐빅(bicubic) 등의 방법을 사용해 저해상도로 변환한 후 서로 간의 변위 벡터를 구하는 방법, 혹은 위와 같이 저해상도로 변환된 참조영상을 다시 고해상도로 변환한 후 원본 고해상도 참조영상과 변환된 고해상도 참조영상의 변위 벡터를 구하는 방법 등이 있다.

또한, 변위벡터는 변환전후 참조영상과 같은 크기를 한번에 구할 수도 있고, 변환전후 참조영상의 한 픽셀마다 N x N 크기의 변위벡터와 가중치를 함께 구할 수도 있다.

해상도 변환부(300)는 변위벡터 계산부(200)에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다.

해상도 변환부(300)는 변위벡터 계산부(200)에서 변위벡터를 만들 때의 방법을 참고하여 이를 바탕으로 변환을 진행한다.

변위벡터를 이용하게 되면 즉각적으로 고해상도 영상을 얻을 수 있지만, 여러가지 후처리 방식을 뒤에 추가로 진행할 수도 있다.

예컨대, 참조영상 획득부(100)에서 바이큐빅(bicubic) 방법을 사용해 고해상도 참조영상을 저해상도로 변환하고, 변환된 저해상도 참조영상을 다시 바이큐빅 방법을 사용해 고해상도로 변환한 후 변위벡터 계산부(200)에서 원본 고해상도 참조 영상과 변환된 참조 영상 사이의 변위벡터를 구할 수 있다. 이 경우에, 해상도 변환부(300)에서 저해상도 영상을 바이큐빅 방법을 사용해 고해상도로 변환한 후, 구한 변위벡터의 형태에 따라서 다양한 방식의 워핑(warping)을 진행하여 최종 고해상도 영상을 획득할 수 있다.

본 발명의 일실시예와 같이 참조 영상을 사용해 저해상도 영상을 고해상도 영상으로 변환하게 되면 고품질 고해상도 영상을 고성능 하드웨어 기기가 없이 구할 수 있다. 또한 커널을 예측함으로써 생기는 오버슈팅 문제를 위치를 보상해주는 변위벡터 기반 변환기법을 사용함으로써 피할 수 있다.

도 2는 본 발명의 일 실시예에 따른 초해상화 장치의 영상입출력 구성도를 예시한 도면이다.

도 2는 도 1의 각 구성부분에 참조영상 및 입출력 영상을 부가하여 본 발명에 의한 초해상화 장치를 보다 구체적으로 도시하였다.

참조영상 획득부(100)는 고해상도의 참조영상을 저해상도 참조영상으로 변환하고, 변위벡터 계산부(200)는 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다. 해상도 변환부(300)는 변위벡터 계산부(200)에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다.

도 3은 본 발명의 일 실시예에 따른 초해상화 방법의 구성을 예시한 도면이다.

참조영상 획득부(100)에 입력으로 고해상도 참조영상을 제공되면(S301), 참조영상 획득부(100)에서는 이를 저해상도 참조영상으로 변환한다(S303).

참조영상 획득부(100)은 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부(200)로 전달하면(S305), 변위벡터 계산부(200)에서는 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 나타내는 두 참조영상 간의 변위벡터를 구한다(S307).

이 때, 다양한 방식으로 두 영상에서 변위벡터를 구하는 것이 가능하다. 예를 들어, 고해상도 영상을 전통적인 바이큐빅(bicubic) 등의 방법을 사용해 저해상도로 변환한 후 서로 간의 변위 벡터를 구하는 방법, 혹은 위와 같이 저해상도로 변환된 영상을 다시 고해상도로 변환한 후 원본 고해상도 영상과 변환된 고해상도 영상의 변위 벡터를 구하는 방법 등이 있음은 앞서 설명한 바와 같다.

변위벡터 계산부(200)는 계산된 변위벡터를 해상도 변환부(300)에 전달하면, 해상도 변환부(300)에서는 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환한다. 이때, 해상도 변환부(300)는 변위벡터 계산부(200)에서 변위벡터를 만들 때의 방법을 참고할 수 있다.

변위벡터를 이용하게 되면 즉각적으로 고해상도 영상을 얻을 수 있지만, 여러가지 후처리 단계를 뒤에 추가로 진행할 수도 있다.

도 3에서는 단계 S301 내지 단계 S311을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S301 내지 단계 S311 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은는 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 초해상화 방법 및 장치에 따르면, 고성능 하드웨어 기기없이도 고해상도의 영상을 얻을 수 있고, 종래의 커널기반의 필터기법에서 경계값 근처에서 눈에 쉽게 인지되는 에러가 발생하는 현상 등을 해결할 수 있는 초해상화 방법 및 장치를 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100: 참조영상 획득부 110: 변위벡터 계산부 130: 해상도 변환부

Claims (16)

1. 고해상도의 참조영상을 저해상도 참조영상으로 변환하는 참조영상 획득부;
   상기 참조영상 획득부를 통한 싱기 고해상도의 참조영상 및 저해상도 참조영상을 비교하여 변위벡터를 구하는 변위벡터 계산부; 및
   상기 변위벡터 계산부에서 구한 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 해상도 변환부를 포함하는 것을 특징으로 하는 초해상화 장치.
2. 제1항에 있어서,
   상기 참조영상 획득부는,
   저해상도의 깊이영상을 고해상도 깊이영상으로 변환하고자 할 때, 같은 시점에서 획득된 고해상도 컬러영상을 고행상도의 참조영상으로 하는 것을 특징으로 하는 초해상화 장치.
3. 제1항에 있어서,
   상기 변위벡터 계산부는,
   상기 참조영상 획득부로부터 얻어진 상기 고해상도 참조영상과 저해상도 참조영상을 토대로 각 픽셀값이 어떻게 이동하였는지를 비교하여 두 참조영상 간의 변위벡터를 구하는 것을 특징으로 하는 초해상화 장치.
4. 제1항에 있어서,
   상기 변위벡터 계산부는,
   상기 참조영상 획득부에서 상기 고해상도 참조영상을 바이큐빅(bicubic) 방법을 사용해 저해상도의 참조영상으로 변환한 후, 서로 간의 변위 벡터를 구하는 것을 특징으로 하는 초해상화 장치.
5. 제1항에 있어서,
   상기 변위벡터 계산부는,
   상기 저해상도 참조영상을 다시 고해상도로 변환한 후 상기 원본 고해상도 참조영상과 변환된 고해상도 영상으로부터 변위 벡터를 구하는 것을 특징으로 하는 초해상화 장치.
6. 제1항에 있어서,
   상기 변위벡터 계산부는,
   상기 변환전후 참조영상과 같은 크기의 단위벡터를 한번에 구하거나, 상기 변환전후 참조영상의 한 픽셀마다 N x N 크기의 변위벡터와 가중치를 함께 구하는 것을 특징으로 하는 초해상화 장치.
7. 제1항에 있어서,
   상기 해상도 변환부는,
   상기 변위벡터 계산부에서 변위벡터를 만들 때의 방법을 고려하여 해상도 변환을 하는 것을 특징으로 하는 초해상화 장치.
8. 제7항에 있어서,
   상기 참조영상 획득부에서 바이큐빅(bicubic) 방법을 사용해 상기 고해상도 참조영상을 저해상도의 영상으로 변환하고,
   상기 변위벡터 계산부에서 상기 변환된 저해상도 참조영상을 다시 바이큐빅 방법을 사용해 고해상도로 변환한 후, 원본 고해상도 참조 영상과 변환된 참조 영상 사이의 변위벡터를 구하고,
   상기 해상도 변환부에서 상기 저해상도 입력영상을 바이큐빅 방법을 사용해 고해상도로 변환한 후, 상기 구해진 변위벡터의 형태에 따라서 다양한 방식의 워핑(warping)을 진행하여 최종 고해상도 영상을 획득하는 것을 특징으로 하는 초해상화 장치.
9. 참조영상 획득부에서 입력으로 고해상도 참조영상을 제공받는 단계;
   상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계;
   상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계;
   상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 변위벡터를 졔산하는 단계;
   상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계; 및
   상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 초해상화 방법.
10. 제9항에 있어서,
    상기 변위벡터는,
    상기 고해상도 참조영상 및 획득된 저해상도 참조영상간 각 픽셀값이 어떻게 이동하였는지를 나타내는 것을 특징으로 하는 초해상화 방법.
11. 제10항에 있어서,
    상기 변위벡터를 졔산하는 단계는,
    상기 고해상도 참조영상을 바이큐빅(bicubic) 방법을 사용해 저해상도의 참조영상으로 변환한 후 서로 간의 변위 벡터를 구하는 것을 특징으로 하는 초해상화 방법.
12. 제9항에 있어서,
    상기 변위벡터를 졔산하는 단계는,
    저해상도로 변환된 참조영상을 다시 고해상도로 변환한 후 원본 고해상도 참조영상과 변환된 고해상도 참조영상의 변위 벡터를 구하는 것을 특징으로 하는 초해상화 방법.
13. 제9항에 있어서,
    상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계는,
    상기 변위벡터 계산부에서 상기 변위벡터를 만들 때의 방법을 참고하는 것을 특징으로 하는 초해상화 방법.
14. 제9항에 있어서,
    상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계이후에,
    후처리 수행단계를 더 포함하는 것을 특징으로 하는 초해상화 방법.
15. 제14항에 있어서,
    상기 참조영상 획득부에서 바이큐빅(bicubic) 방법을 사용해 상기 고해상도 참조영상을 저해상도의 영상으로 변환하는 단계;
    상기 변위벡터 계산부에서 변환된 저해상도 참조영상을 다시 바이큐빅 방법을 사용해 고해상도로 변환한 후, 원본 고해상도 참조 영상과 변환된 참조 영상 사이의 변위벡터를 구하는 단계; 및
    상기 해상도 변환부에서 상기 저해상도 입력영상을 바이큐빅 방법을 사용해 고해상도로 변환하는 단계이후에,
    상기 구해진 변위벡터의 형태에 따라서 다양한 방식의 워핑(warping)을 진행하여 최종 고해상도 영상을 획득하는 후처리 수행단계를 포함하는 것을 특징으로 하는 초해상화 방법.
16. 참조영상 획득부에서 입력으로 고해상도 참조영상을 제공받는 단계;
    상기 참조영상 획득부에서 상기 고해상도 참조영상을 저해상도 참조영상으로 변환하는 단계;
    상기 참조영상 획득부에서 상기 고해상도 참조영상 및 획득된 저해상도 참조영상을 변위벡터 계산부로 전달하는 단계;
    상기 변위벡터 계산부에서 상기 전달받은 고해상도 참조영상 및 저해상도 참조영상을 토대로 변위벡터를 졔산하는 단계;
    상기 변위벡터 계산부에서 상기 계산된 변위벡터를 해상도 변환부로 전달하는 단계; 및
    상기 해상도 변환부에서 상기 전달받은 변위벡터를 사용하여, 저해상도의 입력영상을 고해상도 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 초해상화 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

Images