KR101885855B1 - transmission of images based on techniques estimating high resolution - Google Patents

transmission of images based on techniques estimating high resolution Download PDF

Info

Publication number
KR101885855B1
KR101885855B1 KR1020170068941A KR20170068941A KR101885855B1 KR 101885855 B1 KR101885855 B1 KR 101885855B1 KR 1020170068941 A KR1020170068941 A KR 1020170068941A KR 20170068941 A KR20170068941 A KR 20170068941A KR 101885855 B1 KR101885855 B1 KR 101885855B1
Authority
KR
South Korea
Prior art keywords
resolution image
low
pixels
image
reference information
Prior art date
Application number
KR1020170068941A
Other languages
Korean (ko)
Inventor
장석호
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Application granted granted Critical
Publication of KR101885855B1 publication Critical patent/KR101885855B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Abstract

The present invention relates to a method, a device, and a system for signal transmission which use a high resolution estimation technique to restore a low resolution image to a high resolution image on a receiving end when the high resolution image is downsampled and the low resolution image is transmitted by a transmitting end. When the low resolution image is transmitted by the transmitting end, reference information is transmitted with the low resolution image. A learning-based high resolution estimation technique is used to restore the low resolution image to the high resolution image on the receiving end, and then the restored image is corrected based on the reference information to compensate for image distortion which may be created while an image is transmitted from the transmitting end to the receiving end. Therefore, even if a compression rate on the transmitting end increases and thus a distortion rate of a restored signal increases, the distortion rate can be compensated by an image correction process for compensating for image distortion. Therefore, compression efficiency of image transmission can be maximized.

Description

고해상도 추정 기법을 활용한 영상 신호 전송{transmission of images based on techniques estimating high resolution}[0001] The present invention relates to a method and an apparatus for estimating a high-

본 발명은 고해상도 추적 기법을 활용한 영상 신호 전송에 관한 것으로서, 더욱 상세하게는 송신단에서 다운 샘플링하여 저해상도 영상을 송신하면 수신단에서 고해상도 추정 기법을 활용하여 고해상도 영상으로 복원하는 영상 신호 전송에 관한 것이다.The present invention relates to a video signal transmission method using a high resolution tracking technique, and more particularly, to a video signal transmission method in which a receiver low-resolution video is transmitted by downsampling in a transmitter to recover high-resolution video using a high-resolution estimation technique.

일반 데이터 통신에서는 압축 수행시 왜곡(distortion)을 허용하지 않는데 반해서 영상, 음성 등의 멀티미디어 신호는 일정량의 왜곡을 허용함으로써 압축효율을 더 높이게 된다.In general data communication, distortion is not allowed when compression is performed, but multimedia signals such as video and audio allow a certain amount of distortion, thereby further increasing the compression efficiency.

그러나 송신단에서의 압축율이 상승하면 수신단에서 복원된 신호의 왜곡율이 그만큼 상승하기 때문에 압축효율을 높이는데 한계가 있는 문제점이 있었다.However, when the compression ratio at the transmitter is increased, the distortion rate of the signal reconstructed at the receiver increases so much that there is a limitation in increasing the compression efficiency.

대한민국 공개특허공보 10-2017-0047489, 공개일자 2017년 05월 08일.Korean Patent Publication No. 10-2017-0047489, published on May 08, 2017.

본 발명의 실시예에 의하면, 송신단에서 고해상도 영상을 다운 샘플링하여 저해상도 영상을 송신하면 수신단에서 고해상도 추정 기법을 활용하여 저해상도 영상을 고해상도 영상으로 복원하는 신호 전송 방법, 신호 송신 장치 및 신호 전송 시스템을 제공한다.According to an embodiment of the present invention, a signal transmission method, a signal transmission apparatus, and a signal transmission system for restoring a low-resolution image to a high-resolution image by utilizing a high-resolution estimation technique at a receiving end by downsampling a high- do.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to those mentioned above, and another problem to be solved can be clearly understood by those skilled in the art from the following description.

본 발명의 제 1 관점에 따른 신호 송신 장치에 의해 수행되는 신호 송신 방법은, 원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하는 단계와, 학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와, 상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하는 단계와, 상기 저해상도 영상 및 상기 참조정보를 송신하는 단계를 포함할 수 있다.According to a first aspect of the present invention, there is provided a signal transmitting method performed by a signal transmitting apparatus, comprising: generating a low-resolution image by downsampling an original high-resolution image; And generating reference information corresponding to a difference between the original high-resolution image and the reconstructed high-resolution image, and transmitting the low-resolution image and the reference information.

본 발명의 제 2 관점에 따른 신호 수신 장치에 의해 수행되는 신호 수신 방법은, 원본 고해상도 영상이 다운 샘플링되어 생성된 저해상도 영상 및 참조정보-신호 송신 장치에서 학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원한 후에 상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하게 생성함-를 수신하는 단계와, 상기 학습기반의 고해상도 추정 기법을 통해 상기 수신된 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와, 상기 복원된 고해상도 영상을 상기 참조정보를 이용하여 보정하는 단계를 포함할 수 있다.A signal receiving method performed by a signal receiving apparatus according to a second aspect of the present invention is a method of receiving a signal from a low resolution image generated by downsampling an original high resolution image and an image restoration using a learning based high resolution estimation technique in a reference information- Resolution image and generating the high-resolution image corresponding to the difference between the original high-resolution image and the reconstructed high-resolution image through the learning-based high-resolution estimation technique; Reconstructing the reconstructed high-resolution image using the reference information, and reconstructing the reconstructed high-resolution image using the reference information.

본 발명의 제 3 관점에 따른 신호 송신 장치는, 제 1 통신부와, 제 1 제어부를 포함하되, 상기 제 1 제어부는, 원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하고, 학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하며, 상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하고, 상기 저해상도 영상 및 상기 참조정보를 신호 수신 장치로 송신하도록 상기 제 1 통신부를 제어할 수 있다.A signal transmission apparatus according to a third aspect of the present invention includes a first communication unit and a first control unit, wherein the first control unit generates a low-resolution image by downsampling an original high-resolution image, Resolution image, and generates reference information corresponding to a difference value between the original high-resolution image and the reconstructed high-resolution image, and outputs the low-resolution image and the reference information to a signal receiving apparatus It is possible to control the first communication unit to transmit.

본 발명의 제 4 관점에 따른 신호 전송 시스템은, 신호 송신 장치 및 신호 수신 장치를 포함하며, 상기 신호 수신 장치는, 제 2 통신부와, 제 2 제어부를 포함하되, 상기 제 2 제어부는, 상기 저해상도 영상 및 상기 참조정보를 수신하도록 상기 제 2 통신부를 제어하고, 상기 학습기반의 고해상도 추정 기법을 통해 상기 수신된 저해상도 영상으로부터 고해상도 영상을 복원하며, 상기 복원된 고해상도 영상을 상기 참조정보를 이용하여 보정할 수 있다.A signal transmission system according to a fourth aspect of the present invention includes a signal transmission apparatus and a signal reception apparatus, wherein the signal reception apparatus includes a second communication unit and a second control unit, Resolution image from the received low-resolution image through the learning-based high-resolution estimation technique, and controls the second communication unit to receive the reconstructed high- can do.

본 발명의 실시예에 의하면, 송신단에서 고해상도 영상을 다운 샘플링하여 저해상도 영상을 송신하면 수신단에서는 수신된 저해상도 영상을 고해상도 영상으로 복원할 때에 고해상도 추정 기법을 활용한다. 송신단에서 저해상도 영상을 송신할 때에 참조정보를 함께 송신하고, 수신단에서는 저해상도 영상을 학습기반의 고해상도 추정 기법을 이용해 고해상도 영상으로 복원한 후에 복원된 영상을 참조정보를 기초로 하여 보정함으로써, 전송을 위해 영상을 압축할 때에 발생하는 영상왜곡을 보상할 수 있다.According to an embodiment of the present invention, when a low-resolution image is transmitted by down-sampling a high-resolution image at a transmitter, the receiver uses a high-resolution estimation technique to restore the received low-resolution image to a high-resolution image. In the transmitting end, the reference information is transmitted together when the low-resolution image is transmitted. At the receiving end, the low-resolution image is restored to the high-resolution image using the learning-based high-resolution estimation technique, and the reconstructed image is corrected based on the reference information. It is possible to compensate for image distortion occurring when compressing an image.

따라서, 송신단에서의 압축율이 상승하여 수신단에서 복원된 신호의 왜곡율이 상승하더라도 영상왜곡을 보상하는 영상 보정 과정을 통해 보완할 수 있기 때문에 영상 전송의 압축효율을 극대화할 수 있는 효과가 있다.Therefore, even if the compression ratio at the transmitting end increases and the distortion rate of the signal restored at the receiving end rises, it is possible to compensate the image distortion by compensating the image distortion, thereby maximizing the compression efficiency of the image transmission.

도 1은 본 발명의 일 실시예에 따른 신호 송신 장치 및 신호 수신 장치를 포함하는 신호 전송 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 신호 송신 과정을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 신호 수신 및 복원 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 참조정보의 생성 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 참조정보를 이용한 영상 보정 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 참조정보의 생성 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 참조정보를 이용한 영상 보정 과정을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 보정 과정에서 이용할 수 있는 2-D 가우시안 모델을 나타낸 것이다.
도 9는 본 발명의 실시예에 따른 고해상도 추정 기법을 활용한 영상 신호 전송 시스템의 성능이득의 상한값(upper bound)을 나타낸 그래프이다.1 is a configuration diagram of a signal transmission system including a signal transmission apparatus and a signal reception apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a signal transmission process according to an embodiment of the present invention.
3 is a flowchart illustrating a signal reception and recovery process according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a process of generating reference information according to an embodiment of the present invention.
5 is a flowchart illustrating an image correction process using reference information according to an embodiment of the present invention.
6 is a flowchart illustrating a process of generating reference information according to another embodiment of the present invention.
7 is a flowchart illustrating an image correction process using reference information according to another embodiment of the present invention.
FIG. 8 illustrates a 2-D Gaussian model that can be used in the image correction process according to an exemplary embodiment of the present invention.
9 is a graph illustrating an upper bound of a performance gain of a video signal transmission system using a high resolution estimation technique according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 신호 송신 장치 및 신호 수신 장치를 포함하는 신호 전송 시스템의 구성도이다.1 is a configuration diagram of a signal transmission system including a signal transmission apparatus and a signal reception apparatus according to an embodiment of the present invention.

이에 나타낸 바와 같이 신호 전송 시스템(100)은 신호 송신 장치(110)와 신호 수신 장치(120)를 포함하며, 이들은 유선 또는 무선의 각종 통신 네트워크로 연결된다. 신호 송신 장치(110)는 입력부(111), 제 1 통신부(112), 제 1 제어부(113) 및 제 1 저장부(114)를 포함한다. 신호 수신 장치(120)는 제 2 통신부(121), 제 2 제어부(122), 제 2 저장부(123) 및 출력부(124)를 포함한다.As shown, the signal transmission system 100 includes a signal transmission device 110 and a signal reception device 120, which are connected to various communication networks, such as wired or wireless. The signal transmission apparatus 110 includes an input unit 111, a first communication unit 112, a first control unit 113, and a first storage unit 114. The signal receiving apparatus 120 includes a second communication unit 121, a second control unit 122, a second storage unit 123, and an output unit 124.

제 1 저장부(114)에는 제 1 제어부(113)에 의한 실행시에, 제 1 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장되고, 제 1 프로세스가 수행되면 전반적인 신호 송신 과정이 처리된다. 제 1 프로세스에 의한 신호 송신 과정에서는 원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하고, 학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 저해상도 영상으로부터 고해상도 영상을 복원한다. 그리고, 원본 고해상도 영상과 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하고, 저해상도 영상 및 참조정보는 제 1 통신부(112)를 통해 수신단인 신호 수신 장치(120)로 송신된다. 이처럼, 제 1 프로세스에 의해 수행되는 신호 송신 과정에 대해서는 아래에서 자세히 살펴보기로 한다.In the first storage unit 114, when executed by the first control unit 113, the computer executable instructions for performing the first process are stored, and when the first process is performed, the overall signal transmission process is processed. In the signal transmission process according to the first process, a low resolution image is generated by downsampling an original high resolution image, and a high resolution image is restored from a low resolution image through image restoration using a learning based high resolution estimation technique. Then, reference information corresponding to the difference value between the original high-resolution image and the restored high-resolution image is generated, and the low-resolution image and the reference information are transmitted to the signal receiving apparatus 120 serving as the receiving end through the first communication unit 112. As described above, the signal transmission process performed by the first process will be described in detail below.

한편, 제 2 저장부(123)에는 제 2 제어부(122)에 의한 실행시에, 제 2 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장되고, 제 2 프로세스가 수행되면 전반적인 신호 수신 및 복원 과정이 처리된다. 제 2 프로세스에 의한 신호 수신 및 복원 과정에서는 제 2 통신부(121)를 통해 저해상도 영상 및 참조정보가 수신되며, 수신된 저해상도 영상으로부터 학습기반의 고해상도 추정 기법을 통해 고해상도 영상을 복원하며, 복원된 고해상도 영상을 참조정보를 이용하여 보정한다. 고해상도 영상에 대한 보정은 신호 송신 장치(110)에서 영상을 압축할 때에 발생된 왜곡을 참조정보를 기초로 하여 보상하는 과정을 일컫는다. 복원 및 보정된 영상을 출력부(124)를 통해 출력될 수 있다. 이처럼, 제 2 프로세스에 의해 수행되는 신호 수신 및 복원 과정에 대해서는 아래에서 자세히 살펴보기로 한다.On the other hand, in the second storage unit 123, the computer executable instructions for performing the second process are stored at the time of execution by the second control unit 122, and when the second process is performed, do. In the signal reception and restoration process according to the second process, the low-resolution image and the reference information are received through the second communication unit 121, the high-resolution image is restored through the learning-based high-resolution estimation technique from the received low-resolution image, The image is corrected using reference information. The correction for the high-resolution image refers to a process of compensating for the distortion generated when the image signal is compressed by the signal transmission apparatus 110, based on the reference information. And the restored and corrected image can be outputted through the output unit 124. [ As described above, the process of receiving and restoring signals performed by the second process will be described in detail below.

도 1에 예시한 신호 전송 시스템(100)에 있어서, 입력부(111) 및 출력부(124)는 컴퓨터 장치 등에서 이용되는 직렬 인터페이스(serial interface) 등을 포함할 수 있으며, 제 1 통신부(112) 및 제 2 통신부(121)는 이동통신망, 유선 인터넷, 무선 인터넷, 방송망 등과 같은 공중통신망에 접속할 수 있는 모뎀이나 랜카드 등을 포함할 수 있다. 제 1 제어부(113) 및 제 2 제어부(122)는 CPU(Central Processing Unit) 등과 같은 프로세서를 포함할 수 있다. 또, 제 1 저장부(114) 및 제 2 저장부(123)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.In the signal transmission system 100 illustrated in FIG. 1, the input unit 111 and the output unit 124 may include a serial interface or the like used in a computer device or the like. The second communication unit 121 may include a modem or an adapter capable of connecting to a public communication network such as a mobile communication network, a wired Internet, a wireless Internet, and a broadcasting network. The first control unit 113 and the second control unit 122 may include a processor such as a CPU (Central Processing Unit). The first storage unit 114 and the second storage unit 123 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type And a computer readable recording medium of at least one type of memory, RAM, or ROM.

이하, 본 발명의 일 실시예에 따른 신호 전송 시스템에 의해 수행되는 신호 송신 및 신호 수신 과정에 대해 도 2 내지 도 9를 추가로 참조하여 자세히 살펴보기로 한다.Hereinafter, the signal transmission and signal reception processes performed by the signal transmission system according to an embodiment of the present invention will be described in detail with reference to FIGS. 2 to 9.

도 2는 본 발명의 일 실시예에 따른 신호 송신 과정을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 신호 수신 및 복원 과정을 설명하기 위한 흐름도이며, 도 4는 본 발명의 일 실시예에 따른 참조정보의 생성 과정을 설명하기 위한 흐름도이며, 도 5는 본 발명의 일 실시예에 따른 참조정보를 이용한 영상 보정 과정을 설명하기 위한 흐름도이고, 도 6은 본 발명의 다른 실시예에 따른 참조정보의 생성 과정을 설명하기 위한 흐름도이며, 도 7은 본 발명의 다른 실시예에 따른 참조정보를 이용한 영상 보정 과정을 설명하기 위한 흐름도이고, 도 8은 본 발명의 일 실시예에 따른 영상 보정 과정에서 이용할 수 있는 2-D 가우시안 모델을 나타낸 것이며, 도 9는 본 발명의 실시예에 따른 고해상도 추정 기법을 활용한 영상 신호 전송 시스템의 성능이득의 상한값(upper bound)을 나타낸 그래프이다.FIG. 2 is a flowchart illustrating a signal transmission process according to an embodiment of the present invention. FIG. 3 is a flowchart illustrating a signal reception and recovery process according to an embodiment of the present invention. FIG. 5 is a flowchart illustrating an image correction process using reference information according to an exemplary embodiment of the present invention. FIG. 6 is a flowchart illustrating a process of generating reference information according to another embodiment of the present invention. FIG. 7 is a flowchart illustrating an image correction process using reference information according to another embodiment of the present invention. FIG. 8 is a flowchart illustrating a process of generating reference information according to an embodiment of the present invention. FIG. 9 illustrates a 2-D Gaussian model that can be used in the image correction process according to an embodiment of the present invention. FIG. A graph showing the upper limit value (upper bound) of the gain.

먼저, 신호 송신 장치(110)의 입력부(111)로 원본 고해상도 영상이 입력되며, 제 1 제어부(113)는 제 1 저장부(114)에 기 저장된 컴퓨터 실행가능 명령어를 실행하여 전반적인 신호 송신 과정을 처리하는 제 1 프로세스를 수행한다.First, the original high-resolution image is input to the input unit 111 of the signal transmission apparatus 110. The first control unit 113 executes a pre-stored computer executable instruction in the first storage unit 114 to perform an overall signal transmission process And performs the first process for processing.

제 1 제어부(113)에 의해 제 1 프로세스가 수행되면 입력부(111)로 입력되는 원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성한다(S210). 예를 들어, 원본 고해상도 영상을 α배로 다운 샘플링하여 저해상도 영상을 생성할 수 있다.When the first process is performed by the first controller 113, the original high-resolution image input to the input unit 111 is down-sampled to generate a low-resolution image (S210). For example, a low-resolution image can be generated by downsampling an original high-resolution image by?

이렇게 생성된 저해상도 영상은 제 1 프로세스에 의해 소스코딩, 채널코딩 및 변조가 될 수 있고, 제 1 통신부(112)를 통해 수신단으로 송신되기 전에 제 1 저장부(114)에 저장될 수 있다.The generated low-resolution image can be source-coded, channel-coded, and modulated by the first process and can be stored in the first storage 114 before being transmitted to the receiving end via the first communication unit 112.

여기서, 추후 수신단에서 저해상도 영상으로부터 학습기반의 고해상도 추정 기법을 활용하여 고해상도 영상을 복원하는 과정에서 이용하게 될 참조정보(reference information)를 생성하게 된다.Hereinafter, the receiving terminal generates the reference information to be used in the process of restoring the high-resolution image by using the learning-based high-resolution estimation technique from the low-resolution image.

이를 위해, 학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 저해상도 영상으로부터 고해상도 영상을 복원한다(S220). 이때, 이용되는 학습기반의 고해상도 추정 기법은 수신단에서 이용하는 학습기반의 고해상도 추정 기법과 비교할 때에 동일한 알고리듬이 사용된다. 여기서, 송신단에서 저해상도 영상을 소스코딩, 채널코딩 및 변조 후에 송신하는 경우라면, 학습기반의 고해상도 추정 기법에 이용되는 저해상도 영상은 소스코딩이 된 저해상도 영상이 이용되고, 학습기반의 고해상도 추정 기법을 수행하기 전에 소스디코딩 과정을 거치게 된다.To do this, a high-resolution image is reconstructed from a low-resolution image through an image reconstruction using a learning-based high-resolution estimation technique (S220). In this case, the same algorithm is used for the learning-based high-resolution estimation technique used in comparison with the learning-based high-resolution estimation technique used in the receiving end. Here, if a transmitting terminal transmits a low-resolution image after source coding, channel coding and modulation, the low-resolution image used in the learning-based high-resolution estimation technique is used as a source-coded low-resolution image, and a learning-based high- The source decoding process is performed before this process.

그리고, 원본 고해상도 영상과 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성한다(S230). 예를 들어, 복원된 고해상도 영상을 원본 고해상도 영상에서 픽셀별로 차감한다(S410). 그리고, 원본 고해상도 영상의 해상도를 L×L라고 할 때, 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 M개의 픽셀을 참조픽셀로서 선택하여 해당 픽셀값을 참조정보로서 생성한다(S420). 참조픽셀을 선택할 때에는 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 값이 큰 상위의 M번째 픽셀까지 선택할 수 있다.Then, reference information corresponding to the difference between the original high-resolution image and the restored high-resolution image is generated (S230). For example, the restored high-resolution image is subtracted for each pixel in the original high-resolution image (S410). Then, when that the resolution of the original high-resolution image L × L, by selecting a reference pixel among the M pixel resolution residual L 2 pixels of the image after subtraction generated as reference information, the corresponding pixel value (S420). When selecting a reference pixel, it is possible to select up to the Mth uppermost pixel among the L 2 pixels of the residual high-resolution image after the subtraction.

이렇게 생성된 참조정보 또한 제 1 프로세스에 의해 소스코딩, 채널코딩 및 변조가 될 수 있고, 제 1 통신부(112)를 통해 수신단으로 송신되기 전에 제 1 저장부(114)에 저장될 수 있다.The generated reference information may also be source-coded, channel-coded, and modulated by the first process and may be stored in the first storage 114 before being transmitted to the receiving end via the first communication unit 112.

이어서, 저해상도 영상 및 참조정보가 제 1 통신부(112)를 통해 신호 수신 장치(120)에게 송신된다(S240).Then, the low-resolution image and the reference information are transmitted to the signal receiving apparatus 120 through the first communication unit 112 (S240).

입력부(111)를 통해 입력된 원본 고해상도 영상을 α배로 다운 샘플링하지 않고 그대로 송신할 때에 필요한 비트 버짓(bit budget)이 Nb 라고 하면, 저해상도 영상 및 참조정보를 송신할 때의 비트 버짓은 α2Nb 이다. 그리고, 참조정보로서 생성된 M개의 픽셀값을 Nq 비트로 양자화하고, 양자화된 M개의 픽셀값을 채널코딩을 한다. 이때, 채널코드의 총 패리티 비트의 수를 Np라 하고, 참조정보의 전송에 할당된 비트 수를 Nside라 할 때에, Nside = MNq + Np의 관계가 성립된다. 아울러, 저해상도 영상의 전송에 할당된 비트 수를 Nlow라 하고, α2Nb (bits)= Nlow (bits) + Nside (bits)의 관계를 가질 때에, Nlow (bits)는 소스코딩 및 채널코딩에 할당된다. 즉, 통상의 JSCC(Joint Source-Channel Coding) 전략에 따라 양자화에러와 채널에러의 트레이드오프 관계로부터 영상왜곡을 최소화 하는 방향으로 소스코딩 및 채널코딩을 한다. 여기서, 영상왜곡은 수신단에서 최종 복원된 고해상도 영상을 기준으로 계산된다. 또, 참조정보의 전송에 할당된 Nside (bits)는 양자화 및 채널코딩에 할당된다. 즉, 수신단에서 최종 복원된 고해상도 영상의 왜곡이 최소화 되도록 할당되어야 한다.Assuming that the bit budget necessary for transmitting the original high-resolution image input through the input unit 111 without down-sampling the value α times is N b , the bit budget for transmitting the low-resolution image and the reference information is α 2 N b . The M pixel values generated as reference information are quantized with N q bits, and the quantized M pixel values are channel-coded. At this time, when the total number of parity bits of the channel code is N p and the number of bits allocated for transmission of reference information is N side , N side = MN q + N p is established. In addition, the number of bits assigned to the transfer of low-resolution images N low la and, α 2 N b (bits) time have a relationship of = N low (bits) + N side (bits), N low (bits) is the source code And channel coding. That is, source coding and channel coding are performed in a direction of minimizing image distortion from a trade-off relationship between a quantization error and a channel error according to a normal JSCC (Joint Source-Channel Coding) strategy. Here, the image distortion is calculated based on the final reconstructed high-resolution image at the receiving end. In addition, N side (bits) allocated to transmission of reference information is allocated to quantization and channel coding. That is, it should be allocated so that the distortion of the final reconstructed high resolution image at the receiving end is minimized.

한편, 신호 수신 장치(120)의 제 2 제어부(122)는 제 2 저장부(123)에 기 저장된 컴퓨터 실행가능 명령어를 실행하여 전반적인 신호 수신 및 복원 과정을 처리하는 제 2 프로세스를 수행한다.Meanwhile, the second controller 122 of the signal receiving apparatus 120 performs a second process of executing the pre-stored computer executable instructions in the second storage unit 123 to process an overall signal reception and restoration process.

제 2 제어부(122)에 의해 제 2 프로세스가 수행되면 신호 송신 장치(110)에서 송신되는 저해상도 영상 및 참조정보를 수신하도록 제 2 통신부(121)를 제어하고, 제 2 통신부(121)는 신호 송신 장치(110)의 제 1 통신부(112)에 의해 송신되는 저해상도 영상 및 참조정보를 수신하며, 이렇게 수신된 저해상도 영상 및 참조정보는 제 2 저장부(123)에 저장될 수 있다(S310).When the second process is performed by the second control unit 122, the second communication unit 121 controls the second communication unit 121 to receive the low resolution image and reference information transmitted from the signal transmission apparatus 110, Resolution image and reference information transmitted by the first communication unit 112 of the apparatus 110. The received low-resolution image and reference information may be stored in the second storage unit 123 (S310).

그리고, 제 2 제어부(122)에 의해 수행되는 제 2 프로세스에 의하여, 학습기반의 고해상도 추정 기법을 통해 저해상도 영상으로부터 고해상도 영상을 복원하며(S320), 복원된 고해상도 영상을 참조정보를 이용하여 보정하는 신호 복원 과정이 수행되고(S330), 복원 및 보정된 고해상도 영상이 출력부(124)를 통해 출력될 수 있다(S340). 이때, 이용되는 학습기반의 고해상도 추정 기법은 송신단에서 이용한 학습기반의 고해상도 추정 기법과 비교할 때에 동일한 알고리듬이 사용된다. 여기서, 송신단에서 저해상도 영상 및 참조정보를 소스코딩, 채널코딩 및 변조 후에 송신하는 경우라면, 수신단에서 영상 복원 처리를 하기 전에 복조, 채널디코딩 및 소스디코딩 과정을 거치게 된다.Then, the second process performed by the second control unit 122 restores the high-resolution image from the low-resolution image through the learning-based high-resolution estimation technique (S320), and corrects the restored high-resolution image using the reference information The signal restoration process is performed (S330), and the restored and corrected high-resolution image may be outputted through the output unit 124 (S340). In this case, the learning-based high-resolution estimation technique used is the same algorithm as the learning-based high-resolution estimation technique used in the transmitter. Here, if the transmitting end transmits the low-resolution image and the reference information after source coding, channel coding and modulation, the receiving end undergoes demodulation, channel decoding, and source decoding before performing the image restoration processing.

제 2 제어부(122)에 의해 수행되는 제 2 프로세스에 의하여, 복원된 고해상도 영상이 보정되는 과정을 살펴보면, 참조정보로서 수신된 M개의 픽셀 각각에 대해서 2-D 가우시안 모델을 사용하여 인접 픽셀들로 범위를 확장시킨다(S510).A process of correcting the reconstructed high-resolution image by the second process performed by the second controller 122 will now be described. As shown in FIG. 2, the 2-D Gaussian model is used for each of the M pixels received as reference information, The range is extended (S510).

예를 들어, 도 8에 예시한 바와 같은 2-D 가우시안 모델을 사용하여 M개의 픽셀 각각을 중심 픽셀로 삼고, 중심 픽셀을 마름모 형상으로 둘러싸는 K개의 인접 픽셀들까지 범위를 확장할 수 있다. 예컨대, 중심 픽셀의 픽셀값을 A라 하고, 중심 픽셀의 상하좌우 방향에 최상위로 근접 위치한 4개 픽셀의 픽셀값을 B라 하며, 중심 픽셀의 대각선 방향에 최상위로 근접 위치한 4개 픽셀의 픽셀값을 C라 하고, 중심 픽셀의 상하좌우 방향에 차상위로 근접 위치한 4개의 픽셀값을 D라 할 때에, A > B > C > D의 관계를 가질 수 있다.For example, a 2-D Gaussian model as illustrated in FIG. 8 may be used to define each of the M pixels as a center pixel and extend the range to K adjacent pixels surrounding the center pixel in a rhombic shape. For example, let A be the pixel value of the center pixel, B be the pixel value of the four pixels positioned nearest to the top, bottom, left, and right directions of the center pixel, B be the pixel value of four pixels located nearest to the diagonal direction of the center pixel And C, and the four pixel values located near to the next level in the up, down, left, and right directions of the center pixel are D, A> B> C> D.

그리고, 복원된 고해상도 영상의 L2개 픽셀 중에서 선택된 M개의 픽셀과 2-D 가우시안 모델의 중심부 픽셀 좌표를 일치시키는 정렬을 한 후(S520), 복원된 고해상도 영상의 L2개 픽셀 중에서 선택된 M개의 픽셀과 그 주변 인접 픽셀들에 2-D 가우시안 모델의 픽셀값들을 더한다(S530).After aligning the M pixels selected from the L 2 pixels of the reconstructed high resolution image and the center pixel coordinates of the 2-D Gaussian model (S520), the M pixels selected from the L 2 pixels of the reconstructed high resolution image Pixel values of the 2-D Gaussian model are added to the pixels and adjacent pixels adjacent thereto (S530).

여기서, 픽셀 좌표가 일치하도록 정렬을 하기 위해서는 신호 송신 장치(110)에서 선정된 참조정보에 대응하는 참조픽셀들의 좌표 정보를 신호 수신 장치(120)에서 알아야 하고, 이를 위해, 신호 송신 장치(110)에서 신호 수신 장치(120)에게 좌표 정보를 전송할 수 있다. 예컨대, 정렬을 위해 송신단인 신호 송신 장치(110)에서 M×2log2L 비트만큼의 오버헤드(overhead)를 통해 참조픽셀에 대한 좌표 정보를 수신단인 신호 수신 장치(120)로 전송할 수 있다.Here, in order to align the pixel coordinates, the signal receiving apparatus 120 needs to know the coordinate information of the reference pixels corresponding to the reference information selected by the signal transmitting apparatus 110. For this purpose, The coordinate information can be transmitted to the signal receiving apparatus 120 at the same time. For example, the signal transmitting apparatus 110, which is a transmitting end, may transmit coordinate information on the reference pixel to the receiving signal receiving apparatus 120 through an overhead of M × 2 log 2 L bits.

또는, 픽셀 좌표 정렬을 위하여 좌표 정보를 전송하지 않고 송신단인 신호 송신 장치(110)와 수신단인 신호 수신 장치(120)가 좌표 정보를 공유할 수도 있다. 이를 위해서는 앞서 설명한 단계 S230에서 참조정보를 생성할 때에 다음과 같은 처리를 통해 참조정보를 생성하게 된다.Alternatively, coordinate information may be shared between the signal transmitting apparatus 110, which is a transmitting terminal, and the signal receiving apparatus 120, which is a receiving terminal, without transmitting coordinate information for pixel coordinate alignment. To this end, the reference information is generated through the following process when the reference information is generated in the above-described step S230.

신호 송신 장치(110)에서 수행되는 제 1 프로세스에 의해 참조정보를 생성할 때에, 저해상도 영상을 α배로 다운 샘플링하여 초저해상도 영상을 생성하고(S610), 학습기반의 고해상도 추정 기법을 통해 초저해상도 영상으로부터 저해상도 영상을 복원한다(S620).When generating the reference information by the first process performed by the signal transmitting apparatus 110, the low-resolution image is down-sampled by a factor of? To generate an ultra-low resolution image (S610) Resolution image (S620).

그리고, 다운 샘플링하기 전의 저해상도 영상으로부터 복원된 저해상도 영상을 차감한다(S630).Then, the low-resolution image reconstructed from the low-resolution image before downsampling is subtracted (S630).

이어서, 다운 샘플링하기 전의 저해상도 영상의 해상도를 (L/α)×(L/α)라고 할 때, 차감 후의 잔여 저해상도 영상의 L2개 픽셀 중에서 값이 큰 상위 M개의 픽셀을 예비참조픽셀로서 선택한다(S640).Next, when the resolution of the low-resolution image before down-sampling is (L /?) X (L /?), The upper M pixels having the largest value among the L 2 pixels of the residual low- (S640).

그리고, 참조정보를 생성할 때에, 단계 S420처럼 원본 고해상도 영상에서 복원된 고해상도 영상을 픽셀별로 차감한 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 값이 큰 상위의 M번째 픽셀까지를 참조픽셀로 선택하지 않고, 차감한 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 예비참조픽셀에 대응되는 좌표를 가진 M개의 픽셀들을 참조픽셀로서 선택하며, 선택된 참조픽셀에 대해 그 픽셀값들을 기 약속된 순서(예컨대, 크기 순서)대로 수신단인 신호 수신 장치(120)에게 전송하게 된다(S650).When the reference information is generated, the reference pixel is selected from among the L 2 pixels of the residual high-resolution image obtained by subtracting the high-resolution image reconstructed from the original high-resolution image by the pixel, And selects, as reference pixels, M pixels having coordinates corresponding to the preliminary reference pixels out of the L 2 pixels of the residual high-resolution image after the subtraction, and for the selected reference pixels, (Step S650).

아울러, 수신단인 신호 수신 장치(120)에서 앞서 설명한 바와 같이 단계 S330에서 영상 보정을 위해 픽셀 좌표를 정렬할 때에, 다음과 같은 처리를 통해 픽셀 좌표 정보를 획득하게 된다.As described above, when the pixel coordinates are aligned for image correction in step S330 as described above, the signal receiving apparatus 120, which is a receiving end, obtains pixel coordinate information through the following process.

신호 송신 장치(110)는 단계 S650에서 설명한 바와 같이, 예비참조픽셀에 대응되는 좌표를 가진 M개의 픽셀들을 참조픽셀로서 선택하며, 선택된 참조픽셀에 대해 그 픽셀값들을 크기 순서대로 수신단인 신호 수신 장치(120)에게 전송할 수 있다(S710).As described in step S650, the signal transmitting apparatus 110 selects M pixels having coordinates corresponding to the preliminary reference pixels as reference pixels, and for each selected reference pixel, the signal transmitting apparatus 110 transmits the pixel values to the receiving- (S710).

그러면, 신호 수신 장치(120)에서 수신된 저해상도 영상을 α배로 다운 샘플링하여 초저해상도 영상을 생성하고(S720), 학습기반의 고해상도 추정 기법을 통해 초저해상도 영상으로부터 저해상도 영상을 복원한다(S730).In operation S720, the low-resolution image received from the signal receiving apparatus 120 is down-sampled by α times to generate a low-resolution image in operation S720. The low-resolution image is reconstructed from the ultra-low resolution image in operation S730.

그리고, 수신된 저해상도 영상으로부터 복원된 저해상도 영상을 픽셀별로 차감하고(S740), 차감 후의 잔여 저해상도 영상의 픽셀 중에서 값이 큰 상위 M개의 픽셀에 대한 좌표 정보를 획득하여 정렬에 이용한다(S750).Then, in step S740, the low-resolution image reconstructed from the received low-resolution image is subtracted on a pixel-by-pixel basis (step S740), and coordinate information on the high-order M pixels having the largest value among the pixels of the residual low-resolution image after the subtraction is obtained.

여기서, 전술한 단계 S650처럼 신호 송신 장치(110)와 신호 수신 장치(120)가 픽셀 좌표를 공유하는 알고리듬은 고해상도 추정 기법의 특성에 기인한다. 고해상도 추정은 픽셀간의 강도(intensity) 변화가 급격한 고주파수(high frequency) 부분에서 복원이 잘 안 된다. 따라서 원본 고해상도 영상에서 복원 고해상도 영상을 픽셀별로 차감한 후의 잔여 고해상도 영상에서 큰 차감값을 갖는 픽셀들의 좌표와 저해상도 영상에서 복원 저해상도 영상을 픽셀별로 차감한 후의 잔여 고해상도 영상에서 큰 차감값을 갖는 픽셀들의 좌표 사이에는 강한 상관관계가 존재한다.Here, the algorithm in which the signal transmitting apparatus 110 and the signal receiving apparatus 120 share pixel coordinates as in step S650 described above is attributed to the characteristics of the high resolution estimation technique. The high-resolution estimation is difficult to restore in the high frequency portion where the intensity change between pixels is abrupt. Therefore, the coordinates of the pixels having large difference values in the remaining high-resolution images after subtracting the reconstructed high-resolution images from the original high-resolution images and the coordinates of the pixels having large difference values in the residual high-resolution images after subtracting the reconstructed low- There is a strong correlation between the coordinates.

한편, 다운 샘플링의 인수(factor) α와 저해상도 영상 전송에 할당된 Nlow 비트, 참조정보 전송에 할당된 Nside 비트는 신호 수신 장치(120)에서 최종 복원된 고해상도 영상의 왜곡이 최소가 되도록 최적화 되어야 한다.On the other hand, the factor a of downsampling, the N low bit allocated to the low -resolution image transmission and the N side bit allocated to the reference information transmission are optimized so that the distortion of the final reconstructed high- .

아울러, 신호 송신 장치(110) 및 신호 수신 장치(120)에서 수행하는 고해상도 추정 기법으로는 예컨대, 고해상도 영상과 저해상도 영상의 쌍으로 구성된 훈련세트를 통해 학습이 된 DCN(Deep Convolutional Network)를 사용할 수 있다. 여기서, 고해상도 영상은 원본 영상들을 사용할 수 있지만, 저해상도 영상은 수신단인 신호 수신 장치(120)에 도달한 것과 같은 정도의 왜곡을 가진 저해상도 영상들을 사용해 DCN을 학습시켜야 한다. 무선네트워크 등의 통신망을 통해 수신단에 도달한 저해상도 영상에는 소스코딩에 의한 양자화에러와 네트워크에 의한 채널에러가 포함되어 있다. 따라서 DCN 계수는 저해상도 영상의 특성에 맞추어 학습되어야 한다. 예컨대, 저해상도 영상의 특성은 소스코딩의 소스 레이트(source rate)와 채널코딩의 코드 레이트(code rate) 및 무선네트워크 CSI(Channel State Information)일 수 있다. 즉 먼저 다양한 양자화에러와 채널에러를 가진 저해상도 영상들을 통해 DCN을 학습시키고, 실제 저해상도 영상 전송시에는, 수신단에 도달하는 것과 동일한 정도의 양자화에러와 채널에러를 가진 저해상도 영상들로 학습된 DCN 계수를 사용하여 고해상도 추정을 한다.As a high-resolution estimation technique performed by the signal transmitting apparatus 110 and the signal receiving apparatus 120, for example, a DCN (Deep Convolutional Network) learned through a training set composed of a pair of a high-resolution image and a low- have. Here, the high resolution image can use the original images, but the low resolution image must learn DCN using low resolution images having the same degree of distortion as that of the signal receiving apparatus 120 which is the receiving end. A low-resolution image arriving at a receiving end through a communication network such as a wireless network includes a quantization error due to source coding and a channel error due to a network. Therefore, the DCN coefficients should be learned in accordance with the characteristics of low resolution images. For example, the characteristics of the low-resolution image may be the source rate of the source coding, the code rate of the channel coding, and the wireless network CSI (Channel State Information). In other words, first, DCN is learned through low-resolution images with various quantization errors and channel errors. In actual low-resolution image transmission, DCN coefficients learned from low-resolution images having quantization errors and channel errors equal to those arriving at the receiving end Resolution estimation.

도 9는 본 발명의 실시예에 따른 고해상도 추정 기법을 활용한 영상 신호 전송 시스템의 성능이득의 상한값(upper bound)을 나타낸 그래프이다.9 is a graph illustrating an upper bound of a performance gain of a video signal transmission system using a high resolution estimation technique according to an embodiment of the present invention.

512x512 해상도의 Lena 영상(0.5 bpp) 대신에 128x128 저해상도 영상을 전송하는 경우이다. SPIHT(Set Partitioning In Hierarchical Trees) 프로그레시브 영상 코덱을 사용하였으며, 512x512 해상도 영상을 전송하는 종래 기술(Baseline) 및 본 발명의 시스템 각각에 대해 JSCC(Joint Source-Channel Coding)을 통해 소스코딩 및 채널코딩을 최적화 하였다. 이상적인 고해상도 추정기(방법)를 가정하였으며 별도의 참조정보는 사용되지 않았다. 도 9에서 보듯이 본 발명의 실시예에 따른 영상 신호 전송 시스템을 통해서 얻을 수 있는 성능 이득의 상한치가 종래 기술과 비교할 때에 PSNR 30dB 기준으로 약 6dB에 해당한다.It is a case of transmitting a 128x128 low resolution image instead of a 512x512 resolution Lena image (0.5 bpp). A set partitioning in hierarchical trellis (SPIHT) progressive image codec is used, source coding and channel coding are performed through JSCC (Joint Source-Channel Coding) for each of the systems of the present invention, Respectively. An ideal high-resolution estimator (method) is assumed and no separate reference information is used. As shown in FIG. 9, the upper limit of the performance gain obtained through the video signal transmission system according to the embodiment of the present invention is about 6 dB based on the PSNR of 30 dB compared with the conventional technology.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of the flowchart and each block of the block diagrams appended to the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which may be executed by a processor of a computer or other programmable data processing apparatus, And means for performing the functions described in each step are created. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

100 : 신호 전송 시스템 110 : 신호 송신 장치
111 : 입력부 112 : 제 1 통신부
113 : 제 1 제어부 114 : 제 1 저장부
120 : 신호 수신 장치 121 : 제 2 통신부
122 : 제 2 제어부 123 : 제 2 저장부
124 : 출력부100: signal transmission system 110: signal transmission device
111: input unit 112: first communication unit
113: first control unit 114: first storage unit
120: signal receiving apparatus 121: second communication unit
122: second control unit 123: second storage unit
124:

Claims (15)

삭제delete 신호 송신 장치에 의해 수행되는 신호 송신 방법으로서,
원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하는 단계와,
학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와,
상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하는 단계와,
상기 저해상도 영상 및 상기 참조정보를 송신하는 단계를 포함하고,
상기 저해상도 영상을 생성할 때에, 상기 원본 고해상도 영상을 α배로 다운 샘플링하고,
상기 원본 고해상도 영상을 송신할 때에 필요한 비트 버짓(bit budget)이 Nb 라고 하면, 상기 저해상도 영상 및 상기 참조정보를 송신할 때의 비트 버짓은 α2Nb 인
신호 송신 방법.A signal transmitting method performed by a signal transmitting apparatus,
Generating a low resolution image by downsampling the original high resolution image;
Reconstructing a high-resolution image from the low-resolution image through image restoration using a learning-based high-resolution estimation technique;
Generating reference information corresponding to a difference value between the original high resolution image and the reconstructed high resolution image;
And transmitting the low resolution image and the reference information,
When generating the low-resolution image, downsampling the original high-resolution image to?
Assuming that a bit budget necessary for transmitting the original high resolution image is N b , the bit budget at the time of transmitting the low resolution image and the reference information is α 2 N b
/ RTI > 삭제delete 신호 송신 장치에 의해 수행되는 신호 송신 방법으로서,
원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하는 단계와,
학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와,
상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하는 단계와,
상기 저해상도 영상 및 상기 참조정보를 송신하는 단계를 포함하고,
상기 참조정보를 생성하는 단계는,
상기 원본 고해상도 영상으로부터 상기 복원된 고해상도 영상을 픽셀별로 차감하는 단계와,
상기 원본 고해상도 영상의 해상도를 L×L라고 할 때, 상기 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 M개의 픽셀을 참조픽셀로서 선택하여 해당 픽셀값을 상기 참조정보로서 생성하는 단계를 포함하며,
상기 참조픽셀은, 상기 차감된 고해상도 영상의 L2개 픽셀 중에서 값이 큰 상위의 M번째 픽셀까지 선택된 것인
신호 송신 방법.A signal transmitting method performed by a signal transmitting apparatus,
Generating a low resolution image by downsampling the original high resolution image;
Reconstructing a high-resolution image from the low-resolution image through image restoration using a learning-based high-resolution estimation technique;
Generating reference information corresponding to a difference value between the original high resolution image and the reconstructed high resolution image;
And transmitting the low resolution image and the reference information,
Wherein the step of generating the reference information comprises:
Subtracting the reconstructed high resolution image from the original high resolution image for each pixel,
Selecting M pixels out of L 2 pixels of the residual high resolution image as the reference pixels and generating the corresponding pixel values as the reference information when the resolution of the original high resolution image is L x L,
Wherein the reference pixel is selected up to the Mth uppermost pixel among the L 2 pixels of the subtracted high resolution image,
/ RTI > 신호 송신 장치에 의해 수행되는 신호 송신 방법으로서,
원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하는 단계와,
학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와,
상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하는 단계와,
상기 저해상도 영상 및 상기 참조정보를 송신하는 단계를 포함하고,
상기 참조정보를 생성하는 단계는,
상기 원본 고해상도 영상으로부터 상기 복원된 고해상도 영상을 픽셀별로 차감하는 단계와,
상기 원본 고해상도 영상의 해상도를 L×L라고 할 때, 상기 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 M개의 픽셀을 참조픽셀로서 선택하여 해당 픽셀값을 상기 참조정보로서 생성하는 단계를 포함하며,
상기 참조정보로서 생성된 M개의 픽셀값을 Nq 비트로 양자화하고, 양자화된 M개의 픽셀값을 채널코딩을 하되, 채널코드의 총 패리티 비트의 수를 Np라 하고, 상기 참조정보의 전송에 할당된 비트 수를 Nside라 할 때에, Nside = MNq + Np의 관계가 성립되는
신호 송신 방법.A signal transmitting method performed by a signal transmitting apparatus,
Generating a low resolution image by downsampling the original high resolution image;
Reconstructing a high-resolution image from the low-resolution image through image restoration using a learning-based high-resolution estimation technique;
Generating reference information corresponding to a difference value between the original high resolution image and the reconstructed high resolution image;
And transmitting the low resolution image and the reference information,
Wherein the step of generating the reference information comprises:
Subtracting the reconstructed high resolution image from the original high resolution image for each pixel,
Selecting M pixels out of L 2 pixels of the residual high resolution image as the reference pixels and generating the corresponding pixel values as the reference information when the resolution of the original high resolution image is L x L,
The M number of pixel values generated as the reference information is quantized to N q bits, the quantized M number of pixel values are channel-coded, the total number of parity bits of the channel code is N p , N side , the relationship of N side = MN q + N p is established
/ RTI > 신호 송신 장치에 의해 수행되는 신호 송신 방법으로서,
원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하는 단계와,
학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와,
상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하는 단계와,
상기 저해상도 영상 및 상기 참조정보를 송신하는 단계를 포함하고,
상기 참조정보를 생성하는 단계는,
상기 저해상도 영상을 α배로 다운 샘플링하여 초저해상도 영상을 생성하는 단계와,
상기 학습기반의 고해상도 추정 기법을 통해 상기 초저해상도 영상으로부터 저해상도 영상을 복원하는 단계와,
상기 다운 샘플링하기 전의 저해상도 영상으로부터 상기 복원된 저해상도 영상을 차감하는 단계와,
상기 다운 샘플링하기 전의 저해상도 영상의 해상도를 (L/α)×(L/α)라고 할 때, 상기 차감 후의 잔여 저해상도 영상의 L2개 픽셀 중에서 값이 큰 상위 M개의 픽셀을 예비참조픽셀로서 선택하는 단계와,
상기 원본 고해상도 영상으로부터 상기 복원된 고해상도 영상을 픽셀별로 차감하는 단계와,
상기 원본 고해상도 영상의 해상도를 L×L라고 할 때, 상기 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 상기 예비참조픽셀에 대응되는 좌표를 가진 M개의 픽셀들을 참조픽셀로서 선택하여 해당 픽셀값을 상기 참조정보로서 생성하는 단계를 포함하는
신호 송신 방법.A signal transmitting method performed by a signal transmitting apparatus,
Generating a low resolution image by downsampling the original high resolution image;
Reconstructing a high-resolution image from the low-resolution image through image restoration using a learning-based high-resolution estimation technique;
Generating reference information corresponding to a difference value between the original high resolution image and the reconstructed high resolution image;
And transmitting the low resolution image and the reference information,
Wherein the step of generating the reference information comprises:
Generating an ultra-low resolution image by down-sampling the low resolution image by?
Reconstructing the low resolution image from the ultra low resolution image through the learning based high resolution estimation technique;
Subtracting the reconstructed low resolution image from the low resolution image before the downsampling;
When the resolution of the low resolution image before downsampling is (L /?) X (L /?), The upper M pixels having the largest value among the L 2 pixels of the residual low resolution image after the subtraction are selected as the preliminary reference pixels , ≪ / RTI &
Subtracting the reconstructed high resolution image from the original high resolution image for each pixel,
And selecting the M pixels having the coordinates corresponding to the preliminary reference pixel among the L 2 pixels of the residual high resolution image after the subtraction as reference pixels, As reference information,
/ RTI > 삭제delete 신호 수신 장치에 의해 수행되는 신호 수신 방법으로서,
원본 고해상도 영상이 다운 샘플링되어 생성된 저해상도 영상 및 참조정보-
신호 송신 장치에서 학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원한 후에 상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하게 생성함-를 수신하는 단계와,
상기 학습기반의 고해상도 추정 기법을 통해 상기 수신된 저해상도 영상으로부터 고해상도 영상을 복원하는 단계와,
상기 복원된 고해상도 영상을 상기 참조정보를 이용하여 보정하는 단계를 더 포함하고,
상기 신호 송신 장치에서 상기 참조정보를 생성할 때에, 상기 원본 고해상도 영상으로부터 상기 복원된 고해상도 영상을 픽셀별로 차감하고, 상기 원본 고해상도 영상의 해상도를 L×L라고 할 때, 상기 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 M개의 픽셀을 참조픽셀로서 선택하여 해당 픽셀값을 상기 참조정보로서 생성하며,
상기 복원된 고해상도 영상을 보정하는 단계는,
상기 M개의 픽셀 각각에 대해서 2-D 가우시안 모델을 사용하여 인접 픽셀들로 범위를 확장시키는 단계와,
상기 복원된 고해상도 영상의 L2개 픽셀 중에서 선택된 M개의 픽셀과 상기 2-D 가우시안 모델의 중심부 픽셀 좌표를 일치시키는 정렬을 한 후, 상기 복원된 고해상도 영상의 L2개 픽셀 중에서 선택된 M개의 픽셀과 그 주변 인접 픽셀들에 상기 2-D 가우시안 모델의 픽셀값들을 더하는 단계를 포함하는
신호 수신 방법.A signal receiving method performed by a signal receiving apparatus,
Resolution image and reference information generated by downsampling the original high-
Reconstructing a high-resolution image from the low-resolution image through image reconstruction using a learning-based high-resolution estimation technique in the signal transmission apparatus, and generating the original high-resolution image corresponding to the difference between the original high-resolution image and the reconstructed high- ,
Reconstructing the high resolution image from the received low resolution image through the learning based high resolution estimation technique;
Further comprising the step of correcting the reconstructed high resolution image using the reference information,
Wherein when the reference information is generated by the signal transmission apparatus, the reconstructed high-resolution image is subtracted from the original high-resolution image for each pixel, and the resolution of the original high-resolution image is LxL, Selects M pixels among the L 2 pixels as reference pixels, and generates corresponding pixel values as the reference information,
Wherein the step of correcting the reconstructed high-
Expanding the range to adjacent pixels using a 2-D Gaussian model for each of the M pixels;
After arranging the M pixels selected from the L 2 pixels of the reconstructed high resolution image and the center pixel coordinates of the 2-D Gaussian model to match, M pixels selected from the L 2 pixels of the reconstructed high resolution image, Adding the pixel values of the 2-D Gaussian model to neighboring neighboring pixels
Signal receiving method. 제 8 항에 있어서,
상기 2-D 가우시안 모델을 사용하여 상기 M개의 픽셀 각각을 중심 픽셀로 삼고, 상기 중심 픽셀을 마름모 형상으로 둘러싸는 K개의 상기 인접 픽셀들까지 범위를 확장하는
신호 수신 방법.9. The method of claim 8,
Using the 2-D Gaussian model as a center pixel for each of the M pixels and extending the range to K adjacent pixels surrounding the center pixel in a rhombic shape
Signal receiving method. 제 9 항에 있어서,
상기 중심 픽셀의 픽셀값을 A라 하고, 상기 중심 픽셀의 상하좌우 방향에 최상위로 근접 위치한 4개 픽셀의 픽셀값을 B라 하며, 상기 중심 픽셀의 대각선 방향에 최상위로 근접 위치한 4개 픽셀의 픽셀값을 C라 하고, 상기 중심 픽셀의 상하좌우 방향에 차상위로 근접 위치한 4개의 픽셀값을 D라 할 때에, A > B > C > D의 관계를 가지는
신호 수신 방법.10. The method of claim 9,
A pixel value of the center pixel is A and a pixel value of four pixels located nearest to the top, bottom, left, and right directions of the center pixel is B, and a pixel value of four pixels located nearest to the diagonal direction of the center pixel A value of C is defined as D and a value of four pixels located at the next highest position in the up, down, left, and right directions of the center pixel is D,
Signal receiving method. 제 8 항에 있어서,
상기 정렬을 위해 상기 신호 송신 장치에서 M×2log2L 비트만큼의 오버헤드(overhead)를 통해 상기 참조픽셀에 대한 좌표 정보를 상기 신호 수신 장치로 전송하는
신호 수신 방법.9. The method of claim 8,
And transmits the coordinate information for the reference pixel to the signal receiving apparatus through the M × 2 log 2 L bit overhead in the signal transmitting apparatus for the alignment
Signal receiving method. 제 8 항에 있어서,
상기 정렬을 위해 상기 신호 송신 장치와 상기 신호 수신 장치는 상기 참조픽셀에 대한 좌표 정보를 전송 과정이 없이 공유하는
신호 수신 방법.9. The method of claim 8,
For the alignment, the signal transmitting apparatus and the signal receiving apparatus share the coordinate information for the reference pixel without transmission
Signal receiving method. 제 12 항에 있어서,
상기 신호 송신 장치에서, 상기 저해상도 영상을 α배로 다운 샘플링하여 초저해상도 영상을 생성하고, 상기 학습기반의 고해상도 추정 기법을 통해 상기 초저해상도 영상으로부터 저해상도 영상을 복원하며, 상기 다운 샘플링하기 전의 저해상도 영상으로부터 상기 복원된 저해상도 영상을 차감하고, 상기 다운 샘플링하기 전의 저해상도 영상의 해상도를 (L/α)×(L/α)라고 할 때, 상기 차감 후의 잔여 저해상도 영상의 L2개 픽셀 중에서 값이 큰 상위 M개의 픽셀을 예비참조픽셀로서 선택하며, 상기 차감 후의 잔여 고해상도 영상의 L2개 픽셀 중에서 상기 예비참조픽셀에 대응되는 좌표를 가진 M개의 픽셀들을 상기 참조픽셀로서 선택한 후에 크기 순서대로 픽셀값들을 송신하고,
상기 신호 수신 방법은,
상기 수신된 저해상도 영상을 α배로 다운 샘플링하여 초저해상도 영상을 생성하는 단계와,
상기 학습기반의 고해상도 추정 기법을 통해 상기 초저해상도 영상으로부터 저해상도 영상을 복원하는 단계와,
상기 수신된 저해상도 영상으로부터 상기 복원된 저해상도 영상을 픽셀별로 차감하는 단계와,
상기 차감 후의 잔여 저해상도 영상의 픽셀 중에서 값이 큰 상위 M개의 픽셀에 대한 좌표 정보를 획득하여 상기 정렬에 이용하는 단계를 더 포함하는
신호 수신 방법.13. The method of claim 12,
In the signal transmission apparatus, a low-resolution image is generated by down-sampling the low-resolution image by?, And a low-resolution image is reconstructed from the ultra-low resolution image through the learning-based high-resolution estimation technique. the net of the reconstructed low-resolution images, and the resolution of the low-resolution image before the down-sampling (L / α) × (L / α) referred to time, the higher is a value from L 2 pixels of the remaining low-resolution image after the subtraction Selecting M pixels as the preliminary reference pixels, selecting M pixels having coordinates corresponding to the preliminary reference pixel among the L 2 pixels of the residual high-resolution image after the subtraction as the reference pixels, and,
The signal receiving method includes:
Generating a super low resolution image by downsampling the received low resolution image by?
Reconstructing the low resolution image from the ultra low resolution image through the learning based high resolution estimation technique;
Subtracting the reconstructed low resolution image from the received low resolution image for each pixel;
Acquiring coordinate information for the upper M pixels having a larger value among the pixels of the residual low-resolution image after the subtraction and using the obtained coordinate information for the alignment
Signal receiving method. 신호 송신 장치로서,
제 1 통신부와,
제 1 제어부를 포함하되,
상기 제 1 제어부는,
원본 고해상도 영상을 다운 샘플링하여 저해상도 영상을 생성하고,
학습기반의 고해상도 추정 기법을 이용한 영상 복원을 통해 상기 저해상도 영상으로부터 고해상도 영상을 복원하며,
상기 원본 고해상도 영상과 상기 복원된 고해상도 영상의 차이값에 대응하는 참조정보를 생성하고,
상기 저해상도 영상 및 상기 참조정보를 신호 수신 장치로 송신하도록 상기 제 1 통신부를 제어하며,
상기 저해상도 영상을 생성할 때에, 상기 원본 고해상도 영상을 α배로 다운 샘플링하고,
상기 원본 고해상도 영상을 송신할 때에 필요한 비트 버짓(bit budget)이 Nb 라고 하면, 상기 저해상도 영상 및 상기 참조정보를 송신할 때의 비트 버짓은 α2Nb 인
신호 송신 장치.A signal transmitting apparatus comprising:
A first communication unit,
A first control unit,
Wherein the first control unit includes:
A low resolution image is generated by downsampling the original high resolution image,
Reconstructing a high-resolution image from the low-resolution image through image restoration using a learning-based high-resolution estimation technique,
Generates reference information corresponding to a difference value between the original high-resolution image and the reconstructed high-resolution image,
Controls the first communication unit to transmit the low-resolution image and the reference information to the signal receiving apparatus,
When generating the low-resolution image, downsampling the original high-resolution image to?
Assuming that a bit budget necessary for transmitting the original high resolution image is N b , the bit budget at the time of transmitting the low resolution image and the reference information is α 2 N b
Signal transmission device. 제 14 항의 신호 송신 장치 및 상기 신호 수신 장치를 포함하는 신호 전송 시스템으로서,
상기 신호 수신 장치는,
제 2 통신부와,
제 2 제어부를 포함하되,
상기 제 2 제어부는,
상기 저해상도 영상 및 상기 참조정보를 수신하도록 상기 제 2 통신부를 제어하고,
상기 학습기반의 고해상도 추정 기법을 통해 상기 수신된 저해상도 영상으로부터 고해상도 영상을 복원하며,
상기 복원된 고해상도 영상을 상기 참조정보를 이용하여 보정하는
신호 전송 시스템.A signal transmission system comprising the signal transmission apparatus of claim 14 and the signal reception apparatus,
The signal receiving apparatus comprises:
A second communication unit,
And a second control unit,
Wherein the second control unit comprises:
Controls the second communication unit to receive the low-resolution image and the reference information,
Resolution image from the received low-resolution image through the learning-based high-resolution estimation technique,
And reconstructs the reconstructed high-resolution image using the reference information
Signal transmission system.
KR1020170068941A 2017-03-30 2017-06-02 transmission of images based on techniques estimating high resolution KR101885855B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170041018 2017-03-30
KR1020170041018 2017-03-30

Publications (1)

Publication Number Publication Date
KR101885855B1 true KR101885855B1 (en) 2018-08-07

Family

ID=63251958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170068941A KR101885855B1 (en) 2017-03-30 2017-06-02 transmission of images based on techniques estimating high resolution

Country Status (1)

Country Link
KR (1) KR101885855B1 (en)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126185A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020080698A1 (en) * 2018-10-19 2020-04-23 삼성전자 주식회사 Method and device for evaluating subjective quality of video
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
WO2020080751A1 (en) * 2018-10-19 2020-04-23 삼성전자 주식회사 Encoding method and apparatus thereof, and decoding method and apparatus thereof
WO2020080709A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2020080665A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080765A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR20200044661A (en) * 2018-10-19 2020-04-29 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
KR20200044666A (en) * 2018-10-19 2020-04-29 삼성전자주식회사 Method and apparatus for streaming data
KR20200044665A (en) * 2018-10-19 2020-04-29 삼성전자주식회사 Method and Apparatus for video encoding and Method and Apparatus for video decoding
KR20200067114A (en) * 2018-12-03 2020-06-11 주식회사 리메드 Apparatus for transmitting image
KR20200067113A (en) * 2018-12-03 2020-06-11 단국대학교 산학협력단 Apparatus for transmitting image
KR20200095589A (en) 2019-01-18 2020-08-11 한국항공대학교산학협력단 Advanced system and method for video compression
US10817987B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10825204B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2020242221A1 (en) * 2019-05-31 2020-12-03 동국대학교 산학협력단 Method and device for generating high resolution video using operation information
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
CN112740687A (en) * 2018-10-19 2021-04-30 三星电子株式会社 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
KR20210050186A (en) * 2019-10-28 2021-05-07 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
KR20210050962A (en) * 2019-10-29 2021-05-10 삼성전자주식회사 Method and Apparatus for video encoding and Method and Apparatus for video decoding
WO2021091178A1 (en) * 2019-11-08 2021-05-14 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding apparatus and operating method thereof and ai decoding apparatus and operating method thereof
CN112840650A (en) * 2018-10-19 2021-05-25 三星电子株式会社 Artificial Intelligence (AI) encoding apparatus and operating method thereof, and AI decoding apparatus and operating method thereof
KR102287942B1 (en) * 2020-02-24 2021-08-09 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image using pre-processing
KR20210111420A (en) * 2020-03-03 2021-09-13 에스케이텔레콤 주식회사 System and Method for Media Processing Based on Deep Learning
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US11200639B1 (en) 2020-06-11 2021-12-14 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231367A (en) * 2011-04-27 2012-11-22 Fujifilm Corp Image compression device, image decompression device, method, and program
KR20170047489A (en) 2015-10-23 2017-05-08 삼성전자주식회사 Apparatus for Processing Images, Method for Processing Images, and Computer Readable Recording Medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231367A (en) * 2011-04-27 2012-11-22 Fujifilm Corp Image compression device, image decompression device, method, and program
KR20170047489A (en) 2015-10-23 2017-05-08 삼성전자주식회사 Apparatus for Processing Images, Method for Processing Images, and Computer Readable Recording Medium

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US11663747B2 (en) 2018-10-19 2023-05-30 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR20200044661A (en) * 2018-10-19 2020-04-29 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
WO2020080782A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020080709A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2020080665A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080765A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11200702B2 (en) 2018-10-19 2021-12-14 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
KR20200044666A (en) * 2018-10-19 2020-04-29 삼성전자주식회사 Method and apparatus for streaming data
KR20200044665A (en) * 2018-10-19 2020-04-29 삼성전자주식회사 Method and Apparatus for video encoding and Method and Apparatus for video decoding
WO2020080698A1 (en) * 2018-10-19 2020-04-23 삼성전자 주식회사 Method and device for evaluating subjective quality of video
US11190782B2 (en) 2018-10-19 2021-11-30 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
KR102525577B1 (en) * 2018-10-19 2023-04-26 삼성전자주식회사 Method and apparatus for streaming data
US10817987B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10817986B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10817988B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10817985B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10817989B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10819992B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US10832447B2 (en) 2018-10-19 2020-11-10 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US10825139B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825203B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825206B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825204B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US10825205B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10819993B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
WO2020080751A1 (en) * 2018-10-19 2020-04-23 삼성전자 주식회사 Encoding method and apparatus thereof, and decoding method and apparatus thereof
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
US10937197B2 (en) 2018-10-19 2021-03-02 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10950009B2 (en) 2018-10-19 2021-03-16 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
CN112740687A (en) * 2018-10-19 2021-04-30 三星电子株式会社 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
CN112840650B (en) * 2018-10-19 2024-04-30 三星电子株式会社 Artificial Intelligence (AI) encoding apparatus and operating method thereof, and AI decoding apparatus and operating method thereof
US11748847B2 (en) 2018-10-19 2023-09-05 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
CN112840650A (en) * 2018-10-19 2021-05-25 三星电子株式会社 Artificial Intelligence (AI) encoding apparatus and operating method thereof, and AI decoding apparatus and operating method thereof
US20200126185A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
US20210358083A1 (en) 2018-10-19 2021-11-18 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11688038B2 (en) 2018-10-19 2023-06-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11288770B2 (en) 2018-10-19 2022-03-29 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11647210B2 (en) 2018-10-19 2023-05-09 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
KR102525576B1 (en) * 2018-10-19 2023-04-26 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
KR102525578B1 (en) * 2018-10-19 2023-04-26 삼성전자주식회사 Method and Apparatus for video encoding and Method and Apparatus for video decoding
US11170472B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11170473B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11170534B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102273113B1 (en) * 2018-12-03 2021-07-06 단국대학교 산학협력단 Apparatus for transmitting image
KR20200067113A (en) * 2018-12-03 2020-06-11 단국대학교 산학협력단 Apparatus for transmitting image
KR20200067114A (en) * 2018-12-03 2020-06-11 주식회사 리메드 Apparatus for transmitting image
KR102195669B1 (en) 2018-12-03 2020-12-28 주식회사 리메드 Apparatus for transmitting image
KR20200095589A (en) 2019-01-18 2020-08-11 한국항공대학교산학협력단 Advanced system and method for video compression
WO2020242221A1 (en) * 2019-05-31 2020-12-03 동국대학교 산학협력단 Method and device for generating high resolution video using operation information
WO2021086016A3 (en) * 2019-10-28 2021-07-01 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence (ai) encoding and ai decoding on image
KR102287947B1 (en) * 2019-10-28 2021-08-09 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
US11610341B2 (en) 2019-10-28 2023-03-21 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence (AI) encoding and AI decoding on image
KR20210050186A (en) * 2019-10-28 2021-05-07 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
US11810332B2 (en) 2019-10-28 2023-11-07 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence (AI) encoding and AI decoding on image
US11164340B2 (en) 2019-10-28 2021-11-02 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence (AI) encoding and AI decoding on image
US11395001B2 (en) 2019-10-29 2022-07-19 Samsung Electronics Co., Ltd. Image encoding and decoding methods and apparatuses using artificial intelligence
US11405637B2 (en) 2019-10-29 2022-08-02 Samsung Electronics Co., Ltd. Image encoding method and apparatus and image decoding method and apparatus
KR102436512B1 (en) * 2019-10-29 2022-08-25 삼성전자주식회사 Method and Apparatus for video encoding and Method and Apparatus for video decoding
KR20210050962A (en) * 2019-10-29 2021-05-10 삼성전자주식회사 Method and Apparatus for video encoding and Method and Apparatus for video decoding
WO2021091178A1 (en) * 2019-11-08 2021-05-14 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding apparatus and operating method thereof and ai decoding apparatus and operating method thereof
US11720998B2 (en) 2019-11-08 2023-08-08 Samsung Electronics Co., Ltd. Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof
KR102287942B1 (en) * 2020-02-24 2021-08-09 삼성전자주식회사 Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image using pre-processing
WO2021172834A1 (en) * 2020-02-24 2021-09-02 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image by using pre-processing
US11182876B2 (en) 2020-02-24 2021-11-23 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image by using pre-processing
KR20210111420A (en) * 2020-03-03 2021-09-13 에스케이텔레콤 주식회사 System and Method for Media Processing Based on Deep Learning
KR102618646B1 (en) * 2020-03-03 2023-12-27 에스케이텔레콤 주식회사 System and Method for Media Processing Based on Deep Learning
WO2021251611A1 (en) * 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
US11200639B1 (en) 2020-06-11 2021-12-14 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network

Similar Documents

Publication Publication Date Title
KR101885855B1 (en) transmission of images based on techniques estimating high resolution
US10992943B2 (en) Data processing apparatuses, methods, computer programs and computer-readable media
CN111492660B (en) Video codec data recovery techniques for lossy wireless links
US20130266078A1 (en) Method and device for correlation channel estimation
US9438849B2 (en) Systems and methods for transmitting video frames
CN110636312B (en) Video encoding and decoding method and device and storage medium
CN104333762A (en) Video decoding method
JP2001500346A (en) Data coding system
US5600374A (en) Image encoding/decoding apparatus
CN110677653A (en) Video encoding and decoding method and device and storage medium
JP6195404B2 (en) Processing system, pre-processing device, post-processing device, pre-processing program and post-processing program
US8582640B2 (en) Adaptive joint source channel coding
Akbari et al. Sparse recovery-based error concealment for multiview images
US9049448B2 (en) Bidimensional bit-rate reduction processing
KR20100072722A (en) Appratus for transmitting and receving video data for scalable modulation and demodulation and method for the same
KR102012944B1 (en) Image transmitting and receiving apparatus and controlling method thereof
CN110582022A (en) Video encoding and decoding method and device and storage medium
CN110677721A (en) Video encoding and decoding method and device and storage medium
He et al. Real-Time Neural Video Recovery and Enhancement on Mobile Devices
Takizawa et al. Low-complexity video encoding method for wireless image transmission in capsule endoscope
CN110662060B (en) Video encoding method and apparatus, video decoding method and apparatus, and storage medium
CN110572654B (en) Video encoding and decoding methods and devices, storage medium and electronic device
RU2316908C2 (en) Method for combined usage of vector quantization and fractal encoding of images
CN117176953A (en) Encoding method, decoding method, related equipment and data transmission system
JP6826439B2 (en) Video decoding device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant