KR101979584B1 - 디인터레이싱 방법 및 장치 - Google Patents

디인터레이싱 방법 및 장치 Download PDF

Info

Publication number
KR101979584B1
KR101979584B1 KR1020170155652A KR20170155652A KR101979584B1 KR 101979584 B1 KR101979584 B1 KR 101979584B1 KR 1020170155652 A KR1020170155652 A KR 1020170155652A KR 20170155652 A KR20170155652 A KR 20170155652A KR 101979584 B1 KR101979584 B1 KR 101979584B1
Authority
KR
South Korea
Prior art keywords
interlaced
image
frame image
field
images
Prior art date
Application number
KR1020170155652A
Other languages
English (en)
Inventor
임정연
나태영
김문철
김수예
Original Assignee
에스케이 텔레콤주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사, 한국과학기술원 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020170155652A priority Critical patent/KR101979584B1/ko
Application granted granted Critical
Publication of KR101979584B1 publication Critical patent/KR101979584B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 실시예는 비월주사 영상을 순차주사 영상으로 변환함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 필드 영상의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 고해상도의 순차주사 영상이 생성될 수 있도록 하는 컨볼루션 신경망 기반의 디인터레이싱 방법 및 장치에 관한 것이다.

Description

디인터레이싱 방법 및 장치{Method and Apparatus for Deinterlacing}
본 실시예는 디인터레이싱 방법 및 장치에 관한 것이다. 더욱 상세하게는, 컨볼루션 신경망을 활용하여 비월주사 영상 신호를 동일한 시간 해상도의 순차주사 영상 신호로 변환하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
모바일 단말기, 대형 디스플레이 장치 등과 같이 다양한 디지털 영상 장비들은 각기 다른 표준 포맷을 요구하는 다양한 시공간적 해상도를 이용하여, 영상을 디스플레이하거나 전송한다. 도 1은 종래의 영상 통신에서 사용되는 프로그레시브 영상(Progressive Scanning Video)과 인터레이싱 영상(Interlaced Scanning Video)의 구조를 도시하였다.
도 1의 (a) 및 (b)에 도시하듯이, 프로그레시브(=순차주사) 영상은 지정 해상도의 사이즈에 맞게 전체 픽셀 데이터가 전달되며, 인터레이싱(=비월주사) 영상은 눈의 잔상 효과를 이용하여 절반의 픽셀 데이터만 전달된다. 최근, 하드웨어의 발전으로 인해 IPTV 등의 컨텐츠의 경우 대부분 프로그레시브 기법의 영상을 제공하고 있으나, 방송 소스는 여전히 인터레이싱 영상으로 제공되고 있다.
한편, 인터레이싱 영상은 홀수, 짝수 라인으로 촬영된 영상을 하나로 합치는 디인터레이싱(Deinterlacing) 과정을 거쳐 제공되며, 이 과정에서 필드 간 이격을 줄이기 위해 보간법(ex: 인터필드 방식, 인트라필드 방식)을 이용해 왔다. 하지만, 이러한, 종래의 디인터레이싱 방식에 의하는 경우 출력 영상의 시간 해상도가 줄어들거나, 움직임 보상 과정과 같은 전처리 과정을 필요로 하여 높은 연산 및 구현 복잡도를 유발한다는 문제점이 존재한다.
이에, 디인터레이싱 과정에서 야기되는 복잡도를 감소시키면서도 높은 화질을 갖는 프로그레시브 영상을 생성 가능토록 하는 새로운 기술을 필요로 한다.
본 실시예는, 비월주사 영상을 순차주사 영상으로 변환함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 필드 영상의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 고해상도의 순차주사 영상이 생성될 수 있도록 하는 컨볼루션 신경망 기반의 디인터레이싱 방법 및 장치를 제공하는 데 그 목적이 있다.
본 실시예는, 비월주사 방식의 영상 신호를 순차주사 방식의 영상 신호로 변환하는 디인터레이싱 장치에 있어서, 디인터레이싱 대상이되는 대상 필드 영상을 포함하는 일련의 연속된 비월주사 필드 영상을 수신하고, 상기 각각의 비월주사 필드 영상을 비월주사 프레임 영상으로 변환시켜 출력하는 변환부; 상기 비월주사 프레임 영상을 수신하여 컨볼루션 신경망에 적용하고, 적용결과에 따라 상기 비월주사 필드 영상의 화소값의 변화 특징을 산출하는 학습부; 및 상기 대상 필드 영상에 대응되는 대상 프레임 영상 및 상기 변화 특징을 기반으로 순차주사 프레임 영상을 생성하는 생성부를 포함하는 것을 특징으로 하는 디인터레이싱 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 디인터레이싱 장치의 디인터레이싱 방법에 있어서, 디인터레이싱 대상이되는 대상 필드 영상을 포함하는 일련의 연속된 비월주사 필드 영상을 수신하고, 상기 각각의 비월주사 필드 영상을 비월주사 프레임 영상으로 변환하는 과정; 상기 비월주사 프레임 영상을 컨볼루션 신경망에 적용하고, 적용결과에 따라 상기 비월주사 필드 영상의 화소값의 변화 특징을 산출하는 과정; 및 상기 대상 필드 영상에 대응되는 대상 프레임 영상 및 상기 변화 특징을 기반으로 순차주사 프레임 영상을 생성하는 과정을 포함하는 것을 특징으로 하는 디인터레이싱 방법을 제공한다.
본 실시예에 의하면, 컨볼루션 신경망을 사용해 비월주사 영상을 순차주사 영상으로 변환함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 필드 영상의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 고해상도의 순차주사 영상을 생성 가능한 효과가 있다.
또한, 본 실시예에 의하면, 컨볼루션 신경망을 사용해 비월주사 영상을 순차주사 영상으로 변환함에 있어서 인접된 필드 영상 간의 화소의 정렬이 어긋나지 않도록 사전 보간 과정을 통해 비월주사 필드 영상을 비월주사 프레임 영상으로 변환하고, 이를 컨볼루션 신경망에 적용함으로써 프레임 영상 간 시공간적인 관계가 보다 정확하게 학습될 수 있는 효과가 있다.
도 1은 영상 통신에서 사용되는 영상의 출력 구조를 예시한 예시도이다.
도 2는 본 실시예에 따른 디인터레이싱 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 컨볼루션 신경망의 구조를 나타낸 도면이다.
도 4는 본 실시예에 따른 컨볼루션 신경망을 이용한 디인터레이싱 방법을 설명하기 위한 개념도이다.
도 5는 본 실시예에 따른 디인터레이싱 방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 디인터레이싱 방법의 효과를 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
딥러닝(Deep Learning) 기술의 핵심 계산 모형인 컨볼루션 신경망(CNN: Convolutional Neural Network)은 각각의 뉴런이 인간의 시각 신경계에서 중복 영역의 응답 특성과 유사한 특성을 갖도록 다중 계층으로 배치된 인공신경망의 한 종류이다.
본 실시예의 경우 이러한, 컨볼루션 신경망을 활용한 디인터레이싱 방법에 대한 내용을 개시한다. 보다 자세하게는, 컨볼루션 신경망을 활용하여 비월주사 영상을 순차주사 영상으로 변환함에 있어서 그 복잡도를 감소시키면서도 고해상도의 순차주사 영상이 생성될 수 있도록 하는 방법을 제안한다.
한편, 본 실시예에 있어서 "신경망"이라는 용어는 적응적인(Adaptive) 환경에 도움이 되고 딥러닝에 유용한 통게 학습 알고리즘들을 구현하는 소프트웨어를 나타낼 수 있다. 신경망은 "뉴런(Neuron)들", "처리 요소들", "유닛들", 또는 그 외 다른 유사 용어들로 알려진 복수의 인공 노드(Artificial Node)를 포함할 수 있다. 복수의 인공 노드는 생물학적인 신경망을 모사(Mimic)하는 네트워크를 형성하기 위해 함께 연결될 수 있다.
도 2는 본 실시예에 따른 디인터레이싱 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 디인터레이싱 장치(200)는 통신부(210), 변환부(220), 학습부(230) 및 생성부(240)를 포함한다. 이때, 본 실시예에 따른 디인터레이싱 장치(200)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다.
통신부(210)는 디인터레이싱을 수행하는 과정에서 필요한 정보들을 송수신하는 장치를 의미한다. 이러한, 통신부(210)는 실시예에 따라 변환부(220)의 구성요소로서 포함되는 형태로 구현될 수 있다.
본 실시예에 따른 통신부(210)는 컨텐츠 제공장치(미도시)와 통신을 수행하고, 컨텐츠 제공장치로부터 디인터레이싱 대상이 되는 대상 필드 영상을 포함하는 일련의 연속된 비월주사 필드 영상을 수신한다.
본 실시예에 있어서, 통신부(210)는 대상 필드 영상을 중심으로 이전 N(N=자연수)개의 필드 영상 및 이후 N개의 필드 영상으로 이루어진 비월주사 필드 영상을 수신할 수 있다. 예컨대, 도 3을 참조하여 설명하자면, 통신부(210)는 대상 필드 영상인 짝수 필드(Even Field) 영상을 중심으로 이전 1개의 홀수 필드(Odd Field) 영상 및 이후 1개의 홀수 필드 영상으로 이루어진 비월주사 필드 영상을 수신할 수 있다.
변환부(220)는 통신부(210)를 통해 수신한 비월주사 필드 영상에 대한 사전 보간 절차를 수행하는 장치를 의미한다.
본 실시예에 있어서, 변환부(220)는 통신부(210)를 통해 수신한 일련의 연속된 비월주사 필드 영상을 간단한 보간 방법(ex: Bi-Cubic)을 통해 보간하고, 이를 통해, 각각의 비월주사 영상을 비월주사 프레임 영상으로 변환하여 제공한다.
보다 자세하게는, 변환부(220)는 인접한 비월주사 필드 영상 간 화소의 정렬이 어긋나지 않도록 각각의 비월주사 필드 영상을 지정된 크기에 맞게 세로 방향으로 보간함으로써 비월주사 프레임 영상을 생성할 수 있다. 이때, 지정된 크기는 본 실시예에 따른 디인터레이싱 방법을 통해 생성하고자 하는 순차주사 영상의 크기에 따라 다양한 크기가 설정될 수 있다.
변환부(220)는 사전 보간 절차를 통해 생성된 비월주사 프레임 영상을 학습부(230)의 입력으로서 제공한다. 한편, 본 실시예에 따른 변환부(220)는 사전 보간을 통해 세로 방향으로 보간된 비월주사 프레임 영상을 학습부(230)의 입력으로서 제공함에 따라 이후 학습과정에서 인접 프레임 영상 간 시공간적 관계가 보다 정확하게 학습될 수 있도록 하는 효과가 있다.
학습부(230)는 변환부(220)로부터 제공된 비월주사 프레임 영상을 입력으로 하여 학습절차를 수행하고, 학습 결과에 따라 입력 비월주사 필드 영상의 화소값의 변화 특징을 산출하는 장치를 의미한다.
본 실시예에 따른 학습부(230)는 바람직하게는 컨볼루션 신경망을 구비하고, 구비된 컨볼루션 신경망을 활용하여 비월주사 프레임 영상에 대한 학습절차를 수행할 수 있다. 이러한, 컨볼루션 신경망은 하나 이상의 2-D 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층이 적어도 하나의 필터를 통해 입력 비월주사 필드 영상의 화소값의 변화 특징을 산출토록 하는 구조로 구현될 수 있다.
본 실시예에 따른 학습부(230)는 상기의 화소값의 변화 특징으로서 앞서 변환부(220)를 이용하여 대상 필드 영상을 대상 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 라인에 대한 화소 정보를 산출할 수 있다. 보다 자세하게는, 화소 정보는 해당 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호일 수 있다.
예컨대, 학습부(230)는 대상 프레임 영상이 짝수 필드 영상에 대응되는 프레임 영상인 경우에는 홀수 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호를 결과값으로 출력할 수 있다. 반대로, 학습부(230)는 대상 프레임 영상이 홀수 필드 영상에 대응되는 프레임 영상인 경우에는 짝수 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호를 결과값으로 출력할 수 있다.
한편, 본 실시예에 따른 학습부(230)가 컨볼루션 신경망을 활용하여 상기의 화소값의 변화 특징을 추출하는 구체적인 방법에 대해서는 도 3의 컨볼루션 신경망의 구조를 설명하는 과정에서 후술토록 한다.
생성부(240)는 학습부(230)를 이용하여 산출된 입력 비월주사 필드 영상의 화소값의 변화 특징을 기반으로 최종적인 순차주사 프레임 영상을 생성하는 장치를 의미한다.
본 실시예에 따른 생성부(240)는 상기의 화소값의 변화 특징을 대상 프레임 영상 내 대응되는 화소 라인에 반영함으로써 최종적인 순차주사 프레임 영상이 생성될 수 있도록 한다. 이때, 대응되는 화소 라인은 대상 필드 영상을 대상 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 라인을 의미한다.
예컨대, 대상 프레임 영상이 짝수 필드 영상에 대응되는 프레임 영상인 것으로 예시하여 설명하자면, 본 실시예에 따른 생성부(240)는 학습부(230)로부터 홀수 화소 라인에 대하여 산출된 차분 신호를 수신하게 된다. 이 경우, 생성부(240)는 상기의 차분 신호를 대상 프레임 영상 내 홀수 화소 라인의 화소값에 더함으로써 최종적인 순차주사 프레임 영상이 생성될 수 있도록 한다.
도 3은 본 실시예에 따른 컨볼루션 신경망의 구조를 나타낸 도면이다.
도 3에 도시하듯이, 본 실시예에 따른 컨볼루션 신경망은 제1 내지 제N 컨볼루션 계층으로 이루어지며, 마지막 계층을 제외한 각 컨볼루션 계층에는 ReLU(Rectified Linear Unit)가 후속된다. ReLU는 컨볼루션 신경망 계층이 깊어짐에 따라 정확성이 떨어지는 것을 막기 위해 사용하는 활성화 함수의 일종을 의미한다.
한편, 도 3에서는 컨볼루션 신경망이 복수 개의 컨볼루션 계층만으로 이루어진 것으로 예시하였으나, 이는 본 실시예에 따른 컬볼루션 신경망을 이용한 학습 절차를 보다 명확하게 설명하기 위한 예시에 불과하며 반드시 이에 한정되는 것은 아니다. 예컨대, 컨볼루션 신경망은 그 내부에 학습 절차 수행과 관련하여 많거나 적은 구성요소 또는 상이한 구성요소의 구성(Configuration)을 가질 수 있음을 인식하여야 한다. 예컨대, 컨볼루션 신경망에는 폴링(Pooling) 계층 등이 추가 구비될 수 있다.
이하, 도 3에는 컨볼루션 신경망이 총 5개의 컨볼루션 계층으로 이루어진 것으로 예시하여 설명하도록 한다.
도 3을 참조하면, 본 실시예에 따른 컨볼루션 신경망은 5개의 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층은 입력 프레임을 적어도 하나의 필터를 이용하여 컨볼빙하여 비월주사 필드 영상의 화소값의 변화 특징을 나타내는 적어도 하나의 특징 맵(Feature Map)을 생성한다.
각각의 컨볼루션 계층에 수행되는 컨볼빙 과정에 대해 예시하면 아래와 같다. 한편, 각각의 컨볼루션 계층에서 수행되는 컨볼빙 동작은 종래의 컨볼루션 계층에서 수행되는 컨볼빙 동작과 동일하며 이에 자세한 설명은 생략하도록 한다.
각각의 컨볼루션 계층은 입력 프레임에 하나 이상의 높이(h), 너비(W)의 크기(h×W)를 가지는 2-D 컨볼루션 필터(fs,s=0,.....,s-1, s는 해당 계층 필터의 총 개수)로 2-D 필터링을 수행하여 출력 특징맵을 생성한다. 예컨대, P×Q 크기의 입력 행렬 X와 M×N 크기의 필터 fs에 대한 2-D 필터링을 수식으로 나타내면 수학식 1 내지 3과 같다.
Figure 112017115928828-pat00001
Figure 112017115928828-pat00002
Figure 112017115928828-pat00003
크기가 P×Q×R인 입력 행렬 X에 M×N 크기의 필터 fs에 대한 2-D 필터링을 할 경우 fs는 입력 행렬과 동일한 깊이로 필터링을 하기 때문에 M×N×R 크기를 일컫는다. 이때의 연산을 수식으로 나타내면 수학식 4 내지 6과 같다.
Figure 112017115928828-pat00004
Figure 112017115928828-pat00005
Figure 112017115928828-pat00006
필터 하나당 하나의 특징 맵이 나오므로, 계층별 학습시켜야 하는 필터값 변수의 개수는 h×w×c×n개이고, 이때, h는 필터의 공간적 높이, w는 필터이 공간적 너비, c는 입력 채널 수(또는, 입력 특징맵의 개수), n은 출력 채널 수(또는 출력 특징맵의 개수, 또는 필터의 개수)이다.
본 실시예에 있어서, 제1 컨볼루션 계층은 변환부(220)의 보간 절차에 따라 생성된 비월주사 프레임 영상을 입력 프레임으로 수신하여 최초 특징 맵을 생성하고, 제2 내지 제5 컨볼루션 계층은 선행 컨볼루션 계층으로부터 생성된 특징 맵을 입력 프레임으로 수신하여 새로운 특징 맵을 생성한다. 한편 이러한 복수 개의 컨볼루션 계층을 거쳐 생성되는 특징 맵은 다수의 학습 과정을 거침에 따라 비월주사 필드 영상의 화소값의 변화 특징이 부각되어 나타나게 된다.
본 실시예의 경우 제1 내지 제4 컨볼루션 계층은, 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵(ex: 필터당 하나의 특징 맵)을 생성한다. 이후, 각각의 컨볼루션 계층으로부터 출력되는 복수 개의 특징 맵은 후속 컨볼루션 계층(제2 내지 제5 컨볼루션 계층)에 의해 하나의 그룹으로 조합되고, 조합된 특징 맵은 해당 컨볼루션 계층의 필터를 이용하여 컨볼빙되게 된다.
최종적으로 제5 컨볼루션 계층은, 제4 컨볼루션 계층으로부터 입력 받은 복수 개의 특징 맵을 조합하고, 조합된 특징 맵을 하나의 필터를 이용하여 컨볼빙함으로써 최종 특징 맵을 출력한다. 이때, 최종 특징 맵은 앞서 설명하였듯이, 대상 필드 영상을 대상 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 라인에 대한 화소 정보 예컨대, 해당 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호일 수 있다.
한편, 제5 컨볼루션 계층의 경우 최초 입력되는 비월주사 필드 영상의 크기에 따라 컨볼빙 수행 시의 필터의 이동 간격이 다른 컨볼루션 계층과 상이하게 결정될 수 있다. 예컨대, 본 실시예의 경우 제5 컨볼루션 계층은 최초 입력되는 비월주사 필드 영상의 크기에 따라 필터의 이동 간격이 세로 2칸, 가로 1칸이 되도록 설정되어 1920×540의 크기를 갖는 최종 특징 맵을 출력하게 된다.
도 4는 본 실시예에 따른 컨볼루션 신경망을 이용한 디인터레이싱 방법을 설명하기 위한 개념도이다.
도 4에 도시하듯이, 본 실시예에 따른 컨볼루션 신경망을 이용한 디인터레이싱 방법은 ① 내지 ④의 단계로 이루어진다.
① 디인터레이싱 장치(200)는 컨텐츠 제공장치로부터 디인터레이싱 대상이 되는 대상 필드 영상을 포함하는 일련의 연속된 비월주사 필드 영상을 수신하고, 수신한 비월주사 필드 영상을 세로 방향으로 보간하여 비월주사 프레임 영상으로 변환한다.
②, ③ 디인터레이싱 장치(200)는 단계 ①에서 생성된 비월주사 프레임 영상을 컨볼루션 신경망에 입력하여 학습을 수행하고, 학습 결과에 따라 비월주사 필드 영상의 화소값의 변화 특징을 산출한다. 이때, 비월주사 필드 영상의 화소값의 변화 특징은 대상 필드 영상을 대상 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 라인에 대한 화소 정보 예컨대, 해당 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호일 수 있다.
④ 디인터레이싱 장치(200)는 단계 ③에서 산출한 입력 비월주사 필드 영상의 화소값의 변화 특징을 기반으로 최종적인 순차주사 프레임 영상을 생성한다. 단계 ④에서 디인터레이싱 장치(200)는 단계 ③에서 산출한 상기의 화소값의 변화 특징을 대상 프레임 영상 내 대응되는 화소 라인에 반영함으로써 최종적인 순차주사 프레임 영상이 생성될 수 있도록 한다.
도 5는 본 실시예에 따른 디인터레이싱 방법을 설명하기 위한 순서도이다.
디인터레이싱 장치(200)는 컨텐츠 제공장치로부터 디인터레이싱 대상이되는 대상 필드 영상을 포함하는 일련의 연속된 비월주사 필드 영상을 수신한다(S502).
디인터레이싱 장치(200)는 단계 S502에서 수신한 각각의 비월주사 필드 영상을 비월주사 프레임 영상으로 변환한다(S504). 단계 S504에서 디인터레이싱 장치(200)는 사전 보간 절차를 통해, 인접한 비월주사 필드 영상 간 화소의 정렬이 어긋나지 않도록 각각의 비월주사 필드 영상을 지정된 크기에 맞게 세로 방향으로 보간함으로써 비월주사 프레임 영상을 생성할 수 있다.
디인터레이싱 장치(200)는 단계 S504에서 생성된 비월주사 프레임 영상을 컨볼루션 신경망에 적용하여 비월주사 필드 영상의 화소값의 변화 특징을 산출한다(S506). 본 실시예에 있어서, 컨볼루션 신경망은 하나 이상의 2-D 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층이 적어도 하나의 필터를 통해 입력 비월주사 필드 영상의 화소값의 변화 특징을 산출토록 하는 구조로 구현될 수 있다.
단계 S506에서 디인터레이싱 장치(200)는 상기의 화소값의 변화 특징으로서 대상 필드 영상을 대상 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 라인에 대한 화소 정보를 산출한다. 이때, 화소 정보는 해당 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호일 수 있다.
디인터레이싱 장치(200)는 단계 S504에서 생성한 대상 프레임 영상 및 단계 S506에서 산출한 비월주사 필드 영상의 화소값의 변화 특징을 기반으로 순차주사 프레임 영상을 생성한다(S508). 단계 S508에서 디인터레이싱 장치(200)는 단계 S506에서 산출한 차분 신호를 대상 프레임 영상 내 대응되는 화소 라인에 반영함으로써 최종적인 순차주사 프레임 영상이 생성될 수 있도록 한다.
여기서, 단계 S502 내지 S508은 앞서 설명된 디인터레이싱 장치(200)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 5에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 5에 기재된 패킷 처리 기능 선택방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
도 6은 본 실시예에 따른 디인터레이싱 방법의 효과를 설명하기 위한 예시도이다. 한편, 도 6의 (a)는 본 실시예에 따른 디인터레이싱 방법을 통해 생성된 순차주사 프레임 영상을 예시하였으며, 도 6의 (b)는 해당 영상과 관련한 실측 자료(Ground Truth)를 예시하였다.
도 6의 (a) 내지 (b)를 참조하면, 본 실시예에 따른 디인터레이싱 방법에 의하는 경우 실측 자료와 동일한 수준의 높은 화질을 갖는 순차주사 프레임 영상이 생성되는 것을 확인할 수 있다.
이러한, 본 실시예에 따른 디인터레이싱 방법에 의하는 경우 컨볼루션 신경망을 사용해 비월주사 영상을 순차주사 영상으로 변환함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 필드 영상의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 고해상도의 순차주사 영상을 생성 가능한 효과가 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 디인터레이싱 장치 210: 통신부
220: 변환부 230: 학습부
240: 생성부

Claims (13)

  1. 비월주사 방식의 영상 신호를 순차주사 방식의 영상 신호로 변환하는 디인터레이싱 장치에 있어서,
    디인터레이싱 대상이되는 대상 필드 영상을 중심으로 이전 N(N=자연수)개의 필드 영상 및 이후 N개의 필드 영상으로 이루어진 일련의 연속된 비월주사 필드 영상을 수신하고, 상기 각각의 비월주사 필드 영상을 인접한 비월주사 필드 영상 간 화소의 정렬이 어긋나지 않도록 지정된 크기에 맞게 세로 방향으로 보간하여 비월주사 프레임 영상으로 변환시켜 출력하는 변환부;
    상기 비월주사 프레임 영상을 수신하여 컨볼루션 신경망에 적용하고, 적용결과에 따라 상기 대상 필드 영상을 상기 비월주사 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 화소 라인에 대한 화소 정보를 산출하는 학습부; 및
    상기 대상 필드 영상에 대응되는 대상 프레임 영상 및 상기 화소 정보를 기반으로 순차주사 프레임 영상을 생성하는 생성부
    를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 학습부는, 상기 화소 정보로서 상기 짝수 또는 홀수 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호를 산출하고,
    상기 생성부는, 상기 대상 프레임 영상 내 대응되는 화소 라인에 상기 차분 신호를 적용하여 상기 순차주사 프레임 영상을 생성하는 것을 특징으로 하는 디인터레이싱 장치.
  6. 제 1항에 있어서,
    상기 컨볼루션 신경망은,
    제1 내지 제N 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층은 입력 프레임을 적어도 하나의 필터를 이용하여 컨볼빙하여 상기 비월주사 필드 영상의 화소값의 변화 특징을 나타내는 적어도 하나의 특징 맵을 생성하는 것을 특징으로 하는 디인터레이싱 장치.
  7. 제 6항에 있어서,
    상기 제1 컨볼루션 계층은 상기 비월주사 프레임 영상을 상기 입력 프레임으로 수신하여 최초 특징 맵을 생성하고, 제2 내지 제N 컨볼루션 계층은 선행 컨볼루션 계층으로부터 생성된 특징 맵을 상기 입력 프레임으로서 수신하여 새로운 특징 맵을 생성하는 것을 특징으로 하는 디인터레이싱 장치.
  8. 제 6항에 있어서,
    상기 제1 내지 제N-1 컨볼루션 계층은,
    상기 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵을 생성하는 것을 특징으로 하는 디인터레이싱 장치.
  9. 제 8항에 있어서,
    상기 제2 내지 제N 컨볼루션 계층은,
    선행 컨볼루션 계층으로부터 입력받은 복수 개의 특징 맵을 조합하고, 조합된 특징 맵을 상기 복수 개의 필터를 이용하여 컨볼빙하는 것을 특징으로 하는 디인터레이싱 장치.
  10. 제 6항에 있어서,
    상기 제N 컨볼루션 계층은,
    상기 비월주사 필드 영상의 크기에 따라 상기 컨볼빙 수행 시의 상기 필터의 이동 간격이 상이하게 결정되는 것을 특징으로 하는 디인터레이싱 장치.
  11. 디인터레이싱 장치의 디인터레이싱 방법에 있어서,
    디인터레이싱 대상이되는 대상 필드 영상을 중심으로 이전 N(N=자연수)개의 필드 영상 및 이후 N개의 필드 영상으로 이루어진 일련의 연속된 비월주사 필드 영상을 수신하고, 상기 각각의 비월주사 필드 영상을 인접한 비월주사 필드 영상 간 화소의 정렬이 어긋나지 않도록 지정된 크기에 맞게 세로 방향으로 보간하여 비월주사 프레임 영상으로 변환하는 과정;
    상기 비월주사 프레임 영상을 컨볼루션 신경망에 적용하고, 적용결과에 따라 상기 대상 필드 영상을 상기 비월주사 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 화소 라인에 대한 화소 정보를 산출하는 과정; 및
    상기 대상 필드 영상에 대응되는 대상 프레임 영상 및 상기 화소 정보를 기반으로 순차주사 프레임 영상을 생성하는 과정
    을 포함하는 것을 특징으로 하는 디인터레이싱 방법.
  12. 삭제
  13. 제 11항에 있어서,
    상기 생성하는 과정은, 상기 대상 프레임 영상 내 대응되는 화소 라인에 상기 화소 정보를 적용하여 상기 순차주사 프레임 영상을 생성하는 것을 특징으로 하는 디인터레이싱 방법.
KR1020170155652A 2017-11-21 2017-11-21 디인터레이싱 방법 및 장치 KR101979584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170155652A KR101979584B1 (ko) 2017-11-21 2017-11-21 디인터레이싱 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155652A KR101979584B1 (ko) 2017-11-21 2017-11-21 디인터레이싱 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101979584B1 true KR101979584B1 (ko) 2019-05-17

Family

ID=66677988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155652A KR101979584B1 (ko) 2017-11-21 2017-11-21 디인터레이싱 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101979584B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230065392A1 (en) * 2021-08-27 2023-03-02 Disney Enterprises, Inc. Re-Noising and Neural Network Based Image Enhancement
WO2024082933A1 (zh) * 2022-10-21 2024-04-25 抖音视界有限公司 视频处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000023489A (ko) * 1998-09-29 2000-04-25 이데이 노부유끼 영상신호의 변환장치 및 변환방법, 그리고 그것을 사용한화상표시장치 및 텔레비전 수신기
KR20100073725A (ko) * 2008-12-23 2010-07-01 삼성전자주식회사 영상처리시스템에서의 영상 변환 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000023489A (ko) * 1998-09-29 2000-04-25 이데이 노부유끼 영상신호의 변환장치 및 변환방법, 그리고 그것을 사용한화상표시장치 및 텔레비전 수신기
KR20100073725A (ko) * 2008-12-23 2010-07-01 삼성전자주식회사 영상처리시스템에서의 영상 변환 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Haichao Zhu et al., ‘Real-time Deep video deinterlacing’, arXiv:1708.00187v1 [cs.CV] August 2017.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230065392A1 (en) * 2021-08-27 2023-03-02 Disney Enterprises, Inc. Re-Noising and Neural Network Based Image Enhancement
WO2024082933A1 (zh) * 2022-10-21 2024-04-25 抖音视界有限公司 视频处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
AU602317B2 (en) Method and apparatus for transmitting video data
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
WO1994014278A1 (en) Image signal converter
KR102221225B1 (ko) 영상 화질 개선방법 및 그 장치
EP2528320A1 (en) Image processing device, imaging device, program, and image processing method
CN112750094B (zh) 一种视频处理方法及系统
CN111260560A (zh) 一种融合注意力机制的多帧视频超分辨率方法
KR101979584B1 (ko) 디인터레이싱 방법 및 장치
US8149913B2 (en) Moving picture converting apparatus and method, and computer program
CN115330631A (zh) 一种基于堆叠沙漏网络的多尺度融合去雾方法
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
JPH0795591A (ja) ディジタル画像信号処理装置
CN113012044A (zh) 一种基于深度学习的遥感影像时空融合方法及系统
CN116523743A (zh) 一种基于循环神经网络的游戏超分辨率方法
US8842939B2 (en) Direction-adaptive image upsampling system and method using double interpolation
JP3703034B2 (ja) 画像信号処理方法及び画像信号伝送装置
CN114998405A (zh) 基于图像驱动的数字化人体模型构建方法
KR20220065652A (ko) Dvs 데이터 및 fbis 이미지의 퓨전 방법, 이를 구현하는 시스템 및 비-일시적 프로그램 저장 장치
CN113674154A (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
JP3759538B2 (ja) 画像信号処理方法及び画像信号伝送装置
CN110769242A (zh) 基于时空信息建模的全自动2d视频到3d视频的转换方法
Wu et al. Coprime interpolation and compressive sensing for future heterogeneous network towards 5G
JP2552742B2 (ja) 適応型輪郭補正回路
KR20020068065A (ko) 비디오 스캔 속도 컨버전을 위한 움직임 보상 업컨버전

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant