KR101186143B1 - 프레임 레이트 변환 장치 및 방법 - Google Patents

프레임 레이트 변환 장치 및 방법 Download PDF

Info

Publication number
KR101186143B1
KR101186143B1 KR1020117016839A KR20117016839A KR101186143B1 KR 101186143 B1 KR101186143 B1 KR 101186143B1 KR 1020117016839 A KR1020117016839 A KR 1020117016839A KR 20117016839 A KR20117016839 A KR 20117016839A KR 101186143 B1 KR101186143 B1 KR 101186143B1
Authority
KR
South Korea
Prior art keywords
pixel data
interpolation
correlation
frame
motion vector
Prior art date
Application number
KR1020117016839A
Other languages
English (en)
Other versions
KR20110106390A (ko
Inventor
히로시 노구치
Original Assignee
닛뽕빅터 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛뽕빅터 가부시키가이샤 filed Critical 닛뽕빅터 가부시키가이샤
Publication of KR20110106390A publication Critical patent/KR20110106390A/ko
Application granted granted Critical
Publication of KR101186143B1 publication Critical patent/KR101186143B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

상관 검출부(21, 22)는 2종류의 상관 검출 방법으로 상관을 구한다. 상관 비교부(23, 24)는 최대 상관치를 나타내는 방향의 움직임 벡터(MV1, MV2)와 상관치(DF1, DF2)를 출력한다. 상관 비교부(25)는 상관이 큰 쪽의 움직임 벡터를 움직임 벡터(MV3)로서 선택하고, 보간부(補間部; 3)에 있어서의 보간 방법을 결정하기 위한 보간 제어 신호(FS1)를 출력한다. 보간부(3)는, 보간 제어 신호(FS1)에 따라서 2종류의 편측 보간과 양측 보간의 어느 것인가를 선택하여 보간 화소 데이터(Ｐfp0)를 생성한다.

Description

프레임 레이트 변환 장치 및 방법{FRAME RATE CONVERSION APPARATUS AND METHOD}
본 발명은, 동화상의 움직임 벡터를 이용하여 보간(補間) 화소를 생성하고, 실(實)프레임간에 보간 프레임을 내삽(內揷)하여 프레임 레이트(frame rate)를 변환하는 프레임 레이트 변환 장치 및 방법에 관한 것이다.
액정 패널을 이용한 화상 표시 장치에서 동화상을 표시하면 잔상이 발생하기 쉽다. 그래서, 잔상을 저감시키기 위해, 영상 신호의 실프레임간에 보간 프레임을 내삽하여 프레임수를 증대시켜, 예를 들면 수직 주파수 60Hz의 프레임 레이트를 2배의 120Hz 또는 그 이상의 수직 주파수로 변환하여 화상 표시하는 것이 행해지고 있다. 프레임 레이트 변환을 행하는 영상 신호 처리 장치에 있어서는, 화상의 움직임 벡터(motion vector)를 검출하고, 움직임 벡터를 이용하여 각 보간 화소를 생성하여, 실프레임간에 내삽하는 보간 프레임을 생성한다.
움직임 벡터를 이용하여 보간 화소를 생성하고, 실프레임간에 보간 프레임을 내삽하여 프레임 레이트를 변환하는 움직임 보상형의 프레임 레이트 변환 장치는, 일 예로서 특허문헌 1에 기재되어 있다.
일본공개특허공보 2006-331136호
움직임 보상형의 프레임 레이트 변환 장치에 있어서는, 시간적으로 전후하는 화상으로부터 본래 존재하지 않는 화상을 예측하여 생성하기 때문에, 잘못된 화상을 생성하는, 소위 오(誤)보간이 발생하는 경우가 있다. 일 예로서 공간적으로 앞에 위치하는 전경(前景)의 화상과 공간적으로 뒤에 위치하는 배경(背景)의 화상의 움직임이 상이한 경우에는, 오보간이 발생하기 쉽다. 전경과 배경과의 경계 부근에서는 움직임 벡터의 오검출이 발생하기 쉽고, 오보간에 의해 부자연스럽고 위화감이 있는 보간 화상이 발생해 버린다는 문제점이 있다.
본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 움직임 벡터의 오검출에 기인하는 오보간을 저감시킬 수 있는 프레임 레이트 변환 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명은, 전술한 종래의 기술의 과제를 해결하기 위해, 제1 프레임 상의 화소 데이터로서, 상기 제1 프레임과 상기 제1 프레임보다 과거의 제2 프레임과의 사이에 내삽하는 보간 프레임 상의 보간 화소 데이터와 동일 위치에 있는 제1 화소 데이터와, 상기 제2 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제1 상관 검출부(21)와, 상기 제1 상관 검출부로부터 출력된 상관치 중, 상관이 가장 큰 제1 최대 상관치와, 이 제1 최대 상관치를 나타내는 방향을 제1 움직임 벡터로서 출력하는 제1 상관 비교부(23)와, 상기 제2 프레임 상의 화소 데이터로서, 상기 보간 화소 데이터와 동일 위치에 있는 제2 화소 데이터와, 상기 제1 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제2 상관 검출부(22)와, 상기 제2 상관 검출부로부터 출력된 상관치 중, 상관이 가장 큰 제2 최대 상관치와, 이 제2 최대 상관치를 나타내는 방향을 제2 움직임 벡터로서 출력하는 제2 상관 비교부(24)와, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터 중, 상기 제1 최대 상관치와 상기 제2 최대 상관치 중에서 상관이 큰 쪽의 움직임 벡터를 최종적인 제3 움직임 벡터로서 출력하는 제3 상관 비교부(25)와, 상기 제3 움직임 벡터에 기초하여, 상기 제1 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제3 화소 데이터를 선택하여 출력하는 제1 화소 데이터 선택부(31)와, 상기 제3 움직임 벡터에 기초하여, 상기 제2 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제4 화소 데이터를 선택하여 출력하는 제2 화소 데이터 선택부(32)와, 상기 제3 화소 데이터만을 이용한 편측 보간과, 상기 제4 화소 데이터만을 이용한 편측 보간과, 상기 제3 및 제4 화소 데이터를 이용한 양측 보간의 어느 것인가를 선택하여 상기 보간 화소 데이터를 생성하여 출력하는 보간 화소 데이터 생성부(34)와, 상기 보간 화소 데이터를 이용하여 상기 보간 프레임을 생성하고, 상기 제1 프레임과 상기 제2 프레임과의 사이에 내삽하여 프레임 레이트를 변환하는 프레임 레이트 변환부(4)를 구비하는 것을 특징으로 하는 프레임 레이트 변환 장치를 제공한다.
여기에서, 상기 제3 상관 비교부는, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분(差分)이 소정의 범위 내에 있는 제1 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성부에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고, 상기 보간 화소 데이터 생성부는, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것이 바람직하다.
또한, 상기 제3 상관 비교부는, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분이 소정의 범위 내에 있고, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 제1 문턱값보다 작은 제2 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성부에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고,
상기 보간 화소 데이터 생성부는, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것이 바람직하다.
또한, 상기 제3 상관 비교부는, 상기 제2 조건에 더하여, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 상기 제1 문턱값보다 작은 값인 제2 문턱값보다 작은 제3 조건을 충족시킬 때에도, 상기 보간 화소 데이터 생성부에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하는 것이 바람직하다.
또한, 본 발명은, 전술한 종래의 기술의 과제를 해결하기 위해, 제1 프레임 상의 화소 데이터로서, 상기 제1 프레임과 상기 제1 프레임보다 과거의 제2 프레임과의 사이에 내삽하는 보간 프레임 상의 보간 화소 데이터와 동일 위치에 있는 제1 화소 데이터와, 상기 제2 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제1 상관 검출 스텝과, 상기 제1 상관 검출 스텝에서 검출된 상관치 중, 상관이 가장 큰 제1 최대 상관치와, 이 제1 최대 상관치를 나타내는 방향을 제1 움직임 벡터로서 출력하는 제1 상관 비교 스텝과, 상기 제2 프레임 상의 화소 데이터로서, 상기 보간 화소 데이터와 동일 위치에 있는 제2 화소 데이터와, 상기 제1 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제2 상관 검출 스텝과, 상기 제2 상관 검출 스텝에서 검출된 상관치 중, 상관이 가장 큰 제2 최대 상관치와, 이 제2 최대 상관치를 나타내는 방향을 제2 움직임 벡터로서 출력하는 제2 상관 비교 스텝과, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터 중, 상기 제1 최대 상관치와 상기 제2 최대 상관치 중에서 상관이 큰 쪽의 움직임 벡터를 최종적인 제3 움직임 벡터로서 출력하는 제3 상관 비교 스텝과, 상기 제3 움직임 벡터에 기초하여, 상기 제1 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제3 화소 데이터를 선택하여 출력하는 제1 화소 데이터 선택 스텝과, 상기 제3 움직임 벡터에 기초하여, 상기 제2 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제4 화소 데이터를 선택하여 출력하는 제2 화소 데이터 선택 스텝과, 상기 제3 화소 데이터만을 이용한 편측 보간과, 상기 제4 화소 데이터만을 이용한 편측 보간과, 상기 제3 및 제4 화소 데이터를 이용한 양측 보간의 어느 것인가를 선택하여 상기 보간 화소 데이터를 생성하여 출력하는 보간 화소 데이터 생성 스텝과, 상기 보간 화소 데이터를 이용하여 상기 보간 프레임을 생성하고, 상기 제1 프레임과 상기 제2 프레임과의 사이에 내삽하여 프레임 레이트를 변환하는 프레임 레이트 변환 스텝을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법을 제공한다.
여기에서, 상기 제3 상관 비교 스텝은, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분이 소정의 범위 내에 있는 제1 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성 스텝에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고, 상기 보간 화소 데이터 생성 스텝은, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것이 바람직하다.
또한, 상기 제3 상관 비교 스텝은, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분이 소정의 범위 내에 있고, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 제1 문턱값보다 작은 제2 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성 스텝에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고, 상기 보간 화소 데이터 생성 스텝은, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것이 바람직하다.
또한, 상기 제3 상관 비교 스텝은, 상기 제2 조건에 더하여, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 상기 제1 문턱값보다 작은 값인 제2 문턱값보다 작은 제3 조건을 충족시킬 때에도, 상기 보간 화소 데이터 생성 스텝에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하는 것이 바람직하다.
본 발명의 프레임 레이트 변환 장치 및 방법에 의하면, 움직임 벡터의 오검출에 기인하는 오보간을 저감시킬 수 있기 때문에, 자연스럽고 위화감이 적은 프레임 레이트 변환 화상을 얻을 수 있다.
도 1은 본 발명의 프레임 레이트 변환 장치의 일 실시 형태를 나타내는 블록도이다.
도 2는 일 실시 형태에서 이용하는 제1 상관 검출 방법을 설명하기 위한 도면이다.
도 3은 일 실시 형태에서 이용하는 제2 상관 검출 방법을 설명하기 위한 도면이다.
도 4는 움직임 벡터에 기초한 보간 벡터를 설명하기 위한 도면이다.
도 5는 도 1 중의 상관 비교부(25)의 구체적 구성예를 나타내는 블록도이다.
도 6은 도 5에 나타내는 상관 비교부(25)의 동작을 설명하기 위한 도면이다.
도 7은 도 1 중의 선택·평균치화부(34)의 구체적 구성예를 나타내는 블록도이다.
도 8은 일 실시 형태에 있어서의 보간 동작을 설명하기 위한 도면이다.
도 9는 일 실시 형태에 있어서의 보간 동작을 설명하기 위한 도면이다.
도 10은 일 실시 형태에 의한 효과를 설명하기 위한 도면이다.
(발명을 실시하기 위한 형태)
이하, 본 발명의 프레임 레이트 변환 장치 및 방법의 일 실시 형태에 대해서, 첨부 도면을 참조하여 설명한다. 도 1에 있어서, 60Hz의 프레임 주파수를 갖는 영상 신호(Ｓin)의 각 화소 데이터는, 프레임 메모리(1), 움직임 벡터 검출부(2), 보간부(3), 시계열 변환 메모리(4)에 순차 입력된다. 프레임 메모리(1)는 입력된 화소 데이터를 1 프레임 지연하여 출력한다. 입력된 영상 신호(Ｓin)의 현재 프레임을 F0, 프레임 메모리(1)로부터 출력된 현재 프레임보다 1 프레임 전의 프레임을 F1로 한다. 프레임(F1)의 화소 데이터는, 움직임 벡터 검출부(2) 및 보간부(3)에 순차 입력된다.
움직임 벡터 검출부(2)는, 상관 검출부(21, 22)와 상관 비교부(23～25)를 구비한다. 상관 검출부(21)는 도 2에 나타내는 제1 상관 검출 방법으로 복수의 방향의 상관을 검출한다. 도 2를 이용하여, 상관 검출부(21)에서 행해지는 제1 상관 검출 방법에 대해서 설명한다. 도 2는, 인접하는 프레임(F1, F0)에서 "ABCDEF"라는 문자 화상으로 이루어지는 물체(OB1)가 수평 이동하고 있는 상태를 나타내고 있다. 프레임(Ｆp0)은 프레임(F1, F0)간에 내삽하는 보간 프레임이다. 보간 프레임(Ｆp0) 상의 보간 화소 데이터(Ｐfp0)를 생성할 때에 필요해지는 움직임 벡터를 구하기 위해, 도 2에 나타내는 바와 같이 복수의 방향의 차분치를 생성한다. 차분치란 엄밀하게는 화소 데이터의 휘도치의 차분 절대치이며, 이하 단순히 차분치라고 칭하는 것으로 한다.
도 2에 있어서, 보간 화소 데이터(Ｐfp0)와 동일한 수평 및 수직 위치에 있는 프레임(F0) 상의 화소 데이터(Ｐf00)를 이동 후의 화소 데이터로서 고정하고, 프레임(F1) 상의 복수의 화소 데이터 각각을 이동 전의 화소 데이터로 한다. 프레임(F1) 상의 이동 전의 화소 데이터는, 보간 화소 데이터(Ｐfp0)와 동일한 수평 및 수직 위치에 있는 화소 데이터(Ｐf10)를 중심으로 한 소정의 범위 내의 화소 데이터이다. 또한, 간략화를 위해, 프레임(F1) 상의 화소 데이터(Ｐf10)만 동그라미 표시로 나타내고, 그 외의 화소 데이터의 동그라미 표시는 생략하고 있다. 상관 검출부(21)는, 화소 데이터(Ｐf00)와 프레임(F1) 상의 복수의 화소 데이터 각각과의 차분치(Ｄf11～Ｄf1M)를 구한다. 도 1에 나타내는 바와 같이, 차분치(Ｄf11～Ｄf1M)는 상관 비교부(23)에 입력된다. 차분치(Ｄf11～Ｄf1M)는 상관치라고 칭할 수도 있다. 차분치가 작을수록 상관이 크고, 차분치가 클수록 상관이 작다.
상관 비교부(23)는, 차분치(Ｄf11～Ｄf1M)를 대소 비교하여 가장 작은 값을 나타내는 방향을 움직임 벡터(MV1)로서 출력함과 함께, 가장 작은 차분치, 즉, 움직임 벡터(MV1)가 갖는 차분치를 DF1로서 출력한다. 가장 작은 차분치(DF1)를 갖는 방향이 가장 상관이 크다. 가장 작은 차분치(DF1)는 최대 상관치이다. 도 2에 있어서, 화소 데이터(Ｐf00)와 프레임(F1) 상의 복수의 화소 데이터 각각을 잇는 파선은 움직임 벡터(MV1)로서 선택되지 않았던 후보 벡터를 나타내고 있다. 상관 비교부(23)로부터 출력된 움직임 벡터(MV1)와 차분치(DF1)는 상관 비교부(25)에 공급된다.
한편, 상관 검출부(22)는 도 3에 나타내는 제2 상관 검출 방법으로 복수의 방향의 상관을 검출한다. 도 3을 이용하여, 상관 검출부(22)에서 행해지는 제2 상관 검출 방법에 대해서 설명한다. 도 3은, 도 2와 동일하게, 인접하는 프레임(F1, F0)에서 "ABCDEF"라는 문자 화상으로 이루어지는 물체(OB1)가 수평 이동하고 있는 상태를 나타내고 있다. 보간 프레임(Ｆp0) 상의 보간 화소 데이터(Ｐfp0)를 생성할 때에 필요해지는 움직임 벡터를 구하기 위해, 도 3에 나타내는 바와 같이 복수의 방향의 차분치를 생성한다.
도 3에 있어서, 보간 화소 데이터(Ｐfp0)와 동일한 수평 및 수직 위치에 있는 프레임(F1) 상의 화소 데이터(Ｐf10)를 이동 전의 화소 데이터로서 고정하고, 프레임(F0) 상의 복수의 화소 데이터 각각을 이동 후의 화소 데이터로 한다. 프레임(F0) 상의 이동 후의 화소 데이터는, 보간 화소 데이터(Ｐfp0)와 동일한 수평 및 수직 위치에 있는 화소 데이터(Ｐf00)를 중심으로 한 소정의 범위 내의 화소 데이터이다. 또한, 간략화를 위해, 프레임(F0) 상의 화소 데이터(Ｐf00)만 동그라미 표시로 나타내고, 그 외의 화소 데이터의 동그라미 표시는 생략하고 있다. 상관 검출부(22)는, 화소 데이터(Ｐf10)와 프레임(F0) 상의 복수의 화소 데이터 각각과의 차분치(Ｄf21～Ｄf2M)를 구한다. 도 1에 나타내는 바와 같이, 차분치(Ｄf21～Ｄf2M)는 상관 비교부(24)에 입력된다. 마찬가지로 차분치(Ｄf21～Ｄf2M)는 상관치라고 칭할 수도 있다.
상관 비교부(24)는, 차분치(Ｄf21～Ｄf2M)를 대소 비교하여 가장 작은 값을 나타내는 방향을 움직임 벡터(MV2)로서 출력함과 함께, 가장 작은 차분치(최대 상관치), 즉, 움직임 벡터(MV2)가 갖는 차분치를 DF2로서 출력한다. 도 3에 있어서, 화소 데이터(Ｐf10)와 프레임(F0) 상의 복수의 화소 데이터 각각을 잇는 파선은 움직임 벡터(MV2)로서 선택되지 않았던 후보 벡터를 나타내고 있다. 상관 비교부(24)로부터 출력된 움직임 벡터(MV2)와 차분치(DF2)는 상관 비교부(25)에 공급된다.
도 2, 도 3에서는, 한 쌍의 화소 데이터간의 차분치를 구하여 상관을 검출하도록 했지만, 복수의 화소 데이터를 포함하는 블록마다 차분치를 구하여 적분한 차분 절대치 합에 기초하여 상관을 구해도 좋다. 상관의 검출 방법은 임의이다.
상관 비교부(25)는, 차분치(DF1, DF2) 및 움직임 벡터(MV1, MV2)에 기초하여, 최종적인 움직임 벡터(MV3)와, 보간부(3)에 있어서의 보간 방법을 결정하기 위한 보간 제어 신호(FS1)를 생성하여 출력한다. 움직임 벡터(MV3)가 도 4에 나타내는 벡터인 경우, 보간 화소 데이터(Ｐfp0)를 생성하기 위한 한 쌍의 보간 벡터는, 프레임(F1) 상의 화소 데이터(Ｐf11)로부터 보간 화소 데이터(Ｐfp0)로 향하는 벡터((1/2)×MV3)(이하, 1/2 MV3라고 표기함)와, 프레임(F0) 상의 화소 데이터(Ｐf01)로부터 보간 화소 데이터(Ｐfp0)로 향하는 벡터((－1/2)×MV3)(이하, －1/2 MV3라고 표기함)가 된다.
본 실시 형태에 있어서는, 뒤에 상술하는 바와 같이, 보간부(3)는, 보간 제어 신호(FS1)에 따라서, 보간 화소 데이터(Ｐfp0)를 생성할 때에, 프레임(F1) 상의 화소 데이터(도 4의 예에서는 화소 데이터(Ｐf11))만을 이용하는 편측 보간의 보간 방법과, 프레임(F0) 상의 화소 데이터(도 4의 예에서는 화소 데이터(Ｐf01))만을 이용하는 편측 보간의 보간 방법과, 프레임(F1) 상의 화소 데이터와 프레임(F0) 상의 화소 데이터를 평균화하여 새로운 화소 데이터를 생성하는 양측 보간의 보간 방법을 선택적으로 이용한다.
도 5를 이용하여 상관 비교부(25)의 구체적 구성 및 동작에 대해서 설명한다. 도 5에 있어서, 상관 비교부(251)에는 차분치(DF1, DF2)가 입력되고, 상관 비교부(251)는 차분치(DF2)가 차분치(DF1)보다 작을 때에 비교 신호(Ｓcp0)로서 1을, 그 이외일 때에 비교 신호(Ｓcp0)로서 0을 출력한다. 벡터 선택부(252)는, 비교 신호(Ｓcp0)가 0이면 움직임 벡터(MV1)를 움직임 벡터(MV3)로서 출력하고, 비교 신호(Ｓcp0)가 1이면 움직임 벡터(MV2)를 움직임 벡터(MV3)로서 출력한다.
벡터 등가 판정부(253)에는 움직임 벡터(MV1, MV2)가 입력된다. 벡터 등가 판정부(253)는, 움직임 벡터(MV1, MV2)의 차분이 비교적 작은 소정의 범위 내에 있을 때에 판정 신호(Ｓj0)로서 1을, 그 이외일 때에 판정 신호(Ｓj0)로서 0을 출력한다. 또한, 움직임 벡터(MV1, MV2)의 차분은 일 예로서 다음과 같이 하여 구하면 좋다. 움직임 벡터(MV1)의 수평 방향과 수직 방향의 성분을 (x1, y1), 움직임 벡터(MV2)의 수평 방향과 수직 방향의 성분을 (x2, y2)라고 한다. x1, y1, x2, y2는 정(正) 또는 부(負)의 값이다. (|x1－x2|, |y1－y2|)가 소정의 (a, b) 이내이면 움직임 벡터(MV1, MV2)의 차분은 소정의 범위 내에 있다고 한다. a, b의 값은 적절히 설정하면 좋다. 상관 차분 절대치 산출부(254)에는 차분치(DF1, DF2)가 입력되고, 상관 차분 절대치 산출부(254)는 차분치(DF1, DF2)의 차분의 절대치(Ｓda)를 산출하여 출력한다.
문턱값 비교부(255)는 제1 문턱값(TH1)과 차분 절대치(Ｓda)를 비교하여, 차분 절대치(Ｓda)가 제1 문턱값(TH1)보다 작을 때에 비교 신호(Ｓcp1)로서 1을, 그 이외일 때에 비교 신호(Ｓcp1)로서 0을 출력한다. 문턱값 비교부(256)는 제2 문턱값(TH2)과 차분 절대치(Ｓda)를 비교하여, 차분 절대치(Ｓda)가 제2 문턱값(TH2)보다 작을 때에 판정 신호(Ｓj2)로서 1을, 그 이외일 때에 판정 신호(Ｓj2)로서 0을 출력한다. 제2 문턱값(TH2)은 제1 문턱값(TH1)보다 작은 값으로 한다.
AND 회로(257)에는, 벡터 등가 판정부(253)로부터의 판정 신호(Ｓj0)와 문턱값 비교부(255)로부터의 비교 신호(Ｓcp1)가 입력된다. AND 회로(257)는 2개의 입력 신호가 1일 때 판정 신호(Ｓj1)로서 1을 출력하고, 그 이외일 때 판정 신호(Ｓj1)로서 0을 출력한다. 이상의 설명으로부터 알 수 있는 바와 같이, AND 회로(257)로부터 1이 출력되는 것은, 움직임 벡터(MV1, MV2)의 차분이 근소하여, 차분 절대치(Ｓda)도 비교적 작아, 움직임 벡터(MV1, MV2)는 실질적으로 동일하다고 간주할 수 있는 경우이다. AND 회로(257)로부터 출력되는 판정 신호(Ｓj1)는, 일 예로서 전경이 정지하고 배경이 움직이고 있는 화상의 경우에, 배경의 영역에 있어서 도 4에 나타내는 벡터(1/2 MV3, －1/2 MV3)를 이용한 양측 보간으로 하기 위한 신호이다.
OR 회로(258)에는, AND 회로(257)로부터의 판정 신호(Ｓj1)와 문턱값 비교부(256)로부터의 판정 신호(Ｓj2)가 입력된다. 문턱값 비교부(256)로부터 출력되는 판정 신호(Ｓj2)는, 배경과 전경과의 경계 근방 영역에서 차분치(DF1, DF2)에 거의 차이가 없었던 경우에, 양측 보간으로 하기 위한 신호이다. 이는, 배경과 전경과의 경계 근방 영역에서 차분치(DF1, DF2)에 거의 차이가 없는 경우에 편측 보간을 행하면 오보간이 발생하기 쉬워, 오보간을 피하기 위해서이다. OR 회로(258)는, 판정 신호(Ｓj1, Ｓj2)의 적어도 한쪽이 1일 때 판정 신호(Ｓj3)로서 1을 출력하고, 쌍방이 0일 때 판정 신호(Ｓj3)로서 0을 출력한다. 이에 따라, 양측 보간으로 하는 것이 바람직한 배경의 영역에서 판정 신호(Ｓj3)를 1로 할 수 있다. 또한, 경계 근방 영역에서 편측 보간으로 하는 것이 바람직하지 않은 경우에도 판정 신호(Ｓj3)를 1로 할 수 있다.
보간 제어 신호 생성부(259)에는, 상관 비교부(251)로부터의 비교 신호(Ｓcp0)와 OR 회로(258)로부터의 판정 신호(Ｓj3)가 입력된다. 보간 제어 신호 생성부(259)는, 판정 신호(Ｓj3)와 비교 신호(Ｓcp0)에 기초하여 도 6에 나타내는 바와 같이 2비트의 보간 제어 신호(FS1)를 생성한다. 도 6에 나타내는 바와 같이, 판정 신호(Ｓj3)와 비교 신호(Ｓcp0)의 쌍방이 0이면, 보간 제어 신호(FS1)는 10이 되고, 판정 신호(Ｓj3)가 0이고 비교 신호(Ｓcp0)가 1이면, 보간 제어 신호(FS1)는 01이 된다. 판정 신호(Ｓj3)가 1이면 비교 신호(Ｓcp0)와는 무관하게 11이 된다.
도 1로 되돌아가, 상관 비교부(25)로부터 출력된 움직임 벡터(MV3)는 보간부(3) 내의 벡터 지연량 변환부(33)로 입력되고, 보간 제어 신호(FS1)는 보간부(3) 내의 선택·평균치화부(34)로 입력된다. 보간부(3)는, 벡터 지연량 변환부(33)와 선택·평균치화부(34)의 외에, 데이터 보지·선택부(화소 데이터 선택부)(31, 32)를 구비한다. 데이터 보지·선택부(31)는, 보간 화소 데이터(Ｐfp0)를 생성할 때에 필요해지는 프레임(F0) 상의 복수의 화소 데이터를 보지한다. 데이터 보지·선택부(32)는, 보간 화소 데이터(Ｐfp0)를 생성할 때에 필요해지는 프레임(F1) 상의 복수의 화소 데이터를 보지한다. 벡터 지연량 변환부(33)는, 입력된 움직임 벡터(MV3)를 도 4에서 설명한 바와 같이 한 쌍의 보간 벡터로 하고, 이 한 쌍의 보간 벡터를, 보간 화소 데이터(Ｐfp0)를 생성하기 위한 지연량(DL0, DL1)으로 변환하여 출력한다.
벡터 지연량 변환부(33)는, 벡터(1/2 MV3)를 지연량(DL1)으로 변환하고, 벡터(－1/2 MV3)를 지연량(DL0)으로 변환한다. 지연량(DL0, DL1)은, 보간 화소 데이터(Ｐfp0)의 위치를 기준으로 하여 정 방향 또는 부 방향으로 몇 화소분 지연시키는지(시프트시키는지)를 나타내는 값이다. 데이터 보지·선택부(31)에는 지연량(DL0)이 입력되고, 데이터 보지·선택부(32)에는 지연량(DL1)이 입력된다. 데이터 보지·선택부(31)는 미리 보지해 둔 프레임(F0) 상의 복수의 화소 데이터 중으로부터 지연량(DL0)에 기초하여 어느 것인가의 화소 데이터를 선택하고, 데이터 보지·선택부(32)는 미리 보지해 둔 프레임(F1) 상의 복수의 화소 데이터 중으로부터 지연량(DL1)에 기초하여 어느 것인가의 화소 데이터를 선택한다.
도 4의 예에서는, 데이터 보지·선택부(31)는 화소 데이터(Ｐf11)를 선택하고, 데이터 보지·선택부(32)는 화소 데이터(Ｐf01)를 선택한다. 데이터 보지·선택부(31)가 선택한 화소 데이터를 Ｐs0, 데이터 보지·선택부(32)가 선택한 화소 데이터를 Ｐs1로 한다. 선택·평균치화부(34)에는, 화소 데이터(Ｐs0, Ｐs1)가 입력된다. 선택·평균치화부(34)는, 보간 제어 신호(FS1)에 따라서 화소 데이터(Ｐs0, Ｐs1)의 어느 한쪽 또는 쌍방을 이용하여 보간 화소 데이터(Ｐfp0)를 생성하여 출력한다. 선택·평균치화부(34)는 보간 화소 데이터 생성부이다. 엄밀하게는, 보간부(3)에서는 휘도 및 색(색 차이를 포함함)의 보간 화소 데이터를 생성한다.
여기에서, 도 7을 이용하여 선택·평균치화부(34)의 구체적 구성 및 동작에 대해서 설명한다. 도 7에 나타내는 바와 같이, 선택·평균치화부(34)는, 선택부(341, 342)와 선택부(341, 342)의 출력을 평균화하여 출력하는 평균치화부(343)를 구비한다. 선택부(341, 342)에는 각각 화소 데이터(Ｐs0, Ｐs1)가 입력된다. 선택부(341)에는 보간 제어 신호(FS1)의 하위 비트가 입력되고, 선택부(342)에는 보간 제어 신호(FS1)의 상위 비트가 입력된다. 선택부(341)는, 보간 제어 신호(FS1)의 하위 비트가 1일 때 화소 데이터(Ｐs0)를 선택하고, 하위 비트가 0일 때 화소 데이터(Ｐs1)를 선택한다. 선택부(342)는, 보간 제어 신호(FS1)의 상위 비트가 1일 때 화소 데이터(Ｐs1)를 선택하고, 하위 비트가 0일 때 화소 데이터(Ｐs0)를 선택한다.
보간 제어 신호(FS1)가 10일 때, 선택부(341, 342)는 모두 화소 데이터(Ｐs1)를 선택하여 출력하기 때문에, 평균치화부(343)로부터는 화소 데이터(Ｐs1)가 보간 화소 데이터(Ｐfp0)로서 출력되게 된다. 보간 제어 신호(FS1)가 01일 때, 선택부(341, 342)는 모두 화소 데이터(Ｐs0)를 선택하여 출력하기 때문에, 평균치화부(343)로부터는 화소 데이터(Ｐs0)가 보간 화소 데이터(Ｐfp0)로서 출력되게 된다. 즉, 보간 제어 신호(FS1)가 10일 때는, 도 8에 나타내는 바와 같이, 프레임(F1) 상의 화소 데이터(도 8의 예에서는 화소 데이터(Ｐf11))를 이용한 편측 보간이 된다. 또한, 보간 제어 신호(FS1)가 01일 때는, 도 9에 나타내는 바와 같이, 프레임(F0) 상의 화소 데이터(도 9의 예에서는 화소 데이터(Ｐf01))를 이용한 편측 보간이 된다.
보간 제어 신호(FS1)가 11일 때에는, 선택부(341)는 화소 데이터(Ｐs0)를 선택하고, 선택부(342)는 화소 데이터(Ｐs1)를 선택하여 출력하기 때문에, 평균치화부(343)로부터는 화소 데이터(Ｐs0)와 화소 데이터(Ｐs1)를 평균화한 데이터가 보간 화소 데이터(Ｐfp0)로서 출력되게 된다. 즉, 보간 제어 신호(FS1)가 11일 때는, 도 4에 나타내는 바와 같이, 프레임(F0, F1) 상의 화소 데이터(도 4의 예에서는 화소 데이터(Ｐf01,Ｐf11))를 이용한 양측 보간이 된다.
도 1로 되돌아가, 시계열 변환 메모리(4)에는 프레임(F0)의 화소 데이터와 보간부(3)로부터 출력된 보간 화소 데이터(Ｐfp0)가 순차 입력된다. 시계열 변환 메모리(4)는, 순차 입력되는 프레임(F0)의 화소 데이터에 기초하여 실프레임인 프레임(F0)의 화상 데이터와, 순차 입력되는 보간 화소 데이터(Ｐfp0)에 기초하여 보간 프레임인 보간 프레임(Ｆp0)의 화상 데이터를 생성한다. 그리고, 양자를 120Hz로 교대로 출력하여, 120Hz의 프레임 주파수를 갖는 영상 신호(Ｓout)를 출력한다.
다음으로, 도 10을 이용하여 본 실시 형태의 프레임 레이트 변환 장치 및 방법에 의한 효과에 대해서 설명한다. 도 10은, 전경이 정지하고 배경이 수평 방향으로 움직이고 있는 상태를 나타내고 있다. 도 10에 있어서, 프레임(F2)은 프레임(F1)보다도 1 프레임 전의 프레임이며, MV는 배경의 움직임 벡터이다. 도 10에 나타내는 영역(AR1, AR4)은 배경의 영역이며, 영역(AR1, AR4) 내의 보간 화소 데이터는, 도 5～도 7에서 설명한 동작에 의해, 프레임(F0, F1) 쌍방의 화소 데이터(Ｐs0, Ｐs1)를 이용한 양측 보간에 의해 생성된다.
영역(AR2)은 전경과 배경과의 경계에 인접하는 영역이며, 도 5～도 7에서 설명한 동작에 의해, 영역(AR2) 내의 보간 화소 데이터를 생성할 때에 사용되는 움직임 벡터에는, 프레임(F1) 상의 화소 데이터(Ｐf1a～Ｐf1b)를 기점으로 하여 검출한 움직임 벡터(MV2)가 선택된다. 이 결과, 영역(AR2) 내의 보간 화소 데이터는, 파선의 화살표로 나타내는 바와 같이, 벡터(－1/2 MV2)로 프레임(F0) 상의 화소 데이터만으로부터 보간하는 편측 보간에 의해 생성된다. 따라서, 영역(AR2) 내의 보간 화소 데이터는 프레임(F0) 상의 화소 데이터로부터 배경의 화상이 바르게 시프트된 화상이 된다. 프레임(F1) 상의 화소 데이터(Ｐf1a～Ｐf1b)의 범위(Rg1)는 움직임 벡터(MV2)가 선택되는 범위이다.
마찬가지로 영역(AR3)은 전경과 배경과의 경계에 인접하는 영역이며, 도 5～도 7에서 설명한 동작에 의해, 영역(AR3) 내의 보간 화소 데이터를 생성할 때에 사용되는 움직임 벡터에는, 프레임(F0) 상의 화소 데이터(Ｐf0c～Ｐf0d)를 기점으로 하여 검출한 움직임 벡터(MV1)가 선택된다. 이 결과, 영역(AR3) 내의 보간 화소 데이터는, 파선의 화살표로 나타내는 바와 같이, 벡터(1/2 MV1)로 프레임(F1) 상의 화소 데이터만으로부터 보간하는 편측 보간에 의해 생성된다. 따라서, 영역(AR3) 내의 보간 화소 데이터는 프레임(F1) 상의 화소 데이터로부터 배경의 화상이 바르게 시프트된 화상이 된다. 프레임(F0) 상의 화소 데이터(Ｐf0c～Ｐf0d)의 범위(Rg0)는 움직임 벡터(MV1)가 선택되는 범위이다. 또한, 영역(Ｒgsv)은 양측 보간에 의해 보간된다.
또한, 영역(AR21, AR31)은 영역(AR2, AR3) 내의 경계 근방의 영역이며, 이 경계 근방 영역(AR21, AR31)에서는, 도 5～도 7에서 설명한 특정의 조건일 때에 편측 보간이 아니라 양측 보간으로 한다. 예를 들면 전경과 배경과의 휘도가 가까운 경우에는, 영역(AR21, AR31)에서는 차분치(DF1, DF2)가 가까운 값이 되고, 도 5에 있어서의 상관 비교부(251)로부터 출력되는 비교 신호(Ｓcp0)가 0 또는 1의 한쪽에 고정되지 않고, 빈번히 0과 1이 변화하게 된다. 이러한 경우에 편측 보간을 행하면, 영역(AR21, AR31)은 전경이 이중으로 흔들린 것 같은 화상이 된다. 도 5～도 7에서 설명한 특정의 조건일 때에 양측 보간으로 함으로써, 영역(AR21, AR31)에 있어서의 위화감을 경감할 수 있다.
이와 같이, 본 실시 형태에 있어서는, 도 10에 나타내는 바와 같이 전경과 배경이 상이한 움직임을 하고 있는 경우라도, 전경과 배경과의 경계 부근에서 발생하기 쉬운 움직임 벡터의 오검출을 막을 수 있다. 따라서, 움직임 벡터의 오검출에 기인하는 오보간을 저감시킬 수 있어, 자연스럽고 위화감이 적은 프레임 레이트 변환 화상을 얻는 것이 가능해진다.
이상 설명한 본 실시 형태에 있어서는, 도 10의 영역(AR21, AR31)에 있어서의 위화감을 경감하기 위해 도 5에 있어서 문턱값 비교부(256) 및 OR 회로(258)를 형성하고 있지만, 간략화를 위해 문턱값 비교부(256) 및 OR 회로(258)를 삭제해도 좋다. 단, 문턱값 비교부(256) 및 OR 회로(258)를 형성하는 편이 바람직하다. 또한, 문턱값 비교부(255) 및 AND 회로(257)를 삭제하고, 벡터 등가 판정부(253)만으로 배경이라고 판단하는 것도 가능하다. 단, 문턱값 비교부(255) 및 AND 회로(257)를 형성하는 것이 바람직하다.
벡터 등가 판정부(253)로부터의 판정 신호(Ｓj0)가 1인 제1 조건을 충족시킬 때에 양측 보간으로 하는 것이 기본이다. 문턱값 비교부(255)를 추가하면, 경계 부근에서는 본래라면 편측 보간으로 하는 것이 바람직함에도 불구하고, 움직임 벡터(MV1, MV2)가 등가일 때에 양측 보간이 되어 버리는 문제점을 회피할 수 있다. 따라서, 판정 신호(Ｓj0)와 비교 신호(Ｓcp1)의 쌍방이 1인 제2 조건을 충족시킬 때에 양측 보간으로 하는 것이 바람직하다. 또한, 문턱값 비교부(256)를 추가하고, 판정 신호(Ｓj2)가 1인 제3 조건을 충족하는 경우에도 양측 보간으로 하면, 경계 근방 영역(AR21, AR31)에 있어서의 위화감을 경감시킬 수 있다. 제1 조건과 제3 조건을 충족하는 경우에 양측 보간으로 하는 구성으로 해도 좋다.
도 1에 나타내는 본 실시 형태에 있어서는, 프레임 레이트를 2배로 변환하는 프레임 레이트 변환 장치 및 방법에 대해 나타냈지만, 3배 또는 그 이상의 수직 주파수로 변환하는 프레임 레이트 변환 장치 및 방법이라도 좋다. 본 실시 형태를 필름 저더(film judder) 제거 장치에 이용해도 좋다. 본 발명은 이상 설명한 실시 형태로 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지 변경 가능하다.
이상에서 설명한 바와 같이, 본 발명에 의하면, 움직임 벡터의 오검출에 기인하는 오보간을 저감시켜, 자연스럽고 위화감이 적은 프레임 레이트 변환 화상을 얻는 프레임 레이트 변환 장치를 제공할 수 있다.
1 : 프레임 메모리
2 : 움직임 벡터 검출부
3 : 보간부
4 : 시계열 변환 메모리
21, 22 : 상관 검출부
23～25 : 상관 비교부
31, 32 : 데이터 보지·선택부(화소 데이터 선택부)
33 : 벡터 지연량 변환부
34 : 선택·평균치화부(보간 화소 데이터 생성부)

Claims (8)

  1. 제1 프레임 상의 화소 데이터로서, 상기 제1 프레임과 상기 제1 프레임보다 과거의 제2 프레임과의 사이에 내삽(內揷)하는 보간(補間) 프레임 상의 보간 화소 데이터와 동일 위치에 있는 제1 화소 데이터와, 상기 제2 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제1 상관 검출부와,
    상기 제1 상관 검출부로부터 출력된 상관치 중, 상관이 가장 큰 제1 최대 상관치와, 이 제1 최대 상관치를 나타내는 방향을 제1 움직임 벡터로서 출력하는 제1 상관 비교부와,
    상기 제2 프레임 상의 화소 데이터로서, 상기 보간 화소 데이터와 동일 위치에 있는 제2 화소 데이터와, 상기 제1 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제2 상관 검출부와,
    상기 제2 상관 검출부로부터 출력된 상관치 중, 상관이 가장 큰 제2 최대 상관치와, 이 제2 최대 상관치를 나타내는 방향을 제2 움직임 벡터로서 출력하는 제2 상관 비교부와,
    상기 제1 움직임 벡터와 상기 제2 움직임 벡터 중, 상기 제1 최대 상관치와 상기 제2 최대 상관치 중에서 상관이 큰 쪽의 움직임 벡터를 최종적인 제3 움직임 벡터로서 출력하는 제3 상관 비교부와,
    상기 제3 움직임 벡터에 기초하여, 상기 제1 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제3 화소 데이터를 선택하여 출력하는 제1 화소 데이터 선택부와,
    상기 제3 움직임 벡터에 기초하여, 상기 제2 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제4 화소 데이터를 선택하여 출력하는 제2 화소 데이터 선택부와,
    상기 제3 화소 데이터만을 이용한 편측 보간과, 상기 제4 화소 데이터만을 이용한 편측 보간과, 상기 제3 및 제4 화소 데이터를 이용한 양측 보간의 어느 것인가를 선택하여 상기 보간 화소 데이터를 생성하여 출력하는 보간 화소 데이터 생성부와,
    상기 보간 화소 데이터를 이용하여 상기 보간 프레임을 생성하고, 상기 제1 프레임과 상기 제2 프레임과의 사이에 내삽하여 프레임 레이트를 변환하는 프레임 레이트 변환부를 구비하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  2. 제1항에 있어서,
    상기 제3 상관 비교부는, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분(差分)이 소정의 범위 내에 있는 제1 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성부에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고,
    상기 보간 화소 데이터 생성부는, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  3. 제1항에 있어서,
    상기 제3 상관 비교부는, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분이 소정의 범위 내에 있고, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 제1 문턱값보다 작은 제2 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성부에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고,
    상기 보간 화소 데이터 생성부는, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  4. 제3항에 있어서,
    상기 제3 상관 비교부는, 상기 제2 조건에 더하여, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 상기 제1 문턱값보다 작은 값인 제2 문턱값보다 작은 제3 조건을 충족시킬 때에도, 상기 보간 화소 데이터 생성부에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  5. 제1 프레임 상의 화소 데이터로서, 상기 제1 프레임과 상기 제1 프레임보다 과거의 제2 프레임과의 사이에 내삽하는 보간 프레임 상의 보간 화소 데이터와 동일 위치에 있는 제1 화소 데이터와, 상기 제2 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제1 상관 검출 스텝과,
    상기 제1 상관 검출 스텝에서 검출된 상관치 중, 상관이 가장 큰 제1 최대 상관치와, 이 제1 최대 상관치를 나타내는 방향을 제1 움직임 벡터로서 출력하는 제1 상관 비교 스텝과,
    상기 제2 프레임 상의 화소 데이터로서, 상기 보간 화소 데이터와 동일 위치에 있는 제2 화소 데이터와, 상기 제1 프레임 상의 복수의 화소 데이터 각각과의 상관치를 검출하는 제2 상관 검출 스텝과,
    상기 제2 상관 검출 스텝에서 검출된 상관치 중, 상관이 가장 큰 제2 최대 상관치와, 이 제2 최대 상관치를 나타내는 방향을 제2 움직임 벡터로서 출력하는 제2 상관 비교 스텝과,
    상기 제1 움직임 벡터와 상기 제2 움직임 벡터 중, 상기 제1 최대 상관치와 상기 제2 최대 상관치 중에서 상관이 큰 쪽의 움직임 벡터를 최종적인 제3 움직임 벡터로서 출력하는 제3 상관 비교 스텝과,
    상기 제3 움직임 벡터에 기초하여, 상기 제1 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제3 화소 데이터를 선택하여 출력하는 제1 화소 데이터 선택 스텝과,
    상기 제3 움직임 벡터에 기초하여, 상기 제2 프레임 상의 복수의 화소 데이터 중, 상기 보간 화소 데이터를 생성하기 위해 필요한 제4 화소 데이터를 선택하여 출력하는 제2 화소 데이터 선택 스텝과,
    상기 제3 화소 데이터만을 이용한 편측 보간과, 상기 제4 화소 데이터만을 이용한 편측 보간과, 상기 제3 및 제4 화소 데이터를 이용한 양측 보간의 어느 것인가를 선택하여 상기 보간 화소 데이터를 생성하여 출력하는 보간 화소 데이터 생성 스텝과,
    상기 보간 화소 데이터를 이용하여 상기 보간 프레임을 생성하고, 상기 제1 프레임과 상기 제2 프레임과의 사이에 내삽하여 프레임 레이트를 변환하는 프레임 레이트 변환 스텝을 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  6. 제5항에 있어서,
    상기 제3 상관 비교 스텝은, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분이 소정의 범위 내에 있는 제1 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성 스텝에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고,
    상기 보간 화소 데이터 생성 스텝은, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  7. 제5항에 있어서,
    상기 제3 상관 비교 스텝은, 상기 제1 움직임 벡터와 상기 제2 움직임 벡터와의 차분이 소정의 범위 내에 있고, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 제1 문턱값보다 작은 제2 조건을 충족시킬 때에, 상기 보간 화소 데이터 생성 스텝에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하고,
    상기 보간 화소 데이터 생성 스텝은, 상기 판정 신호가 입력되면, 상기 제3 및 제4 화소 데이터를 평균치화하여 상기 보간 화소 데이터를 생성하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  8. 제7항에 있어서,
    상기 제3 상관 비교 스텝은, 상기 제2 조건에 더하여, 상기 제1 최대 상관치와 상기 제2 최대 상관치와의 차분의 절대치가 상기 제1 문턱값보다 작은 값인 제2 문턱값보다 작은 제3 조건을 충족시킬 때에도, 상기 보간 화소 데이터 생성 스텝에 있어서의 보간을 양측 보간으로 하기 위한 판정 신호를 출력하는 것을 특징으로 하는 프레임 레이트 변환 방법.
KR1020117016839A 2009-10-08 2010-10-07 프레임 레이트 변환 장치 및 방법 KR101186143B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-234125 2009-10-08
JP2009234125A JP4692913B2 (ja) 2009-10-08 2009-10-08 フレームレート変換装置及び方法
PCT/JP2010/067674 WO2011043433A1 (ja) 2009-10-08 2010-10-07 フレームレート変換装置及び方法

Publications (2)

Publication Number Publication Date
KR20110106390A KR20110106390A (ko) 2011-09-28
KR101186143B1 true KR101186143B1 (ko) 2012-09-27

Family

ID=43856883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117016839A KR101186143B1 (ko) 2009-10-08 2010-10-07 프레임 레이트 변환 장치 및 방법

Country Status (6)

Country Link
US (1) US8319889B2 (ko)
EP (1) EP2375737B1 (ko)
JP (1) JP4692913B2 (ko)
KR (1) KR101186143B1 (ko)
CN (1) CN102292981B (ko)
WO (1) WO2011043433A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811332B (zh) * 2011-05-31 2015-04-15 Jvc建伍株式会社 影像信号处理装置以及方法
JP5803500B2 (ja) 2011-09-27 2015-11-04 株式会社Ｊｖｃケンウッド 動きベクトル検出装置及び方法
JP2013165487A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム
US9479788B2 (en) * 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
KR101574301B1 (ko) 2014-05-22 2015-12-04 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
KR101574205B1 (ko) 2014-05-22 2015-12-04 주식회사 칩스앤미디어 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
CN108040217B (zh) 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
JP7139858B2 (ja) * 2018-10-12 2022-09-21 株式会社Ｊｖｃケンウッド 補間フレーム生成装置及び方法
CN110267098B (zh) * 2019-06-28 2022-05-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
TWI748459B (zh) * 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法
CN113726980A (zh) * 2020-05-25 2021-11-30 瑞昱半导体股份有限公司 图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047011A (ja) 2001-07-30 2003-02-14 Shibasoku:Kk 動きベクトルを用いる動き補正方法
JP2003274414A (ja) 2002-03-15 2003-09-26 Toshiba Corp 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP2004320279A (ja) 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2009118456A (ja) 2007-10-18 2009-05-28 Sharp Corp 画像補間装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JP3604752B2 (ja) * 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2007504700A (ja) * 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
US20070092111A1 (en) 2003-09-17 2007-04-26 Wittebrood Rimmert B Motion vector field re-timing
KR20070040397A (ko) * 2004-07-20 2007-04-16 퀄컴 인코포레이티드 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치
JP4359223B2 (ja) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP5177828B2 (ja) * 2005-03-25 2013-04-10 株式会社Ｊｖｃケンウッド 画像レート変換方法及び画像レート変換装置
JP2006331136A (ja) 2005-05-27 2006-12-07 Victor Co Of Japan Ltd 動きベクトル検出装置
JP4389866B2 (ja) * 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047011A (ja) 2001-07-30 2003-02-14 Shibasoku:Kk 動きベクトルを用いる動き補正方法
JP2003274414A (ja) 2002-03-15 2003-09-26 Toshiba Corp 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP2004320279A (ja) 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2009118456A (ja) 2007-10-18 2009-05-28 Sharp Corp 画像補間装置および方法

Also Published As

Publication number Publication date
US8319889B2 (en) 2012-11-27
CN102292981A (zh) 2011-12-21
WO2011043433A1 (ja) 2011-04-14
CN102292981B (zh) 2013-12-11
EP2375737B1 (en) 2014-04-30
KR20110106390A (ko) 2011-09-28
EP2375737A4 (en) 2012-05-23
EP2375737A1 (en) 2011-10-12
JP2011082846A (ja) 2011-04-21
JP4692913B2 (ja) 2011-06-01
US20110267536A1 (en) 2011-11-03

Similar Documents

Publication Publication Date Title
KR101186143B1 (ko) 프레임 레이트 변환 장치 및 방법
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
KR100766085B1 (ko) 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법
US20120093231A1 (en) Image processing apparatus and image processing method
US7787048B1 (en) Motion-adaptive video de-interlacer
US20120274845A1 (en) Image processing device and method, and program
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
JP4339237B2 (ja) 順次走査変換装置
JP3898546B2 (ja) 画像走査変換方法及び装置
JP4735779B2 (ja) 補間画素データ生成装置及び方法
WO2014129528A1 (ja) 映像信号処理装置及び方法
KR101361649B1 (ko) 영상 신호 처리 장치
JP2007288483A (ja) 画像変換装置
JP5526918B2 (ja) 映像信号処理装置及び方法
KR20040063561A (ko) 디인터레이싱 장치
KR101109153B1 (ko) 저더 검출을 이용한 디인터레이싱 방법 및 장치
JP5891913B2 (ja) 映像信号処理装置及び方法
KR20080023604A (ko) 프레임 레이트 변환장치 및 프레임 레이트 변환방법
KR100728914B1 (ko) 영상의 속성을 이용한 디인터레이싱 장치 및 그 방법
JP2006041619A (ja) 画像処理装置
JP2020061693A (ja) 補間フレーム生成装置及び方法
JP2009077034A (ja) 映像信号処理装置および映像信号処理方法
JP2005086631A (ja) ビデオ信号処理装置及びビデオ信号の処理方法
JP2010041212A (ja) 補間フレーム生成装置及びフレームレート変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150820

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180904

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 8