KR100604394B1 - 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 - Google Patents

프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 Download PDF

Info

Publication number
KR100604394B1
KR100604394B1 KR1020040014317A KR20040014317A KR100604394B1 KR 100604394 B1 KR100604394 B1 KR 100604394B1 KR 1020040014317 A KR1020040014317 A KR 1020040014317A KR 20040014317 A KR20040014317 A KR 20040014317A KR 100604394 B1 KR100604394 B1 KR 100604394B1
Authority
KR
South Korea
Prior art keywords
interpolation
frame
reference frame
frames
generating
Prior art date
Application number
KR1020040014317A
Other languages
English (en)
Other versions
KR20040086553A (ko
Inventor
나오 미시마
가즈야스 오오야키
고 이토
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20040086553A publication Critical patent/KR20040086553A/ko
Application granted granted Critical
Publication of KR100604394B1 publication Critical patent/KR100604394B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

질이 높은 보간프레임을 생성하여 프레임 보간을 행한다.
화상신호의 시간적으로 연속하는 참조프레임(R1,R2,R3)을 입력하고, 참조프레임(R2,R3) 사이에 보간프레임을 삽입하기 위해, 우선 참조프레임(R1,R3)으로부터 참조프레임(R2)의 위치에 대응하는 제1보간프레임(I1)을 생성한다. 참조프레임(R2)과 제1보간프레임(I1)의 상관의 크기를 나타내는 상관값을 산출함으로써, 제1보간프레임(I1)의 질을 검증한다. 상관값이 임계값 이상인 때에는, 제1보간프레임(I1)의 질이 높고, 참조프레임(R2,R3) 사이의 위치에 대응하여 생성되는 제2보간프레임(I2)도 질이 높다고 판정하여, 제2보간프레임(I2)을 참조프레임(R2,R3) 사이에 삽입한다.

Description

프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템{A FRAME INTERPOLATION METHOD, APPARATUS AND IMAGE DISPLAY SYSTEM USING THE SAME}
도 1은 본 발명의 제1실시형태에 따른 화상표시 시스템의 구성을 나타낸 블록도,
도 2는 제1실시형태에서 프레임 보간의 개념도,
도 3은 제1실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 4는 제1실시형태에서 프레임 데이터의 프레임 메모리 사이의 이동을 설명하는 도면,
도 5는 제1실시형태에서 제1보간프레임의 생성방법의 일예를 설명하기 위한 도면,
도 6은 제1실시형태에서 제1보간프레임의 생성방법의 다른 예를 설명하기 위한 도면,
도 7은 제1실시형태에서 제1보간프레임의 생성방법의 더욱 다른 예를 설명하기 위한 도면,
도 8은 제1실시형태에서 장면 변경 시의 프레임 보간 동작예를 나타낸 도면,
도 9는 제1실시형태에서 장면 변경 시의 다른 프레임 보간 동작예를 나타낸 도면,
도 10은 본 발명의 제2실시형태에 따른 화면표시 시스템의 구성을 나타낸 블록도,
도 11은 제2실시형태에서 제2보간프레임의 생성방법을 설명하기 위한 도면,
도 12는 제2실시형태에서 프레임 보간의 처리수순을 나타내는 플로우차트,
도 13은 본 발명의 제3실시형태에 따른 화상표시 시스템의 구성을 나타낸 블록도,
도 14는 제3실시형태에서 프레임 보간의 개념도,
도 15는 제3실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 16은 본 발명의 제4실시형태에 따른 화상표시 시스템의 구성을 나타낸 블록도,
도 17은 제4실시형태에서 프레임 보간의 개념도,
도 18은 제4실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 19는 본 발명의 제5실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 20은 제5실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 21은 본 발명의 제6실시형태에서 프레임 보간의 개념도,
도 22는 제6실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 23은 제6실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 24는 본 발명의 제7실시형태에 따른 화상표시 시스템의 구성을 나타낸 블록도,
도 25는 제7실시형태에서 프레임 보간의 개념도,
도 26은 제7실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 27은 본 발명의 제8실시형태에서 프레임 보간의 개념도,
도 28은 제8실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트,
도 29는 제8실시형태에서 프레임 보간의 처리수순을 나타낸 플로우차트이다.
<부호의 설명>
10 : 화상신호
11~13 : 제1~제3프레임 메모리
14, 24 : 제1보간프레임 생성부
15, 25 : 보간판정부
16, 20, 26, 30 : 제2보간프레임 생성부
17 : 표시장치
18 : 타이밍 콘트롤러
19 : 스케일 변환부
R1~R3 : 제1~제3참조프레임
I1~I3 : 제1~제3보간프레임
본 발명은 동화상의 재생에서 표시 프레임 간격을 짧게 하기 위해 인접 프레 임간에 적어도 1개의 보간 프레임을 내삽(內揷) 보간(補間)하는 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템에 관한 것이다.
액정 디스플레이나 일렉트로 루미네슨스(electro-luminescence) 디스플레이와 같이, 새로이 화상의 기록이 행해지기까지 전 프레임의 표시를 계속하여 유지하는 홀드(hold)형 화상표시장치는, 동화상 표시에 즈음하여 움직이는 물체의 움직임에 관찰자의 눈이 추적하는 것에 의한 번짐(blurred) 현상의 발생과, 코마(coma)수가 적은 동화상을 표시하는 경우에 부자연스러운 움직임이 발생한다고 하는 문제가 있다.
이 문제를 해결하기 위해서는, 표시의 프레임 간격을 짧게하면 된다. 그러한 구체적인 수법으로서, MPEG2(Motion Picture Experts Group phase 2)에서 이용되고 있는 움직임보상을 이용하여 보간 프레임을 작성하고, 그 보간 프레임을 인접하는 프레임 사이에 내삽 보간하는 방법이 있다. MPEG2에서의 움직임보상은 블록 매칭(block matching) 법에 의해 검출되는 움직임벡터가 이용된다. 블록 매칭법은 제1참조프레임을 복수의 제1블록에 분할하고, 각 제1블록에 대해 제1참조프레임에 인접하는 제2참조프레임으로부터 가장 상관이 높은 제2블록을 탐색하여, 제2블록에서 제1블록으로의 움직임벡터를 구하는 수법이다.
이와 같은 움직임보상을 이용하는 프레임 보간수법은, 움직임보상에 의해 보간 프레임을 생성할 때, 우선 제1참조프레임과 제2참조프레임 사이에 관해 구해진 제1움직임벡터를 보간 프레임면과 제1참조프레임 사이의 제2움직임벡터로 변환하는 스케일 변환이라고 불리워지는 조작을 행한다. 이렇게 하여 스케일 변환에 의해 얻 어진 제2움직임벡터를 이용하여 움직임보상을 행함으로써, 보간프레임을 생성한다. 즉, 제2움직임벡터의 종점을 제1참조프레임 상에 고정하고, 제1참조프레임 상의 그 제2움직임벡터의 종점이 가리키는 블록의 화상데이터를 제2움직임벡터의 시점이 가리키는 보간프레임 면상의 블록의 위치에 복사한다.
이러한 수법은, 스케일 변환에 의해 얻어지는 제2움직임벡터의 시점 위치는 반드시 보간프레임 면상의 본래의 보간대상 블록의 위치와 일치하지 않으므로, 보간프레임에 화상데이터가 존재하지 않는 틈이 생겨버리거나, 역으로 화상데이터가 겹치는 영역이 생겨버린다.
일본국 특허 제2528103호(특허문헌 1)에는 이와 같은 화상의 틈이나 겹침이 발생하지 않는 프레임 보간의 수법이 개시되어 있다. 이러한 수법은 보간프레임 면상의 보간 대상 블록을 중심으로 하여, 기하대칭적으로 전후 참조프레임 사이의 상관을 구하여 프레임보간을 행한다. 이에 의해, 움직임벡터의 스케일 변환을 행하는 일 없이, 최초에 구해진 움직임벡터를 이용하여 다이렉트로 보간프레임을 생성할 수 있고, 또한 보간프레임 면상에 똑 같은 격자의 보간 대상 블록을 고안하기 때문에, 보간프레임에 화상의 틈이나 겹침이 발생하는 일은 없다.
한편, 특허공개공보 제2001-24988(특허문헌 2)에서는, 움직임추정 때의 화상의 차분값(差分値)과 검출된 움직임벡터의 크기로부터 움직임보상의 신뢰도를 구하고, 신뢰도가 낮은 경우에는 다른 수단에 의해 보상하는 수법이 개시되어 있다.
특허문헌 1의 수법은, 보간프레임의 전후 프레임 사이에서의 상관관계 만으로 움직임벡터를 결정하기 때문에, 반드시 실제의 움직임을 반영한 움직임벡터는 얻어지지 않는다. 이 때문에 보간프레임의 질이 낮아지고, 결과로서 동화상 전체의 질을 저하시켜 버리는 일이 있을 수 있다.
한편, 특허문헌 2의 수법에 의하면, 특허문헌 1에서 보여진 바와 같은 움직임벡터의 오검출에 의한 보간프레임의 질의 저하라고 하는 문제는 원리적으로 해소된다고 생각된다. 그러나, 움직임추정 때의 화상간의 차분값이나 움직임벡터의 크기 만으로 움직임보상의 신뢰도를 측정하는 것은 현실적으로는 어렵기 때문에, 반드시 적절한 보간프레임을 생성하는 일은 할 수 없다.
본 발명의 목적은 질이 높은 보간프레임을 생성하여 보간을 행할 수 있는 프레임 보간방법 및 이를 이용한 화상표시 시스템을 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 제1태양에 따른 프레임 보간방법은, (a) 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와, (b) 상기 제1참조프레임과 제3참조프레임으로부터 상기 제2참조프레임의 위치에 대응하는 제1보간프레임을 생성하는 단계, (c) 상기 제2참조프레임과 상기 제1보간프레임의 상관의 크기를 나타내는 상관값을 산출하는 단계, (d) 상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 제2보간프레임을 생성하는 단계 및, (e) 상기 상관값이 임계값 이상인 때 상기 제2보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 갖는다.
본 발명의 제2태양에 의한 프레임 보간방법은, 화상신호의 시간적으로 연속 하는 제1, 제2 및 제3참조프레임을 입력하는 단계와, (a) 상기 제1참조프레임과 제3참조프레임으로부터 상기 제2참조프레임의 위치에 대응하는 복수의 제1보간프레임을 각각 다른 보간프레임 생성방법에 의해 생성하는 단계, (b) 상기 제2참조프레임과 상기 복수의 제1보간프레임의 상관의 크기를 나타내는 상관값을 구하는 단계, (c) 상기 복수의 보간프레임 생성방법에서 상기 상관값을 최대로 하는 1개의 보간프레임 생성방법을 선택하는 단계, (d) 선택된 상기 1개의 보간프레임 생성방법에 따라 상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 제2보간프레임을 생성하는 단계 및, (e) 상기 제2보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 갖는다.
본 발명의 제3태양에 의한 프레임 보간방법은, (a) 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와, (b) 상기 제2 및 제3참조프레임으로부터 상기 제2참조프레임과 제3참조프레임 사이의 위치에 대응하는 제1보간프레임을 생성하는 단계, (c) 상기 제1참조프레임과 제2참조프레임으로부터 생성되어, 상기 제1참조프레임과 제2참조프레임 사이에 이미 삽입되어 있는 제2보간프레임과, 상기 제1보간프레임으로부터 상기 제2참조프레임의 위치에 대응하는 제3보간프레임을 생성하는 단계, (d) 상기 제2참조프레임과 상기 제3보간프레임 사이의 상관의 크기를 나타내는 상관값을 산출하는 단계 및, (e) 상기 상관값이 임계값 이상인 때 상기 제1보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 갖는다.
본 발명의 제4태양에 의한 프레임 보간방법은, (a) 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와, (b) 상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 복수의 제1보간프레임을 다른 복수의 보간프레임 생성방법에 의해 생성하는 단계, (c) 상기 제1참조프레임과 제2참조프레임으로부터 생성되어, 상기 제1참조프레임과 제2참조프레임 사이에 이미 삽입되어 있는 제2보간프레임과, 상기 제1보간프레임으로부터 상기 제2참조프레임의 위치에 대응하는 복수의 제3보간프레임을 상기 복수의 보간프레임 생성방법에 의해 생성하는 단계, (d) 상기 제2참조프레임과 상기 복수의 제3보간프레임의 상관의 크기를 나타내는 상관값을 계산하는 단계, (e) 상기 복수의 보간프레임 생성방법에서 상기 상관값을 최대로 하는 1개의 보간프레임 생성방법을 선택하는 단계 및, (f) 상기 복수의 제1보간프레임 중, 선택된 상기 1개의 보간프레임 생성방법에 따라 생성되는 제1보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 갖는다.
(실시예)
이하, 도면을 참조하여 본 발명에 따른 실시형태를 설명한다.
(제1실시형태)
도 1에 본 발명의 제1실시형태에 따른 화상표시 시스템의 구성을 나타낸다. 여기에서는, 입력의 화상신호(10;동화상신호)가 60Hz의 논인터레이스(non-interlace)신호[프로그레시브(progressive) 신호]이고, 이것을 120Hz의 논인터레이스 신호로 변환하는 경우를 예를 들어 설명한다. 프레임보간은 60Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙위치(보간프레임 면) 상에 보간프레임을 생성하고, 그것을 2개의 참조프레임 사이에 내삽함으로써 실현된다.
화상신호(10)는 프레임 메모리(13)로 입력되고, 프레임 메모리(13)의 출력은 프레임 메모리(12)로, 프레임 메모리(12)의 출력은 프레임 메모리(11)로 각각 입력된다. 프레임 메모리(11,12,13)에 유지되는 화상을 제1, 제2, 제3참조프레임(R1,R2,R3)으로 한다. 화상신호(10)는 참조(R1,R2,R3)의 순으로 입력된다.
제1보간프레임 생성부(14)에서는 참조프레임(R1,R3)으로부터 참조프레임(R1)과 참조프레임(R3)의 사이의 참조 프레임(R2)의 위치에 대응하는 제1보간프레임(I1)이 생성된다. 보간판정부(15)에서는 참조프레임(R2)과 제1보간프레임(I1)으로부터 제1보간프레임(I1)의 질(quality)이 검증되고, 그것에 기초하여 보간을 행할지 말지가 판정된다. 제2보간프레임 생성부(16)에서는 보간판정부(15)의 판정결과에 따라, 보간을 행하는 경우에는 참조프레임(R2,R3)으로부터 R2와 R3 사이의 시간적 중앙위치(보간 대상위치)에 대응하는 제2보간프레임(I2)이 생성된다.
제2보간프레임(I2)은 참조프레임(R1,R2,R3)과 함께 표시 장치(17)로 보내진다. 표시 장치(17)에서는 타이밍 콘트롤러(18)에 의한 제어 하에서 제2보간프레임(I2)이 참조프레임(R2)과 참조프레임(R3) 사이에 삽입되고, 프레임보간 후의 동화상이 표시된다.
다음으로, 본 실시형태의 동작을 설명한다.
프레임보간에서는 인접프레임 사이에 보간프레임을 내삽함으로써 보다 매끄러운 동화상 재생을 가능하게 한다. 그러나, 항상 적절한 보간프레임을 생성할 수 있다는 보증은 없고, 낮은 질의 보간프레임을 생성하여 내삽해 버림으로써, 동화상 전체의 질을 낮춰버린다고 하는 것도 생각될 수 있다. 여기에서 본 실시형태에서는, 보간프레임(I1)의 질을 검증하는 단계를 설치하고, 그 검증 결과에 의해 보간프레임(I2)의 내삽에 의한 보간을 행하지 않는다는 선택사항을 준비한다. 이와 같이 함으로써, 낮은 질의 보간프레임에 의해 동화상 전체의 질을 낮춰 버린다고 하는 문제를 회피할 수 있다.
구체적으로는, 본 실시형태의 프레임보간의 개념도인 도 2에 나타낸 바와 같이, ① 제1참조프레임(R1)과 제3참조프레임(R3)으로부터 제2참조프레임(R2)의 위치에 대응하는 제1보간프레임(I1)을 생성한다. ② 보간프레임(I1)을 참조프레임(R2)과 비교하여 그 상관값을 구하는 것으로, 보간프레임(I1)의 질을 검증한다. ③ 검증된 보간프레임(I1)의 질이 높으면, 즉 상관값이 임계값 이상이면, 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 제2보간프레임(I2)을 구하여 참조프레임(R2,R3) 사이에 보간을 행한다고 하는 처리를 행한다.
이하, 도 3에 나타낸 플로우차트를 이용하여 본 실시형태에서의 구체적인 처리수순을 설명한다.
<프레임 메모리(11~13)의 동작>
화상신호(10)는 프레임 단위로, 즉 시간적으로 연속한 프레임 데이터로서 연속적으로(sequential) 입력되어 온다. 도 4에 나타낸 바와 같이, 어떤 순간에 입력되어 온 프레임 데이터를 임시로 i 프레임으로 한다. 이 때 과거의 누적으로부터, 프레임 메모리(11,12,13)에는 i-3, i-2, i-1 프레임의 데이터가 각각 격납되어 있다고 하자(도면 중 0번의 상태). i 프레임이 입력되고 나서, 프레임 메모리(11,12,13) 내부의 프레임 데이터를 이하와 같이 천이시킨다.
① 프레임 메모리(12) 내의 프레임 데이터를 프레임 메모리(11)로 이동시킨다;
② 프레임 메모리(13) 내의 프레임 데이터를 프레임 메모리(12)로 이동시킨다;
③ 입력된 i 프레임을 프레임 메모리(13)에 격납한다.
이와 같이 함으로써, 프레임 메모리(11,12,13)에는 각각 i-2, i-1, i 프레임의 프레임 데이터가 격납되어 있는 상태로 된다(단계 S101).
여기서는 편의상, 프레임 메모리(11,12,13)의 프레임 데이터를 이전에 가리킨 제1, 제2, 제3참조프레임(R1,R2,R3)으로 정의한다. 참조프레임(R1,R2,R3)의 프레임 데이터에 억세스(acess)하는 것은 프레임 메모리(11,12,13)의 프레임 데이터에 억세스하는 것과 등가이다.
현재 입력되어 있는 화상신호의 프레임(현 프레임)을 참조프레임(R3)으로서 프레임 메모리(13)로부터 취득하고, 현 프레임 보다 1 프레임 전의 프레임을 참조 프레임(R2)으로서 프레임 메모리(12)로부터 취득하며, 더욱이 현 프레임 보다 2 프레임 전의 프레임을 참조프레임(R1)으로서 프레임 메모리(11)로부터 취득하여(단계 S102), 이하와 같이 제1보간프레임(I1)의 생성을 행한다.
<제1보간프레임 생성부(14)의 처리>
제1보간프레임 생성부(14)에서는 제1보간프레임(I1)의 생성에 즈음하여, 우선 제1참조프레임(R1)과 제3참조프레임(R3)으로부터 제1참조프레임(R1)과 제3참조프레임(R3) 사이의 움직임벡터를 구하여 제2참조프레임(R2)의 시간 위치에 대응하는 제1보간프레임(I1)을 생성한다(단계 S103). 여기에서, 보간프레임(I1)을 생성하기 위한 보간프레임 생성방법은 특히 한정되지 않지만, 예컨대 이하에 드는 여러가지의 보간프레임 생성방법을 선택할 수 있다.
(1) 제1보간프레임 생성방법
도 5에 나타낸 바와 같이, 프레임(F1)을 소블록으로 분할하고, 대상으로 되는 소블록과 가장 상관이 높은 블록을 프레임(F2)에서 탐색하여 움직임벡터를 구하고, 그 움직임벡터를 1/2로 스케일(scale) 변환한다. 그 소블록과 동위치의 보간프레임(FI) 상의 소블록에 스케일 변환된 움직임벡터의 시점을 고정하고, 그 움직임벡터에 의해 정해지는 프레임(F2) 상의 화상블록을 보간프레임(FI) 상의 소블록 위치로 복사한다. 이 일련의 처리를 분할된 소블록 전체에 행함으로써, 보간프레임(FI)을 생성한다.
여기서는, 프레임(F1)을 소블록으로 분할하여, 소위 전방 움직임추정에 의해 처리를 행했지만, 프레임(F2)을 분할하여, 소위 후방 움직임추정에 의해 처리를 행해도 된다. 또한, 프레임(F1)으로부터 및 프레임(F2)으로부터 구하고, 보다 상관도가 높은 움직임벡터를 선택하여 보간프레임(FI)을 생성하는, 소위 쌍방향 움직임추정에 의해 처리를 행해도 된다.
(2) 제2보간프레임 생성방법
도 6에 나타낸 바와 같이, 보간프레임(FI)을 소블록으로 분할하고, 대상으로 되는 소블록을 중심으로 하여 점대칭적으로 프레임(F1)과 프레임(F2) 상의 소블록 쌍 중에서 가장 상관이 높은 조(組)를 탐색하여 움직임벡터를 구한다. 이러한 움직임벡터에 의해 정해지는 프레임(F1) 상의 화상블록과 프레임(F2) 상의 화상블록의 평균을 얻고, 그 평균 화상을 보간프레임 상의 소블록 위치에 복사한다. 이러한 일련의 처리를 분할된 소블록 모두에 행함으로써, 보간프레임을 생성한다.
(3) 제3보간프레임 생성방법
상술한 제1, 제2보간프레임 생성방법은 동시에 블록 모두의 기술이고, 기본적으로 블록 내에서는 단지 1개의 움직임밖에 존재하지 않는 것이 전제로 되어 있다. 이 때문에, 복수의 움직임이 존재하는 경우에, 그 움직임의 경계에 의해 블록 왜곡이 발생할 가능성이 있다. 이에 대해 제3보간프레임 생성방법에서는, 이와 같은 블록 왜곡을 발생시키지 않도록 하기 위해, 도 7에 나타낸 블록 내를 일치 영역(상관이 큰 영역)과 불일치 영역(상관이 작은 영역)으로 분할하고, 일치 영역에 대해 움직임벡터를 할당하고, 불일치 영역에 대해서는 다시 되돌아 탐색을 행하여 간다고 하는 방법을 선택함으로써, 블록 왜곡을 억제한다.
<보간판정부(15)의 처리>
제1보간프레임(I1)을 제2참조프레임(R2)과 비교하여 제1보간프레임(I1)의 질을 검증함으로써, 보간을 행할지 말지를 판정한다. 즉, 참조프레임(R2)과 제1보간프레임(I1) 사이의 상관의 크기를 나타내는 상관값을 계산하고(단계 S104), 그 상관값이 임계값 이상이면 제1보간프레임(I1)의 질이 높다고 판정하고, 임계값 미만이면 질이 낮다고 판정한다(단계 S105). 이러한 판정의 결과에 따라, 후술하는 제2보간프레임(I2)을 생성한다.
여기서는, 질에 대한 평가값을 정하고, 이러한 평가값이 임계값 보다도 큰가 작은가에 의해 보간을 행할지 말지를 판정한다. 이러한 평가값이 질이 높은 경우에 작아지는 것과 같은 종류의 것이라면, 평가값이 임계값 이하인 경우에 보간을 행한다고 하는 판정을 행하고, 질이 높은 경우에 커지는 것과 같은 종류의 것이라면, 평가값이 임계값 이상인 경우에 보간을 행한다고 하는 판정을 행하면 된다. 참조프레임(R2)과 제1보간프레임(I1) 사이의 상관값으로서 본다면, 전자의 「평가값이 임계값 미만」과 후자의 「평가값이 임계값 이상」이, 「상관값이 임계값 이상」에 대응하는 것으로 된다. 이러한 평가값으로서는, 이하에 나타낸 바와 같이, 예컨대 몇 개의 값을 이용할 수 있다.
우선은 화상신호의 휘도성분의 프레임 사이 차분에 기초하여 예를 설명한다.
첫번째는 평균제곱오차(Mean Squared Error)(이하, MSE)로 불리는 평가값이고, 이것은 이하와 같이 표현할 수 있다.
Figure 112004008883230-pat00001
여기서, fref(x,y)는 참조화상[제2참조프레임(R2)에 상당]의 점(x,y)에서의 휘도값, fcomp(x,y)는 보간화상[이 경우, 보간프레임(I1)에 상당]의 점(x,y)에서의 휘도값, (N,M)은 화상 사이즈를 각각 나타낸다. 여기서는 화상 전체에 대해 계산을 하고 있는 예를 들었지만, 사이즈는 임의로 결정할 수 있고, 화면 내의 일부분을 대상으로 하는 것도 가능하다. 수학식 1의 평가값은 값이 작을수록 질이 높은 것을 나타낸다.
두번째로서, 서브젝티브(subjective) 평균제곱오차(이하, SMSE)로 불리는 평균값이 예로 들어진다. 이것은 MSE를 기초로 인간 눈의 특성을 고려하여 넣은 평균값이고, 이하와 같이 나타내어진다.
Figure 112006007257742-pat00036
여기서, fref(x,y)는 참조화상[제2참조프레임(R2)에 상당]의 점(x,y)에서의 휘도값, fcomp(x,y)는 보간화상[이 경우, 보간프레임(I1)에 상당]의 점(x,y)에서의 휘도값, (N,M)은 화상 사이즈, g(x,y)는 오차의 인지도, α(x,y)는 점(x,y)의 무게를 각각 나타내고, p는 작은 오차와 큰 오차의 중요도의 관계를 결정하는 변수를 나타낸다. g(x,y), α(x,y), p에는, 예컨대 다음의 수학식 3을 이용할 수 있다.
Figure 112004008883230-pat00003
여기서, M2X2(f(x,y))는 2 X 2 사이즈의 윈도우 내의 선형평균을 나타내고, 이것은 인간 눈의 저역통과(low pass) 특성을 기술한 것이다. 수학식 1의 MSE와 동일하게, 여기서는 화상 전체에 대해 계산을 하고 있는 예를 들었지만, 사이즈는 임의로 결정할 수 있고, 화면 내의 일부분을 대상으로 하는 것도 가능하다. 수학식 2의 SMSE도 수학식 1의 MSE와 동일하게 값이 작을수록 질이 높은 것을 나타낸다.
다음으로, 화상의 색차신호에 착안한 평가값에 관해 설명한다. 이것은 수학식 1의 MSE나 수학식 2의 SMSE를 확장함으로써 얻을 수 있다. 수학식 1의 MSE에서는 f(x,y)를 화상신호의 휘도성분으로 했지만, 이것을 화상신호의 색차성분으로 하여 치환하면 된다. 색차신호(Cb)에 상당하는 것으로서는 수학식 1에서의 f(x,y)를 색차신호(Cb)로 치환하여 이것을 MSE[Cb]로 하고, 색차신호(Cr)에 상당하는 것으로서는 수학식 1에서의 f(x,y)를 색차신호(Cr)로 치환하여, 이것을 MSE[Cr]로 얻을 수 있다. 동일하게 하여 SMSE에 관해서도, 수학식 2에서의 f(x,y)를 색차신호(Cb,Cr)로 치환하고, 이것을 SMSE[Cb], SMSE[Cr]로 얻을 수 있다. 이들 MSE[Cb], MSE[Cr], SMSE[Cb] 및 SMSE[Cr]는 모두 값이 작을수록 질이 높음을 나타낸다.
상기 2개의 휘도성분에 기초한 평균값과, 색차성분에 기초한 평균값을 조합하여 사용하는 것도 가능하다. 예컨대, 휘도성분, 색차성분 모두를 사용한 평가값으로서는 이하의 값을 생각할 수 있다.
Figure 112004008883230-pat00004
수학식 4는 각각 MSE, SMSE를 확장한 것이고, 모두 값이 작을수록 질이 높은 것을 나타낸다.
다른 평가값으로서는 2개의 프레임에서 일치하고 있는 화소수를 세고, 그 화소수가 많은 쪽을 질이 높다고 하는 일치 화소수화(Sum of Agreement Pixels, 이하 SAP)이다. 이러한 평가값은 이하와 같이 표현된다.
Figure 112004008883230-pat00005
여기서, fref(x,y)는 참조화상[제2참조프레임(R2)에 상당]의 점(x,y)에서의 휘도값, fcomp(x,y)는 보간화상[이 경우, 보간프레임(I1)에 상당]의 점(x,y)에서의 휘도값, (N,M)는 화상 사이즈, T는 임계값(예컨대 3 등)을 각각 나타낸다. 여기서는 화상 전체에 대해 계산을 하고 있는 예를 들었지만, 사이즈는 임의로 결정할 수 있고, 화면 내의 일부분을 대상으로 하는 것도 가능하다. 이러한 평가기준은 큰 것일수록 질이 높은 것을 의미한다. SAP에 관해서도, 상기 MSE 등과 동일하게 색차신호에 대해 SAP[Cb], SAP[Cr]를 구하는 것이 가능하고, 수학식 5에서의 f(x,y)를 색 차신호(Cb,Cr)로 치환하면 된다. 휘도성분에 기초한 평가값과 색차성분에 기초한 평가값을 이하와 같이 조합시켜 사용하는 것도 가능하다.
Figure 112004008883230-pat00006
또한, 다른 평가값과 맞추기 위해, 이하와 같이 함으로써, 값이 작을수록 질이 높은 것을 표현할 수 있게 된다.
SAP' = NM - SAP
다음으로, 이하의 평가값은 상호 상관관계(Cross Correlation Function, 이하 CCF)를 이용한 것이다.
Figure 112004008883230-pat00007
여기서는 휘도의 차분값을 이용하지 않고, 휘도의 곱셈값, 나눗셈값이 이용되고 있다. 이러한 평가값은 1.0에 가까울수록 상관이 높은 것을 나타내지만, 다른 지표와 맞추기 위해, 이하와 같이 함으로써, 값이 작을수록 질이 높은 것을 표현하도록 변환한다.
CCF' = 1.0 - CCF
또한, 다른 평가값과 동일하게 색차신호에 대해 CCF[Cb], CCF[Cr]을 구할 수 있고, 수학식 9에서의 f(x,y)를 색차신호(Cb,Cr)로 치환하면 된다. 휘도성분에 기초한 평가값과, 색차성분에 기초한 기준을 조합하여 사용하는 것도 가능하고, 이하와 같이 표현할 수 있다.
Figure 112004008883230-pat00008
임계값의 설정은, 예컨대 PSNR(peak signal to noise ratio)로부터 설정할 수 있다. PSNR에서의 허용한계는 일반적으로 32[dB]로 되어 있고, 이것에 대응하는 MSE 값은 41.0279이기 때문에, 임계값을 41.0279로 설정하면, 허용한계를 밑도는 경우에는 보간을 행하지 않는다고 하는 것이 가능하다.
<제2보간프레임 생성부(16)의 처리>
상술한 보간 판정, 즉 단계 S105에서의 제2참조프레임(R2)과 제1보간프레임(I1)과의 상관값과 임계값의 비교 결과, 상관값이 임계값 이상, 요컨대 보간을 행한다고 판정된 경우에는, 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 움직임벡터를 이용하여 양 참조프레임(R2,R3) 사이의 시간적 중앙위치에 대응하는 제2보간프레임(I2)을 생성한다(단계 S106).
보간을 행한다고 판정된 경우에는, 제1보간프레임(I1)의 생성과 동일하게 도 5, 도 6 및 도 7에 나타낸 바와 같은 다양한 보간프레임 생성방법을 이용하여 제2보간프레임(I2)을 생성할 수 있다. 한편, 상관값이 임계값 미만, 요컨대 보간을 행하지 않는다고 판정된 경우에는 제2참조프레임(R2)을 그대로 출력한다(단계 S107).
<표시장치(17)의 처리>
표시장치(17)에서의 화상표시에 즈음해서는, 타이밍 콘트롤러(18)로부터의 제어에 의해 화상표시 시스템 이외의 시스템, 예컨대 음성 시스템의 출력 타이밍을 화상신호의 1 프레임분(이 경우, 1/60초) 만큼 타이밍 콘트롤러에 의해 지연시켜(단계 S108), 화상의 표시 타이밍에 맞춰 제2참조프레임(R2)을 표시하고(단계 S109), 1/120초 후에 제2보간프레임(I2)을 표시한다(단계 S110). 여기에서는, 제1보간프레임(I1)의 생성에서 제2보간프레임(I2)의 생성까지의 처리를 1/60초 이내로 종료한다고 가정하고 있다.
이와 같이 본 실시형태에서는, 보간프레임의 질을 검증하는 단계를 두고, 보간프레임의 질이 낮다고 판정된 경우에는 보간을 행하지 않는다고 하는 선택사항을 설치함으로써, 낮은 질의 보간프레임을 내삽해 버리는 것에 의한 동화상 전체의 질의 저하라고하는 문제를 회피할 수 있다.
보간프레임을 내삽하기 위한 보간 위치로는, 당연한 것이지만 원래 프레임은 존재하지 않기 때문에, 종래의 수법으로는 보간프레임의 질을 확실히 검증하는 수단이 없다. 이에 대해, 본 실시형태에서는 인접 프레임에 대해 보간을 행함으로써, 인접 프레임 위치에서의 보간 정도를 구하고, 이러한 보간 정도를 기초로 하여 보간 위치의 보간 정도를 유추함으로써, 보간프레임의 질을 검증하고 있다. 인접 프 레임과 보간프레임의 시간적 틈은 가까우므로, 동화상의 시간적 연속성으로부터 인접 프레임 위치에서의 검증 결과를 보간프레임 위치의 검증 결과로서 유추하는 것은 타당하다고 생각된다.
한편, 동화상의 시간적 연속성을 가정할 수 없는 경우도 있다. 이와 같은 예로서, 예컨대 장면 변경(scene change)의 발생이 생각될 수 있다. 장면 변경이 있다면, 장면 변경 시점보다 전의 프레임과 다음의 프레임에 연속성이 전혀 없고, 양 프레임은 완전히 다른 화상으로 된다. 도 8 및 도 9를 이용하여 장면 변경 시에서의 본 실시형태의 동작을 설명한다.
도 8은 장면 변경 부분에서 보간프레임을 삽입하는 경우의 동작이다. ① 제1보간프레임(I1)을 생성하는 때에는, 장면 변경 전의 화상과 장면 변경 후의 화상으로부터 보간프레임(I1)을 만드는 것으로 되기 때문에, 생성되는 보간프레임은, 예컨대 절반이 전의 프레임의 화상, 절반이 후의 프레임의 화상이라고 하는 프레임으로 되버린다. 이와 같은 화상은 제2참조프레임(R2)과의 매칭이 매우 나쁘기 때문에, 보간 판정의 평가값은 매우 나쁘게 된다. 즉, 상관값은 현저히 치밀한 값을 나타내기 때문에, 보간을 행하지 않는다고 하는 판정이 이루어지고, 제2참조프레임(R2)의 화상이 그대로 삽입된다.
이와 같이 장면 변경 시에 부적절하여 무분별한 보간프레임이 삽입되는 일이 없기 때문에, 확실한 보간 판정이 행해지고 있는 것을 알 수 있다. 도 9의 경우도 동일하다. 즉, 동화상의 연속성을 가정할 수 없는 경우에도, 정상으로 보간 판정기능이 작용하는 것을 알 수 있다.
(제2실시형태)
도 10은 본 발명의 제2실시형태에 따른 화상표시 시스템이고, 제2보간프레임 생성부(20)는 제1보간프레임 생성부(14)로부터 입력되는 제1움직임벡터(MV1)의 스케일 변환을 행하는 벡터 스케일 변환부(21)와, 스케일 변환 후의 제2움직임벡터(MV2)를 이용하여 움직임벡터 보상을 행하는 움직임 보상부(22)를 갖는다.
이하, 제1실시형태와 동일하게 입력의 화상신호(동화상신호)가 60Hz의 논인터레이스 신호이고, 60Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써 120Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
본 실시형태에 있어서도 제1실시형태와 동일하게, 낮은 질의 보간프레임을 내삽해버리는 것에 의한 동화상 전체의 화질저하를 방지하기 위해, 생성되는 보간프레임의 질을 검증하고, 질이 낮다고 판정된 경우에는 보간을 행하지 않는 것과 같이 구성된다. 제1실시형태와 다른 점은 제2보간프레임 생성부(20)가 제1보간프레임 생성부(14)에서 얻은 움직임벡터(MV1)를 이용하여 제2보간프레임(I2)을 생성한다는 점이다. 이렇게 함으로써, 전체의 계산 시간을 반으로 할 수 있다.
이하, 도 11과 도 12를 이용하여 본 실시형태에서의 프레임 보간의 처리수순에 관해 설명한다. 도 12에서의 단계 S201로부터 S203까지의 제1보간프레임(I1)의 생성처리와 단계 S204로부터 S205까지의 보간 판정처리 및 단계 S208로부터 S210까 지의 표시처리는 제1실시형태와 동일하므로 설명을 생략하고, 제2보간프레임(I2)의 생성처리에 관해서만 설명한다.
<제2보간프레임 생성부(20)>
제2보간프레임의 생성에 즈음해서는 단계 S205에 의해 참조프레임(R2)과 제2보간프레임(I1)의 상관값이 임계값 이상, 즉 보간을 행한다고 판정된 경우에는, 도 11에 나타낸 바와 같이, 우선 제1보간프레임 생성부(14)에서 얻어진 제1움직임벡터(MV1)를 제2보간프레임(I2)의 내삽 위치에 따라 스케일 변환하고, 제2움직임벡터(MV2)를 생성한다(단계 S206A).
다음으로, 스케일 변환 후의 제2움직임벡터(MV2)와 제2참조프레임(R2) 및 제3참조프레임(R3)을 이용하여 움직임보상을 행함으로써, 제2보간프레임(I2)을 생성한다(단계 S206B). 한편, 단계 S205에서 상관값이 임계값 미만, 요컨대 보간을 행하지 않는다고 판정된 경우에는, 제2참조프레임(R2)을 그대로 출력한다(단계 S207). 벡터 변환 단계(S206A) 및 움직임 보상 단계(S206B)의 처리를 더욱 구체적으로 설명한다.
<벡터 스케일 변환 단계>
벡터 스케일 변환 단계(S206A)에서는 제1보간프레임의 생성 시에 얻어진 움직임벡터(MV1)를 스케일 변환, 즉 벡터 길이의 변환을 행하여 제2움직임벡터(MV2)를 생성한다. 여기서는, 제2보간프레임(I2)을 제2참조프레임(R2)과 제3참조프레임(R3) 사이의 시간적 중앙 위치에 삽입하는 것을 목적으로 하기 때문에, MV1의 길이를 1/2로 하여 MV2로 한다. 구체적으로는, MV1 = (Vx, Vy)로 하면, MV2 = (sVx, sVy)는,
sVx = 1/2 * Vx
sVy = 1/2 * Vy
로 계산된다.
<움직임 보상 단계>
움직임 보상 단계(S206B)에서는, 단계 S206A에서 얻어진 스케일 변환 후의 제2움직임벡터(MV2)에 의해 지시되는 제3참조프레임(R3) 상의 화상 블록(B1)을 이용하여 움직임 보상을 행하고, 보간프레임(I2)을 작성한다. 도 11을 이용하여 설명한다.
제1보간프레임(I1)의 생성에서 보간프레임(I1)을 소블록으로 분할하지만, 제2참조프레임(R2)과 제3참조프레임(R3) 사이의 보간프레임(I2) 상에도 동일한 소블록을 고안한다. 보간프레임(I2)상의 각 소블록에 대응한 움직임벡터는 길이가 1/2로 변환된 움직임벡터(MV2)이다. 이러한 움직임벡터(MV2)가 지시하는 제3참조프레임(R3) 상의 블록(B1)을 움직임 보상하는, 요컨대 보간프레임(I2) 상의 해당 소블록 위치에 복사함으로써, 보간프레임(I2)을 작성한다.
본 실시형태에 의하면, 제1실시형태와 동일하게 보간프레임의 질을 검증하고, 보간프레임의 질이 낮다고 판정된 경우에는 보간을 행하지 않는다고 하는 선택사항을 설치함으로써, 낮은 질의 보간프레임을 내삽하는 것에 의한 동화상 전체의 질의 저하라는 문제를 회피함과 동시에, 제1보간프레임(I1)의 생성시에 구해진 움직임벡터를 제2보간프레임(I2)의 생성시에 재이용함으로써, 계산시간을 1/2로 단축하는 것이 가능해진다.
(제3실시형태)
도 13은 본 발명의 제3실시형태에 따른 화상표시 시스템이고, 제1보간프레임생성부(14)로부터 출력되는 움직임벡터(MV1)를 스케일 변환하는 벡터 스케일 변환부(19)가 설치되고, 제2보간프레임 생성부(30)는 오버랩(overlap) 검출부(31)와 움직임 추정부(32) 및 움직임 보상부(33)에 의해 구성된다.
이하, 도 14 및 도 15를 이용하여 본 실시형태에서의 프레임보간 처리에 관해 기술한다. 제1실시형태와 동일하게 입력의 화상신호(동화상신호)가 60Hz의 논인터레이스 신호이고, 60Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써 120Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
본 실시형태는 제1실시형태와 동일하게 낮은 질의 보간프레임을 내삽하는 것에 의한 동화상 전체의 화질저하를 방지하기 위해 생성되는 보간프레임의 질을 검증하고, 질이 낮다고 판정된 경우에는 보간을 행하지 않는다고 하는 구성이다. 우선, 제1보간프레임 생성부(14)에서 얻은 움직임벡터(MV1)를 스케일 변환한 움직임벡터(MV2)를 이용하여 제2보간프레임(I2)을 생성하는 점은 제2실시형태와 공통이지만, 움직임벡터(MV2) 그것을 그대로 이용하는 것이 아니라, 실제의 탐색 범위를 한정하기 위해 움직임벡터(MV2)를 사용하는 점이 제2실시형태와 다르다.
이하, 도 14와 도 15를 이용하여 본 실시형태에서의 프레임보간의 처리수순 에 관해 설명한다. 도 15에서의 단계 S301로부터 S303 까지의 제1보간프레임(I1)의 생성처리와 단계 S304로부터 S305 까지의 보간판정 처리 및 단계 S308로부터 S310 까지의 표시처리는 제1 및 제2실시형태와 동일하므로 설명을 생략하고, 제2보간프레임(I2)의 생성처리에 관해서만 설명한다.
<제2보간프레임 생성부(30)의 처리>
제2보간프레임(I2)의 생성에 즈음해서는, 단계 S305에 의해 참조프레임(R2)과 제1보간프레임(I1)과의 상관값이 임계값 이상, 즉 보간을 행한다고 판정된 경우에는 도 14에 나타낸 바와 같이, 제1보간프레임 생성부(14)에서 얻어진 움직임벡터(MV1)를 제2보간프레임(I2)의 내삽 위치에 따라 스케일 변환하여 제2움직임벡터(MV2)를 생성한다(단계 S306A).
다음으로, 스케일 변환 후의 제2움직임벡터(MV2)가 보간프레임(I2) 상의 대상 블록에 대해 오버랩하는 영역(B2)을 검출하고, 오버랩 영역(B2)을 통한 움직임벡터에 의해 한정되는 탐색영역(S)을 탐색하여 제3움직임벡터(MV3)를 구하고, 움직임벡터(MV3)와 제2참조프레임(R2)과 제3참조프레임(R3)을 이용하여 움직임 보상을 행함으로써, 보간프레임(I2)을 생성한다(단계 S306B~단계 S306E). 한편, 단계 S205에서 상관값이 임계값 미만, 요컨대 보간을 행하지 않는다고 판정된 경우에는, 제2참조프레임(R2) 그대로 출력한다(단계 S307).
본 실시형태에서의 단계 S306A로부터 단계 S306E 까지의 제2보간프레임(I2)의 생성처리는 벡터 스케일 변환 단계(S306A)와, 오버랩 검출 단계(S306B~S306C), 움직임 추정 단계(S306D) 및 움직임 보상 단계(S306E)로 된다. 이하, 각 단계(S306A~S306E)의 처리에 관해 구체적으로 설명한다.
<벡터 스케일 변환 단계>
벡터 스케일 변환 단계(S306A)에서는, 제1보간프레임의 생성시에 얻어진 움직임벡터(MV1)를 스케일 변환, 즉 벡터 길이의 변환을 행하고, 제2움직임벡터(MV2)를 생성한다. 여기서에는, 제2보간프레임(I2)을 제2참조프레임(R2)과 제3참조프레임(R3) 사이의 시간적 중앙 위치에 내삽하는 것을 목적으로 하기 때문에, MV1의 길이를 1/2로 하여 MV2로 한다. 구체적으로는, MV1 = (Vx, Vy)로 하면, MV2 = (sVx, sVy)는,
sVx = 1/2 * Vx
sVy = 1/2 * Vy
로 계산된다. 또한, 여기서는 벡터의 종점을 고정하여 스케일 변환을 행한다.
<오버랩 검출 단계>
움직임벡터(MV2)는 움직임벡터(MV1)의 종점을 고정하여 스케일 변환을 행한 벡터이기 때문에, 움직임벡터(MV2)에 부수하는 블록은 보간프레임(I2) 상의 블록 격자와 일치할 이유는 없다. 거기에서 오버랩 검출 단계(S306B)에서는, 움직임벡터(MV2)에 부수하는 블록이 보간프레임(I2) 상의 대상 블록에 대해 어느 벡터의 것에서 어느 정도 오버랩하여 오는가를 검출한다. 즉, 움직임벡터(MV2)에 따라 제2보간프레임(I2) 상에 대상 블록틀을 이동시키고(단계 S306B), 계속하여 오버랩한 블록(B2)이 갖는 제3움직임벡터(MV3)에 의해 보간프레임(I2) 상의 대상 블록에 대한 실제의 탐색영역(S)을 결정한다(단계 S306B). 예컨대, 움직임벡터(MV3)가 지시하는 위치의 화소 위치로부터 상하좌우 4 화소를 탐색영역(S)으로 한다.
<움직임 추정 단계>
움직임 추정 단계(S306D)에서는, 보간프레임(I2) 상의 대상 블록을 중심으로 하여, 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 기하대칭적으로 탐색을 행함으로써 제4움직임벡터를 추정한다. 여기서 이용하는 탐색영역은 오버랩 검출 단계(S306B~S306C)에서 검출된 움직임벡터(MV3)에 의해 한정되는 탐색영역(S)이다.
<움직임 보상단계>
움직임 보상단계(S306E)에서는 움직임 추정단계(S306D)에서 추정된 움직임벡터에 의해 정한 제2참조프레임(R2)과 제3참조프레임(R3) 상의 화상 블록을 이용하여 움직임 보상을 행하고, 제2보간프레임(I2)을 작성한다.
본 실시형태에 의하면, 제1 및 제2실시형태와 동일한 효과를 얻을 수 있는 이외에, 더욱이 제2보간프레임 생성 단계에서 구한 제2움직임벡터(MV2)를 이용하여 실제 탐색영역(S)을 한정함으로써, 재계산 시간을 대폭적으로 단축하는 것이 가능해진다.
(제4실시형태)
도 16은 본 발명의 제4실시형태에 따른 화상표시 시스템이고, 보간판정부(25)가 블록 단위로 처리를 행하는 점이 이때 까지의 실시형태와 다르다.
여기서는 제1실시형태와 동일하게 입력의 화상신호(동화상신호)가 60Hz의 논 인터레이스 신호이고, 60Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써, 120Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
본 실시형태는 제1실시형태와 동일하게 낮은 질의 보간프레임을 내삽하는 것에 의한 동화상 전체의 화질저하를 방지하기 위해 생성되는 보간프레임의 질을 검증하고, 질이 낮다고 판정된 경우에는 보간을 행하지 않는다고 하는 구성이다.
여기서, 제1실시형태에서는 기본적으로는 화면 전체를 사용하여 보간프레임의 질의 검증을 행해 온 것에 대해, 제4실시형태는 화면의 일부분이 복수 프레임에 걸쳐 연속적 및 국소적으로 화질 열화를 일으키고 있어도, 이에 의해 동화상 전체의 화질 저하를 일으키지 않도록 한 예이다. 본 실시형태에서는, 이와 같은 연속적, 국소적인 화질 열화를 검출할 수 있도록, 도 17의 ②에 나타낸 바와 같이 블록 마다 구획된 영역에서 검증을 행한다. 이러한 검증결과에 의해, 1개의 블록에서도 복수프레임에 걸쳐 연속하여 화질 열화가 일어나고 있다고 판정된 경우에는 보간프레임을 내삽하지 않는다고 판정한다.
이하, 도 17과 도 18을 이용하여 본 실시형태에서의 프레임보간의 처리수순에 관해 설명한다. 도 18에서의 단계 S401로부터 S403 까지의 제1보간프레임(I1)의 생성처리와 단계 S416, S417의 제2보간프레임(I2)의 생성처리 및 단계 S418로부터 S420 까지의 표시처리는 이때 까지의 실시형태와 동일하므로 설명을 생략하고, 단계 S403 부터 S414 까지의 보간판정 처리에 관해서만 설명한다.
대상 블록이 몇 프레임 연속으로 낮은 질인가 라고 하는 것을 보존하는 변수로서, 풀(pool)[i]을 준비한다. 여기서, i는 블록의 인덱스 번호이다. 풀[i]은 모든 처리의 시작으로, 요컨대 화상신호가 입력되어 보간처리를 개시하기 전에, 모두 0을 대입해 둔다.
<보간판정 단계>
보간판정 단계에서는, 블록 마다 보간프레임(I1)과 제2참조프레임(R2)의 검증을 행하고, 복수 프레임에 걸쳐 연속하여 질이 낮은 블록이 존재한 경우에는 보간을 행하지 않는다는 판정을 한다. 검증의 평가값으로서는, 제1실시형태에서 설명한 것과 동일하게 다양한 방법을 이용하는 것이 가능하다. 또한, 여기서 이용하는 블록은 제1보간프레임 생성 단계(S403)에서 이용되고 있는 사이즈의 블록도 되고, 다른 임의의 사이즈를 선택하는 것도 가능하다. 이하, 구체적인 수순을 설명한다.
우선, 제2참조프레임(R2)을 블록으로 분할한다(단계 S404). 이러한 블록은 상술한 바와 같이 제1보간프레임 생성 단계(S403)에서 이용되고 있는 사이즈의 블록 또는 그 다른 임의의 사이즈의 블록이다.
보간을 행할지 말지의 판정 플래그로서 보간flag를 준비하고, 초기값으로서 true를 부여한다(단계 S405). 보간flag가 true이면 보간을 한다고 하는 판정을 행하고, false이면 보간을 행하지 않는다고 하는 판정을 행한다. 보간판정 단계 이후의 처리는 블록 마다의 루프(loop) 처리로 된다(단계 S406).
i번째의 블록에 관해, 대상 블록위치에서의 제2참조프레임(R2)과 제1보간프레임(I1)을 비교하여 제1보간프레임(I1)의 질을 검증한다. 즉, 참조프레임(R2)과 제1보간프레임(I1)과의 상관값을 계산하고(단계 S407), 임계값 이상인가 아닌가를 조사한다(단계 S408).
여기서, 상관값이 임계값 이상인 경우, 요컨대 질이 임계값 보다 좋은 경우에는, 단계(S412)에서 처리를 진행하고, 풀 변수를 0으로 되돌린다(풀[i] = 0). 상관값이 임계값 미만, 요컨대 설정된 평가값에 따라 구한 질이 임계값 보다 나쁜 경우에는, 단계(S409)에서 처리를 진행하고, 풀 변수에 1을 추가한다(풀[i] = 풀[i] + 1).
다음으로, i 번째 블록이 설정 프레임수에 걸쳐 연속하여 질이 낮은지 어떤지 판정한다. 예컨대, 설정 프레임수를 임계값 2로 하면, 풀 변수가 임계값 2 보다 큰지 아닌지에 의해, 그 판정을 행하는 것이 가능하다. 즉, 풀[i]>임계값 2인지 어떤지를 판정하고(단계 S410), 만일 크다면 연속하여 질이 낮다고 하는 것으로 되어 보간을 행하지 않고, 요컨대 보간flag에 false를 대입한다(단계 S411). 그것 이외이면 보간을 행하기 때문에, 보간flag는 단계(S405)에서 설정된 true 그대로이다.
상술한 단계 S406~S412의 처리를 단계 S413에서 모든 블록에 관해 행했다고 판정되기 까지 반복하여 행함으로써, 보간판정을 종료한다.
이와 같이 본 실시형태에서는, 블록 마다 보간판정을 행함으로써, 국소적인 화질 열화에도 대응할 수 있는 프레임보간을 실현하는 것이 가능하게 된다.
(제5실시형태)
다음으로, 도 19~도 20에 나타낸 플로우차트를 이용하여 본 발명의 제5실시형태에 관해 설명한다. 본 실시형태에서의 화상표시 시스템은, 예컨대 제1실시형태 에서 이용한 도 1에 나타낸 구성과 동일해도 된다.
이때 까지의 실시형태와 동일하게, 입력의 화상신호(동화상신호)가 60Hz의 논인터레이스 신호이고, 60Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써, 120Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
본 실시형태도, 제1실시형태와 동일하게 낮은 질의 보간프레임을 내삽하는 것에 의한 동화상 전체의 화질저하를 방지하기 위해 생성되는 보간프레임의 질을 검증하고, 질이 낮다고 판정된 경우에는 보간을 행하지 않는다고 하는 구성이다.
제4실시형태에서는 시간·공간적으로 국소적인 에러가 발생하고 있는 경우에 보간을 행하지 않는다는 판정을 함으로써, 동화상질 전체의 질을 유지하고 있다. 이 경우, 시간적으로 보면 어떤 일순간 만큼은 에러가 있지만, 그 주위의 시간에서는 에러가 발생하고 있지 않았다고 한다면, 보간을 행하지 않는다는 선택에 의해 동화상의 움직임이 일순간 원활하지 않게 되어 버린다. 이와 같은 움직임의 흐트러짐은 시인성이 상당히 높아 위화감을 느끼게 할 가능성이 있다. 그래서, 본 실시형태에서는 주위의 시간에서의 판정결과를 근거로하여, 대상으로 하는 보간 위치에서의 판정결과를 보정하는 처리를 설치함으로써, 시간의 연속성에 의한 위화감을 경감시킨다.
이하, 도 19~도 20을 이용하여 본 실시형태에서의 프레임보간의 처리수순에 관해 설명한다. 도 19~도 20에서 단계 S507 및 단계 S508의 제1보간프레임(I1)의 생성처리와 단계 S519로부터 S520 까지의 제2보간프레임(I2)의 생성처리 및 단계 S521로부터 S523 까지의 표시처리는 제1실시형태와 동일하므로 설명을 생략하고, 보간판정 처리에 주목하여 설명한다.
<프레임 메모리의 동작>
동화상신호인 화상신호(10)는 프레임 단위에서, 즉 시간적으로 연속한 프레임 데이터로서 연속적으로 입력되어 온다. 도 4에 나타낸 바와 같이, 어떤 순간에 입력되어 온 프레임 데이터를 임시로 i 프레임으로 한다. 이 때 과거의 누적으로부터, i-1, i-2,…, i-(L+1), i-(L+2) 프레임이 각각 프레임 메모리 L+2, L+1,…,12, 11에 격납되어 있다고 하자(L = 0으로 한 때의 도면 중 0번의 상태). i 프레임이 입력되고 나서 프레임 메모리(L+2, L+1,…,12, 11) 내부의 프레임 데이터를 이하와 같이 천이시킨다.
① 프레임 메모리(12) 내의 프레임 데이터를 프레임 메모리(11)로 옮긴다;
② 프레임 메모리(13) 내의 프레임 데이터를 프레임 메모리(12)로 옮긴다;
③ 입력된 i 프레임의 프레임 데이터를 프레임 메모리(13)에 격납한다.
이와 같이 함으로써, 프레임 메모리 11, 12,…, L, L+1, L+2에는 각각 i-(L+1), i-L,…,i-2, i-1, i 프레임의 프레임 데이터가 격납되어 있는 상태로 된다.
여기에서 편의상, 프레임 메모리(L) 내의 프레임 데이터를 제1참조프레임(R1), 프레임 메모리(L+1) 내의 데이터를 제2참조프레임(R2), 프레임 메모리(L+2) 내의 데이터를 제3참조프레임(R3)으로 정의한다. 참조프레임(R1,R2,R3)의 프레임 데이터에 억세스하는 것은 프레임 메모리(L,L+1,L+2)의 프레임 데이터에 억세스하는 것과 등가이다. 이상의 처리를 플로우로 나타내면, 도 19의 단계 S501~S507로 된다.
<보간판정 단계>
보간판정 단계에서는 단계 S508에서 생성된 제1보간프레임(I1)을 제2참조프레임(R2)과 비교하여 제1보간프레임(I1)의 질을 검증함으로써, 보간을 할지 하지 않을지를 판정한다. 즉, 참조프레임(R2)과 제1보간프레임(I1) 사이의 상관의 크기를 나타내는 상관값을 계산하고(단계 S509), 그 상관값이 임계값 이상이면 제1보간프레임(I1)의 질이 높다고 판정하고, 임계값 미만이면 질이 낮다고 판정한다(단계 S510). 이 판정의 결과에 따라, 이하와 같이 제2보간프레임(I2)을 생성한다.
우선, 단계 S510에서 상관값이 임계값 이상이라고 판정된 경우는 true를 보간 리스트의 말미에 삽입하고(단계 S511), 상관값이 임계값 미만이라고 판정된 경우에는 false를 보간 리스트의 말미에 삽입한다(단계 S512). 이후, 보간 리스트의 길이를 말미로부터 M으로 갱신한다(단계 S513). 다음으로, M의 중앙값을 H로 하여 보간 리스트[H]가 false인지 아닌지를 조사하고(단계 S514~S515), [H]가 false라면 보간 리스트[H]에 관해 템플릿(template) 매칭을 행하고, 매치하는 경우에는 보간 리스트[H]를 true로 하여(단계 S516), 단계 S517로 처리를 이동하고, [H]가 false가 아니면 단계 S517로 처리를 이동한다.
단계 S517에서는, 현 프레임(L)을 제3참조프레임(R3)으로 하여 프레임메모리(13)로부터 취득하고, 더욱이 프레임(L-1)을 제2참조프레임(R2)으로 하여 프레임 메모리(12)로부터 취득한다. 여기서, 보간 리스트[H]가 true인지 아닌지를 조사하여 보간을 행할지 말지를 판정한다(단계 S518). 이하, 제1실시형태와 동일하게 보간을 행한다고 판정한 경우에는 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 양 프레임(R2,R3) 사이의 시간적 중앙 위치에 대응하는 제2보간프레임(I2)을 생성한다(단계 S520). 보간을 행하지 않는다고 판정된 경우에는 제2참조프레임(R2)을 그대로 출력한다(단계 S519).
표시처리에 즈음해서는, 화상표시 시스템 이외의 시스템의 출력 타이밍을 본 실시형태에서는 화상신호의 L+1 프레임분 만큼 지연시키고(단계 S521), 화상의 표시 타이밍에 맞춰 제2참조프레임(R2)을 표시하고(단계 S522), 더욱이 제2보간프레임(I2)을 표시한다(단계 S523).
(제6실시형태)
다음으로, 도 21과 도 22~도 23을 이용하여 본 발명의 제6실시형태에 관해 설명한다. 본 실시형태에서의 화상표시 시스템의 구성은, 예컨대 제1실시형태에서 이용한 도 1과 동일해도 된다.
이때 까지의 실시형태와 동일하게, 입력의 화상신호(동화상신호)가 60Hz의 논인터레이스 신호이고, 60Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써, 120Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
보간 프레임의 생성방법으로서는, 제1실시형태에도 기술한 바와 같이 다양한 방법을 선택할 수 있지만, 각각의 방법에는 일장일단이 있다. 예컨대, 동화상의 정 지영역에 관해서는 움직임벡터를 이용하지 않는 보간프레임 생성방법, 요컨대 전 프레임을 보간프레임으로서 이용하거나, 전후의 프레임의 평균을 취하거나 하는 것과 같은 보간법의 정밀도가 높아진다.
움직임 영역에 관해서는, 움직임벡터를 이용하는 보간프레임 생성방법의 편이 정밀도가 높아진다. 더욱이, 움직임 영역에서도 움직임이 복수로 분할되어 있는 영역에 관해서는, 영역 분할형의 보간프레임 생성방법에 의해 보다 정밀도를 높일 수 있는 것이지만, 움직임이 단일인 영역에 관해서는 영역분할을 하지 않는 편이 효과가 높다. 이와 같이, 세그먼트(segment) 마다 최적의 보간프레임 생성방법은 다르다.
여기 본 실시형태에서는, 블록 마다 최적인 보간프레임 생성방법을 선택가능하게 하기 위해, 보간판정 단계를 이용한다. 도 21의 ②에 나타낸 바와 같이, 블록 마다 복수의 보간프레임 생성방법에 의해 생성한 보간 블록(B11,B12,B13)을 보간판정에 의해 원래의 블록(B10)과 비교하고, 가장 평가값이 높아지는 보간프레임 생성방법이 실제의 보간프레임 위치에서도 최적일 것이라고 추정하고, 도 21의 ③에 나타낸 바와 같이, 해당 블록의 보간프레임 생성을 위해 실제로 이용하는 보간프레임 생성방법으로서 채용된다.
본 실시형태에서는 보간프레임 생성방법으로서, 제1실시형태에 나타낸 바와 같은 3개의 보간프레임 생성방법과, 전후의 인접 프레임을 평균화하는 방법 및 전 프레임을 그대로 사용하는 방법을 채용한다. 도 21의 B11, B12 및 B13은 이들의 생성방법에 의해 생성되는 보간 블록을 나타내고 있다. 다만, 본 실시형태에서 이용 되는 보간프레임 생성방법은 특히 이들에 한정될 이유는 없다. 예컨대, 제1실시형태에서 나타낸 3개의 보간프레임 생성방법으로부터 선택되어도 되고, 이들의 3개의 보간프레임 생성방법+평균 프레임+전프레임이라고 하는 것과 같은 구성으로도 상관없다.
<제1보간프레임 생성 단계>
제1보간프레임(I1)을 생성하는 때의 단계 S601 부터 S602 까지의 처리는 제1실시형태와 동일하다. 단계 S602 처리 후, 제1참조프레임(R1)과 제3참조프레임(R3)으로부터 움직임벡터를 구하고, 제2참조프레임(R2)의 시간위치에 대응하는 보간프레임(I1)을 생성한다(단계 S603). 여기에서, 보간프레임(I1)의 생성방법은 특히 한정되지 않고, 예컨대 제1실시형태에서 나타낸 바와 같은 다양한 보간프레임 생성방법을 선택할 수 있다. 예컨대, 제1참조프레임(R1)과 제3참조프레임(R3)의 화상데이터를 선형 평균하여 평균프레임을 구하거나, 더욱이 제1참조프레임(R1)을 전 프레임으로 하여 채용하도록 해도 된다.
<보간판정 단계>
이하에서는 블록 마다 최적인 보간프레임 생성방법을 선택하지만, 여기에서 말하는 블록은 보간의 때에 사용하는 블록이다. 보간판정 단계의 처리는 블록 마다의 루프 처리로 된다(단계 S606). i 번째(i는 블록의 인덱스)의 블록에 관하여 대상 블록 위치에서의 제2참조프레임(R2)과 보간프레임(I1), 평균프레임, 전 프레임의 질을 각각 검증한다(단계 S604~단계 S608). 즉, 참조프레임(R1,R3)의 화상데이터를 평균하여 평균프레임을 생성하고(단계 S604), 참조프레임(R2)을 복수의 소블 록으로 분할한다(단계 S605).
대상 블록의 위치에 있어서, 참조프레임(R2)과 보간프레임(I1) 사이의 상관값(C1)과, 참조프레임(R2)과 단계 S604에서 생성된 평균프레임 사이의 상관값(C2) 및 참조프레임(R2)과 참조프레임(R1) 사이의 상관값(C3)을 계산한다(단계 S607). 다음으로, 이들의 상관값(C1,C2,C3) 중 값이 최대인 상관값을 조사하고(단계 S608), C1이 최대이면 보간프레임(I1), C2가 최대이면 평균프레임, C3가 최대이면 전 프레임을 제2보간프레임(I2)의 생성방법으로서 각각 채용한다(단계 S609, 단계 S610, 단계 S611).
상술한 단계 S606~단계 S611의 처리를 단계 S612에서 모든 블록에 관해 행해졌다고 판정되기 까지 반복하여 행함으로써 보간판정을 종료한다.
<제2보간프레임 생성단계>
다음으로, 상술한 보간판정 단계에서 선택된 보간프레임 생성방법을 이용하여, 제2참조프레임(R2)과 제3참조프레임(R3)의 사이에 삽입하기 위한 보간프레임을 생성한다. 제2보간프레임 생성 단계의 처리는 블록 마다의 루프 처리로 된다(단계 S613). 우선, i 번째(i는 블록의 인덱스)의 블록에 관해 대상 블록위치에서의 상관판정 결과를 간파하고(단계 S614), 그것에 따라 이하의 처리를 행한다.
우선, 보간판정 결과가 평균프레임인 경우는, 제2참조프레임과 제3참조프레임의 해당 블록의 평균블록을 보간프레임에 복사한다(단계 S615).
보간판정 결과가 보간프레임(I1)인 경우는, 제1실시형태와 동일하게 해당 블록 위치에서 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 움직임벡터를 이용하 여 양 프레임(R2,R3) 사이의 시간적 중앙위치에 대응하는 보간블록을 생성하고, 보간프레임 상에 복사한다(단계 S616). 또한, 제2실시형태와 같이 새로이 벡터를 구하지 않고, 제1보간프레임 생성 단계에서 구한 해당 블록 위치의 움직임벡터를 유용하여 보간블록를 구해도 된다. 또는, 제3실시형태와 같이 보간블록을 구해도 된다. 보간판정 결과가 전 프레임인 경우는, 제2참조프레임의 해당 블록 위치를 보간프레임에 복사한다(단계 S617).
상술한 단계처리를 전체 블록만큼 반복하여 보간프레임(I2)을 생성한다. 또한, 상관값(C1,C2,C3)의 최대값을 임계값과 비교하고, 그 최대값이 그 임계값으로 만족되지 않는 때는 제2참조프레임(R2)을 보간프레임으로 해도 된다.
이와 같이 본 실시형태에서는, 블록 마다 복수의 보간프레임 생성방법에 의해 생성되는 보간 블록을 보간판정에 의해 원래의 블록과 비교판정하고, 가장 상관값이 높아지는 보간프레임 생성방법이 실제의 보간프레임 위치에서도 최적일 것이라고 추정하고, 실제의 보간프레임 생성을 위한 해당 블록의 보간프레임 생성방법으로서 채용한다. 이에 의해, 블록 마다 최적인 보간프레임 생성방법을 선택하는 것이 가능해진다.
(제7실시형태)
다음으로, 본 발명의 제7실시형태에 관해 설명한다. 본 실시형태는 입력되는 화상신호의 프레임 사이의 시간간격이 긴 경우에도 보간프레임에 대한 질 검증의 정밀도를 높여 고정밀도의 프레임보간을 가능하게 한다.
도 24에 본 발명의 제7실시형태에 따른 화상표시 시스템의 구성을 나타낸다. 제1보간프레임 생성부(14)와 제2보간프레임 생성부(16)가 앞뒤로 연속하여 접속된다. 제1보간프레임 생성부(14)에서는 참조프레임(R2,R3)으로부터 보간프레임이 생성된다. 제2보간프레임 생성부(16)에서는 보간프레임(I1)과 보간프레임(I0)으로부터 보간프레임(I2)이 생성된다. 보간판정부(15)에서는 참조프레임(R2)과 보간프레임(I2)으로부터 보간프레임(I1)의 질을 검증하기 위한 보간판정이 행해진다.
여기에서는, 입력의 화상신호(동화상신호)가 30Hz의 논인터레이스 신호(프로그레시브 신호)이고, 30Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써 60Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
제1실시형태에서는 제1보간프레임(I1)의 질을 검증하기 위해 참조프레임(R2)을 끼운 2개의 참조프레임(R1,R3) 사이의 프레임보간을 구하고 있다. 제7실시형태와 같이, 입력되는 화상신호가 30Hz이고, 인접 프레임 사이의 시간간격이 큰 경우(여기에서는, 1/30Hz)에는, 참조프레임(R1,R3) 사이의 시간간격도 커지기 때문에(여기에서는, 2/30Hz), 제1실시형태와 동일하게 참조프레임(R1,R3) 사이의 프레임보간으로부터 보간프레임(I1)의 질을 검증한다면, 보간 정밀도가 저하하거나, 탐색영역을 확장하지 않으면 않된다.
본 실시형태에서는, 질 검증용의 보간프레임을 1개의 참조프레임을 끼운 2개의 보간프레임의 프레임 보간에서 생성한다. 구체적으로는 도 25에 나타낸 바와 같이, ① 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 양 프레임(R2,R3)의 시간적 중앙위치에 대응하는 보간프레임(I1;제1보간프레임)을 생성하고, ② 보간프레임(I1)과 1개 전에 내삽한 보간프레임(I0;제2보간프레임)으로부터 제2참조프레임(R2)의 시간위치에 대응하는 보간프레임(I2;제3보간프레임)을 생성하고, ③ 보간프레임(I2)을 제2참조프레임(R2)과 비교함으로써, 보간프레임(I1)의 질을 검증하고, ④ 질이 규정보다 높다면, 요컨데 상관값이 임계값 이상이라면, 제2참조프레임(R2)과 제3참조프레임(R3) 사이에 보간프레임(I1)을 내삽한다는 처리를 행한다.
이에 의해, 시간간격이 짧은 2개의 프레임(I2,I0;이 경우, 시간간격은 1/30Hz)으로부터 보간프레임(I1)의 질을 검증하는 것을 달성할 수 있다. 보간프레임(I2)은 보간프레임(I1,I0) 사이의 프레임 보간으로부터 생성되기 때문에, 보간프레임 자체의 질은 양호하게 될 수 없다. 그러나, 보간프레임(I2)은 어디까지나 검증용이기 때문에, 본래의 질 검증을 위한 평가값을 보간프레임으로부터 보간프레임을 만드는 분만큼 어긋나게 두면, 질의 검증에는 지장이 없다. 또한, 실제로 내삽하는 것은 원래의 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 생성되는 보간프레임(I1)이기 때문에, 보간프레임으로부터 보간프레임을 만드는 것에 의한 에러는 혼입하지 않는다.
이하, 도 25와 도 26을 이용하여 본 실시형태에서의 프레임 보간의 처리수순에 관해 설명한다.
화상신호(10)는 프레임 단위에서, 즉 시간적으로 연속하는 프레임 데이터로서 연속적으로 입력되어 온다. 어떤 시간에 입력되어 온 프레임 데이터를 임시로 i 프레임으로 하면, 과거의 누적으로부터 프레임 메모리(12,13)에는 i-2, i-1 프레임의 데이터가 각각 격납되어 있다고 하자(단계 S701).
이 상태에서, 현재 입력되어 있는 화상신호의 프레임(현 프레임)을 참조프레임(R3)으로서 프레임 메모리(13)로부터 취득하고, 현 프레임 보다 1 프레임 전의 프레임을 참조프레임(R2)으로서 프레임 메모리(12)로부터 취득하고, 더욱이 1개 전의 보간프레임을 보간프레임(I0)으로서 프레임 메모리(11)로부터 취득한다(단계 S702). 참조프레임(R2,R3)으로부터 R2,R3의 시간적 중앙위치에 대응하는 제1보간프레임(I1)을 생성하고(단계 S703), 보간프레임(I0,I1)으로부터 참조프레임(R2)의 시간적 위치에 대응하는 보간프레임(I2)을 생성한다(단계 S704).
다음으로, 보간프레임(I1)의 질을 검증하기 위해, 보간프레임(I2)과 제2참조프레임(R2)과의 상관의 크기를 나타내는 상관값을 계산한다(단계 S705). 상관값을 임계값과 비교하고(단계 S706), 상관값이 임계값 이상이라면, 요컨대 질이 규정보다 위에 있다면, 제2참조프레임(R2)과 제3참조프레임(R3) 사이에 보간프레임(I1)을 내삽하고(단계 S707), 상관값이 임계값에 만족되지 않으면, 요컨대 보간프레임(I1)의 질이 낮으면, 참조프레임(R2)을 그대로 제2참조프레임(R2)과 제3참조프레임(R3) 사이에 내삽한다(단계 S708).
이후의 단계 S709로부터 S713까지의 표시처리는 제1실시형태와 동일하므로 설명을 생략한다.
이와 같이 본 실시형태에서는 입력의 화상신호가 30Hz의 논인터레이스 신호와 같이 프레임 사이의 시간간격이 긴 화상신호에 대해 프레임간 보간을 행하는 경 우에도 보간프레임의 질을 높은 정밀도로 검증함으로써, 높은 보간 정밀도를 얻을 수 있다.
(제8실시형태)
다음으로, 본 발명의 제8실시형태에 관해 설명한다. 본 실시형태는 제6실시형태와 제7실시형태를 조합한 예이다. 본 실시형태에서의 화상표시 시스템은 제7실시형태와 동일하고, 도 24에 나타낸 바와 같다. 여기에서는, 제7실시형태와 동일하게 입력의 화상신호(동화상신호)가 30Hz의 논인터레이스 신호(프로그레시브 신호)이고, 30Hz의 논인터레이스 신호에 대해 인접하는 2개의 참조프레임 사이의 시간적 중앙 위치(보간프레임 면)에 보간프레임을 생성하고, 이것을 2개의 참조프레임 사이에 내삽함으로써 60Hz의 논인터레이스 신호로 변환하는 경우를 예로 들어 설명한다.
본 실시형태에서는 제6실시형태와 동일하게 블록 마다 보간프레임 생성방법을 선택하는 예에 관해 나타낸다. 제7실시형태에서 기술한 바와 같이, 제6실시형태에서는, 입력되는 화상신호가 30Hz이고, 인접 프레임 사이의 시간간격이 큰 경우, 참조프레임(R1,R3) 사이의 프레임 보간으로부터 보간프레임(I1)의 질을 검증한다면, 보간 정밀도가 저하되거나, 탐색영역을 확장하지 않으면 않된다.
본 실시형태에서는 제7실시형태와 동일하게 질 검증용의 보간프레임(I2)을 보간프레임(I1)과 보간프레임(I0)으로부터 만듬으로써, 시간간격을 30Hz로부터 멀어지는 일 없이 검증용의 보간프레임을 생성한다. 구체적으로는 도 27에 나타낸 바와 같이, ① 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 양 프레임(R2,R3)의 시간적 중앙위치에 대응하는 보간프레임(I1)을 복수의 보간프레임 생성방법에 의해 생성하고, ② 보간프레임(I1)과 보간프레임(I0;1개 전에 내삽한 보간프레임)으로부터 제2참조프레임(R2)의 시간위치에 대응하는 보간프레임(I2)을 복수의 보간프레임 생성방법에 의해 생성하고, ③ 보간프레임(I2)의 해당 블록을 보간판정에 의해 원래의 블록과 비교하는 것으로 질을 검증하고, 가장 평균값이 높아지는 보간프레임 생성방법이 실제의 보간프레임 위치에서도 최적일 것이라고 추정하고, 도 27의 ④에 나타낸 바와 같이, 해당 블록의 보간프레임 생성을 위해 실제로 이용하는 보간프레임 생성방법으로서 채용하고, 요컨대 보간프레임(I1)군으로부터 합성하여 보간프레임(I3)을 생성한다.
보간프레임(I2)은 보간프레임(I1,I0) 사이의 프레임 보간으로부터 생성되기 때문에, 보간프레임 자체의 질은 양호하게 되지 않는다. 그러나, 보간프레임(I2)은 어디까지나 검증용이기 때문에, 본래의 질 검증을 위한 평가값을 보간프레임으로부터 보간프레임을 만드는 분만큼 어긋나게 두면, 질의 검증에는 지장이 없다. 또한, 실제로 내삽하는 것은 원래의 제2참조프레임(R2)과 제3참조프레임(R3)으로부터 생성되는 보간프레임(I3)[보간프레임(I1)]이기 때문에, 보간프레임으로부터 보간프레임을 만드는 것에 의한 에러는 혼입하지 않는다.
본 실시형태에서는 제6실시형태와 동일하게 보간프레임 생성방법으로서 전후의 인접 프레임을 평균화하는 방법과, 전 프레임을 그대로 사용하는 방법과, 제1실시형태에서 나타낸 바와 같은 3개의 보간프레임 생성방법을 채용하지만, 특히 이들에 한정되지 않고, 제1실시형태에서 나타낸 3개의 보간프레임 생성방법으로부터 선 택해도 되고, 그들의 3개의 보간프레임 생성방법과 평균 프레임 및 전 프레임이라고 하는 것과 같은 방법으로도 상관없다.
도 29 및 도 30에 본 실시형태에서의 구체적인 프레임 보간의 처리수순을 나타낸다. 도면으로부터 명백한 바와 같이, 본 실시형태에서의 처리수순은 제6실시형태의 처리수순을 나타낸 도 22 및 도 23에 제7실시형태에서의 처리수순을 나타낸 도 26을 조합한 것이고, 도면으로부터 그러한 수순은 분명하다.
또한, 본 발명은 상기 실시형태에 한정되지 않고, 실시단계는 그 요지를 벗어나지 않는 범위에서 구성요소를 변형하여 구체화할 수 있다. 또한, 상기 실시형태에서 개시되어 있는 복수의 구성요소의 적당한 조합에 의해 다양한 발명을 형성할 수 있다. 예컨대, 실시형태에서 나타내는 전체 구성요소로부터 몇개의 구성요소를 삭제해도 된다. 더욱이, 다른 실시형태로부터의 구성요소를 적당히 조합해도 된다.
이상 설명한 바와 같이, 본 발명에 의하면 질이 높은 보간프레임을 생성하여 프레임 보간을 행할 수 있다.

Claims (16)

  1. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와;
    상기 제1참조프레임과 제3참조프레임으로부터 상기 제2참조프레임의 위치에 대응하는 제1보간프레임을 생성하는 단계;
    상기 제2참조프레임과 상기 제1보간프레임의 상관의 크기를 나타내는 상관값을 산출하는 단계;
    상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 제2보간프레임을 생성하는 단계 및;
    상기 상관값이 임계값 이상인 때 상기 제2보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 구비하여 이루어진 것을 특징으로 하는 프레임 보간방법.
  2. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와;
    상기 제1참조프레임과 제3참조프레임으로부터 상기 제2참조프레임의 위치에 대응하는 복수의 제1보간프레임을 각각 다른 보간프레임 생성방법에 의해 생성하는 단계;
    상기 제2참조프레임과 상기 복수의 제1보간프레임의 상관의 크기를 나타내는 상관값을 구하는 단계;
    상기 복수의 보간프레임 생성방법에서 상기 상관값을 최대로 하는 1개의 보간프레임 생성방법을 선택하는 단계;
    선택된 상기 1개의 보간프레임 생성방법에 따라 상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 제2보간프레임을 생성하는 단계 및;
    상기 제2보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 구비하여 이루어진 것을 특징으로 하는 프레임 보간방법.
  3. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와;
    상기 제2 및 제3참조프레임으로부터 상기 제2참조프레임과 제3참조프레임 사이의 위치에 대응하는 제1보간프레임을 생성하는 단계;
    상기 제1참조프레임과 제2참조프레임으로부터 생성되어, 상기 제1참조프레임과 제2참조프레임 사이에 이미 삽입되어 있는 제2보간프레임과, 상기 제1보간프레임으로부터 상기 제2참조프레임의 위치에 대응하는 제3보간프레임을 생성하는 단계;
    상기 제2참조프레임과 상기 제3보간프레임 사이의 상관의 크기를 나타내는 상관값을 산출하는 단계 및;
    상기 상관값이 임계값 이상인 때 상기 제1보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 구비하여 이루어진 것을 특징으로 하는 프레임 보간방법.
  4. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 단계와;
    상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 복수의 제1보간프레임을 다른 복수의 보간프레임 생성방법에 의해 생성하는 단계;
    상기 제1참조프레임과 제2참조프레임으로부터 생성되어, 상기 제1참조프레임과 제2참조프레임 사이에 이미 삽입되어 있는 제2보간프레임과, 상기 제1보간프레임으로부터 상기 제2참조프레임의 위치에 대응하는 복수의 제3보간프레임을 상기 복수의 보간프레임 생성방법에 의해 생성하는 단계;
    상기 제2참조프레임과 상기 복수의 제3보간프레임의 상관의 크기를 나타내는 상관값을 계산하는 단계;
    상기 복수의 보간프레임 생성방법에서 상기 상관값을 최대로 하는 1개의 보간프레임 생성방법을 선택하는 단계 및;
    상기 복수의 제1보간프레임 중, 선택된 상기 1개의 보간프레임 생성방법에 따라 생성되는 제1보간프레임을 상기 보간대상 위치에 삽입하는 보간 단계를 구비하여 이루어진 것을 특징으로 하는 프레임 보간방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 상관값을 계산하는 단계는,
    휘도성분의 프레임간 차분값, 색차성분의 프레임간 차분값, 휘도성분 및 색차성분의 프레임간 차분값, 휘도성분의 프레임간 곱셈값, 휘도성분의 프레임간 나눗셈값, 색차성분의 프레임간 곱셈값, 색차성분의 프레임간 나눗셈값, 휘도성분 및 색차성분의 프레임간 곱셈값, 휘도성분 및 색차성분의 나눗셈값의 적어도 1개에 기초하여 상기 상관값을 계산하는 것을 특징으로 하는 프레임 보간방법.
  6. 제1항 또는 제2항에 있어서, 상기 제1보간프레임을 생성하는 단계는,
    (a) 상기 제1참조프레임과 제3참조프레임 사이의 움직임벡터를 이용하여 상기 제1보간프레임을 생성하는 방법, (b) 상기 제1참조프레임과 제3참조프레임으로부터 제2참조프레임 위치까지의 거리에 따른 평균을 구해 제1보간프레임을 생성하는 방법 및, (c) 상기 제1참조프레임을 제1보간프레임으로 하는 방법, 의 적어도 1개의 방법에 의해 상기 제1보간프레임을 생성하는 것을 특징으로 하는 프레임 보간방법.
  7. 제1항 또는 제2항에 있어서, 상기 제2보간프레임을 생성하는 단계는,
    상기 제2참조프레임과 제3참조프레임 사이의 움직임벡터를 이용하여 상기 제2보간프레임을 생성하는 것을 특징으로 하는 프레임 보간방법.
  8. 제1항 또는 제2항에 있어서, 상기 제2보간프레임을 생성하는 단계는,
    상기 제2 및 제3참조프레임으로부터 상기 보간대상 위치까지의 거리에 따라 상기 제2 및 제3참조프레임의 평균을 구함으로써 상기 제2보간프레임을 생성하는 것을 특징으로 하는 프레임 보간방법.
  9. 제2항 또는 제4항에 있어서, 상기 상관값의 최대값을 임계값과 비교하여, 그 최대값이 그 임계값을 만족하지 않은 때 상기 제2참조프레임을 상기 보간대상 위치 에 삽입하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 프레임 보간방법.
  10. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 상관값을 계산하는 단계는,
    상기 상관값 계산대상인 두(2) 프레임을 각각 분할한 복수의 블록 단위로 상기 상관값을 계산하는 것을 특징으로 하는 프레임 보간방법.
  11. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 보간 단계는,
    보간하기 위한 프레임을 분할한 복수의 블록 단위로 행하는 것을 특징으로 하는 프레임 보간방법.
  12. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 입력부와;
    상기 제1참조프레임과 제3참조프레임으로부터 상기 제2참조프레임의 위치에 대응하는 제1보간프레임을 생성하는 제1보간프레임 생성부;
    상기 제2참조프레임과 상기 제1보간프레임의 상관의 크기를 나타내는 상관값을 산출하는 상관값 산출부;
    상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 제2보간프레임을 생성하는 제2보간프레임 생성부 및;
    상기 상관값이 임계값 이상인 때 상기 제2보간프레임을 상기 보간대상 위치에 삽입하는 보간위치 삽입부를 구비하여 구성된 것을 특징으로 하는 프레임 보간 장치.
  13. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 입력부와;
    상기 제1참조프레임과 제3참조프레임으로부터 상기 제2참조프레임의 위치에 대응하는 복수의 제1보간프레임을 각각 다른 보간프레임 생성방법에 의해 생성하는 제1보간프레임 생성부;
    상기 제2참조프레임과 상기 복수의 제1보간프레임의 상관의 크기를 나타내는 상관값을 구하는 상관값 산출부;
    상기 복수의 보간프레임 생성방법에서 상기 상관값을 최대로 하는 1개의 보간프레임 생성방법을 선택하는 선택부;
    선택된 상기 1개의 보간프레임 생성방법에 따라 상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 제2보간프레임을 생성하는 제2보간프레임 생성부 및;
    상기 제2보간프레임을 상기 보간대상 위치에 삽입하는 보간위치 삽입부를 구비하여 구성된 것을 특징으로 하는 프레임 보간장치.
  14. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 참조프레임 입력부와;
    상기 제2 및 제3참조프레임으로부터 상기 제2참조프레임과 제3참조프레임 사이의 위치에 대응하는 제1보간프레임을 생성하는 제1보간프레임 생성부;
    상기 제1참조프레임과 제2참조프레임으로부터 생성되어, 상기 제1참조프레임과 제2참조프레임 사이에 이미 삽입되어 있는 제2보간프레임과, 상기 제1보간프레임으로부터 상기 제2참조프레임의 위치에 대응하는 제3보간프레임을 생성하는 제2, 제3보간프레임 생성부;
    상기 제2참조프레임과 상기 제3보간프레임 사이의 상관의 크기를 나타내는 상관값을 산출하는 상관값 산출부 및;
    상기 상관값이 임계값 이상인 때 상기 제1보간프레임을 상기 보간대상 위치에 삽입하는 보간위치 삽입부를 구비하여 구성된 것을 특징으로 하는 프레임 보간장치.
  15. 화상신호의 시간적으로 연속하는 제1, 제2 및 제3참조프레임을 입력하는 참조프레임 입력부와;
    상기 제2참조프레임과 제3참조프레임 사이의 보간대상 위치에 대응하는 복수의 제1보간프레임을 다른 복수의 보간프레임 생성방법에 의해 생성하는 제1보간프레임 생성부;
    상기 제1참조프레임과 제2참조프레임으로부터 생성되어, 상기 제1참조프레임과 제2참조프레임 사이에 이미 삽입되어 있는 제2보간프레임과, 상기 제1보간프레임으로부터 상기 제2참조프레임의 위치에 대응하는 복수의 제3보간프레임을 상기 복수의 보간프레임 생성방법에 의해 생성하는 제2, 제3보간프레임 생성부;
    상기 제2참조프레임과 상기 복수의 제3보간프레임의 상관의 크기를 나타내는 상관값을 계산하는 상관값 산출부;
    상기 복수의 보간프레임 생성방법에서 상기 상관값을 최대로 하는 1개의 보간프레임 생성방법을 선택하는 선택부 및;
    상기 복수의 제1보간프레임 중, 선택된 상기 1개의 보간프레임 생성방법에 따라 생성되는 제1보간프레임을 상기 보간대상 위치에 삽입하는 보간위치 삽입부를 구비하여 구성된 것을 특징으로 하는 프레임 보간장치.
  16. 제12항 내지 제15항 중 어느 한 항에 기재된 프레임 보간장치에 의해 얻어지는 복수의 프레임을 화상으로서 표시하는 화상표시 시스템.
KR1020040014317A 2003-03-28 2004-03-03 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 KR100604394B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003090838A JP4220284B2 (ja) 2003-03-28 2003-03-28 フレーム補間方法、装置及びこれを用いた画像表示システム
JPJP-P-2003-00090838 2003-03-28

Publications (2)

Publication Number Publication Date
KR20040086553A KR20040086553A (ko) 2004-10-11
KR100604394B1 true KR100604394B1 (ko) 2006-07-25

Family

ID=33404358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040014317A KR100604394B1 (ko) 2003-03-28 2004-03-03 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템

Country Status (4)

Country Link
US (1) US7180548B2 (ko)
JP (1) JP4220284B2 (ko)
KR (1) KR100604394B1 (ko)
CN (1) CN100448287C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044569A2 (ko) * 2008-10-16 2010-04-22 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69920055T2 (de) * 1999-02-26 2005-09-15 Stmicroelectronics Asia Pacific Pte Ltd. Verfahren und vorrichtung zur bestimmung von zeilensprung-/nichtzeilensprungbildern und erkennung von wiederholten halbbildern und szenenänderungen
JP4003713B2 (ja) * 2003-08-06 2007-11-07 ソニー株式会社 画像処理装置および画像処理方法
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
EP1631068A3 (en) * 2004-08-26 2008-09-03 Samsung Electronics Co., Ltd. Apparatus and method for converting interlaced image into progressive image
JP4483501B2 (ja) * 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP4271115B2 (ja) * 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
JP4398925B2 (ja) 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
US8325273B2 (en) * 2005-06-06 2012-12-04 Broadcom Corporation System and method for vertical gradient detection in video processing
US7668366B2 (en) * 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
JP4398919B2 (ja) * 2005-08-22 2010-01-13 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
US7787048B1 (en) * 2005-09-08 2010-08-31 Nvidia Corporation Motion-adaptive video de-interlacer
US7619639B1 (en) * 2005-09-12 2009-11-17 Nvidia Corporation Adaptive scaling using a programmable video engine
US7796191B1 (en) 2005-09-21 2010-09-14 Nvidia Corporation Edge-preserving vertical interpolation
KR20070074781A (ko) * 2006-01-10 2007-07-18 삼성전자주식회사 프레임율 변환장치
WO2007085950A2 (en) 2006-01-27 2007-08-02 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
JP4417918B2 (ja) * 2006-03-30 2010-02-17 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
US8243194B2 (en) * 2006-05-31 2012-08-14 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for frame interpolation
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
JP4322904B2 (ja) * 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP4231071B2 (ja) * 2006-09-20 2009-02-25 株式会社東芝 画像表示装置、画像表示方法および画像表示プログラム
JP5002249B2 (ja) * 2006-11-30 2012-08-15 株式会社東芝 フレーム内挿装置及びフレーム内挿方法並びに画像表示装置
JP4844370B2 (ja) * 2006-12-04 2011-12-28 株式会社日立製作所 フレームレート変換装置及び表示装置
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
JP5125294B2 (ja) * 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
JP5080899B2 (ja) 2007-08-08 2012-11-21 キヤノン株式会社 映像処理装置及びその制御方法
JP4586052B2 (ja) * 2007-08-08 2010-11-24 キヤノン株式会社 画像処理装置及びその制御方法
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8649437B2 (en) * 2007-12-20 2014-02-11 Qualcomm Incorporated Image interpolation with halo reduction
US8265158B2 (en) * 2007-12-20 2012-09-11 Qualcomm Incorporated Motion estimation with an adaptive search range
JP4296218B1 (ja) * 2008-02-21 2009-07-15 シャープ株式会社 映像表示装置
JP5106203B2 (ja) * 2008-03-27 2012-12-26 株式会社東芝 補間画像生成装置、方法およびプログラム
CN101854537B (zh) * 2009-03-31 2014-03-26 深圳迈瑞生物医疗电子股份有限公司 一种超声图像数据优化及其造影定量分析方法和系统
CN101547368B (zh) * 2009-04-24 2011-03-09 炬力集成电路设计有限公司 一种图像中参考帧的处理装置、方法以及解码器
US8305500B2 (en) * 2010-04-08 2012-11-06 National Taiwan University Method of block-based motion estimation
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP5574830B2 (ja) * 2010-06-03 2014-08-20 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
JP2012089986A (ja) 2010-10-18 2012-05-10 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
JP2012095048A (ja) 2010-10-26 2012-05-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、及び画像表示方法
CN102479321B (zh) * 2010-11-26 2016-10-26 罗普特（厦门）科技集团有限公司 差异影像自动识别系统及方法
JP5782787B2 (ja) * 2011-04-01 2015-09-24 ソニー株式会社 表示装置および表示方法
JP2013098961A (ja) * 2011-11-07 2013-05-20 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
JP6335504B2 (ja) 2013-12-20 2018-05-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20150100998A (ko) 2014-02-24 2015-09-03 삼성디스플레이 주식회사 영상처리장치 및 영상처리방법
WO2015170410A1 (ja) 2014-05-09 2015-11-12 日立マクセル株式会社 映像再生装置、表示装置及び送信装置
KR102192488B1 (ko) * 2015-11-25 2020-12-17 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
CN105721740B (zh) * 2016-01-25 2018-12-07 四川长虹电器股份有限公司 平板电视运动图像的补偿方法
US10134114B2 (en) * 2016-09-20 2018-11-20 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
JP6932531B2 (ja) * 2017-03-28 2021-09-08 キヤノン株式会社 像ブレ補正装置、撮像装置および撮像装置の制御方法
WO2018185881A1 (ja) * 2017-04-05 2018-10-11 オリンパス株式会社 相関値演算装置
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
CN107295214B (zh) * 2017-08-09 2019-12-03 湖南兴天电子科技有限公司 插值帧定位方法及装置
EP3987770A4 (en) 2019-08-20 2022-08-17 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR IMPROVING THE GRAPHIC PERFORMANCE OF AN APPLICATION PROGRAM, AND METHOD OF OPERATION
KR102242334B1 (ko) * 2019-12-16 2021-04-20 한국전자기술연구원 데이터 변형을 통한 고해상도 동영상 프레임 율 고속 변환 방법 및 장치
CN111491204B (zh) * 2020-04-17 2022-07-12 Oppo广东移动通信有限公司 视频修复方法、装置、电子设备和计算机可读存储介质
CN111526370B (zh) * 2020-04-17 2023-06-02 Oppo广东移动通信有限公司 视频编码、解码方法及装置和电子设备
CN112995533A (zh) * 2021-02-04 2021-06-18 上海哔哩哔哩科技有限公司 视频制作方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980083721A (ko) * 1997-05-17 1998-12-05 윤종용 프레임 삽입방법 및 장치
JP2000224593A (ja) * 1999-01-28 2000-08-11 Nippon Telegr & Teleph Corp <Ntt> フレーム補間方法および装置およびこの方法を記録した記録媒体
KR20020067192A (ko) * 2001-02-15 2002-08-22 삼성전자 주식회사 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
KR20030033851A (ko) * 2001-10-25 2003-05-01 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0236519B1 (en) 1986-03-08 1989-06-07 ANT Nachrichtentechnik GmbH Motion compensating field interpolation method using a hierarchically structured displacement estimator
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
JP3181431B2 (ja) * 1993-05-21 2001-07-03 沖電気工業株式会社 動きベクトルを用いた適応動き内挿信号生成装置
JPH11284958A (ja) * 1998-03-27 1999-10-15 Victor Co Of Japan Ltd 画像補間方法
JP4135229B2 (ja) * 1998-09-29 2008-08-20 ソニー株式会社 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機
JP3903358B2 (ja) * 1998-10-20 2007-04-11 日本放送協会 動きベクトルの評価方法および装置
JP2001024988A (ja) 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
JP4040826B2 (ja) * 2000-06-23 2008-01-30 株式会社東芝 画像処理方法および画像表示システム
US6760376B1 (en) * 2000-11-06 2004-07-06 Koninklijke Philips Electronics N.V. Motion compensated upconversion for video scan rate conversion
JP2004080252A (ja) * 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980083721A (ko) * 1997-05-17 1998-12-05 윤종용 프레임 삽입방법 및 장치
JP2000224593A (ja) * 1999-01-28 2000-08-11 Nippon Telegr & Teleph Corp <Ntt> フレーム補間方法および装置およびこの方法を記録した記録媒体
KR20020067192A (ko) * 2001-02-15 2002-08-22 삼성전자 주식회사 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
KR20030033851A (ko) * 2001-10-25 2003-05-01 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044569A2 (ko) * 2008-10-16 2010-04-22 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010044569A3 (ko) * 2008-10-16 2010-07-08 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9686549B2 (en) 2008-10-16 2017-06-20 Sk Telecom Co., Ltd. Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same
US9736475B2 (en) 2008-10-16 2017-08-15 Sk Telecom Co., Ltd. Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same

Also Published As

Publication number Publication date
JP4220284B2 (ja) 2009-02-04
KR20040086553A (ko) 2004-10-11
CN100448287C (zh) 2008-12-31
CN1592398A (zh) 2005-03-09
US20040246374A1 (en) 2004-12-09
US7180548B2 (en) 2007-02-20
JP2004297719A (ja) 2004-10-21

Similar Documents

Publication Publication Date Title
KR100604394B1 (ko) 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템
KR100396558B1 (ko) 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100381348B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
EP0540714B1 (en) Video image processing
JPH02246686A (ja) 画像の動きベクトル検出装置および揺れ補正装置
US7936950B2 (en) Apparatus for creating interpolation frame
US8644387B2 (en) Motion estimation method
US20120093231A1 (en) Image processing apparatus and image processing method
EP1855474A1 (en) Method for generating an interpolated image between two images of an input image sequence
US20090136146A1 (en) Image processing device and method, program, and recording medium
JP2012525042A (ja) 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡
JP2008167103A (ja) 映像処理装置及びそれを備えた映像表示装置。
EP2564588B1 (en) Method and device for motion compensated video interpoltation
KR20080033094A (ko) 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스
US20110051005A1 (en) Method And Apparatus For Integrated Motion Compensated Noise Reduction And Frame Rate Conversion
KR20070063304A (ko) 움직임 추정장치 및 움직임 추정방법
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
US20080239144A1 (en) Frame rate conversion device and image display apparatus
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
KR100732683B1 (ko) 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법
KR20040078690A (ko) 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정
CA2257669C (en) Image processing apparatus, image processing method, and providing medium therefor
JPH0795591A (ja) ディジタル画像信号処理装置
KR100848509B1 (ko) 디스플레이장치 및 그 제어방법
KR100829098B1 (ko) 움직임 추정장치 및 움직임 추정방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090626

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee