KR100633715B1 - 움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치 - Google Patents

움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치 Download PDF

Info

Publication number
KR100633715B1
KR100633715B1 KR19990033122A KR19990033122A KR100633715B1 KR 100633715 B1 KR100633715 B1 KR 100633715B1 KR 19990033122 A KR19990033122 A KR 19990033122A KR 19990033122 A KR19990033122 A KR 19990033122A KR 100633715 B1 KR100633715 B1 KR 100633715B1
Authority
KR
South Korea
Prior art keywords
motion
class
detecting
image signal
motion class
Prior art date
Application number
KR19990033122A
Other languages
English (en)
Other versions
KR20000017281A (ko
Inventor
콘도테츠지로
다테히라야스시
우치다마사시
아사쿠라노부유키
모리무라다쿠오
안도가즈타카
나카야히데오
와타나베츠토무
이노우에사토시
니이츠마와타루
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20000017281A publication Critical patent/KR20000017281A/ko
Application granted granted Critical
Publication of KR100633715B1 publication Critical patent/KR100633715B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 화상 신호의 부분적 화상의 움직임 판정을 정확하게 행하고, 또한 움직임 판정을 클래스로서 사용하여 화상 신호를 상이한 주사선 구조의 것으로 변환하기 위한 것이다.
입력 화상의 부분 화상에 관하여 검출된 클래스 간 차분(FrG)이 임계값(th1,th2,th3)과 각각 비교된다. 부분 화상의 공간 액티비티로서 동적 범위(DR)가 검출되어 임계값(th4)과 비교된다. 공간 구배(SGsum)로부터 임계값(th1, th2, th3)이 생성된다. 비교 결과가 앤드 게이트(10)와 클래스 결정부(11)에 의해 처리되고, 4단계의 움직임 클래스(MD)가 결정된다. 또한, 움직임 클래스(MD)가 다수결 판정됨으로써, 최종적인 움직임(MJ)이 생성된다.
탭 구축, 움직임, 계수 데이터, 공간 클래스

Description

움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치{The movement judgement equipment and the method thereof, and the picture information converting apparatus}
도 1은 본 발명에 의한 움직임 판정 장치의 일 실시예의 일부 블럭도.
도 2는 본 발명에 의한 움직임 판정 장치의 다른 실시예의 일부 블럭도.
도 3은 본 발명의 일 실시예에 있어서 움직임 판정에 사용하는 탭을 도시하는 약선도.
도 4는 본 발명의 일 실시예에서의 움직임 클래스 MJ를 결정하는 논리를 도시하는 약선도.
도 5는 본 발명의 일 실시예에서의 임계값을 설명하기 위한 약선도.
도 6은 본 발명의 일 실시예에서의 움직임 클래스의 다수결 판정 처리에 사용하는 탭을 도시하는 약선도.
도 7은 본 발명의 일 실시예에의 움직임 클래스의 다수결 판정 처리의 모드를 도시하는 약선도.
도 8은 본 발명의 일 실시예에서의 움직임 클래스 MD를 결정하는 논리를 도시하는 약선도.
도 9는 본 발명의 일 실시예에서의 움직임 클래스의 다수결 판정 처리의 흐름을 도시하는 흐름도.
도 10은 본 발명을 적용할 수 있는 화상 정보 변환 장치의 일예의 블럭도.
도 11은 SD 화소와 525p의 화소의 위치 관계를 설명하기 위한 약선도.
도 12는 선순차 변환 동작을 설명하기 위한 파형도.
도 13은 SD 화소 및 525p의 화소의 위치 관계와, 공간 클래스 탭의 일예를 나타내는 약선도.
도 14는 계수 데이터를 취득하기 위한 구성의 일예를 나타내는 블럭도.
도 15는 SD 화소와 1050i의 화소의 위치 관계를 설명하기 위한 약선도.
* 도면의 주요부분에 대한 부호의 설명 *
2 : 탭 구축 회로 32 : 구간내 위치 판정 회로
입력 디지털 화상 신호를 다른 주사선 구조로 변환하는 화상 신호 변환 장치, 디지털 화상 신호를 압축하는 고능률 부호화 등의 화상 처리에 있어서, 화상의 주목 부분의 정지, 움직임을 판정하는 움직임 판정이 사용된다. 종래의 움직임 판정 장치에서는, 화상 부분(예컨대, 1 프레임의 화상을 세분화한 블럭)에 대하여 프레임간 차분의 절대값의 합을 구하고, 절대값의 합의 대소에 의해, 화상 부분의 움직임의 유무를 판정하도록 하여 왔다. 즉, 프레임간 차분의 절대값 합이 클 때에는 화상 부분에 움직임이 있다고 결정하고, 이것이 작을 때에는 정지라고 결정하고 있다.
종래의 움직임 판정은 정지 및 움직임의 2 단계의 판정이기 때문에, 정지 화상에 대한 처리를 행한 부분과 동화상에 대한 처리를 행한 부분의 경계에서, 화질의 차이가 눈에 띄게 되는 문제가 있었다. 또한, 프레임간 차분만을 이용한 판정은 잘못된 판정일 우려가 있다. 즉, 프레임간 차분이 큰 경우라도, 필드 내의 액티비티가 크면, 실제로는 정지 화상에 가까운 경우가 있고, 역으로, 프레임간 차분이 작은 경우라도, 필드 내의 액티비티가 없으면, 실제로는 동화상에 가까운 경우가 있다. 또한, 프레임간 차분과 필드 내 액티비티의 관계가 선형인 것을 이용한 움직임 판정 방법으로서, 구배법(句配法)이 공지되어 있다. 그렇지만, 구배법의 경우에는 필드 내의 액티비티의 대소에 따라 움직임 판정을 용이하게 하는 등의 유연성을 갖게 하는 것이 가능하지 않다는 문제가 있다.
따라서, 본 발명의 목적은 움직임 판정의 오류의 우려가 적고, 복수 단계의 판정 결과를 발생하는 것이 가능한 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치를 제공하는 것이다.
본원의 제 1 발명은, 입력 화상 신호의 부분 화상에 관하여 움직임을 검출하는 움직임 판정 장치에 있어서, 부분 화상에 관한 프레임간 차분을 검출하는 제 1 검출 수단과, 부분 화상에 관한 공간 액티비티를 검출하는 제 2 검출 수단과, 제 1, 제 2 및 제 3 임계값을 각각 발생하는 임계값 발생 수단과, 제 1 검출 수단에 의해 검출된 프레임간 차분을 적어도 제 1 및 제 2 임계값과 각각 비교하는 제 1 및 제 2 비교 수단과, 제 2 검출 수단에 의해 검출된 공간 액티비티를 제 3 임계값과 비교하는 제 3 비교 수단과, 제 1, 제 2 및 제 3 비교 수단의 비교 결과가 공급되고, 부분 화상의 움직임의 정도를 적어도 3 단계로 나타내는 움직임 클래스를 결정하는 수단으로 이루어지는 것을 특징으로 하는 움직임 판정 장치이다.
본원의 제 2 발명은, 입력 화상 신호의 부분 화상에 관하여 움직임을 검출하는 움직임 판정 방법에 있어서, 부분 화상에 관한 프레임간 차분을 검출하는 제 1 검출 단계와, 부분 화상에 관한 공간 액티비티를 검출하는 제 2 검출 단계와, 제 1, 제 2 및 제 3 임계값을 각각 발생하는 단계와, 제 1 검출 단계에 의해 검출된 프레임간 차분을 적어도 제 1 및 제 2 임계값과 각각 비교하는 단계와, 제 2 검출 단계에 의해 검출된 공간 액티비티를 제 3 임계값과 비교하는 단계와, 비교에 의해 얻어진 비교 결과가 공급되고, 부분 화상의 움직임의 정도를 적어도 3 단계로 나타내는 움직임 클래스를 결정하는 단계로 이루어지는 것을 특징으로 하는 움직임 판정 방법이다.
본원의 제 3 발명은, 입력 화상 신호로부터 주사선 구조가 다른 복수의 출력 화상 신호를 형성하도록 한 화상 정보 변환 장치에 있어서, 출력 화상 신호를 생성하기 위한 화소의 주변에 위치하는 입력 화상 신호의 복수의 제 1 화소를 선택하는 제 1 데이터 선택 수단과, 출력 화상 신호를 생성하기 위한 화소의 주변에 위치하는 입력 화상 신호의 복수의 제 2 화소를 선택하는 제 2 데이터 선택 수단과, 출력 화상 신호를 생성하기 위한 화소의 주변에 위치하는 입력 화상 신호의 복수의 제 3 화소를 선택하는 제 3 데이터 선택 수단과, 미리 취득되어 있는 추정식 계수를 기억하는 메모리 수단과, 제 1 데이터 선택 수단에서 선택된 복수의 제 1 화소와 추정식 계수의 선형 추정식에 의해, 출력 화상 신호의 화소를 생성하는 신호 생성 수단과, 제 2 데이터 생성 수단에서 선택된 복수의 제 2 화소에 기초하여 공간 클래스를 형성하고, 제 3 데이터 선택 수단에서 선택된 복수의 제 3 화소에 기초하여 움직임 클래스를 형성하고, 공간 클래스와 움직임 클래스를 통합한 클래스 정보에 대응하여 추정식 계수를 신호 생성 수단에 공급하는 클래스 결정 수단과, 신호 생성 수단에 대하여 접속되고, 변환 화상을 지정된 주사선 구조로 변환하기 위한 주사 변환 수단을 갖고, 움직임 클래스를 형성하기 위한 움직임 판정부는, 복수의 제 3 화소로 이루어지는 부분 화상에 관한 프레임간 차분을 검출하는 제 1 검출 수단과, 부분 화상에 관한 공간 액티비티를 검출하는 제 2 검출 수단과, 제 1, 제 2 및 제 3 임계값을 각각 발생하는 임계값 발생 수단과, 제 1 검출 수단에 의해 검출된 프레임간 차분을 적어도 제 1 및 제 2 임계값과 각각 비교하는 제 1 및 제 2 비교 수단과, 제 2 검출 수단에 의해 검출된 공간 액티비티를 제 3 임계값과 비교하는 제 3 비교 수단과, 제 1, 제 2 및 제 3 비교 수단의 비교 결과가 공급되고, 부분 화상의 움직임의 정도를 적어도 3 단계로 나타내는 움직임 클래스를 결정하는 수단으로 이루어지는 것을 특징으로 하는 화상 정보 변환 장치이다.
본 발명은, 프레임간 차분만이 아니라, 공간 액티비티를 반영한 움직임 판정을 행하기 때문에, 움직임 판정을 정확하게 행할 수 있다. 예컨대 프레임간 차분이 큰 경우라도, 필드 내의 액티비티가 큰 것으로부터, 정지 화상에 가까운 경우를 검출하거나, 프레임간 차분이 작아도, 액티비티가 없을 때에 동화상에 가까운 정보를 검출할 수 있다. 또한, 단지 움직임과 정지의 2 단계 판정이 아니라, 3 단계 이상으로 움직임의 정도를 판정하기 때문에, 움직임 판정에 기초하여 화상 처리를 행했을 때에, 처리 후의 화상이 부자연스럽게 되는 것을 방지할 수 있다.
또한, 본 발명에 의한 화상 정보 변환 장치에서는, 입력 영상 신호의 복수 화소에 기초하여 클래스를 검출하고, 각 클래스에서 최적으로 되는 추정 예측식을 사용하여 화소값을 생성하기 때문에, 종래의 화상 정보 변환 장치와 비교하여, 정지 화상, 동화상 모두 고화질로 할 수 있다. 또한, 움직임의 정보를 클래스의 정보에 넣기 때문에, 정지 화상/동화상의 검출과, 검출에 의한 변환을 불필요하게 할 수 있고, 변환시에 화질의 다름이 눈에 띄는 것을 방지할 수 있고, 또한 움직임 검출의 오류에 의한 열화를 대폭적으로 적게 할 수 있다.
또한, 본 출원인에 의해 본 출원에 관련한 선원으로서 하기의 출원이 있다.
(1) 일본특허출원 평09-115437호(미국특허출원에 대응하며 현재 계류중이다)
(2) 미국 특허 제5,049,990호
이하, 본 발명의 일 실시예에 관하여 도면을 참조하여 설명한다. 도 1 및 도 2는 본 발명의 일 실시예의 구성을 도시한다. 도 1의 구성은 입력 디지털 화상 신호로부터 움직임 클래스 MJ를 발생하는 부분이고, 도 2는 움직임 클래스 MJ로부터 다수결 판정에 의해 최종적인 움직임 클래스 MD를 발생하는 부분이다. 즉, 도 1에 도시하는 부분과 도 2에 도시하는 부분이 직렬로 접속되는 것에 의해 일 실시예가 구성된다.
최초로 도 1의 구성 부분에 대하여 설명한다. 입력 단자(1)로부터의 입력 디지털 화상 신호가 탭 구축 회로(2)에 공급된다. 일예로서, 입력 디지털 화상 신호가 인터레이스 신호로서, 탭 구축 회로(2)에서는, 도 3에 도시하는 50개의 화소가 움직임 판정에 사용하는 탭으로서 선택되고, 선택된 탭이 출력된다. 도 3은, t-1, t, t+1과 시간적으로 연속하는 3 필드의 공간적으로 동일 부분의 화상을 도시하고 있다. 도 3 중의 도트는 소정 주파수로 샘플링되는 것이 얻어지는 화소를 나타낸다. 예컨대, 1 화소는 8 비트의 휘도값이다.
시간 t-1의 필드에서는 시간적으로 연속하는 3 라인의 각각으로부터 대응하는 위치의 5개의 탭이 선택된다. 마찬가지로, 시간 t+1의 필드에서는 시간적으로 연속하는 3 라인의 각각으로부터 대응하는 위치의 5개의 탭이 선택된다. 이들의 필드의 탭의 공간적인 위치가 동일하다. 또한, 현재(시간 t)의 필드에서는, 시간적으로 연속하는 4 라인의 각각으로부터 대응하는 위치의 5개의 탭이 선택된다. 인터레이스 방식이기 때문에, 이들 4 라인은, t-1 및 t+1의 필드의 탭과는 공간적으로 1 라인 벗어나 있다. 그리고, 도 3에 있어서, x로 나타내는 위치가 주목점이고, 이 주목점에 관한 움직임 판정이 이루어진다.
탭 구축 회로(2)에 대하여 동적 범위(DR) 검출 회로(3), 프레임간 차분(FrG) 검출 회로(4) 및 공간 구배 SGsum 검출 회로(5)가 접속된다. 동적 범위(DR) 검출 회로(3)에 대하여 비교기(6)가 접속되고, 동적 범위 DR과 임계값 th4가 비교된다. 프레임간 차분(FrG) 검출 회로(4)에 대하여 비교기(7, 8, 9)가 접속된다. 비교기(7)에서는 동적 범위 DR과 임계값 th1이 비교되고, 비교기(8, 9)에서는, 동적 범위 DR과 임계값 th2 및 th3이 각각 비교된다.
비교기(6, 7, 8, 9)는 입력값이 임계값보다 클 때에 "1"의 출력을 발생하고, 그렇지 않은 때에 "0"의 출력을 발생한다. 예컨대, FrG≥th1일 때에는 비교기(7)의 출력은 "1"이 되고, FrG＜th1일 때에는 그 출력이 "0"이 된다. 공간 구배(SGsum) 검출 회로(5)에 대해서는 임계값 발생부(12)가 접속되어 있다. 임계값 발생부(12)에 대하여는 후술하기로 한다.
동적 범위 DR은 공간 액티비티의 일예이다. 탭 구축 회로(2)로부터의 50개의 탭의 화소값의 최대값 MAX와 최소값 MIN의 차이가 동적 범위 DR가 된다. 즉, DR=MAX-MIN이다. 임계값 th4는 동적 범위 DR의 크기를 판정하기 위한 것이다.
프레임간 차분 FrG는 t-1의 필드의 15개의 탭의 화소값 각각과, t+1의 필드의 공간적으로 동일 위치의 15개의 탭의 화소값과의 차분을 구하고, 구해진 15개의 프레임간 차분을 절대값으로 변환하고, 또한, 프레임간 차분의 절대값을 합계한 값이다. 일반적으로는, 프레임간 차분 FrG가 클수록 프레임간의 움직임이 큰 것으로 판정된다.
공간 구배 SGsum은, t-1의 필드의 공간 구배 SG(t-1), t의 필드의 공간 구배SGt, t+1의 필드의 공간 구배 SG(t+1)의 합계값이다. 이들 공간 구배도 동적 범위 DR과 마찬가지로 공간 액티비티의 하나이다. 각 필드의 공간 구배는 각각의 화소와 인접 화소의 차분의 절대값을 구하고, 차분의 절대값을 합계한 값이다. 예컨대, t-1의 필드에 있어서, 왼쪽 위 코너의 화소의 경우에는, 그 바로 아래의 화소와 우측의 화소가 인접 화소이고, 자신의 화소값과 각 인접 화소의 화소값의 차분이 계산된다. 마찬가지로, 다른 화소에 관해서도, 수직 방향 및 수평 방향에서의 인접 화소와의 차분값이 계산된다. 그리고, 15개의 화소에 관한 차분값을 합계하는 것에 의해, t-1의 필드의 공간 구배 SG(t-1)이 구해진다. 다른 필드의 공간 구배 SGt 및 SG(t+1)도 마찬가지로 구해진다.
비교기(6, 7)의 출력이 앤드 게이트(10)에 공급되고, 앤드 게이트(10)의 출력 LV3이 움직임 클래스(MJ) 결정부(11)에 공급된다. 비교기(8)의 출력 LV2 및 비교기(9)의 출력 LV3이 움직임 클래스(MJ) 결정부(11)에 공급된다. MJ 결정부(11)는 LV1, LV2, LV3을 수신하여 2비트의 움직임 클래스 MJ를 출력한다. 움직임 클래스 MJ는 0,1,2,3의 값을 취할 수 있다. 움직임 클래스 0으로부터 움직임 클래스 3으로 향하여, 주목점의 움직임이 큰 것을 나타낸다.
움직임 클래스(MJ) 결정부(11)는, 하기의 조건에 의해 움직임 클래스 MJ를 결정하고, 움직임 클래스 MJ를 출력 단자(13)에 출력한다. 도 4는 LV1, LV2, LV3으로부터 움직임 클래스 MJ를 결정하는 경우의 논리를 나타낸다.
움직임 클래스 MJ=3: FrG≥th1, 또한 DR≥th4(LV3="1"); 움직임 클래스 MJ=2: FrG≥th2(LV2="1"), 또한 LV3="0"; 움직임 클래스 MJ=1: FrG≥th3(LV1="1"), 또한 LV3="0", LV2="0"; 움직임 클래스 MJ=0: 상기 이외 (LV3=LV2=LV1="0"). 임계값 발생부(12)는, 도 5에 나타내는 바와 같이, 공간 구배 SGsum의 크기에 따라서 변화하는 임계값 th1, th2, th3을 발생한다. 각 임계값의 변화의 방법이 독립이지만, 공간 구배 SGsum이 커짐에 따라서 각 임계값도 커지는 경향을 가진다. 발생한 임계값 th1, th2 및 th3이 상술된 비교기(7, 8, 9)에 대하여 각각 공급되고, 프레임간 차분 FrG와 비교된다. 그것에 의해, 상술된 조건에 따라서 도 5에 나타내는 바와 같이, 4종류의 움직임 클래스 MJ가 결정된다.
임계값 th1을 발생하기 위하여, 공간 구배 SGsum이 공급되는 구간 판정 회로(21) 및 구간 내 위치 판정 회로(22)와, 구간 판정 회로(21)의 출력에 대응한 파라미터를 출력하는 메모리(23)와, 구간 내 위치 판정 회로(22)의 출력과 메모리(23)로부터의 파라미터를 받아들여 임계값 th1을 발생하는 th1 계산 회로(24)가 설치되어 있다. 도 5에 도시하는 바와 같이, 공간 구배 SGsum의 A0, A1, A2, A3으로 나타내는 값에 의해, 4개의 구간이 규정된다. 3개의 구간 (A0-A1), (A1-A2), (A2-A3)는 서로 동등한 폭으로 된다. 또한, SGsum>A3 이상의 구간에서는 임계값 th1, th2, th3의 값이 포화(飽和)된 것으로 된다. 구간 판정 회로(21)에 의해 4개의 구간 내의 1개의 구간이 결정된다.
또한, 공간 구배 SGsum의 값 A0 내지 A3에 각각과 대응하는 임계값 레벨(B10, B11, B12, B13)이 규정되고, 이들 레벨이 메모리(23)로부터 출력된다. 예컨대 구간(A0-A1)의 경우에는, 레벨 B10 및 B11이 메모리(23)로부터 임계값 계산 회로(24)에 대하여 출력된다. 3개의 각 구간 중은 균등하게, 예컨대, 64 분할된다. 구간 내 위치 판정 회로(22)는 구간 내의 위치를 결정한다. 구간 내의 위치가 결정되면, 임계값 계산 회로(24)는 선형 보간에 의해 임계값 th1을 발생한다. 예컨대, 구간(A0-A1) 내의 위치에서는, 그 위치에 따른 계수를 레벨 B10 및 B11에 대하여 각각 승산하고, 승산 결과를 가산함으로써 임계값 th1이 얻어진다.
임계값 th2를 발생하기 위하여, 구간 판정 회로(31), 구간 내 위치 판정 회로(32), 메모리(33) 및 계산 회로(34)가 설치된다. 임계값 th3를 발생하기 위하여, 구간 판정 회로(41), 구간 내 위치 판정 회로(42), 메모리(43) 및 계산 회로(44)가 설치된다. 이들의 구성은 상술한 임계값 th1을 발생하기 위한 구성과 마찬가지로 동작한다. 단, 메모리(34)에는 임계값 th2용의 레벨(B20, B21, B22, B23)이 격납되고, 메모리(44)에는 임계값 th3용의 레벨(B30, B31, B32, B33)이 격납되어 있다.
도 1에 도시하는 구성에 의해, 상술한 바와 같이 결정된 움직임 클래스 MJ에 대하여, 도 2에 도시하는 구성에 의해 다수결 판정 처리를 행한다. 이 다수결 판정 처리는 움직임 클래스의 고립점을 제거하고, 또한, 근방의 움직임 클래스에 정합된 움직임 클래스로 하기 위하여 행하여진다. 다수결 판정 처리를 부가하는 것에 의해, 출력 화상 중의 파탄을 적게 할 수 있다. 탭 구축 회로(52)는 입력 움직임 클래스와, 라인 지연 회로(53)로부터의 1 라인 전의 움직임 클래스와, 필드 지연 회로(54)로부터의 1 필드 전의 움직임 클래스와, 필드 지연 회로(54) 및 라인 지연 회로(55)를 통하는 것으로 형성된 이전 필드이고, 또한 1 라인 전의 움직임 클래스로부터 다수결 판정을 위한 탭을 구축한다.
도 6은 다수결 판정의 대상으로서의 주목점 PO의 근방에 위치하는 복수의 탭의 일예를 도시한다. 즉, 각 탭은 입력 디지털 화상 신호의 화소에 대한 주목점의 위치(도 3 참조)에 대응하고 있다. 또한, 주목점 PO가 존재하는 현행 라인과 동일 필드 내의 1 라인 위(-1H 라인)와, 현행 라인으로부터 공간적으로 1 라인 위의 전 필드의 라인(-263H 라인)과, 현행 라인으로부터 공간적으로 1 라인 아래의 전 필드의 라인(-262H 라인)이 도시되어 있다.
주목점 PO와 수직 방향으로 정렬하는, -1H 라인 위의 탭 P1, -263H 라인 위의 탭 Pa가 선택된다. 탭 Pa의 좌우의 탭 Pb가 선택된다. 탭 P1로부터 1개의 탭을 건너 뛴 좌우의 위치의 탭 P3이 선택된다. 주목점의 탭 PO로부터 1개의 탭을 건너 뛴 좌측의 탭 P2가 선택된다. 주목점의 탭 PO의 하측의 위치에 대하여 좌우의 탭 Pc가 선택된다. 이와 같이 선택된 탭수는 모두 10개가 존재한다.
탭 구축 회로(52)는, 도 6에 나타내는 전체 탭 중에서, 모드에 따라서 다수결 판정에 사용하는 탭을 선택하는 것이 가능하게 되어 있다. 모드는, 입력 디지털 화상 신호의 패턴, 움직임의 정도 등에 따라서 사용자가 선택한다. 도 7은 모드의 종류와 각 모드에서 선택되는 탭을 나타낸다. 모드 0, 모드 1, 모드 2, 모드 3의 4 가지의 모드와, 각 모드에 관하여, 필드 내 처리와 프레임간 처리가 설정된다. 따라서, 선택되는 탭의 조합으로서는 모두 8 종류가 존재한다.
가장 단순한 모드 0에서는, 필드 내 처리의 경우에는 주목점의 탭 PO만이 사용되고, 프레임간 처리의 경우에는 PO 및 Pa의 탭이 사용된다. 가장 복잡한 모드 3에서는, 프레임 내 처리의 경우에는 P0, P1, P2, P3의 5개의 탭이 사용되고, 프레임간 처리의 경우에는 P0, P1, P2, P3, Pb, Pc의 9개의 탭이 사용된다.
도 2로 되돌아가서 설명하면, 탭 구축 회로(52)로부터는, 모드에 따라 선택되어 탭의 움직임 클래스가 클래스마다 출력된다. 움직임 클래스 3의 개수가 카운터(56)에 의해 카운트되고, 움직임 클래스 2의 개수가 카운터(57)에 의해 카운트되고, 움직임 클래스 1의 개수가 카운터(58)에 의해 카운트된다. 카운터(56, 57, 58) 각각의 카운트값이 비교기(59, 60, 61)에 공급된다.
비교기(59)는 카운터(56)에 의해 카운트된 움직임 클래스 3의 개수를 임계값 th3과 비교한다. 비교기(60)는 카운터(57)에 의해 카운트된 움직임 클래스 2의 개수를 임계값 thr2와 비교한다. 비교기(61)는 카운터(58)에 의해 카운트된 움직임 클래스 1의 개수를 임계값 thr1과 비교한다. 비교기(59, 60, 61)는 각각 카운트값이 임계값 이상일 때에 "1"이고, 그렇지 않을 때에 "0"인 비교 출력(CD3, CD2, CD1)을 발생한다. 비교기(59, 60, 61) 각각의 출력(CD3, CD2, CD1)이 움직임 클래스 MD 결정부(62)에 공급된다. 움직임 클래스 결정부(62)는 비교 출력(CD3, CD2, CD1)을 수취하여 최종적인 움직임 클래스 MD를 결정한다.
도 8은 움직임 클래스 결정부(62)의 클래스 결정의 논리를 도시한다. CD3="1"의 경우에는 MD=3으로 움직임 클래스가 결정된다. CD3="0", CD2="1"의 경우에는 MD=2로 움직임 클래스가 결정된다. CD3="0", CD2="0", CD1="1"의 경우에는 MD=1로 움직임 클래스가 결정된다. CD3="0", CD2="0", CD1="0"의 경우에는 MD=0으로 움직임 클래스가 결정된다. 이와 같이 결정된 2 비트의 움직임 클래스 MD가 출력된다. 임계값 thr1, thr2, thr3은 각각 적절하게 설정된 고정값이다.
소프트웨어로 행하는 경우의 다수결 판정의 처리에 대하여 도 9의 흐름도를 참조하여 설명한다. 움직임 클래스 MJ가 결정된 후에, 단계 ST1에서, 모드에 따른 탭이 구축된다. 단계 ST2에서, 각 탭의 움직임 클래스를 취득한다. 단계 ST3에서는 움직임 클래스 3의 개수가 임계값 thr3 이상인지 아닌지가 결정된다. 움직임 클래스 3의 개수가 임계값 thr3 이상이면, 단계 ST4에서, MD=3으로 움직임 클래스가 결정된다.
움직임 클래스 3의 개수가 임계값 thr3 이상이 아니면, 단계 ST5에서, 움직임 클래스 2의 개수가 임계값 thr2 이상인지 아닌지가 결정된다. 움직임 클래스 2의 개수가 임계값 thr2 이상이면, 단계 ST6에서, MD=2로 움직임 클래스가 결정된다. 단계 ST5의 결과가 부정이면, 단계 ST7에서, 움직임 클래스 1의 개수가 임계값 thr1 이상인지 아닌지가 결정된다. 움직임 클래스 1의 개수가 임계값 thr1 이상이면, 단계 ST8에서, MD=1로 움직임 클래스가 결정된다. 단계 ST7의 결과가 부정이면, MD=0으로 결정된다. 이상으로 처리가 종료한다.
상술한 본 발명에 의한 움직임 판정 장치는, 화상 신호 변환 장치에서의 움직임 클래스의 생성에 대하여 적용할 수 있다. 이 화상 신호 변환 장치는, SD(Standard Definition) 신호가 입력되고, HD(High Definition) 신호를 출력하는 것이다. 또한, HD 화소를 생성하는 경우, 생성하는 HD 화소의 근방에 있는 SD 화소를 클래스 분할하고, 각각의 클래스마다 예측 계수값을 학습에 의해 획득함으로써, 보다 참값에 가까운 HD 화소를 얻는 것이다. 도 10은 이러한 수법에 의한 화상 신호 변환 장치이다.
도 10에 있어서, 입력 SD 신호(525i 신호)가 제 1 탭 선택 회로(101), 제 2 탭 선택 회로(103) 및 제 3 탭 선택 회로(104)에 공급된다. 제 1 탭 선택 회로(101)는 예측에 사용하는 SD 화소(예측 탭이라 칭한다)를 선택하는 것이다. 제 2 탭 선택 회로(103)는 생성하는 HD 화소 근방의 SD 화소의 레벨 분포의 패턴에 대응하는 클래스 분류에 사용하는 SD 화소(공간 클래스 탭이라 칭한다)를 선택하는 것이다. 제 3 탭 선택 회로(104)는 생성하는 HD 화소 근방의 SD 화소에 기초하여 움직임에 대응하는 클래스 분류에 사용하는 SD 화소(움직임 클래스 탭이라 칭한다)를 선택하는 것이다.
제 1 탭 선택 회로(101)에 의해 선택된 예측 탭이 추정 예측 연산 회로(102)에 공급된다. 제 2 탭 선택 회로(103)에 의해 선택된 공간 클래스 탭이 공간 클래스 검출 회로(105)에 공급된다. 공간 클래스 검출 회로(105)는 공간 클래스를 검출한다. 검출된 공간 클래스가 클래스 합성 회로(107)에 공급된다. 제 3 탭 선택 회로(104)에 의해 선택된 움직임 클래스 탭이 움직임 클래스 검출 회로(106)에 공급된다. 움직임 클래스 검출 회로(106)는 움직임 클래스를 검출한다. 검출된 움직임 클래스가 클래스 합성 회로(107)에 공급된다. 클래스 합성 회로(107)에 의해, 공간 클래스 및 움직임 클래스가 통합되어, 최종적인 클래스 코드가 형성된다.
이 클래스 코드가 계수 메모리(108)에 대하여 어드레스로서 공급되고, 계수 메모리(108)로부터 클래스 코드에 대응하는 계수 데이터가 판독된다. 계수 데이터와 예측 탭이 추정 예측 연산 회로(102)에 공급된다. 추정 예측 연산 회로(102)에서는, 예측 탭(525i 신호의 화소)과 예측 계수의 선형 추정식을 사용하여 출력 영상 신호(525p 신호)의 데이터를 산출한다. 추정 예측 연산 회로(102)는 현존 라인 위의 데이터(라인 데이터(L1))와, 생성 라인 위의 데이터(라인 데이터(L2))를 출력한다. 동시에, 추정 예측 연산 회로(102)는 수평 방향으로 2배의 수의 화소를 출력한다. 525i 신호는 라인수가 525개의 인터레이스 신호를 의미하고, 525p 신호는 라인수가 525개의 프로그레시브(넌인터레이스) 신호를 의미한다.
추정 예측 연산 회로(102)로부터의 라인 데이터(L1, L2)가 선순차 변환 회로(109)에 공급된다. 선순차 변환 회로(109)는 라인 배속의 처리를 행한다. 추정 예측 연산 회로(102)는 525i 신호로부터 525p 신호를 생성하기 때문에, 수평 주기는 525i 신호와 동일하다. 선순차 변환 회로(109)는 수평 주기를 2 배로 하는 라인 배속 처리를 행한다. 선순차 변환 회로(109)로부터 525p 신호가 인출된다.
도 11은 1 필드의 화상의 일부를 확대하는 것에 의해, 525i 신호와 525p 신호의 화소의 배치를 도시하는 것이다. 큰 비트가 525i 신호의 화소이고, 작은 비트가 출력되는 525p 신호의 화소이다. 이 관계는 도 11 이외의 다른 도면에서도 마찬가지이다. 도 11은 어느 프레임(F)의 기수(O) 필드의 화소 배치이다. 다른 필드(우수 필드)에서는, 525i 신호의 라인이 공간적으로 0.5 라인 어긋난 것으로 된다. 도 11로부터 알 수 있는 바와 같이, 525i 신호의 라인과 동일 위치의 라인 데이터(L1) 및 525i 신호의 상하 라인의 중간 위치의 라인 데이터(L2)를 형성하고, 또한, 각 라인의 수평 방향의 화소수를 2배로 한다. 따라서, 추정 예측 연산 회로(102)에 의해, 525p 신호의 4 화소의 데이터가 동시적으로 생성된다.
도 12는 라인 배속 처리를 아날로그 파형을 사용하여 도시하는 것이다. 추정 예측 연산 회로(102)에 의해 라인 데이터(L1, L2)가 동시에 생성된다. 라인 데이터(L1)에는 차례대로 a1, a2, a3,...의 라인이 포함되고, 라인 데이터(L2)에는 차례대로 b1, b2, b3,...의 라인이 포함된다. 선순차 변환 회로(109)는 각 라인의 데이터를 시간축 방향으로 1/2로 압축하고, 압축된 데이터를 스위칭 회로에 의해 교대로 선택함으로써, 선순차 출력(a0, b0, a1, b1,...)을 형성한다.
도시하지 않았지만, 출력 영상 신호가 CRT 디스플레이에 공급된다. CRT 디스플레이는 출력 영상 신호(525p 신호)를 표시하는 것이 가능하도록, 그 동기계가 구성되어 있다. 입력 화상 신호로서는 방송 신호, 또는 VTR 등의 재생 장치의 재생 신호가 공급된다. 즉, 이 일 실시예를 텔레비젼 수상기에 내장할 수 있다.
도 13은 제 2 탭 선택 회로(103)에 의해 선택되는 탭(SD 화소)을 나타낸다. 도 13은 시간적으로 연속하는 프레임 F-1의 기수 필드 o(F-1/o로 표기한다), F-1의 우수 필드 (F-1/e), F/o, F/e의 각각의 수직 방향의 화소의 배열을 나타낸다.
도 13에 도시하는 바와 같이, 필드 F/o의 라인 데이터(L1, L2)를 예측할 때의 공간 클래스 탭은 이 필드 F/o의 다음 필드 F/e에 포함되고, 생성해야 할 525p 신호의 화소와 공간적으로 근방 위치의 입력 화소(T1, T2)와, 필드 F/o에 포함되고, 생성해야 할 525p 신호의 화소 근방의 입력 화소(T3, T4, T5)와, 이전 필드 F-1/e의 입력 화소(T6, T7)이다. 필드 F/e의 라인 데이터(L1, L2)를 예측할 때도 마찬가지로 탭이 선택된다. 또한, 라인 데이터(L1)의 화소를 예측하는 모드 1에서는 T7의 화소를 클래스 탭으로서 선택하지 않고, 라인 데이터(L2)의 화소를 예측하는 모드 2에서는 T4의 화소를 클래스 탭으로서 선택하지 않도록 하여도 좋다.
여기서, 상술한 본 발명에 의한 움직임 판정 장치는 움직임 클래스 검출 회로(106)에 대하여 적용된다. 따라서, 탭 선택 회로(104)에 의해 선택되는 탭, 즉, 움직임 클래스 탭은 도 3에 도시하는 50개의 SD 화소이다. 그리고, 상술한 바와 같이, 최종적인 움직임 클래스 MD가 결정되고, 이것이 움직임 클래스로서 클래스 합성 회로(107)에 공급된다.
탭 선택 회로(103)에서 선택된 공간 클래스 탭이 공간 클래스 검출 회로(105)에 공급된다. 공간 클래스 검출 회로(105)는 선택된 공간 클래스 탭의 레벨 분포의 패턴을 검출한다. 이 경우, 각 화소 8 비트의 SD 데이터를 2 비트의 SD 데이터로 압축하는 처리를 행한다. 일예로서, ADRC(Adaptive Dynamic Range Coding)에 의해, 공간 클래스 탭의 SD 화소의 데이터가 압축된다. 또한, 정보 압축 수단으로서는 ADRC 이외에 DPCM(예측 부호화), VQ(벡터 양자화) 등의 압축 수단을 사용하여도 좋다.
본래, ADRC는 VTR(Video Tape Recoder)의 고능률 부호화용으로 개발된 적응적 재양자화법이지만, 신호 레벨의 국소적인 패턴을 짧은 어장(語長)으로 효율적으로 표현할 수 있기 때문에, ADRC를 공간 클래스 분류의 코드 발생에 사용하고 있다. ADRC는 공간 클래스 탭의 동적 범위를 DR, 비트 할당을 n, 공간 클래스 탭의 화소의 데이터 레벨을 L, 재양자화 코드를 Q로 하고, 이하의 식(1)에 의해, 최대값 MAX와 최소값 MIN의 사이를 지정된 비트 길이로 균등하게 분할하여 재양자화를 행한다.
DR=MAX-MIN+1 Q={(L-MIN+0.5)×2/DR} (1)
여기서, { }는 버림 처리를 의미한다.
예측 계수 메모리(108)에는, 525i 신호의 패턴과 525p 신호의 관계를 학습하는 것에 의해, 취득된 예측 계수가 각 클래스마다 기억되어 있다. 예측 계수는 선형 추정식에 의해 525i 신호를 525p 신호로 변환하기 위한 정보이다. 또한, 예측 계수의 취득 방법에 대해서는 후술한다.
예측 계수 메모리(108)의 클래스에 대응한 어드레스로부터 그 클래스의 예측 계수가 판독된다. 이 예측 계수는 추정 예측 연산 회로(102)에 공급된다. 추정 예측 연산 회로(102)는 탭 선택 회로(101)로부터의 예측 탭(화소값)(T1, T2, ..., Ti)과, 예측 계수(w1, w2, ..., wi)의 선형 1차 결합식(식(2))의 연산을 행하는 것에 의해, 라인 데이터(L1, L2)를 산출한다. 단, 라인 데이터 L1 및 L2의 사이에서는, 사용하는 예측 계수가 다르다.
L1=w1T1+w2T2+...+wiTi (2)
이와 같이, 예측 계수가 각 클래스마다 미리 학습에 의해 구해진 다음에, 예측 계수 메모리(108)에 기억하여 두고, 입력되는 예측 탭 및 판독된 예측 계수에 기초하여 연산이 행해지고, 입력된 데이터에 대응하는 출력 데이터를 형성하여 출력하는 것에 의해, 입력 데이터를 단지 보간 처리한 것과는 달리, 고화질의 프로그레시브 방식의 영상 신호를 출력할 수 있다.
다음에, 계수 메모리(108)에 격납되는 계수 데이터의 작성 방법(학습)에 대하여 도 14를 사용하여 설명한다. 계수 데이터를 학습에 의해 얻기 위해서는, 우선, 이미 공지되어 있는 HD 화상(525p 신호)에 대응하여, HD 화상의 1/4의 화소수의 SD 화상을 2차원 솎아내기(thinning out) 필터(120)에 의해 형성한다. 예컨대, HD 데이터의 수직 방향의 화소를 수직 솎아내기 필터에 의해 필드 내의 수직 방향의 주파수가 1/2로 되도록 솎아내기 처리하고, 또한 수평 솎아내기 필터에 의해, HD 데이터의 수평 방향의 화소를 솎아내기 처리함으로써, SD 데이터를 얻는다.
2차원 솎아내기 필터(120)로부터의 SD 신호가 탭 선택 회로(121), 탭 선택 회로(122) 및 탭 선택 회로(123)에 각각 공급된다. 이들 탭 선택 회로는, 도 10에 도시하는 신호 변환 장치에서의 탭 선택 회로(101, 103, 104)와 마찬가지로, 예측 탭, 공간 클래스 탭, 움직임 클래스 탭을 선택한다. 탭 선택 회로(121)로부터의 예측 탭이 정규 방정식 가산 회로(127)에 공급된다. 탭 선택 회로(122)로부터의 공간 클래스 탭이 공간 클래스 검출 회로(124)에 공급된다. 탭 선택 회로(123)로부터의 움직임 클래스 탭이 움직임 클래스 검출 회로(125)에 공급된다.
신호 변환 장치에서의 공간 클래스 검출 회로(105)와 마찬가지로, 공간 클래스 검출 회로(124)는 공간 클래스 탭의 데이터를 ADRC에 의해 압축하고, 공간 클래스 코드를 발생한다. 또한, 움직임 클래스 검출 회로(125)는 신호 변환 장치에서의 움직임 클래스 검출 회로(106)와 마찬가지로, 움직임 클래스 탭으로부터 움직임 클래스 코드를 발생한다. 공간 클래스 코드와 움직임 클래스 코드가 클래스 합성 회로(126)에 의해 합성되고, 최종적인 클래스가 형성된다. 클래스 합성 회로(126)로부터의 클래스 코드가 정규 방정식 가산 회로(127)에 공급된다.
여기서, 정규 방정식 가산 회로(127)의 설명을 위하여, 복수개의 SD 화소로부터 HD 화소로의 변환식의 학습과 그 예측식을 사용한 신호 변환에 대하여 서술한다. 이하에, 설명을 위하여 학습을 보다 일반화하여 n 화소에 의한 예측을 행하는 경우에 대하여 설명한다. 예측 탭으로서 선택되는 SD 화소의 레벨을 각각 x1, ..., xn으로 하고, HD 화소 레벨을 y로 했을 때, 클래스마다 계수 데이터(w1, ..., wn)에 의한 n 탭의 선형 추정식을 설정한다. 이것을 하기의 식(3)에 나타낸다. 학습 전은 wi가 미정(未定) 계수이다.
y=w1×1+w2×2+...+wn×n (3)
학습은 클래스마다 복수의 신호 데이터에 대하여 행한다. 데이터수가 m인 경우, 식(3)에 따라서, 이하에 나타내는 식(4)가 설정된다.
yk=w1×k1+w2×k2+...+wn×kn (4)
(k=1, 2, ..., m) m>n의 경우, 예측 계수(wi, ..., wn)는, 일의(一意)로 결정되지 않기 때문에, 오차 벡터(e)의 요소를 이하의 식(5)에서 정의하고, 식(6)을 최소로 하는 예측 계수를 구한다. 소위, 최소자승법에 의한 해법이다.
ek=yk-{w1×k1+w2×k2+...+wn×kn} (5)
(k=1, 2, ..., m)
Figure 112006027400531-pat00023
(6)
여기서, 식(6)의 wi에 의한 편미분 계수를 구한다. 이것은 이하의 식(7)을 '0'으로 하도록, 각 계수(wi)를 구하면 된다.
Figure 111999009442380-pat00002
이하, 식(8), 식(9)와 같이 Xij, Yi를 정의하면, 식(7)은 행렬을 사용하여 식(10)으로 고쳐 쓸 수 있다.
Figure 111999009442380-pat00003
Figure 111999009442380-pat00004
Figure 111999009442380-pat00005
이 방정식은 일반적으로 정규 방정식이라고 한다. 도 14 중의 정규 방정식 가산 회로(127)는 클래스 합성 회로(126)로부터 공급된 클래스 정보와, 탭 선택 회로(121)로부터 공급된 예측 탭과, 생성하도록 하는 프로그레시브 화상의 화소(교사 신호)를 사용하여, 이 정규 방정식의 가산을 행한다.
학습에 충분한 프레임수의 데이터의 입력이 종료한 후, 정규 방정식 가산 회로(127)는 예측 계수 결정부(128)에 정규 방정식 데이터를 출력한다. 예측 계수 결정부(128)는 정규 방정식을 소출법(掃出法) 등의 일반적인 행렬 해법을 사용하여, wi에 대하여 해석하고, 예측 계수를 산출한다. 예측 계수 결정부(128)는 산출된 예측 계수를 예측 계수 메모리(129)에 기록한다.
이상과 같이 학습을 행한 결과, 예측 계수 메모리(129)에는 클래스마다 프로그레시브 화상의 주목 화소(y)를 추정하기 위한, 통계적으로, 가장 참값에 가까운 추정이 가능한 예측 계수가 격납된다. 예측 계수 메모리(129)에 격납된 예측 계수는 상술한 화상 정보 변환 장치에서, 예측 계수 메모리(108)에 로드된다.
이상의 처리에 의해, 선형 추정식에 의해, 인터레이스 화상의 데이터로부터 프로그레시브 화상의 데이터를 생성하기 위한 예측 계수의 학습이 종료한다.
또한, 525개의 라인수는, 일예로서, 다른 주사선 구조의 출력 화상 신호를 생성하는 경우에 대해서도 본 발명을 적용할 수 있다. 예컨대, 도 15에 도시하는 바와 같이, 525i 신호를 1050i(라인수 1050개의 인터레이스) 신호로 변환하는 경우에 대해서도 마찬가지로 본 발명을 적용할 수 있다.
본 발명은, 프레임간 차분만이 아니고, 공간 액티비티를 반영한 움직임 판정을 행하기 때문에, 움직임 판정을 정확하게 행할 수 있다. 예컨대, 프레임간 차분이 큰 경우라도, 필드 내의 액티비티가 크면, 실제로는 정지 화상에 가까운 경우가 있고, 프레임간 차분이 작은 경우라도, 필드 내의 액티비티가 없으며, 실제로는 동화상에 가까운 경우가 있다. 또한, 단지 움직임과 정지의 2 단계 판정은 아니라, 3 단계 이상으로 움직임의 정도를 판정하기 때문에, 움직임 판정에 기초하여 화상 처리를 행한 때에, 처리 후의 화상이 부자연스럽게 되는 것을 방지할 수 있다.
또한, 본 발명에 의한 화상 정보 변환 장치에서는, 입력 영상 신호의 복수 화소에 기초하여 클래스를 검출하고, 각 클래스에서 최적으로 되는 추정 예측식을 사용하여 화소값을 생성하기 때문에, 종래의 화상 정보 변환 장치와 비교하여, 정지 화상, 동화상 모두 고화질로 만들 수 있다. 또한, 움직임의 정보를 클래스의 정보로 인출하기 때문에, 정지 화상/동화상의 검출과, 검출에 의한 변환을 불필요하게 할 수 있고, 변환시에 화질의 다름이 눈에 띄는 것을 방지할 수 있고, 또한 움직임 검출의 오류에 의한 열화를 대폭적으로 적게 할 수 있다.

Claims (11)

  1. 입력 화상 신호의 부분 화상에 관하여 움직임을 검출하는 움직임 판정 장치에 있어서,
    부분 화상에 관한 프레임간 차분을 검출하는 제 1 검출 수단과,
    상기 부분 화상에 관한 특징량을 검출하는 제 2 검출 수단과,
    제 1, 제 2 및 제 3 임계값을 각각 발생하는 임계값 발생 수단과,
    상기 제 1 검출 수단에 의해 검출된 프레임간 차분을 적어도 상기 제 1 및 제 2 임계값과 각각 비교하는 제 1 및 제 2 비교 수단과,
    상기 제 2 검출 수단에 의해 검출된 특징량을 상기 제 3 임계값과 비교하는 제 3 비교 수단과,
    상기 제 1, 제 2 및 제 3 비교 수단의 비교 결과가 공급되고, 상기 부분 화상의 움직임의 정도를 적어도 3단계로 나타내는 움직임 클래스를 결정하는 수단을 포함하는 것을 특징으로 하는, 움직임 판정 장치.
  2. 제 1 항에 있어서,
    상기 움직임 클래스를 결정하는 수단은,
    상기 프레임간 차분이 상기 제 1 임계값 보다 크고, 또한 상기 특징량이 상기 제 3 임계값 보다 클 때에, 움직임 클래스를 제 1 움직임 클래스로 결정하고,
    상기 제 1 움직임 클래스가 아니고, 상기 프레임간 차분이 상기 제 2 임계값 보다 클 때에, 움직임 클래스를 제 2 움직임 클래스로 결정하고,
    상기 제 1 및 제 2 움직임 클래스가 아닐 때에, 움직임 클래스를 제 3 움직임 클래스로 결정하는 것을 특징으로 하는, 움직임 판정 장치.
  3. 제 1 항에 있어서,
    상기 임계값 발생 수단은 특징량에 의해 적응적으로 변화하는 제 1, 제 2 및 제 3 임계값을 발생하는 것을 특징으로 하는, 움직임 판정 장치.
  4. 제 1 항에 있어서,
    상기 움직임 클래스를 결정하는 수단에 의해 결정된 움직임 클래스에 대하여 다수결 판정의 처리를 행하도록 한 것을 특징으로 하는, 움직임 판정 장치.
  5. 입력 화상 신호의 부분 화상에 관하여 움직임을 검출하는 움직임 판정 방법에 있어서,
    부분 화상에 관한 프레임간 차분을 검출하는 제 1 검출 단계와,
    상기 부분 화상에 관한 특징량을 검출하는 제 2 검출 단계와,
    제 1, 제 2 및 제 3 임계값을 각각 발생하는 단계와,
    상기 제 1 검출 단계에 의해 검출된 프레임간 차분을 적어도 상기 제 1 및 제 2 임계값과 각각 비교하는 단계와,
    상기 제 2 검출 단계에 의해 검출된 특징량을 상기 제 3 임계값과 비교하는 단계와,
    상기 비교에 의해 얻어진 비교 결과가 공급되고, 상기 부분 화상의 움직임의 정도를 적어도 3단계로 나타내는 움직임 클래스를 결정하는 단계를 포함하는 것을 특징으로 하는, 움직임 판정 방법.
  6. 입력 화상 신호로부터 주사선 구조가 상이한 복수의 출력 화상 신호를 형성하도록 한 화상 정보 변환 장치에 있어서,
    출력 화상 신호를 생성하기 위한 화소의 주변에 위치하는 입력 화상 신호의 복수의 제 1 화소를 선택하는 제 1 데이터 선택 수단과,
    출력 화상 신호를 생성하기 위한 화소의 주변에 위치하는 입력 화상 신호의 복수의 제 2 화소를 선택하는 제 2 데이터 선택 수단과,
    출력 화상 신호를 생성하기 위한 화소의 주변에 위치하는 입력 화상 신호의 복수의 제 3 화소를 선택하는 제 3 데이터 선택 수단과,
    미리 취득되어 있는 추정식 계수를 기억하는 메모리 수단과,
    상기 제 1 데이터 선택 수단에서 선택된 복수의 제 1 화소와 상기 추정식 계수의 선형 추정식에 의해, 출력 화상 신호의 화소를 생성하는 신호 생성 수단과,
    상기 제 2 데이터 선택 수단에서 선택된 복수의 제 2 화소에 기초하여, 공간 클래스를 형성하고, 상기 제 3 데이터 선택 수단에서 선택된 복수의 제 3 화소에 기초하여, 움직임 클래스를 형성하고, 상기 공간 클래스와 상기 움직임 클래스를 통합한 클래스 정보에 대응하여 상기 추정식 계수를 상기 신호 생성 수단에 공급하는 클래스 결정 수단과,
    상기 신호 생성 수단에 대하여 접속되고, 변환 화상을 지정된 주사선 구조로 변환하기 위한 주사 변환 수단을 갖고,
    상기 움직임 클래스를 형성하기 위한 움직임 판정부는,
    상기 복수의 제 3 화소로 이루어지는 부분 화상에 관한 프레임간 차분을 검출하는 제 1 검출 수단과,
    상기 부분 화상에 관한 특징량을 검출하는 제 2 검출 수단과,
    제 1, 제 2 및 제 3 임계값을 각각 발생하는 임계값 발생 수단과,
    상기 제 1 검출 수단에 의해 검출된 프레임간 차분을 적어도 상기 제 1 및 제 2 임계값과 각각 비교하는 제 1 및 제 2 비교 수단과,
    상기 제 2 검출 수단에 의해 검출된 특징량을 상기 제 3 임계값과 비교하는 제 3 비교 수단과,
    상기 제 1, 제 2 및 제 3 비교 수단의 비교 결과가 공급되고, 상기 부분 화상의 움직임의 정도를 적어도 3단계로 나타내는 움직임 클래스를 결정하는 수단을 포함하는 것을 특징으로 하는, 화상 정보 변환 장치.
  7. 제 6 항에 있어서,
    인터레이스 방식 입력 화상 신호로부터 프로그레시브 방식 출력 화상 신호를 형성하도록 한 것을 특징으로 하는, 화상 정보 변환 장치.
  8. 제 6 항에 있어서,
    수평 방향으로 상기 입력 화상 신호의 2배의 화소수의 출력 화상 신호를 또한 생성하는 것을 특징으로 하는, 화상 정보 변환 장치.
  9. 제 6 항에 있어서,
    상기 추정식 계수는, 상기 선형 추정식에 의해, 출력 화상 신호의 화소를 생성했을 때에, 생성된 값과 상기 화소의 참값의 오차를 최소로 하도록, 상기 클래스 정보마다 미리 학습에 의해 구하는 것을 특징으로 하는, 화상 정보 변환 장치.
  10. 제 1 항에 있어서,
    상기 특징량은 공간 액티비티인 것을 특징으로 하는, 움직임 판정 장치.
  11. 제 6 항에 있어서,
    상기 특징량은 공간 액티비티인 것을 특징으로 하는, 화상 정보 변환 장치.
KR19990033122A 1998-08-12 1999-08-12 움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치 KR100633715B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP98-228221 1998-08-12
JP22822198A JP4193233B2 (ja) 1998-08-12 1998-08-12 動き判定装置、その方法および画像情報変換装置

Publications (2)

Publication Number Publication Date
KR20000017281A KR20000017281A (ko) 2000-03-25
KR100633715B1 true KR100633715B1 (ko) 2006-10-13

Family

ID=16873081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR19990033122A KR100633715B1 (ko) 1998-08-12 1999-08-12 움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치

Country Status (3)

Country Link
US (1) US6201833B1 (ko)
JP (1) JP4193233B2 (ko)
KR (1) KR100633715B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168490B2 (ja) * 1998-09-03 2008-10-22 ソニー株式会社 動き判定装置、その方法および画像情報変換装置
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
FR2851397B1 (fr) * 2003-02-14 2005-05-13 Canon Europa Nv Procede et dispositif d'analyse de sequences video dans un reseau de communication
US7627198B2 (en) 2003-05-29 2009-12-01 Sony Corporation Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods
JP4055655B2 (ja) 2003-05-29 2008-03-05 ソニー株式会社 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム
JP4265291B2 (ja) 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4392583B2 (ja) 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
CN1294724C (zh) * 2003-09-19 2007-01-10 北京航星网讯技术开发有限公司 被监测对象“动变静”图像传输报警装置
WO2017033991A1 (ja) * 2015-08-26 2017-03-02 住友建機株式会社 ショベルの計測装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4651211A (en) * 1986-01-17 1987-03-17 Rca Corporation Video signal motion detecting apparatus
JPH082106B2 (ja) * 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
JP2830111B2 (ja) 1989-07-21 1998-12-02 ソニー株式会社 高能率符号化装置
IT1241184B (it) * 1990-03-02 1993-12-29 Cselt Centro Studi Lab Telecom Perfezionamenti ai sistemi ibridi di codifica di segnali video.
US5497203A (en) * 1991-10-30 1996-03-05 Mitsubishi Denki Kabushiki Kaisha Motion detection circuit for high definition television based on muse
JPH05344493A (ja) * 1992-06-10 1993-12-24 Victor Co Of Japan Ltd 動画像符号化装置
JP2591441B2 (ja) * 1993-09-28 1997-03-19 日本電気株式会社 動画像信号の動ベクトル検出装置
US5903481A (en) 1994-09-09 1999-05-11 Sony Corporation Integrated circuit for processing digital signal

Also Published As

Publication number Publication date
JP2000059740A (ja) 2000-02-25
US6201833B1 (en) 2001-03-13
KR20000017281A (ko) 2000-03-25
JP4193233B2 (ja) 2008-12-10

Similar Documents

Publication Publication Date Title
JP4724459B2 (ja) 適応時間予測を用いた動きベクトル検出
US7116372B2 (en) Method and apparatus for deinterlacing
JP4528662B2 (ja) 適応空間最新ベクトルを用いた動き検出
US6381277B1 (en) Shaped information coding device for interlaced scanning video and method therefor
JP2924431B2 (ja) 符号化方式
KR100638500B1 (ko) 정보 신호 처리 장치, 화상 정보 변환 장치, 및 화상 디스플레이 장치
US6810081B2 (en) Method for improving accuracy of block based motion compensation
EP0484140A2 (en) Compression method of interlace moving image signals
US8175163B2 (en) System and method for motion compensation using a set of candidate motion vectors obtained from digital video
US20080204592A1 (en) Motion compensated frame rate conversion system and method
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2006041943A (ja) 動きベクトル検出・補償装置
KR20060047590A (ko) 움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법,비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및보간기
KR20060044942A (ko) 라인 및 컬럼 벡터를 사용한 움직임 벡터 추정
JP4147632B2 (ja) 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機
KR100633715B1 (ko) 움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치
KR100652467B1 (ko) 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치
JPH1098695A (ja) 画像情報変換装置および方法並びに積和演算装置
JP3946781B2 (ja) 画像情報変換装置及び方法
KR100982625B1 (ko) 정보 신호의 처리 장치 및 처리 방법
JPH0851598A (ja) 画像情報変換装置
KR100624304B1 (ko) 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법
JP3480015B2 (ja) 画像データの生成装置および生成方法
JP3800638B2 (ja) 画像情報変換装置および方法
JP2925046B2 (ja) 動画像の動き補償予測方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee