KR20000047608A - 데이터 처리 장치 및 데이터 처리 방법 - Google Patents

데이터 처리 장치 및 데이터 처리 방법 Download PDF

Info

Publication number
KR20000047608A
KR20000047608A KR1019990049423A KR19990049423A KR20000047608A KR 20000047608 A KR20000047608 A KR 20000047608A KR 1019990049423 A KR1019990049423 A KR 1019990049423A KR 19990049423 A KR19990049423 A KR 19990049423A KR 20000047608 A KR20000047608 A KR 20000047608A
Authority
KR
South Korea
Prior art keywords
data
processing
learning
tap
class
Prior art date
Application number
KR1019990049423A
Other languages
English (en)
Other versions
KR100624349B1 (ko
Inventor
콘도테츄지로
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20000047608A publication Critical patent/KR20000047608A/ko
Application granted granted Critical
Publication of KR100624349B1 publication Critical patent/KR100624349B1/ko

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Abstract

본 발명의 데이터 처리 장치는 입력 데이터를 처리하고 처리된 데이터를 출력한다. 이 데이터 처리 장치는 데이터 처리부 및 실시간 학습부를 포함한다. 데이터 처리부는 소정의 처리 방법에 의해 입력 데이터를 처리하고 처리된 데이터를 출력한다. 실시간 학습부는 처리 방법이 실시간으로 습득되도록 제어되고, 데이터 처리부는 학습된 처리방법에 의해 입력 데이터를 처리함으로써, 출력 데이터는 시간이 경과함에 따라 개선된다.

Description

데이터 처리 장치 및 데이터 처리 방법{Data processing apparatus and data processing method}
본 발명은 데이터 처리 장치 및 데이터 처리 방법에 관한 것이며, 보다 상세하게는 입력된 데이터가 적응성 있게 처리되고, 처리에 의해 얻어진 출력 데이터가 시간이 경과함에 따라 개선되도록 입력 데이터가 처리되는 처리 방법이 실시간으로 학습되는 데이터 처리 장치 및 데이터 처리 방법에 관한 것이다.
도 1은 종래의 데이터 처리 장치의 구조를 나타낸다.
처리될 입력 데이터는 결정부(91) 및 처리부(921내지 92M)로 전송된다. 처리부(921내지 92M)는 서로 상이한 처리 방법에 의해 입력 데이터를 처리하고, 선택부(93)에 전송한다.
다른 한편, 결정부(91)는 처리부(921내지 92M)의 출력단들 중의 하나가 예를 들면 입력 데이터로부터 추출된 특징 양에 따라 선택되도록 선택부(93)를 제어한다. 선택부(93)는 결정부(91)의 제어 하에 처리부(921내지 92M)의 출력단들 중의 하나를 선택하고, 출력 데이터로서 출력한다.
말하자면, 처리부(921내지 92M)는 서로 상이한 처리 방법으로 입력 데이터를 처리하고, 결정부(91)는 입력 데이터의 특징 양에 따라 처리부(921내지 92M)의 처리 방법들 중에서 가장 적절한 방법을 선택하고, 선택부(93)는 선택된 처리 방법에 의해 얻어진 입력 데이터의 처리 결과를 선택한다.
따라서, 도 1에 도시된 데이터 처리 장치에서, 입력 데이터가 영상 데이터이고, 처리부(921내지 92M)가 예를 들면 영상 데이터를 필터링하기 위한 상이한 탭 계수들을 갖는 필터로서 작용할 때, 결정부(91)는 처리부(921내지 92M) 중에서 데이터 처리 장치의 설계자가 입력 데이터의 특징 양에 따라 가장 적절하게 생각하는 탭 계수를 갖는 필터를 결정한다. 선택부(93)는 결정된 필터가 입력 데이터를 필터링할 때 얻어진 결과를 출력 데이터로서 선택한다.
상기한 바와 같이, 종래의 데이터 처리 장치에서, 데이터 처리 장치의 설계자가 가장 적절하게 생각하는 탭 계수를 갖는 필터의 처리 결과는 처리부(921내지 92M) 중에서 선택된다. 그러나, 그러한 탭 계수에 의해 입력 데이터를 처리하는 것이 입력 데이터에 적절하다고 반드시 할 수 없다.
다시 말해, 경우에 따라, 처리부(921내지 92M)가 갖는 탭 계수 이외의 탭 계수를 사용하여 여과하는 것은 입력 데이터에 대해 보다 적절하고, 결과적으로 보다 개선된 출력 데이터가 얻어진다.
따라서, 본 발명의 목적은 상기 문제점을 해결하는 것이다.
상기 목적은 소정의 처리 방법에 의해 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리부, 및 처리 방법이 실시간으로 학습되고, 데이터 처리부는 학습된 처리 방법에 의해 입력 데이터를 처리하도록 제어하기 위한 실시간 학습부를 포함함으로써, 출력 데이터가 시간이 경과함에 따라 개선되도록, 입력 데이터를 처리하고, 처리된 데이터를 출력하기 위한 데이터 처리 장치의 제공을 통해 본 발명의 한 견지를 달성하는데 있다.
상기 목적은 소정의 처리 방법에 의해 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 단계, 및 처리 방법이 실시간으로 학습되고 입력 데이터가 데이터 처리 단계에서 학습된 처리 방법에 의해 처리되도록 제어하기 위한 실시간 학습 단계를 포함함으로서, 출력 데이터가 시간이 경과함에 따라 개선되도록, 입력 데이터를 처리하고, 처리된 데이터를 출력하기 위한 데이터 처리 방법의 제공을 통해 본 발명의 또 다른 견지를 달성하는데 있다.
도 1은 종래의 데이터 처리 장치의 구조를 도시한 블록도.
도 2는 본 발명의 실시예에 따른 자기-동조 처리 회로의 예시적인 구조의 블록도.
도 3a는 알고리즘이 변화되기 전에 사용된 처리 방법의 흐름도.
도 3b는 알고리즘이 변화된 후에 사용된 처리 방법의 흐름도.
도 4a는 처리 소자들이 변화되기 전에 사용된 처리 방법의 흐름도.
도 4b는 처리 소자들이 변화되기 전에 사용된 처리 방법의 흐름도.
도 5는 학습을 위해 사용된 입력 학습 데이터를 도시한 도면.
도 6은 본 발명의 실시예에 따른 NR 처리 회로의 예시적인 구조를 도시한 블록도.
도 7a는 도 6에 도시된 NR 처리 회로에 의해 처리될 입력 데이터를 도시한 도면.
도 7b는 도 6에 도시된 NR 처리 회로에 의해 처리될 입력 데이터의 신뢰도를 도시한 도면.
도 8은 도 6에 도시된 NR 처리 회로의 처리를 도시한 흐름도.
도 9는 본 발명의 실시예에 따른 영상 처리 장치의 예시적인 구조를 도시한 블록도.
도 10은 도 9에 도시된 영상 처리 장치에 의해 처리될 클래스 탭 및 예측 탭을 도시한 도면.
도 11은 도 9에 도시된 데이터 처리부(2)의 처리를 도시한 흐름도.
도 12는 도 9에 도시된 실시간 학습부(1)의 처리를 도시한 흐름도.
도 13은 본 발명의 다른 실시예에 따른 영상 처리 장치의 예시적인 구조를 도시한 블록도.
도 14는 도 13에 도시된 학습 처리부(53n)의 예시적인 구조를 도시한 블록도.
도 15는 도 14에 도시된 예측-계수 학습부(61)의 예시적인 구조를 도시한 블록도.
도 16은 도 14에 도시된 클래스-분류 동조 처리부(62)의 예시적인 구조를 도시한 블록도.
도 17은 도 13에 도시된 실시간 학습부(1)의 처리를 도시한 흐름도.
도 18은 도 13에 도시된 영상 처리 장치에 의해 처리될 클래스 탭을 도시한 도면.
도 19a는 본 발명에 관련된 처리를 실행하는 프로그램이 설치된 컴퓨터의 도면.
도 19b는 본 발명에 관련된 처리를 실행하는 프로그램이 저장된 예시적인 기억 매체를 도시한 도면.
도 19c는 본 발명에 관련된 처리를 실행하는 프로그램이 인공 위성 및 통신망을 통해 컴퓨터에 배포되는 경우를 도시한 도면.
도 20은 본 발명에 관련된 처리를 실행하는 프로그램이 설치된 컴퓨터의 블록도.
* 도면의 주요 부분에 대한 부호의 설명
1: 실시간 학습부 2: 데이터 처리부
12: 입력 신뢰도 산출부 13: 출력 신뢰도 산출부
21, 23, 41: 프레임 메모리 24, 42: 클래스-탭 발생 회로
25, 43: 예측-탭 발생 회로 26, 44: 클래스 분류 회로
27, 29: 가산기 28: 예측-탭 메모리
30: 마스터-데이터 메모리 46: 예측 오퍼레이션 회로
102: 하드 디스크 111: 플로피 디스크
112: CD-ROM 115: 자기 디스크
142: CPU 146: 디스플레이부
도 2는 본 발명의 실시예에 따른 자기-동조 처리 회로의 예시적인 구조를 도시한다.
자기-동조 처리 회로에서, 가장 적절한 처리 방법에 의해 입력 데이터, 예를 들면 처리될 디지털 데이터, 즉 처리될 입력 데이터에 대한 처리가 이루어지고, 처리 결과는 출력 데이터로서 출력된다.
보다 상세하게는, 자기-동조 처리 회로는 실시간 학습부(1) 또는 실시간 학습 수단 및 데이터 처리부(2) 또는 데이터 처리 수단으로 형성된다.
실시간 학습부(1)는 처리될 입력 데이터가 처리되는 처리 방법을 학습하기 위해 사용된 학습 입력 데이터를 수신한다. 실시간 학습부(1)는 출력 데이터가 시간이 경과함에 따라 개선되도록 처리될 입력 데이터를 적응성 있게 처리하기 위해, 처리 방법이 학습 입력 데이터에 따라 실시간으로 학습되고 학습 결과로서 얻어진 처리 방법이 처리를 위해 사용되도록 데이터 처리부(2)를 제어한다.
데이터 처리부(2)는 실시간 학습부(1)에 의해 명시된 처리 방법에 의해 처리될 입력 데이터를 적응성 있게 처리하고, 처리 결과를 출력 데이터로서 출력한다.
따라서, 데이터 처리부(2)는 상기한 바와 같이 실시간으로 학습된 처리 방법을 사용함으로써 처리될 입력 데이터를 처리하고, 처리될 입력 데이터에 적응성 있게 처리가 이루어진다.
보다 상세하게는, 데이터 처리부(2)가 처리될 입력 데이터를 처리하는 처리 방법은 실시간 학습부(1)에서 실시간 학습에 의해 개선된다. 데이터 처리부(2)는 실시간 학습부(1)에 의해 명시된 처리 방법을 사용함으로써 처리될 입력 데이터를 적응성 있게 처리한다. 시간이 경과하거나 또는 처리된 입력 데이터의 양이 증가함에 따라, 학습 효과가 점차로 나타나고, 데이터 처리부(2)로부터 출력된 출력 데이터는 시간이 경과함에 따라 개선된다. 출력 데이터의 개선은 데이터 처리부(2)의 처리 방법이 시간이 경과함에 따라 처리될 입력 데이터를 처리하는데 적절하도록 개선되는 것을 의미한다.
상기한 바와 같이, 자기-동조 회로에서, 처리될 입력 데이터를 위한 처리 방법은 실시간으로 학습되고, 처리될 입력 데이터는 출력 데이터가 시간이 경과함에 따라 개선되도록 학습 결과로서 얻어진 학습 방법에 의해 처리된다. 말하자면, 처리될 입력 데이터에 적절한 처리는 학습이 진행됨에 따라 자체 적용된다. 따라서, 도 2에 도시된 자기-동조 처리 회로가 수행할 수 있는 처리는 자기-동조 처리라 칭할 수 있다.
출력 데이터의 개선은 예를 들면 처리될 입력 데이터가 영상일 때 영상 화질의 개선을 의미한다. 보다 상세하게는, 이는 s/n 비율 또는 해상도의 개선을 의미한다. 데이터 처리부(2)에서 처리의 목적이 평탄화 또는 에지 강조 등의 효과일 때, 출력 데이터의 개선은 그 효과가 크게 나타나는 것을 의미한다. 따라서, 출력 데이터의 개선은 사용자가 목적하는 상태를 갖는 출력 데이터가 얻어지도록 출력 데이터가 개선되는 것을 의미한다.
실시간 학습부(1)는 이 학습부에 입력된 입력 학습 데이터에 따라 처리될 입력 데이터를 처리하기 위해 사용된 처리 방법을 실시간으로 학습한다. 도 2에서 점선으로 도시된 바와 같이, 입력 학습 데이터는 데이터 처리부(2)에 입력된 처리될 입력 데이터이고, 처리될 입력 데이터의 주파수 특징 등의 출력 데이터는 데이터 처리부(2)로부터 출력되거나, 또는 추가로, 보조 입력 데이터는 처리될 입력 데이터에 적용될 처리 방법의 학습을 수행하기 위해 자기-동조 회로에 전송된다. 2개 이상의 상기 데이터는 입력 학습 데이터로서 사용될 수 있다.
자기-동조 처리 회로에서, 데이터 처리부(2)의 처리 방법은 실시간 학습부(1)가 실시간으로 학습하는 순간마다 개선된다. 따라서, 자기-동조 회로는 이른바 시간에 따른 변화 시스템(change-with-time system)이다. 처리 방법의 개선은 처리의 알고리즘이 변화되는 경우 및 처리를 구성하는 일련의 처리 또는 요소들을 구성하는 처리 단계들의 내용들이 변화되는 경우로 대략적으로 분할 될 수 있다.
"x"가 처리될 입력 데이터를 지시하고, "y"가 출력 데이터를 지시할 때, 예를 들면, 데이터 처리부(2)에서 처리는 함수 "f( )"를 사용함으로써 수학식 y=f(x)로 표현된다.
이 수학식이 "f(x)=a0x2+ b0x + c0"로 설정될 때, 예를 들면 알고리즘이 변화되기 전에 사용된 데이터 처리부(2)의 처리는 도 3a에 도시된 흐름도에 의해 표현될 수 있다.
단계(S1)에서, a0x2가 산출된다. 단계(S2)에서, b0x가 산출된다. 이어서, 단계(S3)에서, 출력 데이터 "y"를 얻기 위해 a0x2+ b0x + c0가 산출된다.
이러한 경우에, 함수 "f(x)"의 형태를 변화시키는 것은 처리의 알고리즘을 변화시키는 것에 대응한다. 보다 상세하게는, "f(x) = a0x2+ b0x + c0"로부터 "f(x) = (a0x2+ b0x + c0)2"로 함수를 변화시키는 것은 예를 들면 처리의 알고리즘을 변화시키는 것에 대응한다.
이러한 경우에, 알고리즘이 변화된 후 데이터 처리부(2)의 처리부는 예를 들면 도 3b에 도시된 흐름도에 의해 표현될 수 있다.
보다 상세하게는, 단계(S1 내지 S3)에서, 도 3a에 도시된 것과 동일한 처리가 실행되고, (a0x2+ b0x + c0)2가 출력 데이터 "y"를 얻기 위해 산출된다.
도 3a에 도시된 흐름도와 도 3b에 도시된 것 간의 비교로 분명히 이해할 수 있듯이, 처리의 알고리즘이 변화될 때, 처리를 표현하는 흐름도 역시 상응하여 변화된다.
함수 "f(x)"의 계수를 변화시키는 것은 처리를 구성하는 요소의 내용을 변화시키는 것에 대응한다. 보다 상세하게는, 예를 들면, "f(x) = a0x2+ b0x + c0"로부터 "f(x) = a1x2+ b1x + c1"로 함수를 변화시키는 것은 처리를 구성하는 요소들의 내용을 변화시키는 것에 대응한다.
이러한 경우에, 데이터 처리부(2)의 처리는 도 3a에 도시된 것과 동일한 도 4a의 흐름도로 도시된 처리로부터 도 4b의 흐름도로 도시된 처리로 변화된다.
보다 상세하게는, 이러한 경우에, a1x2가 단계(S1)에서 산출되고, b1x가 단계(S2)에서 산출되고, 이어서, a1x2+ b1x + c1이 출력 데이터 "y"를 얻기 위해 단계(S3)에서 산출된다.
도 4a에 도시된 흐름도와 도 4b에 도시된 것 간의 비교로 분명히 이해할 수 있듯이, 함수 "f(x)"의 계수들이 변화될 때, 처리를 구성하는 단계들의 내용들도 상응하여 변화된다. 보다 상세하게는, 도 4a 및 4b에서, 단계(S1)의 내용은 a0x2의 산출로부터 a1x2의 그것으로 변화되고, 단계(S2)의 내용은 b0x의 산출로부터 b1x의 그것으로 변화되며, 단계(S3)의 내용은 a0x2+ b0x + c0로부터 a1x2+ b1x + c1로 변화된다.
몇몇 경우에, 처리 방법은 처리의 알고리즘을 변화시키고, 처리를 구성하는 소자의 내용들을 변화시킴으로써 개선된다.
도 3a 및 3b 및 도 4a 및 4b에 사용된 함수들은 처리 방법을 개선을 기재하기 위해 사용된 바로 그 실시예이다. 출력 데이터가 실제로 개선되었는지 여부는 데이터 처리부(2)의 처리를 표현하는 함수가 상기한 바와 같이 변화된다는 사실과 무관하다.
자기-동조 처리 회로는 예를 들면 함수 f(x)의 계수들이 새롭게 발생된 적응성 계수에 따른 실시간 학습에 의해 변화되는 종래의 디지털 필터와 상이하다. 보다 상세하게는, 종래의 디지털 필터에서, 탭 계수는 입력 데이터에 따라 미리 제조된 계수로 변화될 수 있고, 이는 실시간 학습에 의해 발생되지 않는다. 즉, 종래의 디지털 필터에서, 시스템 디자이너가 입력 데이터에 대해 적절하게 생각하는 탭 계수가 미리 제조된 탭 계수들 중에서 선택된다. 입력 데이터에 적응성인 탭 계수는 얻어지지 않는다. 결과적으로, 입력 데이터에 대해 보다 적절한 탭 계수가 존재하는 경우조차, 그 계수가 미리 제조되지 않는 한 사용될 수 없다. 따라서, 상기 종래의 디지털 필터들은 탭 계수를 "적응성 있게" 변화시키는 일부 경우의 시스템에서 요구되지만, 정확하게 말하자면, 이는 "적응성 있게"가 아니라, "선택적으로"이다. 이들은 입력 데이터에 적응성인 탭 계수가 발생되지 않고, 입력 데이터에 대해 유일하게 선택된 탭 계수가 사용되는 시스템이다.
이와는 대조적으로, 자기-동조 처리 회로에서, 탭 계수는 입력 데이터가 적응성 있게 선택되도록 실시간 학습에 의해 발생된다. 말하자면, 입력 데이터는 입력 데이터에 대해 진정으로 가장 적절한 탭 계수에 의해 처리된다. 보다 상세하게는, 예를 들면, 종래의 디지털 필터에서, 예를 들면, 2 세트의 탭 계수들이 미리 제조될 때, 시스템 디자이너가 입력 데이터에 대해 적절하게 생각하는 2 세트의 탭 계수들중의 하나가 유일하게 선택되고 사용되는 반면에, 입력 데이터를 처리하기 위해 사용된 탭 계수들은 입력 데이터에 대해 보다 적절한 탭 계수를 얻기 위한 실시간 학습에 의해 매 순간마다 개선되고, 처리는 자기-동조 처리 회로에서 그러한 탭 계수들의 사용에 의해 실행된다. 따라서, 입력 데이터에 적응성인 처리가 수행된다.
또한, 자기-동조 처리 회로는 출력 데이터가 매 순간마다 개선되는 점에서, 적응성 다이내믹 레인지 코딩(ADRC) 처리 등과 같이, 입력 데이터에 동조 처리가 적용되지만 출력 데이터가 매 순간마다 개선되지 않는 종래의 처리와 상이하다. 보다 상세하게는, ADRC 처리에서, 영상에서 블록을 구성하는 화소들의 화소값의 최대값(MAX) 및 최소값(MIN)이 검출되고, 블록을 구성하는 화소들의 화소 값들은 블록에서 MAX-MIN에 의해 얻어진 지엽적인 다이내믹 레인지(DR)에 따라 K 비트로 재-양자화된다. 보다 상세하게는, 최소값(MIN)은 블록 내의 각각의 화소의 값으로부터 감산되고, 그 차이는 재-양자화를 위해 DR/2K로 분할된다. 따라서, 동조 처리는 화소 값들의 양자화 단계 DR/2K가 블록 다이내믹 레인지(DR)에 따라 얻어지고 화소 값들이 양자화 단계(DR/2K)에 의해 양자화되지만, 양자화 결과로서 얻어진 출력 데이터가 매 순간마다 개선되지 않는 입력 데이터에 적용된다.
실시간 학습부(1)는 시간이 현 시점 "t"에서 실시간 학습으로 경과한 시간에 따라 출력 데이터를 개선시키기 위해 지금까지 얻어진 입력 학습 데이터의 모든 샘플값들을 사용한다. 데이터 처리부(2)의 출력 데이터는 실시간 학습부(1)가 입력 학습 데이터의 현재 시점 "t"에 대해 시간 방식으로 근접한 위치에서 얻어진 시료 값들에 가중치를 제공하고 현 시점으로부터 훨씬 더 먼 위치에서 얻어진 시료 값들을 사용하지 않는 경우에 보다 효과적으로 개선될 수 있다. 따라서, 실시간 학습부(1)는 상기 가중치가 입력 학습 데이터에 제공되도록 실시간 학습을 실행할 수 있고, 즉, 현 시점 "t"로부터 먼 시간 방식의 위치에서 얻어진 입력 학습 데이터의 시료 값들은 시간 차의 정도에 대응하는 속도에 따라 무시된다. 대안으로, 실시간 학습부(1)는 현 시점 "t"로부터 소정의 시간 내에 얻어진 입력 학습 데이터 만을 사용한다. 보다 상세하게는, 예를 들면, 도 5에 도시된 바와 같이, 실시간 학습부(1)는 현 시점 "t"로부터 실시간 학습을 위해 현 시점 "t"에 4개의 시료들 내의 입력 학습 데이터 만을 사용할 수 있다. 이는 5개 이상의 시료 기간 만큼 현 시점 "t"에서 벗어난 입력 학습 데이터에 0의 가중치를 적용함으로써 구현될 수 있다.
현 시점 "t"의 실시간 학습에서, 실시간 학습부는 현 시점 "t"에서 얻어진 입력 학습 데이터의 시료 값으로부터 소정의 범위 내의 시료 값들만을 사용하는 것이 가능할 수 있다. 보다 상세하게는, 예를 들면, 도 5에서, 시점 "t-2"에서 얻어진 학습 데이터의 그것은 현 시점 "t"에서 얻어진 입력 학습 데이터의 시료 값의 그것과 상이하게 큰 매그니튜드를 갖는 것과 같은 시료 값은 실시간 학습부(1)에서 학습에 부작용을 미칠 수 있다. 따라서, 실시간 학습부(1)에서 현 시점 "t"에서 실시간 학습으로 현 시점 "t"에 얻어진 입력 학습 데이터의 그것과 상이하게 큰 매그니튜드를 갖는 시료 값에 0의 가중치를 제공할 수 없다.
도 6은 실시예에 따라, 도 2에 나타낸 자기-동조 회로가 적용되는 잡음 제거(NR) 처리 회로(100)의 예시적인 구조를 나타낸다.
잡음이 있는 입력 데이터가 이러한 NR 처리 회로(100)에 입력될 때, NR 처리 회로는 입력 데이터로부터 잡음을 효과적으로 제거하고, 출력 데이터를 출력하기 위해 입력 데이터에 자기-동조 처리를 적용한다.
보다 상세하게는, 예를 들면, 설명을 간단히 하기 위해, 도 7a에 도시된 바와 같이, 시간에 맞게 동요되는 잡음이 중첩되는 것에 대해 일정한 진리 값을 갖는 입력 데이터가 시간에 맞게 동요되는 잡음을 제거하기 위해 평균되는 경우가 조사된다. 이 잡음은 큰 잡음 레벨, 즉, 낮은 S/N 비율을 갖는 입력 데이터에 대한 가중치를 작은 값으로 설정함으로써 및 작은 잡음 레벨, 즉 큰 A/N 비율을 갖는 입력 데이터에 대한 가중치를 큰 값으로 설정함으로써 효율적으로 제거된다.
도 6에 나타낸 NR 처리 회로(100)에서, 입력 데이터의 평가 값으로서, 입력 데이터가 예를 들면 도 7b에 도시된 진리 값에 대항하는 입력 데이터의 신뢰도인 진리값에 얼마나 근접한가를 지시하는 신뢰도가 실시간 학습에 의해 얻어진다. NR 처리 회로(100)는 잡음을 효과적으로 제거하기 위해 신뢰도에 대응하는 가중치가 입력 데이터에 인가되는 동안 그의 평균을 산출한다.
따라서, 도 6에 나타낸 NR 처리 회로(100)는 그의 신뢰도에 대응하는 가중치를 사용함으로써 입력 데이터의 가중된 평균을 얻고, 그의 출력 데이터를 출력한다. 출력 데이터 y(t)는 하기 식으로부터 얻어지고, 여기서 x(t), y(t) 및 αx(t)는 입력 데이터, 출력 데이터 및 NR 처리 회로(100)에서 시점 "t"에서 입력 데이터의 신뢰도를 각각 지시한다.
여기서 보다 큰 가중치는 입력 데이터의 고도의 신뢰도 αx(t)에 제공되는 것으로 가정된다.
현 시점 "t" 전의 하나의 시료에서 얻어진 출력 데이터 "y(t-1)"은 수학식(1)으로부터 다음과 같이 산출된다.
출력 데이터 y(t)에 대해서와 같이, 출력 데이터 y(t)가 참 값에 거슬러 출력 데이터 y(t)의 신뢰도인 참 값에 어떻게 근접하는지를 지시하는 신뢰도 αy(t)정도가 출력 데이터 y(t)의 평가값으로서 도입된다. 현 시점 "t" 전의 하나의 시료에서 얻어진 출력 데이터 y(t-1)의 신뢰도는 하기 수학식으로 정의된다.
이러한 경우에, 출력 데이터 "y(t)" 및 그의 신뢰도 αy(t)는 수학식 (1) 내지 (3)을 사용하여 다음과 같이 표현된다.
시점 "t"에서 출력 데이터 y(t)를 얻기 위해 사용된 가중치는 w(t)로 지시되고, 하기 수학식으로 정의된다.
수학식(5)로부터, 하기 수학식이 만족된다.
수학식 (5) 및 (6)을 사용함으로써, 수학식(4)에서 출력 데이터 y(t)는 승산 및 가산에 의해 얻어진 가중된 평균치에 의해 하기 방식으로 표현될 수 있다.
수학식(7)에 사용된 가중치 w(t)(및 1-w(t))는 이전의 하나의 시료에서 얻어진 출력 데이터 y(t-1)의 신뢰도 αy(t-1)및 현재 입력 데이터 x(t)의 신뢰도 αx(t)를 사용함으로써 수학식(5)로부터 얻어질 수 있다. 수학식(4)에서 현재 출력 데이터 y(t)의 신뢰도 αy(t)는 이전의 하나의 시료에서 얻어진 출력 데이터 y(t-1)의 신뢰도 αy(t-1)및 현재 입력 데이터 x(t)의 신뢰도 αx(t)를 사용함으로써 역시 얻어질 수도 있다.
입력 데이터 x(t)의 신뢰도 αx(t)및 출력 데이터 y(t)의 신뢰도 αy(t)가 각각 대응하는 분산의 역수로서 표현될 때, 즉, 신뢰도 αx(t)및 신뢰도 αy(t)가 다음과 같이 설정될 때,
수학식(5)에서 가중치 w(t)는 하기 식으로 표현될 수 있다.
이러한 경우에, 수학식(6)으로 정의된 1-w(t)는 하기 수학식으로 표현될 수 있다.
αy(t) 2라는 용어는 수학식(4), (8) 및 (9)를 사용하여 하기 수학식으로 표현될 수 있다.
도 6에 나타낸 NR 처리 회로(100)는 수학식(5)에 따라 실시간으로 가중치 w(t)를 학습하고, 입력 학습 데이터로서 사용된 출력 데이터 y(t) 및 입력 데이터 x(t)를 사용하여 수학식(6)에 따라 실시간으로 가중치 1-w(t)를 학습한다. NR 처리 회로(100)는 입력 데이터 x(t)를 적응성 있게 처리하기 위해 실시간 학습의 결과로서 얻어진 가중치 w(t)를 사용하여 이전의 하나의 시료에서 얻어진 출력 데이터 y(t-1) 및 수학식 (7)에 따른 현재 입력 데이터 x(t)의 가중된 평균을 산출함으로써 입력 데이터 x(t)에 포함된 잡음이 효과적으로 제거된다. 이들 오퍼레이션에 의해, NR 처리 회로(100)로부터 출력된 출력 데이터 y(t)의 S/N 비율은 시간이 경과함에 따라 개선된다.
래치 회로(111)는 입력 데이터를 수신한다. 래치 회로(111)는 예를 들면 입력 데이터가 수신되는 타이밍과 동기되어 수신된 입력 데이터를 래치하고, 이를 후속-스테이지의 래치 회로(112) 및 입력 신뢰도 산출부(12)에 전송한다. 래치 회로(112) 및 래치 회로(113)는 이전-스테이지의 래치 회로(111) 및 래치 회로(112)로부터 출력된 입력 데이터를 래치하고, 이를 후속-스테이지의 래치 회로(113및 114) 각각 및 입력 신뢰도 산출부(12)로 래치 회로(111)와 동일한 방식으로 전송한다. 래치 회로(114)는 이전-스테이지 래치 회로(113)로부터 출력된 입력 데이터를 래치하고, 이를 입력 신뢰도 산출부(12)로 전송한다.
입력 신뢰도 산출부(12)는 래치 회로(111내지 114)에 의해 래치된 입력 데이터 외에 래치 회로(111)에 전송된 것과 동일한 입력 데이터를 수신한다. 따라서, 입력 데이터 x(t)가 래치 회로(111) 및 입력 신뢰도 산출부(12)에 전송될 때, 입력 신뢰도 산출부(12)는 래치 회로(111내지 114)에 의해 래치된 입력 데이터 x(t-1) 내지 x(t-4)를 수신하기도 한다. 입력 신뢰도 산출부(12)는 예를 들면 입력 데이터 x(t)로부터 x(t-4)에 이르는 입력 데이터의 분산을 산출하고, 입력 데이터 x(t)의 신뢰도 αx(t)(즉, 입력 신뢰도)로서 분산의 역수를 출력 신뢰도 산출부(13) 및 가중치 산출부(15)에 전송한다.
출력 신뢰도 산출부(13)는 입력 신뢰도 산출부(12) 및 래치 회로(14)의 출력단으로부터 전송된 입력 신뢰도 αx(t)를 사용하는 수학식 (4)에 따라 출력 데이터 y(t)의 신뢰도 αy(t)(즉, 출력 신뢰도)를 얻고, 이를 래치 회로(14)에 출력한다.
래치 회로(14)는 예를 들면 입력 데이터 x(t)의 래칭과 동기된 출력 신뢰도 산출부(13)로부터 전송된 출력 신뢰도 αy(t)를 산출하고, 이를 출력 신뢰도 산출부(13) 및 가중치 산출부(15)에 전송한다. 따라서, 래치 회로(14)는 이전의 하나의 시료에서 얻어진 출력 신뢰도 αy(t-1)를 출력 신뢰도 산출부(13) 및 가중치 산출부(15)에 전송한다.
가중치 산출부(15)는 입력 신뢰도 산출부(12)로부터 전송된 입력 신뢰도 αx(t)및 래치 회로(14)로부터 전송된 출력 신뢰도 αy(t-1)를 사용하여 수학식 (5)에 따라 가중치 w(t)를 얻고, 이를 가중부(16) 및 오퍼레이션부(17)로 전송한다.
상기한 바의 래치 회로(111내지 114), 입력 신뢰도 산출부(12), 출력 신뢰도 산출부(13), 래치 회로(14) 및 가중치 산출부(15)는 도 2에 도시된 실시간 학습부에 대응한다.
가중부(16)는 래치 회로(20)의 출력을 가중치 산출부(15)로부터 전송된 가중치 w(t)를 승산하고, 승산 결과를 오퍼레이션부(19)에 전송한다. 오퍼레이션부(17)는 가중치 산출부(15)로부터 전송된 가중치 w(t)를 감산하고, 감산 결과인 1-w(t)를 가중부(18)에 전송한다. 가중부(18)는 오퍼레이션부(17)의 출력 뿐만 아니라 입력 데이터 x(t)를 수신한다. 가중부(18)는 오퍼레이션부(17)의 출력을 입력 데이터 x(t)에 승산하고, 승산 결과를 오퍼레이션부(19)에 전송한다. 오퍼레이션부(19)는 가중부(16 및 18)의 출력을 가산하고, 가산 결과를 출력 데이터 y(t)로서 출력하고, 이를 래치 회로(20)에 전송한다. 래치 회로(20)는 예를 들면 입력 데이터 x(t)의 래칭과 동기된 오퍼레이션부(19)의 출력 데이터를 래치하고, 이를 가중부(16)에 전송한다.
상기한 바의 가중부(16), 오퍼레이션부(17), 가중부(18), 오퍼레이션부(19), 및 래치 회로(20)는 도 2에 도시된 데이터 처리부(2)에 대응하고, 수학식 (7)에 따라 가중된 평균을 산출하고, 이를 출력 데이터 y(t)로서 출력한다.
도 6에 도시된 NR 처리 회로(100)의 오퍼레이션은 도 8에 도시된 흐름도를 참조하여 아래 기재할 것이다. NR 처리 회로(100)의 오퍼레이션 및 각각이 기능성 블록의 제어는 도시되지 않은 제어기에 의해 달성된다. 대안으로, 전체적인 NR 처리 알고리즘은 소프트웨어에 의해 구현될 수 있다.
먼저, 입력 데이터 x(t)는 단계(S11)에서 래치 회로(111), 입력 신뢰도 산출부(12), 및 가중부(18)에 입력된다.
다음 단계(S12)에서, 입력 신뢰도 산출부(12)는 입력 신뢰도 αx(t)를 얻는다.
보다 상세하게는, 래치 회로(111)는 입력 데이터가 수신되는 타이밍과 동기되어 수신된 입력 데이터를 래치하고, 이를 후속-스테이지 래치 회로(11) 및 입력 신뢰도 산출부(12)에 전송한다. 래치 회로(112) 및 래치 회로(113)는 이전-스테이지의 래치 회로(111및 112)로부터 출력된 입력 데이터를 래치하고, 그 데이터를 후속-스테이지의 래치 회로(113및 114) 및 입력 신뢰도 산출부(12) 각각에 래치 회로(111)와 동일한 방식으로 전송한다. 래치 회로(114)는 이전-스테이지의 래치 회로(113)로부터 출력된 입력 데이터를 래치하고, 이를 입력 신뢰도 산출부(12)에 전송한다. 따라서, 입력 신뢰도 산출부(12)는 입력 데이터 x(t)를 수신하는 동일한 시점에서 래치 회로(111내지 114) 각각으로부터 입력 데이터 x(t-1) 내지 x(t-4)를 수신한다. 입력 신뢰도 산출부(12)는 입력 신뢰도 αx(t)를 얻기 위해 입력 데이터 x(t) 내지 x(t-4)를 사용하고, 이를 상기한 바와 같이 출력 신뢰도 산출부(13) 및 가중치 산출부(15)에 전송한다.
입력 신뢰도 산출부(12)가 입력 신뢰도 αx(t)를 가중치 산출부(15)에 전송하는 타이밍에, 래치 회로(14)는 하나의 시료 전의 출력 신뢰도 산출부(13)로부터 출력된 출력 신뢰도 αy(t-1)를 래치한다. 단계(S13)에서, 가중치 산출부(15)는 수학식 (5)에 따라 가중치 w(t)를 얻기 위해 입력 신뢰도 산출부(12)로부터 전송된 입력 신뢰도 αx(t)및 래치 회로(14)에 의해 래치된 출력 신뢰도 αy(t-1)를 사용한다. 이러한 가중치 w(t)는 가중부(16) 및 오퍼레이션부(17)에 전송된다.
가중부(16), 오퍼레이션부(17), 가중부(18), 오퍼레이션부(19) 및 래치 회로(20)는 수학식 (7)에 따라 이전의 하나의 시료로부터 얻어진 출력 데이터 y(t-1) 및 입력 데이터 x(t)의 가중된 평균을 산출하기 위해 가중치 산출부(15)로부터 출력된 가중치 w(t)를 사용한다.
보다 상세하게는, 가중부(16)는 가중치 산출부(15)로부터 전송된 가중치 w(t)를 래치 회로(20)의 출력에 승산하고, 승산 결과를 오퍼레이션부(19)에 전송한다. 래치 회로(20)는 가중치 산출부(15)가 가중치 w(t)를 출력하는 타이밍에서 오퍼레이션부(19)가 최종 시점을 출력하는 출력 데이터 y(t-1)를 래치한다. 따라서, 가중부(16)는 출력 데이터 y(t-1)와 가중치 w(t)의 곱 w(t)y(t-1)를 얻고, 이를 오퍼레이션부(19)에 전송한다.
오퍼레이션부(17)는 가중치 산출부(15)로부터 전송된 가중치 w(t)를 하나씩 감산하고, 감산값 1-w(t)를 가중부(18)에 전송한다. 가중부(18)는 입력 데이터 x(t)를 오퍼레이션부(17)의 출력 1-w(t)에 승산하고, 승산 결과 (1-w(t))x(t)를 오퍼레이션부(19)에 전송한다.
오퍼레이션부(19)는 가중부(16)의 출력 w(t)y(t) 및 가중부(18)의 출력 (1-w(t))x(t)를 부가한다. 말하자면, 가중치 산출부(15)로부터 출력된 가중치 w(t)를 사용함으로써, 이전의 하나의 시료로부터 얻어진 출력 데이터 y(t-1) 및 입력 데이터 x(t)의 가중된 평균은 수학식 (7)에 따라 산출된다.
가중된 평균은 단계(S15)에서 출력 데이터 y(t)로서 출력된다. 출력 데이터 y(t)는 래치 회로(20)에 전송되고 래치된다.
다음 단계(S16)에서, 처리될 입력 데이터가 여전히 존재하는지 여부가 제어기에 의해 결정된다. 단계(S16)에서 처리될 입력 데이터가 여전히 존재하는 것으로 결정될 때, 그 절차는 단계(S17)로 진행되고, 출력 신뢰도 산출부(13)는 출력 신뢰도를 갱신한다. 보다 상세하게는, 출력 신뢰도 산출부(13)는 현재의 출력 신뢰도 αy(t)를 얻기 위해 수학식(4)에 따라 이전의 하나의 시료에서 얻어지고 래치 회로(14)에 의해 래치된 출력 신뢰도 αy(t-1)및 입력 신뢰도 산출부(12)에 의해 단계(S12)에서 산출된 입력 신뢰도 αx(t)를 가산하고, 이를 래치 회로(14)에 전송한다. 다음으로, 절차는 단계(S11)로 복귀되고, 동일한 처리가 다음 입력 데이터에 의해 반복된다.
다른 한편, 처리될 입력 데이터가 존재하지 않는 것으로 단계(S16)에서 제어기에 의해 결정될 때, 처리가 종료된다.
상기한 바와 같이, 가중치 w(t)는 현재 입력 데이터 x(t)의 입력 신뢰도 αx(t)및 이전의 하나의 시료에서 얻어진 출력 신뢰도 αy(t-1)를 사용함으로써 산출된다. 이어서, 이러한 가중치 w(t)에 따라, 현재 입력 데이터 x(t) 및 이전의 하나의 시료로부터 얻어진 출력 데이터 y(t-1)의 가중된 평균이 산출되고, 입력 데이터 x(t)의 처리 결과로서 작용하는 출력 데이터 y(t)로서 출력한다. 출력 데이터 y(t)의 출력 신뢰도 αy(t)는 이전의 하나의 시료에서 얻어진 출력 신뢰도 αy(t-1)에 현재의 입력 신뢰도 αx(t)를 가산함으로써 산출된다. 동일한 방식으로, 다음 입력 데이터 x(t+1), x(t+2), ...가 순차로 처리된다. 따라서, 가중치 w(t)는 높은 잡음 레벨을 갖는 부분들이 고려되지 않고, 낮은 잡음 레벨을 갖는 부분들이 이전의 입력 데이터에서 충분히 고려되도록 학습된다. 말하자면, NR 처리 회로(100)는 입력 데이터에 적응성인 가중치 w(t)를 얻고, 결과적으로, 가중치 w(t)의 학습이 진행되는 매 순간마다 출력 데이터를 개선시킨다. NR 처리 회로(100)는 입력 데이터로부터 잡음을 효과적으로 제거함으로써 얻어진 출력 데이터가 출력되도록 구성된다.
상기 경우에, 지난 4개의 시료 및 현재의 입력 데이터를 사용함으로써 얻어진 입력 데이터의 분산의 역수는 입력 신뢰도 αx(t)로서 사용된다. 입력 신뢰도 αx(t)는 예를 들면 지난 4개의 시료 및 현재의 입력 데이터를 사용함으로써 얻어진 입력 데이터의 평균에 거슬러 현재 입력 데이터의 에러 제곱의 역수 또는 분산의 역수와 에러 제곱의 역수의 합일 수 있다. 지난 4개의 시료 대신에, 모든 입력 데이터가 산출을 위해 사용될 수 있다.
도 6에 도시된 NR 처리 회로(100)는 예를 들면 잡음이 영상 데이터 또는 음향 데이터로부터 제거되는 경우에 적용될 수도 있다.
상기 실시예에서, 도 6에 도시된 NR 처리 회로(100)는 잡음 제거의 관점에서 기재하였다. 도 6에 도시된 NR 처리 회로(100)는 자기-동조 처리 특성을 갖고, 여기서 처리 방법, 보다 구체적으로 가중 계수 w(t)는 실시간으로 학습되고, 처리는 입력 데이터가 시간이 경과함에 따라 출력 데이터를 개선시키도록 적응성 있게 처리되도록 학습 결과로서 얻어진 처리 방법에 의해 실행되고, 따라서 입력 데이터는 적응성 있게 처리된다. 도 6에 도시된 NR 처리 회로(100)는 예를 들면 입력 데이터에 가장 적절한 파형을 달성할 수도 있다.
상기 경우에, NR 처리 회로(100)는 출력 데이터 Y(T)를 얻기 위해 수학식(7)에서 가중치 w(t)를 출력 데이터 y(t-1)에 승산하고, 가중치 1-w(t)를 입력 데이터 x(t)에 승산한다. 출력 데이터 y(t-1) 또는 입력 데이터 x(t)는 출력 데이터 y(t)를 얻기 위해 가중치가 승산되는 것이 가능할 수도 있다.
도 9는 실시예에 따라 도 2에 도시된 자기-동조 처리 회로가 적용되는 영상 처리 장치(200)의 예시적인 구조를 도시한다.
이러한 영상 처리 장치(200)에서, 클래스 분류 동조 처리는 SD(표준 밀도) 영상을 HD(고 밀도) 영상을 변환시키도록 수행된다.
클래스 분류 동조 처리는 클래스 분류 처리 및 동조 처리로 형성된다. 데이터는 클래스 분류 처리에서 그의 구조 또는 특성에 따라 클래스들로 분류되고, 동조 처리는 각각의 클래스에 적용된다. 동조 처리는 다음 방식으로 수행된다.
보다 상세하게는, 동조 처리에서, 예를 들면, SD 영상은 HD 영상의 화소들의 예측 값들을 얻기 위해 소정의 예측 계수와 선형으로 결합된다. 이러한 오퍼레이션에 따라, SD 영상에 포함되지 않은 고주파수 성분이 회수된다.
보다 상세하게는, 예를 들면, 화소, 즉, HD 영상을 구성하는 HD 화소의 화소 값 "y"의 예측 값 E[y]는 화소값, 즉 여러 SD 화소들의 학습 데이터 x1, x2, ..., 즉, SD 영상을 구성하는 화소와 소정의 예측 계수 w1, w2, ...를 선형 결합시킴으로써 정의된 선형 1차 결합 모델에 의해 얻어진다. 예측 값 E[y]는 하기 수학식으로 표현될 수 있다.
수학식(12)을 일반화시키기 위해, 예측 계수들의 세트 "w"로 형성된 매트릭스 "W", 학습 데이터의 세트로 형성된 매트릭스 "X", 및 예측 값들의 세트 E[y]로 형성된 매트릭스 "Y"는 하기 식으로 정의되고,
하기 관측 식이 만족된다.
최소 제곱이 마스터 데이터로서 작용하는 HD 화소의 화소 값 "y"에 근접한 예측 값 E[y]를 얻기 위해 이러한 관측식에 적용된다. 마스터 데이터로서 작용하는 HD 화소의 참 화소 값들의 세트 "y"로 형성된 매트릭스 "Y" 및 HD 화소들의 화소값 "y"에 거슬러 예측값 E[y]의 나머지들의 세트 "e"로 형성된 매트릭스 "E"는 다음 방식으로 정의되고,
하기 나머지 등식이 수학식(13)으로부터 만족된다.
이러한 경우에, HD 화소들의 화소 값들 "y"에 근접한 예측 값 E[y]를 얻기 위해 사용된 예측 계수 wi은 하기 에러 제곱이 최소로 이루어질 때 얻어진다.
따라서, 예측 계수 wi로 상기 에러 제곱을 미분함으로써 얻어진 결과가 0일 때, 다시 말해, 하기 수학식을 만족하는 예측 계수 wi는 HD 화소들의 화소 값들 "y"에 근접한 예측 값 E[y]를 얻기에 가장 적절한 값이다.
수학식(14)이 예측 계수 wi로 미분될 때, 하기 수학식이 만족된다.
수학식(15) 및 (16)으로부터, 수학식(17)이 얻어진다.
또한, 나머지 등식(14)에서 학습 데이터 "x", 예측 계수 "w", 마스터 데이터 "y" 및 나머지 "e" 간의 관계가 고려될 때, 하기 표준 등식이 수학식(17)로부터 얻어진다.
적절한 수의 마스터 데이터 "y" 및 학습 데이터 "x"가 준비될 때, 얻어질 예측 계수 "w"와 동일한 수의 표준 등식(18)이 공식화될 수 있다. 따라서, 등식(18)을 해결함으로써, 가장 적절한 예측 계수 "w"가 얻어진다. 등식(18)을 해결하기 위해, 예측 계수들 "w"에 적용될 계수로 형성된 매트릭스가 규칙적인 것이 요구된다. 예를 들면, 등식(18)을 해결하기 위해 스위프 오프 방법(가우스-조단 삭제 방법)을 사용할 수 있다.
가장 적절한 예측 계수 "w"가 상기한 바와 같이 얻어지고, HD 화소들의 화소 값 "y"에 근접한 예측 값 E(y)는 동조 처리에 예측 계수 "w"를 사용함으로써 수학식(12)으로부터 얻어진다.
동조 처리는 SD 영상에 포함되지 않고 HD 영상에 포함된 성분이 재생되는 보간 처리와 상이하다. 동조 처리는 수학식(12) 만이 고찰되는 경우 이른바 보간 필터를 사용하는 보간 처리와 동일하게 보인다. 보간 필터의 탭 계수에 대응하는 예측 계수 "w"는 마스터 데이터 "y"의 사용하는 소위 학습법에 의해 얻어지기 때문에, HD 영상에 포함된 성분이 재생될 수 있다. 즉, 고해상도 영상이 용이하게 얻어질 수 있다. 따라서, 동조 처리는 이른바 영상 생성 오프셋, 즉, 해상도 개선 효과를 갖는다고 할 수 있다.
도 9에 도시된 영상 처리 장치(200)는 상기한 바의 동조 처리에 의해 SD 영상을 HD 영상으로 변환시킨다.
말하자면, SD 영상은 처리될 입력 데이터로서 영상 처리 장치(200)에 입력되고, HD 영상은 입력 학습 데이터로서 입력된다. 처리될 입력 데이터로서 작용하는 SD 영상은 TV 방송에서 방송되는 SD 영상일 수 있다. 입력 학습 데이터로서 작용하는 HD 영상은 인공 위성을 통해 SD 영상과 함께 방송될 HD 영상일 수 있다. 또한, 입력 학습 데이터로서 작용하는 HD 영상은 SD 영상에 상기 클래스 분류 동조 처리를 적용함으로써 얻어진 HD 영상일 수 있다. SD 영상의 내용은 HD 영상의 그것과 동일한 것이 바람직하다.
도 9에서, 프레임 메모리(21), 세선화(thinning-out) 회로(22), 프레임 메모리(23), 클래스-탭 발생 회로(24), 예측-탭 발생 회로(25), 클래스 분류 회로(26), 가산기(27), 예측-탭 메모리(28), 가산기(29), 마스터-데이터 메모리(30) 및 오퍼레이션 회로(31)는 도 2에 도시된 실시간 학습부(1)에 대응한다. 프레임 메모리(41), 클래스-탭 발생 회로(42), 예측-탭 발생 회로(43), 클래스 분류 회로(44), 계수 RAM(45), 및 예측 오퍼레이션 회로(46)는 도 2에 도시된 데이터 처리부(2)에 대응한다. 입력 학습 데이터로서 작용하는 HD 영상은 실시간 학습부(1) 내의 프레임 메모리(21)에 입력되고, 처리될 입력 데이터로서 작용하는 SD 영상은 데이터 처리부(2)의 프레임 메모리(41)에 입력된다.
입력 처리부(2)에서, 프레임 메모리(41)는 예를 들면 프레임 유니트의 프레임 메모리(41)에 입력된 처리될 입력 데이터로서 작용하는 SD 영상을 일시적으로 저장한다.
클래스-탭 발생 회로(42)는 예측 값이 동조 처리에 의해 얻어져야 하는 포커스된 화소인 HD 화소 둘레에 배치된 SD 화소로서 예를 들면, 블록, 즉, SD 영상으로부터 포커스된 화소로부터 소정의 거리 내에 배치된 SD 화소들로 형성된 처리 블록을 추출하고, 이를 클래스 분류 처리에 사용될 클래스 탭으로서 클래스 분류 회로(44)에 전송한다.
즉, 예를 들면, 클래스-탭 발생 회로(42)는 도 10에 도시된 바와 같이 SD 영상으로부터 포커스된 화소 둘레의 O 마크로 지시된 4×4 SD 화소들로 형성된 클래스 탭을 추출하고, 이를 포커스된 화소에 대한 클래스 탭으로서 클래스 분류 회로(44)에 출력한다. 도 10에 도시된 실시예에서, SD 영상은 수평 방향 및 수직 방향 각각으로 HD 영상의 화소들의 수의 절반을 갖는다.
예측-탭 발생 회로(43)는 예측 오퍼레이션 회로(46)에서 포커스된 화소의 예측 값을 얻기 위해 사용될 SD 화소들을 추출하고, 이들을 예측 탭으로서 예측 오퍼레이션 회로(46)에 전송한다. 즉, 예를 들면, 예측-탭 발생 회로(43)는 도 10에 나타낸 바의 예측 탭으로서 SD 영상으로부터 클래스-탭 발생 회로(42)에 의해 클래스 탭으로서 추출된 것과 동일한 SD 화소들을 추출하고, 이들을 예측 오퍼레이션 회로(46)에 전송한다.
이 실시예에서, 클래스 탭 및 예측 탭은 동일한 SD 화소들로 형성된다. 그러나, 클래스 탭 및 예측 탭이 반드시 동일한 SD 화소들로 형성되는 것은 아니다.
클래스 분류 회로(44)는 클래스-탭 발생 회로(42)로부터 전송된 클래스 탭에 따라 포커스된 화소를 클래스-분류하고, 클래스-분류에 의해 얻어진 클래스를 어드레스로서 계수 RAM에 전송한다. 보다 상세하게는, 클래스 분류 회로(44)는 클래스 탭을 구성하는 SD 화소들, 예를 들면 소정 수의 SD 화소들의 화소 값들의 패턴에 대응하는 값으로 포커스된 화소의 클래스를 설정하고, 이 클래스를 어드레스로서 계수 RAM(45)에 출력한다.
보다 상세하게는, 클래스 분류 회로(44)는 예를 들면 도 10에 도시된 바의 클래스 탭으로서 작용하는 포커스된 화소 둘레의 4×4, 즉 16 SD 화소들의 화소 값의 패턴에 대응하는 값을 포커스된 화소의 클래스로서 출력한다.
각각의 SD 화소의 화소 값이 8비트 등의 많은 비트로 지시될 때, 16 SD 화소들의 화소 값들의 패턴의 수는 (28)16만큼 거대하고, 후속 퀵 처리가 곤란하다.
클래스 분류의 전처리로서, 클래스 탭을 구성하는 각각의 SD 화소의 비트들의 수를 감소시키기 위한 처리, 예를 들면 ADRC 처리는 클래스 탭에 적용될 수 있다. 이러한 처리는 비트 수를 감소시키는 것을 필요로 하고, 양자화 테이블을 사용함으로써 양자화 처리될 수 있다.
ADRC 처리가 적용되고, 클래스 탭을 구성하는 각각의 화소의 값이 1비트로 지시될 때, 16 SD 화소들의 화소 값들의 패턴의 수는 (21)16이고, 이는 ADRC 처리가 수행되지 않을 때 얻어진 것보다 훨씬 더 적다.
계수 RAM(45)은 실시간 학습부(1)가 실시간 학습을 수행할 때 얻어진 각각의 클래스의 예측 계수를 저장한다. 클래스 분류 회로(44)는 클래스를 전송하고, 클래스에 대응하는 어드레스에 저장된 예측 계수들이 판독되고, 예측 오퍼레이션 회로(46)에 전송된다. 계수 RAM(45)은 실시간 학습부(1)가 각각의 클래스의 예측 계수들을 전송할 때마다 저장 내용들을 갱신한다. 실시간 학습부(1)가 제1 예측 계수들을 계수 RAM(45)에 전송하기 전에, 계수 RAM(45)은 각각의 클래스의 예측 계수들의 소정의 초기 값들을 저장한다.
예측 오퍼레이션 회로(46)는 수학식(12)으로 지시된 오퍼레이션을 수행하기 위해 예측-탭 발생 회로(43)로부터 전송된 예측 탭(x1, x2, ...) 및 계수 RAM(45)으로부터 전송된 포커스된 화소의 클래스의 예측 계수들(w1, w2, ...)을 사용한다. 포커스된 화소 "y"의 예측 값 E[y]가 얻어지고, HD 화소의 화소 값으로서 출력된다.
다른 한편, 실시간 학습부(1)에서, 프레임 메모리(21)는 예를 들면 프레임 유니트에서 입력 학습 데이터로서 프레임 메모리(21)에 HD 영상 입력을 일시적으로 저장한다. 세선화 회로(22)는 프레임 메모리(21)로부터 예측-계수 실시간 학습에서 마스터 데이터 "y"로서 작용하게 될 HD 영상을 판독하고, HD 영상을 SD 영상으로 변화시키기 위해 HD 영상으로부터 화소들을 세선화시키고, 프레임 메모리(23)에 전송된다. 프레임 메모리(23)는 세선화 회로(22)로부터 전송된 SD 영상을 일시적으로 저장한다.
클래스-탭 발생 회로(24) 및 예측-탭 발생 회로(25)는 클래스-탭 발생 회로(42) 및 예측-탭 발생 회로(43)와 동일한 방식으로 프레임 메모리(23)에 저장된 SD 영상을 구성하는 SD 화소들로부터 포커스된 화소의 클래스 탭 및 예측 탭 각각을 추출하고, 클래스 분류 회로(26), 가산기(27) 및 가산기(29)로 전송된다.
클래스 분류 회로(26)는 클래스-탭 발생 회로(24)로부터 전송된 클래스 탭에 따라 클래스 분류를 수행하고, 포커스된 화소의 클래스를 얻고, 이를 클래스 분류 회로(44)와 동일한 방식으로 어드레스로서 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)에 전송한다.
가산기(27)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 저장된 값들, 즉, 예측-탭 메모리(28)로부터 수학식(18)에서 예측 계수 "w"의 승수에 대응하는 오퍼레이션 결과들을 판독하고, 표준 등식들(18) 각각의 좌측에서 예측 계수 "w"의 승수로서 작용하는 합계(Σ)에 대응하는 오퍼레이션을 수행하기 위해 예측-탭 발생 회로(25)로부터 전송된 예측 탭을 구성하는 SD 화소들로부터 산출된 예측 계수 "w"의 승수에 저장된 값들을 가산한다. 가산기(27)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 예측-탭 메모리(28)에서 오퍼레이션 결과를 고쳐 쓰기(writing-over) 방식으로 저장한다.
예측-탭 메모리(28)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 저장된 값을 판독하고, 이를 가산기(27)에 전송하고, 가산기(27)의 출력을 어드레스에 저장한다.
가산기(29)는 프레임 메모리(21)에 저장된 HD 영상을 구성하는 HD 화소들; 예측-탭 발생 회로(25)로부터 전송된 SD 화소들; 및 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 저장된 값 중에서 포커스된 화소로서 작용하는 마스터 데이터, 즉, 마스터 데이터 메모리(30)로부터 수학식들(18) 각각의 우측에 대응하는 포커스된 화소와 SD 화소들의 승산 결과를 판독하고, 표준 등식들(18) 각각의 우측에서 합계(Σ)에 대응하는 오퍼레이션을 수행하기 위해 예측-탭 발생 회로(25)로부터 전송된 SD 화소들 및 프레임 메모리(21)로부터 판독되고 포커스된 화소의 승산 결과에 저장된 값을 가산한다. 가산기(29)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 마스터-데이터 메모리(30)의 오퍼레이션 결과를 고쳐-쓰기 방식으로 저장한다.
말하자면, 가산기(27 및 29)는 수학식(18)에 나타난 승산을 수행한다. 수학식들(18) 각각의 우측은 마스터 데이터 "y" 및 SD 화소 "x"의 승산을 포함하기 때문에, SD 화소 "x"는 마스터 데이터 "y" 외에, 가산기(29)에 의해 수행된 승산에 요구된다.
마스터-데이터 메모리(30)는 클래스-분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 저장된 값을 판독하고, 이를 가산기(29)에 전송하고, 가산기(29)의 출력을 그 어드레스에 저장한다.
오퍼레이션 회로(31)는 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)로부터 각각의 클래스에 대응하는 어드레스에 저장된 값들을 순차로 판독하고, 수학식들(18)에 나타난 표준 등식들을 공식화하고, 각각의 클래스의 예측 계수들을 얻기 위해 등식들을 해결한다. 보다 상세하게는, 오퍼레이션 회로(31)는 수학식들(18)에 나타난 표준 등식을 공식화하기 위해 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)로부터 각각의 클래스에 대응하는 어드레스에 저장된 값들을 사용하고, 각각의 클래스에서 예측 계수들을 얻기 위해 등식들을 해결하고, 이를 계수 RAM(45)에 전송한다.
도 9에 도시된 데이터 처리부(2)의 처리는 도 11에 도시된 흐름도를 참조하여 다음에 기재할 것이다. 각각의 회로의 오퍼레이션은 도시되지 않은 제어기에 의해 제어된다.
데이터 처리부(2)는 처리될 입력 데이터로서 작용하는 SD 영상을 수신한다. 프레임 메모리(41)는 예를 들면 프레임 유니트로 처리될 입력 데이터로서 작용하는 SD 영상을 순차로 저장한다.
단계(S21)의, 데이터 처리부(2)에서, 클래스-탭 발생 회로(42) 및 예측-탭 발생 회로(43)는 예측 값이 클래스 탭 및 예측 탭 각각을 구성하기 위해 프레임 메모리(41)로부터 동조 처리에 의해 얻어지는 HD 화소 둘레에 배치된 SD 화소들을 판독한다. 클래스 탭 및 예측 탭은 클래스 분류 회로(44) 및 예측 오퍼레이션 회로(46) 각각에 전송된다.
클래스 분류 회로(44)가 클래스-탭 발생 회로(42)로부터 클래스 탭을 수신할 때, 이는 클래스 탭에 따라 포커스된 화소의 클래스를 얻고, 이를 단계(S22)에서 어드레스로서 계수 RAM(45)에 전송한다. 계수 RAM(45)은 클래스 분류 회로(44)로부터 전송된 클래스에 대응하는 어드레스에 저장된 예측 계수를 판독하고, 이를 단계(S23)에서 예측 오퍼레이션 회로(46)에 전송한다.
예측 오퍼레이션 회로(46)는 단계(S24)에서 수학식(12)에 나타난 오퍼레이션을 수행하기 위해 예측-탭 발생 회로(43)로부터 전송된 예측 탭 및 계수 RAM(45)으로부터 전송된 예측 계수를 사용한다. 포커스된 화소 "y"의 예측 값 E[y]가 얻어지고, 처리는 단계(S25)로 진행된다. 단계(S25)에서, 예측 오퍼레이션 회로(46)는 HD 화소의 화소 값으로서 단계(S24)에서 얻어진 포커스된 화소 "y"의 예측 값 E[y]를 출력하고, 처리는 단계(S26)로 진행된다.
단계(S26)에서, 프레임 메모리(41)에 저장된 하나의 프레임 SD 영상에 대응하는 하나의 프레임 HD 영상을 구성하는 모든 HD 화소들이 포커스된 화소들로 처리되었는지 여부가 결정된다. 모든 HD 화소들이 아직 처리되지 않은 것으로 결정될 때, 처리는 단계(S21)로 복귀되고, 동일한 처리가 포커스된 화소로서 다루어지는 포커스된 화소로서 아직 작용하지 않는 HD 화소에 의해 반복된다.
다른 한편, 단계(S26)에서, 하나의 프레임 HD 영상을 구성하는 모든 HD 화소들이 포커스된 화소들로서 처리되는 것으로 결정될 때, 처리가 종료된다.
도 11의 흐름도에 예시된 처리는 예를 들면 새로운 SD 영상이 프레임 메모리(41)에 저장될 때마다 수행된다.
다음으로, 도 9에 도시된 실시간 학습부(1)의 처리는 도 12에 도시된 흐름도를 참조하여 기재할 것이다. 각각의 회로의 오퍼레이션은 도시되지 않은 제어기에 의해 제어된다.
실시간 학습부(1)는 입력 학습 데이터로서 작용하는 HD 영상을 수신한다. 프레임 메모리(21)는 예를 들면 프레임 유니트에서 입력 학습 데이터로서 작용하는 HD 영상을 순차로 저장한다.
단계(S31)에서, 세선화 회로(22)는 프레임 메모리(21)에 저장된 HD 영상을 판독하고, HD 영상을 SD 영상으로 변화시키기 위해 HD 영상으로부터 화소들을 세선화한다. 이러한 SD 영상은 프레임 메모리(23)에 전송되고, 그에 저장된다.
SD 영상이 프레임 메모리(23)에 저장될 때, 클래스-탭 발생 회로(24) 및 예측-탭 발생 회로(25)는 포커스된 화소의 클래스 탭 및 예측 탭을 구성하기 위해 프레임 메모리(23)에 저장된 SD 영상을 구성하는 SD 화소들, 포커스된 화소 둘레에 배치된 SD 화소들로부터 프레임 메모리(21)에 저장된 HD 영상을 구성하는 HD 화소들 간의 소정의 화소 각각을 사용하고, 단계(S32)에서 클래스 분류 회로(26), 가산기(27) 및 가산기(29)에 전송된다.
단계(S33)에서, 클래스 분류 회로(26)는 클래스 분류를 수행하기 위해 클래스-탭 발생 회로(24)로부터 전송된 클래스 탭을 사용하고, 포커스된 화소에 대응하는 클래스를 얻고, 이를 어드레스로서 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)에 전송한다.
처리는 단계(S34)로 진행되고, 예측 탭 및 마스터 데이터는 각각의 관련된 값들에 가산된다.
보다 상세하게는, 단계(S34)에서, 예측-탭 메모리(28)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 저장된 값을 판독하고, 이를 가산기(27)에 전송한다. 가산기(27)는 표준 등식들(18) 각각의 좌측의 예측 계수의 승수로서 작용하는 합계(Σ)에 대응하는 오퍼레이션을 수행하기 위해 예측-탭 발생 회로(25)로부터 전송된 예측 탭을 구성하는 소정의 SD 화소들의 승산 결과에 예측-탭 메모리(28)로부터 전송된 저장된 값을 가산한다. 가산기(27)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 예측-탭 메모리(28)의 오퍼레이션 결과를 고쳐-쓰기 방식으로 저장한다.
단계(S34)에서, 마스터-데이터 메모리(30)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 저장된 값을 판독하고, 이를 가산기(29)에 전송한다. 가산기(29)는 마스터 데이터로서 프레임 메모리(21)에 저장된 HD 영상을 구성하는 HD 화소들 중에서 포커스된 화소를 판독하고(예측-탭 발생 회로(25)로부터 전송된 예측 탭을 구성하는 소정의 SD 화소들을 추가로 판독하고); 표준 등식들(18) 각각의 우측에 합계(Σ)에 대응하는 오퍼레이션을 수행하기 위해 마스터-데이터 메모리(30)로부터 전송된 저장된 값에 마스터 데이터 및 소정의 SD 화소들의 승산 결과를 가산한다. 가산기(29)는 클래스 분류 회로(26)로부터 출력된 클래스에 대응하는 어드레스에 마스터-데이터 메모리(30)의 오퍼레이션 결과를 고쳐 쓰기 방식으로 저장한다.
다음으로, 처리는 단계(S35)로 진행되고, 프레임 메모리(21)에 저장된 하나의 프레임 HD 영상을 구성하는 모든 HD 화소들이 포커스된 화소들로서 처리되었는지 여부가 결정된다. 모든 HD 화소들이 아직 처리되지 않은 것으로 결정될 때, 처리는 단계(S32)로 복귀되고, 동일한 처리가 포커스된 화소로서 다루어지는 포커스된 화소로 아직 작용하지 않는 HD 화소에 의해 반복된다.
다른 한편, 단계(S35)에서, 하나의 프레임 HD 영상을 구성하는 모든 HD 화소들이 포커스된 화소들로서 처리되는 것으로 결정될 때, 처리는 단계(S36)로 진행된다. 오퍼레이션 회로(31)는 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)로부터 각각의 클래스에 대응하는 어드레스에 저장된 값들을 순차로 판독하고, 수학식(18)에 나타난 표준 등식들을 공식화하고, 각각의 클래스에서 예측 계수들을 얻기 위해 등식들을 해결한다. 또한, 오퍼레이션 회로(31)는 각각의 클래스의 얻어진 예측 계수들을 계수 RAM(45)에 전송하고, 이들을 그에 저장하고, 처리가 종료된다.
이들 오퍼레이션에 의해, 계수 RAM(45)에 저장된 각각의 클래스의 예측 계수들은 도 12의 흐름도에 도시된 처리가 수행될 때마다 갱신된다.
도 12의 흐름도에 도시된 처리는 예를 들면 새로운 HD 영상이 프레임 메모리(21)에 저장될 때마다 수행된다.
상기한 바와 같이 실시간 학습부(1)에서 수행된 예측 계수들의 학습 처리에서, 예측 계수들을 얻기 위한 표준 등식의 요구되는 수가 클래스에서 얻어질 수 없을 때, 계수 RAM(45)에 저장된 예측 계수들은 예를 들면 갱신되지 않고, 첫 번째로 명시된 예측 계수는 클래스에 대한 데이터 처리부(2)의 처리에서와 마찬가지로 사용된다.
도 11 및 도 12의 흐름도 각각에 도시된 처리는 병렬로 수행된다.
상기한 바와 같이, 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)의 저장 내용들은 리셋되지 않고; 예측 탭 및 마스터 데이터는 각각의 관련된 값들에 부가되고; 표준 등식들(18)은 가산 결과를 사용하여 공식화되고; 각각의 클래스의 예측 계수들은 실시간 학습부(1)에서 실시간으로 얻어진다. 결과적으로, 각각의 클래스의 예측 계수들은 학습 처리가 입력 학습 데이터로서 작용하는 HD 영상을 사용하여 수행됨에 따라 처리될 입력 데이터로서 작용하는 SD 영상에 대해 보다 적절해진다. 따라서, SD 영상은 적응성 있게 처리되고, 이 처리에 의해 얻어진 HD 영상은 학습이 진행되는 순간마다 개선된다. 보다 상세하게는, 데이터 처리부(2)로부터 출력될 HD 영상의 해상도 및 기타 요인들인 매순간마다 개선된다.
실시간 학습부(1)에서, 예측 탭은 예측-탭 메모리(28)로부터 전송된 저장된 값 중 적어도 하나 후에 가산기(27)의 관련된 값에 부가될 수 있고, 예측-탭 발생 회로(25)로부터 전송된 예측 탭을 구성하는 소정의 SD 화소들의 승산 결과는 소정의 가중치가 승산된다. 가산기(27)가 예측-탭 발생 회로(25)로부터 전송된 예측 탭을 구성하는 소정의 SD 화소들의 승산 결과보다 더 작은 가중치를 예측-탭 메모리(28)로부터 전송된 저장된 값에 승산할 때, 실시간 학습부(1)는 지난 입력 학습 데이터로서 작용하는 HD 영상이 소정의 속도로 무시되는 동안 예측 계수들을 학습할 수 있다. 가산기(27)가 상기 가중을 수행할 때, 동일한 가중 오퍼레이션이 가산기(29)에 부가될 필요가 있다.
또한, 상기 가중(생략)이 사용될 때, 실시간 학습부(1)는 S/N 비율이 TV 방송에서 공백 기간의 신호로부터 결정되고; 얻어진 예측 탭을 위한 가중치는 S/N 비율이 높을 때 증가되고, 얻어진 예측 탭에 대한 가중치는 S/N 비율이 낮을 때 감소되도록 구성될 수 있다. 이러한 경우에, 실시간 학습부(1)는 잡음 효과가 감소된 학습을 수행할 수 있다.
실시간 학습부(1)는 장면의 변화가 검출되고, 예측-탭 메모리(28)로부터 전송된 저장된 값에 적용된 가중치는 장면이 변화될 때 0으로 설정되도록 구성된다. 이러한 경우에, 장면이 변화될 때, 실시간 학습부(1)는 모든 과거 학습을 무시하고, 처음부터 학습을 다시 시작한다. 따라서, 장면이 변화된 직후에, 데이터 처리부(2)로부터 출력된 HD 영상의 화질은 악화되지만, 데이터 처리부(2)로부터 출력된 HD 영상의 화질은 실시간 학습부(1)가 진행될 때마다 개선된다.
상기 경우에, 처리될 입력 데이터로서 작용하는 SD 영상 및 SD 영상과 동일한 내용을 갖는 입력 학습 데이터로서 작용하는 HD 영상이 함께 방송된다. 처리될 입력 데이터로서 작용하는 SD 영상 및 입력 학습 데이터로서 작용하는 HD 영상은 상이한 타이밍에 방송될 수 있다. 이러한 경우에, 도 9에 도시된 영상 처리 장치는 수신될 때 데이터 처리부(2)로 진행될 입력 데이터로서 작용하는 SD 영상을 전송하고, 수신될 때 실시간 학습부(1)에 입력 학습 데이터로서 작용하는 HD 영상을 전송할 필요가 있다.
도 13은 다른 실시예에 따라, 도 2에 도시된 자기-동조 처리 회로가 적용되는 영상 처리 장치(300)의 예시적인 구조를 도시한다. 도 9에 사용된 것과 동일한 기호들은 도 9의 그것에 대응하는 부분들에 할당되고, 그의 설명은 필요치 않을 경우 생략될 것이다.
영상 처리 장치(300)에서 역시, 클래스 분류 동조 처리는 도 9에 도시된 영상 처리 장치(200)에서와 동일한 방식으로 SD 영상을 HD 영상으로 변환시키기 위해 수행된다. 도 9에 도시된 영상 처리 장치(200)에서, 클래스 탭 및 예측 탭의 구조들은 도 10에 도시된 포커스된 화소 둘레의 4×4 SD 화소들로 고정되고, 실시간 학습은 각각의 클래스의 예측 계수들에만 적용된다. 그러나, 도 13에 도시된 영상 처리 장치에서, 실시간 학습은 각각의 클래스의 예측 계수 뿐만 아니라 클래스 탭 및 예측 탭의 구조에 적용된다.
보다 상세하게는, 도 13에 도시된 실시간 학습부(1)는 프레임 메모리(21), 세선화 회로(22), 프레임 메모리(23), 특징 양 추출 회로(51), 탭-후보 발생 회로(52), N 학습 처리부(531내지 53N) 및 결정 회로(54)를 포함한다.
특징 양 추출 회로(51)는 입력 학습 데이터로서 작용하는 HD 영상으로부터 화소들을 세선화시킴으로써 얻어지고, 프레임 메모리(23)에 저장된 SD 영상을 판독하고, SD 영상의 특징 양을 추출하고, 이를 탭-후보 발생 회로(52)에 전송한다.
보다 상세하게는, 특징 양 추출 회로(51)는 예를 들면 처리될 화소의 공간 및 시간의 견지에서 근처에 배치된 SD 화소에 따라 프레임 메모리(23)에 저장된 SD 영상을 구성하는 처리될 화소인 SD 화소의 상관 관계를 하나씩 산출한다. 특징 양 추출부(51)는 SD 영상의 특징 양으로서 프레임 메모리(23)에 저장된 SD 영상을 구성하는 모든 SD 화소들의 상관 관계의 평균을 얻고, 이를 탭-후보 발생 회로(52)에 전송한다.
탭-후보 발생 회로(52)는 특징 양 추출부(51)로부터 전송된 특징 양에 따라 복수의 클래스 탭들 및 클래스-탭으로서 예측 탭들 및 예측-탭 후보들의 구조를 발생시킨다.
보다 상세하게는, 탭-후보 발생 회로(52)는 SD 영상이 크게 상관된 특징 양을 가질 때 포커스된 화소 근처에 배치된 많은 SD 화소들을 사용하는 클래스-탭 및 예측-탭 후보를 발생시킨다. 이하, 클래스 탭 및 예측 탭은 필요할 경우 총괄적으로 탭이라 칭한다. 탭-후보 발생 회로(52)는 SD 영상이 낮은 상관된 특징 양을 가질 때 포커스된 화소로부터 비교적 멀리 배치된 SD 화소를 사용하는 탭 후보들을 발생시킨다. 보다 상세하게는, 예를 들면, SD 영상이 크게 상관된 특징 양을 가질 때, 서로 인접한 SD 화소들을 사용하는 탭 후보들이 발생되고, SD 영상이 낮은 상관된 특징 양을 가질 때, 일부 화소들의 간격으로 배치된 SD 화소들을 사용하는 탭 후보들(하나의 화소 또는 2개의 화소들 등)이 발생된다.
복수의 탭 후보들은 예를 들면 SD-영상 특징 양에 대한 표준 탭 구조를 준비함으로써, 및 수평 방향, 수직 방향 및 시간-영역 방향 중에서 한 개 이상의 방향으로 SD 화소들의 간격을 넓히거나 또는 좁힘으로써 발생된다. 도 10에 도시된 실시예에서, 탭들은 공간-영역 방향으로 포커스된 화소에 거슬러 배치된 SD 화소들로 구성된다. 탭들은 시간-영역 방향으로 포커스된 화소에 거슬러 배치된 SD 화소들을 사용함으로써 구성될 수 있다.
도 13에 도시된 실시예에서, N 탭 후보들이 발생되고, N 탭 후보들 각각은 탭-후보 발생 회로(52)에서 학습 처리부(531내지 53N) 중의 대응하는 부분에 전송된다. 보다 상세하게는, 예를 들면, N 탭 후보들 중의 n-번째 (n=1, 2, ..., N) 탭 후보의 구조를 지시하는 정보가 탭-구조 정보 #n라 칭해질 때, 탭-구조 정보 #n은 학습 처리부(53n)에 전송된다.
학습 처리부(53n)는 프레임 메모리(21) 및 프레임 메모리(23)에 저장된 HD 영상 및 SD 영상 뿐만 아니라 탭-구조 정보 #n을 수신한다. 학습 처리부(53n)는 탭-구조 정보 #n에 따른 구조를 갖는 예측 탭 및 클래스 탭을 구성하고, 도 9에 도시된 실시간 학습부(1)에서와 동일한 방식으로 각각의 클래스의 예측 계수들을 얻는다. 학습 처리부(53n)는 SD 영상을 HD 영상으로 변환시키기 위해 각각의 클래스의 예측 계수들을 사용함으로써 프레임 메모리(23)로부터 전송된 SD 영상에 클래스 분류 동조 처리를 적용한다. 이어서, 학습 처리부(53n)는 프레임 메모리(21)에 저장된 HD 영상과 변환된 HD 영상 간의 예측 에러를 얻고, 탭-후보 발생 회로(52)로부터 전송된 탭-구조 정보 #n 및 학습에 의해 얻어진 각각의 클래스의 예측 계수들과 함께 결정 회로(54)에 이를 전송한다.
결정 회로(54)는 학습 처리부(531내지 53N)로부터 전송된 예측 에러들 중에서 최소 값을 검출하고, 학습 처리부(531내지 53N) 중에서 최소 예측 에러를 전송하는 가장 적절한 학습 처리부인 학습 처리부로부터 출력된 각각의 클래스의 예측 계수를 계수 RAM(45)에 전송하고, 가장 적절한 학습 처리부로부터 클래스-탭 발생 회로(42) 및 예측-탭 발생 회로(43)에 출력된 탭-구조 정보를 전송한다.
도 14는 도 13에 도시된 학습 처리부(53n)의 예시적인 구조를 도시한다.
학습 처리부(53n)는 예측-계수 학습부(61), 클래스-분류 동조 처리부(62) 및 예측-에러 산출부(63)로 형성된다. 예측-계수 학습부(61)는 프레임 메모리(21)로부터 HD 영상을 수신하고, 프레임 메모리(23)로부터 SD 영상을 수신하며, 탭-후보 발생 회로(52)로부터 탭-구조 정보 #n을 수신한다. 클래스-분류 동조 처리부(62)는 프레임 메모리(23)로부터 SD 영상을 수신하고, 탭-후보 발생 회로(52)로부터 탭-구조 정보 #n을 수신하며, 예측-계수 학습부(61)로부터 전송된 예측 계수들을 수신한다. 예측-에러 산출부(63)는 프레임 메모리(21)로부터 HD 영상 및 클래스-분류 동조 처리부(62)로부터 전송된 예측 값을 수신한다.
예측-계수 학습부(61)는 도 9에 도시된 실시간 학습부(1)에서와 동일한 방식으로 HD 영상 및 SD 영상에 따라 학습에 의해 각각의 클래스의 예측 계수들을 얻기 위해 탭-구조 정보 #n에 대응하는 구조를 갖는 클래스 탭 및 예측 탭을 사용하고, 다음으로 클래스-분류 동조 처리부(62)에 전송된다. 예측-계수 학습부(61)에 의해 얻어진 각각의 클래스의 예측 계수들 역시 결정 회로(54)에 전송된다.
클래스-분류 동조 처리부(62)는 SD 영상을 구성하는 SD 화소들로부터 HD 화소의 예측 값을 얻기 위해 도 9의 데이터 처리부(2)에서와 동일한 방식으로 예측-계수 학습부(61)로부터 전송된 각각의 클래스의 예측 계수들을 사용함으로써 클래스-분류 동조 처리를 수행하고, 예측 값을 예측-에러 산출부(63)에 전송한다.
예측-에러 산출부(63)는 HD 영상에서 HD 화소에 대응하는 클래스-분류 동조 처리부(62)로부터 HD 화소의 예측 값과 프레임 메모리(21)에 저장된 HD 영상을 구성하는 HD 화소 간의 차이의 합의 제곱 등의 예측 에러를 얻고, 이를 결정 회로(54)에 전송한다.
학습 처리부(53n)는 탭-후보 발생 회로(52)로부터 전송된 탭-구조 정보 #n을 각각의 클래스의 예측 계수 및 그 속에서 얻어진 예측 에러 외에 결정 회로(54)에 전송한다.
도 15는 도 14에 도시된 예측-계수 학습부(61)의 예시적인 구조를 도시한다.
예측-계수 학습부(61)는 클래스-탭 발생 회로(71), 예측-탭 발생 회로(72), 클래스 분류 회로(73), 가산기(74), 예측-탭 메모리(75), 가산기(76), 마스터-데이터 메모리(77) 및 오퍼레이션 회로(78)로 형성되고, 이는 도 9에 도시된 클래스-탭 발생 회로(24), 예측-탭 발생 회로(25), 클래스 분류 회로(26), 가산기(27), 예측-탭 메모리(28), 가산기(29), 마스터-데이터 메모리(30) 및 오퍼레이션 회로(31)와 동일한 방식으로 구성된다.
클래스-탭 발생 회로(71) 및 예측-탭 발생 회로(72)는 프레임 메모리(23)에 저장된 SD 영상을 수신하고, 가산기(76)는 예측-탭 발생 회로(72)로부터 전송된 소정의 SD 화소들 및 프레임 메모리(21)에 저장된 HD 영상을 수신한다. 각각의 클래스의 예측 계수들은 도 9에 도시된 실시간 학습부(1)와 동일한 방식으로 얻어진다.
클래스-탭 발생 회로(71) 및 예측-탭 발생 회로(72)는 또한 탭-후보 발생 회로(52)로부터 출력된 탭-구조 정보 #n을 수신한다. 클래스-탭 발생 회로(71) 및 예측-탭 발생 회로(72)는 탭-구조 정보 #n에 대응하는 구조를 갖는 예측 탭 및 클래스 탭을 각각 구성한다.
본 실시예에서, 클래스 탭은 예측 탭과 동일한 구조를 갖는다. 클래스 탭 및 예측 탭은 상이한 구조를 가질 수 있다.
도 16은 도 14에 도시된 클래스-분류 동조 처리부(62)의 예시적인 구조를 도시한다.
클래스-분류 동조 처리부(62)는 도 9에 도시된 클래스-탭 발생 회로(42), 예측-탭 발생 회로(43), 클래스 분류 회로(44), 계수 RAM(45) 및 예측 오퍼레이션 회로(46) 각각과 동일한 방식으로 구성된 클래스-탭 발생 회로(81), 예측-탭 발생 회로(82), 클래스 분류 회로(83), 계수 RAM(84) 및 예측 오퍼레이션 회로(85)로 형성된다.
클래스-탭 발생 회로(81) 및 예측-탭 발생 회로(82)는 프레임 메모리(23)에 저장된 SD 영상을 수신하고, 계수 RAM(84)은 도 15에 도시된 예측-계수 학습부(61)의 오퍼레이션 회로(78)에 의해 얻어진 각각의 클래스의 예측 계수들을 수신한다. SD 영상은 도 9에 도시된 데이터 처리부(2)에서와 동일한 방식으로 계수 RAM(84)에 저장된 각각의 클래스의 예측 계수들을 사용함으로서 HD 영상으로 변환된다.
클래스-탭 발생 회로(81) 및 예측-탭 발생 회로(82)는 탭-후보 발생 회로(52)로부터 출력된 탭-구조 정보 #n을 수신하기도 한다. 클래스-탭 발생 회로(81) 및 예측-탭 발생 회로(82)는 각각 탭-구조 정보 #n에 대응하는 구조, 즉, 도 15에 도시된 클래스-탭 발생 회로(71) 및 예측-탭 발생 회로(72)가 각각 구성하는 클래스 탭 및 예측 탭과 동일한 구조를 갖는 예측 탭 및 클래스 탭을 구성한다.
도 13에 도시된 실시간 학습부(1)의 처리는 도 17에 도시된 흐름도를 참조하여 다음에 기재할 것이다. 각각의 회로의 오퍼레이션은 도시되지 않은 제어기에 의해 제어된다.
실시간 학습부(1)는 입력 학습 데이터로서 작용하는 HD 영상을 수신한다. 프레임 메모리(21)는 입력 학습 데이터로서 작용하는 HD 영상을 예를 들면 프레임의 유니트로서 순차로 저장한다.
단계(S41)에서, 세선화 회로(22)는 프레임 메모리(21)에 저장된 HD 영상을 판독하고, HD 영상을 SD 영상으로 변화시키기 위해 HD 영상으로부터 화소들을 세선화한다. 이러한 SD 영상은 프레임 메모리(23)에 전송되고, 그에 저장된다.
SD 영상이 프레임 메모리(23)에 저장될 때, 특징 양 추출 회로(51)는 프레임 메모리(23)로부터 전송된 SD 영상의 특징 양을 추출하고, 이를 단계(S42)에서 탭-후보 발생 회로(52)에 전송한다. 단계(S43)에서, 탭-후보 발생 회로(52)는 특징 양 추출 회로(51)로부터 전송된 특징 양에 따라 N 탭 후보들을 발생시키고, 발생된 탭 후보의 구조를 지시하는 탭-구조 정보 #1 내지 #N을 학습 처리부(511내지 53N)에 전송한다.
도 14에 도시된 학습 처리부(53n)를 구성하는 도 15에 도시된 예측-계수 학습부(61)에서 클래스-탭 발생 회로(71) 및 예측-탭 발생 회로(72)는 프레임 메모리(21)에 저장된 SD 화소들로부터 탭-구조 정보 #n에 대응하는 구조를 갖는 포커스된 화소로 설정되는 프레임 메모리(21)에 저장된 HD 영상을 구성하는 HD 화소들 중에서 소정의 화소에 의해 클래스 탭 및 예측 탭 각각을 구성하고, 단계(S44)에서 클래스 분류 회로(73), 가산기(74) 및 가산기(76)에 전송된다.
단계(S45)에서, 클래스 분류 회로(73)는 클래스 분류를 수행하기 위해 클래스-탭 발생 회로(71)로부터 전송된 클래스 탭을 사용하고, 포커스된 HD 화소의 클래스를 얻고, 이를 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)에 어드레스로서 전송한다.
다른 한편, 포커스된 화소로서 작용하는 HD 화소는 프레임 메모리(21)로부터 판독되고 가산기(76)에 전송된다.
처리는 단계(S46)로 진행되고, 가산기(74 및 76)는 도 12에 도시된 단계(S34)와 동일한 방식으로 예측 탭 및 마스터 데이터와 연관된 표준 등식(18)의 각각의 용어를 발생시키기 위해 가산을 수행한다. 가산 결과는 예측-탭 메모리(75) 및 마스터-데이터 메모리(77)에 전송되고, 클래스 분류 회로(73)로부터 출력된 클래스에 대응하는 어드레스에서 이들에 저장된다.
다음으로, 프레임 메모리(21)에 저장된 하나의 프레임의 HD 영상을 구성하는 모든 HD 화소들이 포커스된 화소들로서 처리되었는지 여부가 단계(S47)에서 결정된다. 모든 HD 화소들이 아직 처리되지 않은 것으로 결정될 때, 처리는 단계(S44)로 복귀되고, 동일한 처리는 포커스된 화소로서 다루어지는 포커스된 화소로서 아직 작용하지 않는 HD 화소에 의해 반복된다.
다른 한편, 단계(S47)에서, 하나의 HD 영상을 구성하는 모든 HD 화소들이 포커스된 화소들로서 처리된 것으로 결정될 때, 처리는 단계(S48)로 진행된다. 오퍼레이션 회로(78)는 예측-탭 메모리(28) 및 마스터-데이터 메모리(30)로부터 각각의 클래스에 대응하는 어드레스에 저장된 값들을 판독하고, 수학식들(18)로 나타난 표준 등식을 공식화하고, 각각의 클래스의 예측 계수들을 얻기 위해 등식들을 해결한다. 또한, 오퍼레이션 회로(78)는 각각의 클래스의 얻어진 예측 계수들을 도 16에 도시된 클래스-분류 동조 처리부(62)의 계수 RAM(84)에 전송하고, 이들을 그에 저장하고, 즉, 계수 RAM(84)의 저장 내용들을 갱신한다.
클래스-분류 동조 처리부(62)는 단계(S49)에서 프레임 메모리(23)에 저장된 SD 영상을 HD 영상으로 변환시키기 위해 계수 RAM(84)에 저장된 각각의 클래스의 예측 계수들(프레임 메모리(21)에 저장된 HD 영상의 예측 값들)을 사용함으로써 클래스-분류 동조 처리를 수행한다.
보다 상세하게는, 도 16에 도시된 클래스-분류 동조 처리부(62)에서, 클래스-탭 발생 회로(81) 및 예측-탭 발생 회로(82)는 프레임 메모리(23)로부터 전송된 SD 화소들을 사용함으로써 탭-구조 정보 #n에 대응하는 구조를 갖는 클래스 탭 및 발생 탭을 구성하고, 이들을 클래스 분류 회로(83) 및 예측 오퍼레이션 회로(85) 각각에 전송한다.
클래스 분류 회로(83)는 클래스-탭 발생 회로(81)로부터 전송된 클래스 탭에 따라 HD 영상의 포커스된 화소에 대응하는 클래스를 얻고, 이를 계수 RAM(84)에 어드레스로서 전송한다. 계수 RAM(84)은 클래스 분류 회로(83)로부터 전송된 클래스에 대응하는 어드레스에 저장된 예측 계수들을 판독하고, 예측 오퍼레이션 회로(85)에 전송한다.
예측 오퍼레이션 회로(85)는 포커스된 화소 "y"의 예측 값 E[y]를 얻기 위해 계수 RAM(84)으로부터 전송된 예측 계수 및 예측-탭 발생 회로(82)로부터 전송된 예측 탭을 사용함으로써 수학식(12)에 나타난 오퍼레이션을 수행하고, 이를 도 14에 도시된 예측-에러 산출부(63)에 전송한다.
단계(S50)에서, 예측-에러 산출부(63)는 클래스-분류 동조 처리부(62)로부터 출력된 예측 값 E[y]와 프레임 메모리(21)에 저장된 HD 영상 간의 예측 에러를 얻고, 이를 예측-계수 학습부(61)로부터 출력된 각각의 클래스의 예측 계수 및 탭-구조 정보 #n과 함께 도 13에 도시된 결정 회로(54)에 전송한다.
결정 회로(54)는 단계(S51)에서 학습 처리부(531내지 53N)로부터 전송된 예측 에러들 중에서 최소 값을 검출하고; 학습 처리부(531내지 53N) 사이에서 얻어진 최소 예측 에러를 갖는 가장 적절한 학습 처리부로부터 데이터 처리부(2)의 계수 RAM(45)으로 출력된 각각의 클래스의 예측 계수들 및 가장 적절한 학습 처리부로부터 출력된 탭-구조 정보를 단계(S52)에서 데이터 처리부(2)의 클래스-탭 발생 회로(42) 및 예측-탭 발생 회로(43)에 전송한다. 이어서, 처리가 종료된다.
도 17의 흐름도에 도시된 처리는 예를 들면 새로운 HD 영상이 프레임 메모리(21)에 저장될 때마다 수행된다.
도 13에 도시된 데이터 처리부(2)에서, 계수 RAM(45)의 저장 내용은 실시간 학습부(1)의 결정 회로(54)로부터 전송된 각각의 클래스의 예측 계수들에 의해 갱신된다. 데이터 처리부(2)의 클래스-탭 발생 회로(42) 및 예측-탭 발생 회로(43)는 실시간 학습부(1)로부터 전송된 탭-구조 정보에 대응하는 구조를 갖는 클래스 탭 및 예측 탭을 구성하고, SD 영상은 도 9에서와 동일한 방식으로 HD 영상으로 변환된다.
상기한 바와 같이, 실시간 학습부(1)가 각각의 클래스의 예측 계수들 외에 실시간으로 클래스 탭 및 예측 탭의 구조를 학습할 때, 추가로 개선된 화질을 갖는 HD 영상이 얻어진다.
실시간 학습부(1)가 클래스 탭의 구조를 실시간으로 학습할 때조차, 상기 가중치가 도 17의 단계(S46)에 도입되는 경우, 여기서 각각의 클래스의 예측 탭 및 마스터 데이터에 대한 부가가 이루어지고, 클래스 탭의 구조는 지난 입력 학습 데이터로서 작용하는 HD 영상이 소정의 속도로 무시되는 동안 학습될 수 있다.
클래스 탭의 구조가 실시간으로 학습될 때, 포커스된 화소에 대해 구성된 클래스 탭의 구조는 변화되기 때문에, 클래스 탭에 따라 수행된 클래스 분류의 결과로서 얻어진 포커스된, 화소의 클래스 역시 변화된다.
보다 상세하게는, 예를 들면, 설명을 간단히 하기 위해, 클래스 탭을 구성하는 각각의 SD 화소는 1비트로 표현되고, 클래스 탭의 구조는 예를 들면 2가지 경우중의 하나, 즉, 클래스 탭이 도 10에 도시된 바와 같이 포커스된 화소 둘레의 인접한 4×4 SD 화소들로 형성되는 경우 및 클래스 탭이 도 18에 도시된 바와 같이 포커스된 화소 둘레의 하나씩 걸러 배치된 화소들인 4×4 SD 화소들로 형성되는 경우 중의 하나로 변화된다고 가정하면, 요구되는 클래스들의 수는 216+ 216이다. 클래스 탭이 하나씩 걸러 배치된 화소들인 4×4 SD 화소들로 형성될 때, 포커스된 화소는 SD 화소들의 중심에 배치되지 않는다. 그러나, HD 포커스된 화소는 실시간 학습부(1)가 동일한 위상 관계를 학습할 때 예측될 수 있다.
말하자면, 클래스 탭이 포커스된 화소 둘레의 인접한 4×4 SD 화소들로 형성되거나 또는 포커스된 화소 둘레의 하나씩 걸러 배치된 화소들인 4×4 SD 화소들로 형성될 때, 요구되는 클래스의 수는 두 경우에 216이다. 이와는 대조적으로, 클래스 탭이 포커스된 화소 둘레의 인접한 4×4 SD 화소들로 형성될 수 있고 포커스된 화소 둘레에 하나씩 걸러 배치된 화소들인 4×4 SD 화소들로 형성될 수도 있을 때, 요구된 클래스들의 수는 클래스 탭이 포커스된 화소 둘레의 인접한 4×4 SD 화소들로 형성되는 경우에 대해서 216이고, 클래스 탭이 포커스된 화소 둘레에 하나씩 걸러 배치된 화소들인 4×4 SD 화소들로 형성되는 경우에 대해서 216을 플러스한다.
클래스 탭이 포커스된 화소 둘레의 인접한 4×4 SD 화소들로 형성될 때 요구되는 216클래스는 클래스 탭이 포커스된 화소 둘레에 하나씩 걸러 배치된 화소들인 4×4 SD 화소들로 형성될 때 요구되는 216클래스와 상이하기 때문에, 클래스 탭의 구조가 변화될 때, 예를 들면 도 17의 단계(S46)에서 각각의 클래스의 예측 탭의 부가 및 마스터 데이터의 부가를 어떻게 수행할지가 쟁점이 되고 있다. 이는 예를 들면 다음 방식으로 수행될 수 있다.
상세하게는, 실시간 학습에 의해 사용될 클래스 탭의 각각의 구조에 대해 요구되는 클래스들의 전체 수와 일치하는 클래스들의 수가 미리 준비되고, 특정 구조를 갖는 클래스 탭이 사용될 때, 그 구조를 갖는 클래스 탭에 할당된 클래스들 이외의 클래스들은 사용되지 않고, 즉, 무시된다.
보다 상세하게는, 실시간 학습에 의해 사용될 클래스 탭이 예를 들면 도 18에 도시된 바와 같이, 포커스된 화소 둘레의 10×10 화소들로 형성된 제1 클래스 탭 및 포커스된 화소 둘레의 4×4 SD 화소들로 형성된 제2 클래스 탭일 때, 2100및 216클래스가 제1 클래스 탭 및 제2 클래스 탭 각각에 대해 요구되기 때문에, 2100+ 216클래스는 각각의 SD 화소가 1비트로 표현되는 경우에 준비된다. 2100+ 216클래스들 중에서, 2100및 216클래스는 제1 클래스 탭 및 제2 클래스 탭 각각에 할당된다. 제1 클래스 탭이 사용될 때, 처리는 그에 할당된 2100클래스에 대해서만 수행된다. 제2 클래스 탭이 사용될 때, 처리는 그에 할당된 216클래스에 대해서만 수행된다.
예측 탭의 구조가 변화될 때, 예측 탭을 구성하는 SD 화소들 "x"로 승산될 예측 계수들 "w"는 수학식(12)에서 역시 변화된다. 수학식(18)에서 예측 계수들 역시 변화된다. 이러한 쟁점을 다루기 위해, 예측 계수들은 포커스된 화소에 대한 예측 탭일 수 있는 모든 SD 화소들에 대해 준비되고, 오퍼레이션은 예측 계수들에 대해 수학식(12)에서 승수로서 작용하는 SD 화소들의 화소 값들 중에서 0으로 설정되는 예측 탭들로서 사용되지 않는 SD 화소들의 화소 값들로 수행된다.
클래스 탭의 구조는 고정되고, 고정된 클래스 탭에 대해 요구되는 클래스들은 실시간 학습부(1)에 의해 능률화되는 것이 가능할 수도 있다. 상세하게는, 예를 들면, 클래스 탭이 "A" SD 화소로 형성되고, 클래스 탭을 구성하는 SD 화소가 "B" 비트로 표현될 때, (2A)B클래스들이 통상적으로 요구된다. 데이터 처리부(2)로부터 출력된 HD 영상의 화질은 실시간 학습부(1)가 어떤 클래스를 제거하거나 또는 어떤 클래스 및 다른 클래스를 하나의 클래스로 통합하는 일부 경우에 개선된다. 다시 말해, 클래스 탭의 구조가 변화되는 경우와 동일한 장점이 실시간 학습부(1)가 클래스들을 능률화시키는 일부 경우에 달성된다. 예를 들면 실시간 학습부(1)는 상기 예측 에러가 적어지도록 실시간으로 클래스-능률화를 학습하는 것이 가능할 수도 있다.
상기 경우에, 데이터 처리부(2)는 선형 처리를 수행한다. 본 발명은 데이터 처리부(2)가 비선형 처리를 수행하는 경우에 적용될 수도 있다.
도 13에 도시된 실시예에서, 학습 처리부(53n)는 새로운 탭-구조 정보 #n이 수신될 때까지 예측 계수들을 얻기 위해서와 마찬가지로 탭-후보 발생 회로(52)로부터 전송된 탭-구조 정보 #n에 대응하는 구조를 갖는 클래스 탭 및 예측 탭을 사용한다. 학습 처리부(53n)는 포커스된 화소 둘레에 배치된 SD 화소들의 상관 관계 등의 포커스된 화소의 특징 양이 얻어지고, 탭-구조 정보 #n에 대응하는 구조를 갖는 클래스 탭 및 예측 탭이 특징 양에 기초한 구조를 갖는 각각의 포커스된 화소에 대해 변화되고, 예측 계수들이 얻어지도록 구성될 수 있다.
이러한 경우에, 예를 들면, 탭-구조 정보 #n에 대응하는 구조를 갖는 클래스 탭 및 예측 탭이 변형되는 변화의 수에 대응하게 많은 클래스들을 준비할 필요가 있다. 데이터 처리부(2)에서, 상기 경우와 동일한 방식으로, 포커스된 화소의 특징 양이 얻어지고, 클래스-탭 발생 회로(42) 및 예측-탭 발생 회로(43)는 결정 회로(54)로부터 전송된 탭-구조 정보 #n에 대응하는 구조를 특징 양에 따라 변형시킴으로써 얻어진 구조를 갖는 클래스 탭 및 예측 탭을 구성할 필요가 있다. 특징 양은 SD 화소들의 DR, 분산 또는 표준 편차 등의 포커스된 화소 둘레의 SD 화소들의 특징 양을 지시하는 임의의 것일 수 있다.
본 발명의 실시예들은 도 9 및 도 13에 도시된 회로에 의해 기재된다. 프로그램에 의해 각각의 회로의 기능을 구현하는 소프트웨어가 사용될 수 있다.
도 8, 도 11, 도 12 및 도 17에 도시된 일련의 처리는 하드웨어 또는 소프트웨어에 의해 구현될 수 있다. 일련의 처리가 소프트웨어에 의해 달성될 때, 소프트웨어를 구성하는 프로그램이 NR 처리 장치(100) 및 특수 하드웨어로서 작용하는 영상 처리 장치(200 및 300)에 조립된 컴퓨터 또는 범용 컴퓨터에 설치된다.
상기 일련의 처리를 실행하기 위한 프로그램을 저장하는 기록 매체는 도 19a, 19b 및 19c를 참조하여 아래 기재할 것이다. 프로그램이 컴퓨터에 설치되고 컴퓨터에 의해 실행 가능하게 제조된다.
프로그램은 도 19a에 나타낸 바와 같이 컴퓨터(101)에 탑재된 기록 매체로서 작용하는 하드 디스크(102) 또는 반도체 메모리(103)에 미리 기록된다.
대안으로, 프로그램은 도 19b에 도시된 바와 같이 플로피 디스크(111), 컴팩트 디스크 판독 전용 메모리(CD-ROM)(112), 자기 광(MO) 디스크(113), 디지털 다용도 디스크(DVD)(114), 자기 디스크(115) 및 반도체 메모리(116) 등의 기록 매체에 일시적으로 또는 영구적으로 기록된다.
프로그램은 상기 기록 매체로부터 컴퓨터에 설치된다. 대안으로, 프로그램은 디지털 위성 방송을 위해 인공 위성을 통해 다운로딩 사이트(121)로부터 컴퓨터(101)로 무선으로 전송되거나, 또는 로컬 에어리어 네트워크(LAN) 또는 인터넷 등의 네트워크(131)를 통해 유선으로 컴퓨터(101)로 전송되고; 도 19c에 도시된 바의 컴퓨터(101)에 탑재된 하드 디스크(102)에 설치된다.
본 명세서에서, 여러 가지 처리 유형을 실행하는 프로그램을 기재하는 단계들은 단계들이 흐름도에 기재되지 않은 순서로 시간 순차 방식으로 반드시 처리될 필요는 없다. 병렬 처리 또는 대상물에 의한 처리 등과 같이 병렬로 또는 개별적으로 실행될 처리가 역시 포함된다.
도 20은 도 19a에 도시된 컴퓨터(101)의 예시적인 구조를 도시한다.
컴퓨터(101)는 도 20에 도시된 바의 중앙 처리 장치(CPU)(142)를 포함한다. CPU(142)는 버스(141)를 통해 입출력 인터페이스(145)에 접속된다. 사용자가 입출력 인터페이스(145)를 통해 명령을 입력하기 위해 키보드 또는 마우스로 형성된 입력부(147)를 작동시킬 때, CPU(142)는 도 19a에 도시된 반도체 메모리(103)에 대응하는 판독-전용 메모리(ROM)(143)에 저장된 프로그램을 실행한다. 대안으로, CPU(142)는 하드 디스크(102)에 저장된 프로그램; 통신부(148)에 의해 수신되고, 하드 디스크(102)에 설치된, 인공 위성(122) 또는 네트워크(131)를 통해 전송된 프로그램; 또는 드라이브(149)로 로드된 플로피 디스크(111), CD-ROM(112), MO 디스크(113), DVD(114) 또는 자기 디스크(115)로부터 판독되고, 하드 디스크(102)에 설치된 프로그램을 랜덤 액세스 메모리(RAM)(144)에 로드하고, 이를 실행한다. CPU(142)는 처리 결과를 예를 들면 입출력 인터페이스(145)를 통해 필요할 경우 액정 디스플레이(LCD)로 형성된 디스플레이부(146)에 출력한다.
데이터 처리부(2)는 실시간 학습부(1)에 의해 명시된 처리 방법에 의해 처리될 입력 데이터를 적응성있게 처리하고, 처리 결과를 출력 데이터로서 출력한다.
따라서, 데이터 처리부(2)는 실시간으로 학습된 처리 방법을 사용함으로써 처리될 입력 데이터를 처리하고, 처리될 입력 데이터에 적응성있는 처리가 이루어 지도록 한다.
보다 상세하게는, 데이터 처리부(2)가 처리될 입력 데이터를 처리하는 처리 방법은 실시간 학습부(1)에서 실시간 학습에 의해 개선된다. 데이터 처리부(2)는 실시간 학습부(1)에 의해 명시된 처리 방법을 사용함으로써 처리될 입력 데이터를 적응성있게 처리한다. 시간이 경과하거나 또는 처리된 입력 데이터의 양이 증가함에 따라, 학습 효과가 점차로 나타나고, 데이터 처리부(2)로부터 출력된 출력 데이터는 시간이 경과함에 따라 개선된다.

Claims (14)

  1. 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 장치에 있어서,
    소정의 처리 방법에 의해 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 수단, 및
    처리 방법이 실시간으로 학습되고 상기 데이터 처리 수단은 학습된 처리 방법에 의해 입력 데이터를 처리함으로써 출력 데이터가 시간이 경과함에 따라 개선되도록 제어하기 위한 실시간 학습 수단을 포함하는 데이터 처리 장치.
  2. 제 1항에 있어서,
    상기 실시간 학습 수단은 입력 데이터 또는 출력 데이터에 따라 처리 방법을 학습하는 데이터 처리 장치.
  3. 제 1항에 있어서,
    상기 실시간 학습 수단은 처리 방법을 학습하기 위한 특정 데이터에 따라 처리 방법을 학습하는 데이터 처리 장치.
  4. 제 1항에 있어서,
    상기 실시간 학습 수단은 시간-순차로 입력된 학습 데이터에 따라 처리 방법을 학습하는 데이터 처리 장치.
  5. 제 4항에 있어서,
    상기 실시간 학습 수단은 시간-순차로 입력된 학습 데이터 중의 현재 값으로부터 소정의 범위 내의 값을 갖는 데이터에 따라 처리 방법을 학습하는 데이터 처리 장치.
  6. 제 4항에 있어서,
    상기 실시간 학습 수단은 상기 실시간 학습 수단이 소정의 속도로 과거의 학습 데이터를 무시하는 동안 처리 방법을 학습하는 데이터 처리 장치.
  7. 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 방법에 있어서,
    소정의 처리 방법에 의해 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 단계, 및
    처리 방법이 실시간으로 학습되고 입력 데이터가 상기 데이터 처리 단계에서 학습된 처리 방법에 의해 처리됨으로써 출력 데이터가 시간이 경과함에 따라 개선되도록 제어하기 위한 실시간 학습 단계를 포함하는 데이터 처리 방법.
  8. 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 장치에 있어서,
    입력 데이터 및 소정의 예측 계수를 선형 결합시킴으로써 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 수단, 및
    시간이 경과함에 따라 출력 데이터가 보다 양질이 되도록 예측 계수를 학습하고, 상기 예측 계수를 상기 데이터 처리 수단에 전송하기 위한 실시간 학습 수단을 포함하는 데이터 처리 장치.
  9. 제 8항에 있어서,
    상기 실시간 학습 수단은 예측 계수를 학습하기 위한 특정 데이터에 따라 예측 계수를 학습하는 데이터 처리 장치.
  10. 제 8항에 있어서,
    상기 실시간 학습 수단은 시간-순차로 입력된 학습 데이터에 따라 예측 계수를 학습하는 데이터 처리 장치.
  11. 제 10항에 있어서,
    상기 실시간 학습 수단은 상기 실시간 학습 수단이 소정의 속도로 과거의 학습 데이터를 무시하는 동안 예측 계수를 학습하는 데이터 처리 장치.
  12. 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 방법에 있어서,
    입력 데이터 및 소정의 예측 계수를 선형 결합시킴으로써 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 단계, 및
    시간이 경과함에 따라 출력 데이터가 보다 양질이 되도록 예측 계수를 학습하고, 상기 예측 계수를 상기 데이터 처리 단계에 전송하기 위한 실시간 학습 단계를 포함하는 데이터 처리 방법.
  13. 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 컴퓨터-제어 가능한 프로그램을 저장하기 위한 기억 매체에 있어서,
    소정의 처리 방법에 의해 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 단계, 및
    처리 방법이 실시간으로 학습되고 입력 데이터가 상기 데이터 처리 단계에서 학습된 처리 방법에 의해 처리됨으로써 상기 출력 데이터가 시간이 경과함에 따라 개선되도록 제어하기 위한 실시간 학습 단계를 포함하는 기억 매체.
  14. 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 컴퓨터-제어 가능한 프로그램을 저장하기 위한 기억 매체에 있어서,
    입력 데이터 및 소정의 예측 계수를 선형 결합시킴으로써 입력 데이터를 처리하고 처리된 데이터를 출력하기 위한 데이터 처리 단계, 및
    시간이 경과함에 따라 출력 데이터가 보다 양질이 되도록 예측 계수를 학습하고, 상기 예측 계수를 상기 데이터 처리 단계에 전송하기 위한 실시간 학습 단계를 포함하는 기억 매체.
KR1019990049423A 1998-11-09 1999-11-09 데이터 처리 장치 및 데이터 처리 방법 KR100624349B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP31710198A JP4517409B2 (ja) 1998-11-09 1998-11-09 データ処理装置およびデータ処理方法
JP98-317101 1998-11-09

Publications (2)

Publication Number Publication Date
KR20000047608A true KR20000047608A (ko) 2000-07-25
KR100624349B1 KR100624349B1 (ko) 2006-09-18

Family

ID=18084458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990049423A KR100624349B1 (ko) 1998-11-09 1999-11-09 데이터 처리 장치 및 데이터 처리 방법

Country Status (5)

Country Link
US (3) US7031513B1 (ko)
EP (2) EP1001371B1 (ko)
JP (1) JP4517409B2 (ko)
KR (1) KR100624349B1 (ko)
DE (1) DE69942656D1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517409B2 (ja) * 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
DE60231480D1 (de) * 2001-02-21 2009-04-23 Sony Corp Signalverarbeitungseinrichtung
EP1887514B1 (en) * 2002-02-21 2009-07-01 Sony Corporation Signal processing device
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4265237B2 (ja) * 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
KR100541961B1 (ko) * 2004-06-08 2006-01-12 삼성전자주식회사 선명도 향상 및 잡음처리가 가능한 영상신호 처리장치 및방법
KR100555868B1 (ko) * 2004-06-09 2006-03-03 삼성전자주식회사 아티팩트 처리 장치 및 방법
US7840061B2 (en) * 2007-02-28 2010-11-23 Mitsubishi Electric Research Laboratories, Inc. Method for adaptively boosting classifiers for object tracking
JP5476879B2 (ja) * 2008-09-29 2014-04-23 ソニー株式会社 画像処理装置および係数学習装置。
KR102310241B1 (ko) * 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법
CN109154976B (zh) * 2016-03-17 2023-07-07 摩托罗拉解决方案公司 通过机器学习训练对象分类器的系统和方法
CN109977989B (zh) * 2019-01-17 2021-04-20 北京工业大学 一种图像张量数据的处理方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3950733A (en) * 1974-06-06 1976-04-13 Nestor Associates Information processing system
US4276620A (en) 1978-10-27 1981-06-30 Geosource Inc. Method and apparatus for obtaining a composite field response _to a variable source array using weighting coefficients
US4761819A (en) 1987-02-27 1988-08-02 Picker International, Inc. Adaptive noise reduction filter for reconstructed images
US4887306A (en) 1987-11-04 1989-12-12 Advanced Technology Laboratories, Inc. Adaptive temporal filter for ultrasound imaging system
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
JP2533942B2 (ja) * 1989-03-13 1996-09-11 株式会社日立製作所 知識抽出方法およびプロセス運転支援システム
US5038388A (en) 1989-05-15 1991-08-06 Polaroid Corporation Method for adaptively sharpening electronic images
JP2748578B2 (ja) * 1989-08-04 1998-05-06 松下電器産業株式会社 雑音除去回路
US5136529A (en) 1989-09-29 1992-08-04 Hitachi, Ltd. Digital signal weighting processing apparatus and method
US5295061A (en) * 1990-04-20 1994-03-15 Sanyo Electric Co., Ltd. Control parameter tuning unit and a method of tuning parameters for a control unit
JPH0411466A (ja) * 1990-04-28 1992-01-16 Sony Corp ノイズリデューサ
JP2853298B2 (ja) * 1990-08-21 1999-02-03 株式会社東芝 テレビジョン信号の処理装置
US5263120A (en) 1991-04-29 1993-11-16 Bickel Michael A Adaptive fast fuzzy clustering system
US5408588A (en) * 1991-06-06 1995-04-18 Ulug; Mehmet E. Artificial neural network method and architecture
KR930001678A (ko) 1991-06-13 1993-01-16 강진구 영상 신호에 있어서의 잡음 검출 알고리즘
JPH0561845A (ja) * 1991-08-07 1993-03-12 Fujitsu Ltd 適応型データ処理装置の自己学習処理方式
CA2076099A1 (en) 1991-09-03 1993-03-04 Howard Leroy Lester Automatic simulcast alignment
US5253329A (en) * 1991-12-26 1993-10-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Neural network for processing both spatial and temporal data with time based back-propagation
US5402520A (en) 1992-03-06 1995-03-28 Schnitta; Bonnie S. Neural network method and apparatus for retrieving signals embedded in noise and analyzing the retrieved signals
US5446829A (en) * 1993-06-24 1995-08-29 The United States Of America As Represented By The Department Of Health And Human Services Artificial network for temporal sequence processing
JPH07236074A (ja) * 1993-09-21 1995-09-05 Mitsubishi Electric Corp 画像雑音除去装置
US6285710B1 (en) 1993-10-13 2001-09-04 Thomson Licensing S.A. Noise estimation and reduction apparatus for video signal processing
US5602761A (en) 1993-12-30 1997-02-11 Caterpillar Inc. Machine performance monitoring and fault classification using an exponentially weighted moving average scheme
US5835901A (en) * 1994-01-25 1998-11-10 Martin Marietta Corporation Perceptive system including a neural network
DE4417628C1 (de) 1994-05-19 1995-09-28 Siemens Ag Verfahren zur adaptiven Rauschverminderung für digitale Bildsequenzen
US5539774A (en) 1994-06-15 1996-07-23 International Business Machines Corporation Dual decision equalization method and device
JP3529432B2 (ja) * 1994-06-30 2004-05-24 株式会社東芝 動画像符号化／復号化装置
JP3359439B2 (ja) * 1994-12-01 2002-12-24 沖電気工業株式会社 ノイズ低減回路
EP0800744B1 (en) 1995-11-01 2002-01-09 Koninklijke Philips Electronics N.V. Video signal scan conversion
US5802220A (en) 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5970093A (en) 1996-01-23 1999-10-19 Tiernan Communications, Inc. Fractionally-spaced adaptively-equalized self-recovering digital receiver for amplitude-Phase modulated signals
US6038272A (en) 1996-09-06 2000-03-14 Lucent Technologies Inc. Joint timing, frequency and weight acquisition for an adaptive array
US5812993A (en) 1996-03-07 1998-09-22 Technion Research And Development Foundation Ltd. Digital hardware architecture for realizing neural network
JP3184092B2 (ja) * 1996-05-27 2001-07-09 シャープ株式会社 画像処理方法
US5809178A (en) * 1996-06-11 1998-09-15 Apple Computer, Inc. Elimination of visible quantizing artifacts in a digital image utilizing a critical noise/quantizing factor
FR2751825A1 (fr) * 1996-07-24 1998-01-30 Philips Electronics Nv Procede de filtrage temporel du bruit dans une image d'une sequence d'images numerisees et dispositif mettant en oeuvre ce procede
US6157403A (en) 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
JPH1075274A (ja) 1996-08-29 1998-03-17 Mitsubishi Electric Corp 軟判定復号器
US5694342A (en) 1996-10-24 1997-12-02 The United States Of America As Represented By The Secretary Of The Navy Method for detecting signals in non-Gaussian background clutter
US6049793A (en) * 1996-11-15 2000-04-11 Tomita; Kenichi System for building an artificial neural network
JPH10172251A (ja) 1996-12-06 1998-06-26 Sony Corp 光学式情報再生方法及び再生装置
EP0848347A1 (en) * 1996-12-11 1998-06-17 Sony Corporation Method of extracting features characterising objects
JP3888561B2 (ja) * 1997-01-24 2007-03-07 ソニー株式会社 画像信号処理装置および方法
US6064997A (en) * 1997-03-19 2000-05-16 University Of Texas System, The Board Of Regents Discrete-time tuning of neural network controllers for nonlinear dynamical systems
US6278961B1 (en) 1997-07-02 2001-08-21 Nonlinear Solutions, Inc. Signal and pattern detection or classification by estimation of continuous dynamical models
US5963447A (en) 1997-08-22 1999-10-05 Hynomics Corporation Multiple-agent hybrid control architecture for intelligent real-time control of distributed nonlinear processes
US5909178A (en) 1997-11-28 1999-06-01 Sensormatic Electronics Corporation Signal detection in high noise environments
US6256619B1 (en) * 1997-12-23 2001-07-03 Caterpillar Inc. Self optimizing neural network analog data processing system
US6347310B1 (en) * 1998-05-11 2002-02-12 Torrent Systems, Inc. Computer system and process for training of analytical models using large data sets
JP4258045B2 (ja) * 1998-11-09 2009-04-30 ソニー株式会社 ノイズ低減装置、ノイズ低減方法、および記録媒体
JP4517409B2 (ja) * 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
JP4164712B2 (ja) * 1999-02-09 2008-10-15 ソニー株式会社 データ処理装置およびデータ処理方法
US6581047B1 (en) * 1999-04-07 2003-06-17 Inesa, Inc. Method for a sequential prediction of binary element's state in a binary process and the system for the method implementation

Also Published As

Publication number Publication date
KR100624349B1 (ko) 2006-09-18
EP1001371A1 (en) 2000-05-17
EP1001371B1 (en) 2010-08-11
US20090285472A1 (en) 2009-11-19
JP4517409B2 (ja) 2010-08-04
JP2000148724A (ja) 2000-05-30
EP1650709B1 (en) 2012-01-04
US20060126930A1 (en) 2006-06-15
EP1650709A1 (en) 2006-04-26
US7912277B2 (en) 2011-03-22
US7031513B1 (en) 2006-04-18
US7747069B2 (en) 2010-06-29
DE69942656D1 (de) 2010-09-23

Similar Documents

Publication Publication Date Title
US7912277B2 (en) Data processing apparatus and data processing method
US20100202711A1 (en) Image processing apparatus, image processing method, and program
JP4362895B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
KR100499434B1 (ko) 이미지 변환기 및 이미지 변환 방법
JP3794505B2 (ja) 信号変換装置及び信号変換方法
JP4324825B2 (ja) データ処理装置およびデータ処理方法、並びに媒体
KR101089853B1 (ko) 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의 생성 장치 및 생성 방법, 정보 신호 처리 장치, 및 프로그램을 기록한 매체
KR100816593B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP4066146B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4135045B2 (ja) データ処理装置およびデータ処理方法、並びに媒体
KR100706557B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
JPH1127564A (ja) 画像変換装置および方法、並びに提供媒体
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4281453B2 (ja) 信号処理装置および信号処理方法
JP3693187B2 (ja) 信号変換装置及び信号変換方法
KR100657776B1 (ko) 연산 장치, 변환기, 및 이들의 방법
JP4096281B2 (ja) 画像処理装置および画像処理方法、並びに媒体
KR100982625B1 (ko) 정보 신호의 처리 장치 및 처리 방법
JP4099553B2 (ja) 予測係数生成方法及び信号処理装置
JP4131049B2 (ja) 信号処理装置及び信号処理方法
JP2000138904A (ja) 画像情報変換装置および変換方法
JP2009284207A (ja) 画像処理装置および方法、プログラム、並びに学習装置および方法
KR20090068163A (ko) 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120903

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee