KR20010113047A - 데이터 처리장치 및 방법과 기록매체 및 프로그램 - Google Patents

데이터 처리장치 및 방법과 기록매체 및 프로그램 Download PDF

Info

Publication number
KR20010113047A
KR20010113047A KR1020017013684A KR20017013684A KR20010113047A KR 20010113047 A KR20010113047 A KR 20010113047A KR 1020017013684 A KR1020017013684 A KR 1020017013684A KR 20017013684 A KR20017013684 A KR 20017013684A KR 20010113047 A KR20010113047 A KR 20010113047A
Authority
KR
South Korea
Prior art keywords
data
enhancement information
quality
class
prediction
Prior art date
Application number
KR1020017013684A
Other languages
English (en)
Inventor
콘도테쯔지로
안도카즈다카
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010113047A publication Critical patent/KR20010113047A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543—Billing, e.g. for subscription services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

향상정보 생성부(11)는, 프로그램으로서 방송되는 화상(방송용 화상)의 화질을 향상시키기 위한 복수 종류의 향상정보를 생성한다. 통합부(12)는 향상정보 생성부(11)가 생성하는 복수 종류의 향상정보 중의 1 이상을, 방송용 화상에 매입하는 등에 의해 통합하고, 통합신호를 출력한다. 이 통합신호는, 송신부(13)를 거쳐서 송신된다. 이것에 의해, 각종 화질의 화상을 제공한다.

Description

데이터 처리장치 및 방법과 기록매체 및 프로그램{Data processing device and method, and recording medium and program}
근래, 일본에 있어서도, 케이블 텔레비전방송이나, 텔레비전 위성방송이란, 유료에서의 프로그램 방송서비스의 제공이 침투하고 있다.
그런데, 유료에서의 프로그램 방송서비스에 있어서는, 시청 가능한 프로그램에 따라서, 혹은 실제로 시청한 프로그램에 따라서, 부과금이 행해지는 것이 일반적이지만, 또한, 프로그램으로서의 화질을, 사용자가 지불하는 시청료 등에 따라서 바꿀 수 있다면, 보다 결정이 자세한 서비스를 제공할 수 있다.
본 발명은, 데이터 처리장치 및 방법과 기록매체 및 프로그램에 관하여, 특히, 예를 들면, 각종 화질의 화상을 제공하는 것 등을 할 수 있도록 하는 데이터 처리장치 및 방법과 기록매체 및 프로그램에 관한 것이다.
도 1은, 본 발명을 적용한 방송시스템의 일 실시형태의 구성예를 나타내는 도면이다.
도 2는, 송신장치(1)의 구성예를 나타내는 블록도이다.
도 3은, 송신장치(1)의 처리를 설명하는 플로차트이다.
도 4는, 수신장치(3)의 구성예를 나타내는 블록도이다.
도 5는, 수신장치(3)의 처리를 설명하는 플로차트이다.
도 6은, 향상정보 생성부(11)의 제 1구성예를 나타내는 블록도이다.
도 7은, 예측탭(클라스탭)의 구성을 나타내는 도면이다.
도 8a, 8b, 8c 및 8d는, 방식선택신호와 향상방식과의 대응관계를 나타내는 도면이다.
도 9는, 도 6의 향상정보 생성부(11)의 처리를 설명하는 플로차트이다.
도 10은, 향상정보 생성부(11)의 제 2구성예를 나타내는 블록도이다.
도 11은, 도 10의 향상정보 생성부(11)의 처리를 설명하는 플로차트이다.
도 12는, 품질향상부(24)의 제 1구성예를 나타내는 블록도이다.
도 13은, 도 12의 품질향상부(24)의 처리를 설명하는 플로차트이다.
도 14는, 향상정보 생성부(11)의 제 3구성예를 나타내는 블록도이다.
도 15는, 도 14의 향상정보 생성부(11)의 처리를 설명하는 플로차트이다.
도 16은, 예측계수를 구하는 학습장치의 제 1구성예를 나타내는 블록도이다.
도 17은, 품질향상부(24)의 제 2구성예를 나타내는 블록도이다.
도 18은, 도 17의 품질향상부(24)의 구성예를 나타내는 블록도이다.
도 19는, 향상정보 생성부(11)의 제 4구성예를 나타내는 블록도이다.
도 20은, 도 19의 향상정보 생성부(11)의 처리를 설명하기 위한 플로차트이다.
도 21은, 품질향상부(24의 제 3구성예를 나타내는 블록도이다.
도 22는, 예측계수를 구하는 학습장치의 제 2구성예를 나타내는 블록도이다.
도 23은, 통합부(12)의 구성예를 나타내는 블록도이다.
도 24는, 도 24의 통합부(12)의 처리를 설명하는 플로차트이다.
도 25a 내지 25k는, 화상의 열의 교체를 설명하는 도면이다.
도 26은, 추출부(22)의 구성예를 나타내는 블록도이다.
도 27은, 도 26의 추출부(22)의 처리를 설명하는 플로차트이다.
도 28은, 통합부(12)의 다른 구성예를 나타내는 블록도이다.
도 29는, 추출부(22)의 다른 구서예를 나타내는 블록도이다.
도 30은, 본 발명을 적용한 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이이다.
본 발명은, 이와 같은 상황에 감안하여 이루어진 것이며, 각종 화질의 화상을 제공하는 것 등을 가능하도록 하는 것이다.
본 발명에 관계되는 데이터 처리장치는, 데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성수단과, 데이터에 대해서 향상정보를 매워 넣는매입수단(embeded means)을 갖춘다.
향상정보 생성수단은, 데이터의 품질을 향상시킨 품질향상 데이터의 예측치를 예측하는데 이용하는 예측계수를, 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 예측계수를 소정의 클라스마다 생성하도록 하여도 좋다.
향상정보 생성수단은, 교사가 되는 교사데이터 중의 주목하고 있는 주목 교사데이터의 클라스를 구하는데 이용하는 클라스탭을, 학생이 되는 학생데이터를 이용하여 구성하는 클라스탭 구성수단과, 클라스탭에 의거해서, 주목교사 데이터의 클라스를 구하는 클라스분류를 행하는 클라스분류수단과, 주목교사데이터를 예측하는데, 예측계수와 함께 이용하는 예측탭을, 학생데이터를 이용해서 구성하는 예측탭 구성수단과, 교사데이터 및 예측탭을 이용해서, 클라스마다 예측계수를 구하는 예측계수 향상수단을 갖추도록 하여도 좋다.
향상정보 생성수단은, 복수 종류의 향상정보을 생성하도록 하여도 좋다.
향상정보 생성수단은, 다른 클라스 수에 대한 예측계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 다른 품질의 학생데이터 또는 교사데이터를 이용함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 적어도, 예측계수와, 선형보간을 행하기 위한 정보를 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 다른 구성의 클라스탭 또는 예측탭을 이용함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 클라스분류를 다른 방법을 행함으로써 구해지는 복수 종류의 예측계수와, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 데이터의 품질을 향상시킨 품질향상 데이터의 예측치를 예측하는데 이용하는, 데이터의 클라스를 나타내는 클라스코드를 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 학습의 교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터를 예측하는데 이용하는 예측탭을, 학습의 학생이 되는 학생데이터를 이용하여 구성하는 예측탭 구성수단과, 학습을 행함으로써 구해진 클라스코드마다 예측계수를 기억하는 예측계수 기억수단과, 예측탭 및 예측계수를 이용하여, 주목교사 데이터의 예측치를 구하는 예측연산수단과, 주목교사 데이터의 예측치를 최소로 하는 예측계수의 클라스코드를 검출하는 클라스코드 검출수단을 갖추고, 클라스코드 검출수단에 있어서 검출된 클라스코드를, 향상정보로서 출력하도록 하여도 좋다.
향상정보 생성수단은, 학습의 교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터의 클라스를 구하는데 이용하는 클라스탭을 교사데이터을 이용해서 구성하는 클라스탭 구성수단과, 클라스탭에 의거해서, 주목교사 데이터의 클라스를 구하는 클라스분류를 행하는 클라스분류수단을 갖추고, 클라스분류수단에 있어서구해진 클라스에 대응하는 클라스코드를, 향상정보로서 출력하도록 하여도 좋다.
매(埋)입수단은, 데이터가 갖는 에너지의 치우짐을 이용하여, 데이터 및 향상정보를 원래로 되돌릴 수 있도록, 데이터에 향상정보를 매워 넣도록 하여도 좋다.
매입수단은, 스펙트럼 확산을 행함으로써, 데이터에 향상정보를 매워 넣도록 하여도 좋다.
매입수단은, 데이터의 1비트 이상을, 향상정보로 변경함으로써, 데이터에 향상정보를 매워 넣도록 하여도 좋다.
데이터는, 화상데이터이며, 향상정보는 화상데이터의 화질을 향상시키는 정보이도록 하여도 좋다.
본 발명에 관계되는 데이터 처리방법은, 데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성스텝과, 데이터에 대해서 향상정보를 매워 넣는 매입스텝을 갖는다.
본 발명에 관계되는 기록매체는, 데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성스텝과, 데이터에 대해서 향상정보를 매워 넣는 매입스텝을 갖는 프로그램이 기록되어 있다.
본 발명에 관계되는 프로그램은, 데이터의 품질을 향상기키는 위한 향상정보를 생성하는 향상정보 생성스텝과, 데이터에 대해서 향상정보를 매워 넣는 매입스텝을 갖는다.
본 발명에 관계되는 데이터 처리장치는, 매입데이터에서 향상정보를 추출하는 추출수단과, 데이터의 품질을 향상정보를 이용해서 향상시키는 향상수단을 갖춘다.
향상정보는, 데이터의 품질을 향상시킨 품질향상데이터의 예측치를 예측하는데 이용하는 예측계수인 것같이 하여도 좋고, 이 경우, 향상수단은, 데이터 및 예측계수를 이용함으로써, 품질향상데이터의 예측치를 구하도록 하여도 좋다.
향상정보는, 소정의 클라스마다 구해진 예측계수인 것같이 하여도 좋고, 이 경우, 향상수단은, 데이터 및 클라스마다 예측계수를 이용함으로써, 품질향상데이터의 예측치를 구하도록 하여도 좋다.
향상수단은, 주목하고 있는 품질향상데이터인 주목품질 향상데이터의 클라스를 구하는데 이용하는 클라스탭을, 데이터를 이용해서 구성하는 클라스탭 구성수단과, 클라스탭에 의거해서, 주목품질 향상데이터의 클라스를 구하는 클라스분류를 행하는 클라스분류수단과, 주목품질 향상데이터를 예측하는데, 예측계수와 함께 이용하는 예측탭을, 데이터을 이용하여 구성하는 예측탭 구성수단과, 주목품질 향상데이터의 예측치를, 그 주목품질 향상데이터의 클라스의 예측계수와, 예측탭을 이용해서 구하는 예측수단을 갖추도록 하여도 좋다.
향상정보는, 데이터의 품질을 향상킨 품질향상데이터의 예측치를 예측하는데 이용하는 소정의 클라스마다 예측계수의, 그 클라스를 나타내는 클라스코드인 것같이 하여도 좋고, 이 경우, 향상수단은, 데이터 및 클라스코드에 대응하는 예측계수를 이용함으로써, 품질향상 데이터의 예측치를 구하도록 하여도 좋다.
향상수단은, 주목하고 있는 품질향상데이터인 주목품질 향상데이터를 예측하는데, 예측계수와 함께 이용하는 예측탭을, 데이터를 이용해서 구성하는 예측탭 구성수단과, 주목품질 향상데이터의 예측치를, 향상정보로서의 클라스코드에 대응하는 예측계수와, 예측탭을 이용해서 구하는 예측수단을 갖추도록 하여도 좋다.
매입데이터에는, 복수 종류의 향상정보가 매워 넣어지도록 하여도 좋다.
매입데이터에는, 다른 클라스수에 대한 예측계수가, 복수 종류의 향상정보로서 매워 넣어지도록 하여도 좋다.
예측계수는, 학생이 되는 학생데이터와, 교사가 되는 교사데이터를 이용해서 생성되도록 하여도 좋고, 이 경우, 매입데이터에는, 다른 품질의 학생데이터 또는 교사데이터를 이용함으로써 구해지는 복수 종류의 예측계수가, 복수 종류의 향상정보로서 매워 넣어지도록 하여도 좋다.
매입데이터에는, 적어도 예측계수와, 선형보간을 행하기 위한 정보가 복수 종류의 향상정보로서 매워 넣어지도록 하여도 좋다.
매입데이터에는, 다른 구성의 클라스탭 또는 예측탭을 이용함으로써 구해지는 복수 종류의 예측계수가, 복수 종류의 향상정보로서 매워 넣어지도록 하여도 좋다.
매입데이터에는, 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 류의 예측계수가, 복수 종류의 향상정보로서 매워 넣어지도록 하여도 좋다.
본 발명에 관계되는 데이터 처리장치는, 복수 종류의 향상정보에서 데이터의 품질을 향상시키는데 이용하는 것을 선택하는 향상정보 선택수단을 또한 갖추도록 하여도 좋다.
추출수단은, 데이터가 갖는 에너지의 치우침을 이용하여, 매입데이터에서 향상정보를 추출하도록 하여도 좋다.
추출수단은, 역스펙트럼 확산을 행함으로써, 매입데이터에서 향상정보를 추출하도록 하여도 좋다.
추출수단은, 매입데이터의 1비트 이상을, 향상정보로서 추출하도로 하여도 좋다.
데이터는, 화상데이터이며, 향상정보는, 화상데이터의 화질을 향상시키는 정보인 것같이 하여도 좋다.
본 발명에 관계되는 데이터 처리방법은, 매입데이터에서 향상정보를 추출한는 추출스텝과, 데이터의 품질을 향상정보를 이용해서 향상시키는 향상스텝을 갖는다.
본 발명에 관계되는 프로그램은, 매입데이터에서 향상정보를 추출하는 추출스텝과, 데이터의 품질을 향상정보를 이용해서 향상시키는 향상스텝을 갖는 프로그램이 기록되어 있다.
본 발명에 관계되는 프로그램은, 매입데이터에서 향상정보를 추출하는 추출스텝과, 데이터의 품질을 향상정보를 이용해서 향상시키는 향상스텝을 갖는다.
본 발명에 관계되는 데이터 처리장치는, 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성수단과, 데이터와, 1종류 이상의 향상정보를 송신하는 송신수단을 갖춘다.
본 발명에 관계되는 데이터 처리장치는, 복수 종류의 향상정보 중에서, 데이터와 함께 송신하는 것을 선택하는 향상정보 선택수단을 또한 갖추도록 하여도 좋다.
향상정보 선택수단은, 데이터를 수신하는 수신장치로부터의 요구에 따라서, 향상정보를 선택하도록 하여도 좋다.
본 발명에 관계되는 데이터 처리장치는, 향상정보 선택수단이 선택하는 향상정보에 따라서, 부과금처리를 행하는 부과금수단을 또한 갖추도록 하여도 좋다.
향상정보 생성수단은, 적어도 데이터의 품질을 향상시킨 품질향상데이터의 예측치를 예측하는데 이용하는 예측계수를, 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 예측계수를 소정의 클라스마다 생성하도록 하여도 좋다.
향상정보 생성수단은, 교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터의 클라스를 구하는데 이용하는 클라스탭을, 학생이 되는 학생데이터를 이용하여 구성하는 클라스탭 구성수단과, 클라스탭에 의거해서, 주목교사 데이터의 클라스를 구하는 클라스분류를 행하는 클라스분류수단과, 주목교사 데이터를 예측하는데 예측계수와 함께 이용하는 예측탭을, 학생데이터를 이용하여 구성하는 예측탭 구성수단과, 교사데이터 및 예측탭을 이용하여, 클라스마다 예측계수를 구하는 예측계수 연산수단을 갖도록 하여도 좋다.
향상정보 생성수단은, 다른 클라스수에 대한 예측계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 다른 품질의 학생데이터 또는 교사데이터를 이용함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 적어도, 예측계수와, 선형보간을 행하기 위한 정보를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 다른 구성의 클라스탭 또는 예측탭을 이용함으로써 구해지는 복수 종류의 예측 계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
향상정보 생성수단은, 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 생성하도록 하여도 좋다.
송신수단은, 데이터가 갖는 에너지의 치우침을 이용하여, 데이터 및 향상정보를 원래로 되돌릴 수 있도록, 데이터에 향상정보를 매워 넣고, 데이터 및 1종류 이상의 향상정보를 송신하도록 하여도 좋다.
송신수단은, 스펙트럼 확산을 행함으로써, 데이터에 향상정보를 매워 넣고, 데이터 및 제 1종류 이상의 향상정보를 송신하도록 하여도 좋다.
송신수단은, 데이터의 1비트 이상을, 향상정보로 변경함으로써, 데이터에 향상정보를 매워 넣고, 데이터 및 1종류 이상의 향상정보를 송신하도록 하여도 좋다.
송신수단은, 데이터와, 복수 종류의 향상정보 전부를 송신하도록 하여도 좋다.
데이터는, 화상데이터이며, 향상정보는, 화상데이터의 화질을 향상시키는 정보인 것같이 하여도 좋다.
본 발명에 관계되는 데이터 처리방법은, 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성스텝과, 데이터와, 1종류 이상의 향상정보를 송신하는 송신스텝을 갖는다.
본 발명에 관계되는 기록매체는, 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성스텝과, 데이터와, 1종류 이상의 향상정보를 송신하는 송신스텝을 갖는 프로그램이 기록되어 있다.
본 발명에 관계되는 프로그램은, 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성스텝과, 데이터와, 1종류 이상의 향상정보를 송신하는 송신스텝을 갖는다.
본 발명에 관계되는 데이터 처리장치는, 데이터 및 1종류 이상의 향상정보를 수신하는 수신수단과, 데이터의 품질을, 1종류 이상의 향상정보 중의 어느 것을 이용하여 향상시키는 향상수단과, 데이터의 품질을 향상기키는데 이용한 향상정보에 따라서, 부과금 처리를 행하는 부과금수단을 갖춘다.
수신수단은, 복수 종류의 향상정보를 수신하도록 하여도 좋고, 이 경우, 본 발명에 관계되는 데이터 처리장치는, 복수 종류의 향상정보 중에서, 데이터의 품질을 향상시키는데 이용하는 것을 선택하는 향상정보 선택수단을 또한 갖추도록 하여도 좋다.
향상정보 선택수단은, 사용자로부터의 요구에 따라서, 향상정보를 선택하도록 하여도 좋다.
본 발명에 관계되는 데이터 처리장치는, 데이터의 품질을 향상시키는데 이용하는 향상정보를, 데이터 및 제 1종류 이상의 향상정보를 송신하는 송신장치에 요구하는 요구수단을 또한 갖추도록 하여도 좋고, 이 경우, 송신수단은, 송신장치가 요구수단의 요구에 따라서 송신하여 오는 향상정보를 수신하도록 하여도 좋다.
향상정보는, 데이터의 품질을 향상시키기 위한 품질향상 데이터의 예측치를 예측하는데 이용하는 예측계수인 것같이 하여도 좋고, 이 경우, 향상수단은, 데이터 및 예측계수를 이용함으로써, 품질향상 데이터의 예측치를 요구하도록 하여도 좋다.
향상정보는, 소정의 클라스마다 구해진 예측계수인 것같이 하여도 좋고, 이 경우, 향상수단은, 데이터 및 클라스마다 예측계수를 이용함으로써, 품질향상데이터의 예측치를 구하도록 하여도 좋다.
향상수단은, 주목하고 있는 품질 향상데이터인 주목품질 향상데이터의 클라스를 구하는데 이용하는 클라스탭을, 데이터를 이용해서 구성하는 클라스탭 구성수단과, 클라스탭에 의거해서, 주목품질 향상데이터의 클라스를 구하는 클라스분류를 행하는 클라스분류수단과, 주목품질 향상데이터를 예측하는데, 예측계수와 함께 이용하는 예측탭을, 데이터를 이용하여 구성하는 예측탭 구성수단과, 주목품질 향상데이터의 예측치를, 그 주목품질 향상데이터의 클라스의 예측계수와, 예측탭을 이용해서 구하는 예측수단을 갖추도록 하여도 좋다.
수신수단은, 복수 종류의 향상정보를 수신하도록 하여도 좋다.
수신수단은, 다른 클라스 수에 대한 예측계수를, 복수 종류의 향상정보로서 수신하도록 하여도 좋다.
예측계수는, 학생이 되는 화상데이터와, 교사가 되는 교사데이터를 이용해서 생성되도록 하여도 좋고, 이 경우, 수신수단은, 다른 품질의 화상데이터 또는 교사데이터를 이용함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 수신하도록 하여도 좋다.
수신수단은, 적어도, 예측 계수와, 선형보간을 행하기 위한 정보를, 복수 종류의 향상정보로서 수신하도록 하여도 좋다.
수신수단은, 다른 구성의 글라스탭 또는 예측탭을 이용함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 수신하도록 하여도 좋다.
수신수단은, 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 종류의 예측계수를, 복수 종류의 향상정보로서 수신하도록 하여도 좋다.
수신수단은, 데이터에, 1종류 이상의 향상정보가 매워 넣어진 매입데이터를 수신하도록 하여도 좋고, 이 경우, 데이터 처리장치는, 매입데이터에서 향상정보를 추출하는 추출수단을 또한 갖추도록 하여도 좋다.
추출수단은, 데이터가 갖는 에너지이 치우침을 이용하여, 매입데이터에서 향상정보를 추출하도록 하여도 좋다.
추출수단은, 역스펙트럼 확산을 행함으로써, 매입데이터에서 향상정보를 추출하도록 하여도 좋다.
추출수단은, 매입데이터의 1비트 이상을, 향상정보로서 추출하도록 하여도 좋다.
데이터는, 화상데이터이며, 향상정보는, 화상데이터의 화질을 향상시키는 정보인 것같이 하여도 좋다.
본 발명에 관계되는 데이터 처리방법은, 데이터 및 1종류 이상의 향상정보를 수신하는 수신스텝과, 데이터의 품질을, 1종류 이상의 향상정보 중의 어느 것을 이용하여 향상시키는 향상스텝과, 데이터의 품질을 향상시키는데 이용한 향상정보에 따라서, 부과금처리를 행하는 부과금스텝을 갖는다.
본 발명에 관계되는 기록매체는, 데이터 및 제 1종류 이상의 향상정보를 수신하는 수신스텝과, 데이터의 품질을, 1종류 이상의 향상정보 중의 어느 것을 이용하여 향상시키는 향상스텝과, 데이터의 품질을 향상시키는데 이용한 향상정보에 따라서, 부과금처리를 행하는 부과금스텝을 갖는 프로그램이 기록되어 있다.
본 발명에 관계되는 프로그램은, 데이터 및 1종류 이상의 향상정보를 수신하는 수신스텝과, 데이터의 품질을, 1종류 이상의 향상정보의 중의 어느 것을 이용하여 향상시키는 향상스텝과, 데이터의 품질을 향상시키는데 이용한 향상정보에 따라서, 부과금처리를 행하는 부과금스텝을 갖는다.
본 발명에 관계되는 데이터 처리장치 및 방법과 기록매체 및 프로그램에 있어서는, 데이터의 품질을 향상시키기 위한 향상정보가 생성되고, 데이터에 대해서 향상정보가 매워 넣어진다.
본 발명에 관계되는 데이터 처리장치 및 방법과 기록매체 및 프로그램에 있어서는, 매입데이터에서 향상정보가 추출되고, 데이터의 품질이 향상정보를 이용하여 향상된다.
본 발명에 관계되는 데이터 처리장치 및 방법과 기록매체 및 프로그램에 있어서는, 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보가 생성되고, 데이터와, 1종류 이상의 향상정보가 송신된다.
본 발명에 관계되는 데이터 처리장치 및 방법과 기록매체 및 프로그램에 있어서는, 데이터 및 1종류 이상의 향상정보가 수신되고, 데이터의 품질이, 1종류 이상의 향상정보 중의 어느 것을 이용하여 향상되는 한편, 그 데이터의 품질을 향상시키는데 이용한 향상정보에 따라서, 부과금처리가 행해진다.
도 1은, 본 발명을 적용한 디지털 위성방송 시스템(시스템이란, 복수의 장치가 논리적으로 집합한 것을 말하며, 각 구성의 장치가 동일 케이스체 속에 있는지 없는지는 관계없다)의 일 실시형태의 구성예를 나타내고 있다.
송신장치(1)에서는, 프로그램방송에 대응하는 전파로서의 위성방송파가, 안테나(바이폴라 안테나)(1A)에서 위성(2)에 송출된다. 위성(통신위성 또는 방송위성)(2)은, 송신장치(1)로부터의 위성방송파를 수신하고, 그 위성방송파에 대해서, 증폭 기타의 필요한 처리를 행하여 송출한다.
위성(2)에서 송출된 위성방송파는, 수신장치(3)의 안테나(바이폴라 안테나)(3A)에서 수신되어, 표시 등 된다.
또, 송신장치(1)와 수신장치(3)는, 예를 들면, 공중회선, 인터넷, CATV(Cable Television)망, 무선통신망 등의 쌍방향의 통신이 가능한 네트워크(4)를 거쳐서 부과금의 정보의 수수 등의 부과금처리가 행해진다.
또한, 도 1의 실시형태에서는, 설명을 간단히 하기 위해, 1개의 수신장치(3)밖에 도시하지 않으나, 수신장치(3)와 동일 구성의 수신장치는, 복수 설치하는 것이 가능하다.
다음에, 도 2는, 도 1의 송신장치(1)의 구성예를 나타내고 있다.
향상정보 생성부(11)에는, 프로그램으로서 방송되는 화상데이터(이하, 적의, 방송용 화상데이터라고 한다), 또는 그 방송용 화상데이터와 내용이 동일하고, 화질이 보다 높은 화상데이터(고화질의 화상데이터)가 입력되도록 되어 있다. 향상정보 생성부(11)는, 수신장치(3)에 있어서, 방송용 화상데이터의 화질을 향상시키기 위한 향상정보를 생성한다.
즉, 향상정보 생성부(11)에는, 방송용 화상데이터의 화질을 향상시키는 향상방식을 선택하는 방식선택신호도 공급되도록 되어 있다. 향상정보 생성부(11)는, 거기에 공급되는 방식선택신호에 따라서, 1종류 이상의 향상정보를 생성한다. 향상정보 생성부(11)가 생성하는 향상정보는, 통합부(12)에 공급되도록 되어 있다.
통합부(12)에는, 향상정보 생성부(11)에서 향상정보가 공급되는 외, 방송용 화상데이터도 공급되도록 되어 있다. 통합부(12)는, 방송용 화상데이터와 향상정보를 통합하고, 통합신호를 생성하여, 송신부(13)에 공급한다.
여기서, 방송용 화상데이터와 향상정보의 통합방법으로서는, 예를 들면, 시분할 다중화나, 주파수 다중화 외, 후술하는 바와 같은 매입(embedded coding) 등을 이용하는 것이 가능하다. 또, 방송용 화상데이터와 향상정보를 통합하지 않고, 다른 프로그램으로서 송신하는 것도 가능하다.
송신부(13)는, 총합부(12)가 출력하는 총합신호에 대해서, 변조, 증폭, 기타 필요한 처리를 실시하여, 안테나(1A)에 공급한다.
부과금처리부(14)는, 통신인터페이스(15) 및 네트워크(4)를 거쳐서, 수신장치(3)와 통신함으로써, 수신장치(3)에의 프로그램 제공에 대한 부과금처리를 행한다.
통신인터페이스(15)는, 네트워크(4)를 거쳐서 통신제어를 행한다.
다음에, 도 3의 플로차트를 참조해서, 도 2의 송신장치(1)에서 행해지는 프로그램의 송신처리에 대해서 설명한다.
우선 최초로, 스텝(S1)에 있어서, 향상정보 생성부(11)는, 거기에 공급되는 방식선택신호에 따라서, 방송용 화상데이터의 화질을 향상시키기 위한 1종류 이상의 향상정보를 생성하고, 통합부(12)에 공급한다. 여기서, 향상정보를 생성하는 방송용 화상데이터의 단위(이하, 적의, 향상정보 생성단위라고 한다)는, 예를 들면, 1프레임 단위라도 좋고, 1프로그램 단위 등이라도 좋다.
통합부(12)는, 향상정보 생성부(11)에서 향상정보가 공급되면, 스텝(S2)에 있어서, 방송용 화상데이터와 향상정보를 통합하고, 통합신호를 생성하여, 송신부(13)에 공급한다. 송신부(13)에서는, 스텝(S3)에 있어서, 통합부(12)가 출력하는 통합신호에 대해서, 변조, 증폭, 기타의 필요한 처리를 실시하고, 안테나(1A)에 공급한다. 이것에 의해, 통합신호는, 위성방송파로서, 안테나(1A)에서 송출된다.
그후, 스텝(S1)으로 되돌아 가서, 이하, 동일한 처리가 반복된다.
다음에, 도 4는, 도 1의 수신장치(3)의 구성예를 나타내고 있다.
위성(2)을 거쳐서 방송되고 있는 위성방송파는, 안테나(3A)에서 송신되고, 그 수신신호는, 수신부(21)에 공급되도록 되어 있다. 수신부(21)는, 안테나(3A)로부터의 수신신호에 대해서, 증폭, 복조, 기타의 필요한 처리를 실시하고, 통합신호를 얻고, 추출부(22)에 공급한다.
추출부(22)는, 수신부(21)로부터의 통합신호에서, 방송용 화상데이터와, 1종류 이상의 향상정보를 추출하고, 방송용 화상데이터를, 품질향상부(24)에 공급하는 동시에, 1종류 이상의 향상정보를, 선택부(3)에 공급한다.
선택부(23)은, 추출부(22)로부터의 1종류 이상의 향상정보에서, 부과금처리부(27)로부터의 화질레벨신호에 대응하는 종류의 것을 선택하고, 그 향상정보와 함께, 그 향상정보에 의해 화질을 향상시키는 향상방식을 선택하는 방식선택신호를, 품질향상부(24)에 공급한다.
품질향상부(24)는, 추출부(22)에서 공급되는 방송용 화상데이터에 대해서, 방송선택신호가 나타내는 방식의 처리를, 선택부(23)에서 공급되는 향상정보를 이용해서 실시한다. 이것에 의해, 품질향상부(24)는, 화질을 향상시킨 화상데이터를 얻고, 표시부(245)에 공급한다. 표시부(25)는, 예를 들면 CRT(Cathode Ray Tube)나, 액정패널, DMD(Dynamic Mirror Device)등으로 구성된다. 품질향상부(24)에서 공급되는 화상데이터에 대응하는 화상을 표시한다.
조작부(26)는, 표시부(25)에 표시되는 화상의 품질을 선택할 때 등에, 사용자에 의해 조작되고, 그 조작에 대응하는 조작신호는, 부과금처리부(27)에 공급되도록 되어 있다.
부과금처리부(27)는, 조작부(26)로부터의 조작신호에 의거해서, 사용자가 선택한 화질에 대한 부과금처리을 행한다. 즉, 부과금처리(27)는, 조작부(26)로부터의 조작신호에 의거해서, 사용자가 요구하는 화질을 식별하고, 그 화질의 정도를 나타내는 화질레벨신호를, 선택부(23)에 공급한다. 이것에 의해, 선택부(23)에서는 사용자가 요구하는 화질을 얻는데 적합한 향상정보를 선택한다. 또한, 부과금처리부(27)는, 화질레벨신호를 통신인터페이스(28) 및 네트워크(4)를 거쳐서, 송신장치(1)에 송신한다.
여기서, 이와 같이하여, 부과금처리부(27)에서 송신장치(1)에 대해서 송신되는 화질레벨신호는, 송신장치(1)(도 2)에 있어서, 통신인터페이스(15)를 거쳐서, 부과금처리부(14)에서 수신된다. 부과금처리부(14)에서는, 그 화질레벨신호에 따라서, 수신장치(3)의 사용자에 대한 부과가 행해진다. 즉, 부과금처리부(14)는, 예를 들면, 사용자마다 시청요금을 계산하고, 송신장치(1) 측의 구좌번호, 사용자의 구좌번호 및 적산된 시청요금을 적어도 포함하는 부과금신호를, 통신인터페이스(15) 및 네트워크(4)를 거쳐서, 도시하지 않은 부과금센터(은행센터)에 송신한다. 부과금센터는, 부과금신호를 수신하면, 시청요금에 대응하는 금액을 사용자의 구좌에서 자동 인출하는 동시에, 송신장치(1)측의 구좌에 입금하도록 결제처리를 행한다.
통신인터페이스(28)는, 네트워크(4)를 거쳐서의 통신제어를 행한다.
다음에, 도 5의 플로차트를 참조해서, 도 4의 수신장치(3)에서 행해지는 프로그램의 수신처리에 대해서 설명한다.
안테나(3A)가 위성방송파를 수신함으로써 출력하는 수신신호는, 수신부(21)에 공급된다. 수신부(21)에서는, 스텝(S11)에 있어서, 그 수신신호가 수신되어 통합신호로 변환된다. 이 통합신호는, 수신부(21)로부터의 통합신호에서, 방송용 화상데이터와, 1종류 이상의 향상정보보가 추출된다. 그리고, 방송용 화상데이터는, 품질향상부(24)에 공급되고, 1종류 이상의 향상정보는, 선택부(23)에 공급된다.
선택부(23)는, 스텝(S13)에 있어서, 추출부(22)로부터의 1종류 이상의 향상정보에서, 부과금처리부(27)부터의 화질레벨신호에 대응하는 종류의 것을 선택하고, 그 향상정보와 함께, 그 향상정보에 의해 화질을 향상시키는 향상방식을 나타내는 방식선택신호를 품질향상부(24)에 공급한다.
품질향상부(24)는, 스텝(S14)에 있어서, 추출부(22)에서 공급되는 방송용 화상데이터에 대해서, 방송선택신호가 나타내는 방식의 처리를 선택부(23)에서 공급되는 향상정보를 이용하여 실시한다. 이것에 의해, 품질향상부(24)는, 화질을 향상시킨 화상데이터를 얻고, 표시부(25)에 공급하여 표시시킨다. 그리고, 스텝(S11)으로 되돌아 가고, 이하, 동일한 처리가 반복된다.
이상의 수신처리에 있어서, 부과금처리부(27)가 출력하는 화질레벨신호는, 사용자가 조작부(26)를 조작함으로써 요구한 화질에 대응한 것이다. 따라서, 표시부(25)에서는, 사용자가 요구하는 화질의 화상이 나타나게 된다.
다음에, 화상데이터의 화질을 향상시키는 방법으로서는, 예를 들면, 본건 출원인이 앞서 제안한 특개평 8-51622호공보 기재의 클라스분류 적응처리를 이용할 수 있다.
클라스분류 적응처리는, 클라스분류처리와 적응처리로 이루어지며, 클라스분류처리에 의해, 데이터를 그 성질에 의거해서 클라스분류하고, 각 클라스마다 적응처리를 실시하는 것이다. 적응처리는, 이하와 같은 방법의 것이 있다.
즉, 적응처리에서는, 예를 들면, 표준해상도 혹은 저해상도의 SD(StandardDefinition)화상을 구성하는 화소(이하, 적의 SD화소라고 한다)와, 소정의 예측계수와의 선형결합에 의해, 그 SD화상의 해상도를 향상시킨 HD(High Definition)화상의 화소의 예측치를 구하는 것에서, 그 SD화상의 해상도를 향상시킨 화상이 얻어진다.
구체적으로는, 예를 들면, 지금 어느 HD화상을 교사데이터로 하는 동시에, 그 HD화상의 화소수를 적게 하는 등 하여 해상도 등의 화질을 열화시킨 SD화상을 학생데이터로 한다. 그리고, HD화상을 구성하는 화소(이하, 적의, HD화소라고 한다)의 화소치 y의 예측치 E[y]를, 몇 개의 SD화소(SD화소를 구성하는 화소)의 화소치 x1, x2, ...의 집합과, 소정의 예측계수 w1, w2, .....의 선형통합에 의해 규정되는 선형1차 결합모델에 의해 구해지는 것을 고려한다. 이 경우, 예측치 E[y]는 다음 수학식 1로 표현할 수 있다.
E[y] = w1x1 + w2x2 + .....
수학식 1을 일반화 하기 위해, 예측계수 wj의 집합인 행렬 W, 학생데이터 xij의 집합인 행렬 X 및 예측치 E[y]의 집합인 행렬 Y'를,
로 정의 하면, 다음과 같은 관측방정식이 성립한다.
XW= Y'
여기서, 행렬 X의 성분 xij는, i건째의 학생데이터의 집합(i건째의 교사데이터 yi의 예측에 학생데이터의 집합) 중의 j번째의 학생데이터를 의미하고, 행렬 W의 성분 wj는, 학생데이터의 집합 중의 j번째의 학생데이터와의 적이 연산되는 예측계수를 표현한다. 또, yj는 i건째의 교사데이터를 표현하고, 따라서, E[yi]는, i건째의 교사데이터의 예측치를 표현한다. 또한 수학식 1의 좌변에 있어서의 y는, 행렬 Y의 성분 yi의 서픽스(suffix) i를 생략한 것이며, 또, 수학식 1의 우변에 있어서의 x1, x2, ....도, 행렬 X의 성분 xij의 서픽스 i를 생략한 것이다.
수학식 2의 관측방정식에 최소 자승법을 적용하여, HD화소의 화소치 y에 가까운 예측치 E[y]를 구하는 것이 고려된다. 이 경우, 교사데이터가 되는 HD화소의 진이 화소치 y의 집합이 되는 행렬 Y 및 HD화소의 화소치 y에 대한 예측측 E[y]의 잔차 e의 집합이 되는 행렬 E를,
로 정의하면, 수학식 2에서, 다음과 같은 잔차 방정식이 성립한다.
XW = Y + E
이 경우, HD화소의 화소치 y에 가까운 예측치 E[y]를 구하기 위한 예측계수 wj는, 자승오차
를 최소로 하는 것에서 구할 수 있다.
따라서, 상술한 자승오차를 예측계수 wj로 미분한 것이 0이 되는 경우, 즉, 다음식을 만족하는 예측계수 wj가, HD화소의 화소치 y에 가까은 예측치 E[y]를 구하기 위한 최적치로 부르게 된다.
그래서, 우선, 수학식 3을, 예측계수 wj로 미분함으로써, 다음식이 성립한다.
수학식 4 및 5에서, 수학식 6이 얻어진다.
또한, 수학식 3의 잔차 방정식에 있어서의 학생데이터 xij, 예측계수 wj, 미분데이터 yj 및 잔차 ej의 관계를 고려하면, 수학식 6에서 다음과 같은 정규방정식을 얻을 수 있다.
수학식 7의 정규방정식을 구성하는 각 식은, 학생데이터 xij 및 교사데이터 yi의 세트를, 어는 정도의 수만큼 준비하는 것에서, 구하여야 할 에측계수 wj의 수 J와 같은 수만큼 세울 수 있다. 따라서, 수학식 7을 푸는 것으로(단, 수학식 7을 푸는데는, 수학식 7에 있어서, 에측계수 wj에 관계하는 계수로 구성되는 행렬이 정측일 필요가 있다), 최적한 예측계수 wj를 구할 수 있다. 또한, 수학식 7을 푸는데 있어서는, 예를 들면 소출법(Gauss-Jordan의 소거법 등)등을 이용하면 좋다.
이상과 같이하여, 최적한 예측계수 wj를 구하여 두고, 다시, 그 예측계수wj를 이용하여, 수학식 1에 의해, HD화소의 화소치 y의 예측치 E[y]를 구하는 것이 적응처리이다.
또한, 적응처리는, SD학생에는 포함되어 있지 않으나, HD학생에 포함되는 성분이 표현되는 점에서, 예를 들면, 단순한 보간처리와는 다르다. 즉, 적응처리에서는, 수학식 1만을 보는 한, 소위 보간필터를 이용한 보간처리와 동일하나, 그 보간필터의 탭계수에 상당하는 예측수 w가, 교사데이터 y를 이용한, 소위 학습에 의해 구해지기 때문에, HD화상에 포함되는 성분을 재현할 수 있다. 이 때문에, 적응처리는, 말하자면 화상의 창조(해상도 상상)작용이 있는 처리라고 말할 수 있다.
또, 여기서는, 적응처리에 대해서, 해상돌르 향상시키는 경우를 예로 하여 설명하였으나, 적응처리는, 기타, 예를 들면, 적응처리 전과 후에서 화소수가 변하지 않아도 관계없고, 화상에서 노이즈나 멍해짐을 제거한 화상의 예측치를 구하는 것 등에 이용할 수 있다. 이 경우, 적응처리에 의하면, 노이즈의 제거나, 멍해짐의 개선 등의 화질의 향상을 도모하는 것이 가능하게 된다.
도 6은, 이상과 같이 클라스분류 적응처리에 의해, 향상정보로서 예측계수를 구하는 경우의, 도 2의 향상정보 생성부(11)의 구성예를 나타내고 있다.
또한, 도 6의 실시형태에 있어서는, 방송용의 화상데이터와 동일 내용의 고화질의 화상데이터가 존재하고, 이것은, 예측계수를 학습하기 위한 교사데이터로서, 향상정보 생성부(11)에 공급되는 것으로 한다.
교사데이터로서의 고화질의 화상데이터는, 예를 들면, 프레임 단위로, 프레임 메모리(31)에 공급되고, 프레임 메모리(31)는, 거기에 공급되는 교사데이터를 순차 기억한다.
다운컨버터(32)는, 프레임 메모리(31)에 기억된 교사데이터를, 예를 들면, 프레임 단위로 독출하고, LPF(Low Pass Filter)를 걸거나, 솎아내기 등을 행하는것에서, 기본적으로는, 방송용 화상데이터와 동일화질, 즉, 여기서는 저화질의 하상데이터를, 예측계수를 학습하기 위한 학생데이터로서 생성하고, 프레임 메모리(33)에 공급한다.
프레임 메모리(33)는, 다운컨버터(32)가 출력하는 학생데이터로서의 저화질의 화상데이터를, 예를 들면, 프레임 단위로 순차 기억한다.
예측탭 구성회로(34)는, 프레임 메모리(31)에 기억된 교사데이터로서의 화상(이하, 적의, 교사화상이라고 한다)을 구성하는 화소(이하, 적의, 교사화소라고 한다)를 순차 주목화소로 하고, 그 주목화소의 위치에 대응하는, 학생데이터로서의 화상(이하, 적의, 학생화상이라고 한다)의 위치에서 공간적 또는 시간적으로 가까운 위치에 있는 몇 개의 학생데이터의 화소(이하, 적의, 학생화소라고 한다)를, 제어회로(40)로부터의 제어신호에 따라서, 프레임 메모리(33)에서 독출하고, 예측계수와의 승산에 이용하는 예측탭으로서 구성한다.
즉, 예를 들면, 도 7에 나타내는 바와 같이, 학생화상이, 교사화상의 화소를, 1/4로 솎아낸 것이라고 하면, 예측탭 구성회로(34)는, 제어회로(40)로부터의 어느 제어신호에 따라서, 예를 들면, 주목화소의 위치에 대응하는, 학생화상의 위치에서 공간적으로 가까운 위치에 있는 4개의 학생화소(a, b, c, d)를 예측탭으로 한다. 또, 예측탭 구성회로(34)는, 제어회로(40)로부터의, 다른 제어신호에 따라서, 예를 들면, 주목화소의 위치에 대응하는, 학생화상의 위치에서 공간적으로 가까운 위치에 있는 9개의 학생화소(a,b,c,d,e,f,g,h,i)를 예측탭으로 한다.
또한, 기본적으로는, 예측탭으로서, 4개의 학생화소(a 내지 d)를 이용하는것보다는, 9개의 학생화소를 이용하는 편이, 교사화소의 예측 정밀도가 높게 되고, 보다 고화질의 화상(을 얻기 위한 예측계수)가 얻어진다.
여기서, 예측탭(후술하는 클라스탭에 대해서도 동일)은, 도 7에 나타낸 바와 같이, 직사각형 형태가 되는 화소로 구성하는 외, +자형태, 마름모꼴 형태, 기타의 임의의 형태가 되는 화소로 구성하는 것이 가능하다. 또, 예측탭은, 인접하는 화소가 아니라, 1개 걸러 등의 화소로 구성하는 것도 가능하다.
도 6으로 되돌아가서, 예측탭 구성회로(34)에서 구성된 예측탭은, 정규방정식 가산회로(37)에 공급되도록 되어 있다.
클라스탭 구성회로(35)는, 주목화소를, 몇 개의 클라스 중의 어느 것으로 분류하기 위한 클라스분류에 이용하는 학생화소를, 프레임 메모리(33)에서 독출한다. 즉, 클라스탭 구성회로(35)는, 주목화소의 위치에 대응하는, 학생화상의 위치에서 공간적 또는 시간적으로 가까운 위치에 있는 몇 개의 학생화소를, 제어회로(40)로부터의 제어신호에 따라서, 프레임 메모리(33)에서 독출하고, 클라스분류에 이용하는 클라스탭으로서, 클라스 분류회로(36)에 공급한다.
또한, 예측탭과 클라스탭이란, 동일한 학생화소로 구성할 수도 있고, 다른 학생화소로 구성할 수도 있다.
클라스 분류회로(36)는, 클라스탭 구성회로(35)로부터의 클라스탭에 의거해서, 제어회로(40)로부터의 제어신호에 따른 방법으로, 주목화소를 클라스분류하고, 그 결과 얻어지는 주목화소의 클라스에 대응하는 클라스 코드를, 정규방정식 가산회로(37)에 공급한다.
여기서, 클라스분류를 행하는 방법으로서는, 예를 들면, 임계치를 이용하는 방법이나, ADRC(Adaptive Dynamic Range Coding)를 이용하는 방법 등이 있다.
임계치를 이용하는 방법 등에서는, 예를 들면, 클라스탭을 구성하는 학생화소의 화소치가, 소정의 임계치보다 큰 지(임계치 이상인지) 아닌지에 의해 2치화 되고, 그 2치화 결과에 따라서, 주목화소의 클라스가 결정된다.
또, ADRC를 이용하는 방법에서는, 클라스탭을 구성하는 학생화소가, ADRC처리되고, 그 결과 얻어지는 ADRC코드에 따라서, 주목화소의 클라스가 결정된다.
또한, K비트 ADRC에 있어서는, 예를 들면, 클라스탭을 구성하는 학생화소의 화소치의 최대치(MAX)와 최소치(MIN)가 검출되고, DR=MAX-MIN을, 클라스탭의 국소적인 다이나믹레인지가 된다. 그리고, 이 다이나믹레인지(DR)에 의거해서, 클라스탭을 구성하는 학생화소가 K비트로 재양자화 된다. 즉, 클라스탭을 구성하는 화소의 화소치 중에서, 최소치(MIN)가 감산되고, 그 감산치가 DR/2K로 제산(양자화)된다. 따라서, 클라스탭이, 예를 들면, 1비트의 ADRC처리된 경우에는, 그 클라스탭을 구성하는 각 학생화소의 화소치는 1비트가 되게 된다. 그리고, 이 경우는, 이상과 같이하여 얻어지는, 클라스탭을 구성하는 각 화소에 대한 1비트의 화소치를, 소정의 순번으로 나열한 비트열이, ADRC코드로서 출력된다.
따라서, ADRC에 의하면, 클라스탭이, N개의 학생화소로 구성되고, 그 클라스탭의 K비트 ADRC처리 결과가 클라스 코드가 되는 경우에는 주목화소는, 2(N)K 클라스 중 어느 클라스에 클라스분류되게 된다.
정규방정식 가산회로(37)는, 프레임 메모리(31)에서, 주목화소가 되고 있는교사화소를 독출하고, 예측탭(을 구성하는 학생화소), 주목화소(교사화소)를 대상으로 한 충분하게 넣기를 행한다.
즉, 정규방정식 가산회로(37)는, 클라스 분류회로(36)에서 공급되는 클라스코드에 대응하는 클라스마다, 예측탭(학생화소)를 이용하고, 수학식 7의 정규방적식의 좌변에 있어서의, 예측계수의 승수가 되고 있고, 학생화소끼리의 승산(xin × xim)과, 세메션(∑)에 상당하는 연산을 행한다.
또한, 정규방정식 가산회로(37)는, 결국, 클라스 분류회로(36)에서 공급되는 클라스코드에 대응하는 클라스마다, 예측탭(학생화소) 및 주목화소(교사화소)를 이용하고, 수학식 7의 정규방정식의 우변에 있어서의, 학생화소와 주목화소(교사화사소)의 승산(xin × yi)과, 세메션(∑)에 상당하는 연산을 행한다.
정규방정식 가산회로(37)는, 이상의 충분하게 넣기를, 프레임 메모리(31)에 기억된 교사화소 전부를, 주목화소로서 행하고, 이것에 의해, 클라스마다, 수학식 7에 나타낸 정규방정식이 세워진다. 그리고, 이 정규방정식에 의거해서, 소정의 교사화소수마다 향상정보가 생성된다.
예측계수 결정회로(38)는, 정규방정식 가산회로(37)에 있어서 클라스마다 생성된 정류방정식을 푸는 것에 의해, 클라스마다 예측계수를 구하고, 메모리(390의 각 클라스에 대응하는 어드레스에 공급한다. 메모리(39)는, 예측계수 결정회로(38)에서 공급되는 예측계수를, 향상정보로서 기억하고, 필요에 따라서, 통합부(12)(도 2)에 공급한다.
또한, 정규방정식 가산회로(37)에 있어서, 예측계수를 구하는데 필요한 수의정규방정식이 얻어지지 않는 클라스가 생기는 경우가 있을 수 있다. 예측계수 결정회로(38)는, 그와 같은 클라스에 대해서는, 예를 들면, 디폴트의 예측계수(예를 들면, 비교적 많은 교사화상을 이용해서, 미리 구해진 예측계수 등)를 출력한다.
제어회로(40)에는, 방송용 화상데이터의 화질을 향상시키는 향상방식을 선택하는 방식선택신호(도 2)가 공급되도록 되어 있다. 제어회로(40)는, 그 방식선택신호가 나타내는 향상방식에 따라서, 방송용 화상데이터의 화질을 향상시키는데 필요한 향상정보가 생성되도록, 예측탭 구성회로(34), 클라스탭 구성회로(35) 및 클라스 분류회로(0360를 제어한다.
여기서, 본 실시의 형태에서는, 수신장치(3)에서 사용되는 향상방식(에 이용되는 향상정보)에 의해, 부과금처리부(14)가 부과하는 금액(시청료 등)이 다르도록 되어 있다.
부과되는 금액(부과금액), 향상방식으로서, 예를 들면, 클라스분류처리를 사용할 것인지 어떤지에 의해 설정할 수 있다. 즉, 예를 들면, 도 8a에 나타내는 바와 같이, 향상방식으로서, 선형보간을 사용하는 경우, 적응처리만을 사용하는 경우, 클라스분류 적응처리를 사용하는 경우의 3개의 경우로, 부과금액을 다른 액수로 할 수 있다.
또한, 적응처리만을 사용하는 경우와는, 클라스분류를 행하지 않고, 적응처리만을 행하는 경우를 의미하고, 따라서, 클라스분류 적응처리에 있어서의 클라스가 1개(모노클라스)밖에 없는 경우에 상당한다.
또, 향상방식으로서, 선형보간을 사용하는 경우에는, 예측계수는 필요없기 때문에, 향상정보 생성부(11)에서는, 특별히 처리는 행해지지 않고, 예를 들면, 선형보간을 지시하는 뜻이, 향상정보로서 출력된다.
부과금액은, 또한, 향상방식으로서 사용하는 클라스분류 적응처리에 있어서의 클라스 수에 의해 설정할 수도 있다. 즉, 예를 들면, 도 8b에 나타내는 바와 같이, 향상방식으로서, 선형보간을 사용하는 경우, 클라스 수가 적은 클라스분류 적응처리를 사용하는 경우, 클라스 수가 많은 클라스분류 적응처리를 사용하는 경우의 3개의 경우에서, 부과금액을 다른 액수로 할 수 있다.
또, 부과금액은, 향상방식으로서 사용하는 클라스분류 적응처리에 있어서의 예측계수를 생성하는데 이용하는 학생화상 또는 교사화상의 화질에 의해 설정할 수도 있다. 즉, 예를 들면 교사화상의 화질이 양호한 경우에는, 방송용 화상데이터의 화질을 크게 향상할 수 있는, 말하자면 성능이 높은 예측계수가 얻어지고, 반대로, 교사화상의 화질이 그다지 양호하지 않은 경우에는, 방송용 화상데이터의 화질을 조금밖에 향상시키지 않는, 말하자면 성능이 낮은 예측계수가 얻어진다. 그래서, 도 8c에 나타내는 바와 같이, 향상방식으로서, 선형보간을 사용하는 경우, 성능이 낮은 예측계수에 의한 클라스분류 적응처리를 사용하는 경우, 성능이 높은 예측계수에 의한 클라스분류 적응처리를 사용하는 경우의 3개의 경우이고, 부과금액을 다른 액수로 할 수 있다.
또한, 부과금액은 향상방식으로서 사용하는 클라스분류 적응처리에 있어서 구성되는 클라스탭이나 예측탭에 의해 설정하는 것도 가능하다. 즉, 클라스탭이나 예측탭의 구성방법(탭의 형태나, 탭을 구성하는 화소수, 공간방향 혹은 시간방향의 한편 또는 양편의 화소에서 탭을 구성하는 등)에 의해서는, 상술한 바와 같이, 얻어지는 화질이 다르므로, 이 구성방법에 의해, 부과금액을 다른 액수로 할 수 있다.
또, 부과금액은, 향상방식으로서 사용하는 클라스분류 적응처리에 있어서의 클라스분류의 방법에 의해 설정하는 것도 가능하다. 즉, 도 8d에 나타내는 바와 같이, 향상방식으로서, 선형보간을 사용하는 경우, 상술한 임계치의 클라스분류를 이용한 적응처리를 사용하는 경우, ADRC처리에 의한 클라스분류를 이용한 적응처리를 사용하는 경우의 3개의 경우에서, 부과금액을 다른 액수로 할 수 있다.
향상방식과 방식선택신호는, 예를 들면 도 8a 내지 도 8d에 나타내는 바와 같이 대응시킬 수 있고, 제어회로(40)는, 거기에 공급되는 방식선택신호에 대응하는 향상방식으로 이용하는 향상정보가 얻어지도록 지시를 행하는 제어신호를, 예측탭 구성회로(34), 클라스탭 구성회로(35) 및 클라스 분류회로(36)에 출력한다. 또한, 향상방식으로서는, 상술한 것이기는 하지만 복수의 조합을 채용하는 것도 가능하다.
다음에, 도 9의 플로차트를 참조해서, 도 6의 향상정보 생성부(11)에 의해 생해지는, 향상정보를 생성하는 향상정보 생성처리에 대해서 설명한다.
우선 최초로, 스텝(S21)에 있어서, 향상정보 생성단위에 상당하는 만큼의 교사화상이 프레임 메모리(31)에 기억된다. 그리고, 스텝(S22)으로 진행하고, 제어회로(40)는, 거기에 공급되는 방식선택신호에 대응하는 향상방식에 이용하는 향상정보가 얻어지도록 지시를 향하는 제어신호를, 예측탭 구성회로(34), 클라스탭 구성회로(35) 및 회로(36)에 공급한다. 이것에 의해, 예측탭 구성회로(34), 클라스탭 구성회로(35) 및 클라스 분류회로(36)는, 제어신호에 따른 향상방식에 이용하는 향상정보로서의 예측계수가 얻어지는 처리를 행하게 설정된다.
또한, 제어회로(40)에 공급되는 방식선택신호에는, 복수의 향상방식을 표현하는 정보가 포함되어 있고, 제어회로(40)는 그 복수의 향상방식에 대응하는 제어신호를, 스텝(S22)의 처리가 행해질 때마다, 순차 출력한다.
또, 제어회로(40)가 출력하는 제어신호가, 선형보간을 표현하는 경우에는, 메모리(39)에, 선형보간을 지시하는 뜻이, 향상정보로서 기억된다. 그리고, 스텝(S23 내지 S28)의 처리는 스킵되고, 스텝(S29)으로 진행한다.
스텝(S22)의 처리 후는, 스텝(S23)으로 진행하고, 다운컨버터(32)에 있어서, 프레임 메모리(31)에 기억된 교사화상에 대해서 필요에 따라서, LPF(Low Pass Filter)가 걸리고, 혹은 솎아내기가 행해지고, 방송용 화상데이터와 동일 화질의 화상이, 학생화상으로서 생성되어서, 프레임 메모리(33)에 공급되어서 기억된다.
또한, 학생화상은, 방송용 화상데이터가 다른 화질의 화상으로 할 수도 있고, 그 경우에는, 그 뜻의 제어신호가, 제어회로(40)에서 다운컨버터(32)에 공급되고, 다운컨버터(32)에서는, 제어회로(40)로부터의 제어신호에 따른 화질의 학생화상이 생성된다.
그리고, 스텝(S24)으로 진행하고, 프레임 메모리(31)에 기억된 교사화소 중의, 아직 주목화소가 되지 않은 것이, 주목화소가 되고, 예측탭 구성회로(34)에 있어서, 제어회로(40)로부터의 제어신호에 따른 구성의 주목화소에 대한 예측탭이, 프레임 메모리(33)에 기억된 학생화소를 이용하여 구성된다. 또한, 스텝(S24)에서는, 클라스탭 구성회로(35)에 있어서, 제어회로(40)로부터의 제어신호에 따른 구성의 주목화소에 대한 클라스탭이, 프레임 메모리(33)에 기억된 학생화소를 이용해서 구성된다. 그리고, 예측탭은, 정규방정식 가산회로(37)에 공급되고, 클라스탭은, 클라스 분류회로(36)에 공급된다.
클라스 분류회로(36)는, 스텝(S25)에 있어서, 클라스탭 구성회로(35)로부터의 클라스탭에 의거해서, 제어회로(40)로부터의 제어신호에 따른 방법으로, 주목화소를 클라스분류하고, 그 결과 얻어지는 클라스에 대응하는 클라스 코드를, 정규방정식 가산회로(37)에 공급하고, 스텝(S26)으로 진행한다.
스텝(S26)에서는, 정규방정식 가산회로(37)에 있어서, 프레임 메모리(31)에서, 주목화소로 되어 있는 교사화소가 독출되고, 예측탭(을 구성하는 학생화소), 주목화소(교사화소)를 대상으로 하여, 상술한 바와 같이 충분히 넣기가 행해진다.
그리고, 스텝(S27)으로 진행하고, 제어회로(40)에 의해, 프레임 메모리(31)에 기억된, 향상정보 생성단위의 교사화소 전부를 주목화소로서, 충분히 넣기를 행하였는지 어떤지가 판정되고, 또 교사화소 전부를 주목화소로서, 충분히 넣기를 행하지 않은 것으로 판정된 경우, 스텝(S24)으로 되돌아 간다. 이 경우, 아직 주목화소로 되지 않은 교사화소 중의 1개가, 새로히 주목화소가 되고, 스텝(S24 내지 S27)의 처리가 반복된다.
또, 스텝(S27)에 있어서, 제어회로(40)에 의해, 향상정보 생성단위의 교사화소 전부를 주목화소로 하고, 충분히 넣기를 행한 것으로 판정된 경우, 즉, 정규방정식 가산회로(37)에 있어서 클라스마다의 정규방정식이 얻어진 경우, 스텝(S28)으로 진행하고, 예측계수 결정회로(38)는, 그 클라스마다 생성된 정규방정식을 각각 푸는 것에 의해, 클라스마다 예측계수를 구하고, 메모리(39)의, 각 클라스에 대응하는 어드레스에 공급한다. 메모리(39)는, 예측계수 결정회로(38)에서 공급되는 예측계수를 향상정보로서 기억한다.
또한, 메모리(39)는, 복수 뱅크를 가지고 있고, 이것에 의해, 복수 종류의 향상정보를 동시에 기억할 수 있도록 되어 있다.
그후, 스텝(S29)으로 진행하고, 제어회로(40)는 거기에 공급된 방식선택신호에 포함되는 복수의 향상방식 전부에 대해서, 향상정보가 얻어졌는지 어떤지를 판정한다.
스텝(S29)에 있어서, 방식선택신호에 포함되는 복수의 향상방식에 이용되는 복수의 향상정보 중에서, 아직 얻어지지 않은 것이 있는 것으로 판정된 경우, 스텝(S22)으로 되돌아 가고, 제어회로(40)는, 아직 향상정보가 얻어지지 않은 향상방식에 대응하는 제어신호를 출력하고, 이하, 상술한 경우와 동일한 처리가 반복된다.
한편, 스텝(S29)에 있어서, 방식선택신호에 포함되는 복수의 향상방식 전부에 대해서, 향상정보가 얻어진 것으로 판정된 경우, 즉, 방식선택신호에 포함되는 복수의 향상방식 각각에 이용되는 복수 종류의 향상정보가, 메모리(39)에 기억된 경우, 스텝(S30)으로 진행하고, 메모리(39)에서, 그 복수 종류의 향상정보가 독출되고, 통합부(12)(도 2)에 공급되어서 처리를 종료한다.
또한, 도 9의 향상정보 생성처리는, 프레임 메모리(31)에, 향상정보 생성단위 만큼의 교사화상이 제공되는 것으로 반복 행해진다.
그런데, 도 6의 실시형태에 있어서는, 방송용 화상데이터와 동일 내용의 고화질의 화상데이터가 존재하는 것을 전제로 하였으나, 그와 같은 고화질의 화상데이터가 존재하지 않는 경우(예를 들면, 원래의 원화상을 그대로 방송용 화상데이터로서 이용하는 경우)가 있다. 이 경우에는, 교사화상이 존재하지 않은 것으로 되기 때문에, 도 6의 향상정보 생성부(11)에서는, 교사정보로서의 예측계수를 생성할 수 없게 된다.
그래서, 도 10은, 송신장치(1)가 원화상과 같은 사이즈의 화상을 송출할 때, 교사화상이 되는 고화질의 화상데이터없이, 향상정보로서의 예측계수를 생성 가능한 향상정보 생성부(11)의 다른 구성예를 나타내고 있다. 또한, 도면 중, 도 6에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은, 적의 생략한다. 즉, 도 10의 향상정보 생성부(11)는, 다운컨버터(32)가 설치되어 있지 않고, 프레임 메모리(41), 특징량 추정회로(42), 가교사데이터 생성회로(43) 및 가학생데이터 생성회로(44)가 새로히 설치되어 있는 것 외는, 기본적으로, 도 6에 있어서의 경우와 동일하게 구성되어 있다.
도 10의 향상정보 생성부(11)에서는, 진의 교사화상이 존재하지 않기 때문에, 진의 교사화상과, 학생화상으로서의 방송용 화상데이터와의 관계와 동일한 관계가 되도록 한 임시 교사화상과, 임시 학생화상(이하, 적의 각각을, 가교사 화상과, 가학생 화상이라고 한다)를, 방송용 화상데이터에서 생성하고, 이들의 가교사 화상 및 가학생 화상을 이용해서, 향상정보로서의 예측계수를 생성하도록 되어 있다.
즉, 프레임메모리(41)에는, 방송용 화상데이터가 공급되도록 되어 있고, 프레임메모리(41)는, 거기에 공급되는 방송용 화상데이터를, 향상정보 생성단위로 기억하도록 되어 있다.
특징량 추정회로(42)는, 프레임 메모리(41)에 기억된 방송용 화상데이터의 특징량으로 구하고, 가교사데이터 생성회로(43) 및 가학생데이터 생성회로(44)에 공급하도록 되어 있다.
여기서, 방송용 화상데이터의 특징량으로서는, 예를 들면, 수평방향이나, 수직방향의 자기상관계수, 화소치의 히스토그램, 인접하는 화소끼리의 차분치의 히스토그램(액티비티의 히스토그램) 등을 이용할 수 있다.
가교사데이터 생성회로(43)는, 특징량 추정회로(42)로부터의 방송용 화상데이터의 특징량에 의거해서, 방송용 화상데이터에 대한 본래의 교사화상(진의 교사화상)의 특징량(이하, 적의, 추정교사 특징량이라고 한다)를 추정한다. 또한, 가교사데이터 생성회로(43)는, 프레임 메모리(41)에 기억된 방송용 화상데이터에 대해서, LPF를 걸고, 또한 솎아내기 등을 행하는 것으로, 추정교사 특징량과 동일한 특징량을 갖는 화상을 생성하고, 그 화상을, 가교사 화상으로서, 프레임 메모리(31) 및 가학생데이터 생성회로(44)에 공급한다.
가화상데이터 생성회로(44)는, 가교사데이터 생성회로(43)에서 공급되는 가교사 화상에 대해서, LPF를 거는 것으로, 특징량 추정회로(42)에서 공급되는, 본래의 학생화상인 방송용용 화상데이터의 특징량과 동일한 특징량을 갖는 화상을 생성하고, 그 화상을, 가학생 화상으로서, 프레임 메모리(33)에 공급한다.
다음에, 도 11의 플로차트를 참조하여, 도 10의 향상정보 생성부(11)에 의해 행해지는, 향상정보를 생성하는 향상정보 생성처리에 대해서 설명한다.
프레임 메모리(41)에, 방송용 화상데이터가 공급되어서 기억되면, 우선 최초로, 스텝(S41)에 있어서, 특징량 추정회로(42)는, 프레임메모리(41)에 기억된 방송용 화상데이터의 특징량을 추출하고, 가교사데이터 생성회로(43) 및 가학생데이터 생성회로(44)에 공급한다.
가교사데이터 생성회로(43)는, 특징량 추정회로(42)에서 방송용 화상데이터의 특징량이 공급되면, 스텝(S42)에 있어서, 그 특징량에 의거해서, 방송용 화상데이터에 대한 본래의 교사화상의 특징량(추정교사 특징량)을 추정하고, 스텝(S43)으로 진행한다. 스텝(S43)에서는, 가교사데이터 생성회로(43)는, 추정교사 특징량에 의거해서, 추정교사 특징량과 동일한 특징량을 갖는 화상을 방송용 화상데이터에서 얻기 위한, LPF의 필터특성과 솎아내는 폭(솎아내는 율)을 설정하고, 스텝(S44)으로 진행한다.
스텝(S44)에서는, 가교사데이터 생성회로(43)는, 설정된 솎아내는 폭에서, 프레임메모리(41)에 기억된 방송용 화상데이터를 솎아내고, 또한, 그 솎아낸 후의 학생에 대해서 설정된 필터특성의 LPF를 걸고, 가교사화상을 생성한다.
여기서, 스텝(S44)에 있어서, 방송용 화상데이터를 솎아내는 것은, 고화질의화상은 그것 보다 화질이 낮은 같은 사이즈의 화상과 비교해서, 자기상관의 형태가 급준하게 되기 때문에, 공간주파수가 높고, 자기상관의 형태가 급준하게 되는 화상을, 가교사 화상으로서 얻기 때문이다.
스텝(S44)의 처리 후는, 스텝(S45)으로 진행하고, 가교사데이터 생성회로(43)는, 스텝(S44)에서 생성한 가교사 화상의 특징량을 구하고, 그 특징량이, 추정교사 특징량에 근사하는지 어떤지를 판정한다. 스텝(S45)에 있어서, 가교사 화상의 특징량이 추정교사 특징량에 근사하고 있지 않은 것으로 판정된 경우, 스텝(S46)으로 진행하고, 가교사데이터 생성회로(43)는, 방송용 화상데이터에 거는 LPF의 필터특성 또는 솎아내기 폭의 설정치를 변경하고, 스텝(S44)으로 되돌아간다. 이것에 의해, 가교사 화상의 성분을 다시 고친다.
한편, 스텝(S45)에 있어서, 가교사 화상의 특징량이, 추정교사 특징량에 근하는 것으로 판정된 경우, 그 가교사 화상을, 프레임메모리(31)에 공급하여 기억시키는 동시에, 가학생데이터 생성회로(44)에 공급하고, 스텝(S47)으로 진행한다.
스텝(S47)에서는, 가학생데이터 생성회로(44)는, 가교사데이터 생성회로(43)에서 공급되는 가교사 화상에 대해서 거는 LPF의 필터특성을 설정하고, 스텝(S48)으로 진행한다.
스텝(S48)에서는, 가학생데이터 생성회로(44)는, 가교사 화상에 대해서, 설정된 필터특성의 LPF를 걸고, 가학생 화상을 생성한다.
그리고, 스텝(S49)으로 진행하고, 가학생데이터 생성회로(44)는, 스텝(S48)에서 생성한 가학생 화상의 특징량을 구하고, 그 특징량이, 특징량 추정회로(42)에서 공급되는 방송용 화상데이터의 특징량에 근사하는지 어떤지를 판정한다. 스텝(S49)에 있어서, 가학생 화상의 특징량이, 방송용 화상데이터의 특징량에 근사하고 있지 않은 것으로 판정된 경우, 스텝(S50)으로 진행하고, 가학생데이터 생성회로(44)는, 가교사 화상에 거는 LPF의 필터특성의 설정치를 변경하고, 스텝(S48)으로 되돌아가 간다. 이것에 의해, 가학생 화상의 생성을 다시 고친다.
한편, 스텝(S49)에 있어서, 가학생 화상의 특징량이, 방송용 화상데이터의 특징량에 근사하는 것으로 판정된 경우, 그 가학생 화상을, 프레임메모리(33)에 공급하여 기억시키고, 스텝(S51)으로 진행한다.
스텝(S51 내지 S58)에서는, 프레임메모리(31)에 기억되는 가교사 화상을 본래의 교사화상으로 하는 동시에, 프레임메모리(33)에 기억된 가학생 화상을, 본래의 학생화상으로서, 도 9의 스텝(S22, S24 내지 S30)에 있어서의 경우와 각각 동일한 처리가 행해지고, 이것에 의해, 복수 종류의 향상정보가 생성되어, 메모리(39)에 기억된다. 그리고, 이 복수 종류의 향상정보가, 메모리(39)에서 독출되고, 통합부(12)(도 2)에 공급되어서 처리를 종료한다. 여기서, 도 11의 실시형태에 있어서는, 교사화상과 학생화상의 사이즈가 동일하기 때문에, 구성되는 클라스탭 및 예측탭은, 도 7에 나타낸 경우와 다르나, 교사화상 중의 주목화소의 위치 주변에 위치하는 학생화상의 복수의 화소에서, 클라스탭 및 예측탭을 구성하는 점에 대해서는 도 9의 실시형태에 있어서의 경우와 동일하다.
또한, 도 11의 향상정보 생성처리도, 도 9에 있어서의 경우와 동일하게, 프레임메모리(41)에, 향상정보 생성단위 만큼의 방송용 화상데이터가 공급될 때마다반복해서 행해진다.
다음에 도 12는, 송신장치(1)(도 2)의 향상정보 생성부(11)가 도 6이나 도 10에 나타낸 바와 같이 구성되는 경우의, 수신장치(3)(도 4)의 품질향상부(24)의 구성예를 나타내고 있다.
프레임메모리(51)에는, 추출부(22)(도 4)가 출력하는 방송용 화상데이터가 공급되도록 되어 있다. 프레임메모리(51)는, 그 방송용 화상데이터를, 향상정보 생성단위로 기억한다.
예측탭 구성회로(52)는, 제어회로(57)로부터의 제어신호에 따라서, 도 6의 예측탭 구성회로(34)와 동일한 처리를 행하고, 이것에 의해 프레임메모리(51)에 기억된 방송용 화상데이터를 이용해서, 예측탭을 구성하고, 예측연산회로(56)에 공급한다.
클라스탭 구성회로(53)는, 제어회로(57)로부터의 제어신호에 따라서, 도 6의 클라스탭 구성회로(35)와 동일한 처리를 행하고, 이것에 의해, 프레임메모리(51)에 기억된 방송용 화상데이터를 이용해서, 클라스탭을 구성하고, 클라스 분류회로(54)에 공급한다.
클라스 분류회로(54)는, 제어회로(57)로부터의 제어신호에 따라서, 도 6의 클라스 분류회로(36)와 동일한 처리를 행하고, 이것에 의해, 클라스탭 구성회로(53)로부터의 클라스탭을 이용한 클라스분류 결과로서의 클라스코드를, 어드레스로서 메모리(55)에 공급한다.
메모리(55)는, 선택부(23)(도 4)에서 공급되는 향상정보로서의 예측계수를기억한다. 또한, 메모리(55)는 클라스 분류회로(54)로부터의 클라스코드에 대응하는 어드레스에 기억되어 있는 예측계수를 독출하고, 예측연산회로(56)에 공급한다.
예측연산회로(56)는, 예측탭 구성회로(52)에서 공급되는 예측탭과, 메모리(55)에서 공급되는 예측계수를 이용해서, 수학식 1에 나타낸 선형예측연산(적화연산)을 행하고, 그 결과 얻어지는 화소치를, 방송용 화상데이터의 화질을 향상시킨 고화질화상(교사화상)의 예측치로서 출력한다.
제어회로(57)에는, 선택부(23)(도 4)가 출력하는 방식선택신호가 공급되도록 되어 있다. 제어회로(57)는, 그 방식선택신호에 의거해서, 도 6의 제어회로(40)에 있어서의 경우와 동일한 제어신호를, 예측탭 구성회로(52), 클라스탭 구성회로(53) 및 클라스 분류회로(54)에 출력한다.
여기서, 선택부(23)에서 제어회로(57)에 공급되는 방식선택신호는, 도 6의 제어회로(40)에 공급되는 방식선택신호에 포함되는 복수의 향상방식을 표현하는 정보 중, 사용자의 요구에 따라서 부과금처리부(27)(도 4)가 출력하는 화질레벨신호에 대응하는 1개의 정보만큼을 포함하는 것이다. 따라서, 제어회로(57)는, 사용자가 요구하는 화질의 화상이 얻어지도록, 예측탭 구성회로(52), 클라스탭 구성회로(53) 및 클라스 분류회로(54)를 제어한다.
다음에, 도 13의 플로차트를 참조해서, 도 12의 품질향상부(24)에 있어서 행해지는, 방송용 화상의 화질을 향상시키는 품질향상처리에 대해서 설명한다.
수신장치(3)(도 4)에 있어서, 추출부(22)에서 품질향상부(24)에 대해서, 향상정보 생성단위의 방송용 화상데이터가 공급되면, 선택부(23)에서 품질향상부(24)에 대해서, 복수의 향상정보 중에서, 화질레벨신호에 의거해서 선택된 1종류(1세트)의 향상정보가, 그 향상정보를 이용해서 화질을 향상시키는 향상방식을 나타내는 방식선택신호와 함께 공급된다.
그리고, 스텝(S61)에 있어서, 프레임메모리(51)에, 추출부(22)에서 공급되는 방송용 화상데이터가, 향상정보 생성단위로 기억된다. 또, 스텝(S61)에서는, 선택부(24)에서 공급되는 향상정보가, 메모리(55)에 기억된다. 또한, 스텝(S61)에서는, 제어회로(57)는, 선택부(23)에서 방식선택신호가 공급되고, 그 방식선택신호에 대응하는 향상방식에 의해, 방송용 화상데이터의 화질을 향상시키도록 지시를 행하는 제어신호를, 예측탭 구성회로(52), 클라스탭 구성회로(53) 및 클라스 분류회로(54)에 공급한다. 이것에 의해, 예측탭 구성회로(52), 클라스탭 구성회로(53) 및 클라스 분류회로(54)는, 제어회로(57)로부터의 제어신호가 나타내는 향상방식에 따른 처리를 행하도록 설정된다.
또한, 본 실시형태에서는, 제어회로(57)에 공급되는 방식선택신호가, 선형보간을 나타내는 경우을 제외하고, 메모리(55)에 공급되는 향상정보는, 예측계수이다.
또, 제어회로(57)에 공급되는 방식선택신호가, 선형보간을 나타내는 경우에는, 제어회로(57)는, 예측연산회로(56)에 대해서, 프레임메모리(51)에 기억된 방송용 화상데이터를 선형보간하는 것을 지시하는 제어신호를 공급한다. 이 경우, 예측연산회로(56)는, 프레임메모리(51)에 기억된 방송용 화상데이터를, 예측탭 구성회로(52)를 거쳐서 독출하고, 선형보간을 행하여 출력한다. 그리고, 이 경우, 스텝(S62) 이후의 처리는 행해지지 않는다.
스텝(S61)의 처리 후는, 스텝(S62)으로 진행하고, 프레임메모리(51)에 기억된 방송용 화상데이터의 화질을 향상시킨 고화질 화상을 구성하는 화질 중의 아직 주목화소로 되어 있지 않은 것의 1개가 주목화소로 되고, 예측탭 구성회로(52)에 있어서, 제어회로(57)로부터의 제어신호에 따른 구성의, 주목화소에 대한 예측탭이, 프레임메모리(51)에 기억된 방송용 화상데이터의 화소를 이용해서 구성된다. 또한, 스텝(S62)에서는, 클라스탭 구성회로(53)에 있어서, 제어회로(57)로부터의 제어신호에 따른 구성의 주목화소에 대한 클라스탭이 프레임메모리(51)에 기억된 방송용 화소에 대한 클라스탭이, 프레임메모리(51)에 기억된 방송용 화상데이터의 화소를 이용해서 구성된다. 그리고, 예측탭은, 예측연산회로(56)에 공급되고, 클라스탭은, 클라스 분류회로(54)에 공급된다.
클라스 분류회로(54)는, 스텝(S63)에 있어서, 클라스탭 구성회로(53)로부터의 클라스탭을 이용해서, 제어회로(57)로부터의 제어신호에 따른 방법으로, 주목화소를 클라스분류하고, 그 결과 얻어지는 클라스에 대응하는 클라스 코드를, 메모리(55)에 대해서, 어드레스로서 공급하고, 스텝(S64)으로 진행한다.
스텝(S64)에서는, 메모리(55)에 있어서, 스텝(S61)에서 기억된 향상정보로서의 예측계수 중, 클라스 분류회로(54)로부터의 클라스코드로 표시되는 어드레스에 기억되어 있는 것이 독출되고, 예측연산회로(56)에 공급된다.
예측연산회로(56)는, 스텝(S65)에 있어서, 예측탭 구성회로(52)에서 공급되는 예측탭과, 메모리(55)에서 공급되는 예측계수를 이용해서, 수학식 1에 나타낸 선형예측 연산을 행하고, 그 결과 얻어지는 화소치를 주목화소의 예측치로서, 일시 기억한다.
그리고, 스텝(S66)으로 진행하고, 제어회로(57)에 의해, 프레임메모리(51)에 기억된 방송용 화상데이터의 프레임에 대응하는 고화질 화상의 프레임을 구성하는 화소 전부를 주목화소로서, 그 예측치를 구하였는지 아닌지가 판정된다. 스텝(S66)에 있어서, 고화질 화상의 프레임을 구성하는 화소 전부를 주목화소로서, 아직 예측치를 구하고 있지 않은 것으로 판정된 경우, 스텝(S62)으로 되돌아 가서, 고화질 화상의 프레임을 구성하는 화소 중, 아직 주목화소로 되어 있지 않은 것이 새로히 주목화소로 되고, 이하, 동일한 처리가 반복된다.
한편, 스텝(S66)에 있어서, 고화질 화상의 프레임을 구성하는 화소 전부를 주목화소로서, 예측치를 구한 것으로 판정된 경우, 스텝(S67)으로 진행하고, 예측연산회로(56)는, 거기까지 구한 예측치가 되는 고화질의 화상을, 표시부(25)(도 4)에 순차 출력하고, 처리를 종료한다.
또한, 도 13의 품질향상 처리는, 프레임메모리(51)에, 향상정보 생성단위 만큼의 방송용 화상데이터가 공급될 때마다 반복해서 행해진다.
이상과 같이, 송신장치(1)에서, 복수 종류의 향상정보를 송신하고, 수신장치(3)에 있어서, 그 복수 종류의 향상정보에서, 사용자의 요구에 따른 화질에 대응하는 것을 선택하고, 그 선택한 향상저보를 이용해서, 화질을 향상시키도록 하였으므로, 사용자의 요구에 따른 화질의 화상의 제공이 가능하게 되며, 또한, 사용자에게 제공한 화상의 화질에 따라서, 결정이 자세한 부과금을 행할 수 있다.
또한, 상술한 경우에 있어서는, 송신장치(1)에서 복수 종류의 향상정보를 송신하고, 수신장치(3)에 있어서, 그 복수 종류의 향상정보에서, 사용자의 요구에 따른 화질에 대응하는 것을 선택하도록 하였으나, 기타, 예를 들면, 송신장치(1)에 있어서는,수신장치(3)에서 사용자의 요구를, 미리 접수하고, 그 요구에 따른 화질에 대응하는 향상정보만을, 수신장치(3)에 송신하도록 하는 것이 가능하다. 이 경우, 도 2에 점선으로 나타낸 바와 같이, 부과금처리부(14)로부터의 제어에 따라서, 통합부(12)에 있어서, 사용자로부터의 요구에 따른 화질에 대응하는 향상정보만이 통합신호에 포함된다.
또한, 상술한 경우에는, 복수 종류의 향상정보로서, 복수 종류의 예측계수나 선형보간을 지시하는 뜻을 송신하도록 하였으나, 기타 예를 들면, 복수 종류의 예측계수는, 송신장치(1)에서 송신하지 않고, 수신장치(3)의 메모리(55)에 미리 구한 예측계수를 기억시켜 두고, 복수 종류의 향상정보로서는, 메모리(55)에 기억된 복수 종류의 예측계수의 어느 것을 이용하는지에 관한 정보를 송신하도록 하는 것이 가능하다.
또, 상술한 경우에는, 향상방식으로서, 클라스분류 적응처리 및 선형보간을 이용하도록 하였으나, 기타의 처리를, 향상방식으로서 채용하는 것도 가능하다.
또한, 상술한 경우에는, 향상정보 생성부(11)에 있어서, 예측계수를 향상정보로서 생성하고, 품질향상부(24)에 있어서, 그 예측계수를 이용해서 클라스분류 적응처리를 행함으로써, 화상의 화질을 향상시키도록 하였으나, 기타, 예를 들면,향상정보 생성부(11)에서는, 주목화소의 예측에 이용하는데 적절한 예측계수를 클라스코드를, 향상정보로서 구하고, 품질향상부(24)에서는, 그 클라스코드의 예측계수를 이용해서 적응처리를 행함으로써, 화상의 화질을 향상시키는 것이 가능하다.
즉, 향상정보 생성부(11) 및 품질향상부(24)에는, 미리 학습을 행함으로써 얻어지고, 클라스마다 예측계수를 기억시켜 둔다. 그리고, 향상정보 생성부(11)에서는, 미리 기억하고 있는 각 클라스의 예측계수를 이용하여, 적응처리를 행함으로써, 고화질의 화상의 예측치를 구하고, 각 화소마다, 가장 진값에 가까운 예측치가 얻어졌을 때의 예측계수의 클라스코드를, 향상정보로서 구한다. 한편, 품질향상부(24)에서는, 미리 기억하고 있는 예측계수 중, 향상정보로서의 클라스코드에 대응하는 것을 이용해서, 고화질의 화상의 예측치를 구하고, 화질을 향상시킨 화상을 얻는다. 이 경우, 수신장치(3)에서는, 송신장치(1)(향상저보 생성보(11))에 있어서 얻어지는 것과 동일화질의 화상이 얻어지게 된다.
또한, 이 경우에는 향상정보 생성부(11) 및 품질향상부(24)에 있어서, 상술한 바와 같은 클라스분류는, 행해지지 않게 된다. 즉, 향상정보 생성부(11)에서는, 예측치를 구하는데 적절한 예측계수의 클라스코드가, 예를 들면 모든 클라스의 예측계수를 이용해서 적응처리(예측연산)을 행함으로써 구해지고, 품질향상부(24)에서는, 그와 같은 클라스코드를 향상정보로서, 그 클라스코드의 예측계수를 이용해서 적응처리를 행함으로써, 화상의 품질이 향상되므로, 향상정보 생성부(11) 및 품질향상부(24)의 어느 것에 있어서도, 클라스분류를 행할 필요가 없다.
즉, 도 14는, 주목화소의 예측에 이용하는데 적절한 예측계수의 클라스코드를 향상정보로서 구하는 향상정보 생성부(11)의 구성예를 나타내고 있다. 또한, 도면 중, 도 6에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은 적의 생략한다.
메모리(101)에는, 후술하는 학습장치(도 16)에 있어서 학습이 행해짐으로써 구해지는 클라스마다 예측계수가 기억되어 있다. 메모리(101)는, 제어회로(40)에 의해 제어되고, 각 클라스의 예측계수를 순차 독출하고, 예측연산회로(102)에 공급한다.
예측연산회로(102)에는, 메모리(101)에서 예측계수가 공급되는 외, 예측탭 구성회로(34)에서 예측탭이 공급되도록 되어 있다. 예측연산회로(102)는, 도 12의 예측연산회로(56)와 동일하게, 예측탭 구성회로(34)에서 공급되는 예측탭과, 메모리(101)에서 공급되는 예측계수를 이용해서, 수학식 1에 나타낸 선형예측연산(적화연산)을 행한다. 단, 예측연산회로(102)는, 어느 예측탭에 대해서, 메모리(101)에서 순차 공급되는 각 클라스의 예측계수 각각과의 선형예측연산을 행하고, 교사화소의 예측치를 구한다. 따라서, 예측연산회로(102)에서는, 각 교사화소에 대해서, 모든 클라스수와 동일한 수의 예측치가 구해지게 된다.
예측연산회로(102)에서 구해진 예측치는, 비교회로(103)에 공급되도록 되어 있다. 또한, 비교회로(103)에는, 프레임메모리(131)에서 교사화상도 공급되도록 되어 있다. 비교회로(103)는, 프레임메모리(31)에서 공급된 교사화상을 구성하는 교사화소와, 예측연산회로(102)에서 공급되는, 그 교사화소의 각 클라스의 예측계수에서 구해진 예측치 각각을 비교함으로써, 예측오차를 구하고, 검출회로(104)에 공급한다.
검출회로(104)는, 비교회로(103)에서 공급되는 예측오차를 가장 작게하는 교사화소의 예측치를 검출한다. 또한, 검출회로(104)는, 그 예측치가 얻어졌을 때의 예측계수의 클라스를 표현하는 클라스코드를 검출하고, 향상정보로서 출력한다.
다음에, 도 15의 플로차트를 참조해서, 도 14의 향상정보 생성부(11)에 의해 행해지는, 향상정보를 생성하는 향상정보 생성처리에 대해서 설명한다.
우선 최초로, 스텝(S111)에 있어서, 향상정보 생성단위에 상당하는 만큼의 교사화상이 프레임메모리(31)에 기억된다. 그리고, 스텝(S112)으로 진행하고, 제어회로(40)는 거기에 공급되는 방식선택신호에 대응하는 향상방식에 이용하는 향상정보가 얻어지도록 처리를 행하는 제어신호를, 예측탭 구성회로(34)에 공급한다. 이것에 의해, 예측탭 구성회로(34)는, 제어신호에 따른 향상방식에 이용하는 향상정보로서의 클라스코드가 얻어지는 처리를 행하게 설정된다.
또한, 제어회로(40)에 공급되는 방식선택신호에는, 복수의 향상방식을 표현하는 정보가 포함되어 있고, 제어회로(40)는 그 복수의 향상방식에 대응하는 제어신호를, 스텝(S112)의 처리가 행해질 때마다, 순차 출력한다.
또, 제어회로(40)가 출력하는 제어신호가, 선형보간을 표현하는 경우에는, 메모리(39)에, 선형보간을 지시하는 뜻이, 향상정보로서 기억된다. 그리고, 스텝(S113 내지 S122)의 처리는 스킵되고, 스텝(S123)으로 진행한다.
스텝(S112)의 처리 후는, 스텝(S113)으로 진행하고, 다운컨버터(32)에 있어서, 프레임메모리(31)에 기억된 교사화상에 대해서, 필요에 따라서 LPF(Low PassFilter)가 걸려지고, 혹은 솎아내기가 행해지고, 방송용 화상데이터와 동일 화질의 화상이, 학생화상으로서 생성되어서, 프레임메모(33)에 공급되어 기억된다.
또한, 도 15의 실시형태에 있어서도, 도 9의 실시형태와 동일하게, 학생화상은, 방송용 화상데이터와 다른 화질의 화상으로 할 수도 있고, 그 경우에는, 그 취지의 제어신호가, 제어회로(40)에서 다운컨버터(32)에 공급되고, 다운컨버터(32)에서는, 제어회로(40)로부터의 제어신호에 따른 화질의 학생화상이 생성된다.
그리고, 스텝(S114)으로 진행하여, 프레임메모리(31)에 기억된 교사화소 중의, 아직 주목화소로 되어 있지 않은 것이 주목화소가 되어, 예측탭 구성회로(34)에 있어서, 제어회로(40)로부터의 제어신호에 따른 구성의, 주목화소에 대한 예측탭이, 프레임메모리(33)에 기억된 학생화소를 이용하여 구성된다. 이 예측탭은 예측연산회로(102)에 공급된다.
그 후, 스텝(S115)으로 진행하여, 제어회로(40)는 클라스를 카운트하는 변수 i에 초기값으로서의 0을 세트하고, 스텝(S116)으로 진행한다. 스텝(S116)에서는 제어회로(40)가 변수 i를 어드레스로서 메모리(101)에 부여한다. 이것에 의해, 스텝(S116)에서는 메모리(101)에서 클라스코드(#i)에 대응하는 예측계수가 독출되어, 예측연산회로(102)에 공급된다.
예측연산회로(102)는, 스텝(S117)에 있어서, 예측탭 구성회로(34)에서 공급되는 예측탭과, 메모리(101)에서 공급되는 예측계수를 이용하여 식(1)에 나타낸 선형예측연산을 행하고, 그 결과 얻어지는 화소값을 주목화소의 예측값으로서 비교회로(103)에 공급한다.
비교회로(103)는, 스텝(118)에 있어서, 주목화소의 화소값을, 프레임메모리(31)에서 독출하고, 예측연산회로(102)로부터의 예측값과 비교하는 것에서, 그 예측값의 예측오차를 구한다. 또한, 스텝(S118)에 있어서, 비교회로(103)는, 예측오차를, 검출회로(104)에 공급하고, 스텝(S119)으로 진행한다.
스텝(S119)에서는 제어회로(40)가 변수를 i를 1만큼 인크리멘트하고, 스텝(S120)으로 진행한다. 스텝(S120)에서는, 제어회로(40)가 변수 i가 전 클라스수인 N미만인지 어떤지를 판정하고, 변수 i가 N미만이라고 판정한 경우, 스텝(S120)으로 되돌아가서, 이하, 동일한 처리를 반복한다.
또, 스텝(S120)에 있어서, 변수 i가 N미만이 아니라고 판정한 경우, 즉, 주목화소에 대하여 모든 클라스에 대응하는 예측계수를 사용하여, 예측값의 예측오차가 구해진 경우, 스텝(S121)으로 진행하고, 검출회로(104)는, 주목화소에 대하여, 그 예측오차를 최소로 하는 예측계수의 클라스를 검출하고, 그 클라스에 대응하는 클라스코드를, 향상정보로서 기억한다.
그리고, 스텝(S123)으로 진행하여, 제어회로(40)는 거기에 공급된 방식선택신호에 포함되는 복수의 향상방식의 전부에 대하여, 향상정보가 얻어졌는지 어떤지를 판정한다.
스텝(S123)에 있어서, 방식선택신호에 포함되는 복수의 향상방식에 이용되는 복수의 향상정보 중에서, 아직 얻어지지 않고 있는 것이 있다고 판정된 경우, 스텝(S112)으로 되돌아가서, 제어회로(40)는 , 아직 향상정보가 얻어지지 않고 있는 향상방식에 대응하는 제어신호를 출력하고, 이하, 상술의 경우와 동일한 처리가 반복된다.
한편, 스텝(S123)에 있어서, 방식선택신호에 포함되는 복수의 향상방식의 전부에 대하여, 향상정보가 얻어졌다고 판정된 경우, 즉, 방식선택신호에 포함되는 복수의 향상방식 각각에 이용되는 복수 종류의 향상정보가, 검출회로(104)에 기억된 경우, 스텝(S124)으로 진행하고, 검출회로(104)에서, 그 복수 종류의 향상정보가 독출되어 통합부(12)(도 2)에 공급되어서 처리를 종료한다.
또한, 도 15의 향상정보 생성처리는, 도 9의 실시의 형태와 동일하게, 프레임메모리(31)에 향상정보 생성단위분의 교사화상(예를 들면, 1프레임분의 교사화상)이 공급될 때마다 반복하여 행해진다.
다음에, 도 16은 도 14의 메모리(101)에 기억시키는 클라스마다의 예측계수를 구하는 학습장치의 일 실시의 형태의 구성예를 나타내고 있다.
도 16의 실시의 형태에 있어서, 프레임메모리(111), 다운컨버터(112), 프레임메모리(113), 예측탭 구성회로(114), 클라스탭 구성회로(115), 클라스 분류회로(116), 정규방정식 가산회로(117), 예측계수 결정회로(118), 메모리(119)는 도 6에 나타낸 향상정보 생성부(11)의 프레임메모리(31), 다운컨버터(32), 프레임메모리(33), 예측탭 구성회로(34), 클라스탭 구성회로(35), 클라스 분류회로(36), 정규방정식 가산회로(37), 예측계수 결정회로(38), 메모리(39)와 각각 동일하게 구성되어 있다.
따라서, 도 16의 학습장치에서는, 기본적으로는, 도 6의 향상정보생성부(11)와 동일한 처리가 행해짐으로써, 클라스마다의 예측계수가 구해진다. 도 14의 메모리(101)에는 도 16의 학습장치에 있어서 미리 학습을 행함으로써 구해진 클라스마다의 예측계수가 기억되어 있다.
또, 도 16의 실시의 형태에서는, 다운컨버터(112), 예측탭구성회로(114), 클라스탭 구성회로(115) 및 클라스 분류회로(116)를 제어함으로써, 탭구성이나 클라스 분류방법을 바꿔서 복수 종류의 예측계수를 구하는 것이 가능하다.
다음에, 도 17은 향상정보 생성부(114)가 도 14에 나타낸 바와 같이 구성되는 경우의, 수신장치(3)(도 4)의 품질향상부(24)의 구성예를 나타내고 있다. 또, 도면중, 도 12에 있어서의 경우와 대응하는 부분에 대해서는, 동일한 부호가 붙어 있고, 이하에서는 그 설명은 적의 생략한다.
클라스코드 기억부(121)는, 향상정보로서의 클라스코드를 기억한다. 즉, 지금의 경우, 송신장치(1)에서는 방송용 화상데이터의 화질을 향상시킨 고화질화상의 각 화소마다, 클라스코드가, 향상정보로서 송신된다. 이 향상정보로서의 클라스코드는 수신장치(3)(도 4)의 선택부(23)에서 품질향상부(24)(도 17)에 공급되고, 클라스코드 기억부(121)는, 이 향상정보로서의 클라스코드를 기억한다. 그리고, 클라스코드 기억부(121)는 기억한 클라스코드를 제어회로(57)로부터의 제어에 따라서, 메모리(122)에 어드레스로서 부여한다.
메모리(122)는, 도 16의 학습장치에 있어서 구해진 클라스마다의 예측계수를 기억하고 있고, 클라스코드 기억부(121)에서 어드레스로서 주어지는 클라스코드에 대응하는 예측계수를 독출하고, 예측연산회로(56)에 공급한다.
다음에, 도 18의 플로차트를 참조하여, 도 17의 품질향상부(24)에 있어서 행해진다. 방송용 화상의 화질을 향상시키는 품질향상처리에 대하여 설명한다.
수신장치(3)(도 4)에 있어서, 추출부(22)에서 품질향상부(21)에 대하여 향상정보 생성단위의 방송용 화상데이터가 공급되면, 선택부(23)에서 품질향상부(24)에 대하여, 복수의 향상정보에서 화질레벨신호에 의거하여 선택된 1종류(1세트)의 향상정보가 그 향상정보를 이용하여 화질을 향상시키는 향상방식을 나타내는 방식선택신호와 함께 공급된다.
그리고, 스텝(S131)에 있어서, 프레임메모리(51)에는, 추출부(22)에서 공급되는 방송용 화상데이터가, 향상정보 생성단위로 기억된다. 또, 스텝(S131)에서는, 선택부(23)에서 공급되는 향상정보가, 메모리(121)에 기억된다. 또한, 스텝(S13)에서는 제어회로(57)는 선택부(23)에서 방식선택신호가 공급되고, 그 방식선택신호에 대응하는 향상방식에 의해 방송용 화상데이터의 화질을 향상시키도록 지시를 행하는 제어신호를 미리 탭구성회로(52)에 공급한다. 이것에 의해, 예측탭 구성회로(52)는, 제어회로(57)로부터의 제어신호가 나타내는 향상방식에 따른 처리를 행하도록 설정된다.
또한, 본 실시의 형태에서는, 제어회로(57)에 공급되는 방식선택신호가 선형보간을 나타내는 경우를 제외하고, 메모리(121)에 기억되는 향상정보는, 클라스코드이다.
또, 제어회로(57)에 공급되는 방식선택신호가 선형보간을 나타내는 경우에는, 제어회로(57)는 예측연산회로(56)에 대하여 프레임메모리(51)에 기억된 방송용화상데이터를 선형보간하는 것을 지시하는 제어신호를 공급한다. 이 경우, 예측연산회로(56)는, 프레임메모리(51)에 기억된 방송용 화상데이터를 예측탭 구성회로(52)를 거쳐서 독출하고, 선형보간을 행하여 출력한다. 그리고, 이 경우 스텝(S132) 이후의 처리는 행해지지 않는다.
스텝(S131)의 처리 후는, 스텝(S132)으로 진행하여, 프레임메모리(51)에 기억된 방송용 화상데이터의 화질을 향상시킨 고화질 화상을 구성하는 화소중의, 아직 주목화소가 되지 않고 있는 것의 1개가, 주목화소가 되어, 예측탭 구성회로(52)에 있어서, 제어회로(57)로부터의 제어신호에 따른 구성의, 주목화소에 대한 예측탭이 프레임메모리(51)에 기억된 방송용 화상데이터의 화소를 이용하여 구성된다. 이 예측탭은 예측연산회로(56)에 공급된다.
그리고, 스텝(S133)으로 진행하여, 제어회로(57)는 주목화소에 대한 향상정보로서의 클라스코드를 독촐하도록, 클라스코드 기억부(121)를 제어한다. 이것에 의해, 클라스코드 기억부(121)에서는 주목화소에 대한 향상정보로서의 클라스코드가 독출되고, 메모리(122)에 공급된다.
메모리(122)에서는, 스텝(S133)에 있어서, 클라스코드(121)로부터의 클라스코드에서 나타나는 어드레스에 기억되어 있는 예측계수가 독출되어, 예측연산회로(56)에 공급된다.
예측연산회로(56)는, 스텝(S135)에 있어서, 예측탭 구성회로(52)에서 공급되는 예측탭과, 메모리(55)에서 공급되는 예측계수를 이용하여, 수학식 1에 나타낸 선형예측연산을 행하고, 그 결과 얻어지는 화소치를, 주목 화소의 예측치로서, 일시 기억한다.
그리고, 스텝(S136)으로 진행하여, 제어회로(57)에 의해, 프레임메모리(51)에 기억된 방송용 화상데이터의 프레임에 대응하는 고화질화상의 프레임을 구성하는 화소전부를 주목화소로서, 그 예측치를 구했는지 어떤지가 판정된다. 스텝(S136)에 있어서, 고화질화상의 프레임을 구성하는 화소 전부를 주목화소로서, 또 예측치를 구하고 있지 않은 것으로 판정된 경우, 스텝(S132)으로 되돌아가고, 고화질화상의 프레임을 구성하는 화소 중, 아직 주목화소로 되어 있지 않은 것이, 새로이 주목화소로 되고, 이하, 동일한 처리가 반복된다.
한편, 스텝(S136)에 있어서, 고화질화상의 프레임을 구성하는 화소 전부를 주목 화소로서, 예측치를 구한 것으로 판정된 경우, 스텝(S137)으로 진행하고, 예측연산회로(56)는, 그때까지에 구해진 예측치로 이루는 고화질의 화상을, 표시부(25)(도 4)에 순차 출력하고, 처리를 종료한다.
또한, 도 18의 품질향상처리는, 도 13의 실시형태와 동일하게, 프레임메모리(51)에, 향상정보 생성단위만큼의 방송용 화상데이터가 공급될 때마다 반복하여 행해진다.
다음에, 도 14 및 도 17의 실시형태에 있어서, 도 14의 메모리(101) 및 도 17의 메모리(122)에 공통으로 기억시켜두는 예측계수는, 도 16의 학습장치에 있어서, 클라스탭을, SD화상을 이용하여 구성하여 클라스분류를 행함으로써 얻어진 것이지만, 메모리(101) 및 (122)에 공통으로 기억시켜두는 예측계수는, SD화상이 아니고, HD화상을 이용하여, 클라스탭을 구성하여 클라스분류를 행함으로써 얻어지는것을 채용할 수 있다. 이 경우, 향상정보 생성부(11)에 있어서, 향상정보로 하는 클라스코드는, 상술한 바와 같이, 각 클라스의 예측계수의 각각을 이용하여, 주목화소의 예측치를 구지 않고 얻는 것이 가능하다. 즉, 이 경우는, 향상정보 생성부(11)에 있어서, HD화상을 구성하는 각 화소에 대해서, 그 HD화상을 이용하여 클라스탭을 구성하여 클라스분류를 행하고, 그 결과 얻어지는 클라스코드를, 향상정보로 하면 좋다.
그래서, 도 19는, HD화상(교사화상)에서 클라스탭을 구성하여 클라스분류를 행함으로써, 향상정보로서의 클라스코드를 구하는 향상정보 생성부(11)의 구성예를 나타내고 있다. 또한, 도면 중, 도 6에 있어서의 경우와 대응하는 부분에 대해서는 동일한 부호를 붙이고 있고, 이하에서는, 그 설명은, 적의 생략한다. 즉, 도 19의 향상정보 생성부(11)는, 다운컨버터(32), 프레임메모리(33), 예측탭 구성회로(34), 정규방정식 가산회로(37) 및 예측계수 결정회로(38)가 설치되어 있지 않은 것 외에는, 도 6에 있어서의 경우와 동일하게 구성되어 있다.
다음에, 도 20의 플로차트를 참조하여, 도 19의 향상정보 생성부(11)에 의해 행해지는, 향상정보를 생성하는 향상정보 생성처리에 대해서 설명한다.
우선 최초로, 스텝(S141)에 있어서, 향상정보 생성단위에 상당하는 만큼의 교사화상이 프레임메모리(31)에 기억된다. 그리고, 스텝(S142)으로 진행하여, 제어회로(40)는, 거기에 공급되는 방식선택신호에 대응하는 향상방식에 이용하는 향상정보가 얻어지도록 지시를 행하는 제어신호를, 클라스탭 구성회로(35) 및 클라스 분류회로(36)에 공급한다. 이것에 의해, 클라스탭 구성회로(35) 및 클라스분류회로(36)는, 제어신호에 따른 향상방식에 이용하는 향상정보로서의 클라스코드가 얻어지도록 처리를 행하도록 설정된다.
또한, 제어회로(40)에 공급되는 방식선택신호에는, 상술한 경우와 동일하게, 복수의 향상방식을 나타내는 정보가 포함되어 있고, 제어회로(40)는, 그 복수의 향상방식에 대응하는 제어신호를 스텝(S142)의 처리가 행해질 때마다, 순차 출력한다.
또, 제어회로(40)가 출력하는 제어신호가, 선형보간을 나타내는 경우에는, 메모리(39)에, 선형보간을 지시하는 취지가, 향상정보로서 기억된다. 그리고, 스텝(S143 내지 S145)의 처리는 스킵되고, 스텝(S146)으로 진행한다.
스텝(S142)의 처리 후는, 스텝(S143)으로 진행하고, 프레임메모리(31)에 기억된 교사화소 중의, 아직 주목화소로 되어 있지 않은 것이, 주목화소로 되고, 클라스탭 구성회로(35)에 있어서, 제어회로(40)로부터의 제어신호에 따른 구성의, 주목화소에 대한 클라스탭이, 프레임메모리(31)에 기억된 교사화소를 이용하여 구성된다. 그리고, 클라스탭은, 클라스 분류회로(36)에 공급된다.
클라스 분류회로(36)는, 스텝(S144)에 있어서, 클라스탭 구성회로(35)로부터의 클라스탭에 의거하여, 제어회로(40)로부터의 제어신호에 따른 방법으로, 주목화소를 클라스분류하고, 그 결과 얻어지는 클라스에 대응하는 클라스코드를, 메모리(39)에 공급하여 기억시키고, 스텝(S145)으로 진행한다.
스텝(S145)에서는, 제어회로(40)에 의해, 프레임메모리(31)에 기억된, 향상정보 생성단위의 교사화소 전부를 주목화소로서, 클라스분류를 행했는지 어떤지가판정되고, 아직, 교사화소의 전부를 주목화소로서, 클라스분류를 행하지 않은 것으로 판정된 경우, 스텝(S143)으로 되돌아간다. 이 경우, 아직 주목화소로 되어 있지 않은 교사화소 중의 하나가, 새로이 주목화소로 되고, 스텝(S144 및 S145)의 처리가 반복된다.
또, 스텝(S145)에 있어서, 제어회로(40)에 의해, 향상정보 생성단위의 교사화소 전부를 주목화소로서, 충분히 넣기를 행한 것으로 판정된 경우, 스텝(S146)으로 진행하고, 제어회로(40)는, 거기에 공급된 방식선택신호에 포함되는 복수의 향상방식의 전부에 대해서, 향상정보가 얻어졌는지 어떤지를 판정한다.
스텝(S146)에 있어서, 방식선택신호에 포함되는 복수의 향상방식에 이용되는 복수의 향상정보 중에서, 아직 얻어지지 않은 것이 있는 것으로 판정된 경우, 스텝(S14)으로 되돌아가고, 제어회로(40)는, 아직 향상정보가 얻어지지 않은 향상방식에 대응하는 제어신호를 출력하고, 이하, 상술의 경우와 동일한 처리가 반복된다.
한편, 스텝(S146)에 있어서, 방식선택신호에 포함되는 복수의 향상방식의 전부에 대해서, 향상정보로서의 클라스코드가 얻어진 것으로 판정된 경우, 즉, 방식선택신호에 포함되는 복수의 향상방식 각각에 이용되는 복수 종류의 향상정보로서의 클라스코드가, 메모리(39)에 기억된 경우, 스텝(S147)으로 진행하고, 메모리(39)에서, 그 복수 종류의 향상정보가 독출되고, 통합부(12)(도 2)에 공급되어서 처리를 종료한다.
또한, 도 20의 향상정보 생성처리도, 프레임메모리(31)에, 향상정보 생성단위만큼의 교사화상이 공급될 때마다 반복하여 행해진다.
다음에, 도 21은, 향상정보 생성부(11)가 도 19에 나타낸 바와 같이 구성되는 경우의, 수신장치(3)(도 4)의 품질향상부(24)의 구성예를 나타내고 있다. 또한, 도면 중, 도 17에 있어서의 경우와 대응하는 부분에 대해서는, 동일 부호를 붙이고, 이하에서는, 그 설명은, 적의 생략한다. 즉, 도 21의 품질향상부(24)는, 메모리(122)에 대신하여, 메모리(131)가 설치되어 있는 것 이외에는, 도 17에 있어서의 경우와 동일하게 구성되어 있다.
도 17의 실시형태에서는, 메모리(122)에, 도 16의 학습장치에 있어서, 학생화소로 구성되는 클라스탭을 이용하여 클라스분류를 행하는 학습을 행함으로써 얻어지는 클라스마다의 예측계수가 기억되어 있었지만, 도 21의 실시형태에서는, 메모리(131)에, 교사화소로 구성되는 클라스탭을 이용하여 클라스분류를 행하는 학습을 행함으로써 얻어지는 클라스마다의 예측계수가 기억되어 있다.
즉, 도 22는 교사화소로 구성되는 클라스탭을 이용하여 클라스분류를 행하는 학습을 행하는 학습장치의 일 실시형태의 구성예를 나타내고 있다. 또한, 도면중 도 16에 있어서의 경우와 대응하는 부분에 대해서는, 동일부호를 붙이고 있고, 이하에서는 그 설명은 적의 생략한다. 즉, 도 22의 학습장치는, 기본적으로 도 16에 있어서의 경우와 동일하게 구성되어 있다.
다만, 도 22의 학습장치에 있어서는, 클라스탭 구성회로(115)가, 프레임메모리(113)에 기억된 학생화소가 아니고, 프레임메모리(111)에 기억된 교사화소로 클라스탭을 구성하도록 되어 있다. 또한, 클라스탭 구성회로(115)는, 도 19의 향상정보 생성부(11)를 구성하는 클라스탭 구성회로(35)와 동일한 클라스탭을 구성한다.
이상과 같이, 향상정보로서, 클라스코드를 이용하는 경우에 있어서도, 사용자의 요구에 따라서 화질을 향상시킬 수 있다. 따라서, 이 경우도, 사용자의 요구에 따른 화질의 화상의 제공이 가능하게 되고, 또한, 사용자에게 제공한 화상의 화질에 따라서, 결정이 자세한 부과를 행할 수 있다.
또한, 상술한 바와 같이, 향상정보로서 클라스코드를 이용하는 경우도, 방송용 화상데이터와 동일내용의 고화질의 화상데이터가 존재하지 않는 케이스에 대해서, 향상정보로서 예측계수를 이용하는 경우와 동일하게 하여 대처가 가능하다.
다음에, 상술한 바와 같이, 방송용 화상데이터와 향상정보는, 예를 들면, 시분할다중화나 주파수다중화 등에 의해 통합신호로 하는 것이 가능하지만, 방송용 화상데이터에 대해서 향상정보를 매입(embed))함으로써, 통합신호로 하는 것도 가능하다.
그래서, 방송용 화상데이터에 대하여 향상정보를 묻어넣는 매입방법 및 그 방법에 의해 매입된 향상정보를 복호하는 복호방법에 대하여 설명한다.
일반적으로, 정보라고 불러지는 것은, 에너지(엔트로피)의 치우침(보편성)을 가지고, 이 치우침이 정보(가치있는 정보)로서 인식된다. 즉, 예를 들면, 어떤 풍경을 촬영하여서 얻어지는 화상이, 그와 같은 풍경의 화상이라고 사람에 의해 인식되는 것은, 화상(화상을 구성하는 각 화소의 화소값 등)이, 그 풍경에 대응한 에너지의 치우침을 가지고 있기 때문이며, 에너지의 치우침이 없는 화상은, 잡음 등에 불과하고, 정보로서의 이용가치는 없다.
따라서, 가치있는 정보에 대하여, 어떤 조작을 실시하고, 그 정보가 갖는 본래의 에너지의 치우침을, 말하자면 파괴한 경우라도, 그 파괴된 에너지의 치우침을 원래로 되돌리는 것으로, 어떤 조작이 실시된 정보도, 원래의 정보로 되돌릴 수 있다. 즉, 정보를 조작하여 얻어지는 조작결과데이터는, 그 정보가 갖는 본래의 에너지의 치우침을 이용하여, 원래의 가치있는 정보로 복호할 수 있다.
여기서, 정보가 갖는 에너지(의 치우침)를 나타내는 것으로서는, 예를 들면, 상관성이 있다.
정보의 상관성이란, 그 정보의 구성요소(예를 들면, 화상이라면, 그 화상을 구성하는 화소나 라인 등)끼리의 상관(예를 들면, 자기상관이나, 어떤 구성요소와 다른 구성요소와의 거리 등)을 의미한다. 예를 들면, 화상의 상관성을 나타내는 것으로서는, 화상의 라인간의 상관이 있고, 이 상관을 나타내는 상관치로서는, 예를 들면, 2개의 라인에 있어서의, 대응하는 각 화소치의 차분의 2승화 등을 이용할 수 있다(이 경우, 상관치가 작은 것은, 라인간의 상관이 큰 것을 나타내고, 상관치가 크다는 것은 라인간의 상관이 작은 것을 나타낸다).
즉, 화상에 대해서는, 예를 들면, 그 위에서 1행째의 라인(제 1라인)과, 다른 라인과의 상관은, 일반적으로, 제 1라인과의 거리가 가까운 라인일수록 크게 되고, 제 1라인과의 거리가 먼 라인일수록 작게 된다. 따라서, 제 1라인에서 가까울수록, 제 1라인과의 상관이 크게 되고, 멀수록 상관이 작게 된다는 상관의 치우침이 있다.
그래서, 지금, 제 1라인에서 비교적 가까운 제 M라인과, 제 1라인에서 비교적 먼 제 N라인과의 화소치를 교체하는 조작을 행하고(1<M<N), 그 교체 후의 화상에 대하여, 제 1라인과 다른 라인과의 상관을 계산하면, 제 1라인에서 가까운 제 M라인(교체전의 제 N라인)과의 상관이 작게 되고, 제 1라인에서 먼 제 N라인(교체전의 제 M라인)과의 상관이 크게 된다.
따라서, 교체후의 화상에서는, 제 1라인에서 가까울수록 상관이 크게 되고, 멀수록 상관이 작게 된다는 상관성의 치우침이 파괴되고 있다. 그렇지만, 화상에 대해서는, 일반적으로, 제 1라인에서 가까울수록 상관이 크게 되고, 멀수록 상관이 작게 된다는 상관성의 치우침을 이용함으로써, 파괴된 상관성의 치우침을 복원할 수 있다. 즉, 교체 후의 화상에 있어서, 제 1라인에서 가까운 제 M라인과의 상관이 작고, 제 1라인에서 먼 제 N라인과의 상관이 큰 것은, 화상이 갖는 본래의 상관성의 치우침에서 한다면, 명백히 부자연하고(이상하고), 제 M라인과 제 N라인과는 교체해야 한다. 그리고, 교체 후의 화상에 있어서의 제 M라인과 제 N라인을 교체하는 것으로, 본래의 상관성의 치우침을 갖는 화상, 즉, 원래의 화상을 복호할 수 있다.
이 경우, 예를 들면, 화상의 몇 라인째를 이동할 것이냐, 어느 라인끼리를 교체할 것인지 등이, 향상정보에 따라서 결정되고, 그와 같은 라인의 이동이나 교체가, 화상에 향상정보를 매입하는 것으로 된다. 또, 그와 같이 하여 향상정보가 매입된 화상, 즉, 라인의 교체된 화상을, 그 상관을 이용하여, 라인을 원래의 위치에 교체함으로써, 원래의 화상으로 되돌리는 것이, 화상 및 향상정보를 복호하는 것으로 된다. 즉, 원래의 화상으로 되돌릴 때, 몇 라인째를 이동하였느냐, 어느 라인끼리를 교체하였느냐 등을 검출하는 것이, 향상정보를 복호하는 것으로 된다.
이상과 같이, 화상이 갖는 에너지의 치우침을 이용하여 복호를 행할 수 있도록, 그 화상에 대하여, 향상정보를 매입하는 경우에는, 그 매입이 행해진 화상을, 본래의 화상이 갖는 에너지의 치우침을 이용함으로써, 복호하기 위한 오버헤드없이, 원래의 화상 및 향상정보로 복호할 수 있다.
또, 화상에 대하여, 향상정보를 매입함으로써 얻어지는 화상(이하, 적의, 매입화상이라고 함)은, 원래의 화상과 다른 화상으로 되고, 사람이 가치있는 정보로서 인식할 수 있는 화상이 아니라는 것에서, 원래의 화상에 대해서는, 오버헤드 없는 암호화를 실현할 수 있다.
다음에, 도 23은, 상술한 바와 같이, 방송용 화상데이터에 대하여 향상정보를 매입함으로써 통합신호를 생성하는 도 2의 통합부(12)의 구성예를 나타내고 있다.
프레임메모리(61)는, 방송용 화상데이터를, 예를 들면, 1프레임 단위로 기억한다. 또한, 프레임메모리(61)는, 복수 뱅크로 구성되고, 뱅크 교체를 행함으로써, 거기에 공급되는 방송용 화상데이터의 기억, 후술하는 바와 같은 열의 교체 및 프레임메모리(61)로부터의 데이터의 독출을, 동시에 행할 수 있도록 되어 있다.
스와프정보 생성부(62)는, 향상정보 생성부(11)(도 2)에서 향상정보가 공급되고, 그 향상정보에 의거하여, 프레임메모리(61)에 기억된 1프레임의 화상(방송용화상데이터)의 각 열의 위치를, 어떻게 교체하는지를 나타내는 스와프정보를 생성한다. 즉, 프레임메모리(61)에 기억된 1프레임의 화상이, M행 N열의 화소로 구성되는 경우에 있어서, 그 화상의 제 n열(좌에서 n번째의 열)을, 제 n'열에 교체할 때에는, 스와프정보 생성부(62)에 있어서, n과 n'이 대응된 스와프정보가 생성된다(n, n'는, 1이상 N이하의 정수).
여기서, 1프레임의 화상의 열수가 N열인 경우, 그 교체방법은, 그 모든 열을 교체의 대상으로 하면, N!(!는, 계승을 나타낸다)와 같을 뿐이다. 따라서, 이 경우, 1프레임에는, 최대로, log2(N!)비트의 향상정보의 매입이 가능하게 된다.
스와프정보 생성부(62)에서 생성된 스와프정보는, 스와핑부(63)에 공급되도록 되어 있고, 스와핑부(63)는, 스와프정보 생성부(62)에서 공급되는 스와프정보에 따라서, 프레임메모리(61)에 기억된 1프레임의 화상의 각 열의 위치를 교체한다. 이것에 의해, 프레임메모리(61)에 기억된 방송용 화상데이터에, 향상정보가 매입된다.
다음에, 도 24의 플로차트를 참조하여, 도 23의 통합부(12)에 있어서 행해지는 매입처리에 대하여 설명한다.
프레임메모리(61)에는, 방송용 화상데이터가 공급되고, 프레임메모리(61)에서는, 그 방송용 화상데이터가, 순차 기억된다.
한편, 스와프정보 생성부(62)에서는, 스텝(S71)에 있어서, 1프레임의 화상(방송용 화상데이터)에 매입 가능한 데이터량의 향상정보가, 향상정보 생성부(11)로부터 공급된다. 즉, 예를 들면, 상술한 바와 같이, 1프레임의 방송용 화상데이터의 열수가 N열이고, 그 모든 열을 교체의 대상으로 하는 경우에는, 1프레임에는, 최대로 log2(N!)비트의 향상정보의 매입이 가능하므로, 그와 같은 비트수(이하)의 향상정보가 공급된다.
그리고, 스와프정보 생성부(62)는, 스텝(S72)으로 진행하고, 스텝(S71)에서 공급된 향상정보에 의거하여, 스와프정보를 생성한다. 즉, 스와프정보 생성부(62)는, 향상정보에 의거하여, 프레임메모리(61)에 기억된 매입처리의 대상으로 되어 있는 프레임(이하, 적의, 처리대상 프레임이라고 한다)의 제 1열 내지 제 N열 중의, 예를 들면, 제 1열을 제외하고 제 2열 내지 제 N열 각각을, 제 어느 열에 교체할 것인지를 나타내는 스와프정보를 생성한다. 이 스와프정보는, 스와핑부(63)에 공급된다.
스와핑부(63)는, 스와프정보 생성부(62)에서 스와프정보가 공급되면, 스텝(S73)으로 진행하고, 그 스와프정보에 따라서, 프레임메모리(61)에 기억된 처리대상 프레임의 각 열의 위치를 교체한다. 이것에 의해, 처리대상 프레임에, 향상정보가 매입되고, 이와 같이 하여 향상정보가 매입된 방송용 화상데이터(매입화상)는, 프레임메모리(61)에서 독출되고, 통합신호로서, 송신부(13)(도 2)에 공급된다.
또한, 프레임의 각 열의 위치의 교체는, 프레임메모리(61)에 있어서의 화상데이터(를 구성하는 화소)의 기억위치를 변경하는 것으로 행할 수 있으나, 그 외, 예를 들면, 프레임메모리(61)에서 프레임을 독출할 때의 어드레스를 제어함으로써, 결과로서, 열의 위치의 교체가 행해진 프레임이, 프레임메모리(61)에서 독출되도록하여도 좋다.
또, 본 실시의 형태에서는, 상술한 바와 같이, 스와프정보에는, 제 2열 내지 제 N열 각각을, 제 어느 열에 교체할 것인지를 나타내는 정보가 포함되어 있으나, 제 1열을, 제 어느 열에 교체할 것인지를 나타내는 정보는 포함되어 있지 않다. 따라서, 스와핑부(63)에서는, 제 2열 내지 제 N열 각각의 교체는 행해지나, 제 1열의 교체는 행해지지 않는다. 이 이유에 대해서는 후술한다.
처리대상 프레임의 제 2열 내지 제 N열 전체의 교체가 종료하면, 스텝(S74)으로 진행하고, 프레임메모리(61)에, 아직 처리대상 프레임으로 되어 있지 않은 방송용 화상데이터의 프레임이 기억되어 있는지 어떤지가 판정되고, 기억되어 있다고 판정된 경우, 스텝(S71)으로 되돌아가고, 아직 처리대상 프레임으로 되어 있지 않은 프레임을 새로이 처리대상 프레임으로 하여, 이하, 동일한 처리가 반복된다.
또, 스텝(S74)에 있어서, 프레임 메모리(61)에, 처리대상 프레임으로 되어 있지 않은 프레임이 기억되어 있지 않다고 판정된 경우, 매입처리를 종료한다.
이상과 같은 매입처리에 의하면, 어느 1프레임의 화상(여기서는, 방송용 화상데이터)은, 다음과 같은 매입화상으로서의 통합신호로 된다.
즉, 지금, 향상정보가, 예를 들면, 도 25에 나타내는 바와 같이, N열(도 25A)의 처리대상 프레임의 제 2열을 제 6열에 (도 25B), 제 3열을 제 9열에(도 25C), 제 4열을 제 7열에(도 25D), 제 5열을 제 3열에(도 25E), 제 6열을 제 8열에(도 25F), 제 7열을 제 4열에(도 25G), 제 8열을 제 5열에(도 25H), 제 9열을 제 2열에(도 25I), …, 제 N열을 제 N열에, 각각 교체하는 것에 대응한다고 하면,그와 같은 교체를 나타내는 스와프정보가, 스와프정보 생성부(62)에 있어서 생성된다. 그리고, 스와핑부(63)에서는, 예를 들면, 도 25J에 나타내는 바와 같은 프레임이, 상술한 바와 같은 스와프정보에 따라, 제 2열이 제 6열에, 제 3열이 제 9열에, 제 4열이 제 7열에, 제 5열이 제 3열에, 제 6열이 제 8열에, 제 7열이 제 4열에, 제 8열을 제 5열에, 제 9열이 제 2열에, …, 제 N열이 제 N열에, 각각 교체된다. 그 결과, 도 25J의 화상은, 도 25K에 나타내는 바와 같은 매입화상으로 된다.
이상과 같이, 프레임메모리(61)에 기억된 화상을 구성하는 1이상의 화소의 집합으로서의, 각 열의 화소의 위치를, 향상정보에 대응하여 교체함으로써, 각 열에, 향상정보를 매입하는 경우에는, 그 역의 교체를 행하는 것으로, 원래의 화상을 복호할 수 있고, 또한, 어떠한 교체를 행하였는지 라는 것이 향상정보로 된다. 따라서, 화상의 화질의 열화를 극력 없애고, 또한 데이터량을 증가시키지 않고, 화상에 향상정보를 매입할 수 있다.
즉, 향상정보가 매입된 화상인, 열의 위치의 교체가 행해진 화상의 각 열은, 그 화상의 상관성, 즉, 여기서는, 원래의 화상과 동일의 바른 위치에 있는 열과의 사이의 상관을 이용함으로써, 오버헤드 없이, 원래의 위치로 교체할 수 있고, 또한, 그 교체방법에 의해, 향상정보를 복호할 수 있다. 따라서, 그 결과 얻어지는 복호화상(재생화상)에는, 기본적으로, 향상정보를 매입함으로써 화질의 열화는 생기지 않는다.
또한, 매입화상에, 바른 위치에 있는 열이 존재하지 않는 경우에는, 상술한바와 같이 화상의 상관성을 이용하여, 화상과 향상정보를 복호하는 것은 곤란하다. 그래서, 여기서는, 도 24의 매입처리에 있어서, 각 프레임의 제 1열은, 교체를 행하지 않도록 하고 있다.
단, 제 1열을 포함하는 모든 열을 교체의 대상으로 하여, 매입을 행하는 것도 가능하고, 이 경우, 교체 후의 열의 적어도 1이상의 원래의 위치를, 오버헤드로서, 매입화상으로서의 통합신호에 포함하는 것으로, 화상과 향상정보의 복호가 용이하게 가능해진다.
또, 향상정보는, 열을 순차 교체함으로써, 화상에 매입하여 가는 것도 가능하고, 모든 열을 한 번에 교체함으로써, 화상에 매입하는 것도 가능하다. 즉, 향상정보에 의거하여, 어느 열을 교체하고, 다음의 향상정보에 의거하여, 다음 열을 교체한다는 것을 반복하는 것으로, 향상정보를 화상에 매입하는 것도 가능하고, 모든 열의 교체패턴을, 향상정보에 의거하여 결정하고, 그와 같은 교체를 한 번에 행하는 것으로, 향상정보를 화상에 매입하는 것도 가능하다.
다음에, 도 26은, 송신장치(1)(도 2)의 통합부(12)가 도 23에 나타낸 바와 같이 구성되는 경우의, 수신장치(3)(도 4)의 추출부(22)의 구성예를 나타내고 있다.
프레임 메모리(71)는, 도 23의 프레임 메모리(61)와 동일하게 구성되어 있고, 수신부(21)(도 4)가 출력하는 통합신호로서의 매입화상을, 예를 들면, 프레임단위로 순차 기억한다.
스와핑부(72)는, 프레임 메모리(71)에 기억된 매입화상 중의, 처리의 대상으로 되어 있는 프레임(처리대상 프레임)에 있어서의, 이미 원래의 위치로 교체된 최신의 열과, 다른 열(아직 원래의 위치에 되돌려지지 않은 열)과의 상관을 계산하고, 그 상관에 의거하여, 처리대상 프레임 중의, 아직 원래의 위치에 되돌려지지 않은 열의 위치를 교체하는 것으로 원래에 되돌려진다(열의 위치를 복호한다). 또한, 스와핑부(72)는, 프레임의 각 열을 어떻게 교체하였는지를 나타내는 스와프 정보를, 스와프정보 변환부(73)에 공급한다.
스와프정보 변환부(73)는, 스와핑부(72)로부터의 스와프정보, 즉, 처리대상 프레임의 각 열의, 교체전의 위치와, 교체후의 위치와의 대응관계에 의거하여, 매입화상에 매입된 향상정보를 복호한다.
다음에, 도 27의 플로차트를 참조하여, 도 26의 추출부(22)에 있어서 행해지는, 매입화상을 복호하여, 원래의 방송용 화상데이터와 향상정보를 추출하는 복호처리에 대하여 설명한다.
프레임 메모리(71)에서는, 거기에 공급되는 매입화상(부호화 데이터)가, 예를 들면, 1프레임단위로 순차 기억된다.
한편, 스와핑부(72)에서는, 스텝(S81)에 있어서, 프레임의 열수를 카운트하기 위한 변수 n에, 초기값으로서의, 예를 들면, 1이 세트되고, 스텝(S82)으로 진행하고, 변수 n이, 프레임의 열수인 N에서 1을 감산한 N-1이하인지 어떤지가 판정된다.
스텝(S82)에 있어서, 변수 n이 N-1이하라고 판정된 경우, 스텝(S83)으로 진행하고, 스와핑부(72)는, 프레임 메모리(71)에 기억된 처리대상의 프레임에서, 제n열의 화소(화소열)를 독출하고, 그 제 n열의 각 화소(의 화소값)를 요소로 하여 늘어 놓은 벡터(이하, 적의, 열벡터라고 한다) vn을 생성한다. 여기서, 본 실시의 형태에서는, 상술한 바와 같이, 프레임이 M행의 화소로 구성되므로, 열벡터 vn(후술하는 열벡터 vk도 동일)은, M차원의 벡터가 된다.
그 후, 스텝(S84)에 있어서, 제 n열보다 우측에 있는 열을 카운트하기 위한 변수 k에, 초기값으로서의 n+1이 세트되고, 스텝(S85)으로 진행하고, 스와핑부(72)는, 제 k열의 화소를 독출하고, 그 제 k열의 화소를 요소로 하는 열벡터 vk를 생성하여, 스텝(S86)으로 진행한다.
스텝(S86)에서는, 스와핑부(72)에 있어서, 열벡터 vn 및 vk를 이용하여, 제 n열과 제 k열과의 상관이 구해진다.
즉, 스와핑부(72)에서는, 열벡터 vn과 vk와의 거리 d(n, k)가 다음 수학식 8에 따라서 계산된다.
즉, 상기 식에 있어서, ∑는, m을, 1에서 M으로 변화시키는 서메이션을 나타낸다. 또, A(i, j)는, 처리대상으로 되어 있는 프레임의 제 i행 제 j열의 화소(화소값)를 나타낸다.
그리고, 스와핑부(72)에서는, 열벡터 vn과 vk와의 거리 d(n, k)의 역수 1/d(n, k)가, 제 n열과 제 k열과의 상관(을 나타내는 상관치)으로서 구해진다.
제 n열과 제 k열과의 상관의 산출후는, 스텝(S87)으로 진행하고, 변수 k가, 프레임의 열수인 N에서 1을 감산한 N-1이하인지 어떤지가 판정된다. 스텝(S87)에 있어서, 변수 k가 N-1이하라고 판정된 경우, 스텝(S88)으로 진행하고, 변수 k가 1만큼 인크리먼트되고, 스텝(S85)으로 되돌아가고, 이하, 스텝(S87)에 있어서, 변수 k가 N-1이하가 아니라고 판정되기까지, 스텝(S85 내지 S88)의 처리를 반복한다. 즉, 이것에 의해, 제 n열과, 그것보다 우측에 있는 매입화상의 열 각각과의 상관이 구해진다.
그 후, 스텝(S87)에 있어서, 변수 k가 N-1이하라고 판정되면, 스텝(S88)으로 진행하고, 스와핑부(72)에 있어서, 제 n열과의 상관을 최대로 하는 k가 구해진다. 그리고, 제 n열과의 상관을 최대로 하는 k를, 예를 들면 K로 표시하면, 스와핑부(72)는, 스텝(S90)에 있어서, 프레임메모리(71)에 기억된 처리대상의 프레임의 제 n+1열과 제 K열을 스와핑, 즉, 제 K열을, 제 n열의 우측에 인접한 제 n+1열에 교체된다.
그 후, 스텝(S91)에 있어서, 변수 n이 1만큼 인크리먼트되고, 스텝(S82)으로 되돌아가고, 이하, 스텝(S82)에 있어서, 변수 n이 N-1이하가 아니라고 판정되기까지, 스텝(S82 내지 S91)의 처리를 반복한다.
여기서, 본 실시의 형태에서는, 매입화상의 제 1열은, 원래의 화상의 제 1열 그대로 이므로, 변수 n이, 초기값인 1인 때는, 제 1열과의 상관이 가장 높은 매입화상의 열이, 제 1열의 우측 인접한 제 2열에 교체된다. 제 1열과의 상관이 가장 높은 열은, 화상의 상관성으로부터, 기본적으로, 원래의 화상의 제 2열이므로,이 경우, 매입처리에 있어서, 매입화상의 어느 열에 교체된 원래의 화상의 제 2열은, 원래의 위치에 되돌려지는(복호되는) 것으로 된다.
그리고, 변수 n이 2가 되면, 상술한 바와 같이 하여 원래의 위치에 교체된 제 2열과의 상관이 가장 높은 매입화상의 열이, 그 제 2열의 우측에 인접한 제 3열에 교체된다. 제 2열과의 상관이 가장 높은 열은, 역시, 화상의 상관성에서 기본적으로, 원래의 화상의 제 3열이므로, 이 경우, 매입부호화 처리에 있어서, 매입화상의 어느 열에 교체된 원래의 화상의 제 3열은, 원래의 위치에 되돌려지게 된다.
이하, 동일하게 하여, 프레임 메모리(71)에 기억된 매입화상은, 원래의 화상(방송용 화상데이터)에 복호되어 간다.
그리고, 스텝(S82)에 있어서, 변수 n이 N-1이하가 아니라고 판정된 경우, 즉, 매입화상을 구성하는 제 2열 내지 제 N열 전체가, 화상의 상관성을 이용하여 원래의 위치에 되돌려지고, 이것에 의해, 프레임 메모리(71)에 기억된 매입화상이, 원래의 화상(방송용 화상데이터)이 복호된 경우, 스텝(S92)으로 진행하고, 그 복호된 화상이, 프레임메모리(71)에서 독출된다. 또한, 스텝(S92)에서는, 스와핑부(72)가, 매입화상을 원래의 화상에 복호한 때의, 매입화상의 제 2열 내지 제 N열 각각의 교체방법을 나타내는 스와프정보가, 스와프정보 변환부(73)에 출력된다. 그리고, 스와프정보 변환부(73)에서는, 스와핑부(72)로부터의 스와프정보에 의거하여, 매입화상에 매입되어 있는 향상정보가 복호되어서 출력된다.
그 후, 스텝(S93)으로 진행하고, 프레임 메모리(71)에, 아직 처리의 대상으로 되어 있지 않은 매입화상의 프레임이 기억되어 있는지 어떤지가 판정되고, 기억되어 있다고 판정된 경우, 스텝(S81)으로 되돌아가고, 아직 처리의 대상이 되어 있지 않은 매입화상의 프레임을 새로이 처리대상으로서, 이하, 동일한 처리가 반복된다.
또, 스텝(S93)에 있어서, 프레임 메모리(71)에, 처리의 대상으로 되어 있지 않은 프레임이 기억되어 있지 않다고 판정된 경우, 복호처리를 종료한다.
이상과 같이, 향상정보가 매입된 화상인 매입화상을, 화상의 상관성을 이용하여, 본래의 화상과 향상정보에 복호하도록 하였으므로, 그 복호를 위한 오버헤드 없이도, 매입화상을 원래의 화상과 향상정보로 복호할 수 있다. 따라서, 그 복호화상에는, 기본적으로, 향상정보를 매입하는 것에 의한 화질의 열화는 생기지 않는다.
또한, 도 27의 복호처리에 있어서는, 이미 복호된 최신의 1열(예를 들면, n=1의 경우에 있어서는, 매입시에 교체되어 있지 않은 제 1열)과, 아직 복호되어 있지 않은 열과의 상관을 구하고, 그 상관에 의거하여, 이미 복호된 최신의 열의 우측에 인접한 위치에 교체되어야 할 열을 검출하도록 하였으나, 그 외, 예를 들면, 이미 복호된 복수의 열과, 아직 복호되어 있지 않은 열과의 상관을 연산함으로써, 이미 복호된 최신의 열의 우측 이웃에 교체되어야 할 열을 검출하도록 하는 것도 가능하다.
또, 상기의 경우에는, 열의 교체에 의해, 방송용 화상데이터에 향상정보를 매입하도록 하였으나, 매입은, 행의 교체나, 시간방향으로 늘어서는 소정수의 프레임의 동일위치에 있는 화소열의 위치의 교체, 더욱이는, 열과 행의 양편의 교체 등에 의해 행하는 것도 가능하다.
또한, 매입은, 열 등을 교체한다는 조작이 아니고, 화소값을, 향상정보에 의거하여 조작하거나, 수평라인 등을, 향상정보에 의거하여 로테이션하는 것 등에 의해 행하는 것도 가능하다. 어느 경우에도, 에너지의 치우침을 이용하여, 원래의 정보를 복호할 수 있다.
또한, 이와 같이, 에너지의 치우침을 이용하여, 원래의 정보를 복호할 수 있도록 매입을 행하는 방법에 대해서는, 본건 출원인이 앞서 제안한 예를 들면, 특원평 10-200093호나, 특원평 10-222951호, 특원평 10-333700호, 특원평 11-129919호, 특원평 11-160529호, 특원평 11-160530호, 특원평 11-284198호(특원평 10-285310호를 기초로 하는 국내 우선권주장출원), 특원평 11-284199호(특원평 10-285309)호를 기초로 하는 국외 우선권주장출원), 특원평 11-284200호(특원평 10-285308호를 기초로 하는 국내 우선권주장출원) 등에, 그 상세가 기술되어 있고, 이들에 기재되어 있는 방법은, 통합부(12) 및 추출부(22)에 있어서 채용할 수 있다.
다음에, 방송용 화상데이터에 대하여 향상정보를 매입하는 매입방법으로서는, 스펙트럼확산을 채용하는 것도 가능하다.
그래서, 도 28은, 스펙트럼확산을 이용하여, 방송용 화상데이터에 향상정보를 매입하는 경우의, 송신장치(도 2)의 통합부(12)의 구성예를 나타내고 있다.
향상정보 생성부(11)(도 2)가 출력하는 향상정보는, 스펙트럼 확산신호 생성회로(81)에 공급되도록 되어 있고, 스펙트럼확산신호 생성회로(81)는, 소정의 타이밍에서, 예를 들면, M계열 등의 PN(Pseudo random Noise)부호열을 순차 생성한다. 그리고, 스펙트럼확산신호 생성회로(81)는, 그 PN부호열에 의해, 향상정보를 스펙트럼확산하고, 스펙트럼 확산신호를 얻어서, 가산회로(82)에 공급한다.
가산회로(82)에는, 스펙트럼확산신호 생성회로(81)에서 스펙트럼확산신호가 공급될 때, 방송용 화상데이터도 공급되도록 되어 있고, 가산회로(82)는, 방송용 화상데이터에, 스펙트럼 확산신호를 중첩하고, 이것에 의해, 방송용 화상데이터에 향상정보를 매입한 통합신호를 얻어서, 송신부(13)(도 2)에 출력한다.
또한, 방송용 화상데이터 및 스펙트럼 확산신호는, D/A(Digital to Analog)변환한 후에, 가산회로(82)에 공급하도록 할 수도 있다.
다음에, 도 29는, 송신장치(1)(도 2)의 통합부(12)가 도 28에 나타낸 바와 같이 구성되는 경우의, 수신장치(3)(도 4)의 추출부(22)의 구성예를 나타내고 있다.
수신부(21)(도 4)가 출력하는 통합신호는, 역스펙트럼 확산회로(91)와 복호회로(92)에 공급되도록 되어 있다.
역스펙트럼 확산회로(91)는, 도 28의 스펙트럼확산신호 생성회로(81)가 생성하는 것과 동일한 PN부호열을 생성하고, 그 PN부호열에 의거하여, 통합신호를 역스펙트럼 확산하고, 이것에 의해, 향상정보를 복호한다. 이 복호된 향상정보는, 선택부(23)(도 4)에 공급된다.
또한, 역스펙트럼 확산회로(91)는, 생성한 PN부호열을, 복호회로(92)에 공급한다.
복호회로(92)는, 역스펙트럼 확산회로(91)로부터의 PN부호열에 의거하여, 통합신호에 중첩되어 있는 스펙트럼 확산신호를 제거하고, 이것에 의해, 방송용 화상데이터를 복호한다. 이 복호된 방송용 화상데이터는, 품질향상부(24)(도 4)에 공급된다.
또한, 도 29에 있어서, 추출부(22)는, 복호회로(92)를 설치하지 않고 구성하는 것이 가능하다. 이 경우, 품질향상부(24)에 대해서는, 스펙트럼 확산신호가 중첩된 방송용 화상데이터가 공급되는 것으로 된다.
이상, 에너지의 치우침을 이용하여, 원래의 정보를 복호할 수 있도록 매입을 행하는 방법과, 스펙트럼확산을 이용하여 매입을 행하는 방법에 대하여 설명하였으나, 방송용 화상데이터에 대한 향상정보의 매입에는, 기타, 예를 들면, 종래의 전자투과를 이용하는 것도 가능하다.
즉, 방송용 화상데이터를 구성하는 화소의, 예를 들면, 하위 1비트나 2비트 등을, 향상정보에 변경(치환)하는 것으로, 방송용 화상데이터에 향상정보를 매입하는 것이 가능하다.
다음에, 상술한 일련의 처리는, 하드웨어에 의해 행하는 것도 가능하고, 소프트웨어에 의해 행하는 것도 가능하다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
그래서, 도 30은, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시형태의 구성예를 나타내고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록매체로서의 하드디스크(205)나 ROM(203)에 미리 기록하여 둘 수 있다.
혹은 또, 프로그램은, 플로피디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical)디스크, DVD(Digital Versatile Disc), 자기디스크, 반조체 메모리 등의 리무버블 기록매체(211)에, 일시적 혹은 영속적으로 격납(기록)하여 둘 수 있다. 이와 같은 리무버블 기록매체(211)는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록매체(211)에서 컴퓨터에 인스톨할 때, 다운로드사이트에서, 디지털 위성방송용의 인공위성을 거쳐서, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라는 네트워크를 거쳐서, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을, 통신부(208)에서 수신하고, 내장하는 하드디스크(205)에 인스톨할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(202)를 내장하고 있다. CPU(202)에는, 버스(201)를 거쳐서, 입출력인터페이스(210)가 접속되어 있고, CPU(202)는, 입출력인터페이스(210)를 거쳐서 사용자에 의해 키보드나 마우스 등으로 구성되는 입력부(207)가 조작됨으로써 지령이 입력되면, 이것에 따라서, ROM(Read Only Memory)(203)에 격납되어 있는 프로그램을 실행한다. 혹은, 또, CPU(202)는, 하드디스크(205)에 격납되어 있는 프로그램, 위성 혹은 네트워크에서 전송되어, 통신부(208)에서 수신되어서 하드디스크(205)에 인스톨된 프로그램, 또는 드라이브(209)에 장착된 리무버블 기록매체(211)에서 독출되어서 하드디스크(205)에 인스톨된 프로그램을, RAM(Random Access Memory)(204)에 로드하여 실행한다. 이것에 의해, CPU(202)는, 상술한 플로차트에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(202)는, 그 처리결과를, 필요에 따라서, 예를 들면, 입출력인터페이스(210)를 거쳐서, LCD(Liquid Crystal Display)나 스피커 등으로 구성되는 출력부(206)에서 출력, 혹은 통신부(208)에서 송신, 더욱이는, 하드디스크(205)에 기록 등 시킨다.
여기서, 본 명세서에 있어서, 컴퓨터에 각종의 처리를 행하게 하기 위한 프로그램을 기술하는 처리스텝은, 반드시고 플로차트로서 기재된 순서에 따라서 시계열로 처리할 필요는 없고, 병렬적 혹은 개별로 실행되는 처리(예를 들면, 병렬처리 혹은 오브젝트에 의한 처리)도 포함되는 것이다.
또, 프로그램은, 하나의 컴퓨터에 의해 처리되는 것이라도 좋고, 복수의 컴퓨터에 의해 분산처리되는 것이라도 좋다. 또한, 프로그램은, 먼 쪽의 컴퓨터에 전송되어서 실행되는 것이라도 좋다.
또한, 본 실시의 형태에 있어서는, 화상데이터를 대상으로 하였으나, 본 발명은, 기타, 예를 들면, 오디오데이터 등을 대상으로 하는 것도 가능하다.
또한, 본 실시의 형태에서는, 매입화상을, 위성회선을 거쳐서 제공하는 경우에 대하여 설명하였으나, 매입화상의 제공은, 기타, 지상파나, 인터넷, CATV망 등의 각종 전송매체를 거쳐서 행해지는 것도 가능하고, 광디스크나 광자기디스크, 자기테이프, 반도체 메모리 등의 각종의 기록매체에 기록하여 행하는 것도 가능하다.
본 발명에 관계되는 데이터 처리장치 및 방법과 기록매체 및 프로그램에 의하면, 데이터의 품질을 향상시키기 위한 향상정보가 생성되고, 데이터에 대하여 향상정보가 매입된다. 따라서, 예를 들면, 향상정보가 매입된 상태의 데이터, 향상정보가 추출된 상태의 데이터, 향상정보에 의하 품질이 향상된 데이터 등의 제공이 가능하게 된다.
또, 본 발명에 관계되는 데이터처리장치 및 방법과 기록매체 및 프로그램에 의하면, 매입데이터에서 향상정보가 추출되고, 데이터의 품질이, 향상정보를 이용하여 향상된다. 따라서, 품질의 높은 데이터의 제공을 받는 것이 가능하게 된다.
또한, 본 발명에 관한 데이터처리장치 및 방법과 기록매체 및 프로그램에 의하면, 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보가 생성되고, 데이터와 1종류이상의 향상정보가 송신된다. 따라서, 복수의 품질의 데이터의 제공이 가능하게 된다.
그리고 또, 본 발명에 관계되는 데이터처리장치 및 방법과 기록매체 및 프로그램에 의하면, 데이터 및 1종류 이상의 향상정보가 공급되고, 데이터의 품질이 1종류이상의 향상정보 중의 어느 것을 이용하여 향상되는 한편, 그 데이터의 품질을 향상시키는 데에 이용한 향상정보에 따라서, 부과금처리가 행해진다. 따라서, 지불액에 따른 품질데이터의 제공을 받는 것이 가능하게 된다.

Claims (81)

  1. 데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성수단과,
    상기 데이터에 대하여, 상기 향상정보를 매입하는 매입수단(embeded means)을 갖추는 데이터 처리장치.
  2. 제 1항에 있어서,
    상기 향상정보 생성수단은, 상기 데이터의 품질을 향상시킨 품질향상데이터의 예측값을 예측하는 데에 이용하는 예측계수를, 상기 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  3. 제 2항에 있어서,
    상기 향상정보 생성수단은, 상기 예측계수를 소정의 클라스마다 생성하는 것을 특징으로 하는 데이터 처리장치.
  4. 제 3항에 있어서,
    상기 향상정보 생성수단은,
    교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터의 클라스를 구하는 데에 이용하는 클라스탭을, 학생이 되는 학생데이터를 이용하여 구성하는 클라스탭 구성수단과,
    상기 클라스탭에 의거하여, 상기 주목교사 데이터의 클라스를 구하는 클라스분류를 행하는 클라스 분류수단과,
    상기 주목교사 데이터를 예측하는 데에, 상기 예측계수와 함께 이용하는 예측탭을, 상기 학생데이터를 이용하여 구성하는 예측탭 구성수단과,
    상기 교사데이터 및 예측탭을 이용하여, 상기 클라스마다의 상기 예측계수를 구하는 예측계수 연산수단을 갖추는 것을 특징으로 하는 데이터 처리장치.
  5. 제 4항에 있어서,
    상기 향상정보 생성수단은, 복수 종류의 상기 향상정보를 생성하는 것을 특징으로 하는 데이터 처리장치.
  6. 제 5항에 있어서,
    상기 향상정보 생성수단은, 다른 클라스 수에 대한 상기 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  7. 제 5항에 있어서,
    상기 향상정보 생성수단은, 다른 품질의 상기 학생데이터 또는 교사데이터를 이용함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  8. 제 5항에 있어서,
    상기 향상정보 생성수단은, 적어도, 상기 예측계수와, 선형보간을 행하기 위한 정보를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  9. 제 5항에 있어서,
    상기 향상정보 생성수단은, 다른 구성의 상기 클라스탭 또는 예측탭을 이용함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  10. 제 5항에 있어서,
    상기 향상정보 생성수단은, 상기 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  11. 제 1항에 있어서,
    상기 향상정보 생성수단은, 상기 데이터의 품질을 향상시킨 품질향상데이터의 예측값을 예측하는 데에 이용하는, 데이터의 클라스를 나타내는 클라스코드를, 상기 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  12. 제 11항에 있어서,
    상기 향상정보 생성수단은,
    학습의 교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터를 예측하는 데에 이용하는 예측탭을, 학습의 학생이 되는 학생데이터를 이용하여 구성하는 예측탭 구성수단과,
    학습을 행함으로써 구해진, 상기 클라스코드마다의 예측계수를 기억하는 예측계수 기억수단과,
    상기 예측탭 및 예측계수를 이용하여, 상기 주목교사 데이터의 예측값을 구하는 예측연산수단과,
    상기 주목교사 데이터의 예측값을 최소로 하는 상기 예측계수의 클라스코드를 검출하는 클라스코드 검출수단을 갖추고,
    상기 클라스코드 검출수단에 있어서 검출된 상기 클라스코드를, 상기 향상정보로서 출력하는 것을 특징으로 하는 데이터 처리장치.
  13. 제 11항에 있어서,
    상기 향상정보 생성수단은,
    학습의 교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터의 클라스를 구하는 데에 사용하는 클라스탭을, 상기 교사데이터를 사용하여 구성하는 클라스탭 구성수단과,
    상기 클라스탭에 의거하여, 상기 주목교사 데이터의 클라스를 구하는 클라스분류를 행하는 클라스 분류수단을 갖추고,
    상기 클라스 분류수단에 있어서 구해진 클라스에 대응하는 클라스코드를, 상기 향상정보로서 출력하는 것을 특징으로 하는 데이터 처리장치.
  14. 제 1항에 있어서,
    상기 매입수단은, 상기 데이터가 가지는 에너지의 치우침을 이용하여, 상기 데이터 및 향상정보를 원래로 되돌릴 수 있도록, 상기 데이터에, 상기 향상정보를 매입하는 것을 특징으로 하는 데이터 처리장치.
  15. 제 1항에 있어서,
    상기 매입수단은, 스펙트럼확산을 행함으로써, 상기 데이터에, 상기 향상정보를 매입하는 것을 특징으로 하는 데이터 처리장치.
  16. 제 1항에 있어서,
    상기 매입수단은, 상기 데이터의 1비트 이상을, 상기 향상정보로 변경함으로써, 상기 데이터에, 상기 향상정보를 매입하는 것을 특징으로 하는 데이터 처리장치.
  17. 제 1항에 있어서,
    상기 데이터는, 화상데이터이고, 상기 향상정보는, 상기 화상데이터의 화질을 향상시키는 정보인 것을 특징으로 하는 데이터 처리장치.
  18. 데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성스텝과,
    상기 데이터에 대하여, 상기 향상정보를 매입하는 매입스텝을 갖는 데이터 처리방법.
  19. 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록매체이고,
    데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성스텝과,
    상기 데이터에 대하여, 상기 향상정보를 매입하는 매입스텝을 갖는 프로그램이 기록되어 있는 기록매체.
  20. 컴퓨터에 실행시키는 프로그램이고,
    데이터의 품질을 향상시키기 위한 향상정보를 생성하는 향상정보 생성스텝과,
    상기 데이터에 대하여, 상기 향상정보를 매입하는 매입스텝을 갖는 프로그램
  21. 데이터에 대하여, 그 데이터의 품질을 향상시키기 위한 향상정보가 매입된매입데이터를 처리하는 데이터 처리장치이고,
    상기 매입데이터에서, 상기 향상정보를 추출하는 추출수단과,
    상기 데이터의 품질을, 상기 향상정보를 사용하여 향상시키는 향상수단을 갖춘 데이터 처리장치.
  22. 제 21항에 있어서,
    상기 향상정보는, 상기 데이터의 품질을 향상시킨 품질향상데이터의 예측값을 예측하는 데에 사용하는 예측계수이고, 상기 향상수단은, 상기 데이터 및 예측계수를 사용함으로써, 상기 품질향상데이터의 예측값을 구하는 것을 특징으로 하는 데이터 처리장치.
  23. 제 22항에 있어서,
    상기 향상정보는, 소정의 클라스마다 구해진 상기 예측계수이고, 상기 향상수단은, 상기 데이터 및 클라스마다의 예측계수를 사용함으로써, 상기 품질향상데이터의 예측값을 구하는 것을 특징으로 하는 데이터 처리장치.
  24. 제 23항에 있어서,
    상기 향상수단은,
    주목하고 있는 상기 품질향상데이터인 주목품질 향상데이터의 클라스를 구하는 데에 사용하는 클라스탭을, 상기 데이터를 사용하여 구성하는 클라스탭 구성수단과,
    상기 클라스탭에 의거하여, 상기 주목품질 향상데이터의 클라스를 구하는 클라스분류를 행하는 클라스 분류수단과,
    상기 주목품질 향상데이터를 예측하는 데에, 상기 예측계수와 함께 사용되는 예측탭을, 상기 데이터를 사용하여 구성하는 예측탭 구성수단과,
    상기 주목품질 향상데이터의 예측값을, 그 주목품질 향상데이터의 클라스의 상기 예측계수와, 상기 예측탭을 사용하여 구하는 예측수단을 갖추는 것을 특징으로 하는 데이터 처리장치.
  25. 제 21항에 있어서,
    상기 향상정보는, 상기 데이터의 품질을 향상시킨 품질향상데이터의 예측값을 예측하는 데에 사용하는 소정의 클라스마다의 예측계수의, 그 클라스를 나타내는 클라스코드이고, 상기 향상수단은, 상기 데이터 및 상기 클라스코드에 대응하는 예측계수를 사용함으로써, 상기 품질향상데이터의 예측값을 구하는 것을 특징으로 하는 데이터 처리장치.
  26. 제 25항에 있어서,
    상기 향상수단은,
    주목하고 있는 상기 품질향상데이터인 주목품질 향상데이터를 예측하는 데에, 상기 예측계수와 함께 사용하는 예측탭을, 상기 데이터를 사용하여 구성하는예측탭 구성수단과,
    상기 주목품질 향상데이터의 예측값을, 상기 향상정보로서의 클라스코드에 대응하는 예측계수와, 상기 예측탭을 사용하여 구하는 예측수단을 갖추는 것을 특징으로 하는 데이터 처리장치.
  27. 제 24항에 있어서,
    상기 매입데이터에는, 복수 종류의 상기 향상정보가 매입되어 있는 것을 특징으로 하는 데이터 처리장치.
  28. 제 27항에 있어서,
    상기 매입데이터에는, 다른 클라스수에 대한 상기 예측계수가, 상기 복수 종류의 향상정보로서 매입되어 있는 것을 특징으로 하는 데이터 처리장치.
  29. 제 27항에 있어서,
    상기 예측계수는, 학생이 되는 학생데이터와, 교사가 되는 교사데이터를 사용하여 생성되는 것이고, 상기 매입데이터에는, 다른 품질의 상기 학생데이터 또는 교사데이터를 사용함으로써 구해지는 복수 종류의 예측계수가, 상기 복수 종류의 향상정보로서 매입되어 있는 것을 특징으로 하는 데이터 처리장치.
  30. 제 27항에 있어서,
    상기 매입데이터에는, 적어도, 상기 예측계수와, 선형보간을 행하기 위한 정보가, 상기 복수 종류의 향상정보로서 매입되어 있는 것을 특징으로 하는 데이터 처리장치.
  31. 제 27항에 있어서,
    상기 매입데이터에는, 다른 구성의 상기 클라스탭 또는 예측탭을 사용함으로써 구해지는 복수 종류의 예측계수가, 상기 복수 종류의 향상정보로서 매입되어 있는 것을 특징으로 하는 데이터 처리장치.
  32. 제 27항에 있어서,
    상기 매입데이터에는, 상기 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 종류의 예측계수가, 상기 복수 종류의 향상정보로서 매입되어 있는 것을 특징으로 하는 데이터 처리장치.
  33. 제 27항에 있어서,
    상기 복수 종류의 향상정보에서, 상기 데이터의 품질을 향상시키는 데에 사용하는 것을 선택하는 향상정보 선택수단을 또한 갖추는 것을 특징으로 하는 데이터 처리장치.
  34. 제 21항에 있어서,
    상기 추출수단은, 상기 데이터가 갖는 에너지의 치우침을 이용하여, 상기 매입데이터에서, 상기 향상정보를 추출하는 것을 특징으로 하는 데이터 처리장치.
  35. 제 21항에 있어서,
    상기 추출수단은, 역스펙트럼확산을 행함으로써, 상기 매입데이터에서, 상기 향상정보를 추출하는 것을 특징으로 하는 데이터 처리장치.
  36. 제 21항에 있어서,
    상기 추출수단은, 상기 매입데이터의 1비트 이상을, 상기 향상정보로서 추출하는 것을 특징으로 하는 데이터 처리장치.
  37. 제 21항에 있어서,
    상기 데이터는, 화상데이터이고, 상기 향상정보는, 상기 화상데이터의 화질을 향상시키는 정보인 것을 특징으로 하는 데이터 처리장치.
  38. 데이터에 대하여, 그 데이터의 품질을 향상시키기 위한 향상정보가 매입된 매입데이터를 처리하는 데이터 매입방법이고,
    상기 매입데이터에서, 상기 향상정보를 추출하는 추출스텝과,
    상기 데이터의 품질을, 상기 향상정보를 사용하여 향상시키는 향상스텝을 갖는 데이터 처리방법.
  39. 데이터에 대하여, 그 데이터의 품질을 향상시키기 위한 향상정보가 매입된 매입데이터를 처리하는 데에, 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록매체이고,
    상기 매입데이터에서, 상기 향상정보를 추출하는 추출스텝과,
    상기 데이터의 품질을, 상기 향상정보를 사용하여 향상시키는 향상스텝을 가지는 프로그램이 기록되어 있는 기록매체.
  40. 데이터에 대하여, 그 데이터의 품질을 향상시키기 위한 향상정보가 매입된 매입데이터를 처리하는 데에, 컴퓨터에 실행시키는 프로그램이고,
    상기 매입데이터에서, 상기 향상정보를 추출하는 추출스텝과,
    상기 데이터의 품질을, 상기 향상정보를 사용하여 향상시키는 향상스텝을 갖는 프로그램.
  41. 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성수단과,
    상기 데이터와, 1종류 이상의 상기 향상정보를 송신하는 송신수단을 갖추는 데이터 처리장치.
  42. 제 41항에 있어서,
    상기 복수 종류의 향상정보 중에서, 상기 데이터와 함께 송신하는 것을 선택하는 향상정보 선택수단을 또한 갖추는 데이터 처리장치.
  43. 제 42항에 있어서,
    상기 향상정보 선택수단은, 상기 데이터를 수신하는 수신장치로부터의 요구에 따라서, 상기 향상정보를 선택하는 것을 특징으로 하는 데이터 처리장치.
  44. 제 43항에 있어서,
    상기 향상정보 선택수단이 선택하는 상기 향상정보에 따라서, 부과금처리를 행하는 부과수단을 또한 갖추는 것을 특징으로 하는 데이터 처리장치.
  45. 제 41항에 있어서,
    상기 향상정보 생성수단은, 적어도, 상기 데이터의 품질을 향상시킨 품질향상데이터의 예측값을 예측하는 데에 사용하는 예측계수를, 상기 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  46. 제 45항에 있어서,
    상기 향상정보 생성수단은, 상기 예측계수를 소정의 클라스마다 생성하는 것을 특징으로 하는 데이터 처리장치.
  47. 제 46항에 있어서,
    상기 향상정보 생성수단은,
    교사가 되는 교사데이터 중의 주목하고 있는 주목교사 데이터의 클라스를 구하는 데에 사용하는 클라스탭을, 학생이 되는 학생데이터를 사용하여 구성하는 클라스탭 구성수단과,
    상기 클라스탭에 의거하여, 상기 주목교사 데이터의 클라스를 구하는 클라스분류를 행하는 클라스 분류수단과,
    상기 주목교사 데이터를 예측하는 데에, 상기 예측계수와 함께 사용하는 예측탭을, 상기 학생데이터를 사용하여 구성하는 예측탭 구성수단과,
    상기 교사데이터 및 예측탭을 사용하여, 상기 클라스마다의 상기 예측계수를 구하는 예측계수 연산수단을 갖추는 것을 특징으로 하는 데이터 처리장치.
  48. 제 47항에 있어서,
    상기 향상정보 생성수단은, 다른 클라스수에 대한 상기 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  49. 제 47항에 있어서,
    상기 향상정보 생성수단은, 다른 품질의 상기 학생데이터 또는 교사데이터를 사용함으로서 구해지는 복수 종류의 예측계수를 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  50. 제 47항에 있어서,
    상기 향상정보 생성수단은, 적어도, 상기 예측계수와, 선형보간을 행하기 위한 정보를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  51. 제 47항에 있어서,
    상기 향상정보 생성수단은, 다른 구성의 상기 클라스탭 또는 예측탭을 사용함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  52. 제 47항에 있어서,
    상기 향상정보 생성수단은, 상기 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 생성하는 것을 특징으로 하는 데이터 처리장치.
  53. 제 41항에 있어서,
    상기 송신수단은, 상기 데이터가 갖는 에너지의 치우침을 이용하여, 상기 데이터 및 향상정보를 원래로 되돌릴 수 있도록, 상기 데이터에, 상기 향상정보를 매입하여, 상기 데이터 및 1종류 이상의 향상정보를 송신하는 것을 특징으로 하는 데이터 처리장치.
  54. 제 41항에 있어서,
    상기 송신수단은, 스펙트럼확산을 행함으로써, 상기 데이터에, 상기 향상정보를 매입하여, 상기 데이터 및 1종류 이상의 향상정보를 송신하는 것을 특징으로 하는 데이터 처리장치.
  55. 제 41항에 있어서,
    상기 송신수단은, 상기 데이터의 1비트 이상을, 상기 향상정보로 변경함으로써, 상기 데이터에, 상기 향상정보를 매입하여, 상기 데이터 및 1종류 이상의 향상정보를 송신하는 것을 특징으로 하는 데이터 처리장치.
  56. 제 41항에 있어서,
    상기 송신수단은, 상기 데이터와, 상기 복수 종류의 향상정보의 전체를 송신하는 것을 특징으로 하는 데이터 처리장치.
  57. 제 41항에 있어서,
    상기 데이터는, 화상데이터이고, 상기 향상정보는, 상기 화상데이터의 화질을 향상시키는 정보인 것을 특징으로 하는 데이터 처리장치.
  58. 데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성스텝과,
    상기 데이터와, 1종류 이상의 상기 향상정보를 송신하는 송신스텝을 갖는 데이터 처리방법.
  59. 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록매체이고,
    데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성스텝과,
    상기 데이터와, 1종류 이상의 상기 향상정보를 송신하는 송신스텝을 갖는 프로그램이 기록되어 있는 기록매체.
  60. 컴퓨터에 실행시키는 프로그램이고,
    데이터의 품질을 향상시키기 위한 복수 종류의 향상정보를 생성하는 향상정보 생성스텝과,
    상기 데이터와, 1종류 이상의 상기 향상정보를 송신하는 송신스텝을 갖는 프로그램.
  61. 데이터와, 그 데이터의 품질을 향상시키기 위한 1종류 이상의 향상정보를 수신하여 처리하는 데이터 처리장치이고,
    상기 데이터 및 1종류 이상의 향상정보를 수신하는 수신수단과,
    상기 데이터의 품질을, 상기 1종류 이상의 향상정보 중의 어느 것을 사용하여 향상시키는 향상수단과,
    상기 데이터의 품질을 향상시키는 데에 사용한 상기 향상정보에 따라서, 부과금처리를 행하는 부과수단을 갖추는 데이터 처리장치.
  62. 제 61항에 있어서,
    상기 수신수단은, 복수 종류의 향상정보를 수신하고,
    상기 복수 종류의 향상정보 중에서, 상기 데이터의 품질을 향상시키는 데에 사용하는 것을 선택하는 향상정보 선택수단을 또한 갖추는 데이터 처리장치.
  63. 제 62항에 있어서,
    상기 향상정보 선택수단은, 사용자로부터의 요구에 따라서, 상기 향상정보를 선택하는 것을 특징으로 하는 데이터 처리장치.
  64. 제 61항에 있어서,
    상기 데이터의 품질을 향상시키는 데에 사용하는 상기 향상정보를, 상기 데이터 및 1종류 이상의 향상정보를 송신하는 송신장치에 요구하는 요구수단을 또한 갖추고,
    상기 수신수단은, 상기 송신장치가, 요구수단의 요구에 따라서 송신하여 오는 상기 향상정보를 수신하는 것을 특징으로 하는 데이터 처리장치.
  65. 제 61항에 있어서,
    상기 향상정보는, 상기 데이터의 품질을 향상시킨 품질향상 데이터의 예측값을 예측하는 데에 사용하는 예측계수이고, 상기 향상수단은, 상기 데이터 및 예측계수를 사용함으로써, 상기 품질향상 데이터의 예측값을 구하는 것을 특징으로 하는 데이터 처리장치.
  66. 제 65항에 있어서,
    상기 향상정보는, 소정의 클라스마다 구해진 상기 예측계수이고, 상기 향상수단은, 상기 데이터 및 클라스마다의 예측계수를 사용함으로써, 상기 품질향상 데이터의 예측값을 구하는 것을 특징으로 하는 데이터 처리장치.
  67. 제 66항에 있어서,
    상기 향상수단은,
    주목하고 있는 상기 품질향상데이터인 주목품질 향상데이터의 클라스를 구하는 데에 사용하는 클라스탭을, 상기 데이터를 사용하여 구성하는 클라스탭 구성수단과,
    상기 클라스탭에 의거하여, 상기 주목품질 향상데이터의 클라스를 구하는 클라스분류를 행하는 클라스 분류수단과,
    상기 주목품질 향상데이터를 예측하는 데에, 상기 예측계수와 함께 사용하는예측탭을, 상기 데이터를 사용하여 구성하는 예측탭 구성수단과,
    상기 주목품질 향상데이터의 예측값을, 그 주목품질 향상데이터의 클라스의 상기 예측계수와, 상기 예측탭을 사용하여 구하는 예측수단을 갖추는 것을 특징으로 하는 데이터 처리장치.
  68. 제 67항에 있어서,
    상기 수신수단은, 복수 종류의 상기 향상정보를 수신하는 것을 특징으로 하는 데이터 처리장치.
  69. 제 68항에 있어서,
    상기 수신수단은, 다른 클라스수에 대한 상기 예측계수를, 상기 복수 종류의 향상정보로서 수신하는 것을 특징으로 하는 데이터 처리장치.
  70. 제 68항에 있어서,
    상기 예측계수는, 학생이 되는 학생데이터와, 교사가 되는 교사데이터를 사용하여 생성되는 것이고, 상기 수신수단은, 다른 품질의 상기 학생데이터 또는 교사데이터를 사용함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 수신하는 것을 특징으로 하는 데이터 처리장치.
  71. 제 68항에 있어서,
    상기 수신수단은 적어도, 상기 예측계수와, 선형보간을 행하기 위한 정보를, 상기 복수 종류의 향상정보로서 수신하는 것을 특징으로 하는 데이터 처리장치.
  72. 제 68항에 있어서,
    상기 수신수단은, 다른 구성의 상기 클라스탭 또는 예측탭을 사용함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 수신하는 것을 특징으로 하는 데이터 처리장치.
  73. 제 68항에 있어서,
    상기 수신수단은, 상기 클라스분류를 다른 방법으로 행함으로써 구해지는 복수 종류의 예측계수를, 상기 복수 종류의 향상정보로서 수신하는 것을 특징으로 하는 데이터 처리장치.
  74. 제 61항에 있어서,
    상기 수신수단은, 상기 데이터에, 상기 1종류 이상의 향상정보가 매입된 매입데이터를 수신하고,
    상기 매입데이터에서, 상기 향상정보를 추출하는 추출수단을 또한 갖추는 데이터 처리장치.
  75. 제 74항에 있어서,
    상기 추출수단은, 상기 데이터가 갖는 에너지의 치우침을 이용하여, 상기 매입데이터에서, 상기 향상정보를 추출하는 것을 특징으로 하는 데이터 처리장치.
  76. 제 74항에 있어서,
    상기 추출수단은, 역스펙트럼확산을 행함으로써, 상기 매입데이터에서, 상기 향상정보를 추출하는 것을 특징으로 하는 데이터 처리장치.
  77. 제 74항에 있어서,
    상기 추출수단은, 상기 매입데이터의 1비트 이상을, 상기 향상정보로서 추출하는 것을 특징으로 하는 데이터 처리장치.
  78. 제 61항에 있어서,
    상기 데이터는, 화상데이터이고, 상기 향상정보는, 상기 화상데이터의 화질을 향상시키는 정보인 것을 특징으로 하는 데이터 처리장치.
  79. 데이터와, 그 데이터의 품질을 향상시키기 위한 1종류 이상의 향상정보를 수신하여 처리하는 데이터 처리방법이고,
    상기 데이터 및 1종류 이상의 향상정보를 수신하는 수신스텝과,
    상기 데이터의 품질을, 상기 1종류 이상의 향상정보 중의 어느 것을 사용하여 향상시키는 향상스텝과,
    상기 데이터의 품질을 향상시키기 위해 사용한 상기 향상정보에 따라서, 부과금처리를 행하는 부과금스텝을 갖는 데이터 처리방법.
  80. 데이터와, 그 데이터의 품질을 향상시키기 위한 1종류 이상의 향상정보를 수신하여 처리하는 데에, 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록매체이고,
    상기 데이터 및 1종류 이상의 향상정보를 수신하는 수신스텝과,
    상기 데이터의 품질을, 상기 1종류 이상의 향상정보 중의 어느 것을 사용하여 향상시키는 향상스텝과,
    상기 데이터의 품질을 향상시키는 데에 사용한 상기 향상정보에 따라서, 부과금처리를 행하는 부과금스텝을 갖는 프로그램이 기록되어 있는 기록매체.
  81. 데이터와, 그 데이터의 품질을 향상시키기 위한 1종류 이상의 향상정보를 수신하여 처리하는 데에, 컴퓨터에 실행시키는 프로그램이고,
    상기 데이터 및 1종류 이상의 향상정보를 수신하는 수신스텝과,
    상기 데이터의 품질을, 상기 1종류 이상의 향상정보 중의 어느 것을 사용하여 향상시키는 향상스텝과,
    상기 데이터의 품질을 향상시키는 데에 사용한 상기 향상정보에 따라서, 부과금처리를 행하는 부과금스텝을 갖는 프로그램.
KR1020017013684A 2000-02-29 2001-02-28 데이터 처리장치 및 방법과 기록매체 및 프로그램 KR20010113047A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000053098 2000-02-29
JPJP-P-2000-00053098 2000-02-29
PCT/JP2001/001525 WO2001065847A1 (en) 2000-02-29 2001-02-28 Data processing device and method, and recording medium and program

Publications (1)

Publication Number Publication Date
KR20010113047A true KR20010113047A (ko) 2001-12-24

Family

ID=18574523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017013684A KR20010113047A (ko) 2000-02-29 2001-02-28 데이터 처리장치 및 방법과 기록매체 및 프로그램

Country Status (6)

Country Link
US (2) US7679678B2 (ko)
EP (2) EP1176824B1 (ko)
KR (1) KR20010113047A (ko)
CN (2) CN100477779C (ko)
DE (1) DE60141734D1 (ko)
WO (1) WO2001065847A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
TW200608342A (en) * 2004-08-27 2006-03-01 Benq Corp Display apparatus abstract
US8290250B2 (en) * 2008-12-26 2012-10-16 Five Apes, Inc. Method and apparatus for creating a pattern recognizer
US8160354B2 (en) * 2008-12-26 2012-04-17 Five Apes, Inc. Multi-stage image pattern recognizer
US8229209B2 (en) * 2008-12-26 2012-07-24 Five Apes, Inc. Neural network based pattern recognizer
WO2010136547A1 (en) * 2009-05-27 2010-12-02 Canon Kabushiki Kaisha Method and device for processing a digital signal
WO2012081241A1 (ja) 2010-12-16 2012-06-21 パナソニック株式会社 制作装置及びコンテンツ配信システム
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
WO2013061337A2 (en) * 2011-08-29 2013-05-02 Tata Consultancy Services Limited Method and system for embedding metadata in multiplexed analog videos broadcasted through digital broadcasting medium
US9986202B2 (en) * 2016-03-28 2018-05-29 Microsoft Technology Licensing, Llc Spectrum pre-shaping in video

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04292077A (ja) * 1991-03-20 1992-10-16 Fujitsu Ltd 画像デ−タ出力制御方法
US5243423A (en) * 1991-12-20 1993-09-07 A. C. Nielsen Company Spread spectrum digital data transmission over TV video
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JP3671437B2 (ja) * 1994-08-04 2005-07-13 ソニー株式会社 ディジタル画像信号の処理装置および処理方法
JPH08256085A (ja) * 1995-03-17 1996-10-01 Sony Corp スペクトラム拡散通信システム及びその送信機と受信機
US5621660A (en) * 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US6275988B1 (en) * 1995-06-30 2001-08-14 Canon Kabushiki Kaisha Image transmission apparatus, image transmission system, and communication apparatus
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
DE69722277T2 (de) * 1996-01-31 2004-04-01 Canon K.K. Abrechnungsvorrichtung und ein die Abrechnungsvorrichtung verwendendes Informationsverteilungssystem
US6282364B1 (en) * 1996-02-05 2001-08-28 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus and video signal regenerating apparatus
JPH09231276A (ja) * 1996-02-27 1997-09-05 Canon Inc 課金装置、通信装置及び通信システム
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6160845A (en) * 1996-12-26 2000-12-12 Sony Corporation Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
JP3844031B2 (ja) * 1996-12-26 2006-11-08 ソニー株式会社 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
IL125866A (en) * 1996-12-26 2003-01-12 Sony Corp Method and device for compressing an original picture signal to a compressed picture signal and for decoding a compressed picture signal to an original picture signal
US6211919B1 (en) * 1997-03-28 2001-04-03 Tektronix, Inc. Transparent embedment of data in a video signal
US6695259B1 (en) * 1997-05-21 2004-02-24 Hitachi, Ltd. Communication system, communication receiving device and communication terminal in the system
IL128423A (en) * 1997-06-16 2003-07-31 Sony Corp Image processing device and method, and transmission medium, tramsmission method and image format
JPH1198487A (ja) 1997-09-24 1999-04-09 Mitsubishi Electric Corp 画像符号化装置及び画像復号化装置
US7154560B1 (en) * 1997-10-27 2006-12-26 Shih-Fu Chang Watermarking of digital image data
JP3915855B2 (ja) * 1997-12-19 2007-05-16 ソニー株式会社 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
JP4093621B2 (ja) * 1997-12-25 2008-06-04 ソニー株式会社 画像変換装置および画像変換方法、並びに学習装置および学習方法
US6389055B1 (en) * 1998-03-30 2002-05-14 Lucent Technologies, Inc. Integrating digital data with perceptible signals
JP3991249B2 (ja) * 1998-07-15 2007-10-17 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体
US6252631B1 (en) * 1998-09-14 2001-06-26 Advancedinteractive, Inc. Apparatus and method for encoding high quality digital data in video
KR100423455B1 (ko) * 2001-10-24 2004-03-18 삼성전자주식회사 영상신호처리장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치

Also Published As

Publication number Publication date
US20080240599A1 (en) 2008-10-02
CN1366769A (zh) 2002-08-28
CN101370131B (zh) 2011-03-02
EP1755344A3 (en) 2010-12-22
EP1176824B1 (en) 2010-04-07
DE60141734D1 (de) 2010-05-20
CN100477779C (zh) 2009-04-08
EP1176824A4 (en) 2005-06-22
CN101370131A (zh) 2009-02-18
EP1755344A2 (en) 2007-02-21
US20030103668A1 (en) 2003-06-05
EP1176824A1 (en) 2002-01-30
WO2001065847A1 (en) 2001-09-07
US7679678B2 (en) 2010-03-16

Similar Documents

Publication Publication Date Title
US20080240599A1 (en) Data processing device and method, recording medium, and program
US7869797B2 (en) Data processing system and method, communication system and method, and charging apparatus and method
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100846252B1 (ko) 정보 처리 장치, 시스템 및 방법, 및 기록 매체
EP1906670A2 (en) Transmitting apparatus, transmitting method, receiving apparatus, receiving method, transmitting and receiving apparatus, transmitting and receiving method, record medium, and signal
JP3912627B2 (ja) 画像符号化装置および画像符号化方法、並びに伝送方法
KR100904334B1 (ko) 화상 처리 카드, 화상 데이터 처리 장치 및 화상 데이터 처리 방법, 기록 매체, 및 화상 데이터 처리 시스템
KR101239268B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP2000115716A (ja) 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機
JPH11187407A (ja) 画像符号化装置および画像符号化方法、提供媒体、画像復号装置および画像復号方法、並びに学習装置および学習方法
Lin Reversible data-hiding for progressive image transmission
Naheed et al. Lossless data hiding using optimized interpolation error expansion
KR20060042124A (ko) 신호 처리 장치, 신호 처리 방법 및 커맨드 열 데이터 구조
JP2001320682A (ja) データ処理装置およびデータ処理方法、並びに記録媒体およびプログラム
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JP4582416B2 (ja) 画像符号化装置および画像符号化方法
JP2006109499A (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、記録媒体、並びに画像復号装置
JP4554138B2 (ja) 画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4016249B2 (ja) 画像符号化装置および符号化方法、画像復号装置および復号方法、記録媒体、プログラム、並びに、画像処理システム
JP4518727B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
JP4487900B2 (ja) 画像処理システム
JP4329453B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP2004229313A (ja) 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20071120

Effective date: 20081015