JP4674439B2 - Signal processing device and signal processing method, and information recording medium - Google Patents

Signal processing device and signal processing method, and information recording medium Download PDF

Info

Publication number
JP4674439B2
JP4674439B2 JP2004042906A JP2004042906A JP4674439B2 JP 4674439 B2 JP4674439 B2 JP 4674439B2 JP 2004042906 A JP2004042906 A JP 2004042906A JP 2004042906 A JP2004042906 A JP 2004042906A JP 4674439 B2 JP4674439 B2 JP 4674439B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
signal processing
image data
circuit
command
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004042906A
Other languages
Japanese (ja)
Other versions
JP2005236635A (en )
JP2005236635A5 (en )
Inventor
哲二郎 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、信号処理装置および信号処理方法、並びに情報記録媒体に関し、特に、複数のコマンドに応じて、ハードウェアの内部構造を切り換えることにより、単一のハードウェアで、多くの機能を、容易に実現することができるようにする信号処理装置および信号処理方法、並びに情報記録媒体に関する。 The present invention relates to a signal processing device and signal processing method, and a recording medium, in particular, in accordance with a plurality of commands, by switching the internal structure of the hardware, a single hardware, a number of functions, easily signal processing device and signal processing method to be able to realize the, and to the information recording medium.

近年、コンピュータの高速化、低価格化に伴い、各種の機能のソフトウェア化が進んでいる。 In recent years, the speed of the computer, along with the price reduction, the software of the various functions is progressing. 即ち、汎用のコンピュータのみならず、携帯電話機その他のPDA(Personal Digital Assistant)、テレビジョン受像機などのAV(Audio Visual)機器、電子炊飯器などの家電機器などにおいて、各種の処理は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などのプロセッサが、ソフトウェア(プログラム)を実行することで行われるようになっている。 In other words, not only general-purpose computer, mobile phone and other PDA (Personal Digital Assistant), AV such as a television receiver (Audio Visual) devices, such as in home appliances such as an electronic cooker, various processing, CPU ( processor such as Central Processing Unit) or a DSP (Digital Signal processor), and the like are performed by executing software (program).

このような機能のソフトウェア化に伴い、ソフトウェアも複雑で膨大なものとなってきており、コンピュータ(CPUやDSPなど)の負担が大になっている。 Along with the software of such functions, the software also has become as complex and large, the burden of the computer (such as CPU and DSP) has become to large. そこで、コンピュータシステムにかかる処理負担を低減する新規なプロセッサを有する装置が提案されている(例えば、特許文献1参照)。 Therefore, devices having a novel processor to reduce the processing burden on the computer system has been proposed (e.g., see Patent Document 1).

特開2002-358294号公報。 JP 2002-358294 JP.

上述のように、コンピュータにソフトウェアを実行させることで各種の処理を行う限り、今後、ますます複雑で膨大なソフトウェアの開発が必要となることが予想される。 As described above, as long as performing various processes is performed by executing a software on a computer, the future is expected to be required increasingly develop complex and huge software. そして、かかるソフトウェアの開発には、多大な労力と時間を要することとなる。 Then, in the development of such software, it takes a great deal of effort and time.

特に、高速な処理が要求される場合には、例えば、複数のプロセッサによる並列処理が必要となる。 In particular, when a high-speed processing is required, for example, parallel processing by a plurality of processors are required. 並列処理のためのソフトウェアの製作にあたっては、複数のプロセッサの動作タイミングを考慮しながら、膨大なステップ数のプログラミングを行わなければならず、ソフトウェアの製作者(技術者)の負担は相当なものとなる。 In the fabrication of the software for parallel processing, taking into account the operation timing of the plurality of processors, must be performed programming huge number steps, burden producer of software (technician) is a considerable Become.

一方、ある処理を行うだけであれば、その処理を行う専用のハードウェアとしての、例えば、IC(Integraged Circuit)(LSI(Large Scale Integration))などを開発する方法がある。 On the other hand, if only performs certain processing, as dedicated hardware which performs the processing, for example, IC (Integraged Circuit) (LSI (Large Scale Integration)) is a method to develop such.

しかしながら、ある処理を行う専用のハードウェアでは、その処理しか行うことができず、汎用性にかけることになる。 However, dedicated hardware to perform some processing, can be performed only the process, it will be subjected to versatility.

本発明は、このような状況に鑑みてなされたものであり、膨大なステップ数のプログラミングを行わずに、単一のハードウェアで、多くの機能を、容易に実現することができるようにするものである。 The present invention has been made in view of such circumstances, without programming the number of large steps, a single hardware, a number of functions, so can be easily realized it is intended.

本発明の信号処理装置は、複数のコマンドからなるコマンド列を受信するコマンド列受信手段と、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信されたコマンド列に応じて、信号処理の対象となる信号に複数の信号処理のうちのいずれかを施す信号処理手段とを備え、信号処理手段は、コマンド列に含まれる第1のコマンドに応じて、内部構造を第1の信号処理を実行する状態に切り換え、第1の信号処理の対象となる第1の信号に対して第1の信号処理を施し、コマンド列に含まれる第2のコマンドに応じて、内部構造を第2の信号処理を実行する状態に切り換え、第1の信号処理の処理結果である第2の信号に対して第2の信号処理を施し、第1のコマンドに第1の条件を表す条件情報が含まれている場合、第 The signal processing apparatus of the present invention includes a command sequence reception means for receiving a command string consisting of a plurality of commands, an internal structure capable of performing switching a plurality of signal processing, depending on the received command string Te, and a signal processing means for performing any of a plurality of signal processing to the signal to be subjected to signal processing, the signal processing means, in response to the first command included in the command string, the internal structure first switched to a state for performing a first signal processing, the first signal processing on the first signal to be the first signal processing, in response to the second command included in the command sequence, the internal structure switching to a state to perform a second signal processing, and facilities the second signal processing on the second signal as the processing result of the first signal processing, represents the first condition in the first command when the condition information is included, the の条件を満たすまで、第1の信号に対して第1の信号処理を再帰的に施し、第2のコマンドに第2の条件を表す条件情報が含まれている場合、第2の条件を満たすまで、第2の信号に対して第2の信号処理を再帰的に施す Until the condition is satisfied, the first signal processing on recursively to the first signal, if the condition information indicating the second condition is included in the second command, the second condition is satisfied until the second signal processing recursively performed on the second signal.

本発明の信号処理方法は、コマンド列受信手段と、信号処理手段とを備える信号処理装置の信号処理方法であって、コマンド列送信手段が、複数のコマンドからなるコマンド列を受信するコマンド列受信ステップと、信号処理手段が、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信されたコマンド列に応じて、信号処理の対象となる信号に複数の信号処理のうちのいずれかを施す信号処理ステップとを含み、信号処理ステップにおいて、信号処理手段は、コマンド列に含まれる第1のコマンドに応じて、内部構造を第1の信号処理を実行する状態に切り換え、第1の信号処理の対象となる第1の信号に対して第1の信号処理を施し、コマンド列に含まれる第2のコマンドに応じて、内部構造を第2の信号処理を実行 Signal processing method of the present invention, the command sequence reception means, a signal processing method of a signal processing apparatus and a signal processing unit, the command sequence transmission means, command sequence reception that receives a command string consisting of a plurality of commands a step, the signal processing means has an internal structure that can be performed by switching a plurality of signal processing, in accordance with the received command string, a plurality of signal processing to the signal to be subjected to signal processing and a signal processing step of performing one of the signal processing step, the signal processing means, in response to the first command included in the command string, it switches the internal structure in a state to perform a first signal processing, a first signal processing on the first signal to be the first signal processing, in response to the second command included in the command string, executing an internal structure second signal processing る状態に切り換え、第1の信号処理の処理結果である第2の信号に対して第2の信号処理を施し、第1のコマンドに第1の条件を表す条件情報が含まれている場合、第1の条件を満たすまで、第1の信号に対して第1の信号処理を再帰的に施し、第2のコマンドに第2の条件を表す条件情報が含まれている場合、第2の条件を満たすまで、第2の信号に対して第2の信号処理を再帰的に施す。 Switched to that state, and facilities the second signal processing on the second signal as the processing result of the first signal processing, if condition information indicating a first condition is included in the first command until the first condition is satisfied, the first signal processing on recursively to the first signal, if included condition information representing a second condition to the second command, the second until the condition, recursively performing second signal processing on the second signal.

本発明の情報記録媒体に記録されているコマンド列のデータ構造は、複数の信号処理を切り換えて実行することが可能な内部構造を有し、内部構造を第1の信号処理を実行する状態に切り換え、第1の信号処理の対象となる第1の信号に対して第1の信号処理を施し、内部構造を第2の信号処理を実行する状態に切り換え、第1の信号処理の処理結果である第2の信号に対して第2の信号処理を施す信号処理手段の内部構造を切り換えさせる複数のコマンドからなり、複数のコマンドのうちの第1のコマンドは、信号処理手段が実行する第1の信号処理に対応し、複数のコマンドのうちの第2のコマンドは、信号処理手段が第1の信号処理の実行後に実行する第2の信号処理に対応し、第1のコマンドに第1の条件を表す条件情報が含まれて Data structure of a command string recorded on the information recording medium of the present invention has an internal structure that can be performed by switching a plurality of signal processing, the internal structure in a state of performing a first signal processing switching the first signal processing on the first signal to be the first signal processing, it switches the internal structure in a state to perform a second signal processing, the processing result of the first signal processing a plurality of commands to switch the internal structure of the signal processing means for performing second signal processing for a second signal, the first command of the plurality of commands, the signal processing means executes 1 It corresponds to signal processing, the second command of the plurality of commands, corresponding to the second signal processing by the signal processing means is executed after execution of the first signal processing, first the first command It contains condition information representing the conditions る場合、第1の条件を満たすまで、第1の信号に対して第1の信号処理を再帰的に施させ、第2のコマンドに第2の条件を表す条件情報が含まれている場合、第2の条件を満たすまで、第2の信号に対して第2の信号処理を再帰的に施させる。 That case, to the first condition is satisfied, the first signal processing was recursively performed on the first signal, when the condition information indicating the second condition is included in the second command, to a second condition is satisfied, the second signal processing to recursively performed on the second signal.

本発明の信号処理装置および信号処理方法においては、複数のコマンドからなるコマンド列が受信される。 In the signal processing device and signal processing method of the present invention, the command sequence composed of a plurality of commands are received. そして、そのコマンド列に含まれる第1のコマンドに応じて、内部構造が第1の信号処理を実行する状態に切り換えられ、第1の信号処理の対象となる第1の信号に対して第1の信号処理が施される。 Then, in response to the first command included in the command string, the internal structure is switched to a state for performing the first signal processing, first with respect to the first signal to be the first signal processing 1 signal processing is performed. その後、さらに、コマンド列に含まれる第2のコマンドに応じて、内部構造が第2の信号処理を実行する状態に切り換えられ、第1の信号処理の処理結果である第2の信号に対して第2の信号処理が施される。 Then, further, in response to the second command included in the command sequence, the internal structure is switched to a state for performing the second signal processing, to the second signal as the processing result of the first signal processing second signal processing is performed. そして、第1のコマンドに第1の条件を表す条件情報が含まれている場合、第1の条件を満たすまで、第1の信号に対して第1の信号処理が再帰的に施され、第2のコマンドに第2の条件を表す条件情報が含まれている場合、第2の条件を満たすまで、第2の信号に対して第2の信号処理が再帰的に施される。 Then, if it contains condition information indicating a first condition in the first command, until the first condition is satisfied, the first signal processing is recursively applied to the first signal, the If the second command includes condition information indicating a second condition, to a second condition is satisfied, the second signal processing is recursively performed on the second signal.

本発明の情報記録媒体に記録されているコマンド列のデータ構造においては、複数のコマンドによって、信号処理を実行する信号処理手段の内部構造が切り換えられ、複数のコマンドのうちの第1のコマンドによって、信号処理手段による第1の信号処理が実行され、第1の信号処理の実行後に、複数のコマンドのうちの第2のコマンドによって、信号処理手段による第2の信号処理が実行される。 In the data structure of a command string recorded on the information recording medium of the present invention, the plurality of commands is switched internal structure of a signal processing means for performing signal processing by the first command of the plurality of commands is the first signal processing by the signal processing means executes, after execution of the first signal processing by the second command of the plurality of commands, the second signal processing by the signal processing means is performed. そして、第1のコマンドに第1の条件を表す条件情報が含まれている場合、第1の条件を満たすまで、第1の信号に対して第1の信号処理が再帰的に施され、第2のコマンドに第2の条件を表す条件情報が含まれている場合、第2の条件を満たすまで、第2の信号に対して第2の信号処理が再帰的に施される。 Then, if it contains condition information indicating a first condition in the first command, until the first condition is satisfied, the first signal processing is recursively applied to the first signal, the If the second command includes condition information indicating a second condition, to a second condition is satisfied, the second signal processing is recursively performed on the second signal.

本発明によれば、単一のハードウェアで、多くの機能を、容易に実現することが可能となる。 According to the present invention, a single hardware, it is possible to more features, be easily realized.

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。 The following description of the embodiments of the present invention, the constituent features of claim, the correspondence relation between the specific elements disclosed in an embodiment of the invention, as follows. この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。 This description is the specific examples supporting the invention described in claims, is intended to ensure that it is described in the embodiments of the invention. 従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。 Thus it has been described in the embodiments of the invention, as corresponding to configuration requirements, herein even if specific examples are not described, that matter, its specific examples, and the configuration It does not mean that the embodiment does not correspond to the requirements. 逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Conversely, even when a concrete example is described here as corresponding to a constitutional requirement, that the examples are meant to be those which do not correspond to constitutional requirements other than that constitutional requirement not.

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。 Furthermore, this description should invention corresponding to specific examples described in the embodiment of the invention is not intended to mean that it is all described in the claims. 換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 That is, the description is the invention corresponding to specific examples described in embodiments of the invention, the presence of the invention that are not described in the claims of this application, i.e., the future, a divisional application or, it does not deny the presence of added invention by correction.

請求項1に記載の信号処理装置は、 The signal processing apparatus according to claim 1,
複数のコマンドからなるコマンド列を受信するコマンド列受信手段(例えば、図55の受信部650)と、 Command sequence reception means for receiving a command string consisting of a plurality of commands (e.g., receiver 650 of FIG. 55),
複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信された前記コマンド列に応じて、信号処理の対象となる信号に前記複数の信号処理のうちのいずれかを施す信号処理手段(例えば、図57の信号処理回路656など)と を備え、 Has an internal structure that can be performed by switching a plurality of signal processing, in response to the received the command string, or the applied signal of the plurality of signal processing to the signal to be subjected to signal processing processing means (e.g., such as a signal processing circuit 656 in FIG. 57) and provided with,
前記信号処理手段は、 It said signal processing means,
前記コマンド列に含まれる第1のコマンドに応じて、内部構造を前記第1の信号処理を実行する状態に切り換え、前記第1の信号処理の対象となる第1の信号に対して前記第1の信号処理を施し、 In response to a first command included in the command sequence, it switches the internal structure in a state for executing the first signal processing, the first for the first signal to be the first signal processing subjected to a treatment of the signal,
前記コマンド列に含まれる第2のコマンドに応じて、内部構造を前記第2の信号処理を実行する状態に切り換え、前記第1の信号処理の処理結果である第2の信号に対して前記第2の信号処理を施し、 In response to a second command included in the command sequence, it switches the internal structure in a state for executing the second signal processing, wherein the second signal is the processing result of the first signal processing first and facilities of two of the signal processing,
前記第1のコマンドに第1の条件を表す条件情報が含まれている場合、前記第1の条件を満たすまで、前記第1の信号に対して前記第1の信号処理を再帰的に施し、 When the condition information indicating a first condition in the first command is included, until it said first condition is satisfied, recursively performing the first signal processing on the first signal,
前記第2のコマンドに第2の条件を表す条件情報が含まれている場合、前記第2の条件を満たすまで、前記第2の信号に対して前記第2の信号処理を再帰的に施す。 When the condition information representing a second condition in the second command is contained, until it said second condition is satisfied, recursively performing the second signal processing on the second signal.

請求項2に記載の信号処理装置は、 The signal processing apparatus according to claim 2,
前記信号処理手段は、複数の回路ブロック(例えば、図59のクラス分類回路511A乃至予測演算回路516A、クラス分類回路511B乃至予測演算回路516B、ライン遅延回路517、積和演算回路518、切換回路519) により構成される内部構造を有し、前記コマンド列に含まれるコマンドに応じて、前記回路ブロックの接続状態を切り換えることで、実行する信号処理の内容を変更する。 It said signal processing means, a plurality of circuit blocks (e.g., the classification circuit 511A to predictive operation circuit 516A in FIG. 59, the classification circuit 511B to predictive operation circuit 516B, the line delay circuit 517, the product-sum operation circuit 518, switching circuit 519 ) has an internal structure constituted by, in response to a command included in the command string, by switching the connection state between the circuit blocks and changes the content of the signal processing to be executed.

請求項5に記載の信号処理装置は、 The signal processing apparatus according to claim 5,
前記信号処理手段は、 It said signal processing means,
前記注目画像信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第1の画像信号から選択するクラスタップ選択手段(例えば、図59のクラス分類回路511Aや511B)と、 The target class tap using the image signals to classification into any class of the plurality of classes, the class tap selecting means for selecting from the first image signal (e.g., the classification circuit 511A of FIG. 59 and and 511B),
前記クラスタップに基づいて、前記注目画像信号をクラス分類するクラス分類手段(例えば、図59のクラス分類回路511Aや511B)と、 Based on the class tap, the target image signal classification means for classification (for example, the classification circuit 511A and 511B in FIG. 59),
前記注目画像信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第1の画像信号から選択する予測タップ選択手段(例えば、図59の遅延選択回路512Aや512B)と、 A prediction tap used for the operation of the tap coefficients when obtaining the target image signal, the prediction tap selecting means for selecting from said first image signal (e.g., the delay selection circuit 512A and 512B in FIG. 59),
前記注目画像信号のクラスのタップ係数を出力するタップ係数出力手段(例えば、図59の係数出力回路515Aや515B)と、 The tap coefficient output means for outputting a tap coefficient of the class of the subject image signal (e.g., the coefficient output circuit 515A and 515B in FIG. 59),
前記注目画像信号のクラスのタップ係数と、前記注目画像信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画像信号を求める演算手段(例えば、図59の予測演算回路516Aや516B)と を有する And the tap coefficients of the class of the target image signal, by performing a calculation using said prediction tap selected for the target image signal, calculation means for obtaining the target image signal (e.g., the prediction calculation in FIG. 59 having a circuit 516A and 516B) and.

請求項8に記載の信号処理方法は、 The signal processing method according to claim 8,
コマンド列受信手段と、信号処理手段とを備える信号処理装置の信号処理方法において、 A command sequence reception means, the signal processing method of a signal processing apparatus and a signal processing unit,
前記コマンド列送信手段が、複数のコマンドからなるコマンド列を受信するコマンド列受信ステップ(例えば、図56のステップS631)と、 The command sequence transmission means, a command string receiving step of receiving a command sequence composed of a plurality of commands (e.g., step S631 in FIG. 56),
前記信号処理手段が、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信された前記コマンド列に応じて、信号処理の対象となる信号に前記複数の信号処理のうちのいずれかを施す信号処理ステップ(例えば、図56のステップS638乃至S650)と を含み、 Said signal processing means has an internal structure that can be performed by switching a plurality of signal processing, in response to the received the command string among the plurality of signal processing to the signal to be subjected to signal processing signal processing step of performing one (e.g., step S638 through S650 in FIG. 56) and a,
前記信号処理ステップにおいて、前記信号処理手段は、 In the signal processing step, said signal processing means,
前記コマンド列に含まれる第1のコマンドに応じて、内部構造を前記第1の信号処理を実行する状態に切り換え、前記第1の信号処理の対象となる第1の信号に対して前記第1の信号処理を施し、 In response to a first command included in the command sequence, it switches the internal structure in a state for executing the first signal processing, the first for the first signal to be the first signal processing subjected to a treatment of the signal,
前記コマンド列に含まれる第2のコマンドに応じて、内部構造を前記第2の信号処理を実行する状態に切り換え、前記第1の信号処理の処理結果である第2の信号に対して前記第2の信号処理を施し、 In response to a second command included in the command sequence, it switches the internal structure in a state for executing the second signal processing, wherein the second signal is the processing result of the first signal processing first and facilities of two of the signal processing,
前記第1のコマンドに第1の条件を表す条件情報が含まれている場合、前記第1の条件を満たすまで、前記第1の信号に対して前記第1の信号処理を再帰的に施し、 When the condition information indicating a first condition in the first command is included, until it said first condition is satisfied, recursively performing the first signal processing on the first signal,
前記第2のコマンドに第2の条件を表す条件情報が含まれている場合、前記第2の条件を満たすまで、前記第2の信号に対して前記第2の信号処理を再帰的に施す。 When the condition information representing a second condition in the second command is contained, until it said second condition is satisfied, recursively performing the second signal processing on the second signal.

以下、本発明を適用した各種の装置(システム)の実施の形態について説明するが、その前に、その各種の装置が行う信号処理に利用するクラス分類適応処理について説明する。 Hereinafter will be described the embodiments of the various devices according to the present invention (systems), before that, described classification adaptive processing using the signal processing that various apparatus. なお、クラス分類適応処理は、各種の装置が行う信号処理に利用する処理の一例であり、各種の装置が行う信号処理は、クラス分類適応処理を利用しないものであってもかまわない。 Incidentally, classification adaptive processing is an example of a process that utilizes the signal processing various device performs signal processing in which various devices do, it may be one that does not use the classification adaptive processing.

また、ここでは、第1の画像データ(画像信号)を第2の画像データ(画像信号)に変換する画像変換処理を例に、クラス分類適応処理について説明する。 In addition, here, an example image conversion processing for converting the first image data (image signal) to the second image data (image signal) is described classification adaptive processing.

第1の画像データを第2の画像データに変換する画像変換処理は、その第1と第2の画像データの定義によって様々な信号処理となる。 Image conversion processing for converting the first image data into second image data is a variety of signal processing by the definition of the first and second image data.

即ち、例えば、第1の画像データを低空間解像度の画像データとするとともに、第2の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造(向上)処理ということができる。 That is, for example, the first image data with the image data of low spatial resolution, if the second image data and image data of high spatial resolution, the image conversion processing, spatial resolution creation to improve the spatial resolution ( improvement) can be said that the processing.

また、例えば、第1の画像データを低S/N(Siginal/Noise)の画像データとするとともに、第2の画像データを高S/Nの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。 Further, for example, the first image data with the image data of a low S / N (Siginal / Noise), if the second image data and image data of high S / N, the image conversion process, a noise it can be said that the noise removal process for removing.

さらに、例えば、第1の画像データを所定の画素数(サイズ)の画像データとするとともに、第2の画像データを、第1の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ(拡大または縮小)を行うリサイズ処理ということができる。 Furthermore, for example, with the first image data and the image data of a predetermined number of pixels (size), the second image data, if increasing the number of pixels the first image data or reduced image data, image conversion process, the image resizing (expansion or reduction) can be referred to resize process for.

また、例えば、第1の画像データを低時間解像度の画像データとするとともに、第2の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造(向上)処理ということができる。 Further, for example, the first image data and the low time resolution image data, if the second image data with high temporal resolution image data, the image conversion processing, time resolution creation to improve time resolution ( improvement) can be said that the processing.

さらに、例えば、第1の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第2の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。 Furthermore, for example, the first image data, along with the MPEG (Moving Picture Experts Group) decoding image data obtained by decoding image data encoded in block units such as encoding, the second image data the, if before encoding the image data, the image conversion process is a distortion removing process for removing various distortions such as block distortion caused by MPEG encoding and decoding.

なお、空間解像度創造処理において、低空間解像度の画像データである第1の画像データを、高空間解像度の画像データである第2の画像データに変換するにあたっては、第2の画像データを、第1の画像データと同一の画素数の画像データとすることもできるし、第1の画像データよりも画素数が多い画像データとすることもできる。 Incidentally, in the spatial resolution creation processing, the first image data is image data of low spatial resolution, in order to convert the second image data is image data of high spatial resolution, the second image data, the it may be one of the image data and the same number of pixels of the image data may be the number of pixels than the first image data is to large image data. 第2の画像データを、第1の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ(画素数)を拡大するリサイズ処理でもある。 Resize second image data, if the first image data image data pixel number is greater than the spatial resolution creation processing, to expand with a process for improving the spatial resolution, the image size (number of pixels) there is also in the process.

以上のように、画像変換処理によれば、第1および第2の画像データをどのように定義するかによって、様々な信号処理を実現することができる。 As described above, according to the image conversion processing, depending on how to define the first and second image data, it is possible to implement various signal processing.

以上のような画像変換処理としてのクラス分類適応処理では、第2の画像データのうちの注目している注目画素(の画素値)を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第1の画像データの画素(の画素値)とを用いた演算により、注目画素(の画素値)が求められる。 The classification adaptive processing as an image conversion process as described above, to classification into one of the classes of interest to the pixel of interest (the pixel values) are a plurality of classes of the second image data and the tap coefficients of the resulting class by, by calculation using the pixel of the first image data is selected (the pixel values) to the pixel of interest, the pixel of interest (pixel value of) is obtained.

即ち、図1は、クラス分類適応処理による画像変換処理を行う画像変換装置1の構成例を示している。 That is, FIG. 1 shows a configuration example of an image conversion apparatus 1 that performs image conversion processing by the classification adaptive processing.

画像変換装置1では、そこに供給される画像データが、第1の画像データとして、タップ選択部12および13に供給される。 In the image conversion apparatus 1, image data supplied thereto is, as the first image data are supplied to the tap selection unit 12 and 13.

注目画素選択部11は、第2の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。 Target pixel selection unit 11, the pixels constituting the second image data, sequentially, the pixel of interest, the information indicating the target pixel, and supplies the required block.

タップ選択部12は、注目画素(の画素値)を予測するのに用いる第1の画像データを構成する画素(の画素値)の幾つかを、予測タップとして選択する。 Tap selection unit 12, the number of pixels constituting the first image data used for predicting the target pixel (pixel value of) (values ​​of pixels) are selected as prediction taps.

具体的には、タップ選択部12は、注目画素の時空間の位置から空間的または時間的に近い位置にある第1の画像データの複数の画素を、予測タップとして選択する。 Specifically, the tap selector 12, a plurality of pixels of the first image data in a spatially or temporally close from the position of the time-space of the target pixel is selected as the prediction taps.

タップ選択部13は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第1の画像データを構成する画素の幾つかを、クラスタップとして選択する。 Tap selection unit 13, the pixel of interest, some of the pixels constituting the first image data used to perform classification for classifying into one of several classes, selected as a class tap. 即ち、タップ選択部13は、タップ選択部12が予測タップを選択するのと同様にして、クラスタップを選択する。 That is, the tap selector 13, the tap selection unit 12 in the same manner as selecting a prediction tap, selects a class tap.

なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。 Note that the prediction taps and the class taps may be one having the same tap structure, it may have different tap structures.

タップ選択部12で得られた予測タップは、予測演算部16に供給され、タップ選択部13で得られたクラスタップは、クラス分類部14に供給される。 Prediction taps obtained by the tap selector 12 is supplied to the prediction computation unit 16, the class taps obtained by the tap selector 13 is supplied to a classification unit 14.

クラス分類部14は、タップ選択部13からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部15に供給する。 Class classification unit 14, based on the class tap from the tap selection unit 13, the pixel of interest classification and supplies a class code corresponding to a class obtained as a result thereof to the coefficient output unit 15.

ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。 Here, as a method of performing classification, for example, it can be adopted ADRC (Adaptive Dynamic Range Coding) or the like.

ADRCを用いる方法では、クラスタップを構成する画素(の画素値)が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。 In the method using ADRC, the pixels constituting the class taps (values ​​of pixels) are ADRC processed, in accordance with the resulting ADRC code, the class of the pixel of interest is determined.

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。 In the K-bit ADRC, for example, the maximum value MAX and the minimum value MIN of the pixel values ​​of the pixels constituting the class tap are detected, the DR = MAX-MIN, a local dynamic range of a set, the dynamic range based on the DR, the pixel values ​​of the pixels constituting the class tap are re-quantized into K bits. 即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2 Kで除算(再量子化)される。 That is, the pixel value of each pixel forming the class taps, the minimum value MIN is subtracted, and the subtracted value is divided by DR / 2 K (requantization). そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。 Then, obtained as described above, the pixel value of each pixel of the K bits forming the class taps, the bit string arranged in a predetermined order is output as an ADRC code. 従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され(小数点以下切り捨て)、これにより、各画素の画素値が1ビットとされる(2値化される)。 Therefore, class taps, for example, if it is 1-bit ADRC process, a pixel value of each pixel forming the class taps is divided by the average of the maximum value MAX and the minimum value MIN (truncating decimal) , thereby, the pixel value of each pixel (binarized) are 1 bit. そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。 The bit string obtained by arranging the pixel values ​​of the one bit in a predetermined order is output as an ADRC code.

なお、クラス分類部14には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。 Note that the classification unit 14, for example, a pattern of level distribution of pixel values ​​of the pixels constituting the class tap, it is also possible to directly output as the class code. しかしながら、この場合、クラスタップが、N個の画素の画素値で構成され、各画素の画素値に、Kビットが割り当てられているとすると、クラス分類部14が出力するクラスコードの場合の数は、(2 NK通りとなり、画素の画素値のビット数Kに指数的に比例した膨大な数となる。 However, in this case, the class tap is composed of pixel values ​​of N pixels, the pixel value of each pixel, if the K bits are allocated, the number of cases of the class code class classification unit 14 outputs is, (2 N) becomes K Street, an enormous number exponentially proportional to the number of bits K of the pixel values of the pixels.

従って、クラス分類部14においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。 Thus, in the classification unit 14, the information amount of the class tap, ADRC processing or above, or by compressing by vector quantization or the like is preferably performed classification.

係数出力部15は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部14から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラス分類部14から供給されるクラスコードが表すクラスのタップ係数)を出力する。 Coefficient output section 15 stores the tap coefficient for each class obtained by learning described later, further, among the stored tap coefficients, stored at the address corresponding to the class code supplied from the classification unit 14 and it has tap coefficients and outputs the (class code supplied from the classification unit 14 the tap coefficient of the class represented). このタップ係数は、予測演算部16に供給される。 The tap coefficient is supplied to the prediction computation unit 16.

ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。 Here, the tap coefficient in the digital filter, which corresponds to a coefficient multiplied with the input data in a so-called tap.

予測演算部16は、タップ選択部12が出力する予測タップと、係数出力部15が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。 Prediction computation unit 16 includes a prediction tap tap selector 12 outputs, acquires the tap coefficients output from the coefficient output unit 15, using the prediction taps and the tap coefficients, the predicted value of the true value of the pixel of interest It performs predetermined prediction computation for determining the. これにより、予測演算部16は、注目画素の画素値(の予測値)、即ち、第2の画像データを構成する画素の画素値を求めて出力する。 Accordingly, the prediction computation unit 16, the pixel value of the pixel of interest (the prediction value of), i.e., calculates and outputs the pixel values ​​of pixels constituting the second image data.

次に、図2のフローチャートを参照して、図1の画像変換装置1による画像変換処理について説明する。 Next, with reference to the flowchart of FIG. 2, a description will be given of an image conversion process by image conversion apparatus 1 of FIG. 1.

ステップS11において、注目画素選択部11は、画像変換装置1に入力される第1の画像データに対する第2の画像データを構成する画素のうち、まだ、注目画素とされていないものの1つを、注目画素として選択し、ステップS12に進む。 In step S11, the target pixel selector 11, among the pixels constituting the second image data for the first image data input to the image conversion apparatus 1, still, a single but not a pixel of interest, selected as a target pixel, the process proceeds to step S12. 即ち、注目画素選択部11は、例えば、第2の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。 That is, the target pixel selecting section 11, for example, among the pixels constituting the second image data, in raster scan order, yet, those that are not the target pixel is selected as a pixel of interest.

ステップS12において、タップ選択部12と13が、そこに供給される第1の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。 In step S12, the tap selecting section 12 and 13, from the first image data supplied thereto, those that the prediction taps and class taps for the pixel of interest, respectively selected. そして、予測タップは、タップ選択部12から予測演算部16に供給され、クラスタップは、タップ選択部13からクラス分類部14に供給される。 The prediction tap is supplied to the prediction computation unit 16 from the tap selector 12, the class taps are supplied from the tap selection unit 13 to the classification unit 14.

クラス分類部14は、タップ選択部13から、注目画素についてのクラスタップを受信し、ステップS13において、そのクラスタップに基づき、注目画素をクラス分類する。 Class classification unit 14, the tap selection unit 13 receives the class tap for the pixel of interest, in step S13, based on the class tap, the pixel of interest classification. さらに、クラス分類部14は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部15に出力し、ステップS14に進む。 Further, the class classification unit 14, a class code representing the class of the pixel of interest obtained as a result of the classification, and outputs the coefficient output unit 15, the process proceeds to step S14.

ステップS14では、係数出力部15が、クラス分類部14から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。 In step S14, the coefficient output unit 15, and outputs the acquired tap coefficients stored at the address corresponding to the class code supplied from the classification unit 14. さらに、ステップS14では、予測演算部16が、係数出力部15が出力するタップ係数を取得し、ステップS15に進む。 Further, in step S14, the prediction computation unit 16 acquires the tap coefficients output from the coefficient output unit 15, the process proceeds to step S15.

ステップS15では、予測演算部16が、タップ選択部12が出力する予測タップと、係数出力部15から取得したタップ係数とを用いて、所定の予測演算を行う。 In step S15, the prediction computation unit 16, using the prediction taps tap selector 12 outputs, and the tap coefficient acquired from the coefficient output unit 15, performs predetermined prediction computation. これにより、予測演算部16は、注目画素の画素値を求めて出力し、ステップS16に進む。 Accordingly, the prediction computation unit 16, and determines and outputs the pixel value of the pixel of interest and proceeds to step S16.

ステップS16では、注目画素選択部11が、まだ、注目画素としていない第2の画像データがあるかどうかを判定する。 In step S16, the target pixel selecting section 11, still, determines whether there is a second image data that is not the pixel of interest. ステップS16において、まだ、注目画素としていない第2の画像データがあると判定された場合、ステップS11に戻り、以下、同様の処理が繰り返される。 In step S16, still, if it is determined that there is a second image data that is not the target pixel, the process returns to step S11, and similar processing is repeated.

また、ステップS16において、まだ、注目画素とされていない第2の画像データがないと判定された場合、処理を終了する。 Further, in step S16, still, if it is determined that there is no second image data which is not the pixel of interest, the process ends.

次に、図1の予測演算部16における予測演算と、係数出力部15に記憶されたタップ係数の学習について説明する。 Then, the prediction calculation in the prediction calculating unit 16 of FIG. 1, the coefficient output unit 15 for learning the stored tap coefficients will be described.

いま、例えば、高画質の画像データ(高画質画像データ)を第2の画像データとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質(解像度)を低下させた低画質の画像データ(低画質画像データ)を第1の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素(高画質画素)の画素値を、所定の予測演算によって求める(予測する)ことを考える。 Now decreased, for example, high-quality image data of the (high-quality image data) with the second image data, the image quality (resolution) the high-quality image data by, for example filtering by LPF (Low Pass Filter) quality image data obtained by the (low-quality image data) as the first image data, and selects the prediction taps from the low-quality image data, by using the prediction tap and tap coefficients, the high-quality image data pixel (high the pixel values ​​of the image quality pixel), considering that determined by the predetermined prediction calculation (predicted).

所定の予測演算として、例えば、線形1次予測演算を採用することとすると、高画質画素の画素値yは、次の線形1次式によって求められることになる。 As the predetermined prediction computation, for example, when adopting a linear first-order prediction computation, pixel values ​​y of the high quality pixel can be determined by a linear expression following linear.

・・・(1) ... (1)

但し、式(1)において、x nは、高画質画素yについての予測タップを構成する、n番目の低画質画像データの画素(以下、適宜、低画質画素という)の画素値を表し、w nは、n番目の低画質画素(の画素値)と乗算されるn番目のタップ係数を表す。 However, in the formula (1), x n is forming the prediction taps for the high-quality pixel y, the pixel of the n-th low-quality image data (hereinafter referred to as low as the image quality pixel) represents the pixel values of, w n represents the n-th n-th tap coefficient multiplied with the low-quality pixel (pixel value of). なお、式(1)では、予測タップが、N個の低画質画素x 1 ,x 2 ,・・・,x Nで構成されるものとしてある。 In formula (1), the prediction taps, N pieces of low-quality pixel x 1, x 2, · · ·, there as being composed of x N.

ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。 Here, the pixel value y of the high quality pixel is not linear first-order equation shown in equation (1), it is also possible to obtain the second- or higher-order equations.

いま、第kサンプルの高画質画素の画素値の真値をy kと表すとともに、式(1)によって得られるその真値y kの予測値をy k 'と表すと、その予測誤差e kは、次式で表される。 Now, the true value of the pixel value of high definition pixel of the k-th sample with expressed as y k, when the predicted value of the true value y k obtained by equation (1) expressed as y k ', the prediction error e k It is expressed by the following equation.

・・・(2) ... (2)

いま、式(2)の予測値y k 'は、式(1)にしたがって求められるため、式(2)のy k 'を、式(1)にしたがって置き換えると、次式が得られる。 Now, equation predicted value y k of the (2) ', since obtained according to equation (1), y k of the formula (2)', and replacing according to equation (1), the following equation is obtained.

・・・(3) ... (3)

但し、式(3)において、x n,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。 However, in the formula (3), x n, k represents the n-th low quality pixel forming the prediction taps for the high-quality pixel of the k-th sample.

式(3)(または式(2))の予測誤差e kを0とするタップ係数w nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数w nを求めることは、一般には困難である。 Tap coefficient w n for the prediction error e k 0 of the formula (3) (or Equation (2)) is, is the optimal for predicting the high-quality pixel, for all the high-quality pixel, such to seek is a tap coefficient w n, it is generally difficult.

そこで、タップ係数w nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数w nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。 Therefore, as the standard for indicating that the tap coefficient w n is optimal, for example, when adopting the method of least squares, optimal tap coefficient w n, the sum E of square errors expressed by the following formula it can be determined by minimizing.

・・・(4) ... (4)

但し、式(4)において、Kは、高画質画素y kと、その高画質画素y kについての予測タップを構成する低画質画素x 1,k ,x 2,k ,・・・,x N,kとのセットのサンプル数(学習用のサンプルの数)を表す。 However, in the formula (4), K is a high-quality pixel y k, low quality pixels x 1, k forming the prediction taps for the high-quality pixel y k, x 2, k, ···, x N , representing the number of samples of the set of k (the number of samples for learning).

式(4)の自乗誤差の総和Eの最小値(極小値)は、式(5)に示すように、総和Eをタップ係数w nで偏微分したものを0とするw nによって与えられる。 The minimum value of the sum E of square errors of Equation (4) (minimum value), as shown in Equation (5), given that by partially differentiating the sum E with the tap coefficient w n by w n to 0.


・・・(5) ... (5)

そこで、上述の式(3)をタップ係数w nで偏微分すると、次式が得られる。 Therefore, when partial differentiation of above equation (3) with the tap coefficient w n, the following equation is obtained.

・・・(6) ... (6)

式(5)と(6)から、次式が得られる。 From equations (5) (6), the following equation is obtained.


・・・(7) ... (7)

式(7)のe kに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。 To e k of the formula (7), by substituting equation (3), equation (7) can be represented by normal equations shown in Equation (8).

・・・(8) ... (8)

式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数w nについて解くことができる。 Normal equation of Equation (8), for example, by using a like sweeping-out method (Gauss-Jordan elimination method) can be solved for the tap coefficient w n.

式(8)の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)w nを、クラスごとに求めることができる。 The normal equation of Equation (8), by solving for each class, the optimal tap coefficient (here, the tap coefficient that minimizes the sum E of square errors) to w n, can be found for each class .

次に、図3は、式(8)の正規方程式をたてて解くことによりタップ係数w nを求める学習を行う学習装置21の構成例を示している。 Next, FIG. 3 shows an example of the configuration of a learning apparatus 21 performs learning for determining the tap coefficient w n by solving the normal equations in equation (8).

学習用画像記憶部31は、タップ係数w nの学習に用いられる学習用画像データを記憶している。 Learning image storage unit 31 stores the learning image data used for learning of the tap coefficient w n. ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。 Here, the learning image data, for example, can be used a high resolution high-quality image data.

教師データ生成部32は、学習用画像記憶部31から学習用画像データを読み出す。 Tutor data generating unit 32 reads the learning image data from the learning image storage unit 31. さらに、教師データ生成部32は、学習用画像データから、タップ係数の学習の教師(真値)、即ち、式(1)による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部33に供給する。 Furthermore, the tutor data generating unit 32, generates the learning image data, teacher tap coefficient learning (true value), i.e., the teacher data serving as the pixel values ​​of the mapping destination of mapping the prediction calculation performed by equation (1) and supplies the teacher data storage unit 33. ここでは、教師データ生成部32は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部33に供給する。 Here, the teacher data generating unit 32, for example, a high-quality image data as the learning image data, as teacher data as it is, and supplies the teacher data storage unit 33.

教師データ記憶部33は、教師データ生成部32から供給される教師データとしての高画質画像データを記憶する。 Teacher data storage unit 33 stores a high-quality image data as the supervisor data supplied from the supervisor data generator 32.

生徒データ生成部34は、学習用画像記憶部31から学習用画像データを読み出す。 Student data generating unit 34 reads the learning image data from the learning image storage unit 31. さらに、生徒データ生成部34は、学習用画像データから、タップ係数の学習の生徒、即ち、式(1)による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部174に供給する。 Further, the student data generating unit 34 from the learning image data, student tap coefficient learning, i.e., generates student data serving as a pixel value to be converted by mapping the prediction calculation performed by equation (1), the student data supplies in the storage unit 174. ここでは、生徒データ生成部34は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部35に供給する。 Here, the student data generating unit 34, for example, by filtering the high-quality image data as the learning image data, by reducing the resolution thereof, to generate a low-quality image data, the low-quality image data , as student data, and supplies the learner data storage unit 35.

生徒データ記憶部35は、生徒データ生成部34から供給される生徒データを記憶する。 Student data storage unit 35 stores the student data supplied from the student data generating unit 34.

学習部36は、教師データ記憶部33に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部35に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図1のタップ選択部12が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。 Learning unit 36, the pixels constituting the high-quality image data as the supervisor data stored in the teacher data memory unit 33, sequentially, as a target pixel, for the pixel of interest, the student data stored in the student data storage unit 35 constituting the low-quality image data as one of low-quality pixel, the low-quality pixels having the same tap structure as a tap selection unit 12 of FIG. 1 is selected, it is selected as the prediction taps. さらに、学習部36は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式(8)の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。 Furthermore, the learning unit 36 ​​uses the pixels constituting the teacher data, and prediction taps in which the pixel is selected when the pixel of interest, for each class, make a normal equation of Equation (8) by solving, determining a tap coefficient for each class.

即ち、図4は、図3の学習部36の構成例を示している。 That is, FIG. 4 shows an example of the configuration of the learning unit 36 ​​of FIG.

注目画素選択部41は、教師データ記憶部33に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。 Target pixel selection unit 41, the pixels forming the supervisor data stored in the teacher data storage unit 33 sequentially selects a pixel of interest, the information indicating the target pixel, and supplies the required block.

タップ選択部42は、注目画素について、生徒データ記憶部35に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図1のタップ選択部12が選択するの同一の画素を選択し、これにより、タップ選択部12で得られるのと同一のタップ構造の予測タップを得て、足し込み部45に供給する。 Tap selection unit 42, for the pixel of interest, from the low-quality pixels constituting the low-quality image data as the learner data stored in the student data storage unit 35, the same pixel of the tap selection unit 12 of FIG. 1 is selected selected, thereby to obtain the prediction taps having the same tap structure as that obtained by the tap selector 12, and supplies the adder 45.

タップ選択部43は、注目画素について、生徒データ記憶部35に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図1のタップ選択部13が選択するのと同一の画素を選択し、これにより、タップ選択部13で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部44に供給する。 Tap selection unit 43, for the pixel of interest, the same pixel and the low quality pixels constituting the low-quality image data as the learner data stored in the student data storage unit 35, selects the tap selection unit 13 of FIG. 1 select, thereby to obtain a class tap having the same tap structure as that obtained by the tap selector 13, and supplies the class classification unit 44.

クラス分類部44は、タップ選択部43が出力するクラスタップに基づき、図1のクラス分類部14と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部45に出力する。 Class classification unit 44, based on the class taps output from the tap selector 43 performs the same classification and the classification unit 14 of FIG. 1, a class code corresponding to a class obtained as a result thereof to the adder 45 Output.

足し込み部45は、教師データ記憶部33から、注目画素となっている教師データ(画素)を読み出し、その注目画素と、タップ選択部42から供給される注目画素についての予測タップを構成する生徒データ(画素)とを対象とした足し込みを、クラス分類部44から供給されるクラスコードごとに行う。 Adder 45, from teacher data storage unit 33 reads out the teacher data has a pixel of interest (pixel), constituting its subject pixel, prediction taps for the pixel of interest supplied from the tap selection unit 42 Students the summation targeting and data (pixel) is performed for each class code supplied from the classification unit 44.

即ち、足し込み部45には、教師データ記憶部33に記憶された教師データy k 、タップ選択部42が出力する予測タップx n,k 、クラス分類部44が出力するクラスコードが供給される。 That is, the adder 45, the teacher data storage unit 33 teacher data y k stored in the prediction tap x n from the tap selecting section 42 outputs, k, the class code class classification unit 44 outputs is supplied .

そして、足し込み部45は、クラス分類部44から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)x n,kを用い、式(8)の左辺の行列における生徒データどうしの乗算(x n,kn',k )と、サメーション(Σ)に相当する演算を行う。 Then, adder 45, for each class corresponding to the class code supplied from the classification unit 44, prediction taps (student data) x n, with k, the student data in the matrix on the left of formula (8) with each other performing multiplication and (x n, k x n ' , k), the calculation corresponding to summation (sigma).

さらに、足し込み部45は、やはり、クラス分類部44から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)x n,kと教師データy kを用い、式(8)の右辺のベクトルにおける生徒データx n,kおよび教師データy kの乗算(x n,kk )と、サメーション(Σ)に相当する演算を行う。 Further, the adder 45, again, for each class corresponding to the class code supplied from the classification unit 44, using the prediction taps (student data) x n, k and the teacher data y k, the formula (8) student data x n in the vector on the right side, k and multiplication of teacher data y k (x n, k y k) and, a calculation corresponding to summation (sigma) performed.

即ち、足し込み部45は、前回、注目画素とされた教師データについて求められた式(8)における左辺の行列のコンポーネント(Σx n,kn',k )と、右辺のベクトルのコンポーネント(Σx n,kk )を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σx n,kn',k )またはベクトルのコンポーネント(Σx n,kk )に対して、新たに注目画素とされた教師データについて、その教師データy k+1および生徒データx n,k+1を用いて計算される、対応するコンポーネントx n,k+1n',k+1またはx n,k+1k+1を足し込む(式(8)のサメーションで表される加算を行う)。 That is, the adder 45, the last component of the matrix on the left in the obtained for the teacher data is a pixel of interest Equation (8) (Σx n, k x n ', k) and the right side of the vector components ( ? x n, k y k), and stores in a memory (not shown) to the internal components of the matrix (Σx n, k x n ' , k) or component of a vector (? x n, k y k respect), the new target pixel and the teacher data, the teacher data y k + 1 and the student data x n, is calculated using the k + 1, corresponding component x n, k + 1 x n ', k + 1 or x n, Komu adding k + 1 y k + 1 (performs addition represented by the summation of equation (8)).

そして、足し込み部45は、教師データ記憶部33(図3)に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部46に供給する。 Regular Then, the adder 45, all the teacher data stored in the teacher data storage unit 33 (FIG. 3) as the target pixel, by performing the summation of the above, for each class, as shown in equation (8) When formulate an equation, and supplies the normal equations to the tap coefficient calculating section 46.

タップ係数算出部46は、足し込み部45から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数w nを求めて出力する。 Tap coefficient calculating section 46 solves the normal equations for each class supplied from the adder 45, for each class, and outputs the determined optimal tap coefficient w n.

図1の画像変換装置1における係数出力部15には、以上のようにして求められたクラスごとのタップ係数w nが記憶されている。 The coefficient output unit 15 in the image conversion apparatus 1 in FIG. 1, the tap coefficient w n for each class determined as described above is stored.

ここで、第1の画像データに対応する生徒データとする画像データと、第2の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。 Here, the image data to the learner data corresponding to the first image data, the method of selecting the image data to be a teacher data corresponding to the second image data, as the tap coefficients, as described above, various it can be obtained to perform image transformation processing.

即ち、上述のように、高画質画像データを、第2の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第1の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図5上から1番目に示すように、低画質画像データ(SD(Standard Definition)画像)である第1の画像データを、その空間解像度を向上させた高画質画像データ(HD(High Definition)画像データ)である第2の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。 That is, as described above, the high-quality image data, together with the teacher data corresponding to the second image data, the low-quality image data obtained by degrading the space resolution of the high-quality image data, the first image data as student data corresponding to, by performing the learning of the tap coefficients, the tap coefficients, as shown in the first figure from the top of Fig 5, the first image is a low-quality image data (SD (Standard Definition) image) the data can be obtained to perform image conversion processing as a spatial resolution creation processing for converting to the high-quality image data of spatial resolution was improved (HD (High Definition) image data) second image data which is .

なお、この場合、第1の画像データ(生徒データ)は、第2の画像データ(教師データ)と画素数が同一であっても良いし、少なくても良い。 In this case, the first image data (student data), to the number of pixels and the second image data (teacher data) may be the same, may be less.

また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図5上から2番目に示すように、低S/Nの画像データである第1の画像データを、そこに含まれるノイズを除去(低減)した高S/Nの画像データである第2の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。 Further, for example, as well as a high-quality image data and the teacher data for high-quality image data as the teacher data, an image data obtained by superimposing noise as student data, by performing the learning of the tap coefficients, the tap coefficients as, as shown in the second from the top 5, the first image data is image data of a low S / N, is an image data of a high S / N obtained by the noise removal (reduction) contained therein it can be obtained to perform image conversion processing as noise removal processing for converting the second image data.

さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図5上から3番目に示すように、画像データの一部である第1の画像データを、その第1の画像データを拡大した拡大画像データである第2の画像データに変換する拡大処理(リサイズ処理)としての画像変換処理を行うものを得ることができる。 Furthermore, for example, with a certain image data and the teacher data, an image data obtained by thinning out the number of pixels of image data as the teacher data as student data, by performing the learning of the tap coefficients, as the tap coefficients, FIG. 5 as shown in the third from the top, the first image data is a part of the image data, enlargement processing of converting the second image data is an enlarged image data obtained by enlarging the first image data (resizing ) the image conversion processing can be obtained as to perform.

なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。 Incidentally, the tap coefficient for performing the enlargement processing, as well as a high-quality image data and the teacher data, the spatial resolution of the high-quality image data, the low-quality image data that is degraded by thinning the number of pixels as student data, the tap it can also be obtained by performing the learning of the coefficients.

また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図5上から4番目(1番下)に示すように、所定のフレームレートの第1の画像データを、高フレームレートの第2の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。 Further, for example, while the image data of the high frame rate as the teacher data, an image data obtained by thinning out the frames of image data of a high frame rate as the teacher data as student data, by performing the learning of the tap coefficients, tap the coefficient, as shown in the fourth figure from the top of Fig 5 (bottommost), of the first image data of a predetermined frame rate, as the time resolution creation processing for converting the second image data of a high frame rate it can be obtained to perform image transformation processing.

次に、図6のフローチャートを参照して、図3の学習装置21の処理(学習処理)について、説明する。 Next, with reference to the flowchart of FIG. 6, the processing of the learning device 21 in FIG. 3 for (learning processing) will be described.

まず最初に、ステップS21において、教師データ生成部32と生徒データ生成部34が、学習用画像記憶部31に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部33と生徒データ生成部34にそれぞれ供給して記憶させる。 First, in step S21, teacher data generating unit 32 and student data generating unit 34, from the stored learning image data in the learning image storage unit 31, and generates teacher data and student data, teacher data storage unit 33 and then supplied to the learner data generator 34 stores.

なお、教師データ生成部32と生徒データ生成部34において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。 Incidentally, in the supervisor data generator 32 and the student data generating unit 34, whether each produces what student data and teacher data, tap coefficients for any processing of the image conversion process of the type described above different depending on whether to learning.

その後、ステップS22に進み、学習部36(図4)において、注目画素選択部41は、教師データ記憶部33に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、ステップS23に進む。 Thereafter, the process proceeds to step S22, selected in the learning section 36 (FIG. 4), the target pixel selecting section 41, from among the teacher data stored in the teacher data storing section 33, yet, those not selected as a target pixel, as the pixel of interest then, the process proceeds to step S23. ステップS23では、タップ選択部42が、注目画素について、生徒データ記憶部35に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部45に供給するとともに、タップ選択部43が、やはり、注目画素について、生徒データ記憶部35に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部44に供給する。 In step S23, the tap selection unit 42, for the pixel of interest, selects a pixel of the student data and the prediction tap from the student data stored in the student data storage unit 35, and supplies to the adder 45, the tap selection part 43, also, for the pixel of interest, selects the student data to the class tap from the student data stored in the student data storage unit 35, and supplies the class classification unit 44.

そして、ステップS24に進み、クラス分類部44は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部45に出力して、ステップS25に進む。 Then, the process proceeds to step S24, the class classification unit 44, based on the class tap for the target pixel, performs class classification of the pixel of interest, a class code corresponding to a class obtained as a result, and outputs the adder 45 , the process proceeds to step S25.

ステップS25では、足し込み部45は、教師データ記憶部33から、注目画素を読み出し、その注目画素と、タップ選択部42から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式(8)の足し込みを、クラス分類部44から供給されるクラスコードごとに行い、ステップS26に進む。 At step S25, the adder 45, from the teacher data memory unit 33, reads out the pixel of interest, and the pixel of interest, and student data constituting the prediction tap selected for the target pixel supplied from the tap selecting section 42 the summing of the formula (8) that targets performed for each class code supplied from the classification unit 44, the process proceeds to step S26.

ステップS26では、注目画素選択部41が、教師データ記憶部33に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。 In step S26, the target pixel selecting section 41, the teacher data storage unit 33, still, determines whether the teacher data that is not the target pixel is stored. ステップS26において、注目画素としていない教師データが、まだ、教師データ記憶部33に記憶されていると判定された場合、ステップS22に戻り、以下、同様の処理が繰り返される。 In step S26, teacher data that is not the target pixel is, still, if it is determined to be stored in the supervisor data storage unit 33, the flow returns to step S22, and similar processing is repeated.

また、ステップS26において、注目画素としていない教師データが、教師データ記憶部33に記憶されていないと判定された場合、足し込み部45は、いままでのステップS22乃至S26の処理によって得られたクラスごとの式(8)における左辺の行列と、右辺のベクトルを、タップ係数算出部46に供給し、ステップS27に進む。 Furthermore, the class in step S26, teacher data that is not the pixel of interest, if it is determined not to be stored in the supervisor data storage unit 33, adder 45, obtained by the processing of steps S22 to S26 in ever and the matrix on the left in equation (8) in each, the vector of the right side, and supplies the tap coefficient calculating section 46, the process proceeds to step S27.

ステップS27では、タップ係数算出部46は、足し込み部45から供給されるクラスごとの式(8)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数w nを求めて出力し、処理を終了する。 In step S27, the tap coefficient calculating section 46 solves the normal equation for each class formed by the vector of the matrix on the left and right side of equation (8) for each class supplied from the adder 45, each class each and determines and outputs the tap coefficient w n, the process ends.

なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部46は、例えば、デフォルトのタップ係数を出力するようになっている。 Incidentally, due to such number of learning image data is not sufficient, although the number of normal equations necessary for obtaining the tap coefficients may be classes about which no occurs, for such class, tap coefficient calculating section 46, for example, and outputs a default tap coefficient.

次に、図7は、クラス分類適応処理による画像変換処理を行う他の画像変換装置である画像変換装置51の構成例を示している。 Next, FIG. 7 shows a configuration example of an image conversion apparatus 51 which is another image transformation apparatus for performing image conversion processing by the classification adaptive processing.

なお、図中、図1における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 Incidentally, portions corresponding to those in the figure, FIG. 1 are given the same reference numerals, and description thereof will be omitted below as appropriate. 即ち、画像変換装置51は、係数出力部15に代えて、係数出力部55が設けられている他は、図1の画像変換装置1と同様に構成されている。 That is, the image converter 51, instead of the coefficient output unit 15, in addition to the coefficient output unit 55 is provided, it is configured similarly to the image converter 1 of FIG. 1.

係数出力部55には、クラス分類部14からクラス(クラスコード)が供給される他、例えば、ユーザの操作に応じて外部から入力されるパラメータzが供給されるようになっている。 The coefficient output section 55, in addition to the class from the classification unit 14 (class code) is supplied, for example, a parameter z is set to be supplied externally input according to a user operation. 係数出力部55は、後述するようにして、パラメータzに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部14からのクラスのタップ係数を、予測演算部16に出力する。 Coefficient output section 55, as will be described later, to generate a tap coefficient for each class corresponding to the parameter z, of the tap coefficient for each class, the tap coefficients of the class from the classification unit 14, prediction calculation and outputs it to the part 16.

図8は、図7の係数出力部55の構成例を示している。 Figure 8 shows a configuration example of a coefficient output unit 55 of FIG.

係数生成部61は、係数種メモリ62に記憶されている係数種データと、パラメータメモリ63に記憶されたパラメータzとに基づいて、クラスごとのタップ係数を生成し、係数メモリ64に供給して上書きする形で記憶させる。 Coefficient generating unit 61, the coefficient seed data stored in the coefficient seed memory 62, based on the parameter z stored in the parameter memory 63, generates a tap coefficient for each class, and supplies to the coefficient memory 64 It is stored in the overwrite form.

係数種メモリ62は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。 Coefficient seed memory 62 stores coefficient seed data for each class obtained by learning of the coefficient seed data will be described later. ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。 Here, the coefficient seed data, generates a tap coefficient is data so to speak species.

パラメータメモリ63は、ユーザの操作等に応じて外部から入力されるパラメータzを上書きする形で記憶する。 Parameter memory 63 stores in the form of overwriting the parameter z supplied from the outside in response to a user operation or the like.

係数メモリ64は、係数生成部61から供給されるクラスごとのタップ係数(パラメータzに対応するクラスごとのタップ係数)を記憶する。 Coefficient memory 64 stores tap coefficients for each class supplied from the coefficient generator 61 (the tap coefficient for each class corresponding to the parameter z). そして、係数メモリ64は、クラス分類部14(図7)から供給されるクラスのタップ係数を読み出し、予測演算部16(図7)に出力する。 The coefficient memory 64 reads the tap coefficients of the class supplied from the classification unit 14 (FIG. 7) to the prediction computation unit 16 (FIG. 7).

図7の画像変換装置51では、外部から係数出力部55に対して、パラメータzが入力されると、係数出力部55(図8)のパラメータメモリ63において、そのパラメータzが、上書きする形で記憶される。 In the image conversion apparatus 51 of FIG. 7, the coefficient output unit 55 from the outside, the parameter z is input, the parameter memory 63 of the coefficient output unit 55 (FIG. 8), in the form the parameter z is, to overwrite It is stored.

パラメータメモリ63にパラメータzが記憶されると(パラメータメモリ63の記憶内容が更新されると)、係数生成部61は、係数種メモリ62からクラスごとの係数種データを読み出すとともに、パラメータメモリ63からパラメータzを読み出し、その係数種データとパラメータzに基づいて、クラスごとのタップ係数を求める。 If the parameter memory 63 the parameter z is stored (if the storage contents of the parameter memory 63 are updated), the coefficient generation unit 61 reads the coefficient seed data for each class from the coefficient seed memory 62, from the parameter memory 63 It reads the parameter z, based on the coefficient seed data and the parameter z, determining a tap coefficient for each class. そして、係数生成部61は、そのクラスごとのタップ係数を、係数メモリ64に供給し、上書きする形で記憶させる。 Then, the coefficient generation unit 61, a tap coefficient for each class, and supplies the coefficient memory 64, and stores in the form of overwriting.

画像変換装置51では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部15に代えて設けられている係数出力部55において、パラメータzに対応するタップ係数を生成して出力することを除いて、図1の画像変換装置1が行う図2のフローチャートにしたがった処理と同様の処理が行われる。 In the image conversion apparatus 51 stores a tap coefficient in the coefficient output unit 55 is provided instead of the coefficient output section 15 for outputting the tap coefficient, and generates and outputs a tap coefficient corresponding to the parameter z except that, the same processes in accordance with the flowchart of FIG. 2 performed by the image conversion apparatus 1 of FIG. 1 is performed.

次に、図7の予測演算部16における予測演算、並びに図8の係数生成部61におけるタップ係数の生成および係数種メモリ62に記憶させる係数種データの学習について説明する。 Then, the prediction calculation in the prediction calculating unit 16 of FIG. 7, and the generation and the coefficient seed memory 62 of the tap coefficients in the coefficient generation unit 61 of FIG. 8 for learning of the coefficient seed data to be stored will be described.

図1の実施の形態における場合のように、高画質の画像データ(高画質画像データ)を第2の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ(低画質画像データ)を第1の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、式(1)の線形1次予測演算によって求める(予測する)ことを考える。 As is the case in the embodiment of FIG. 1, a high-quality image data (high-quality image data) with the second image data, the low-quality image data with a reduced spatial resolution of the high-quality image data the (low-quality image data) as the first image data, and selects the prediction taps from the low-quality image data, by using the prediction tap and tap coefficients, the pixel value of high definition pixel is a pixel of the high-quality image data , for example, consider that determined by the linear first-order prediction computation of the formula (1) (predicted).

ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。 Here, the pixel value y of the high quality pixel is not linear first-order equation shown in equation (1), it is also possible to obtain the second- or higher-order equations.

図8の実施の形態では、係数生成部61において、タップ係数w nが、係数種メモリ62に記憶された係数種データと、パラメータメモリ63に記憶されたパラメータzとから生成されるが、この係数生成部61におけるタップ係数w nの生成が、例えば、係数種データとパラメータzを用いた次式によって行われることとする。 In the embodiment of FIG. 8, the coefficient generation unit 61, the tap coefficient w n is the coefficient seed data stored in the coefficient seed memory 62, but is generated from the parameter z stored in the parameter memory 63, the generating the tap coefficient w n in the coefficient generating unit 61, for example, to be performed by the following equation using the coefficient seed data and the parameter z.

・・・(9) ... (9)

但し、式(9)において、β m,nは、n番目のタップ係数w nを求めるのに用いられるm番目の係数種データを表す。 However, in the equation (9), beta m, n denotes the m-th coefficient seed data used for determining the n-th tap coefficient w n. なお、式(9)では、タップ係数w nが、M個の係数種データβ 1,n ,β 2,n ,・・・,β M,nを用いて求められるようになっている。 In formula (9), the tap coefficient w n is the coefficient of the M seed data β 1, n, β 2, n, ···, adapted to be determined using a beta M, n.

ここで、係数種データβ m,nとパラメータzから、タップ係数w nを求める式は、式(9)に限定されるものではない。 Here, the coefficient seed data beta m, n and the parameter z, the expression for obtaining the tap coefficient w n, is not limited to equation (9).

いま、式(9)におけるパラメータzによって決まる値z m-1を、新たな変数t mを導入して、次式で定義する。 Now, the value z m-1 determined by the parameter z in equation (9), by introducing a new variable t m, is defined by the following equation.

・・・(10) ... (10)

式(10)を、式(9)に代入することにより、次式が得られる。 Equation (10) by substituting the equation (9), the following equation is obtained.

・・・(11) ... (11)

式(11)によれば、タップ係数w nは、係数種データβ m,nと変数t mとの線形1次式によって求められることになる。 According to equation (11), the tap coefficient w n will be asked by the linear first-order equation of the coefficient seed data beta m, n and the variable t m.

ところで、いま、第kサンプルの高画質画素の画素値の真値をy kと表すとともに、式(1)によって得られるその真値y kの予測値をy k 'と表すと、その予測誤差e kは、次式で表される。 Meanwhile, the true value of the pixel values of the high-quality pixel of the k samples with expressed as y k, when the predicted value of the true value y k obtained by equation (1) expressed as y k ', the prediction error e k is expressed by the following equation.

・・・(12) ... (12)

いま、式(12)の予測値y k 'は、式(1)にしたがって求められるため、式(12)のy k 'を、式(1)にしたがって置き換えると、次式が得られる。 Now, the prediction value y k 'is because it is determined according to equation (1), y k of the formula (12)' of the equation (12), is replaced in accordance with equation (1), the following equation is obtained.

・・・(13) ... (13)

但し、式(13)において、x n,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。 However, in the equation (13), x n, k represents the n-th low quality pixel forming the prediction taps for the high-quality pixel of the k-th sample.

式(13)のw nに、式(11)を代入することにより、次式が得られる。 To w n of formula (13), by substituting equation (11), the following equation is obtained.

・・・(14) ... (14)

式(14)の予測誤差e kを0とする係数種データβ m,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβ m,nを求めることは、一般には困難である。 Prediction error e k coefficient seed data beta m, n to 0 in Equation (14), is the optimal for predicting the high-quality pixel, for all the high-quality pixel, such coefficient seed data determining the beta m, n is generally difficult.

そこで、係数種データβ m,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβ m,nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。 Therefore, as the standard for representing that the coefficient seed data beta m, n is optimal, for example, when adopting the method of least squares, best coefficient seed data beta m, n is expressed by the following formula the sum E of square errors may be determined by minimizing.

・・・(15) ... (15)

但し、式(15)において、Kは、高画質画素y kと、その高画質画素y kについての予測タップを構成する低画質画素x 1,k ,x 2,k ,・・・,x N,kとのセットのサンプル数(学習用のサンプルの数)を表す。 However, in the equation (15), K is a high-quality pixel y k, low quality pixels x 1, k forming the prediction taps for the high-quality pixel y k, x 2, k, ···, x N , representing the number of samples of the set of k (the number of samples for learning).

式(15)の自乗誤差の総和Eの最小値(極小値)は、式(16)に示すように、総和Eを係数種データβ m,nで偏微分したものを0とするβ m,nによって与えられる。 The minimum value of the sum E of square errors of Equation (15) (minimum value), as shown in equation (16), a material obtained by partially differentiating the sum E with the coefficient seed data beta m, n and 0 beta m, It is given by n.

・・・(16) ... (16)

式(13)を、式(16)に代入することにより、次式が得られる。 Equation (13) by substituting the equation (16), the following equation is obtained.


・・・(17) ... (17)

いま、X i,p,j,qとY i,pを、式(18)と(19)に示すように定義する。 Now, X i, p, j, q and Y i, the p, defined as shown in equation (18) and (19).


・・・(18) ... (18)


・・・(19) ... (19)

この場合、式(17)は、X i,p,j,qとY i,pを用いた式(20)に示す正規方程式で表すことができる。 In this case, equation (17), X i, p, j, can be expressed by normal equations shown in equation (20) using q and Y i, p.

・・・(20) ... (20)

式(20)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、係数種データβ m,nについて解くことができる。 Normal equation of Equation (20), for example, by using a like sweeping-out method (Gauss-Jordan elimination method) can be solved for the coefficient seed data beta m, n.

図7の画像変換装置51においては、多数の高画質画素y 1 ,y 2 ,・・・,y Kを学習の教師となる教師データとするとともに、各高画質画素y kについての予測タップを構成する低画質画素x 1,k ,x 2,k ,・・・,x N,kを学習の生徒となる生徒データとして、クラスごとに式(20)の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβ m,nが、係数出力部55(図8)の係数種メモリ62に記憶されており、係数生成部61では、その係数種データβ m,nと、パラメータメモリ63に記憶されたパラメータzから、式(9)にしたがって、クラスごとのタップ係数w nが生成される。 In the image conversion apparatus 51 of FIG. 7, a number of high-quality pixel y 1, y 2, · · ·, as well as the teacher data serving as a teacher of learning y K, the prediction tap for each high definition pixel y k low quality pixels x 1, k that constitute, x 2, k, ···, x N, as student data serving as a student learning k, the vertical and solves learning normal equation of formula (20) for each class coefficient seed data beta m, n for each class determined by performing found are stored in the coefficient seed memory 62 of the coefficient output unit 55 (FIG. 8), the coefficient generation unit 61, the coefficient seed data beta m, and n, from the stored parameter z in the parameter memory 63, according to equation (9), the tap coefficient w n for each class is generated. そして、予測演算部16において、そのタップ係数w nと、高画質画素としての注目画素についての予測タップを構成する低画質画素(第1の画像データの画素)x nを用いて、式(1)が計算されることにより、高画質画素としての注目画素の画素値(に近い予測値)が求められる。 Then, the prediction computation unit 16, using its tap coefficient w n, the low-quality pixel (first pixel of image data) x n constituting the prediction taps for the pixel of interest as a high definition pixel, equation (1 ) by is calculated, the pixel value of the pixel of interest as a high definition pixel (predicted value close to) are obtained.

次に、図9は、式(20)の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβ m,nを求める学習を行う学習装置71の構成例を示している。 Next, FIG. 9, by solving the normal equations in equation (20) for each class, there is shown an exemplary configuration of a learning apparatus 71 that performs learning for determining the coefficient seed data beta m, n for each class .

なお、図中、図3の学習装置21における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 Note that in the drawing, the portions corresponding to those in the learning apparatus 21 of FIG. 3 are denoted with the same reference numerals, and description thereof will be omitted below as appropriate. 即ち、学習装置71は、生徒データ生成部34と学習部36に代えて、生徒データ生成部74と学習部76がそれぞれ設けられているとともに、パラメータ生成部81が新たに設けられている他は、図3の学習装置21と同様に構成されている。 That is, the learning device 71, in place of the student data generating unit 34 and the learning unit 36, along with the student data generating unit 74 and the learning unit 76 are respectively provided, in addition to the parameter generating unit 81 are newly provided It is configured similarly to the learning apparatus 21 of FIG. 3.

生徒データ生成部74は、図3の生徒データ生成部34と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部35に供給して記憶させる。 Student data generating unit 74, similarly to the student data generating unit 34 of FIG. 3, and generates student data from the learning image data, and stores and supplies the student data storage unit 35.

但し、生徒データ生成部74には、学習用画像データの他、図8のパラメータメモリ63に供給されるパラメータzが取り得る範囲の幾つかの値が、パラメータ生成部81から供給されるようになっている。 However, as the student data generating unit 74, in addition to the learning image data, several values ​​in the range that can take the parameter z supplied to the parameter memory 63 of FIG. 8, is supplied from the parameter generating unit 81 going on. 即ち、いま、パラメータzが取り得る値が0乃至Zの範囲の実数であるとすると、生徒データ生成部74には、例えば、z=0,1,2,・・・,Zが、パラメータ生成部81から供給されるようになっている。 That is, now, the value that can take the parameter z is assumed to be real numbers in the range 0 to Z, the student data generating unit 74 is, for example, z = 0, 1, 2, · · ·, Z is, parameter generation It is supplied from section 81.

生徒データ生成部74は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。 Student data generating unit 74, a high-quality image data as the learning image data, for example, by filtering by LPF cutoff frequency corresponding to the parameter z supplied thereto, the low-quality image data as student data to generate.

従って、生徒データ生成部74では、学習用画像データとしての高画質画像データについて、Z+1種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。 Thus, the student data generating unit 74, the high-quality image data as the learning image data, the Z + 1 type, the low-quality image data as different spatial resolutions student data are generated.

なお、ここでは、例えば、パラメータzの値が大きくなるほど、カットオフ周波数の高いLPFを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。 Here, for example, the larger the value of the parameter z, using a high cut-off frequency LPF, filtering the high-quality image data, and configured to generate a low-quality image data as student data. 従って、ここでは、値の大きいパラメータzに対応する低画質画像データほど、空間解像度が高い。 Accordingly, here, as the low-quality image data corresponding to the large parameter z value, high spatial resolution.

また、本実施の形態では、説明を簡単にするために、生徒データ生成部74において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータzに対応する分だけ低下させた低画質画像データを生成するものとする。 Further, in this embodiment, in order to simplify the description, the student data generating unit 74, the horizontal and vertical directions of the spatial resolution of the high-quality image data, reduced by the amount corresponding to the parameter z It shall generate quality image data.

学習部76は、教師データ記憶部33に記憶された教師データ、生徒データ記憶部35に記憶された生徒データ、およびパラメータ生成部81から供給されるパラメータzを用いて、クラスごとの係数種データを求めて出力する。 Learning unit 76, the teacher data storage unit 33 in the stored training data, using the parameter z supplied from the student data memory unit 35 in the stored student data, and the parameter generating unit 81, the coefficient seed data for each class the seeking to output.

パラメータ生成部81は、パラメータzが取り得る範囲の幾つかの値としての、例えば、上述したようなz=0,1,2,・・・,Zを生成し、生徒データ生成部74と学習部76に供給する。 Parameter generation unit 81, as several values ​​in the range that can take the parameter z, for example, z = 0, 1, 2 as described above, ..., and generates a Z, the student data generating unit 74 learning supplied to the part 76.

次に、図10は、図9の学習部76の構成例を示している。 Next, FIG. 10 shows an example of the configuration of the learning unit 76 of FIG. なお、図中、図4の学習部36における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 Note that in the drawing, the portions corresponding to the learning unit 36 ​​of FIG. 4 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.

タップ選択部92は、図4のタップ選択部42と同様に、注目画素について、生徒データ記憶部35に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図7のタップ選択部12が選択するのと同一のタップ構造の予測タップを選択し、足し込み部95に供給する。 Tap selection unit 92, similarly to the tap selection unit 42 of FIG. 4, for the pixel of interest, from the low-quality pixels constituting the low-quality image data as the learner data stored in the student data storage unit 35, the tap of Figure 7 select the prediction taps having the same tap structure as selector 12 selects and supplies to the adder 95.

タップ選択部93も、図4のタップ選択部43と同様に、注目画素について、生徒データ記憶部35に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図7のタップ選択部13が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部44に供給する。 Tap selector 93, similarly to the tap selection unit 43 of FIG. 4, for the pixel of interest, from the low-quality pixels constituting the low-quality image data as the learner data stored in the student data storage unit 35, the tap of Figure 7 select a class tap having the same tap structure as selector 13 selects and supplies the class classification unit 44.

但し、図10では、タップ選択部42と43に、図9のパラメータ生成部81が生成するパラメータzが供給されるようになっており、タップ選択部42と43は、パラメータ生成部81から供給されるパラメータzに対応して生成された生徒データ(ここでは、パラメータzに対応するカットオフ周波数のLPFを用いて生成された生徒データとしての低画質画像データ)から、予測タップとクラスタップをそれぞれ選択する。 However, in FIG. 10, the tap selecting section 42 43, being adapted to the parameter z is supplied to generate the parameter generator 81 of FIG. 9, the tap selecting section 42 and 43, supplied from the parameter generating unit 81 student data (here, low-quality image data as student data generated using the LPF cutoff frequency corresponding to the parameter z) generated corresponding to the parameter z is from the prediction tap and the class tap each selection.

足し込み部95は、図9の教師データ記憶部33から、注目画素を読み出し、その注目画素、タップ選択部42から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータzを対象とした足し込みを、クラス分類部44から供給されるクラスごとに行う。 Adder 95, from the teacher data storage unit 33 in FIG. 9, reads out the pixel of interest, the student data constituting the pixel of interest, the prediction taps that are configured for the target pixel supplied from the tap selection unit 42, and the student the summation targeting the parameter z when generating the data, performed for each class supplied from the classification unit 44.

即ち、足し込み部95には、教師データ記憶部33に記憶された注目画素としての教師データy k 、タップ選択部42が出力する注目画素についての予測タップx i,k (x j,k )、およびクラス分類部44が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータzが、パラメータ生成部81から供給される。 That is, the adder 95, the teacher data teacher data y k of the stored target pixel in the storage unit 33, the prediction tap x i for the pixel of interest from the tap selecting section 42 outputs, k (x j, k) , and along with the class of the pixel of interest is supplied to the class classifying unit 44, and the parameters z when generating the student data forming the prediction taps for the pixel of interest are supplied from the parameter generating unit 81.

そして、足し込み部95は、クラス分類部44から供給されるクラスごとに、予測タップ(生徒データ)x i,k (x j,k )とパラメータzを用い、式(20)の左辺の行列における、式(18)で定義されるコンポーネントX i,p,j,qを求めるための生徒データおよびパラメータzの乗算(x i,kpj,kq )と、サメーション(Σ)に相当する演算を行う。 Then, the adder 95, for each class supplied from the classification unit 44, using the parameter z prediction taps (student data) x i, k (x j , k) and the left side of the matrix of Equation (20) in component X i, which is defined by equation (18), p, j, multiplication of the student data and the parameter z for determining the q (x i, k t p x j, k t q) and, summation (sigma corresponding performs computation on). なお、式(18)のt pは、式(10)にしたがって、パラメータzから計算される。 Incidentally, t p of formula (18), according to equation (10), is calculated from the parameter z. 式(18)のt qも同様である。 T q of formula (18) is the same.

さらに、足し込み部95は、やはり、クラス分類部44から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)x i,k 、教師データy k 、およびパラメータzを用い、式(20)の右辺のベクトルにおける、式(19)で定義されるコンポーネントY i,pを求めるための生徒データx i,k 、教師データy k 、およびパラメータzの乗算(x i,kpk )と、サメーション(Σ)に相当する演算を行う。 Further, the adder 95, again, for each class corresponding to the class code supplied from the classification unit 44, prediction taps (student data) x i, k, the supervisor data y k, and the parameter z using the formula in the vector of the right-hand side of (20), the component Y i, student data x i for obtaining the p, k, multiplication of teacher data y k, and the parameter z (x i defined by the equation (19), k t p and y k), the calculation corresponding to summation (sigma) performed. なお、式(19)のt pは、式(10)にしたがって、パラメータzから計算される。 Incidentally, t p of formula (19), according to equation (10), is calculated from the parameter z.

即ち、足し込み部95は、前回、注目画素とされた教師データについて求められた式(20)における左辺の行列のコンポーネントX i,p,j,qと、右辺のベクトルのコンポーネントY i,pを、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネントX i,p,j,qまたはベクトルのコンポーネントY i,pに対して、新たに注目画素とされた教師データについて、その教師データy k 、生徒データx i,k (x j,k )、およびパラメータzを用いて計算される、対応するコンポーネントx i,kpj,kqまたはx i,kpkを足し込む(式(18)のコンポーネントX i,p,j,qまたは式(19)のコンポーネントY i,pにおけるサメーションで表される加算を行う)。 That is, the adder 95, the last component X i of the matrix on the left in the obtained for the teacher data is a pixel of interest Equation (20), p, j, q and, on the right side of the vector component Y i, p the teacher data is stored in a memory (not shown), the component X i of the matrix, p, j, component Y i of q or vector, with respect to p, is a new pixel of interest to its internal for, the teacher data y k, student data x i, k (x j, k), and is calculated using the parameters z, corresponding component x i, k t p x j , k t q or x i, Komu plus k t p y k (component X i of formula (18), performs p, j, component Y i of q or the formula (19), the sum represented by summation in p).

そして、足し込み部95は、0,1,・・・,Zのすべての値のパラメータzにつき、教師データ記憶部33に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(20)に示した正規方程式をたてると、その正規方程式を、係数種算出部96に供給する。 Then, the adder 95 is 0, 1, ..., as all per parameter z value, the target pixel and all the teacher data stored in the teacher data memory unit 33 of the Z, performing the summation of the above Accordingly, for each class, make a normal equation shown in equation (20), supplies the normal equation, the coefficient seed calculator 96.

係数種算出部96は、足し込み部95から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβ m,nを求めて出力する。 Coefficient seed calculator 96 solves the normal equations for each class supplied from the adder 95 obtains and outputs the coefficient seed data beta m, n for each class.

次に、図11のフローチャートを参照して、図9の学習装置71の処理(学習処理)について、説明する。 Next, with reference to the flowchart of FIG. 11, the processing of the learning device 71 in FIG. 9, the (learning processing) will be described.

まず最初に、ステップS31において、教師データ生成部32と生徒データ生成部74が、学習用画像記憶部31に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。 First, in step S31, teacher data generating unit 32 and student data generating unit 74, from the stored learning image data in the learning image storage unit 31, a teacher data and student data to generate and output respectively . 即ち、教師データ生成部32は、学習用画像データを、例えば、そのまま、教師データとして出力する。 That is, the teacher data generating unit 32, the learning image data, for example, directly outputs as teacher data. また、生徒データ生成部74には、パラメータ生成部81が生成するZ+1個の値のパラメータzが供給される。 Further, the student data generating unit 74, a parameter z of Z + 1 single values ​​generated by the parameter generation unit 81 is supplied. 生徒データ生成部74は、例えば、学習用画像データを、パラメータ生成部81からのZ+1個の値(0,1,・・・,Z)のパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、各フレームの教師データ(学習用画像データ)について、Z+1フレームの生徒データを生成して出力する。 Student data generating unit 74, for example, the learning image data is filtered by LPF cutoff frequency corresponding to the parameter z of Z + 1 single values ​​(0, 1, · · ·, Z) from the parameter generation unit 81 it allows the teacher data (learning image data) of each frame, generates and outputs the student data Z + 1 frame.

教師データ生成部32が出力する教師データは、教師データ記憶部33に供給されて記憶され、生徒データ生成部74が出力する生徒データは、生徒データ記憶部35に供給されて記憶される。 Teacher data supervisor data generator 32 outputs is stored is supplied to the supervisor data storage unit 33, the student data output by the student data generating unit 74 is supplied to and stored in the learner data storage unit 35.

その後、ステップS32に進み、パラメータ生成部81は、パラメータzを、初期値としての、例えば0にセットし、学習部76(図10)のタップ選択部42および43、並びに足し込み部95に供給して、ステップS33に進む。 Thereafter, the process proceeds to step S32, the parameter generating unit 81 supplies the parameter z, as an initial value, set for example to zero, the tap selecting section 42 and 43 of the learning section 76 (FIG. 10), the adder 95 as well then, the process proceeds to step S33. ステップS33では、注目画素選択部41は、教師データ記憶部33に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として、ステップS34に進む。 In step S33, the target pixel selecting section 41, from among the teacher data stored in the teacher data storing section 33, yet, those not selected as a target pixel, as the pixel of interest, the process proceeds to step S34.

ステップS34では、タップ選択部42が、注目画素について、生徒データ記憶部35に記憶された、パラメータ生成部81が出力するパラメータzに対する生徒データ(注目画素となっている教師データに対応する学習用画像データを、パラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより生成された生徒データ)から予測タップを選択し、足し込み部95に供給する。 In step S34, the tap selection unit 42, the pixel of interest, stored in the student data storage unit 35, learning that corresponds to the training data that is the student data (pixel of interest with respect to the parameter z output from the parameter generating unit 81 image data, and selects the prediction taps from the student data) generated by filtering by LPF cutoff frequency corresponding to the parameter z, and supplies the adder 95. さらに、ステップS34では、タップ選択部43が、やはり、注目画素について、生徒データ記憶部35に記憶された、パラメータ生成部81が出力するパラメータzに対する生徒データからクラスタップを選択し、クラス分類部44に供給する。 Furthermore, in step S34, the tap selection unit 43, again, for the pixel of interest, stored in the student data storage unit 35, selects a class tap from the student data for the parameter z output from the parameter generating unit 81, the classification unit It supplies it to the 44.

そして、ステップS35に進み、クラス分類部44は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部95に出力して、ステップS36に進む。 Then, the process proceeds to step S35, the class classification unit 44, based on the class tap for the target pixel, performs class classification of the pixel of interest, a class of the pixel of interest obtained as a result is output to adder 95, step proceed to S36.

ステップS35では、足し込み部95は、教師データ記憶部33から注目画素を読み出し、その注目画素、タップ選択部42から供給される予測タップ、パラメータ生成部81が出力するパラメータzを用い、式(20)における左辺の行列のコンポーネントx i,Kpj,Kqと、右辺のベクトルのコンポーネントx i,KpKを計算する。 In step S35, the adder 95 reads the focused pixel from the supervisor data storage unit 33, the target pixel, the prediction tap supplied from the tap selecting section 42, a parameter z output from the parameter generating unit 81 using formula ( components x i of the matrix on the left in 20), K t p x j , K t q and, on the right side of the vector components x i, calculate the K t p y K. さらに、足し込み部95は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部44からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータzから求められた行列のコンポーネントx i,Kpj,Kqとベクトルのコンポーネントx i,KpKを足し込み、ステップS37に進む。 Further, the adder 95, of the components of the previously obtained by being matrix components and the vector, with respect to those corresponding to the class of the subject pixel from the classification unit 44, the pixel of interest, the prediction taps, and the parameter z components x i of the obtained matrix from, K t p x j, K t q and the vector components x i of, summing the K t p y K, the process proceeds to step S37.

ステップS37では、パラメータ生成部81が、自身が出力しているパラメータzが、その取り得る値の最大値であるZに等しいかどうかを判定する。 At step S37, it determines whether the parameter generating unit 81, a parameter z which itself is output is equal to Z is the maximum value of the possible values. ステップS36において、パラメータ生成部81が出力しているパラメータzが最大値Zに等しくない(最大値Z未満である)と判定された場合、ステップS38に進み、パラメータ生成部81は、パラメータzに1を加算し、その加算値を新たなパラメータzとして、学習部76(図10)のタップ選択部42および43、並びに足し込み部95に出力する。 In step S36, if the parameter z parameter generation unit 81 is output is not equal to the maximum value Z (less than the maximum value Z), the process proceeds to step S38, the parameter generating unit 81, the parameter z 1 adds, the added value as the new parameter z, and outputs to the learning unit 76 tap selector 42 and 43 (FIG. 10), addition unit 95 adds the list. そして、ステップS34に戻り、以下、同様の処理が繰り返される。 Then, the process returns to step S34, and similar processing is repeated.

また、ステップS37において、パラメータzが最大値Zに等しいと判定された場合、ステップS39に進み、注目画素選択部41が、教師データ記憶部33に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。 Further, in step S37, if the parameter z is determined to be equal to the maximum value Z, the process proceeds to step S39, the target pixel selection unit 41, the teacher data storage unit 33, yet, teacher data that is not the target pixel is stored It determines whether or not to have. ステップS38において、注目画素としていない教師データが、まだ、教師データ記憶部33に記憶されていると判定された場合、ステップS32に戻り、以下、同様の処理が繰り返される。 In step S38, the teacher data that is not the target pixel is, still, if it is determined to be stored in the supervisor data storage unit 33, the process returns to step S32, and similar processing is repeated.

また、ステップS39において、注目画素としていない教師データが、教師データ記憶部33に記憶されていないと判定された場合、足し込み部95は、いままでの処理によって得られたクラスごとの式(20)における左辺の行列と、右辺のベクトルを、係数種算出部96に供給し、ステップS40に進む。 Further, in step S39, teacher data that is not the pixel of interest, if it is determined not to be stored in the supervisor data storage unit 33, the adder 95, the formula (20 obtained for each class by the processing up to now and the matrix on the left in), the vector of the right side, and supplied to the coefficient seed calculator 96 proceeds to step S40.

ステップS40では、係数種算出部96は、足し込み部95から供給されるクラスごとの式(20)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβ m,nを求めて出力し、処理を終了する。 At step S40, the coefficient seed calculator 96 solves the normal equation for each class formed by the vector of the matrix on the left and right side of equation (20) for each class supplied from the adder 95, each class each outputs seeking coefficient seed data beta m, n, the process ends.

なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部96は、例えば、デフォルトの係数種データを出力するようになっている。 Incidentally, due to such number of learning image data is not sufficient, although the normal equation number necessary for obtaining the coefficient seed data can sometimes classes about which no results for that class is , the coefficient seed calculator 96, for example, and outputs a default coefficient seed data.

ところで、図9の学習装置71では、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、パラメータzに対応して劣化させた低画質画像データを生徒データとして、タップ係数w nおよび生徒データx nから式(1)の線形1次式で予測される教師データの予測値yの自乗誤差の総和を最小にする係数種データβ m,nを直接求める学習を行うようにしたが、係数種データβ m,nの学習は、その他、例えば、次のようにして行うことが可能である。 Incidentally, the learning apparatus 71 of FIG. 9, together with the teacher data quality image data as the learning image data, the low-quality image data to spatial resolution of the high-quality image data and is degraded in response to the parameter z as student data, the tap coefficient w n and student data x n coefficient seed data that minimizes the sum of square errors of the prediction value y of the supervisor data to be predicted by a linear first-order equation of the formula (1) from the beta m, n It was to perform seek direct learning, the learning of the coefficient seed data beta m, n is other, for example, be carried out as follows.

即ち、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データを、パラメータzに対応したカットオフ周波数のLPFによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像データを生徒データとして、まず最初に、タップ係数w nおよび生徒データx nを用いて式(1)の線形1次予測式で予測される教師データの予測値yの自乗誤差の総和を最小にするタップ係数w nを、パラメータzの値(ここでは、z=0,1,・・・,Z)ごとに求める。 That, together with the high-quality image data as the learning image data as teacher data, the high-quality image data by filtering by LPF cutoff frequency corresponding to the parameter z, drop the horizontal resolution and vertical resolution quality image data obtained by the student data, first, the tap coefficient w n and the square error of the prediction value y of the supervisor data to be predicted using the student data x n in the linear first-order prediction equation of the formula (1) the tap coefficient w n for the sum to a minimum (in this case, z = 0, 1, · · ·, Z) value of the parameter z seek each. そして、そのパラメータzの値ごとに求められたタップ係数w nを教師データとするとともに、パラメータzを生徒データとして、式(11)によって係数種データβ m,nおよび生徒データであるパラメータzに対応する変数t mから予測される教師データとしてのタップ係数w nの予測値の自乗誤差の総和を最小にする係数種データβ m,nを求める。 Then, the tap coefficient w n which is determined for each value of the parameter z as well as the teaching data, a parameter z as the learner data, a parameter z is the coefficient seed data beta m, n and student data by equation (11) obtaining coefficient seed data beta m, n that minimizes the sum of square errors of the prediction value of the tap coefficient w n as a teacher data predicted from corresponding variable t m.

ここで、式(1)の線形1次予測式で予測される教師データの予測値yの自乗誤差の総和Eを最小(極小)にするタップ係数w nは、図3の学習装置21における場合と同様に、式(8)の正規方程式をたてて解くことにより、各クラスについて、パラメータzの値(z=0,1,・・・,Z)ごとに求めることができる。 Here, the tap coefficient w n for the teacher data predicted by a linear first-order prediction equation the sum E of square errors of the prediction value y that minimizes (minimum) of formula (1), when in the learning apparatus 21 of FIG. 3 similar to, by solving the normal equations in equation (8), for each class, the value of the parameter z (z = 0,1, ···, Z) can be found for each.

ところで、タップ係数は、式(11)に示したように、係数種データβ m,nと、パラメータzに対応する変数t mとから求められる。 Incidentally, the tap coefficients, as shown in equation (11) is determined from the coefficient seed data beta m, n, and the variable t m corresponding to the parameter z. そして、いま、この式(11)によって求められるタップ係数を、w n 'と表すこととすると、次の式(21)で表される、最適なタップ係数w nと式(11)により求められるタップ係数w n 'との誤差e nを0とする係数種データβ m,nが、最適なタップ係数w nを求めるのに最適な係数種データとなるが、すべてのタップ係数w nについて、そのような係数種データβ m,nを求めることは、一般には困難である。 And now, a tap coefficient obtained by the equation (11), when it represents a w n ', it is expressed by the following equation (21), obtained by the optimum tap coefficients w n and equation (11) coefficient seed data beta m, n of the error e n of the tap coefficient w n 'and 0, but the optimum coefficient seed data for determining the optimal tap coefficient w n, for all of the tap coefficients w n, it is generally difficult to ask such coefficient seed data beta m, n.


・・・(21) ... (21)

なお、式(21)は、式(11)によって、次式のように変形することができる。 Incidentally, formula (21) can be by equation (11), modified as follows.


・・・(22) ... (22)

そこで、係数種データβ m,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβ m,nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。 Therefore, as the standard for representing that the coefficient seed data beta m, n is optimal, for example, again, when adopting the method of least squares, best coefficient seed data beta m, n, the table by the following formula the sum E of the square errors to be able to determined by minimizing.


・・・(23) ... (23)

式(23)の自乗誤差の総和Eの最小値(極小値)は、式(24)に示すように、総和Eを係数種データβ m,nで偏微分したものを0とするβ m,nによって与えられる。 The minimum value of the sum E of square errors of Equation (23) (minimum value), as shown in equation (24), a material obtained by partially differentiating the sum E with the coefficient seed data beta m, n and 0 beta m, It is given by n.


・・・(24) ... (24)

式(22)を、式(24)に代入することにより、次式が得られる。 Equation (22) by substituting the equation (24), the following equation is obtained.


・・・(25) ... (25)

いま、X i,j,とY iを、式(26)と(27)に示すように定義する。 Now, X i, j, and the Y i, is defined as shown in equation (26) (27).


・・・(26) ... (26)


・・・(27) ... (27)

この場合、式(25)は、X i,jとY iを用いた式(28)に示す正規方程式で表すことができる。 In this case, equation (25) can be represented by normal equations shown in equation (28) with X i, j and Y i.


・・・(28) ... (28)

式(28)の正規方程式も、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、係数種データβ m,nについて解くことができる。 Normal equation of Equation (28) also, for example, by using a like sweeping-out method (Gauss-Jordan elimination method) can be solved for the coefficient seed data beta m, n.

次に、図12は、式(28)の正規方程式をたてて解くことにより係数種データβ m,nを求める学習を行う学習装置101の構成例を示している。 Next, FIG. 12 shows an example of the configuration of a learning device 101 that performs learning for determining the coefficient seed data beta m, n by solving the normal equations in equation (28).

なお、図中、図3の学習装置21または図9の学習装置71における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 Note that in the drawing, the portions corresponding to those in the learning apparatus 71 of the learning device 21 or 9 of Figure 3 are denoted with the same reference numerals, and description thereof will be omitted below as appropriate. 即ち、学習装置101は、学習部76に代えて、学習部106が設けられている他は、図9の学習装置71と同様に構成されている。 That is, the learning apparatus 101, instead of the learning unit 76, except that the learning unit 106 is provided, is configured similarly to the learning device 71 in FIG.

図13は、図12の学習部106の構成例を示している。 Figure 13 shows an example of the configuration of the learning unit 106 of FIG. 12. なお、図中、図4の学習部36または図10の学習部76における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 Note that in the drawing, the portions corresponding to the learning unit 76 of the learning section 36 or 10 of Figure 4 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.

足し込み部115には、クラス分類部44が出力する注目画素のクラスと、パラメータ生成部81が出力するパラメータzが供給されるようになっている。 The adder 115, and the class of the pixel of interest class classification unit 44 outputs, the parameter z output from the parameter generator 81 are supplied. そして、足し込み部115は、教師データ記憶部33から、注目画素を読み出し、その注目画素と、タップ選択部42から供給される注目画素についての予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部44から供給されるクラスごとに、かつパラメータ生成部81が出力するパラメータzの値ごとに行う。 Then, the adder 115, the teacher data storage unit 33 reads out the pixel of interest, adding to its target pixel, the target and the student data forming the prediction taps for the pixel of interest supplied from the tap selecting section 42 the write is performed for each class supplied from the classification unit 44, and for each value of the parameter z output from the parameter generating unit 81.

即ち、足し込み部115には、教師データ記憶部33(図12)に記憶された教師データy k 、タップ選択部42が出力する予測タップx n,k 、クラス分類部44が出力するクラス、およびパラメータ生成部81(図12)が出力する、予測タップx n,kを構成する生徒データを生成したときのパラメータzが供給される。 That is, the adder 115, the teacher data storage unit 33 class teacher data y k stored in (FIG. 12), the prediction taps x n from the tap selecting section 42 outputs, k, the class classification unit 44 outputs, and parameter generation unit 81 (FIG. 12) outputs the prediction tap x n, the parameter z when generating the student data constituting the k is supplied.

そして、足し込み部115は、クラス分類部44から供給されるクラスごとに、かつパラメータ生成部81が出力するパラメータzの値ごとに、予測タップ(生徒データ)x n,kを用い、式(8)の左辺の行列における生徒データどうしの乗算(x n,kn',k )と、サメーション(Σ)に相当する演算を行う。 Then, the adder 115, for each class supplied from the classification unit 44, and for each value of parameter z parameter generating unit 81 outputs, using the prediction taps (student data) x n, and k, the formula ( multiplication (x n of each other learner data in the matrix on the left of 8), k x n ', k) and, a calculation corresponding to summation (sigma) performed.

さらに、足し込み部115は、やはり、クラス分類部44から供給されるクラスごとに、かつパラメータ生成部81が出力するパラメータzの値ごとに、予測タップ(生徒データ)x n,kと教師データy kを用い、式(8)の右辺のベクトルにおける生徒データx n,kおよび教師データy kの乗算(x n,kk )と、サメーション(Σ)に相当する演算を行う。 Further, the adder 115 is again for each class supplied from the classification unit 44, and for each value of parameter z parameter generating unit 81 outputs the prediction taps (student data) x n, k and the teacher data with y k, performed student data x n in the vector of the right side of equation (8), k and multiplication of teacher data y k (x n, k y k) and, a calculation corresponding to summation (sigma).

即ち、足し込み部115は、前回、注目画素とされた教師データについて求められた式(8)における左辺の行列のコンポーネント(Σx n,kn',k )と、右辺のベクトルのコンポーネント(Σx n,kk )を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σx n,kn',k )またはベクトルのコンポーネント(Σx n,kk )に対して、新たに注目画素とされた教師データについて、その教師データy k+1および生徒データx n,k+1を用いて計算される、対応するコンポーネントx n,k+1n',k+1またはx n,k+1k+1を足し込む(式(8)のサメーションで表される加算を行う)。 That is, the adder 115, previous, components of the left side of the matrix in the obtained for the teacher data is a pixel of interest Equation (8) (Σx n, k x n ', k) and the right side of the vector components ( ? x n, k y k), and stores in a memory (not shown) to the internal components of the matrix (Σx n, k x n ' , k) or component of a vector (? x n, k y k respect), the new target pixel and the teacher data, the teacher data y k + 1 and the student data x n, is calculated using the k + 1, corresponding component x n, k + 1 x n ', k + 1 or x n, Komu adding k + 1 y k + 1 (performs addition represented by the summation of equation (8)).

そして、足し込み部115は、教師データ記憶部33に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータzの各値ごとに、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部46に供給する。 Then, the adder 115, and all the teacher data stored in the teacher data storing section 33 as a pixel of interest, by carrying out the summation of the above, for each class, for each value of the parameter z, equation (8) When you make a normal equation shown in, and supplies the normal equations to the tap coefficient calculating section 46.

従って、足し込み部115は、図4の足し込み部45と同様に、各クラスについて、式(8)の正規方程式をたてる。 Therefore, the adder 115, similarly to the adder 45 of FIG. 4, for each class, make a normal equation of Equation (8). 但し、足し込み部115は、さらに、パラメータzの各値ごとにも、式(8)の正規方程式をたてる点で、図4の足し込み部45と異なる。 However, the adder 115 is further to be each value of the parameter z, the point to make a normal equation of formula (8), differs from the adder 45 of FIG.

タップ係数算出部46は、足し込み部115から供給される各クラスについての、パラメータzの値ごとの正規方程式を解くことにより、各クラスについて、パラメータzの値ごとの最適なタップ係数w nを求め、足し込み部121に供給する。 Tap coefficient calculating section 46, for each class supplied from the adder 115, by solving the normal equation for each value of the parameter z, for each class, the optimal tap coefficient w n for each value of the parameter z demand, supplies it to the adder 121.

足し込み部121は、パラメータ生成部81(図12)から供給されるパラメータz(に対応する変数t m )と、タップ係数算出部46から供給される最適なタップ係数w nを対象とした足し込みを、クラスごとに行う。 Adder 121 adds as a parameter generating unit 81 (variable t m corresponding to) the parameter z supplied from (12), directed to the optimum tap coefficients w n supplied from the tap coefficient calculating section 46 the Inclusive, performed for each class.

即ち、足し込み部121は、パラメータ生成部81(図12)から供給されるパラメータzから式(10)によって求められる変数t i (t j )を用い、式(28)の左辺の行列における、式(26)で定義されるコンポーネントX i,jを求めるためのパラメータzに対応する変数t i (t j )どうしの乗算(t ij )と、サメーション(Σ)に相当する演算を、クラスごとに行う。 That is, the adder 121, in the matrix on the left of the parameter generator 81 (FIG. 12) using the variable t i (t j) obtained by the equation (10) from the parameter z supplied from the formula (28), component X i, which is defined by equation (26), the variable t i corresponding to the parameter z for determining the j (t j) if multiplied with (t i t j), a calculation corresponding to summation (sigma) , performed for each class.

ここで、コンポーネントX i,jは、パラメータzによってのみ決まるものであり、クラスとは関係がないので、コンポーネントX i,jの計算は、実際には、クラスごとに行う必要はなく、1回行うだけで済む。 Here, the component X i, j are those determined only by the parameter z, since not relevant to the class, the component X i, computation of j is, in fact, need not be performed for each class, once only you need to do.

さらに、足し込み部121は、パラメータ生成部81から供給されるパラメータzから式(10)によって求められる変数t iと、タップ係数算出部46から供給される最適なタップ係数w nとを用い、式(28)の右辺のベクトルにおける、式(27)で定義されるコンポーネントY iを求めるためのパラメータzに対応する変数t iおよび最適なタップ係数w nの乗算(t in )と、サメーション(Σ)に相当する演算を、クラスごとに行う。 Further, adder 121 uses a variable t i obtained by the equation (10) from the parameter z supplied from the parameter generating unit 81, and a optimum tap coefficient w n supplied from the tap coefficient calculating section 46, in the vector of the right side of equation (28), the multiplication of the variable t i and the optimal tap coefficient w n corresponding to the parameter z for determining the component Y i defined in equation (27) and (t i w n), the corresponding calculation to summation (sigma), performed for each class.

足し込み部121は、各クラスごとに、式(26)で表されるコンポーネントX i,jと、式(27)で表されるコンポーネントY iを求めることにより、各クラスについて、式(28)の正規方程式をたてると、その正規方程式を、係数種算出部122に供給する。 Adder 121, for each class, and component X i, j of formula (26), by determining the component Y i represented by the formula (27), for each class, the formula (28) When you make a normal equation, and supplies the normal equations to the coefficient seed calculator 122.

係数種算出部122は、足し込み部121から供給されるクラスごとの式(28)の正規方程式を解くことにより、各クラスごとの係数種データβ m,nを求めて出力する。 Coefficient seed calculator 122 solves the normal equation of Equation (28) for each class supplied from the adder 121, and outputs the calculated coefficient seed data beta m, n for each class.

図8の係数出力部55における係数種メモリ62には、以上のようにして求められたクラスごとの係数種データβ m,nを記憶させておくようにすることもできる。 The coefficient seed memory 62 by the coefficient output unit 55 of FIG. 8, it is also possible to make allowed to store the coefficient seed data beta m, n for each class determined as described above.

なお、係数種データの学習においても、図5で説明したタップ係数の学習における場合と同様に、第1の画像データに対応する生徒データと、第2の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。 Also in the learning of the coefficient seed data, as in the learning of the tap coefficients described in FIG. 5, and the student data corresponding to the first image data, the image to be teacher data corresponding to the second image data the method of selecting the data, the coefficient seed data can be obtained to perform various image conversion processing.

即ち、上述の場合には、学習用画像データを、そのまま第2の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第1の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第1の画像データを、その空間解像度を向上させた第2の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。 That is, in the above case, the learning image data, together with the teacher data corresponding to the intact second image data, the low-quality image data obtained by degrading the space resolution of the learning image data, the first as student data corresponding to the image data, since it has to perform the learning of the coefficient seed data, the coefficient seed data, the first image data into second image data with improved their spatial resolution it can be obtained to perform image conversion processing as a spatial resolution creation processing.

この場合、図7の画像変換装置51では、画像データの水平解像度および垂直解像度を、パラメータzに対応する解像度に向上させることができる。 In this case, the image converter 51 in FIG. 7, the horizontal resolution and the vertical resolution of the image data can be improved in resolution corresponding to the parameter z.

また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータzに対応するレベルのノイズを重畳した画像データを生徒データとして、係数種データの学習を行うことにより、係数種データとしては、第1の画像データを、そこに含まれるノイズを除去(低減)した第2の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。 Further, for example, as well as a high-quality image data and the teacher data for high-quality image data as the teacher data, an image data as the student data obtained by superimposing noise level corresponding to the parameter z, the coefficient seed data by performing learning, the coefficient seed data, what the first image data, performs image conversion processing as noise removal processing for converting the noise to the second image data obtained by removing (reducing) the contained therein it is possible to obtain. この場合、図7の画像変換装置51では、パラメータzに対応するS/Nの画像データを得ることができる。 In this case, the image converter 51 in FIG. 7, it is possible to obtain an image data of the S / N corresponding to the parameter z.

また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータzに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータzに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行うことにより、係数種データとしては、第1の画像データを、そのサイズを拡大または縮小した第2の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。 Further, for example, with a certain image data and the teacher data, the number of pixels of the image data as the teacher data, an image data obtained by thinning in response to the parameter z as the learner data, or image data of a predetermined size with the student data, the image data thinned out by the thinning rate corresponding pixel of the image data as the student data to the parameter z as teacher data, by performing the learning of the coefficient seed data, the coefficient seed data, the the first image data can be obtained to perform image conversion processing as resizing for converting the second image data enlarged or reduced in size. この場合、図7の画像変換装置51では、パラメータzに対応するサイズに拡大または縮小した画像データを得ることができる。 In this case, the image converter 51 in FIG. 7, it is possible to obtain the image data enlarged or reduced in size corresponding to the parameter z.

なお、上述の場合には、タップ係数w nを、式(9)に示したように、β 1,n0 +β 2,n1 +・・・+β M,nM-1で定義し、この式(9)によって、水平および垂直方向の空間解像度を、いずれも、パラメータzに対応して向上させるためのタップ係数w nを求めるようにしたが、タップ係数w nとしては、水平解像度と垂直解像度を、独立のパラメータz xとz yに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。 Incidentally, in the above case, defines the tap coefficient w n, in as shown in Equation (9), β 1, n z 0 + β 2, n z 1 + ··· + β M, n z M-1 and, by the equation (9), the spatial resolution in the horizontal and vertical directions, both have been to obtain the tap coefficient w n for improving corresponding to the parameter z, the tap coefficient w n is horizontal the resolution and the vertical resolution, in response to independent parameters z x and z y, it is also possible to determine what to improve independently.

即ち、タップ係数w nを、式(9)に代えて、例えば、3次式β 1,nx 0y 0 +β 2,nx 1y 0 +β 3,nx 2y 0 +β 4,nx 3y 0 +β 5,nx 0y 1 +β 6,nx 0y 2 +β 7,nx 0y 3 +β 8,nx 1y 1 +β 9,nx 2y 1 +β 10,nx 1y 2で定義するとともに、式(10)で定義した変数t mを、式(10)に代えて、例えば、t 1 =z x 0y 0 ,t 2 =z x 1y 0 ,t 3 =z x 2y 0 ,t 4 =z x 3y 0 ,t 5 =z x 0y 1 ,t 6 =z x 0y 2 ,t 7 =z x 0y 3 ,t 8 =z x 1y 1 ,t 9 =z x 2y 1 ,t 10 =z x 1y 2で定義する。 That is, the tap coefficients w n, instead of the equation (9), for example, cubic polynomial β 1, n z x 0 z y 0 + β 2, n z x 1 z y 0 + β 3, n z x 2 z y 0 + β 4, n z x 3 z y 0 + β 5, n z x 0 z y 1 + β 6, n z x 0 z y 2 + β 7, n z x 0 z y 3 + β 8, n z x 1 z y with defined 1 + β 9, n z x 2 z y 1 + β 10, n z x 1 z y 2, the variable t m defined in formula (10), in place of the equation (10), for example, t 1 = z x 0 z y 0, t 2 = z x 1 z y 0, t 3 = z x 2 z y 0, t 4 = z x 3 z y 0, t 5 = z x 0 z y 1, t 6 = defined z x 0 z y 2, t 7 = z x 0 z y 3, t 8 = z x 1 z y 1, t 9 = z x 2 z y 1, t 10 = z x 1 z y 2 . この場合も、タップ係数w nは、最終的には、式(11)で表すことができ、従って、図9の学習装置71や、図12の学習装置101において、パラメータz xとz yに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβ m,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータz xとz yに対応して、それぞれ独立に向上させるタップ係数w nを求めることができる。 Again, the tap coefficient w n is finally can be represented by the formula (11), therefore, and the learning device 71 in FIG. 9, in the learning apparatus 101 of FIG. 12, the parameter z x and z y correspondingly, the image data is deteriorated each horizontal and vertical resolution of the teacher data by performing learning by using as the student data, by obtaining the coefficient seed data beta m, n, the horizontal resolution and vertical resolution, in response to independent parameters z x and z y, it can be determined tap coefficients w n to improve independently.

その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータz xとz yに加えて、さらに、時間方向の解像度に対応するパラメータz tを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータz x ,z y ,z tに対応して、それぞれ独立に向上させるタップ係数w nを求めることが可能となる。 Other, for example, in addition to the parameter z x and z y corresponding to each horizontal and vertical resolution, further by introducing a parameter z t corresponding to the time direction resolution, horizontal resolution, vertical resolution, the time resolution independent parameters z x, z y, corresponding to the z t, it is possible to determine the tap coefficient w n to improve independently.

また、リサイズ処理についても、空間解像度創造処理における場合と同様に、水平および垂直方向を、いずれもパラメータzに対応する拡大率(または縮小率)でリサイズするタップ係数w nの他、水平と垂直方向を、それぞれパラメータz xとz yに対応する拡大率で、独立にリサイズするタップ係数w nを求めることが可能である。 As for the resizing process, as in the spatial resolution creation processing, the horizontal and vertical directions, other tap coefficients w n to resize magnification of both corresponding to the parameter z (or reduction ratio), the horizontal and vertical direction, respectively enlargement rate corresponding to the parameter z x and z y, it is possible to determine the tap coefficient w n resize independently.

さらに、図9の学習装置71や、図12の学習装置101において、パラメータz xに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータz yに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβ m,nを求めることにより、パラメータz xに対応して水平解像度および垂直解像度を向上させるとともに、パラメータz yに対応してノイズ除去を行うタップ係数w nを求めることができる。 Furthermore, and the learning device 71 in FIG. 9, in the learning apparatus 101 of FIG. 12, with deteriorating the horizontal resolution and vertical resolution of the teacher data corresponding to the parameter z x, the noise to the teacher data corresponding to the parameter z y the additional image data by performing learning by using as the student data, by obtaining the coefficient seed data beta m, n, improves the horizontal resolution and vertical resolution corresponding to the parameter z x, corresponding to the parameter z y it can be obtained tap coefficients w n to perform noise removal and.

次に、本発明の第1実施の形態について説明する。 Next, a description will be given of a first embodiment of the present invention.

図14は、本発明の第1実施の形態としてのAVシステムの構成例を示している。 Figure 14 shows a configuration example of an AV system according to a first embodiment of the present invention.

図14において、AVシステムは、本体200とリモコン(リモートコマンダ)201とから構成されている。 In FIG. 14, AV system is composed of the main body 200 and the remote controller (remote commander) 201..

本体200は、制御装置202、DVD(Digital Versatile Disc)レコーダ部203、HDD(Hard Disk Drive)レコーダ部204、およびテレビジョン受像機部205から構成されている。 Body 200, and a control unit 202, DVD (Digital Versatile Disc) recorder unit 203, HDD (Hard Disk Drive) recorder 204 and the television receiver 205,.

リモコン201は、操作部201Aおよび送信部201Bを有している。 Remote control 201 includes an operation unit 201A and a transmission unit 201B.

操作部201Aは、本体200に対する各種の指令を入力するときに、ユーザによって操作される。 Operation unit 201A, when inputting various commands for the body 200, is operated by the user. 送信部201Bは、操作部201Aの操作に対応する操作信号を、例えば、赤外線により射出する。 Transmission unit 201B has an operation signal corresponding to operation of the operating section 201A, for example, it emits an infrared. なお、送信部201Bでは、その他、例えば、Bluetooth(商標)の規格等にしたがった無線により操作信号を送信することもできる。 In the transmission unit 201B, other, for example, may transmit an operation signal by radio in accordance with the standard or the like of the Bluetooth (TM).

制御装置202は、送受信部202Aと制御部202Bから構成されている。 Controller 202, and a transceiver unit 202A and the controller 202B.

送受信部202Aは、リモコン201から赤外線で送信されてくる操作信号を受光(受信)し、制御部202Bに供給する。 Transceiver 202A includes an operation signal transmitted by the infrared from the remote controller 201 is received (reception), to the control unit 202B. また、送受信部202Aは、制御部202Bから供給される1以上のコマンドのシーケンスであるコマンド列を、無線または有線で送信(放送)する。 The transmitting and receiving unit 202A has a command sequence is a sequence of one or more commands supplied from the control unit 202B, it transmits a wireless or wired (broadcast). なお、ここでは、送受信部202Aは、コマンド列を無線で送信するものとする。 Here, transmission and reception unit 202A shall send a command sequence wirelessly.

制御部202Bは、送受信部202Aから供給される操作信号に対応して、DVDレコーダ部203、HDDレコーダ部204、またはテレビジョン受像機部205に対する1以上のコマンドからなるコマンド列を生成し、送受信部202Aに供給する。 Control unit 202B, in response to the operation signal supplied from the transceiver 202A, generates a command sequence of one or more commands to the DVD recorder unit 203, HDD recorder 204 or the television receiver 205, transmission and reception supplied to the part 202A.

DVDレコーダ部203は、受信部211、R-IC(Reconfigurable-IC)212、記録部213、DVD214、および再生部215から構成され、図示せぬチューナで受信されたテレビジョン放送番組の画像データや、図示せぬ外部端子を介して入力される画像データなどの外部から供給される画像データに対し、必要に応じて信号処理を施し、後段のHDDレコーダ部204に供給、またはDVD214に記録する。 DVD recorder 203, receiving unit 211, R-IC (Reconfigurable-IC) 212, is composed of a recording unit 213, DVD214, and reproduction unit 215, Ya image data of a television broadcast program received by the tuner (not shown) , the image data supplied from the outside, such as image data input via the external terminal (not shown), it performs signal processing as required, fed to a subsequent stage of the HDD recorder 204, or recorded to DVD214. また、DVDレコーダ部203は、DVD214から画像データを再生し、必要に応じて信号処理を施し、後段のHDDレコーダ部204に供給する。 Also, DVD recorder 203 reproduces the image data from the DVD214, performs signal processing as required, and supplies to the subsequent HDD recorder 204.

即ち、DVDレコーダ部203において、受信部211は、制御装置202の送受信部202Aから無線で送信されてくるコマンド列を受信し、R-IC212に供給する。 That is, in the DVD recorder 203, the receiving unit 211 receives a command string transmitted by radio from the transmitting and receiving unit 202A of the controller 202, and supplies the R-IC 212.

R-IC212は、その内部構造がリコンフィギュラブル(reconfigurable)な(再構成可能な)1チップのICで、受信部211から供給されるコマンド列のうちの、少なくとも1つのコマンドに応じて、内部構造を切り換え、外部から供給される画像データ、または再生部215から供給される画像データを、必要に応じて信号処理(データ処理)して、HDDレコーダ部204または記録部213に供給する。 R-IC 212, with its internal structure is reconfigurable (reconfigurable) (reconfigurable) 1-chip IC of, among the command string supplied from the receiving unit 211, according to at least one command, the internal switch the structure, the image data supplied from the image data or the reproduction unit 215, is supplied from the outside, and signal processing as required (data processing) to the HDD recorder 204 or the recording unit 213.

なお、受信部211とR-IC212の全体を、1チップのICとして構成することも可能である。 Incidentally, the entire receiver 211 and R-IC 212, it is also possible to construct as a one-chip IC of. 後述する受信部221とR-IC222の全体、および受信部231とR-IC232の全体についても同様である。 Entire receiver 221 and R-IC 222 to be described later, and for the entire receiver 231 and R-IC 232 is the same.

記録部213は、R-IC212から供給される画像データに対して、MPEG符号化等の必要な処理を施することにより、その画像データをDVDの規格に準拠した記録データに変換し、DVD214に記録する。 Recording unit 213, the image data supplied from the R-IC 212, by Hodokosuru necessary processing, such as MPEG encoding, is converted into recording data conforming to the image data to the DVD standard, the DVD214 Record. なお、DVD214は、DVDレコーダ部203に対して、容易に着脱可能となっている。 Incidentally, DVD214, to the DVD recorder 203, which is easily removable.

再生部215は、DVD214から記録データを読み出し、画像データに復号して(画像データを再生して)、R-IC212に供給する。 Playback unit 215 reads the recorded data from the DVD214, and decodes the image data (reproduced image data) to the R-IC 212.

HDDレコーダ部204は、受信部221、R-IC222、記録部223、HD224、および再生部225から構成され、前段のDVDレコーダ部203から供給される画像データに対し、必要に応じて信号処理を施し、後段のテレビジョン受像機部205に供給、またはHD224に記録する。 HDD recorder 204, receiving unit 221, R-IC 222, is composed of a recording unit 223, HD224, and the playback unit 225, the image data supplied from the preceding stage of the DVD recorder 203, the signal processing as required applied, fed to a subsequent stage of the television receiver 205, or records the HD224. また、HDDレコーダ部204は、HD224から画像データを再生し、必要に応じて信号処理を施し、後段のテレビジョン受像機部205に供給する。 Further, HDD recorder 204 reproduces the image data from the HD224, performs signal processing as required, and supplies the subsequent stage of the television receiver 205.

即ち、HDDレコーダ部204において、受信部221は、制御装置202の送受信部202Aから無線で送信されてくるコマンド列を受信し、R-IC222に供給する。 That is, in the HDD recorder 204, the receiving unit 221 receives a command string transmitted by radio from the transmitting and receiving unit 202A of the controller 202, and supplies the R-IC 222.

R-IC222は、R-IC212と同様に、その内部構造がリコンフィギュラブルな1チップのICで、受信部221から供給されるコマンド列のうちの、少なくとも1つのコマンドに応じて、内部構造を切り換え、前段のDVDレコーダ部203から供給される画像データ、または再生部225から供給される画像データを、必要に応じて信号処理して、テレビジョン受像機部205または記録部223に供給する。 R-IC 222, like the R-IC 212, with its internal structure is reconfigurable 1 chip IC, among the command string supplied from the receiver 221, according to at least one command, the internal structure switching the image data supplied from the image data or the reproduction unit 225, it is supplied from the preceding stage of the DVD recorder 203, and signal processing as required, and supplies the television receiver 205 or the recording unit 223.

記録部223は、R-IC222から供給される画像データに対して必要な処理を施し、HD224に記録する。 Recording unit 223 performs necessary processing on the image data supplied from the R-IC 222, and records the HD224.

再生部225は、HD224から記録データを読み出し(再生し)、R-IC222に供給する。 Playback unit 225 reads the recorded data from the HD224 (reproduced) to the R-IC 222.

テレビジョン受像機部205は、受信部231、R-IC232、ディスプレイ233から構成され、前段のHDレコーダ部204から供給される画像データに対し、必要に応じて信号処理を施し、ディスプレイ233に供給して表示させる。 The television receiver 205, receiver 231, R-IC 232, is composed of the display 233, the image data supplied from the preceding stage of the HD recorder 204, performs signal processing as required, supplied to the display 233 to to display.

即ち、テレビジョン受像機部205において、受信部231は、制御装置202の送受信部202Aから無線で送信されてくるコマンド列を受信し、R-IC232に供給する。 That is, the television receiver 205, the reception unit 231 receives a command string transmitted by radio from the transmitting and receiving unit 202A of the controller 202, and supplies the R-IC 232.

R-IC232は、R-IC212と同様に、その内部構造がリコンフィギュラブルな1チップのICで、受信部231から供給されるコマンド列のうちの、少なくとも1つのコマンドに応じて、内部構造を切り換え、前段のHDレコーダ部204から供給される画像データを必要に応じて信号処理し、ディスプレイ233に供給する。 R-IC 232, like the R-IC 212, with its internal structure is reconfigurable 1 chip IC, among the command string supplied from the reception unit 231, according to at least one command, the internal structure switching, signal processing as necessary image data supplied from the preceding stage of the HD recorder 204, and supplies the display 233.

ディスプレイ233は、R-IC232から供給される画像データを表示する。 Display 233 displays the image data supplied from the R-IC 232.

なお、図14では、DVDレコーダ部203、HDDレコーダ部204、およびテレビジョン受像機部205が、本体200としての1つの筐体に収納されているものとしてあるが、DVDレコーダ部203、HDDレコーダ部204、テレビジョン受像機部205は、それぞれ単独の筐体に収納されている独立した装置であっても良い。 In FIG. 14, DVD recorder unit 203, HDD recorder 204 and the television receiver 205, is, although as being accommodated in one housing as the main body 200, DVD recorder unit 203, HDD recorder section 204, the television receiver 205 may be an independent device are housed in respective single housing. この場合、DVDレコーダ部203、HDDレコーダ部204、テレビジョン受像機部205それぞれどうしでは、有線または無線で、必要なデータ(信号)のやりとりを行うことができる。 In this case, DVD recorder unit 203, HDD recorder 204, in each other, respectively the television receiver 205, by wire or wireless, can exchange necessary data (signal).

また、図14では、制御装置202が、リモコン201からの操作信号に応じたコマンド列を生成し、DVDレコーダ部203、HDDレコーダ部204、およびテレビジョン受像機部205に、無線で送信することとしたが、その他、例えば、リモコン201において、操作信号に応じたコマンド列を生成し、DVDレコーダ部203、HDDレコーダ部204、およびテレビジョン受像機部205に、無線で送信するようにすることも可能である。 Further, in FIG. 14, the control unit 202 generates a command sequence corresponding to the operation signal from the remote controller 201, DVD recorder unit 203, HDD recorder 204, and the television receiver 205, to transmit wirelessly and was, while others, for example, the remote controller 201 generates a command string corresponding to the operation signal, DVD recorder unit 203, HDD recorder 204, and the television receiver 205, to be transmitted wirelessly it is also possible.

次に、図15乃至図26を参照して、図14のAVシステムの本体200の動作について説明する。 Next, with reference to FIGS. 15 to 26, the operation of the main body 200 of the AV system of FIG.

ユーザがリモコン201の操作部201Aを操作すると、送信部201Bは、その操作に対応した操作信号を送信する。 When the user operates the operation section 201A of the remote control 201, transmission unit 201B transmits the operation signal corresponding to the operation.

そして、制御装置202では、その送受信部202Aが、リモコン201の送信部201Bからの操作信号を受信し、制御部202Bに供給する。 Then, the control unit 202, the transmitting and receiving unit 202A receives the operation signal from the transmission unit 201B of the remote controller 201, and supplies to the control unit 202B.

制御部202Bは、送受信部202Aからの操作信号を受信し、ステップS201において、その操作信号が、外部からの画像データの、DVD214への記録を指令するものであるかどうかを判定する。 Control unit 202B determines receives an operation signal from the transceiver unit 202A, at step S201, the operation signal, the image data from the outside, whether or not these commands the recording of the DVD214.

ステップS201において、操作信号が、外部からの画像データの、DVD214への記録を指令するものであると判定された場合、ステップS202に進み、制御部202Bは、その操作信号に応じたコマンド列を生成する。 In step S201, the operation signal is, the image data from the outside, if it is determined to be that direct recording to DVD214, the process proceeds to step S202, the control unit 202B includes a command string corresponding to the operation signal generated.

ここで、図16は、制御部202Bが、図15のステップS202で生成するコマンド列の例を示している。 Here, FIG. 16, the control unit 202B has an example of a command sequence generated in step S202 in FIG. 15.

図16のコマンド列は、1つのノイズ除去処理コマンドと2つのNullコマンドとから構成されている。 Command sequence of Figure 16 is composed of one noise removal processing command and the two Null command.

図16のコマンド列のうちの、先頭(1番目)のノイズ除去処理コマンドは、DVDレコーダ部203(のR-IC212)に対し、信号処理として、ノイズを除去(低減)するノイズ除去処理を要求するものである。 Of command sequence of Figure 16, the top noise removing processing command of (first), with respect to the DVD recorder unit 203 (R-IC 212 of), as the signal processing, requires a noise removing processing for removing noise (reduction) it is intended to. また、先頭から2番目のNullコマンドは、HDDレコーダ部204(のR-IC222)に対し、信号処理として、何もしないことを要求するものである。 Further, the second Null command from the top to the HDD recorder unit 204 (R-IC 222 of) those requiring that the signal processing, do nothing. さらに、先頭から3番目のNullコマンドは、テレビジョン受像機部205(のR-IC232)に対し、信号処理として、何もしないことを要求するものである。 Further, the third is the Null command from the beginning, to the television receiver section 205 (R-IC 232 of) those requiring that the signal processing, do nothing.

なお、Nullコマンドは、なくてもよく、この場合、図16のコマンド列は、DVDレコーダ部203に対する1つのノイズ除去処理コマンドから構成されることになる。 Incidentally, the Null command may not, in this case, the command sequence of Figure 16 will be composed of one noise removal processing command for the DVD recorder 203.

図15に戻り、ステップS202において、制御部202Bは、コマンド列を生成すると、そのコマンド列を、送受信部202Aに供給し、ステップS203に進む。 Returning to Figure 15, in step S202, the control unit 202B, when generating the command sequence, the command sequence is supplied to a transmitting and receiving unit 202A, the process proceeds to step S203. ステップS203では、送受信部202Aは、制御部202Bからのコマンド列を送信(放送)し、ステップS204に進む。 In step S203, the transceiver 202A includes a command sequence from the controller 202B transmits (broadcasts), the process proceeds to step S204.

ステップS204では、DVDレコーダ部203の受信部211、HDDレコーダ部204の受信部221、およびテレビジョン受像機部205の受信部231が、送受信部202AがステップS203で送信したコマンド列を受信する。 In step S204, the receiving unit 231 of the receiver 221, and the television receiver 205 of the receiving portion 211, HDD recorder 204 of the DVD recorder 203 receives the command sequence transceiver 202A is transmitted in step S203. さらに、ステップS204では、受信部211,221,231それぞれが、送受信部202Aから受信したコマンド列を、R-IC212,222,232にそれぞれ供給し、ステップS205に進む。 Further, in step S204, receiving sections 211, 221 and 231 is, the command string received from the transceiver unit 202A, and supplied to the R-IC212,222,232, the process proceeds to step S205.

ステップS205では、R-IC212,222,232それぞれが、受信部211,221,231から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップS206に進む。 In step S205, each R-IC212,222,232 is, of the supplied command sequence from the receiver 211, 221, 231, for example, in response to a command to itself, switching its internal structure, the flow proceeds to step S206 .

即ち、いまの場合、DVDレコーダ部203のR-IC212は、図16のコマンド列のうちの先頭のノイズ除去処理コマンドに応じて、ノイズ除去処理を行うように、その内部構造を切り換える。 That is, in this case, R-IC 212 of the DVD recorder 203, in response to the beginning of the noise removal processing command of the command sequence of Figure 16, to perform noise removal processing, switches its internal structure. また、HDDレコーダ部204のR-IC221とテレビジョン受像機部205のR-IC231は、図16のコマンド列のうちの2番目と3番目のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。 Also, R-IC 231 of R-IC 221 and the television receiver 205 of the HDD recorder 204, in response to the second and third Null command of the command sequence of Figure 16, so as not to perform signal processing , it switched its internal structure.

ステップS206では、R-IC212,222,232それぞれが、ステップS205で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。 In step S206, each R-IC212,222,232 is, performs signal processing to be performed by the internal structure switched in step S205, the process ends.

即ち、いまの場合、R-IC212は、DVDレコーダ部203の外部から入力される画像データに対して、ノイズ除去処理を施し、記録部213に供給する。 That is, in this case, R-IC 212 subjects the image data input from the outside of the DVD recorder 203 performs a noise removal process, supplied to the recording unit 213. 記録部213は、R-IC212からの画像データをMPEG符号化等し、DVD214に記録する。 Recording unit 213, image data MPEG coding equal from R-IC 212, and records the DVD214. 即ち、DVD214には、外部から入力される画像データに対して、R-IC212がノイズ除去処理を施すことによって得られる画像データが記録される。 That is, the DVD214, the image data input from the outside, the image data R-IC 212 is obtained by performing a noise removal process is recorded.

従って、この場合、R-IC212,222,232のうちの、唯一、信号処理を行うR-IC212は、ノイズ除去処理を行う装置として機能することになる。 Therefore, in this case, R-IC 212 to perform one of R-IC212,222,232, only, the signal processing will serve as a device for performing a noise removal process.

一方、制御部202Bは、ステップS201において、操作信号が、外部からの画像データの、DVD214への記録を指令するものでないと判定した場合、図17のステップS211に進み、操作信号が、DVD214に記録された画像データの再生を指令するものであるかどうかを判定する。 On the other hand, the control unit 202B in step S201, the operation signal is the image data from the outside, if it is determined not intended to command the recording of the DVD214, the process proceeds to step S211 in FIG. 17, the operation signal, the DVD214 determining whether or not these an instruction to play back the recorded image data.

ステップS211において、操作信号が、DVD214に記録された画像データの再生を指令するものであると判定された場合、ステップS212に進み、制御部202Bは、その操作信号に応じたコマンド列を生成する。 In step S211, the operation signal, if it is determined in which an instruction to play back image data recorded on the DVD214, the process proceeds to step S212, the control unit 202B generates a command sequence corresponding to the operation signal .

ここで、図18は、制御部202Bが、図17のステップS212で生成するコマンド列の例を示している。 Here, FIG. 18, the control unit 202B has an example of a command sequence generated in step S212 in FIG. 17.

図18のコマンド列は、1つの歪み除去処理コマンド、1つの時間解像度創造処理コマンド、および1つの空間解像度創造処理コマンドから構成されている。 Command sequence of Figure 18 is composed one strain removing processing command, one time resolution creation processing command, and from one spatial resolution creation processing command.

図18のコマンド列のうちの、先頭の歪み除去処理コマンドは、DVDレコーダ部203のR-IC212に対し、信号処理として、MPEG符号化/復号により生じるブロック歪み等を除去する歪み除去処理を要求するものである。 Of command sequence of Figure 18, the top of the distortion removal processing command, to R-IC 212 of the DVD recorder 203, as the signal processing, it requires a distortion removal process for removing the block distortion or the like caused by the MPEG coding / decoding it is intended to. また、先頭から2番目の時間解像度創造処理コマンドは、HDDレコーダ部204のR-IC222に対し、信号処理として、画像データの時間解像度を向上させる時間解像度創造処理を要求するものである。 Further, the second time resolution creation processing command from the top to the R-IC 222 of the HDD recorder 204, as the signal processing is to request the time resolution creation processing that improves the time resolution of the image data. さらに、先頭から3番目の空間解像度創造処理コマンドは、テレビジョン受像機部205のR-IC232に対し、信号処理として、画像データの空間解像度を向上させる空間解像度創造処理を要求するものである。 Further, the third spatial resolution creation processing command from the top to the R-IC 232 of the television receiver 205, as the signal processing are those requiring spatial resolution creation processing for improving the spatial resolution of the image data.

図17に戻り、ステップS212において、制御部202Bは、コマンド列を生成すると、そのコマンド列を、送受信部202Aに供給し、ステップS213に進む。 Returning to Figure 17, at step S212, the control unit 202B, when generating the command sequence, the command sequence is supplied to a transmitting and receiving unit 202A, the process proceeds to step S213. ステップS213では、送受信部202Aは、制御部202Bからのコマンド列を送信(放送)し、ステップS214に進む。 In step S213, transmission and reception unit 202A includes a command sequence from the controller 202B transmits (broadcasts), the process proceeds to step S214.

ステップS214では、DVDレコーダ部203の受信部211、HDDレコーダ部204の受信部221、およびテレビジョン受像機部205の受信部231が、送受信部202AがステップS213で送信したコマンド列を受信する。 At step S214, the receiving unit 231 of the receiver 221, and the television receiver 205 of the receiving portion 211, HDD recorder 204 of the DVD recorder 203 receives the command sequence transceiver 202A is transmitted in step S213. さらに、ステップS214では、受信部211,221,231それぞれが、送受信部202Aから受信したコマンド列を、R-IC212,222,232にそれぞれ供給し、ステップS215に進む。 Further, in step S214, the receiving sections 211, 221 and 231 is, the command string received from the transceiver unit 202A, and supplied to the R-IC212,222,232, the process proceeds to step S215.

ステップS215では、R-IC212,222,232それぞれが、受信部211,221,231から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップS216に進む。 At step S215, the respective R-IC212,222,232 is, of the supplied command sequence from the receiver 211, 221, 231, for example, in response to a command to itself, switching its internal structure, the flow proceeds to step S216 .

即ち、いまの場合、DVDレコーダ部203のR-IC212は、図18のコマンド列のうちの先頭の歪み除去処理コマンドに応じて、歪み除去処理を行うように、その内部構造を切り換える。 That is, in this case, R-IC 212 of the DVD recorder 203, in response to the beginning of the distortion removing processing command of the command sequence of Figure 18, to perform distortion removing process switches its internal structure. また、HDDレコーダ部204のR-IC221は、図18のコマンド列のうちの先頭から2番目の時間解像度創造処理コマンドに応じて、時間解像度創造処理を行うように、その内部構造を切り換える。 Also, R-IC 221 of the HDD recorder 204, in response to the second time resolution creation processing command from the beginning of the command sequence of Figure 18, to perform time resolution creation processing, switches its internal structure. さらに、テレビジョン受像機部205のR-IC231は、図18のコマンド列のうちの先頭から3番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。 Furthermore, R-IC 231 of the television receiver 205, in accordance with the third spatial resolution creation processing command from the beginning of the command sequence of Figure 18, to perform spatial resolution creation processing, switching the internal structure .

ステップS216では、R-IC212,222,232それぞれが、ステップS215で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。 In step S216, each R-IC212,222,232 is, it performs signal processing to be performed by the internal structure switched in step S215, the ends the process.

即ち、いまの場合、DVDレコーダ部203において、再生部215が、DVD214から画像データを読み出し、MPEG復号して、R-IC212に供給する。 That is, in this case, the DVD recorder 203, the playback unit 215 reads the image data from the DVD214, and MPEG decoding to the R-IC 212. R-IC212は、ステップS216 1において、再生部215から供給される画像データ、即ち、MPEG符号化/復号によってブロック歪み等が生じている画像データに対して、歪み除去処理を施し、HDDレコーダ204部に出力する。 R-IC 212, in step S216 1, image data supplied from the reproducing unit 215, i.e., subjected to the image data block distortion or the like occurs, the distortion removal processing by the MPEG coding / decoding, HDD recorder 204 and outputs it to the department.

HDDレコーダ部204では、DVDレコーダ部203のR-IC212からの画像データが、R-IC222に供給される。 The HDD recorder 204, the image data from the R-IC 212 of the DVD recorder 203 is supplied to the R-IC 222. R-IC222は、ステップS216 2において、R-IC212からの画像データに対して、時間解像度創造処理を施し、テレビジョン受像機部205に出力する。 R-IC 222, in step S216 2, the image data from the R-IC 212, subjected to temporal resolution creation processing, and outputs to the television receiver 205.

テレビジョン受像機部205では、HDDレコーダ部204のR-IC222からの画像データが、R-IC232に供給される。 In the television receiver 205, the image data from the R-IC 222 of the HDD recorder 204 is supplied to the R-IC 232. R-IC232は、ステップS216 3において、R-IC222からの画像データに対して、空間解像度創造処理を施し、ディスプレイ233に供給する。 R-IC 232, in step S216 3, the image data from the R-IC 222, subjected to spatial resolution creation processing, and supplies the display 233.

従って、いまの場合、R-IC212は、歪み除去処理を行う装置(IC)として、R-IC222は、時間解像度創造処理を行う装置として、R-IC232は、空間解像度創造処理を行う装置として、それぞれ機能することになる。 Therefore, in this case, R-IC 212 is, as an apparatus for performing distortion removal processing (IC), R-IC222 as apparatus for performing time resolution creation processing, R-IC 232 is, as an apparatus for performing spatial resolution creation processing, It will function, respectively.

以上のように、DVD214から再生された画像データを対象に、R-IC212で歪み除去処理が行われ、その処理結果を対象に、R-IC222で時間解像度創造処理が行われ、さらに、その処理結果を対象に、R-IC232で空間解像度創造処理が行われることにより、ディスプレイ233には、ブロック歪み等が除去(低減)され、時間解像度および空間解像度が高い画像が表示されることになる。 As described above, the target image data reproduced from the DVD214, distortion removal processing in R-IC 212 is performed, the target processing result, time resolution creation processing in R-IC 222 is performed, further, the process results targeting, by spatial resolution creation processing in R-IC 232 is performed, the display 233, the block distortion or the like is removed (reduced), so that the time resolution and spatial resolution are displayed high image.

ここで、DVD214に、例えば、映画の画像データが記録されているものとすると、映画を、テレビジョン方式の画像データに変換するときには、いわゆる2−3プルダウンが行われるため、DVD214に記録されている画像データは、その2−3プルダウンによって時間解像度が劣化したものとなっている。 Here, the DVD214, for example, assuming that image data of a movie is recorded, a movie, when converting the image data of the television system, since the so-called 2-3 pull-down is performed is recorded in the DVD214 the image data are is in a one time resolution by the 2-3 pulldown has been deteriorated.

そこで、R-IC222において、上述のように、時間解像度創造処理を行うことにより、2−3プルダウンによって劣化した画像データの時間解像度を回復(時間解像度の劣化の程度を低減)することができる。 Therefore, the R-IC 222, as described above, by performing the time resolution creation processing, it is possible to recover the time resolution of the image data degraded by 2-3 pulldown (reduce the degree of time resolution degradation).

一方、制御部202Bは、ステップS211において、操作信号が、DVD214に記録された画像データの再生を指令するものでないと判定した場合、図19のステップS221に進み、操作信号が、外部からの画像データの、HD224への記録を指令するものであるかどうかを判定する。 On the other hand, the control unit 202B, at step S211, if the operation signal is determined not to be construed an instruction to play back image data recorded on the DVD214, the process proceeds to step S221 of FIG. 19, the operation signal is an image from the outside of data to determine whether or not these commands the recording of the HD224.

ステップS221において、操作信号が、外部からの画像データの、HD224への記録を指令するものであると判定された場合、ステップS222に進み、制御部202Bは、その操作信号に応じたコマンド列を生成する。 In step S221, the operation signal is the image data from the outside, if it is determined to be that direct recording to HD224, the process proceeds to step S222, the control unit 202B includes a command string corresponding to the operation signal generated.

ここで、図20は、制御部202Bが、図19のステップS222で生成するコマンド列の例を示している。 Here, FIG. 20, the control unit 202B has an example of a command sequence generated in step S222 in FIG. 19.

図20のコマンド列は、1つのノイズ除去処理コマンド、1つの空間解像度創造処理コマンド、および1つのNullコマンドから構成されている。 Command sequence in FIG. 20, one noise removal processing command, and a single spatial resolution creation processing command, and from one Null command.

図20のコマンド列のうちの、先頭の歪み除去処理コマンドは、DVDレコーダ部203のR-IC212に対し、信号処理として、ノイズ除去処理を要求するものである。 Of command sequence of Figure 20, the top of the distortion removal processing command, to R-IC 212 of the DVD recorder 203, as the signal processing is to request the noise removal process. また、先頭から2番目の空間解像度創造処理コマンドは、HDDレコーダ部204のR-IC222に対し、信号処理として、空間解像度創造処理を要求するものである。 Further, the second spatial resolution creation processing command from the top, relative to R-IC 222 of the HDD recorder 204, as the signal processing are those requiring spatial resolution creation processing. さらに、先頭から3番目のNullコマンドは、テレビジョン受像機部205のR-IC232に対し、信号処理として、何もしないことを要求するものである。 Further, the third is the Null command from top to R-IC 232 of the television receiver 205, it is a request that a signal processing, do nothing.

図19に戻り、ステップS222において、制御部202Bは、コマンド列を生成すると、そのコマンド列を、送受信部202Aに供給し、ステップS223に進む。 Returning to Figure 19, in step S222, the control unit 202B, when generating the command sequence, the command sequence is supplied to a transmitting and receiving unit 202A, the process proceeds to step S223. ステップS223では、送受信部202Aは、制御部202Bからのコマンド列を送信(放送)し、ステップS224に進む。 In step S223, transmission and reception unit 202A includes a command sequence from the controller 202B transmits (broadcasts), the process proceeds to step S224.

ステップS224では、DVDレコーダ部203の受信部211、HDDレコーダ部204の受信部221、およびテレビジョン受像機部205の受信部231が、送受信部202AがステップS223で送信したコマンド列を受信する。 In step S224, the receiving unit 231 of the receiver 221, and the television receiver 205 of the receiving portion 211, HDD recorder 204 of the DVD recorder 203 receives the command sequence transceiver 202A is transmitted in step S223. さらに、ステップS224では、受信部211,221,231それぞれが、送受信部202Aから受信したコマンド列を、R-IC212,222,232にそれぞれ供給し、ステップS225に進む。 Further, in step S224, receiving sections 211, 221 and 231 is, the command string received from the transceiver unit 202A, and supplied to the R-IC212,222,232, the process proceeds to step S225.

ステップS225では、R-IC212,222,232それぞれが、受信部211,221,231から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップS226に進む。 In step S225, each R-IC212,222,232 is, of the supplied command sequence from the receiver 211, 221, 231, for example, in response to a command to itself, switching its internal structure, the flow proceeds to step S226 .

即ち、いまの場合、DVDレコーダ部203のR-IC212は、図20のコマンド列のうちの先頭のノイズ除去処理コマンドに応じて、ノイズ除去処理を行うように、その内部構造を切り換える。 That is, in this case, R-IC 212 of the DVD recorder 203, in response to the beginning of the noise removal processing command of the command sequence of Figure 20, to perform noise removal processing, switches its internal structure. また、HDDレコーダ部204のR-IC221は、図20のコマンド列のうちの先頭から2番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。 Also, R-IC 221 of the HDD recorder 204, in response to the second spatial resolution creation processing command from the beginning of the command sequence of Figure 20, to perform spatial resolution creation processing, switches its internal structure. さらに、テレビジョン受像機部205のR-IC231は、図20のコマンド列のうちの先頭から3番目のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。 Furthermore, R-IC 231 of the television receiver 205, in accordance with the third Null command from the beginning of the command sequence of Figure 20, so as not to perform signal processing, it switches its internal structure.

ステップS226では、R-IC212,222,232それぞれが、ステップS225で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。 In step S226, each R-IC212,222,232 is, performs signal processing to be performed by the internal structure switched in step S225, the process ends.

即ち、いまの場合、DVDレコーダ部203では、R-IC212は、DVDレコーダ部203の外部から入力される画像データに対して、ノイズ除去処理を施し、HDDレコーダ204に出力する。 That is, in this case, the DVD recorder 203, R-IC 212 subjects the image data input from the outside of the DVD recorder 203 performs a noise removal process, and outputs to the HDD recorder 204.

HDDレコーダ部204では、DVDレコーダ部203のR-IC212からの画像データが、R-IC222に供給される。 The HDD recorder 204, the image data from the R-IC 212 of the DVD recorder 203 is supplied to the R-IC 222. R-IC222は、R-IC212からの画像データに対して、空間解像度創造処理を施し、記録部223に供給する。 R-IC 222 subjects the image data from the R-IC 212, subjected to spatial resolution creation processing, supplied to the recording unit 223. 記録部223は、R-IC222からの画像データをMPEG符号化等し、HD224に記録する。 Recording unit 223, image data MPEG coding equal from R-IC 222, and records the HD224. 即ち、HD224には、外部から入力される画像データに対して、R-IC212がノイズ除去処理を施し、さらに、その後、R-IC222が空間解像度創造処理を施すことによって得られる画像データが記録される。 That is, the HD224, the image data input from the outside, R-IC 212 is subjected to noise removal processing, and are then, the image data R-IC 222 is obtained by performing spatial resolution creation processing is recorded that.

従って、この場合、R-IC212は、歪み除去処理を行う装置として、R-IC222は、空間解像度創造処理を行う装置として、それぞれ機能することになる。 Therefore, in this case, R-IC 212 is, as an apparatus for performing distortion removal process, R-IC 222 is, as an apparatus for performing spatial resolution creation processing, will function respectively.

一方、制御部202Bは、ステップS221において、操作信号が、外部からの画像データの、HD224への記録を指令するものでないと判定した場合、図21のステップS231に進み、操作信号が、HD224に記録された画像データの再生を指令するものであるかどうかを判定する。 On the other hand, the control unit 202B in step S221, the operation signal is the image data from the outside, if it is determined not intended to command the recording of the HD224, the process proceeds to step S231 of FIG. 21, the operation signal, the HD224 determining whether or not these an instruction to play back the recorded image data.

ステップS231において、操作信号が、HD224に記録された画像データの再生を指令するものであると判定された場合、ステップS232に進み、制御部202Bは、その操作信号に応じたコマンド列を生成する。 In step S231, the operation signal, if it is determined in which an instruction to play back image data recorded in the HD224, the process proceeds to step S232, the control unit 202B generates a command sequence corresponding to the operation signal .

ここで、図22は、制御部202Bが、図21のステップS232で生成するコマンド列の例を示している。 Here, FIG. 22, the control unit 202B has an example of a command sequence generated in step S232 in FIG. 21.

図22のコマンド列は、1つのNullコマンド、1つの歪み除去処理コマンド、および1つの空間解像度創造処理コマンドから構成されている。 Command sequence in FIG. 22, one Null command is composed one strain removing processing command, and from one spatial resolution creation processing command.

図22のコマンド列のうちの、先頭のNullコマンドは、DVDレコーダ部203のR-IC212に対し、信号処理として、何もしないことを要求するものである。 Null command, the head of the command sequence of Figure 22, compared R-IC 212 of the DVD recorder 203 is configured to require that the signal processing, do nothing. また、先頭から2番目の歪み除去処理コマンドは、HDDレコーダ部204のR-IC222に対し、信号処理として、歪み除去処理を要求するものである。 Further, the second distortion removal processing command from the top, relative to R-IC 222 of the HDD recorder 204, as the signal processing are those requiring distortion removal processing. さらに、先頭から3番目の空間解像度創造処理コマンドは、テレビジョン受像機部205のR-IC232に対し、信号処理として、空間解像度創造処理を要求するものである。 Further, the third spatial resolution creation processing command from the top, relative to R-IC 232 of the television receiver 205, as the signal processing are those requiring spatial resolution creation processing.

図21に戻り、ステップS232において、制御部202Bは、コマンド列を生成すると、そのコマンド列を、送受信部202Aに供給し、ステップS233に進む。 Returning to Figure 21, in step S232, the control unit 202B, when generating the command sequence, the command sequence is supplied to a transmitting and receiving unit 202A, the process proceeds to step S233. ステップS233では、送受信部202Aは、制御部202Bからのコマンド列を送信(放送)し、ステップS234に進む。 In step S233, transmission and reception unit 202A includes a command sequence from the controller 202B transmits (broadcasts), the process proceeds to step S234.

ステップS234では、DVDレコーダ部203の受信部211、HDDレコーダ部204の受信部221、およびテレビジョン受像機部205の受信部231が、送受信部202AがステップS233で送信したコマンド列を受信する。 In step S234, the receiving unit 231 of the receiver 221, and the television receiver 205 of the receiving portion 211, HDD recorder 204 of the DVD recorder 203 receives the command sequence transceiver 202A is transmitted in step S233. さらに、ステップS234では、受信部211,221,231それぞれが、送受信部202Aから受信したコマンド列を、R-IC212,222,232にそれぞれ供給し、ステップS235に進む。 Further, in step S234, receiving sections 211, 221 and 231 is, the command string received from the transceiver unit 202A, and supplied to the R-IC212,222,232, the process proceeds to step S235.

ステップS235では、R-IC212,222,232それぞれが、受信部211,221,231から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップS236に進む。 In step S235, each R-IC212,222,232 is, of the supplied command sequence from the receiver 211, 221, 231, for example, in response to a command to itself, switching its internal structure, the flow proceeds to step S236 .

即ち、いまの場合、DVDレコーダ部203のR-IC212は、図22のコマンド列のうちの先頭のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。 That is, in this case, R-IC 212 of the DVD recorder 203, in response to the beginning Null command of the command sequence of Figure 22, so as not to perform signal processing, switches its internal structure. また、HDDレコーダ部204のR-IC221は、図22のコマンド列のうちの先頭から2番目の歪み除去処理コマンドに応じて、歪み除去処理を行うように、その内部構造を切り換える。 Also, R-IC 221 of the HDD recorder 204, in accordance with the second distortion removal processing command from the beginning of the command sequence of Figure 22, to perform distortion removing process switches its internal structure. さらに、テレビジョン受像機部205のR-IC231は、図22のコマンド列のうちの先頭から3番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。 Furthermore, R-IC 231 of the television receiver 205, in accordance with the third spatial resolution creation processing command from the beginning of the command sequence of Figure 22, to perform spatial resolution creation processing, switching the internal structure .

ステップS236では、R-IC212,222,232それぞれが、ステップS235で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。 In step S236, each R-IC212,222,232 is, performs signal processing to be performed by the internal structure switched in step S235, the process ends.

即ち、いまの場合、HDDレコーダ部204において、再生部225が、HD224から画像データを読み出し、MPEG復号して、R-IC222に供給する。 That is, in this case, the HDD recorder 204, the reproduction unit 225 reads the image data from the HD224, and MPEG decoding to the R-IC 222. R-IC222は、再生部225から供給される画像データ、即ち、MPEG符号化/復号によってブロック歪み等が生じている画像データに対して、歪み除去処理を施し、テレビジョン受像機部205に出力する。 R-IC 222, the image data supplied from the reproducing unit 225, i.e., the image data block distortion or the like is caused by the MPEG coding / decoding, subjected to a distortion removing process, the output to the television receiver 205 to.

テレビジョン受像機部205では、HDDレコーダ部204のR-IC222からの画像データが、R-IC232に供給される。 In the television receiver 205, the image data from the R-IC 222 of the HDD recorder 204 is supplied to the R-IC 232. R-IC232は、R-IC222からの画像データに対して、空間解像度創造処理を施し、ディスプレイ233に供給する。 R-IC 232 subjects the image data from the R-IC 222, subjected to spatial resolution creation processing, and supplies the display 233.

従って、いまの場合、R-IC222は、歪み除去処理を行う装置として、R-IC232は、空間解像度創造処理を行う装置として、それぞれ機能することになる。 Therefore, in this case, R-IC 222 is, as an apparatus for performing distortion removal process, R-IC 232 is, as an apparatus for performing spatial resolution creation processing, will function respectively.

以上のように、HD224から再生された画像データを対象に、R-IC222で歪み除去処理が行われ、その処理結果を対象に、R-IC232で空間解像度創造処理が行われることにより、ディスプレイ233には、ブロック歪み等が除去(低減)され、空間解像度が高い画像が表示されることになる。 As described above, the target image data reproduced from the HD224, the distortion removal processing is performed in R-IC 222 to a subject the processing result, by the spatial resolution creation processing in R-IC 232 is performed, the display 233 , the block distortion or the like is removed (reduced), so that the spatial resolution is displayed higher image.

一方、制御部202Bは、ステップS231において、操作信号が、HDD224に記録された画像データの再生を指令するものでないと判定した場合、図23のステップS241に進み、操作信号が、外部からの画像データの拡大(ズーム)表示を指令するものであるかどうかを判定する。 On the other hand, the control unit 202B in step S231, the operation signal, if it is determined not intended to command the reproduction of image data recorded in the HDD 224, the process proceeds to step S241 of FIG. 23, the operation signal is an image from the outside expansion of the data determines whether or not these commands the (zoom) displays.

ステップS241において、操作信号が、外部からの画像データの拡大表示を指令するものであると判定された場合、ステップS242に進み、制御部202Bは、その操作信号に応じたコマンド列を生成する。 In step S241, the operation signal, if it is determined that those which direct enlarged display of the image data from the outside, the process proceeds to step S242, the control unit 202B generates a command sequence corresponding to the operation signal.

ここで、図24は、制御部202Bが、図23のステップS242で生成するコマンド列の例を示している。 Here, FIG. 24, the control unit 202B has an example of a command sequence generated in step S242 in FIG. 23.

図24のコマンド列は、3つの空間解像度創造処理コマンドから構成されている。 Command sequence of Figure 24 is composed of three spatial resolution creation processing command.

図24のコマンド列のうちの、先頭、2番目、3番目の空間解像度創造処理コマンドは、DVDレコーダ部203のR-IC212、HDDレコーダ部204のR-IC222、テレビジョン受像機部205のR-IC232に対し、それぞれ、信号処理として、空間解像度創造処理を要求するものである。 Of command sequence of Figure 24, the top second, third spatial resolution creation processing command, R-IC 222 of R-IC 212, HDD recorder 204 of the DVD recorder unit 203, R of the television receiver 205 to -IC232, respectively, as the signal processing are those requiring spatial resolution creation processing.

図23に戻り、ステップS242において、制御部202Bは、コマンド列を生成すると、そのコマンド列を、送受信部202Aに供給し、ステップS243に進む。 Returning to Figure 23, in step S242, the control unit 202B, when generating the command sequence, the command sequence is supplied to a transmitting and receiving unit 202A, the process proceeds to step S243. ステップS243では、送受信部202Aは、制御部202Bからのコマンド列を送信(放送)し、ステップS244に進む。 In step S243, transmission and reception unit 202A includes a command sequence from the controller 202B transmits (broadcasts), the process proceeds to step S244.

ステップS244では、DVDレコーダ部203の受信部211、HDDレコーダ部204の受信部221、およびテレビジョン受像機部205の受信部231が、送受信部202AがステップS243で送信したコマンド列を受信する。 In step S244, the receiving unit 231 of the receiver 221, and the television receiver 205 of the receiving portion 211, HDD recorder 204 of the DVD recorder 203 receives the command sequence transceiver 202A is transmitted in step S243. さらに、ステップS244では、受信部211,221,231それぞれが、送受信部202Aから受信したコマンド列を、R-IC212,222,232にそれぞれ供給し、ステップS245に進む。 Further, in step S244, receiving sections 211, 221 and 231 is, the command string received from the transceiver unit 202A, and supplied to the R-IC212,222,232, the process proceeds to step S245.

ステップS245では、R-IC212,222,232それぞれが、受信部211,221,231から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップS246に進む。 In step S245, each R-IC212,222,232 is, of the supplied command sequence from the receiver 211, 221, 231, for example, in response to a command to itself, switching its internal structure, the flow proceeds to step S246 .

即ち、いまの場合、DVDレコーダ部203のR-IC212は、図24のコマンド列のうちの先頭の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。 That is, in this case, R-IC 212 of the DVD recorder 203, in response to the first spatial resolution creation processing command of the command sequence of Figure 24, to perform spatial resolution creation processing, switches its internal structure. 同様に、HDDレコーダ部204のR-IC221とテレビジョン受像機部205のR-IC231も、図24のコマンド列のうちの先頭から2番目と3番目の空間解像度創造処理コマンドにそれぞれ応じて、空間解像度創造処理を行うように、それぞれの内部構造を切り換える。 Similarly, R-IC 231 of R-IC 221 and the television receiver 205 of the HDD recorder 204 is also depending respectively from the beginning of the command sequence of Figure 24 in the second and third spatial resolution creation processing command, to perform spatial resolution creation processing, switching the respective internal structures.

ステップS246では、R-IC212,222,232それぞれが、ステップS245で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。 In step S246, each R-IC212,222,232 is, performs signal processing to be performed by the internal structure switched in step S245, the process ends.

即ち、いまの場合、DVDレコーダ部203では、R-IC212は、DVDレコーダ部203の外部から入力される画像データに対して、空間解像度創造処理を施し、HDDレコーダ204に出力する。 That is, in this case, the DVD recorder 203, R-IC 212 subjects the image data input from the outside of the DVD recorder 203 performs spatial resolution creation processing, and outputs to the HDD recorder 204.

HDDレコーダ204では、DVDレコーダ部203のR-IC212からの画像データが、R-IC222に供給される。 In the HDD recorder 204, the image data from the R-IC 212 of the DVD recorder 203 is supplied to the R-IC 222. R-IC222は、R-IC212からの画像データに対して、空間解像度創造処理を施し、テレビジョン受像機部205に出力する。 R-IC 222 subjects the image data from the R-IC 212, subjected to spatial resolution creation processing, and outputs to the television receiver 205.

テレビジョン受像機部205では、HDDレコーダ部204のR-IC222からの画像データが、R-IC232に供給される。 In the television receiver 205, the image data from the R-IC 222 of the HDD recorder 204 is supplied to the R-IC 232. R-IC232は、R-IC222からの画像データに対して、空間解像度創造処理を施し、ディスプレイ233に供給する。 R-IC 232 subjects the image data from the R-IC 222, subjected to spatial resolution creation processing, and supplies the display 233.

従って、いまの場合、R-IC212,222,232は、いずれも、空間解像度創造処理を行う装置として機能することになる。 Therefore, in this case, R-IC212,222,232 are both made to function as an apparatus for performing spatial resolution creation processing.

いま、R-IC212,222,232それぞれで行われる空間解像度創造処理としての画像変換処理が、第1の画像データを、その第1の画像データよりも画素数が多い第2の画像データに変換するものでもあるとすると、即ち、R-IC212,222,232それぞれで行われる空間解像度創造処理がリサイズ処理でもあるとすると、R-IC212では、外部からの画像データを対象に、リサイズ処理でもある空間解像度創造処理が行われる。 Now, the image conversion processing as the spatial resolution creation processing performed in each R-IC212,222,232 is, the first image data, on the first number of pixels than the image data of many second image data conversion When there is what can be described, i.e., if the spatial resolution creation processing performed in each R-IC212,222,232 is also a resizing process, the R-IC 212, the target image data from the outside, is also a resizing process spatial resolution creation process is carried out. そして、R-IC222では、その空間解像度創造処理の結果を対象に、やはり、リサイズ処理でもある空間解像度創造処理が行われ、さらに、R-IC232でも、その空間解像度創造処理の結果を対象に、やはり、リサイズ処理でもある空間解像度創造処理が行われる。 Then, the R-IC 222, a target result of the spatial resolution creation processing, also, spatial resolution creation processing, which is also the resizing process is performed, further, even R-IC 232, a target result of the spatial resolution creation processing, again, the spatial resolution creation process, which is also the resizing process is carried out.

これにより、ディスプレイ233には、外部からの画像データが拡大された画像が表示されることになる。 Thus, the display 233, the image of the image data from the outside is expanded is displayed.

一方、制御部202Bは、ステップS241において、操作信号が、外部からの画像データの拡大表示を指令するものでないと判定した場合、図25のステップS251に進み、操作信号が、外部からの画像データのスローモーションでの表示を指令するものであるかどうかを判定する。 On the other hand, the control unit 202B in step S241, the operation signal, if it is determined not intended to command the enlarged display of the image data from the outside, the process proceeds to step S251 of FIG. 25, the operation signal, the image data from the external It determines whether or not it is intended to direct the display of in slow motion.

ステップS251において、操作信号が、外部からの画像データのスローモーションでの表示を指令するものであると判定された場合、ステップS252に進み、制御部202Bは、その操作信号に応じたコマンド列を生成する。 In step S251, the operation signal, if it is determined that those which direct display in slow motion image data from the outside, the process proceeds to step S252, the control unit 202B includes a command string corresponding to the operation signal generated.

ここで、図26は、制御部202Bが、図25のステップS252で生成するコマンド列の例を示している。 Here, FIG. 26, the control unit 202B has an example of a command sequence generated in step S252 in FIG. 25.

図26のコマンド列は、3つの時間解像度創造処理コマンドから構成されている。 Command sequence of Figure 26 is composed of three time resolution creation processing command.

図26のコマンド列のうちの、先頭、2番目、3番目の時間解像度創造処理コマンドは、DVDレコーダ部203のR-IC212、HDDレコーダ部204のR-IC222、テレビジョン受像機部205のR-IC232に対し、それぞれ、信号処理として、時間解像度創造処理を要求するものである。 Of command sequence of Figure 26, the top second, and the third time resolution creation processing command, R-IC 222 of R-IC 212, HDD recorder 204 of the DVD recorder unit 203, R of the television receiver 205 to -IC232, respectively, as the signal processing is to request the time resolution creation processing.

図25に戻り、ステップS252において、制御部202Bは、コマンド列を生成すると、そのコマンド列を、送受信部202Aに供給し、ステップS253に進む。 Returning to Figure 25, in step S252, the control unit 202B, when generating the command sequence, the command sequence is supplied to a transmitting and receiving unit 202A, the process proceeds to step S253. ステップS253では、送受信部202Aは、制御部202Bからのコマンド列を送信(放送)し、ステップS254に進む。 In step S253, transmission and reception unit 202A includes a command sequence from the controller 202B transmits (broadcasts), the process proceeds to step S254.

ステップS254では、DVDレコーダ部203の受信部211、HDDレコーダ部204の受信部221、およびテレビジョン受像機部205の受信部231が、送受信部202AがステップS253で送信したコマンド列を受信する。 In step S254, the receiving unit 231 of the receiver 221, and the television receiver 205 of the receiving portion 211, HDD recorder 204 of the DVD recorder 203 receives the command sequence transceiver 202A is transmitted in step S253. さらに、ステップS254では、受信部211,221,231それぞれが、送受信部202Aから受信したコマンド列を、R-IC212,222,232にそれぞれ供給し、ステップS255に進む。 Further, in step S254, receiving sections 211, 221 and 231 is, the command string received from the transceiver unit 202A, and supplied to the R-IC212,222,232, the process proceeds to step S255.

ステップS255では、R-IC212,222,232それぞれが、受信部211,221,231から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップS256に進む。 In step S255, each R-IC212,222,232 is, of the supplied command sequence from the receiver 211, 221, 231, for example, in response to a command to itself, switching its internal structure, the flow proceeds to step S256 .

即ち、いまの場合、DVDレコーダ部203のR-IC212は、図26のコマンド列のうちの先頭の時間解像度創造処理コマンドに応じて、時間解像度創造処理を行うように、その内部構造を切り換える。 That is, in this case, R-IC 212 of the DVD recorder 203, in response to the beginning of the time resolution creation processing command of the command sequence of Figure 26, to perform time resolution creation processing, switches its internal structure. 同様に、HDDレコーダ部204のR-IC221とテレビジョン受像機部205のR-IC231も、図26のコマンド列のうちの先頭から2番目と3番目の時間解像度創造処理コマンドにそれぞれ応じて、時間解像度創造処理を行うように、それぞれの内部構造を切り換える。 Similarly, R-IC 231 of R-IC 221 and the television receiver 205 of the HDD recorder 204 is also depending respectively from the beginning of the command sequence of Figure 26 in the second and third time resolution creation processing command, to perform time resolution creation processing, switching the respective internal structures.

ステップS256では、R-IC212,222,232それぞれが、ステップS255で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。 In step S256, each R-IC212,222,232 is, performs signal processing to be performed by the internal structure switched in step S255, the process ends.

即ち、いまの場合、DVDレコーダ部203では、R-IC212は、DVDレコーダ部203の外部から入力される画像データに対して、時間解像度創造処理を施し、HDDレコーダ204に出力する。 That is, in this case, the DVD recorder 203, R-IC 212 subjects the image data input from the outside of the DVD recorder 203 performs time resolution creation processing, and outputs to the HDD recorder 204.

HDDレコーダ204では、DVDレコーダ部203のR-IC212からの画像データが、R-IC222に供給される。 In the HDD recorder 204, the image data from the R-IC 212 of the DVD recorder 203 is supplied to the R-IC 222. R-IC222は、R-IC212からの画像データに対して、時間解像度創造処理を施し、テレビジョン受像機部205に出力する。 R-IC 222 subjects the image data from the R-IC 212, subjected to temporal resolution creation processing, and outputs to the television receiver 205.

テレビジョン受像機部205では、HDDレコーダ部204のR-IC222からの画像データが、R-IC232に供給される。 In the television receiver 205, the image data from the R-IC 222 of the HDD recorder 204 is supplied to the R-IC 232. R-IC232は、R-IC222からの画像データに対して、時間解像度創造処理を施し、ディスプレイ233に供給する。 R-IC 232 subjects the image data from the R-IC 222, subjected to temporal resolution creation processing, and supplies the display 233.

従って、いまの場合、R-IC212,222,232は、いずれも、時間解像度創造処理を行う装置として機能することになる。 Therefore, in this case, R-IC212,222,232 are both made to function as an apparatus for performing time resolution creation processing.

いま、R-IC212,222,232それぞれで行われる時間解像度創造処理としての画像変換処理が、第1の画像データを、その第1の画像データよりもフレーム(またはフィールド)数が多い第2の画像データに変換するものでもあるとすると、R-IC212では、外部からの画像データを対象に、時間解像度創造処理が行われ、フレーム数が増加した画像データが得られる。 Now, the image conversion processing as the temporal resolution creation processing performed in each R-IC212,222,232 is, the first image data, than the first image data frame (or field) large number second When also intended to convert the image data, the R-IC 212, the target image data from the outside, time resolution creation processing is performed, the image data frame number is increased is obtained. そして、R-IC222では、R-IC212で得られたフレーム数が増加した画像データを対象に、やはり、時間解像度創造処理が行われ、フレーム数がさらに増加した画像データが得られる。 Then, the R-IC 222, the target image data number of frames obtained increases with R-IC 212, also, is carried out time resolution creation processing, the image data frame number is further increased is obtained. その後、R-IC232でも、R-IC222で得られたフレーム数が増加した画像データを対象に、時間解像度創造処理が行われ、フレーム数がより増加した画像データが得られる。 Thereafter, even R-IC 232, the target image data number of frames obtained in the R-IC 222 is increased, time resolution creation processing is performed, the image data the number of frames is increased and more can be obtained.

このように、フレーム数が増加した画像データがディスプレイ233に供給され、外部からの画像データを表示するときと同一のフレーム(フィールド)レートで表示されることにより、ディスプレイ233では、画像がスローモーションで表示されることになる。 Thus, the image data frame number is increased is supplied to the display 233, by being displayed in the same frame (field) rate and the time for displaying the image data from the outside, the display 233, an image is slow motion in will be displayed.

なお、図15、図17、図19、図21、図23、および図25のフローチャートで説明した各ステップの処理は、ハードウェアであるR-IC212,222、および232などにより行われる処理である。 Incidentally, FIGS. 15, 17, 19, 21, the processing of each step described in the flowchart of FIG. 23, and FIG. 25 is a process performed by such R-IC212,222, and 232 is a hardware . 但し、図15のステップS201乃至S203の処理、図17のステップS211乃至S213の処理、図19のステップS221乃至S223の処理、図21のステップS231乃至S233の処理、図23のステップS241乃至S243の処理、および図25のステップS251乃至S253の処理は、マイクロコンピュータ等のコンピュータに、プログラムを実行させることで行うことも可能である。 However, the processing of steps S201 to S203 in FIG. 15, the processing of steps S211 to S213 in FIG. 17, the processing of steps S221 to S223 in FIG. 19, the processing of steps S231 through S233 of FIG. 21, in step S241 through S243 of FIG. 23 processing, and the processing of steps S251 to S253 in FIG. 25, in a computer such as a microcomputer, it is also possible to carry out is performed by executing a program.

次に、図27は、図14のR-IC212の構成例を示している。 Next, FIG. 27 shows a configuration example of a R-IC 212 of FIG. 14. なお、他のR-IC222および232も同様に構成される。 Incidentally, similarly constructed other R-IC 222 and 232.

R-IC212は、受信部211(図14)から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した各種の信号処理を行う。 R-IC 212, in accordance with the command to configure the command string supplied from the reception unit 211 (FIG. 14) switches the internal structure thereof, performs various types of signal processing utilizing the classification adaptive processing described above.

即ち、R-IC212は、注目画素選択部251、タップ選択部252,253、クラス分類部254、係数出力部255、および予測演算部256で構成されている。 That, R-IC 212 is a target pixel selecting section 251, the tap selecting section 252 and 253, the classification unit 254, and a coefficient output unit 255, and a prediction computation unit 256. これらの注目画素選択部251、タップ選択部252,253、クラス分類部254、係数出力部255、予測演算部256は、図1の注目画素選択部11、タップ選択部12,13、クラス分類部14、係数出力部15、予測演算部16にそれぞれ対応するものである。 These target pixel selection unit 251, the tap selecting section 252 and 253, the classification unit 254, the coefficient output unit 255, the prediction computation unit 256, target pixel selection unit 11 of FIG. 1, the tap selecting section 12, the classification unit 14, the coefficient output unit 15, in which corresponding respectively to the prediction computation unit 16.

従って、R-IC212では、そこに供給される第1の画像データが、第2の画像データに変換されて出力される。 Therefore, the R-IC 212, the first image data supplied thereto is output after being converted into the second image data.

なお、係数出力部255には、受信部211(図14)で受信されたコマンド列のうちの、R-IC212(DVDレコーダ部203)に対するコマンドが供給されるようになっている。 Note that the coefficient output unit 255, among the received command sequence by the receiver 211 (FIG. 14), the command for the R-IC 212 (DVD recorder 203) is adapted to be supplied.

図28は、図27の係数出力部255の構成例を示している。 Figure 28 shows a configuration example of a coefficient output unit 255 of FIG. 27.

図28では、係数出力部255は、係数メモリ261 1 ,261 2 ,261 3 、および261 4 、並びに選択部262で構成されている。 In Figure 28, the coefficient output unit 255 is configured by the coefficient memory 261 1, 261 2, 261 3, and 261 4 and the selection unit 262,.

係数メモリ261 1 ,261 2 ,261 3 、261 4には、あらかじめ行われた学習により求められたノイズ除去処理用のタップ係数、歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、空間解像度創造処理用のタップ係数が、それぞれ記憶されている。 Coefficient memory 261 1, 261 2, 261 3, 261 4, the tap coefficients for the noise removal process obtained by learning performed in advance, the tap coefficients for distortion removal processing, tap coefficients for temporal resolution creation processing, tap coefficients for the spatial resolution creation processing, are respectively stored.

そして、係数メモリ261 1乃至261 4には、図27のクラス分類部254が出力するクラス(クラスコード)が供給される。 Then, in the coefficient memory 261 1 to 261 4, the class output from the classification unit 254 of FIG. 27 (class code) is supplied. 係数メモリ261 1乃至261 4それぞれは、クラス分類部254からのクラスのタップ係数を読み出し、選択部262に出力する。 Each coefficient memory 261 1 to 261 4 reads the tap coefficients of the class from the classification unit 254, and outputs to the selection unit 262.

選択部262には、上述したように、係数メモリ261 1乃至261 4それぞれから読み出されたタップ係数が供給される他、受信部211(図14)で受信されたコマンド列のうちの、R-IC212に対するコマンドが供給される。 The selection unit 262, as described above, except that the tap coefficients read from the coefficient memory 261 1 to 261 4 respectively supplied, among the received command sequence by the receiver 211 (FIG. 14), R command is supplied to the -IC212. 選択部262は、受信部211から供給されるコマンドに応じて、係数メモリ261 1乃至261 4のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部256(図27)の入力端に接続することで、R-IC212の内部構造を切り換える。 Selecting unit 262, in response to a command supplied from the receiving unit 211, selects one of the output terminals of the coefficient memories 261 1 to 261 4, the selected output terminal, the prediction computation unit 256 (FIG. 27 ) by connecting to the input terminal, switching the internal structure of the R-IC 212.

ここで、選択部262が、係数メモリ261 1乃至261 4のうちの、例えば、係数メモリ261 1の出力端を選択し、その選択した出力端を、予測演算部256の入力端に接続した場合、予測演算部256には、係数メモリ261 1から読み出されるノイズ除去処理用のタップ係数が供給されることとなり、その結果、R-IC212は、ノイズ除去処理を行う装置として機能することになる。 Here, if the selected portion 262, of the coefficient memory 261 1 to 261 4, for example, to select the output terminal of the coefficient memory 261 1, and the selected output terminal, connected to the input of the prediction computation unit 256 , the prediction computation unit 256, it is possible to tap coefficients for noise removal processing which is read out from the coefficient memory 261 1 is supplied, as a result, R-IC 212 will serve as a device for performing a noise removal process.

同様に、選択部262が、係数メモリ261 1乃至261 4のうちの、係数メモリ261 2 ,261 3 ,261 4の出力端を選択し、その選択した出力端を、予測演算部256の入力端に接続した場合、予測演算部256には、係数メモリ261 2 ,261 3 ,261 4から読み出される歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、空間解像度創造処理用のタップ係数が、それぞれ供給される。 Similarly, the selection unit 262, among the coefficient memories 261 1 to 261 4, and selects the output terminal of the coefficient memory 261 2, 261 3, 261 4, the selected output terminal, the input terminal of the prediction computation unit 256 when connected to, the prediction computation unit 256, the coefficient memory 261 2, 261 3, 261 tap coefficient for distortion removal process is read from the 4, the tap coefficients for the temporal resolution creation processing, the tap coefficients for the spatial resolution creation processing but, it is supplied. その結果、選択部262が、係数メモリ261 1乃至261 4のうちの、係数メモリ261 2 ,261 3 ,261 4の出力端を選択した場合には、R-IC212は、歪み除去処理を行う装置、時間解像度創造処理を行う装置、空間解像度創造処理を行う装置として、それぞれ機能することになる。 As a result, the selection unit 262, among the coefficient memories 261 1 to 261 4, if you select the coefficient memory 261 2, 261 3, 261 4 output terminals are R-IC 212, the device that performs distortion removal process , apparatus for performing time resolution creation processing, as an apparatus for performing spatial resolution creation processing, will function respectively.

次に、図29のフローチャートを参照して、図27のR-IC212の処理について説明する。 Next, with reference to the flowchart of FIG. 29 describes the processing of the R-IC 212 of FIG. 27.

図14の受信部211からR-IC212に、R-IC212に対するコマンドが供給されると、R-IC212は、ステップS261において、そのコマンドに応じて、内部構造を切り換える。 From the receiving unit 211 of FIG. 14 to R-IC 212, when the command for R-IC 212 is supplied, R-IC 212, in step S261, in response to the command, switches the internal structure.

即ち、受信部211からのコマンドは、係数出力部255に供給される。 That is, the command from the receiving unit 211 is supplied to the coefficient output unit 255. 係数出力部255(図28)では、選択部262が、受信部211からのコマンドに応じて、係数メモリ261 1乃至261 4のうちの、受信部211からのコマンドに対応する信号処理用のタップ係数が記憶されているものの出力端を選択し、その選択した出力端を、予測演算部256(図27)の入力端に接続することで、R-IC212の内部構造を切り換える。 The coefficient output section 255 (FIG. 28), the selection unit 262, in response to a command from the receiving unit 211, among the coefficient memories 261 1 to 261 4, the tap of the signal processing corresponding to the command from the receiving unit 211 It selects the output end of which the coefficient is stored, the selected output terminal, by connecting to the input of the prediction computation unit 256 (FIG. 27) switches the internal structure of the R-IC 212.

その後、ステップS262に進み、以下、ステップS262乃至S267において、図2のステップS11乃至S16における場合とそれぞれ同様の処理が行われる。 Thereafter, the process proceeds to step S262, hereinafter, at step S262 to S 267, the same processes as in steps S11 to S16 in FIG. 2 are performed.

即ち、ステップS262において、注目画素選択部251は、R-IC212に入力される第1の画像データに対する第2の画像データを構成する画素のうち、まだ、注目画素とされていないものの1つを、注目画素として選択し、ステップS263に進む。 That is, in step S262, the target pixel selecting section 251, among the pixels constituting the second image data for the first image data input to the R-IC 212, yet, one but not the pixel of interest , selected as a pixel of interest, the process proceeds to step S263.

ステップS263において、タップ選択部252と253が、そこに供給される第1の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。 In step S263, the tap selecting section 252 and 253, from the first image data supplied thereto, those that the prediction taps and class taps for the pixel of interest, respectively selected. そして、予測タップは、タップ選択部252から予測演算部256に供給され、クラスタップは、タップ選択部253からクラス分類部254に供給される。 The prediction tap is supplied from the tap selecting section 252 to the prediction computation unit 256, the class taps are supplied from the tap selecting section 253 to the classification unit 254.

クラス分類部254は、タップ選択部253から、注目画素についてのクラスタップを受信し、ステップS264において、そのクラスタップに基づき、注目画素をクラス分類する。 The classification unit 254, the tap selection unit 253 receives the class tap for the pixel of interest, in step S264, based on the class tap, the pixel of interest classification. さらに、クラス分類部254は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部255に出力し、ステップS265に進む。 Furthermore, the classification unit 254, a class of the pixel of interest obtained as a result of the classification, and outputs the coefficient output unit 255, the process proceeds to step S265.

ステップS265では、係数出力部255が、クラス分類部254から供給されるクラスのタップ係数を出力する。 In step S265, the coefficient output unit 255 outputs the tap coefficients of the class supplied from the classification unit 254. 即ち、係数出力部255(図28)は、係数メモリ261 1乃至261 4のうちの、選択部262が出力端を選択しているものから、クラス分類部254から供給されるクラスのタップ係数を読み出し、予測演算部256に出力する。 That is, the coefficient output unit 255 (FIG. 28), out of the coefficient memory 261 1 to 261 4, from which the selection unit 262 selects the output end, the tap coefficients of the class supplied from the classification unit 254 reading, and outputs to the prediction computation unit 256. そして、ステップS265では、予測演算部256が、係数出力部255が出力するタップ係数を取得し、ステップS266に進む。 In step S265, the prediction computation unit 256 obtains the tap coefficients the coefficient output unit 255 outputs, the process proceeds to step S266.

ステップS266では、予測演算部256が、タップ選択部252が出力する予測タップと、係数出力部255から取得したタップ係数とを用いて、式(1)の予測演算を行う。 In step S266, the prediction computation unit 256, using the prediction taps from the tap selecting section 252 outputs, and the tap coefficient acquired from the coefficient output unit 255 performs prediction computation of the formula (1). これにより、予測演算部256は、注目画素の画素値を求めて出力し、ステップS267に進む。 Accordingly, the prediction computation unit 256, and determines and outputs the pixel value of the pixel of interest and proceeds to step S 267.

ステップS267では、注目画素選択部251が、まだ、注目画素としていない第2の画像データがあるかどうかを判定する。 In step S 267, the target pixel selecting section 251, still, determines whether there is a second image data that is not the pixel of interest. ステップS267において、まだ、注目画素としていない第2の画像データがあると判定された場合、ステップS262に戻り、以下、同様の処理が繰り返される。 In step S 267, yet, when it is determined that there is a second image data that is not the target pixel, the process returns to step S262, and similar processing is repeated.

また、ステップS267において、まだ、注目画素とされていない第2の画像データがないと判定された場合、処理を終了する。 Further, in step S 267, still, if it is determined that there is no second image data which is not the pixel of interest, the process ends.

次に、図30は、図14のR-IC212の他の構成例を示している。 Next, FIG. 30 shows another configuration example of the R-IC 212 of FIG. 14. なお、図中、図27における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。 Incidentally, portions corresponding to those in the figure, 27 are given the same reference numerals, and description thereof will be omitted below as appropriate. 即ち、図30のR-IC212は、係数出力部255に代えて、係数出力部275が設けられている他は、図27における場合と同様に構成されている。 That, R-IC 212 of FIG. 30, in place of the coefficient output unit 255, in addition to the coefficient output unit 275 is provided, it is configured as in FIG. 27.

ここで、他のR-IC222および232も、図30に示すR-IC212と同様に構成することができる。 Here, another R-IC 222 and 232 can also be configured similarly to the R-IC 212 shown in FIG. 30.

図30のR-IC212も、図27における場合と同様に、受信部211(図14)から供給されるコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した各種の信号処理を行う。 R-IC 212 of FIG. 30 also, as in Figure 27, in accordance with the command supplied from the reception unit 211 (FIG. 14) switches the internal structure thereof, various signals using the classification adaptive processing described above processing is carried out. 即ち、図30のR-IC212も、そこに供給される第1の画像データを、第2の画像データに変換して出力する。 That, R-IC 212 of FIG. 30 also, the first image data supplied thereto, and outputs the converted to a second image data.

なお、受信部211(図14)からのコマンドは、係数出力部275に供給されるようになっている。 Note that commands from the receiver 211 (FIG. 14) is adapted to be supplied to the coefficient output unit 275. さらに、係数出力部275には、R-IC212の外部からパラメータzが供給されるようになっている。 Further, the coefficient output unit 275, which is from the outside of the R-IC 212 to the parameter z is supplied.

ここで、パラメータzは、例えば、ユーザがリモコン201(図14)の操作部201Aを操作することによって与えることができる。 Here, the parameter z can, for example, can be given by the user operating the operating section 201A of the remote controller 201 (FIG. 14).

即ち、ユーザは、リモコン201を操作することにより、本体200に対して、上述したように、DVD214やHD224に対する画像データの記録または再生、ディスプレイ233への画像の拡大表示、スローモーション表示などを指令することができる。 That is, the user, by operating the remote controller 201, with respect to the body 200, as described above, the recording or reproduction of image data for the DVD214 and HD224, enlarged display of the image on the display 233, a command such as slow motion display can do. そして、R-IC212では、その指令に応じて、そこに入力される第1の画像データを対象に、ノイズ除去処理、歪み除去処理、時間解像度創造処理、または空間解像度創造処理が行われ、その処理の結果得られる第2の画像データが出力される。 Then, the R-IC 212, in response to the command, the target first image data input thereto, noise removal process, the distortion removal processing, time resolution creation processing, or spatial resolution creation processing is performed, the second image data obtained as a result of the processing is outputted.

図27に示した構成のR-IC212では、係数出力部255に固定のタップ係数が記憶されているため、例えば、ノイズ除去処理によるノイズ除去の程度(ノイズ除去処理により向上するS/Nの程度)や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度も固定となるが、これらの程度の好みは、一般に、ユーザごとに異なる。 In R-IC 212 having the configuration shown in FIG. 27, since the tap coefficients of the fixed coefficient output unit 255 are stored, for example, the degree of S / N is improved by the degree (the noise removal processing of the noise removal by the noise removal process ) and the degree of distortion removal due to distortion removal process also becomes fixed extent that the high-frequency component is increased by the time resolution creation processing and spatial resolution creation processing, these degrees of preference, generally, different for each user.

さらに、上述したように、画像のスローモーション表示は、時間解像度創造処理によって行われ、画像の拡大表示は、空間解像度創造処理によって行われるが、スローモーション表示を行うときの表示レート(フレームレート)や、拡大表示を行うときの拡大率を、ユーザが指定したいことがある。 Further, as described above, slow motion display of the image is performed by the time resolution creation processing, enlarge the image is carried out by the spatial resolution creation processing, the display rate when performing display slow motion (frame rate) and, the magnification at the time of performing an enlarged display, you may want to specify the user.

そこで、図30の実施の形態では、ユーザが、リモコン201(図14)を操作して、DVD214やHD224に対する画像データの記録または再生、ディスプレイ233への画像の拡大表示、スローモーション表示などを指令するのとは別に、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度、スローモーション表示を行うときの表示レート、拡大表示を行うときの拡大率を指定することができるようになっている。 Therefore, in the embodiment of FIG. 30, the user operates the remote control 201 (FIG. 14), image data recording or reproducing for the DVD214 and HD224, enlarged display of the image on the display 233, a command such as slow motion display Apart from that, and the extent of noise removal by the noise removal processing, the degree of distortion removal by distortion removing process, the degree to which the high-frequency component increases with time resolution creation processing and spatial resolution creation processing, when performing display in slow motion display rate, thereby making it possible to specify the magnification when performing enlargement display.

この指定は、例えば、ユーザがリモコン201の操作部201Aを操作することにより行うことができる。 This designation may be carried out by the user operating the operation section 201A of the remote controller 201. 即ち、ユーザがリモコン201の操作部201Aを操作することにより、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度、スローモーション表示を行うときの表示レート、拡大表示を行うときの拡大率などの値を指定すると、送信部201Bは、その指定された値に対応するパラメータzを送信する。 That is, increased by the user operating the operating unit 201A of the remote controller 201, and the extent of noise removal by the noise removal processing, the degree of distortion removal due to distortion removal processing, the high frequency components by the time resolution creation processing and spatial resolution creation processing degree of, display rate when performing display slow motion, a value such as magnification when performing enlargement display, transmission unit 201B transmits the parameter z that corresponds to the specified value. このパラメータzは、制御装置202を介して、受信部211,221,231でそれぞれ受信され、R-IC212,222,232に供給される。 The parameter z, via the controller 202, are respectively received by the receiving unit 211, 221, 231, are supplied to the R-IC212,222,232.

そして、図30のR-IC212では、受信部211からのパラメータzが、係数出力部275に供給される。 Then, the R-IC 212 of FIG. 30, the parameter z from the receiving unit 211 is supplied to the coefficient output unit 275.

図31は、図30の係数出力部275の構成例を示している。 Figure 31 shows a configuration example of a coefficient output unit 275 of FIG. 30.

係数出力部275は、係数生成部281、係数種出力部282、パラメータメモリ283、および係数メモリ284から構成される。 Coefficient output section 275 is composed of a coefficient generator 281, coefficient seed output unit 282, the parameter memory 283 and coefficient memory 284,. これらの係数生成部281、係数種出力部282、パラメータメモリ283、係数メモリ284は、図8の係数出力部55を構成する係数生成部61、係数種メモリ62、パラメータメモリ63、係数メモリ64にそれぞれ対応する。 These coefficient generator 281, coefficient seed output unit 282, the parameter memory 283, the coefficient memory 284, coefficient generation unit 61 which constitutes the coefficient output unit 55 of FIG. 8, the coefficient seed memory 62, parameter memory 63, the coefficient memory 64 each corresponding.

図31の係数出力部275においては、受信部211(図14)からのパラメータzがパラメータメモリ283に供給されて記憶される。 In the coefficient output unit 275 in FIG. 31, the parameter z from the receiver 211 (FIG. 14) is supplied to and stored in the parameter memory 283. さらに、受信部211で受信されたコマンド列のうちの、R-IC212に対するコマンドが、係数種出力部282に供給される。 Furthermore, among the received command sequence by the receiving unit 211, a command for R-IC 212 is supplied to the coefficient seed output unit 282. また、クラス分類部254(図30)が出力するクラスが、係数メモリ284に供給される。 Further, the classification unit 254 (FIG. 30) classes that output is supplied to the coefficient memory 284.

係数種出力部282は、係数種メモリ291 1 ,291 2 ,291 3 、および291 4 、並びに選択部292で構成されている。 Coefficient seed output unit 282 is configured by the coefficient seed memory 291 1, 291 2, 291 3, and 291 4 and the selection unit 292,.

係数種メモリ291 1 ,291 2 ,291 3 、291 4には、あらかじめ行われた学習により求められたノイズ除去処理用の係数種データ、歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、空間解像度創造処理用の係数種データが、それぞれ記憶されている。 The coefficient seed memory 291 1, 291 2, 291 3, 291 4, the coefficient seed data for noise removal processing obtained by learning performed in advance, the coefficient seed data for distortion elimination processing, for time resolution creation processing coefficient seed data, the coefficient seed data for spatial resolution creation processing, are respectively stored.

そして、係数種メモリ291 1乃至291 4は、それぞれが記憶しているクラスごとの係数種データを読み出し、選択部292に出力する。 The coefficient seed memory 291 1 to 291 4 reads the coefficient seed data for each class, each stored, and outputs to the selection unit 292.

選択部292には、上述したように、係数種メモリ291 1乃至291 4それぞれから読み出された係数種データが供給される他、受信部211(図14)で受信されたコマンド列のうちの、R-IC212に対するコマンドが供給される。 The selection unit 292, as described above, except that the coefficient seed data read from the coefficient seed memory 291 1 to 291 4 respectively supplied, the reception section 211 of the received command column (Fig. 14) , command for R-IC 212 is supplied. 選択部292は、受信部211から供給されるコマンドに応じて、係数種メモリ291 1乃至291 4のうちのいずれかの出力端を選択し、その選択した出力端を、係数生成部281の入力端に接続することで、R-IC212の内部構造を切り換える。 Selecting unit 292 according to a command supplied from the receiving unit 211, selects one of the output terminals of the coefficient seed memory 291 1 to 291 4, the selected output terminal, the input of the coefficient generator 281 by connecting to the end, switching the internal structure of the R-IC 212.

ここで、選択部292が、係数種メモリ291 1乃至291 4のうちの、例えば、係数種メモリ291 1の出力端を選択し、その選択した出力端を、係数生成部281の入力端に接続した場合、係数生成部281には、係数種メモリ291 1から読み出されるノイズ除去処理用の係数種データが供給される。 Here, connection selection unit 292, of the coefficient seed memory 291 1 to 291 4, for example, to select the output terminal of the coefficient seed memory 291 1, and the selected output terminal, the input terminal of the coefficient generator 281 If it, the coefficient generation unit 281, coefficient seed data for noise removal processing which is read out from the coefficient seed memory 291 1 is supplied.

同様に、選択部292が、係数種メモリ291 1乃至291 4のうちの、係数種メモリ291 2 ,291 3 ,291 4の出力端を選択し、その選択した出力端を、係数生成部281の入力端に接続した場合、係数生成部281には、係数種メモリ291 2 ,291 3 ,291 4から読み出される歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、空間解像度創造処理用の係数種データが、それぞれ供給される。 Similarly, the selection unit 292, of the coefficient seed memory 291 1 to 291 4, and selects the coefficient seed memory 291 2, 291 3, 291 4 output terminals, the selected output terminal, the coefficient generation unit 281 when connected to the input end, the coefficient generation unit 281, the coefficient seed memory 291 2, 291 3, 291 the coefficient seed data for distortion removal process is read from the 4, the coefficient seed data for time resolution creation processing, the spatial resolution creation coefficient seed data for processing are supplied.

係数生成部281は、係数種出力部282から供給される係数種データと、パラメータメモリ283に記憶されたパラメータzとに基づいて、式(9)を演算することにより、パラメータzに対応するタップ係数をクラスごとに生成し、係数メモリ284に供給して上書きする形で記憶させる。 Coefficient generation unit 281, a coefficient seed data supplied from the coefficient seed output unit 282, based on the parameter z stored in the parameter memory 283, by calculating the equation (9), the tap corresponding to the parameter z to generate coefficients for each class, and stores in the form of overwriting and supplied to the coefficient memory 284.

そして、係数メモリ284では、クラス分類部254(図30)からクラスが供給されると、そこに記憶している、パラメータzに対応するタップ係数のうちの、クラス分類部254からのクラスのタップ係数を読み出し、予測演算部256(図30)に出力する。 Then, in the coefficient memory 284, the class from the classification unit 254 (FIG. 30) is supplied, and stores therein, among the tap coefficients corresponding to the parameter z, the class from the classification unit 254 taps It reads the coefficient, and outputs the prediction computation unit 256 (FIG. 30).

以上のような係数出力部275を有する図30のR-IC212では、固定のタップ係数を記憶しており、そのタップ係数を出力する図27の係数出力部255に代えて設けられている係数出力部275において、パラメータzに対応するタップ係数を生成して出力することを除いて、図27における場合と同様の処理が行われる。 In R-IC 212 of Figure 30 having a coefficient output section 275 as described above, stores the tap coefficients of the fixed coefficient output provided in place of the coefficient output unit 255 of FIG. 27 and outputs the tap coefficients in section 275, except that generates and outputs a tap coefficient corresponding to the parameter z, the same processing as in FIG. 27 is performed.

従って、係数出力部275(図31)において、選択部292が、係数種メモリ291 1乃至291 4のうちの、例えば、係数種メモリ291 1の出力端を選択し、これにより、係数生成部281に、係数種メモリ291 1から読み出されたノイズ除去処理用の係数種データが供給された場合、係数生成部281では、その係数種データと、パラメータメモリ283に記憶されたパラメータzとから、そのパラメータzに対応するノイズ除去処理用のタップ係数が生成され、係数メモリ284に記憶される。 Thus, in the coefficient output unit 275 (FIG. 31), the selection unit 292, of the coefficient seed memory 291 1 to 291 4, for example, to select the output terminal of the coefficient seed memory 291 1, thereby, the coefficient generation unit 281 from the, if the coefficient seed data for noise removal processing which is read from the coefficient seed memory 291 1 is supplied, the coefficient generation unit 281, and the coefficient seed data, and the parameter z stored in the parameter memory 283, the tap coefficients for the noise removal processing corresponding to the parameter z is generated and stored in the coefficient memory 284. 従って、この場合、係数出力部275から予測演算部256には、ノイズ除去処理用のタップ係数が供給されることとなり、その結果、R-IC212は、ノイズ除去処理を行う装置として機能することになる。 Therefore, in this case, the prediction computation unit 256 from the coefficient output unit 275, becomes the tap coefficients for the noise removal process is supplied, as a result, R-IC 212 is to function as a device for performing a noise removal process Become.

同様に、選択部292が、係数種メモリ291 1乃至291 4のうちの、係数種メモリ291 2 ,291 3 、または291 4の出力端を選択し、これにより、係数生成部281に、係数種メモリ291 2 ,291 3 ,または291 4から読み出された歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、または空間解像度創造処理用の係数種データが供給された場合、係数生成部281では、その係数種データと、パラメータメモリ283に記憶されたパラメータzとから、そのパラメータzに対応する歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、または空間解像度創造処理用のタップ係数が生成され、係数メモリ284に記憶される。 Similarly, the selection unit 292 selects one of the coefficient seed memory 291 1 to 291 4, the coefficient seed memory 291 2, 291 3 or 291 4 output terminals, and thereby, to the coefficient generation unit 281, coefficient seed memory 291 2, 291 3, or 291 4 coefficient seed data for distortion removal processing is read from, if the coefficient seed data for resolution creation processing or the coefficient seed data for spatial resolution creation processing, supplied time, the coefficient generation unit 281, and the coefficient seed data, parameters from a stored parameter z in the memory 283, the tap coefficients for distortion removal processing corresponding to the parameter z, the tap coefficients for the temporal resolution creation processing, or spatial resolution, tap coefficients for creation processing is generated and stored in the coefficient memory 284. 従って、選択部292が、係数種メモリ291 1乃至291 4のうちの、係数種メモリ291 2 ,291 3 、または291 4の出力端を選択した場合には、係数出力部275から予測演算部256には、歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、または空間解像度創造処理用のタップ係数が供給されることとなり、その結果、R-IC212は、ノイズ除去処理を行う装置、時間解像度創造処理を行う装置、空間解像度創造処理を行う装置として、それぞれ機能することになる。 Accordingly, the selection unit 292, of the coefficient seed memory 291 1 to 291 4, when the user selects the coefficient seed memory 291 2, 291 3 or 291 4 output terminals, the prediction computation unit from the coefficient output unit 275 256 the tap coefficients for distortion removal process, becomes the tap coefficients for the temporal resolution creation processing or tap coefficients for the spatial resolution creation processing, is supplied, as a result, R-IC 212, the apparatus for performing a noise removal process , apparatus for performing time resolution creation processing, as an apparatus for performing spatial resolution creation processing, will function respectively.

さらに、図30のR-IC212では、係数出力部275(図31)の係数メモリ284に、パラメータzに対応するタップ係数が記憶されるので、ユーザは、リモコン201(図14)を操作することにより、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度を、好みの程度とすることができる。 Furthermore, the R-IC 212 of FIG. 30, the coefficient memory 284 of the coefficient output unit 275 (FIG. 31), the tap coefficient corresponding to the parameter z is stored, the user operates the remote control 201 (FIG. 14) by, and the extent of noise removal by the noise removal processing, the degree of distortion removal by distortion removing process, the extent to which the high-frequency component increases with time resolution creation processing and spatial resolution creation processing, may be on the order of preference. また、スローモーション表示を行うときの表示レートや、拡大表示を行うときの拡大率を指定することができる。 In addition, it is possible to specify the magnification when performing a display rate and, enlarged and displayed at the time of performing the display slow motion.

以上のように、R-IC212,222,232それぞれでは、コマンド列のうちの、少なくとも1つのコマンドに応じて、内部構造を切り換え、そこに入力される画像データを信号処理して、その信号処理結果としての画像データを出力するので、単一のハードウェアで、複数の機能を、容易に実現することができる。 As described above, in the R-IC212,222,232 respectively, of the command sequence, according to at least one command, it switches the internal structure, the image data and signal processing that is input thereto, the signal processing since outputs the image data as a result, a single hardware, a plurality of functions can be easily realized.

さらに、R-IC222では、R-IC212の信号処理結果を信号処理し、R-IC232では、R-IC222の信号処理結果を信号処理するので、R-IC212,222,232全体としては、より多くの機能を、容易に実現することができる。 Furthermore, the R-IC 222, and signal processing the signal processing result of the R-IC 212, the R-IC 232, since the signal processing a signal processing result of the R-IC 222, the entire R-IC212,222,232 is more function can be easily realized in the.

なお、図14のAVシステムには、3つのR-IC212,222,232を設けるようにしたが、AVシステムは、その他、1つや2つ、あるいは4以上のR-ICを設けて構成することが可能である。 Note that the AV system of FIG. 14, has been provided with three R-IC212,222,232, AV system, other, one or two, or four configuring provided above R-IC it is possible.

次に、本発明の第2実施の形態について説明する。 The following describes a second embodiment of the present invention.

図32は、本発明の第2実施の形態としてのテレビジョン受像機301の構成例を示している。 Figure 32 shows a configuration example of the television receiver 301 as a second embodiment of the present invention.

テレビジョン受像機301には、アンテナ302が接続されている。 The television receiver 301, an antenna 302 is connected. アンテナ302は、図示せぬ放送局から送信されてくる放送波(電波)としてのテレビジョン放送番組の伝送信号を受信し、テレビジョン受像機301に供給する。 Antenna 302 receives a transmission signal of a television broadcast program as a broadcast wave transmitted from a broadcasting station (not shown) (Telecommunications) to the television receiver 301. テレビジョン受像機301は、アンテナ301からの伝送信号を受信し、その伝送信号に含まれる所定のチャンネルのテレビジョン放送番組(の信号)を、リモコン(リモートコマンダ)303からの操作信号にしたがって選局して、そのテレビジョン放送番組としての画像を表示するとともに、音声を出力する。 The television receiver 301 receives the transmission signal from the antenna 301, selection according to the operation signal of a predetermined channel of the television broadcasting program (signal) included in the transmission signal, from the remote control (remote commander) 303 to the station, and it displays the image as the television broadcast program, and outputs the voice.

即ち、テレビジョン受像機301は、チューナ部311を有しており、アンテナ302からの伝送信号は、チューナ部311に供給される。 That is, the television receiver 301 has a tuner 311, a transmission signal from the antenna 302 is supplied to a tuner section 311. チューナ部311は、アンテナ302からの伝送信号を受信し、システムコントローラ318の制御にしたがって、アンテナ302から受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像(データ)および音声(データ)を選局することにより取得する。 The tuner unit 311 receives a transmission signal from the antenna 302, the system under the control of the controller 318, the image of a television broadcasting program of a predetermined channel from the transmission signal received from the antenna 302 (data) and audio (data) to get by to tune.

さらに、チューナ部311は、選局したチャンネルの音声を、増幅回路312に供給するとともに、画像のR(Red)信号、G(Green)信号、B(Blue)信号を、信号処理部314,315,316に、それぞれ供給する。 Further, the tuner unit 311, the voice of the selected channel, and supplies to the amplifier circuit 312, an image of R (Red) signal, G (Green) signal, B the (Blue) signal, the signal processing section 314 and 315 , to 316, respectively supply.

増幅回路312は、チューナ部311からの音声を増幅し、スピーカ313に供給して出力させる。 Amplifying circuit 312 amplifies the audio from tuner 311, and outputs and supplies to the speaker 313.

信号処理部314乃至316は、システムコントローラ318からの制御にしたがい、チューナ部311からの画像のR信号、G信号、B信号を、それぞれ信号処理し、ディスプレイ317に供給して、対応する画像を表示させる。 The signal processing unit 314 to 316, under the control of the system controller 318, R signal of the image from the tuner 311, G signal, a B signal, respectively the signal processing is supplied to the display 317, the corresponding image to be displayed.

システムコントローラ318は、リモコン受信部319から供給される操作信号にしたがって、チューナ部311および信号処理部314乃至316に制御信号を供給することにより、チューナ部311および信号処理部314乃至316を制御する。 The system controller 318, according to an operation signal supplied from the remote control receiving unit 319, by supplying a control signal to the tuner unit 311 and the signal processing unit 314 to 316, controls the tuner unit 311 and the signal processing unit 314 to 316 .

リモコン受信部319は、ユーザがリモコン303を操作することにより、リモコン303から送信されてくる操作信号としての、例えば、赤外線その他の無線信号を受信し、システムコントローラ318に供給する。 Remote control receiving unit 319, the user operates the remote control 303, as an operation signal transmitted from the remote controller 303 receives, for example, infrared and other wireless signal and supplies to the system controller 318.

以上のように構成されるテレビジョン受像機301では、チューナ部311は、アンテナ302からの伝送信号を受信し、システムコントローラ318の制御にしたがって、アンテナ302から受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像および音声を選局する。 In configured television receiver 301 as described above, the tuner unit 311 receives a transmission signal from the antenna 302, under the control of the system controller 318, from the transmission signal received from the antenna 302 of a predetermined channel TV to tune the image and voice as a television broadcast program. そして、チューナ部311は、選局したチャンネルの音声を、増幅回路312に供給するとともに、画像のR信号、G信号、B信号(画像データ)を、信号処理部314乃至316に、それぞれ供給する。 Then, the tuner unit 311, the voice of the selected channel, and supplies to the amplifier circuit 312, R signal of the image, G signal, B signal (image data), to the signal processing unit 314 to 316, respectively supply .

増幅回路312では、チューナ部311からの音声が増幅され、スピーカ313に供給されて出力される。 In the amplifier circuit 312, the audio from the tuner 311 is amplified and outputted are supplied to the speaker 313.

一方、信号処理部314乃至316では、システムコントローラ318からの制御にしたがい、チューナ部311からの画像のR信号、G信号、B信号(画像データ)が、それぞれ信号処理される。 On the other hand, the signal processing unit 314 to 316, under the control of the system controller 318, R signal of the image from the tuner 311, G signal, B signal (image data) are respectively signal processing. そして、信号処理部314乃至316では、それぞれの信号処理の結果得られる画像データが、ディスプレイ317に供給され、ディスプレイ317において、対応する画像が表示される。 Then, the signal processing unit 314 to 316, image data obtained as a result of the respective signal processing is supplied to the display 317, the display 317, the corresponding image is displayed.

なお、テレビジョン受像機301において受信する放送は、特に限定されるものではない。 Note that the broadcast received at the television receiver 301 is not particularly limited. 即ち、テレビジョン受像機301では、例えば、衛星放送、地上波放送、アナログ放送、ディジタル放送、その他の任意の放送を受信することができる。 That is, the television receiver 301, for example, satellite broadcasting, terrestrial broadcasting, analog broadcasting, digital broadcasting, it is possible to receive any other broadcast.

また、以下においては、音声に関する説明は、特に必要がない限り省略する。 In the following, description of the audio, unless otherwise required omitted.

次に、図32のシステムコントローラ318によるチューナ部311および信号処理部314乃至316の制御について説明する。 Next, a description will be given of the control of the tuner unit 311 and the signal processing unit 314 to 316 by the system controller 318 of FIG. 32.

ここで、信号処理部314乃至316では、それぞれで処理される信号が、R信号、G信号、B信号であることを除いて同一の処理が行われるため、以下では、信号処理部314乃至316のうちの、信号処理部314についてだけ説明する。 Here, the signal processing unit 314 to 316, the signal is processed in each order R signal, G signal, the same process except that the B signal is performed, in the following, the signal processing unit 314 to 316 of, it will be described only for the signal processing unit 314.

また、以下においては、チューナ部311が出力する画像がプログレッシブ画像(ノンインタレース方式の画像)であるとして説明を行う。 In the following, an image that the tuner 311 is outputted will be described as a progressive image (image non-interlaced). 但し、チューナ部311が出力する画像は、インタレース方式の画像であっても良く、この場合、以下の第2実施の形態の説明における「フレーム」は、「フィールド」とすることができる。 However, the image tuner 311 outputs may be an image of the interlaced "frames" in the description of this case, the following second embodiment, may be a "field".

システムコントローラ318は、リモコン303からリモコン受信部319を介して供給される操作信号にしたがい、テレビジョン受像機301の動作モードを、マルチ画面モードまたは通常画面モードに切り換える制御を行う。 The system controller 318 in accordance with an operation signal supplied from the remote controller 303 via the remote control receiving unit 319 performs control for switching the operation mode of the television receiver 301, the multi-screen mode or normal screen mode. 即ち、システムコントローラ318は、ユーザによるリモコン303の操作に応じて、テレビジョン受像機301の動作モードを、マルチ画面モードまたは通常画面モードに切り換え、その動作モードの処理を行うように、チューナ部311および信号処理部314乃至316を制御する。 More specifically, the system controller 318, in response to the operation of the remote controller 303 by the user, the operation mode of the television receiver 301 is switched to the multi-screen mode or normal screen mode, so as to perform processing of the operation mode, the tuner 311 and controls the signal processing unit 314 to 316.

そして、チューナ部311および信号処理部314乃至316は、システムコントローラ318の制御にしたがい、マルチ画面モードの処理、または通常画面モードの処理を行う。 The tuner 311 and the signal processing unit 314 to 316, under the control of the system controller 318, the processing of the multi-screen mode, or the process of normal screen mode performs.

ここで、チューナ部311から信号処理部314に供給(入力)される画像データを、入力画像データというとともに、信号処理部314における信号処理の結果得られる画像データを、出力画像データというものとすると、マルチ画面モードとは、例えば、複数チャンネルの入力画像データそれぞれの同一フレームが、いわゆるマルチ画面表示された出力画像データを得て、ディスプレイ317に表示するモードであり、通常画面モードとは、1チャンネルの入力画像データに対応する出力画像データを得て、ディスプレイ317に表示するモードである。 Here, the image data supplied from the tuner section 311 to the signal processing unit 314 (input), with referred to as input image data, the image data obtained as a result of the signal processing in the signal processing unit 314, when it is assumed that the output image data , the multi-screen mode is, for example, each of the same frame input image data for a plurality of channels to obtain the output image data so-called multi-screen display, a mode for displaying on the display 317, the normal screen mode, 1 to obtain output image data corresponding to the input image data of a channel, a mode for displaying on the display 317.

マルチ画面モードにおいては、複数チャンネルの画像が、マルチ画面で表示されるので、ユーザは、そのマルチ画面の画像を見ることにより、所望の番組を放送しているチャンネルを、容易に選択することが可能となる。 In multi-screen mode, images of a plurality channels, because it is displayed in the multi-screen, the user can see the image of the multi-screen, the channel that broadcasts the desired program, be readily selected It can become.

なお、マルチ画面モードにおいては、マルチ画面で表示されている複数チャンネルの画像のうちの任意のチャンネルの画像を指定するカーソル(例えば、枠)を表示し、そのカーソルを、ユーザによるリモコン303の操作に応じて移動させることができる。 Note that the multi-in-screen mode, the cursor for designating the image of an arbitrary channel among the multiple channels of the image displayed by the multi-screen (e.g., a frame) is displayed, and the cursor, the operation of the remote controller 303 by the user it can be moved in accordance with the. この場合、スピーカ313からは、カーソルによって指定されている画像のチャンネルの音声を出力するようにすることができる。 In this case, from the speaker 313 may be configured to output the audio channel of the image specified by the cursor.

図33は、図32のシステムコントローラ318によるチューナ部311の制御を説明するための図である。 Figure 33 is a diagram for explaining the control of the tuner unit 311 by the system controller 318 of FIG. 32. なお、図33では、縦軸が、画像の垂直方向を表し、横軸が時間(の経過)を表す。 In FIG 33, the vertical axis represents the vertical direction of the image, representing the horizontal axis represents time (elapsed time).

動作モードが通常画面モードの場合、システムコントローラ318は、ユーザによるリモコン303の操作に対応したチャンネルを選局するように、チューナ部311を制御する。 If the operation mode is the normal screen mode, the system controller 318 so as to select a channel corresponding to the operation of the remote controller 303 by the user, it controls the tuner unit 311.

従って、例えば、いま、ユーザが、リモコン303を操作することにより、チャンネルCH1を選択しているものとすると、チューナ部311は、アンテナ302からの伝送信号から、チャンネルCH1を選局し続け、これにより、図33上側に示すように、フレーム周期で、チャンネルCH1の画像(データ)を、信号処理部314に供給する。 Thus, for example, now, when the user operates the remote controller 303, when it is assumed that the selected channel CH1, the tuner unit 311, the transmission signal from the antenna 302 continues to select a channel CH1, which Accordingly, as shown in the upper 33, a frame period, the channel CH1 image (data), and supplies to the signal processing unit 314.

一方、動作モードがマルチ画面モードの場合、システムコントローラ318は、例えば、フレーム周期で、選局するチャンネルを順次変更するように、チューナ部311を制御する。 On the other hand, if the operation mode is the multi-screen mode, the system controller 318, for example, a frame period, so as to sequentially change the channels to be selected, and controls the tuner unit 311.

従って、選局の変更対象のチャンネル数が、例えば、チャンネルCH1,CH2,CH3,CH4の4チャンネルであるとすると、チューナ部311は、例えば、図33下側に示すように、最初のフレームのタイミングで、チャンネルCH1を選局し、次のフレームのタイミングで、チャンネルCH2を選局し、以下、同様にして、チャンネルCH3,CH4を順次選局する。 Therefore, the number of channels to be changed in the channel selection, for example, when a 4-channel of the channel CH1, CH2, CH3, CH4, tuner unit 311, for example, as shown in FIG. 33 lower, of the first frame in timing, it selects a channel CH1, the timing of the next frame, and selects a channel CH2, in the same manner, sequentially select a channel the channel CH3, CH4. その後、チューナ部311は、再び、チャンネルCH1を選局し、以下、同様にして、チャンネルCH1乃至CH4それぞれを順次選局する。 Then, the tuner unit 311 again, and selects a channel CH1, In the same manner, sequentially select a channel each channel CH1 through CH4. その結果、フレーム周期をT 1で表すこととすると、チューナ部311から信号処理部314に対しては、チャンネルCH1の画像が、フレーム周期T 1の4倍の周期で供給される。 As a result, when it represents a frame cycle in T 1, relative to the signal processing unit 314 from the tuner unit 311, an image of the channel CH1 is supplied at four times the period of the frame period T 1. 即ち、チューナ部311からは、フレーム周期T 1の4倍の周期で、3フレームずつのコマ落ちが生じたチャンネルCH1の画像が出力される。 That is, the tuner 311, at 4 times the period of a frame period T 1, the image of the channel CH1 dropped frames of every three frames has occurred is output. 他のチャンネルCH2乃至CH4それぞれの画像も、同様である。 Each image other channels CH2 to CH4 is also similar.

ここで、選局の変更対象のチャンネル数は、4チャンネルに限定されるものではない。 Here, the channel number to be changed in the channel selection is not limited to four channels. 選局の変更対象のチャンネル数をNで表すこととすると、マルチ画面モードでは、選局の変更対象のある1チャンネルの画像が、チューナ部311から信号処理部314に供給される周期は、フレーム周期T 1のN倍になる。 When the number of channels to be changed for channel selection and be represented by N, the period in the multi-screen mode, the image of one channel of the channel selection change object, which are supplied from the tuner section 311 to the signal processing unit 314, a frame becomes N times the period T 1.

また、マルチ画面モードでは、例えば、テレビジョン受像機301で受信可能なすべてのチャンネルを、選局の変更対象のチャンネルとすることもできるし、ユーザが選んだ複数のチャンネルを、選局の変更対象のチャンネルとすることもできる。 In addition, in the multi-screen mode, for example, all of the channels that can be received by the television receiver 301, can either be a change target channel of the channel selection, a plurality of channels chosen by the user, change the channel selection It can also be a channel of interest. さらに、マルチ画面モードにおいて、選局の変更対象のチャンネル数、即ち、1フレームに表示される画像のチャンネル数が所定の閾値より多い場合には、画像をスクロールして表示するようにすることが可能である。 Further, in the multi-screen mode, the channel number to be changed channel selection, i.e., if the number of channels of an image displayed in one frame is larger than a predetermined threshold, be configured to display to scroll the image possible it is.

ここで、以下においては、説明を簡単にするために、マルチ画面モードにおけるチューナ部311の選局の変更対象のチャンネルが、上述したチャンネルCH1乃至CH4に固定されているものとする。 Here, in the following, for simplicity of explanation, the channel to be changed in the tuning of the tuner unit 311 in the multi-screen mode is assumed to be fixed in the channels CH1 to CH4 described above.

次に、図34は、通常画面モードにおいてチューナ部311で得られた1つのチャンネルCH1の画像を単に表示した場合と、マルチ画面モードにおいてチューナ部311で得られた4チャンネルCH1乃至CH4の画像を、そのチャンネル数と等しい分割数のマルチ画面、即ち、4分割のマルチ画面で単に表示した場合とを示している。 Next, FIG 34 is a simple case of displaying one image channel CH1 obtained by the tuner unit 311 in the normal screen mode, the 4 image channels CH1 through CH4 obtained by the tuner 311 in the multi-screen mode , the channel number equal to the division number multi-screen, i.e., shows a case where only displayed in four divided multi screen.

なお、マルチ画面モードでは、1フレームが、例えば、2×2の4つの小画面に等分割されて、4チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。 In the multi-screen mode, one frame, for example, is equally divided into four small screens of 2 × 2, the image of the four channels CH1 to CH4 are intended to be displayed. 即ち、ここでは、4分割のマルチ画面のうちの、左上、右上、左下、右下の小画面に、チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。 That is, here, of the four-division multiple screens, upper left, upper right, lower left, the small screen of the lower right, the image of the channel CH1 through CH4 are intended to be displayed.

通常画面モードでは、チューナ部311において、図33で説明したように、1チャンネルCH1の画像が、フレーム周期T 1で得られる。 In normal screen mode, the tuner unit 311, as described with reference to FIG. 33, the image of one channel CH1 is obtained in the frame cycle T 1. 従って、チューナ部311で得られた1つのチャンネルCH1の画像を単に表示した場合は、図34上側に示すように、フレーム周期T 1で、チャンネルCH1の画像が表示される。 Therefore, if you simply display one image channel CH1 obtained by the tuner section 311, as shown in FIG. 34 upper, a frame period T 1, the image of the channel CH1 is displayed.

一方、マルチ画面モードでは、チューナ部311において、図33で説明したように、4チャンネルCH1乃至CH4それぞれの画像が、フレーム周期T 1の4倍の周期4T 1で得られる。 On the other hand, in the multi-screen mode, the tuner unit 311, as described with reference to FIG. 33, four channels CH1 to CH4 each image are obtained at four times the period 4T 1 frame period T 1. 従って、チューナ部311で得られた4チャンネルCH1乃至CH4それぞれの画像を、4分割のマルチ画面で単に表示した場合には、図34下側に示すように、最初のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部311で得られたチャンネルCH1の画像の最初のフレームが表示され、2番目のフレームのタイミングで、マルチ画面の右上の小画面に、チューナ部311で得られたチャンネルCH2の画像の2番目のフレームが表示される。 Accordingly, the four channels CH1 to CH4 respective images obtained by the tuner 311, when simply viewed in 4 divided multi screen, as shown in FIG. 34 lower, at the timing of the first frame, the multi-screen in the upper left of the small screen, the first frame of the image of the channel CH1 obtained by the tuner 311 is displayed at the timing of the second frame, the small screen at the top right of the multi-screen, obtained by the tuner 311 the second frame of the image of the channel CH2 is displayed. さらに、3番目のフレームのタイミングで、マルチ画面の左下の小画面に、チューナ部311で得られたチャンネルCH3の画像の3番目のフレームが表示され、4番目のフレームのタイミングで、マルチ画面の右下の小画面に、チューナ部311で得られたチャンネルCH4の画像の4番目のフレームが表示される。 Further, at the timing of the third frame, the small screen at the lower left of the multi-screen, the third frame of the image of the channel CH3 obtained by the tuner 311 is displayed at the timing of the fourth frame, the multi-screen the small screen of the lower right, the fourth frame of the image of the channel CH4 obtained by the tuner 311 is displayed. その後、5番目のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部311で得られたチャンネルCH1の画像の5番目のフレームが表示され、以下、同様にして、チューナ部311において、周期4T 1で得られるチャンネルCH1乃至CH4それぞれの画像が、マルチ画面の対応する小画面に表示される。 Thereafter, at the timing of the fifth frame, the small screen of the upper left corner of the multi-screen, the fifth frame of the image of the channel CH1 obtained by the tuner 311 is displayed, In the same manner, the tuner 311, channels CH1 to CH4 respective images obtained in the period 4T 1 is displayed in the corresponding small screen multi-screen.

マルチ画面モードにおいて、チューナ部311であるチャンネルを選局された後、次にそのチャンネルが選局されるまでの間、そのチャンネルの画像を表示する小画面を、例えば、フリーズしておくものとすると、チューナ部311では、4チャンネルCH1乃至CH4それぞれが、時分割で、周期4T 1で選局されるために、マルチ画面に表示される4チャンネルCH1乃至CH4の画像は、動きの粗い、見にくいものとなる。 In multi-screen mode after being tuned to the channel is a tuner section 311, then until the channel is selected, a small screen for displaying an image of the channel, for example, as to be frozen Then, the tuner section 311, four channels CH1 to CH4 respectively, time division in order to be tuned by period 4T 1, 4 channels CH1 to CH4 of the image displayed on the multi-screen is coarse motion, ugly the things.

図32のテレビジョン受像機301では、そのようなマルチ画面の表示を行うことも可能であるが、後述するように、信号処理部314において、動きの滑らかなマルチ画面を表示する出力画像を生成して表示することができるようになっている。 In the television receiver 301 in FIG. 32, it is also possible to perform the display of such a multi-screen, as described later, the signal processing unit 314, generates an output image that displays a smooth multi-screen motion It has to be able to to display.

即ち、図35は、図32の信号処理部314の構成例を示している。 That is, FIG. 35 shows a configuration example of the signal processing unit 314 in FIG. 32.

信号処理部314は、コマンド列生成部330、信号処理チップ331および332、メモリ部333、並びに信号処理チップ334で構成されている。 The signal processing unit 314, the command sequence generator 330, the signal processing chip 331 and 332, and a memory unit 333, and the signal processing chip 334.

ここで、コマンド列生成部330、信号処理チップ331,332、メモリ部333、信号処理チップ334は、それぞれ、例えば、1チップのICで構成されている。 Here, the command sequence generator 330, the signal processing chip 331 and 332, a memory unit 333, the signal processing chip 334, respectively, for example, is composed of a one-chip IC of. なお、信号処理部314全体を、1チップのICで構成することも可能であるし、コマンド列生成部330、信号処理チップ331および332、メモリ部333、並びに信号処理チップ334のうちの2以上を1チップのICとすることも可能である。 Note that the entire signal processing unit 314, 1 it is also possible to configure a chip IC of the command sequence generator 330, the signal processing chip 331 and 332, a memory unit 333, as well as two or more of the signal processing chip 334 it is also possible to IC of one chip.

コマンド列生成部330には、システムコントローラ318(図32)からの制御信号が供給される。 The command sequence generator 330, a control signal from the system controller 318 (FIG. 32) is supplied. コマンド列生成部330は、システムコントローラ318からの制御信号に応じて、複数のコマンドからなるコマンド列を生成し、例えば無線により、信号処理チップ331,332、メモリ部333、信号処理チップ334に送信する。 Command sequence generation unit 330 transmits, in response to a control signal from the system controller 318 generates a command sequence composed of a plurality of commands, for example by radio, the signal processing chip 331 and 332, a memory unit 333, the signal processing chip 334 to.

信号処理チップ331には、図32のチューナ部311が出力する画像としての入力画像データが供給される。 The signal processing chip 331, the input image data as an image output by the tuner unit 311 of FIG. 32 are supplied. また、信号処理チップ331には、信号処理チップ334の信号処理結果としての動きベクトルが供給される。 Further, the signal processing chip 331, the motion vector as a signal processing result of the signal processing chip 334 are supplied.

信号処理チップ331は、コマンド列生成部330から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第1実施の形態のR-IC212等と同様に、リコンフィギュラブルに内部構造を切り換える。 The signal processing chip 331 receives a command string transmitted from the command sequence generator 330, in response to a command to configure the command sequence, similar to the R-IC 212 or the like of the first embodiment, reconfigurable switch the internal structure. さらに、信号処理チップ331は、チューナ部311からの入力画像データを、クラス分類適応処理における第1の画像データとして信号処理し、その結果得られる画像データ(クラス分類適応処理における第2の画像データ)を、信号処理チップ332に出力する。 Further, the signal processing chip 331, the input image data from the tuner section 311, and signal processing as the first image data in the classification adaptive processing, the second image data in the resultant image data (classification adaptive processing ), and outputs to the signal processing chip 332.

なお、信号処理チップ331では、信号処理チップ334から供給される動きベクトルを用いて、チューナ部311からの入力画像データが信号処理される。 In the signal processing chip 331, using the motion vector supplied from the signal processing chip 334, the input image data from the tuner unit 311 is signal processing.

また、信号処理チップ331は、その内部構造を切り換えることにより、信号処理として、例えば、画像の空間解像度を向上させる空間解像度創造処理、または画像をリサイズして縮小画像を生成するリサイズ処理(以下、縮小画像生成処理ともいう)を行う。 The signal processing chip 331, by switching its internal structure, as the signal processing, for example, spatial resolution creation processing for improving the spatial resolution of the image, or resize processing to generate a resized by the reduced image the image (hereinafter, reduced image generation processing also referred to) is performed.

信号処理チップ332には、上述したように、信号処理チップ331の信号処理結果としての画像データが供給される他、信号処理チップ334の信号処理結果としての動きベクトルが供給される。 The signal processing chip 332, as described above, except that the image data as a signal processing result of the signal processing chip 331 is supplied, the motion vector as a signal processing result of the signal processing chip 334 are supplied.

信号処理チップ332は、コマンド列生成部330から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第1実施の形態のR-IC212等と同様に、リコンフィギュラブルに内部構造を切り換える。 The signal processing chip 332 receives a command string transmitted from the command sequence generator 330, in response to a command to configure the command sequence, similar to the R-IC 212 or the like of the first embodiment, reconfigurable switch the internal structure. さらに、信号処理チップ332は、信号処理チップ331が出力する画像データを、クラス分類適応処理における第1の画像データとして信号処理し、その結果得られる画像データ(クラス分類適応処理における第2の画像データ)を、メモリ部333に出力する。 Further, the signal processing chip 332, the image data signal processing chip 331 is output to the signal processing as the first image data in the classification adaptive processing, the second image in the resulting image data (classification adaptive processing data) to the memory unit 333.

なお、信号処理チップ332でも、信号処理チップ334から供給される動きベクトルを用いて、信号処理チップ331からの画像データが信号処理される。 Even the signal processing chip 332, using the motion vector supplied from the signal processing chip 334, the image data from the signal processing chip 331 is signal processing.

また、信号処理チップ332は、その内部構造を切り換えることにより、信号処理として、例えば、画像のノイズを除去するノイズ除去処理、または画像の時間解像度を向上させる時間解像度創造処理を行う。 The signal processing chip 332 is performed by switching the internal structure, as the signal processing, for example, noise removal processing for removing noise of an image, or the time resolution creation processing that improves the time resolution of the image.

メモリ部333は、コマンド列生成部330から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドにしたがい、信号処理チップ332が出力する画像データを、その内蔵するメモリ(図示せず)に書き込むことにより記憶するとともに、メモリに記憶された画像データを読み出し、出力画像データとして、ディスプレイ317(図32)に供給する。 Memory unit 333 receives a command string transmitted from the command sequence generator 330, in accordance with a command constituting the command sequence, the image data signal processing chip 332 is output, not the memory (shown to the internal stores by writing to), it reads the image data stored in the memory, and supplies as output image data, the display 317 (FIG. 32).

信号処理チップ334には、信号処理チップ331における場合と同様に、図32のチューナ部311が出力する画像としての入力画像データが供給される。 The signal processing chip 334, as in the signal processing chip 331, the input image data as an image output by the tuner unit 311 of FIG. 32 are supplied.

信号処理チップ334は、コマンド列生成部330から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第1実施の形態のR-IC212等と同様に、リコンフィギュラブルに内部構造を切り換える。 The signal processing chip 334 receives a command string transmitted from the command sequence generator 330, in response to a command to configure the command sequence, similar to the R-IC 212 or the like of the first embodiment, reconfigurable switch the internal structure. さらに、信号処理チップ334は、チューナ部311からの入力画像データを信号処理することで、動きベクトルを検出し、その動きベクトルを、信号処理チップ331および332に供給する。 Further, the signal processing chip 334, by performing signal processing on input image data from the tuner 311 detects a motion vector, and supplies the motion vector to the signal processing chip 331 and 332.

なお、信号処理チップ334は、その内部構造を切り換えることにより、信号処理として、例えば、後述する通常画面用の動きベクトルを検出する動きベクトル処理、または後述するマルチ画面用の動きベクトルを検出する動きベクトル処理を行う。 Incidentally, the motion signal processing chip 334, by switching its internal structure, as the signal processing, for example, to detect the motion vectors for the multi-screen motion vector processing, or later to detect a motion vector for a normal screen described later It performs vector processing.

次に、図36を参照して、図35のコマンド列生成部330が生成するコマンド列について説明する。 Next, with reference to FIG. 36, the command sequence generator 330 of FIG. 35 is the command sequence will be described for generating.

即ち、図36は、コマンド列生成部330が生成するコマンド列の例を示している。 That is, FIG. 36 shows an example of a command sequence generated by the command sequence generator 330.

システムコントローラ318(図32)からコマンド列生成部330に対しては、通常画面モードの処理、またはマルチ画面モードの処理を行うことを指令する制御信号が供給される。 For the system controller 318 the command sequence generator 330 (FIG. 32), the control signal instructing to perform processing of the normal screen mode, or the process of multi-screen mode is supplied.

コマンド列生成部330は、システムコントローラ318から供給された制御信号が、通常画面モードの処理を行うことを指令するものである場合、図36上に示すコマンド列(以下、適宜、通常モードコマンド列という)を生成する。 Command sequence generation unit 330, a control signal supplied from the system controller 318, when it is intended to command to perform the processing of normal screen mode, command sequence (hereinafter shown on FIG. 36, as appropriate, the normal mode command sequence to generate a) that. また、コマンド列生成部330は、システムコントローラ318から供給された制御信号が、マルチ画面モードの処理を行うことを指令するものである場合、図36下に示すコマンド列(以下、適宜、マルチ画面モードコマンド列)を生成する。 The command sequence generator 330, a control signal supplied from the system controller 318, when it is intended to command to perform the processing of multi-screen mode, command sequence (hereinafter shown below FIG. 36, as appropriate, multi-screen mode command sequence) is generated.

図36上に示す通常画面モードコマンド列は、その先頭から、通常画面用動きベクトル検出コマンド、空間解像度創造コマンド、ノイズ除去コマンド、および通常画面用メモリ制御コマンドが順次配置されて構成されている。 Normal screen mode command sequence shown on FIG. 36, from the beginning, the normal screen motion vector detection command, the spatial resolution creation command, the noise removal command, and the normal memory control command screen is constituted by sequentially disposed. また、図36下に示すマルチ画面モードコマンド列は、その先頭から、マルチ画面用動きベクトル検出コマンド、縮小画像生成コマンド、時間解像度創造コマンド、およびマルチ画面用メモリ制御コマンドが順次配置されて構成されている。 The multi-screen mode command sequence shown below FIG. 36, from the beginning, the multi-screen motion vector detection command, the reduced image generation command, time resolution creation command, and a multi-screen memory control command is constructed by sequentially arranged ing.

通常画面用動きベクトル検出コマンドは、画像から、通常画面用の動きベクトルを検出する動きベクトル検出処理の実行を要求するコマンドであり、空間解像度創造コマンドまたはノイズ除去コマンドは、それぞれ、上述したクラス分類適応処理による空間解像度創造処理またはノイズ除去処理の実行を要求するコマンドである。 Usually the motion vector detecting command screen, from the image, a command for requesting execution of the motion vector detecting process of detecting a motion vector for the normal screen, the spatial resolution creation command or the noise removing command, respectively, the above-mentioned classification it is a command for requesting execution of the spatial resolution creation processing, or noise removal processing by the adaptive processing.

通常画面用メモリ制御コマンドは、1チャンネルの画像データを、ディスプレイ317の画面全体に表示するための、その1チャンネルの画像データのメモリへの読み書き処理の実行を要求するコマンドである。 Normal memory control command for screen, the image data of one channel, to be displayed on the entire screen of the display 317, a command for requesting execution of the write processing to the memory of the image data of one channel.

マルチ画面用動きベクトル検出コマンドは、画像から、マルチ画面用の動きベクトルを検出する動きベクトル検出処理の実行を要求するコマンドであり、縮小画像生成コマンド、または時間解像度創造コマンドは、それぞれ、上述したクラス分類適応処理によるリサイズ処理としての縮小画像生成処理、または時間解像度創造処理の実行を要求するコマンドである。 Multi-screen motion vector detection command from the image, a command for requesting execution of the motion vector detecting process of detecting a motion vector for multi-screen, reduced image generation command or the time resolution creation command, respectively, described above reduced image generation processing as resizing process by the classification adaptive processing, or a command for requesting execution of the time resolution creation processing.

マルチ画面用メモリ制御コマンドは、複数チャンネルの画像データを、ディスプレイ317でマルチ画面表示するための、その複数チャンネルの画像データのメモリへの読み書き処理の実行を要求するコマンドである。 Memory control command for multi-screen, the image data of a plurality of channels, for multi-screen display on the display 317, a command for requesting execution of the write processing to the memory of the image data of the plurality of channels.

ここで、図36のコマンド列は、単に、1以上のコマンドが、順次配置されて構成されているが、コマンド列を構成する各コマンドには、そのコマンドに対応する処理を実行すべきIC、即ち、図35の実施の形態では、信号処理チップ331,332、メモリ部333、または信号処理チップ334のうちのいずれかを特定するIC情報を付加することが可能である。 Here, the command sequence of Figure 36 is merely one or more commands, each command has been constructed by successively arranged, which constitute the command sequence, IC to execute a process corresponding to the command, that is, in the embodiment of FIG. 35, it is possible to add an IC information specifying any of the signal processing chip 331 and 332, memory unit 333 or the signal processing chip 334. この場合、信号処理チップ331,332、メモリ部333、または信号処理チップ334それぞれは、コマンド列生成部330から受信したコマンド列のうちの、自身を表すIC情報が付加されているコマンドに対応する処理を実行する。 In this case, the signal processing chip 331 and 332, each memory unit 333 or the signal processing chip 334, and corresponds to the command of the command string received from the command sequence generator 330, the IC information indicating itself is added process to run.

なお、第2実施の形態では、コマンド列は、図36に示したように、単に、1以上のコマンドが、順次配置されて構成されるものとする。 In the second embodiment, the command sequence, as shown in FIG. 36, only one or more commands are intended to be constructed by sequentially disposed. この場合、信号処理チップ331,332、メモリ部333、または信号処理チップ334それぞれは、コマンド列生成部330から受信したコマンド列のうちの、例えば、自身が実行可能なコマンドに対応する処理を実行する。 In this case, the signal processing chip 331 and 332, each memory unit 333 or the signal processing chip 334, of the command string received from the command sequence generator 330, for example, executes a process to which it corresponds to the executable commands to.

即ち、図36上の通常画面モードコマンド列が、コマンド列生成部330(図35)によって送信された場合、信号処理チップ331,332、メモリ部333、または信号処理チップ334は、それぞれ、その通常画面モードコマンド列を受信し、その通常画面モードコマンド列のうちの、自身が実行可能なコマンドに対応する処理を実行する。 That is, the normal screen mode command sequence on Figure 36, if it is transmitted by the command sequence generator 330 (FIG. 35), the signal processing chip 331 and 332, memory unit 333 or the signal processing chip 334, respectively, the normal receiving a screen mode command sequence, of its normal screen mode command sequence, itself executes the processing corresponding to the command executable.

この場合、信号処理チップ334は、通常画面モードコマンド列のうちの、例えば、通常画面用動きベクトル検出コマンドに応じて、その内部構造を、信号処理として、通常画面モード用の動きベクトルを検出する動きベクトル検出処理を行うように切り換える。 In this case, the signal processing chip 334 of the normal screen mode command sequence, for example, according to the normal screen motion vector detecting command, its internal structure, as signal processing to detect the motion vector for the normal screen mode switch to perform the motion vector detection process.

そして、信号処理チップ334は、通常画面モード時にチューナ部311から供給される1チャンネルの画像データとしての、例えばチャンネルCH1の画像データから、通常画面モード用の動きベクトルを検出して、信号処理チップ331および332に供給する。 Then, the signal processing chip 334, as one channel image data that are supplied from the tuner unit 311 to the normal screen mode, for example, from the image data of the channel CH1, and detects the motion vector for the normal screen mode, the signal processing chip supplied to the 331 and 332.

信号処理チップ331は、図36上の通常画面モードコマンド列のうちの、例えば、空間解像度創造コマンドに応じて、その内部構造を、信号処理として、空間解像度創造処理を行うように切り換える。 The signal processing chip 331, of the normal screen mode command sequence on Figure 36, for example, according to the spatial resolution creation command, its internal structure, as signal processing, switching to perform spatial resolution creation processing.

そして、信号処理チップ331は、信号処理チップ334から供給される動きベクトルを用い、チューナ部311から供給されるチャンネルCH1の画像データに対して、空間解像度創造処理を施し、その結果得られる画像データを、信号処理チップ332に出力する。 Then, the signal processing chip 331, using the motion vectors supplied from the signal processing chip 334, the image data of the channel CH1 to be supplied from the tuner unit 311 performs spatial resolution creation processing, the image data obtained as a result of and outputs it to the signal processing chip 332.

ここで、図37は、空間解像度創造処理を行う信号処理チップ331において入出力される画像データを示している。 Here, FIG. 37 shows an image data to be output in the signal processing chip 331 that performs spatial resolution creation processing.

なお、図37では、i番目のフレーム(の画像)を、t iと表してある。 In FIG. 37, i-th frame (image), is represented as t i.

コマンド列生成部330(図35)が、図36上の通常画面モードコマンド列を送信するのは、動作モードとして、通常画面モードが選択されたときである。 Command sequence generator 330 (FIG. 35), to transmit the normal screen mode command sequence on Figure 36, as the operation mode is when the normal screen mode is selected. そして、通常画面モードでは、チューナ部311(図32)が、所定のチャンネルとしての、例えば、チャンネルCH1を選局し、これにより、信号処理チップ331には、図37上側に示すように、チャンネルCH1の入力画像データのフレームt iがフレーム周期T 1で順次入力される。 Then, in the normal screen mode, tuner 311 (FIG. 32), as the predetermined channel, for example, selects a channel CH1, thereby, the signal processing chip 331, as shown in FIG. 37 upper channel frame t i of the input image data of CH1 is sequentially inputted at a frame period T 1.

信号処理チップ331は、そこに入力されるチャンネルCH1の入力画像データのフレームt iに対して、空間解像度創造処理を施し、図37下側に示すように、その空間解像度創造処理によって空間解像度が向上したチャンネルCH1の画像データのフレームt iをフレーム周期T 1で順次出力する。 The signal processing chip 331, the frame t i of the input image data of the channel CH1 inputted thereto, subjected to spatial resolution creation processing, as shown in FIG. 37 lower, the spatial resolution by the spatial resolution creation processing and sequentially outputs the frames t i of the image data of the channel CH1 which has been improved by the frame period T 1.

この空間解像度が向上したチャンネルCH1の画像のフレームt iは、順次、信号処理チップ332に供給される。 Frame t i of the image of the channel CH1 to the spatial resolution is improved is sequentially supplied to the signal processing chip 332.

信号処理チップ332は、図36上の通常画面モードコマンド列のうちの、例えば、ノイズ除去コマンドに応じて、その内部構造を、信号処理として、ノイズ除去処理を行うように切り換える。 The signal processing chip 332, of the normal screen mode command sequence on Figure 36, for example, in response to the noise removing command, its internal structure, as signal processing, switching to the noise removal processing.

そして、信号処理チップ332は、信号処理チップ334から供給される動きベクトルを用い、信号処理チップ331から供給されるチャンネルCH1の画像データに対して、ノイズ除去処理を施し、その結果得られる画像データを、メモリ部333に出力する。 Then, the signal processing chip 332, using the motion vectors supplied from the signal processing chip 334, the image data of the channel CH1 to be supplied from the signal processing chip 331 performs noise removal processing, image data obtained as a result of and outputs to the memory unit 333.

ここで、図38は、ノイズ除去処理を行う信号処理チップ332において入出力される画像データを示している。 Here, FIG. 38 shows an image data to be output in the signal processing chip 332 for performing a noise removal process.

なお、図38では、i番目のフレーム(の画像)を、t iと表してある。 In FIG. 38, i-th frame (image), is represented as t i.

信号処理チップ331から332に対しては、図38上側に示すように、空間解像度が向上したチャンネルCH1の画像データのフレームt iがフレーム周期T 1で順次入力される。 For the signal processing chip 331 332, as shown in FIG. 38 upper, frame t i of the image data of the channel CH1 with improved spatial resolution is successively inputted at a frame period T 1.

信号処理チップ332は、そこに入力されるチャンネルCH1の画像データのフレームt iに対して、ノイズ除去処理を施し、図38下側に示すように、そのノイズ除去処理によってS/Nが向上したチャンネルCH1の画像データのフレームt iをフレーム周期T 1で順次出力する。 The signal processing chip 332, the frame t i of the image data of the channel CH1 inputted thereto, subjected to noise removal processing, as shown in FIG. 38 lower, and improved S / N by the noise removal process and sequentially outputs the frames t i of the image data of the channel CH1 in a frame period T 1.

このS/Nが向上したチャンネルCH1の画像のフレームt iは、順次、メモリ部333に供給される。 Frame t i of the S / N ratio image of the channel CH1 with improved sequentially supplied to the memory unit 333.

メモリ部333は、図36上の通常画面モードコマンド列のうちの、例えば、通常画面用メモリ制御コマンドにしたがい、信号処理チップ332が出力する画像データの各フレームを、そのまま、その内蔵するメモリに書き込むことにより一時記憶し、そのメモリに記憶された画像データのフレームを、出力画像データのフレームとして読み出して、ディスプレイ317(図32)に供給する。 Memory unit 333 of the normal screen mode command sequence on Figure 36, for example, in accordance with normal screen memory control command, each frame of the image data signal processing chip 332 is output, as it is in the memory of the internal temporarily stored by writing, it supplies a frame of image data stored in its memory, reads as a frame of the output image data, the display 317 (FIG. 32).

従って、図36上の通常画面モードコマンド列が、コマンド列生成部330(図35)によって送信された場合には、ディスプレイ317において、チューナ部311(図32)で受信されたCH1の画像データの空間解像度およびS/Nを向上させた画像が表示される。 Accordingly, the normal screen mode command sequence on Figure 36, if it is transmitted by the command sequence generator 330 (FIG. 35) is, in the display 317, the CH1 image data received by the tuner unit 311 (FIG. 32) images with improved spatial resolution and S / N is displayed.

一方、図36下のマルチ画面モードコマンド列が、コマンド列生成部330(図35)によって送信された場合、信号処理チップ331,332、メモリ部333、または信号処理チップ334は、それぞれ、そのマルチ画面モードコマンド列を受信し、そのマルチ画面モードコマンド列のうちの、自身が実行可能なコマンドに対応する処理を実行する。 On the other hand, the multi-screen mode command sequence below FIG. 36, if sent by the command sequence generator 330 (FIG. 35), the signal processing chip 331 and 332, memory unit 333 or the signal processing chip 334, respectively, the multi receiving a screen mode command sequence, of its multi-screen mode command sequence, itself executes the processing corresponding to the command executable.

この場合、信号処理チップ334は、マルチ画面モードコマンド列のうちの、例えば、マルチ画面用動きベクトル検出コマンドに応じて、その内部構造を、信号処理として、マルチ画面モード用の動きベクトルを検出する動きベクトル検出処理を行うように切り換える。 In this case, the signal processing chip 334 of the multi-screen mode command sequence, for example, in accordance with the multi-screen motion vector detecting command, its internal structure, as signal processing to detect the motion vector for the multi-screen mode switch to perform the motion vector detection process.

そして、信号処理チップ334は、マルチ画面モード時にチューナ部311から時分割で供給される複数チャンネルの画像データとしての、例えばチャンネルCH1乃至CH4の画像データから、マルチ画面モード用の動きベクトルを検出して、信号処理チップ331および332に供給する。 Then, the signal processing chip 334, as the image data of a plurality of channels supplied in time division to the multi-screen mode from the tuner unit 311, for example, from the image data of the channels CH1 to CH4, and detects the motion vector for the multi-screen mode Te, and supplies to the signal processing chip 331 and 332.

信号処理チップ331は、図36下のマルチ画面モードコマンド列のうちの、例えば、縮小画像生成コマンドに応じて、その内部構造を、信号処理として、縮小画像生成処理(サイズを縮小するリサイズを行うリサイズ処理)を行うように切り換える。 The signal processing chip 331, of the multi-screen mode command sequence below FIG. 36, for example, depending on the reduced image generation command, performs its internal structure, as signal processing, resizing to reduce the reduced image generation processing (Size switch to perform the resizing process).

そして、信号処理チップ331は、信号処理チップ334から供給される動きベクトルを用い、チューナ部311から時分割で供給されるチャンネルCH1乃至CH4の画像データに対して、縮小画像生成処理を施し、その結果得られるCH1乃至CH4の縮小画像データを、信号処理チップ332に出力する。 Then, the signal processing chip 331, using the motion vectors supplied from the signal processing chip 334, the image data of the channels CH1 to CH4 supplied in time division from the tuner unit 311 performs the reduced image generation processing, the the reduced image data obtained as a result of CH1 through CH4, and outputs to the signal processing chip 332.

ここで、図39は、縮小画像生成処理を行う信号処理チップ331において入出力される画像データを示している。 Here, FIG. 39 shows an image data to be output in the signal processing chip 331 performs the reduced image generation processing.

なお、図39では、i番目のフレーム(の画像)を、t iと表してある。 In FIG. 39, i-th frame (image), is represented as t i.

コマンド列生成部330(図35)が、図36下のマルチ画面モードコマンド列を送信するのは、動作モードとして、マルチ画面モードが選択されたときである。 Command sequence generator 330 (FIG. 35), to send a multi-screen mode command sequence below FIG. 36, as the operation mode is when the multi-screen mode is selected. そして、マルチ画面モードでは、チューナ部311(図32)が、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ331には、図39上側に示すように、チャンネルCH1乃至CH4の画像データのフレームt iが、時分割で入力される。 Then, in the multi-screen mode, the tuner unit 311 (FIG. 32), as a plurality of channels, for example, channel selection in a time division channels CH1 through CH4, Thus, the signal processing chip 331, the upper side 39 as shown, frame t i of the image data of the channels CH1 to CH4 is input in time division.

即ち、動作モードがマルチ画面モードの場合、チューナ部311は、上述したように、周期4T 1で、3フレームずつのコマ落ちが生じた4チャンネルCH1乃至CH4の画像データを、信号処理部314(図35)に供給する。 That is, when the operation mode is the multi-screen mode, the tuner unit 311, as described above, in the cycle 4T 1, the image data of four channels CH1 to CH4 generated skips frames of every three frames, the signal processor 314 ( supply in FIG. 35). 従って、信号処理部314の信号処理チップ331に供給される、4チャンネルCH1乃至CH4の画像データには、それぞれ、周期4T 1で、3フレームずつのコマ落ちが生じている。 Thus, supplied to the signal processing chip 331 of the signal processing section 314, 4 to the image data of the channels CH1 to CH4, respectively, at a period 4T 1, it dropped frames every three frames occurs.

ここで、このようにコマ落ちが生じているフレーム、即ち、チューナ部311で受信されていないフレームを、以下、適宜、欠損フレームという。 Here, in this way the frame dropped frames has occurred, i.e., a frame that is not received by the tuner unit 311, hereinafter referred to as the lost frame. また、欠損フレームに対して、チューナ部311で受信されたフレームを、以下、適宜、非欠損フレームという。 Further, with respect to the lost frame, a frame received by the tuner unit 311, hereinafter referred to as non-defective frame.

信号処理チップ331は、そこに供給されるチャンネルCH1乃至CH4の画像データのフレームt iに対して、縮小画像生成処理を施し、図39下側に示すように、その縮小画像生成処理によって得られた、チャンネルCH1乃至CH4の画像データを縮小した縮小画像データを出力する。 The signal processing chip 331, the frame t i of the image data of the channels CH1 to CH4 supplied thereto, subjected to reduced image generation processing, as shown in FIG. 39 lower, obtained by the reduced image generation processing , and it outputs the reduced image data obtained by reducing the image data of the channels CH1 to CH4.

なお、信号処理チップ331が出力する縮小画像データの周期は、フレーム周期T 1であるが、チャンネルCH1乃至CH4のうちのある1チャンネルの縮小画像データが出力される周期は、4T 1である。 The period of the reduced image data signal processing chip 331 is output is a frame period T 1, the period in which the reduced image data is output for one channel certain of the channels CH1 through CH4 are 4T 1. 即ち、チャンネルCH1乃至CH4の各チャンネルの縮小画像データには、欠損フレームが存在する。 That is, the reduced image data of each channel of the channels CH1 to CH4, the lost frame is present. つまり、チャンネルCH1乃至CH4のあるチャンネルの縮小画像データに注目すると、ある非欠損フレームと、その次の非欠損フレームとの間には、3フレームの欠損フレームが存在する。 That is, when attention is paid to the reduced image data of the channel of the channel CH1 through CH4, and one non-defective frames between the next non-defective frame, there are missing frames 3 frames.

チャンネルCH1乃至CH4の縮小画像データは、信号処理チップ331から信号処理チップ332に供給される。 Reduced image data of the channels CH1 through CH4 are supplied from the signal processing chip 331 to the signal processing chip 332.

信号処理チップ332は、図36下の通常画面モードコマンド列のうちの、例えば、時間解像度創造コマンドに応じて、その内部構造を、信号処理として、時間解像度創造処理を行うように切り換える。 The signal processing chip 332, of the normal screen mode command sequence below FIG. 36, for example, depending on the time resolution creation command, its internal structure, as signal processing, switching to perform time resolution creation processing.

そして、信号処理チップ332は、信号処理チップ334から供給される動きベクトルを用い、信号処理チップ331から供給されるチャンネルCH1乃至CH4の縮小画像データに対して、時間解像度創造処理を施し、その結果得られる画像データを、メモリ部333に出力する。 Then, the signal processing chip 332, using the motion vectors supplied from the signal processing chip 334, the reduced image data of the channels CH1 to CH4 supplied from the signal processing chip 331 performs time resolution creation processing, the results the image data obtained is output to the memory unit 333.

ここで、図40は、時間解像度創造処理を行う信号処理チップ332において入出力される画像データを示している。 Here, FIG. 40 shows an image data to be output in the signal processing chip 332 that performs time resolution creation processing.

なお、図40では、チャンネルCH#kのi番目のフレームを、CH#k(t i )と表してある。 In FIG 40, the i-th frame of the channel CH # k, it is expressed as CH # k (t i).

マルチ画面モードにおいては、チューナ部311が、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ331から332には、図40一番上に示すように、チャンネルCH1乃至CH4の縮小画像データのフレームそれぞれが、周期4T 1で順次入力される。 In multi-screen mode, tuner 311, tuned in a time division channels CH1 to CH4, thereby, to the signal processing chip 331 332, as shown in FIG. 40 the top, the channels CH1 to CH4 each frame of the reduced image data are sequentially input at a period 4T 1.

即ち、図40では、フレームt 1のタイミングで、チャンネルCH1の1番目のフレームであるフレームCH1(t 1 )が、フレームt 2のタイミングで、チャンネルCH2の2番目のフレームであるフレームCH2(t 2 )が、フレームt 3のタイミングで、チャンネルCH3の3番目のフレームであるフレームCH3(t 3 )が、フレームt 4のタイミングで、チャンネルCH4の4番目のフレームであるフレームCH4(t 4 )が、フレームt 5のタイミングで、チャンネルCH1の5番目のフレームであるフレームCH1(t 5 )が、信号処理チップ332に入力され、以下同様にして、チャンネルCH1乃至CH4のフレームそれぞれが、周期4T 1で順次入力される。 That is, in FIG. 40, at the timing of the frame t 1, frame CH1 is the first frame of the channel CH1 (t 1) is, at the timing of the frame t 2, a second frame of the channel CH2 frame CH2 (t 2) is, at the timing of the frame t 3, the frame CH3 is the third frame of the channel CH3 (t 3) is, at the timing of the frame t 4, frame CH4 (t 4 is the fourth frame of the channel CH4) but in the timing of frame t 5, is the fifth frame of the channel CH1 frame CH1 (t 5) is input to the signal processing chip 332, and so on, each frame of channel CH1 to CH4 is the period 4T are sequentially input in 1.

信号処理チップ332は、欠損フレームがあるチャンネルCH1乃至CH4それぞれの縮小画像データに対して、時間解像度創造処理を施すことにより、欠損フレームがないチャンネルCH1乃至CH4それぞれの縮小画像データを生成する。 The signal processing chip 332, to the channels CH1 to CH4 respectively reduced image data is defective frame, by applying a time resolution creation processing, and generates a reduced image data for each missing frame is not the channel CH1 to CH4.

即ち、信号処理チップ332では、図40上から2番目に示すように、チャンネルCH1の欠損フレームとなっているフレーム(の画像)CH1(t 2 ),CH1(t 3 ),CH1(t 4 ),CH1(t 6 ),・・・が存在するチャンネルCH1の縮小画像データが生成され、さらに、チャンネルCH2の欠損フレームとなっているフレームCH2(t 1 ),CH2(t 3 ),CH2(t 4 ),CH2(t 5 ),・・・が存在するチャンネルCH2の縮小画像データが生成される。 That is, in the signal processing chip 332, as shown in the second from the top 40, the frame has become a lost frame of channel CH1 (image) CH1 (t 2), CH1 (t 3), CH1 (t 4) , CH1 (t 6), the reduced image data of the channel CH1 which ... is present is generated, further, the frame CH2 (t 1) which is a lost frame of the channel CH2, CH2 (t 3), CH2 (t 4), CH2 (t 5) , the reduced image data of the channel CH2 which ... is present is generated. また、信号処理チップ332では、チャンネルCH3の欠損フレームとなっているフレームCH3(t 1 ),CH3(t 2 ),CH3(t 4 ),CH3(t 5 ),・・・が存在するチャンネルCH3の縮小画像データが生成され、さらに、チャンネルCH4の欠損フレームとなっているフレームCH4(t 1 ),CH4(t 2 ),CH4(t 3 ),CH4(t 5 ),・・・が存在するチャンネルCH4の縮小画像データが生成される。 Further, the signal processing chip 332, frame CH3 (t 1) which is a lost frame of the channel CH3, CH3 (t 2), CH3 (t 4), CH3 (t 5), the channel CH3 which ... is present the reduced image data is generated, furthermore, the frame CH4 (t 1) which is a lost frame of the channel CH4, CH4 (t 2), CH4 (t 3), CH4 (t 5), ··· are present reduced image data of the channel CH4 is produced.

このようにして、信号処理チップ332は、4チャンネルCH1乃至CH4それぞれについて、フレーム周期T 1でフレームが存在する縮小画像データを得て出力する。 In this manner, the signal processing chip 332, the four channels CH1 to CH4, and outputs to obtain reduced image data frame exists in the frame cycle T 1.

この欠損フレームがないチャンネルCH1乃至CH4の縮小画像データのフレームt iは、順次、メモリ部333に供給される。 The frame t i of the reduced image data of the lost frame is not the channel CH1 through CH4 are sequentially supplied to the memory unit 333.

メモリ部333は、図36下のマルチ画面モードコマンド列のうちの、例えば、マルチ画面用メモリ制御コマンドにしたがい、信号処理チップ332が出力するチャンネルCH1乃至CH4の縮小画像データを、その内蔵するメモリに書き込んで読み出すことにより、そのチャンネルCH1乃至CH4の縮小画像データの同一フレームを合成し、これにより、チャンネルCH1乃至CH4の縮小画像データそれぞれの同一フレームをマルチ画面表示する出力画像データのフレームを生成して、ディスプレイ317に供給する。 Memory Memory unit 333 of the multi-screen mode command sequence below FIG. 36, for example, in accordance with the multi-screen memory control command, the reduced image data of the channels CH1 to CH4 signal processing chip 332 is output to the internal by reading written to, to synthesize the same frame of the reduced image data of the channels CH1 to CH4, produced this way, the output image data to multi-screen display each same frame reduced image data of the channels CH1 to CH4 frame to, supplied to the display 317.

即ち、メモリ部333は、図40一番下に示すように、マルチ画面用メモリ制御コマンドにしたがって、信号処理チップ332からのチャンネルCH1乃至CH4の同一フレームの縮小画像データを、マルチ画面の左上、右上、左下、右下の小画面に対応するメモリの記憶領域に書き込むことにより、チャンネルCH1乃至CH4の縮小画像データそれぞれの同一フレームをマルチ画面表示する出力画像データのフレームを生成(記憶)する。 That is, the memory unit 333, as shown in the following Figure 40 best, according to the multi-screen memory control command, the reduced image data of the same frame of channel CH1 to CH4 from the signal processing chip 332, the upper left of the multi-screen, upper right, lower left, by writing in the storage area of ​​the memory corresponding to the small screen of the lower right, to generate a frame of output image data to the reduced image data each of the multiple of the same frame screen display channels CH1 through CH4 (storage).

さらに、メモリ部333は、マルチ画面用メモリ制御コマンドにしたがって、メモリに記憶した出力画像データのフレームを読み出し、ディスプレイ317に供給する。 Further, the memory unit 333, according to the multi-screen memory control command, reads out the frame of the output image data stored in the memory, and supplies the display 317.

従って、図36下のマルチ画面モードコマンド列が、コマンド列生成部330(図35)によって送信された場合には、ディスプレイ317において、欠損フレームがないチャンネルCH1乃至CH4の画像の動きを滑らかに表示するマルチ画面が表示される。 Thus, the multi-screen mode command sequence below FIG. 36, when it is transmitted by the command sequence generator 330 (FIG. 35) is displayed smoothly on the display 317, the motion of the image of the channel CH1 to CH4 are not lost frame multi-screen is displayed.

次に、図41のフローチャートを参照して、図35の信号処理部314の処理について説明する。 Next, with reference to the flowchart of FIG. 41 describes the processing of the signal processing unit 314 in FIG. 35.

システムコントローラ318(図32)から、信号処理部314(乃至316)に対して制御信号が送信されてくると、信号処理部314では、ステップS301において、コマンド列生成部330が、その制御信号を受信し、ステップS302に進む。 From the system controller 318 (FIG. 32), the control signal to the signal processing unit 314 (or 316) is transmitted, the signal processing unit 314, in step S301, the command sequence generator 330, the control signal received, the process proceeds to step S302.

ステップS302では、コマンド列生成部330が、システムコントローラ318から受信した制御信号に応じた1以上のコマンドからなるコマンド列を生成し、無線によって送信して、ステップS303に進む。 In step S302, the command sequence generator 330 generates a command sequence of one or more commands corresponding to the control signal received from the system controller 318, and transmitted by the radio, the process proceeds to step S303.

ステップS303では、信号処理部314を構成する各ブロック、即ち、信号処理チップ331,332、メモリ部333、および信号処理チップ334が、コマンド列生成部330から送信されてくるコマンド列を受信する。 In step S303, each block constituting the signal processing unit 314, i.e., the signal processing chip 331, the memory unit 333 and the signal processing chip 334, receives a command string transmitted from the command sequence generator 330. さらに、ステップS303では、信号処理チップ331,332,334それぞれが、コマンド列生成部330から受信したコマンド列の中のコマンドから、自身が実行可能なコマンドを認識し、そのコマンドに対応する処理(信号処理)を行うことを決定する。 Further, the processing in step S303, each signal processing chip 331,332,334 is the command in the command string received from the command sequence generator 330, it recognizes its own executable command corresponding to the command ( It determines to perform the signal processing). 即ち、信号処理チップ331,332,334それぞれは、自身が実行可能なコマンドに応じて、自身の内部構造を切り換え、そのコマンドに対応する信号処理を行う状態となる。 That is, each signal processing chip 331,332,334, according to its own executable command, it switches the internal structure of its own, a state of performing signal processing corresponding to the command.

そして、ステップS303からS304に進み、信号処理チップ334が、チューナ部311(図32)から供給される画像データを対象に、ステップS303で決定した信号処理を実行し、その信号処理結果を、信号処理チップ331および332に供給して、ステップS305に進む。 Then, the process proceeds from step S303 to S304, the signal processing chip 334, the target image data supplied from the tuner unit 311 (FIG. 32), executes the signal processing determined in step S303, the signal processing result, the signal is supplied to processing chip 331 and 332, the process proceeds to step S305.

ステップS305では、信号処理チップ331が、チューナ部311(図32)から供給される画像データを対象に、ステップS303で決定した信号処理を実行し、その信号処理結果としての画像データを、信号処理チップ332に供給して、ステップS306に進む。 In step S305, the signal processing chip 331, the target image data supplied from the tuner unit 311 (FIG. 32), executes the determined signal processing in step S303, the image data as the signal processing result, the signal processing is supplied to the chip 332, the process proceeds to step S306.

ステップS306では、信号処理チップ332が、信号処理チップ331から供給される画像データを対象に、ステップS303で決定した信号処理を実行し、その信号処理結果としての画像データを、メモリ部333に供給して、ステップS307に進む。 In step S306, the signal processing chip 332, the target image data supplied from the signal processing chip 331, and executes the determined signal processing in step S303, supplies the image data serving as the signal processing result, in the memory unit 333 then, the process proceeds to step S307.

ここで、信号処理チップ331と332とでは、信号処理チップ334の信号処理結果を用いて、信号処理が行われる。 Here, in the signal processing chip 331 and 332, using the signal processing result of the signal processing chip 334, the signal processing is performed.

ステップS307では、メモリ部333が、ステップS303でコマンド列生成部330から受信したコマンド列の中のコマンドのうちの自身が実行可能なコマンドにしたがって、信号処理チップ332から供給される画像データをメモリに書き込むとともに、その書き込んだ画像データを読み出し、ディスプレイ317(図32)に出力して、処理を終了する。 In step S307, the memory unit 333, in accordance with its own executable commands among the commands in the command string received from the command sequence generator 330 at step S303, the image data supplied from the signal processing chip 332 memory It writes to reads the written image data, and outputs to the display 317 (FIG. 32), the process ends.

なお、図41のステップS301乃至S307の処理それぞれは、ハードウェアとしての信号処理チップ331,332、メモリ部333、および信号処理チップ334などにより行われる処理である。 Note that each processing in steps S301 to S307 in FIG. 41, the signal processing chip 331 and 332 as hardware, a processing performed by such as memory unit 333 and the signal processing chip 334. 但し、ステップS301乃至S303の処理は、マイクロコンピュータ等のコンピュータに、プログラムを実行させることで行うことも可能である。 However, the processing of steps S301 through S303 causes a computer such as a microcomputer, it is also possible to carry out is performed by executing a program.

次に、図42は、図35の信号処理チップ334の構成例を示すブロック図である。 Next, FIG. 42 is a block diagram showing a configuration example of the signal processing chip 334 of FIG. 35.

チューナ部311(図32)が出力する画像(入力画像)データは、フレームメモリ341および動き検出回路344に供給される。 Tuner 311 image (FIG. 32) is output (input image) data is input to the frame memory 341 and the motion detection circuit 344.

受信部340は、コマンド列生成部330が送信してくるコマンド列を受信する。 Receiving unit 340 receives a command sequence command sequence generator 330 comes transmitted. さらに、受信部340は、コマンド列生成部330から受信したコマンド列から、信号処理チップ334が実行可能なコマンドを認識し、そのコマンドを、セレクタ343および選択部345に供給する。 Furthermore, the receiving unit 340, the command string received from the command sequence generator 330 recognizes the signal processing chip 334 can be executed command, and supplies the command to the selector 343 and the selector 345.

フレームメモリ341は、そこに供給される入力画像データのフレームを一時記憶することにより、1フレーム分だけ遅延して、遅延回路342およびセレクタ343に供給する。 Frame memory 341, by temporarily storing a frame of input image data supplied thereto, and only one frame delay, and supplies to the delay circuit 342 and a selector 343. 従って、動き検出回路344に、第n+4フレームの入力画像データが供給されるとき、フレームメモリ341から遅延回路342およびセレクタ343には、その1フレーム前の第n+3フレームの入力画像データが供給される。 Therefore, the motion detection circuit 344, when the input image data of the (n + 4) th frame is supplied to the delay circuit 342 and the selector 343 from the frame memory 341, the input image data of the (n + 3) -th frame of one frame before is supplied .

遅延回路342は、フレームメモリ341から供給される入力画像データのフレームを、3フレーム分だけ遅延して、セレクタ343に供給する。 Delay circuit 342, a frame of input image data supplied from the frame memory 341, is delayed by three frames, to the selector 343. 従って、チューナ部311から信号処理チップ334に供給される入力画像データのフレームは、フレームメモリ341および遅延回路342で、合計4フレーム分だけ遅延され、セレクタ343に供給されるから、動き検出回路344に、第n+4フレームの入力画像が供給されるとき、遅延回路342からセレクタ343には、その4フレーム前の第nフレームの入力画像データが供給される。 Thus, the frame of the input image data supplied from the tuner section 311 to the signal processing chip 334, the frame memory 341 and the delay circuit 342, is delayed by a total of four frames, since is supplied to the selector 343, the motion detection circuit 344 , when the input image of the n + 4 frames is supplied to the selector 343 from the delay circuit 342, the input image data of the n-th frame before the four frames are supplied.

セレクタ343には、上述したように、フレームメモリ341から第n+3フレームの入力画像が供給されるとともに、遅延回路342から第nフレームの入力画像が供給される。 The selector 343, as described above, the input image of the n + 3 frame from the frame memory 341 is supplied, the input image of the n-th frame from the delay circuit 342 is supplied. セレクタ343は、受信部340から供給されるコマンドに応じて、フレームメモリ341の出力または遅延回路342の出力のうちのいずれか一方を、動き検出回路344への入力とするように、信号処理チップ334の内部構造を切り換える。 The selector 343, in response to a command supplied from the receiving unit 340, either one of the output of the output or the delay circuit 342 of the frame memory 341, so that the input to the motion detection circuit 344, the signal processing chip 334 switches the internal structure of.

これにより、動き検出回路344には、フレームメモリ341が出力する第n+3フレームの入力画像データ、または遅延回路342が出力する第nフレームの入力画像データのうちの一方が、セレクタ343を介して供給される。 Thus, the motion detection circuit 344, the (n + 3) th frame of the input image data frame memory 341 is output or one of the input image data of the n-th frame delay circuit 342 is output, it is supplied via the selector 343 It is.

動き検出回路344は、セレクタ343を介して供給される入力画像データのフレームの各画素の動きベクトルを、チューナ部311(図32)から供給される入力画像データを参照することにより検出し、選択部345に供給する。 Motion detecting circuit 344 detects by reference to the input image data a motion vector of each pixel of the frames of the input image data supplied via the selector 343, supplied from the tuner unit 311 (FIG. 32), selected supplied to the part 345.

選択部345は、受信部340から供給されるコマンドに応じて、動き検出回路344から供給される動きベクトルをそのまま、またはその大きさを1/2に縮小し、信号処理チップ331および332(図35)に供給する。 Selecting unit 345, in response to a command supplied from the receiver 340, to reduce the motion vector supplied from the motion detection circuit 344 as it is, or its magnitude to 1/2, the signal processing chip 331 and 332 (FIG. and supplies to 35).

次に、図43のフローチャートを参照して、図42の信号処理チップ334の処理について説明する。 Next, with reference to the flowchart of FIG. 43 describes the processing of the signal processing chip 334 of FIG. 42.

信号処理チップ334では、コマンド列生成部330(図35)からコマンド列が送信されてくると、ステップS311において、受信部340が、そのコマンド列を受信する。 In the signal processing chip 334, the command sequence from the command sequence generator 330 (FIG. 35) is transmitted, in step S311, the reception unit 340, receives the command sequence. さらに、受信部340は、コマンド列生成部330から受信したコマンド列から、信号処理チップ334が実行可能なコマンドを認識し、そのコマンドを、セレクタ343および選択部345に供給して、ステップS311からS312に進む。 Furthermore, the receiving unit 340, the command string received from the command sequence generator 330 recognizes the signal processing chip 334 can be executed command, the command is supplied to the selector 343 and the selector 345, from step S311 the process proceeds to S312.

ここで、第2実施の形態では、信号処理チップ334が実行可能なコマンドとしては、例えば、上述したように、図36上の通常画面モードコマンド列の中の通常画面用動きベクトル検出コマンドと、図36下のマルチ画面モードコマンド列の中のマルチ画面用動きベクトル検出コマンドとがある。 In the second embodiment, the signal processing chip 334 that is executable command, for example, as described above, a normal motion vector detection command screen in the normal screen mode command sequence on Figure 36, Figure 36 is a multi-screen motion vector detection command in the multi-screen mode command sequence below.

従って、受信部340は、図36上の通常画面モードコマンド列を受信した場合、その中の通常画面用動きベクトル検出コマンドを、セレクタ343および選択部345に供給する。 Accordingly, the receiving unit 340, when receiving the normal screen mode command sequence on Figure 36, the motion vector detecting command for the normal screen therein, to the selector 343 and the selector 345. また、受信部340は、図36下のマルチ画面モードコマンド列を受信した場合、その中のマルチ画面用動きベクトル検出コマンドを、セレクタ343および選択部345に供給する。 The receiving unit 340, when receiving the multi-screen mode command sequence below FIG. 36, the motion vector detecting command for multi-screen therein, to the selector 343 and the selector 345.

ステップS312では、セレクタ343は、受信部340から供給されたコマンドに応じて、フレームメモリ341の出力または遅延回路342の出力のうちのいずれか一方を、動き検出回路344への入力とするように、信号処理チップ334の内部構造を切り換える。 At step S312, the selector 343, in accordance with the supplied command from the receiving unit 340, either one of the output of the output or the delay circuit 342 of the frame memory 341, so that the input to the motion detection circuit 344 switches the internal structure of the signal processing chip 334. さらに、ステップS312では、選択部345は、受信部340から供給されたコマンドに応じて、動き検出回路344から供給される動きベクトルをそのまま出力するように、またはその大きさを1/2に縮小するように、自身を設定し(自身の内部構造を切り換え)、ステップS313に進む。 Further, in step S312, the selection unit 345, in accordance with the supplied command from the receiving unit 340, reduces the motion vector supplied from the motion detection circuit 344 to output as it is, or its magnitude to 1/2 as to, and sets itself (switching the internal structure of its own), and the flow proceeds to step S313.

即ち、受信部340からセレクタ343および選択部345に供給されたコマンドが、通常画面用動きベクトル検出コマンドである場合、セレクタ343は、フレームメモリ341の出力を、動き検出回路344への入力とするようにし、これにより、信号処理チップ334の内部構造を、信号処理として、通常画面モード用の動きベクトルを検出する処理を行うように切り換える。 That is, supplied from the reception unit 340 to the selector 343 and the selector 345 command, if a normal motion vector detecting command screen, a selector 343, an output of the frame memory 341, and input to the motion detection circuit 344 and manner, thereby, the internal structure of the signal processing chip 334, as a signal processing switches to perform processing of detecting the motion vector for the normal screen mode. さらに、選択部345は、動き検出回路344から供給される動きベクトルをそのまま出力するように、自身を設定する。 Further, the selection unit 345 so as to output as the motion vector supplied from the motion detection circuit 344, sets itself.

一方、受信部340からセレクタ343および選択部345に供給されたコマンドが、マルチ画面用動きベクトル検出コマンドである場合、セレクタ343は、遅延回路342の出力を、動き検出回路344への入力とするようにし、これにより、信号処理チップ334の内部構造を、信号処理として、マルチ画面モード用の動きベクトルを検出する処理を行うように切り換える。 On the other hand, it is supplied from the reception unit 340 to the selector 343 and the selector 345 commands, when a multi-image motion vector detection command, the selector 343, the output of the delay circuit 342, and input to the motion detection circuit 344 and manner, thereby, the internal structure of the signal processing chip 334, as a signal processing switches to perform processing of detecting the motion vector for the multi-screen mode. さらに、選択部345は、動き検出回路344から供給される動きベクトルを、その大きさを1/2に縮小するように、自身を設定する。 Further, the selection unit 345, the motion vector supplied from the motion detection circuit 344, so as to reduce its size to 1/2, to configure itself.

ステップS313では、信号処理チップ334は、チューナ部311(図32)から供給される入力画像データを対象として、ステップS312で切り換えた内部構造によって行われるべき信号処理、即ち、ここでは、通常画面用の動きベクトルを検出する処理、またはマルチ画面用の動きベクトルを検出する処理を行い、ステップS314に進む。 In step S313, the signal processing chip 334, as the target input image data supplied from the tuner unit 311 (FIG. 32), the signal processing to be performed by the internal structure switched in step S312, the words, here, a normal screen processing to detect a motion vector, or performs a process of detecting a motion vector for the multi-screen, the process proceeds to step S314.

ここで、コマンド列生成部330が図36上の通常画面モードコマンド列を送信する通常画面モードでは、入力画像データとしての、例えばチャンネルCH1の画像データに欠損フレームが存在しないことから、そのチャンネルCH1の画像データにおいて注目しているフレームが第nフレームであるとすると、その第nフレームの動きベクトルは、例えば、その次の第n+1フレームを参照することにより検出することができる。 Here, in the normal screen mode command sequence generator 330 sends the normal screen mode command sequence on Figure 36, as the input image data, since there is no missing frame, for example, in the image data of the channel CH1, the channel CH1 When the frame of interest in the image data assumed to be the n-th frame, the motion vector of the n-th frame, for example, it can be detected by referring to the following frame n + 1.

一方、コマンド列生成部330が図36下のマルチ画面モードコマンド列を送信するマルチ画面モードでは、入力画像データとしての、例えばチャンネルCH1乃至CH4の画像データそれぞれには、4フレームに対して3フレームの欠損フレームが存在することから、そのチャンネルCH1乃至CH4の画像データにおいて注目している非欠損フレームが第nフレームであるとすると、第nフレームの動きベクトルは、例えば、その次の非欠損フレームである第n+4フレームを参照することにより検出する必要がある。 On the other hand, in the multi-screen mode command sequence generator 330 sends the multi-screen mode command sequence below FIG. 36, as the input image data, for example, each image data of the channels CH1 to CH4 is 3 frames to four frames nonmissing frames missing from the frame exists, the non-defective frame of interest in the image data of the channels CH1 to CH4 is assumed to be the n-th frame, the motion vector of the n-th frame, for example, the following it is necessary to detect by referring to the (n + 4) th frame is.

そこで、信号処理チップ334では、通常画面モードにおいては、通常画面モード用の動きベクトルの検出処理、即ち、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理が行われ、マルチ画面モードにおいては、マルチ画面モード用の動きベクトルの検出処理、即ち、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理が行われる。 Therefore, the signal processing chip 334, in the normal screen mode, detection processing of the motion vector for the normal screen mode, i.e., the motion vector of the n-th frame is detected by referring to the following frame n + 1 process is performed, in the multi-screen mode, detection processing of the motion vectors for the multi-screen mode, i.e., the (n + 4) th frame is a motion vector of the n-th frame is a non-defective frame, its next non-defective frame processing of detecting is carried out by reference to the.

即ち、動作モードが通常画面モードの場合、信号処理チップ334には、図32のチューナ部311が出力する、例えば、チャンネルCH1の画像データが供給され、このチャンネルCH1の画像データは、フレームメモリ341および動きベクトル検出回路344に供給される。 That is, when the operation mode is the normal screen mode, the signal processing chip 334, a tuner unit 311 in FIG. 32 outputs, for example, image data of the channel CH1 is supplied, the image data of the channel CH1, the frame memory 341 and it is supplied to the motion vector detection circuit 344.

フレームメモリ341は、そこに供給されるチャンネルCH1の画像データのフレームを一時記憶することにより、1フレーム分だけ遅延して、遅延回路342およびセレクタ343に供給する。 Frame memory 341, by temporarily storing the frame of image data of the channel CH1 to be supplied thereto, by one frame delay, and supplies to the delay circuit 342 and a selector 343. 通常画面モードにおいては、セレクタ343は、通常画面用動きベクトル検出コマンドに応じて、フレームメモリ341の出力を、動き検出回路344への入力とするようにしているので、フレームメモリ341からのチャンネルCH1の画像データのフレームは、セレクタ343を介して、動き検出回路344に供給される。 In the normal screen mode, the selector 343, in response to the normal screen motion vector detecting command, the output of the frame memory 341, since as the input to the motion detection circuit 344, the channel from the frame memory 341 CH1 frame of the image data via a selector 343, is supplied to the motion detection circuit 344.

ここで、上述したことから、動き検出回路344に、第n+4フレームのチャンネルCH1の画像データが供給されるとき、フレームメモリ341からセレクタ343には、その1フレーム前の第n+3フレームのチャンネルCH1の画像データが供給される。 Here, from the foregoing, the motion detection circuit 344, when the image data of the channel CH1 in the (n + 4) th frame is supplied from the frame memory 341 to the selector 343, one frame before the channel CH1 of the (n + 3) -th frame that image data is supplied. そして、いまの場合、セレクタ343は、フレームメモリ341からのチャンネルCH1の画像データのフレームを、動き検出回路344に供給するから、第n+3フレームと第n+4フレームのチャンネルCH1の画像データ、即ち、チャンネルCH1の画像データのあるフレームを注目フレームとすると、注目フレームと、その注目フレームの次のフレームが、動き検出回路344に供給される。 Then, in this case, the selector 343, the frame of the image data of the channel CH1 from the frame memory 341, from to the motion detection circuit 344, the (n + 3) th frame and the image data of the channel CH1 in the (n + 4) th frame, i.e., the channel When attention frame to a frame of CH1 image data, and the target frame, the next frame of the frame of interest, supplied to the motion detection circuit 344.

動き検出回路344は、注目フレームのチャンネルCH1の画像データの各画素の動きベクトルを、その注目フレームの次のフレームのチャンネルCH1の画像データを参照することにより検出し、選択部345に供給する。 Motion detecting circuit 344, a motion vector of each pixel of the image data of the channel CH1 of the frame of interest, detected by referring to the image data of the channel CH1 of the next frame of the frame of interest, and supplies to the selecting unit 345.

通常画面モードにおいては、選択部345は、通常画面用動きベクトル検出コマンドに応じて、動き検出回路344から供給される動きベクトルをそのまま出力するように、自身を設定しているので、動き検出回路344から供給される動きベクトルを、そのまま、通常画面モード用の動きベクトルとして出力する。 In normal screen mode, selector 345, in response to the normal screen motion vector detection command, so as to output as the motion vector supplied from the motion detection circuit 344, since the set itself, the motion detection circuit the motion vector supplied from the 344, as it is, is output as the motion vector for the normal screen mode.

一方、動作モードがマルチ画面モードの場合、信号処理チップ334には、図32のチューナ部311が出力する、例えば、チャンネルCH1乃至CH4それぞれの、欠損フレームがある画像データ(以下、適宜、欠損フレームあり画像データという)が供給され、このチャンネルCH1乃至CH4の欠損フレームあり画像データは、フレームメモリ341および動きベクトル検出回路344に供給される。 On the other hand, if the operation mode is the multi-screen mode, the signal processing chip 334, and outputs the tuner unit 311 of FIG. 32, for example, the respective channels CH1 to CH4, the image data with missing frames (hereinafter, the lost frame There called image data) is supplied, the image data has lost frame of the channel CH1 to CH4 is supplied to the frame memory 341 and the motion vector detection circuit 344.

フレームメモリ341は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり画像データのフレームを一時記憶することにより、1フレーム分だけ遅延して、遅延回路342およびセレクタ343に供給する。 Frame memory 341, by temporarily storing frames of lost frame has image data of the channels CH1 to CH4 supplied thereto by one frame delay, and supplies to the delay circuit 342 and a selector 343. 遅延回路342は、フレームメモリ341から供給されるチャンネルCH1乃至CH4の欠損フレームあり画像データのフレームを、さらに、3フレーム分だけ遅延し、セレクタ343に供給する。 Delay circuit 342, the frame of the lost frame has image data of the channels CH1 to CH4 is supplied from the frame memory 341, further delayed by three frames, to the selector 343.

マルチ画面モードにおいては、セレクタ343は、マルチ画面用動きベクトル検出コマンドに応じて、遅延回路342の出力を、動き検出回路344への入力とするようにしているので、遅延回路342からのチャンネルCH1乃至CH4の欠損フレームあり画像データのフレームは、セレクタ343を介して、動き検出回路344に供給される。 In multi-screen mode, the selector 343, in response to the multi-screen motion vector detecting command, the output of the delay circuit 342, since the set as the input to the motion detection circuit 344, the channel CH1 from the delay circuit 342 or frames of lost frame has image data of CH4 via the selector 343, is supplied to the motion detection circuit 344.

ここで、上述したことから、動き検出回路344に、第n+4フレームの画像が供給されるとき、遅延回路342からセレクタ343には、その4フレーム前の第nフレームの画像が供給される。 Here, from the foregoing, the motion detection circuit 344, when the image of the (n + 4) th frame is supplied to the selector 343 from the delay circuit 342, the image of the n-th frame before the four frames are supplied. そして、いまの場合、セレクタ343は、遅延回路342からの第nフレームを、動き検出回路344に供給するから、動き検出回路344には、第nフレームと第n+4フレームの画像データが供給される。 Then, in this case, the selector 343, the n-th frame from the delay circuit 342, the supply to the motion detection circuit 344, the motion detection circuit 344, the n-th frame and the image data of the (n + 4) th frame is supplied .

また、マルチ画面モードにおいては、チューナ部311から信号処理チップ334には、上述したように、チャンネルCH1乃至CH4の欠損フレームあり画像データが供給される。 Further, in the multi-screen mode, the signal processing chip 334 from the tuner unit 311, as described above, the image data has lost frame channels CH1 through CH4 are supplied. このチャンネルCH1乃至CH4の欠損フレームあり画像は、あるチャンネルに注目すれば、非欠損フレームが4フレームごとに存在する画像であるから、動き検出回路344には、チャンネルCH1乃至CH4のうちのあるチャンネルの非欠損フレームを注目フレームとすると、そのチャンネルについて、非欠損フレームである注目フレームと、その注目フレームの次の非欠損フレーム(注目フレームの4フレーム後のフレーム)が、動き検出回路344に供給される。 Deficient FRAMES image of the channels CH1 to CH4, if attention is paid to a certain channel, because the non-defective frame is an image that exists in every four frames, the motion detection circuit 344, certain of the channels CH1 through CH4 channels When attention frame nonmissing frame for that channel, and the frame of interest is a non-defective frame, the next non-defective frame of the frame of interest (frame after four frames of the frame of interest) is supplied to the motion detection circuit 344 It is.

動き検出回路344は、注目フレームの各画素の動きベクトルを、その注目フレームのチャンネルにおける次の非欠損フレームを参照することにより検出し、選択部345に供給する。 Motion detecting circuit 344, a motion vector of each pixel of the frame of interest, detected by reference to the following non-lost frame in the channel of the frame of interest, and supplies to the selecting unit 345.

マルチ画面モードにおいては、選択部345は、マルチ画面用動きベクトル検出コマンドに応じて、動き検出回路344から供給される動きベクトルを、1/2の大きさに縮小するように、自身を設定しているので、動き検出回路344から供給される動きベクトルを、1/2の大きさに縮小し、その縮小後の動きベクトルを、マルチ画面モード用の動きベクトルとして出力する。 In multi-screen mode, the selection unit 345, in accordance with the multi-screen motion vector detecting command, the motion vector supplied from the motion detection circuit 344, so as to reduce the size of 1/2, sets itself since it is, the motion vector supplied from the motion detection circuit 344, reduced to a size of 1/2, the motion vector after the reduction, and outputs as a motion vector for the multi-screen mode.

なお、動作モードがマルチ画面モードの場合に、選択部345において、非欠損フレームの画素について検出した動きベクトルを、1/2の大きさにするのは、次のような理由による。 Incidentally, when the operation mode is the multi-screen mode, the selection unit 345, a motion vector detected for a pixel of the non-defective frame, to the size of 1/2 for the following reason.

即ち、マルチ画面モードでは、コマンド列生成部330は、図36下のマルチ画面モードコマンド列を送信する。 That is, in the multi-screen mode, the command string generating section 330 transmits the multi-screen mode command sequence below FIG 36. この場合、信号処理チップ331では、上述したように、マルチ画面モードコマンド列のうちの縮小画像生成コマンドに応じた縮小画像生成処理が、チャンネルCH1乃至CH4の欠損フレームあり画像データを対象に行われ、その欠損フレームあり画像データのサイズを、上述の小画面のサイズ(1フレームを2×2に等分割したサイズ)に縮小したチャンネルCH1乃至CH4の縮小画像データが得られる。 In this case, the signal processing chip 331, as described above, the reduced image generation processing according to the reduced image generation command of the multi-screen mode command sequence is, there lost frame channels CH1 through CH4 conducted on the image data , the size of the image data has its lost frame, the reduced image data of the channels CH1 to CH4 by reducing the size of the small screen described above (one frame equally divided size 2 × 2) is obtained.

なお、このチャンネルCH1乃至CH4の縮小画像データには、縮小画像生成処理が行われる前のチャンネルCH1乃至CH4の欠損フレームあり画像データと同様に欠損フレームが存在する。 Note that the reduced image data of the channels CH1 to CH4, the reduced image generation processing is likewise lost frame is present and previous there lost frame channels CH1 through CH4 image data performed. 欠損フレームがある縮小画像データを、以下、適宜、欠損フレームあり縮小画像データという。 The reduced image data with missing frames, hereinafter referred to as the lost frame has reduced image data.

信号処理チップ331において、上述したようにして得られたチャンネルCH1乃至CH4の欠損フレームあり縮小画像データは、信号処理チップ332に供給される。 In the signal processing chip 331, the reduced image data has lost frame channels CH1 through CH4 obtained as described above is supplied to the signal processing chip 332. そして、マルチ画面モードでは、信号処理チップ332においては、信号処理チップ331から供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像データを対象に、マルチ画面モードコマンド列(図36下)のうちの時間解像度創造コマンドに応じた時間解像度創造処理が行われ、チャンネルCH1乃至CH4の、欠損フレームがない縮小画像データ(以下、適宜、欠損フレームなし縮小画像データという)が得られる。 Then, in the multi-screen mode, the signal processing chip 332, the target has lost frame channels CH1 through CH4 reduced image data supplied from the signal processing chip 331, the multi-screen mode command sequence of (lower Figure 36) time time resolution creation processing according to the resolution creation command is executed, the channels CH1 to CH4, the reduced image data is not lost frame (hereinafter referred to as no lost frame reduced image data) is obtained.

以上のように、マルチ画面モードにおいては、信号処理チップ331および332において、小画面のサイズの縮小画像データ、即ち、1フレームの画像データの横と縦の画素数を、それぞれ1/2に縮小した(間引いた)サイズの縮小画像データを扱う信号処理が行われる。 As described above, in the multi-screen mode, the reduction in the signal processing chip 331 and 332, the reduced image data of the size of the small screen, i.e., the number of horizontal and vertical pixels of the image data of one frame, each 1/2 signal processing is performed to deal with the (thinned) the reduced image data size.

一方、信号処理チップ334では、チューナ部311が出力するチャンネルCH1乃至CH4の欠損フレームあり画像(縮小されていない画像)データを対象として動きベクトルが検出されるため、その動きベクトルの大きさは、理論的には、縮小画像データを対象として動きベクトルを検出した場合の大きさの2倍となる。 On the other hand, the signal processing chip 334, since the motion vector is detected defects FRAMES image (not reduced image) data of the channels CH1 to CH4 tuner 311 is output as the target, the magnitude of the motion vector, theoretically, twice the size of the case of detecting a motion vector as the target reduced image data. このため、マルチ画面モードにおいては、信号処理チップ334の選択部345は、チャンネルCH1乃至CH4の画像(縮小されていない画像)データを対象に検出した動きベクトルを、縮小画像データを対象として検出した動きベクトルに対応させるために、1/2の大きさに縮小して、信号処理チップ331および332に供給する。 Therefore, in the multi-screen mode, the selection unit 345 of the signal processing chip 334, the detected motion vector to the target data image (image unreduced) that channels CH1 to CH4, was detected as the target reduced image data in order to correspond to the motion vector, by reducing the size of 1/2, and supplies the signal processing chip 331 and 332.

ステップS314では、信号処理チップ334で信号処理の対象とすべき画像データが存在するかどうかが判定される。 At step S314, the whether the image data should be subject to signal processing by the signal processing chip 334 is present is determined. ステップS314において、信号処理チップ334で信号処理の対象とすべき画像データが存在すると判定された場合、即ち、チューナ部311から信号処理チップ334に対して入力画像データが供給されている場合、ステップS313に戻り、通常画面用の動きベクトルまたはマルチ画面用の動きベクトルを検出する処理が続行される。 In step S314, the case where image data to be subjected to signal processing by the signal processing chip 334 is determined to exist, that is, when the input image data is supplied from the tuner section 311 to the signal processing chip 334, step returning to S313, the process of detecting is continued motion vectors for the motion vector or the multi-screen for normal screen.

また、ステップS314において、信号処理チップ334で信号処理の対象とすべき画像データが存在しないと判定された場合、即ち、チューナ部311から信号処理チップ334に対して入力画像データが供給されなくなった場合、処理を終了する。 Further, in step S314, the case where image data to be subjected to signal processing by the signal processing chip 334 is determined not to exist, that is, the input image data is not supplied to the signal processing chip 334 from the tuner 311 case, the process is terminated.

なお、信号処理チップ334は、その他、例えば、コマンド列生成部330から、新たなコマンド列が送信されてきた場合も、図43のフローチャートにしたがった処理を一旦終了し、再度、ステップS311から処理を開始する。 The signal processing chip 334, other, for example, from the command sequence generator 330, even if a new command sequence has been transmitted, control exits the process in accordance with the flowchart of FIG. 43, once again, the process from step S311 the start.

ここで、動きベクトル検出回路344における動きベクトルの検出方法としては、例えば、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。 Here, as a method of detecting a motion vector in the motion vector detection circuit 344, for example, it can be adopted and a block matching method, gradient method, or other arbitrary methods.

また、上述の場合には、動きベクトルを、画素単位で検出することで、各画素に対する動きベクトルを得るようにしたが、動きベクトルの検出は、その他、例えば、所定の画素数おきや、所定の画素で構成されるブロック単位等で行うことができる。 Further, in the above case, the motion vector, to detect a pixel unit, but to obtain a motion vector for each pixel, the detection of the motion vectors, other, for example, or a predetermined number of pixels every predetermined it can be performed in configured block such in the pixel. この場合、任意の画素に対する動きベクトルは、その近くにある他の画素に対して検出された動きベクトルや、その画素を含むブロックに対して検出された動きベクトルで代用することが可能である。 In this case, the motion vectors for any pixel, and the motion vector detected with respect to other pixels in its vicinity, but it can be replaced by the motion vector detected for a block containing the pixel.

次に、図44は、図35の信号処理チップ331の構成例を示している。 Next, FIG. 44 shows a configuration example of the signal processing chip 331 of FIG. 35.

信号処理チップ331は、コマンド列生成部330(図35)から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した空間解像度創造処理または縮小画像生成処理(リサイズ処理としての縮小画像生成処理)を行う。 The signal processing chip 331, in response to a command to configure the command string supplied from the command sequence generator 330 (FIG. 35) switches the internal structure thereof, the spatial resolution creation processing or reduced using the classification adaptive processing described above It performs image generation processing (the reduced image generation processing as resizing process).

即ち、信号処理チップ331は、注目画素選択部351、タップ選択部352,353、クラス分類部354、係数出力部355、予測演算部356、受信部357、動き判定部358で構成されている。 That is, the signal processing chip 331, the target pixel selecting section 351, the tap selecting section 352 and 353, the classification unit 354, the coefficient output unit 355, the prediction arithmetic unit 356, receiving unit 357, and a motion determination section 358. これらのうちの注目画素選択部351、タップ選択部352,353、クラス分類部354、係数出力部355、予測演算部356は、図1の注目画素選択部11、タップ選択部12,13、クラス分類部14、係数出力部15、予測演算部16にそれぞれ対応するものである。 Target pixel selection unit 351 of these, the tap selecting section 352 and 353, the classification unit 354, the coefficient output unit 355, the prediction computation unit 356, target pixel selection unit 11 of FIG. 1, the tap selection unit 12, the class classification unit 14, the coefficient output unit 15, in which corresponding respectively to the prediction computation unit 16.

従って、信号処理チップ331では、チューナ部311(図32)から供給される入力画像データとしてのクラス分類適応処理の第1の画像データが、クラス分類適応処理の第2の画像データに変換されて出力される。 Therefore, the signal processing chip 331, the first image data of the classification adaptive processing as the input image data supplied from the tuner unit 311 (FIG. 32) is converted into second image data of the classification adaptive processing is output.

但し、図44において、係数出力部355は、係数メモリ361 1および361 2並びに選択部362で構成されている。 However, in FIG. 44, the coefficient output unit 355 is configured by the coefficient memory 361 1 and 361 2 and the selection unit 362.

係数メモリ361 1 ,361 2には、あらかじめ行われた学習により求められた空間解像度創造処理用のタップ係数、リサイズ処理としての縮小画像生成処理用のタップ係数が、それぞれ記憶されている。 The coefficient memory 361 1, 361 2, the tap coefficients for the spatial resolution creation processing obtained by learning performed in advance, the tap coefficients for the reduced image generation processing as resizing, are respectively stored. ここで、縮小画像生成処理用のタップ係数は、チューナ部311(図32)が出力する画像データのサイズを、小画面のサイズ(1フレームを2×2に等分割したサイズ)に縮小するものである。 Here, the tap coefficients for the reduced image generation process, the size of the image data tuner 311 (FIG. 32) outputs, which reduces the size of the small screen (equally dividing size of one frame into 2 × 2) it is.

係数メモリ361 1と361 2には、クラス分類部354が出力するクラス(クラスコード)が供給される。 The coefficient memory 361 1 and 361 2, class (class code) is supplied to the class classifying unit 354 is output. 係数メモリ361 1と361 2それぞれは、クラス分類部354からのクラスのタップ係数を読み出し、選択部362に出力する。 Each coefficient memory 361 1 and 361 2 reads the tap coefficients of the class from the classification unit 354, and outputs to the selection unit 362.

選択部362には、上述したように、係数メモリ361 1と361 2それぞれから読み出されたタップ係数が供給される他、受信部357からコマンドが供給される。 The selection unit 362, as described above, except that the tap coefficients read out the coefficient memory 361 1 and 361 2 from each supplied, the command is supplied from the receiving unit 357. 選択部362は、受信部357から供給されるコマンドに応じて、係数メモリ361 1または361 2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部356の入力端に接続することで、信号処理チップ331の内部構造を切り換える。 Selecting unit 362, in response to a command supplied from the receiving unit 357, selects one of the output terminals of the coefficient memory 361 1 or 361 2, and the selected output terminal, the input terminal of the prediction computation unit 356 by connecting to switch the internal structure of the signal processing chip 331.

ここで、選択部362が、係数メモリ361 1または361 2のうちの、例えば、係数メモリ361 1の出力端を選択し、その選択した出力端を、予測演算部356の入力端に接続した場合、予測演算部356には、係数メモリ361 1から読み出される空間解像度創造処理用のタップ係数が供給されることとなり、その結果、信号処理チップ331は、空間解像度創造処理を行うICとして機能することになる。 Here, if the selected portion 362, of the coefficient memory 361 1 or 361 2, for example, to select the output terminal of the coefficient memory 361 1, and the selected output terminal, connected to the input of the prediction computation unit 356 , the prediction computation unit 356, becomes the tap coefficients for the spatial resolution creation processing which is read from the coefficient memory 361 1 is supplied, as a result, the signal processing chip 331 is to function as an IC for performing spatial resolution creation processing become.

一方、選択部362が、係数メモリ361 1または361 2のうちの、係数メモリ361 2の出力端を選択し、その選択した出力端を、予測演算部356の入力端に接続した場合、予測演算部356には、係数メモリ361 2から読み出される縮小画像生成処理用のタップ係数が供給されることとなり、その結果、信号処理チップ331は、縮小画像生成処理を行うICとして機能することになる。 On the other hand, when the selection unit 362, of the coefficient memory 361 1 or 361 2, selects the output terminal of the coefficient memory 361 2, the selected output terminal, connected to the input of the prediction computation unit 356, the prediction calculation the section 356, becomes the tap coefficients for the reduced image generation processing to be read out from the coefficient memory 361 2 is supplied, as a result, the signal processing chip 331 will serve as an IC for performing reduced image generation processing.

また、図44では、クラス分類部354には、タップ選択部353からクラスタップが供給される他、動き判定部358から後述する動き判定情報が供給されるようになっている。 Further, in FIG. 44, the classification unit 354, in addition to the class taps supplied from the tap selection unit 353, the motion judgment information described later from the motion determination section 358 are supplied. クラス分類部354は、注目画素について選択されたクラスタップに基づいてクラス分類を行うことにより得られるクラスコードの上位ビットまたは下位ビットとして、動き判定部358からの動き判定情報を表すビットを付加し、その結果得られるビット列を、最終的なクラスコードとして、係数出力部355に供給する。 The classification unit 354, as the upper bits or lower bits of the resulting class code by performing classification based on the class tap selected for the pixel of interest, by adding a bit representing the motion determination information from the motion determination section 358 supplies a bit sequence obtained as a result as a final class code, the coefficient output unit 355.

さらに、図44において、受信部357は、コマンド列生成部330(図35)から無線で送信されてくるコマンド列を受信し、コマンド列生成部330から受信したコマンド列の中から、信号処理チップ331が実行することができる信号処理のコマンドを認識して、選択部362に供給する。 Further, in FIG. 44, the receiving unit 357 from the command sequence generator 330 (FIG. 35) receives the command string transmitted wirelessly, the command string received from the command sequence generator 330, the signal processing chip 331 recognizes the command of the signal processing can be executed, and supplies to the selecting unit 362.

即ち、受信部357は、図36上に示す通常画面モードコマンド列を受信した場合、その中の空間解像度創造コマンドを、信号処理チップ331が実行することができる信号処理のコマンドとして認識し、選択部362に供給する。 That is, the receiving unit 357, when receiving the normal screen mode command sequence shown on Figure 36, recognizes the spatial resolution creation command therein as the command of the signal processing which can be the signal processing chip 331 is executed, select supplied to the part 362. この場合、選択部362は、係数メモリ361 1の出力端を選択し、予測演算部356の入力端に接続する。 In this case, selection section 362 selects the output terminal of the coefficient memory 361 1 is connected to the input of the prediction computation unit 356.

一方、受信部357は、図36下に示すマルチ画面モードコマンド列を受信した場合、その中の縮小画像生成コマンドを、信号処理チップ331が実行することができる信号処理のコマンドとして認識し、選択部362に供給する。 Meanwhile, the receiving unit 357, when receiving the multi-screen mode command sequence shown below Figure 36, recognizes the reduced image generating command therein as the command of the signal processing which can be the signal processing chip 331 is executed, select supplied to the part 362. この場合、選択部362は、係数メモリ361 2の出力端を選択し、予測演算部356の入力端に接続する。 In this case, selection section 362 selects the output terminal of the coefficient memory 361 2 are connected to the input terminal of the prediction computation unit 356.

また、図44において、動き判定部358には、チューナ部311(図32)から供給される入力画像データとしての第1の画像データを構成する各画素の動きベクトルが、信号処理チップ334(図35)から供給されるようになっている。 Further, in FIG. 44, the motion determination unit 358, a motion vector of the pixels constituting the first image data as input image data supplied from the tuner unit 311 (FIG. 32), the signal processing chip 334 (FIG. are supplied from 35). 動き判定部358は、信号処理チップ334からの、第1の画像データを構成する各画素の動きベクトルのうちの、注目画素に対応する第1の画像データの画素(例えば、注目画素のフレームにおける注目画素の時空間的位置に最も近い位置にある第1の画像データの画素)の動きベクトルの大きさまたは方向を判定し、その大きさや方向を表す1ビットまたは数ビットを、動き判定情報としてクラス分類部354に供給する。 Motion determination section 358, from the signal processing chip 334, out of the motion vectors of the pixels constituting the first image data, the pixel of the first image data corresponding to the pixel of interest (e.g., in the frame of the pixel of interest determining the magnitude or direction of the motion vector when the pixel of the first image data in the position closest to the spatial position) of the target pixel, one bit or several bits representing the magnitude and direction, as the motion determination information It is supplied to the classification unit 354.

次に、図45のフローチャートを参照して、図44の信号処理チップ331の処理について説明する。 Next, with reference to the flowchart of FIG. 45 describes the processing of the signal processing chip 331 of FIG. 44.

図35のコマンド列生成部330からコマンド列が送信されてくると、ステップS321において、受信部357は、そのコマンド列を受信する。 When the command sequence is transmitted from the command sequence generator 330 of FIG. 35, in step S321, the receiving unit 357 receives the command sequence. さらに、受信部357は、そのコマンド列の中から、信号処理チップ331が実行可能な信号処理のコマンドを認識し、そのコマンドを選択部362に供給して、ステップS322に進む。 Furthermore, the receiving unit 357, from among the command sequence to recognize a command signal processing chip 331 viable signal processing, and supplies the command to the selection unit 362, the process proceeds to step S322.

ステップS322では、選択部362は、受信部357からのコマンドに応じて、信号処理チップ331の内部構造を切り換える。 In step S322, the selection unit 362, in response to a command from the receiving section 357 switches the internal structure of the signal processing chip 331.

即ち、選択部362は、受信部357からのコマンドに応じて、係数メモリ361 1または361 2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部356(図44)の入力端に接続することで、信号処理チップ331の内部構造を切り換える。 That is, the selector 362, in response to a command from the receiving unit 357, selects one of the output terminals of the coefficient memory 361 1 or 361 2, and the selected output, the prediction computation unit 356 (FIG. 44 ) by connecting to the input terminal, switching the internal structure of the signal processing chip 331.

その後、ステップS323に進み、以下、ステップS323乃至S328において、図2のステップS11乃至S16における場合とそれぞれ同様の処理が行われる。 Thereafter, the process proceeds to step S323, hereinafter, in step S323 through S328, the same processes as in steps S11 to S16 in FIG. 2 are performed.

即ち、ステップS323において、注目画素選択部351は、信号処理チップ331に入力される第1の画像データに対する第2の画像データを構成する画素のうち、まだ、注目画素とされていないものの1つを、注目画素として選択し、ステップS324に進む。 That is, in step S323, the target pixel selecting section 351, among the pixels constituting the second image data for the first image data input to the signal processing chip 331, yet, one of those is not a pixel of interest and selected as the pixel of interest, the process proceeds to step S324.

ステップS324において、タップ選択部352と353が、そこに供給される第1の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。 In step S324, the tap selecting section 352 and 353, from the first image data supplied thereto, those that the prediction taps and class taps for the pixel of interest, respectively selected. そして、予測タップは、タップ選択部352から予測演算部356に供給され、クラスタップは、タップ選択部353からクラス分類部354に供給される。 The prediction tap is supplied to the prediction computation unit 356 from the tap selector 352, the class taps are supplied from the tap selecting section 353 to the classification unit 354.

さらに、ステップS324では、動き判定部358が、信号処理チップ334からの、第1の画像データを構成する各画素の動きベクトルのうちの、注目画素に対応する第1の画像データの画素の動きベクトルの大きさまたは方向を判定し、その大きさや方向を表す1ビットまたは数ビットを、注目画素についての動き判定情報としてクラス分類部354に供給する。 Further, in step S324, the motion determination unit 358, from the signal processing chip 334, out of the motion vectors of the pixels constituting the first image data, the motion of the pixels of the first image data corresponding to the pixel of interest determining the magnitude or direction of the vector, and supplies the 1-bit or several bits representing the magnitude and direction, the classification unit 354 as the motion decision information for the pixel of interest.

クラス分類部354は、タップ選択部353から、注目画素についてのクラスタップを受信するとともに、動き判定部358から、注目画素についての動き判定情報を受信し、ステップS325において、そのクラスタップと動き判定情報に基づき、注目画素をクラス分類する。 The classification unit 354, the tap selection unit 353, which receives the class tap for the pixel of interest, from the motion judgment unit 358 receives the motion determination information for the pixel of interest, in step S325, the motion determination and the class taps based on the information, the target pixel classification. さらに、クラス分類部354は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部355に出力し、ステップS326に進む。 Furthermore, the class classifying unit 354, a class of the pixel of interest obtained as a result of the classification, and outputs the coefficient output unit 355 and the procedure goes to step S326.

ステップS326では、係数出力部355が、クラス分類部354から供給されるクラスのタップ係数を出力する。 In step S326, the coefficient output unit 355 outputs the tap coefficients of the class supplied from the classification unit 354. 即ち、係数出力部355は、係数メモリ361 1または361 2のうちの、選択部362が出力端を選択しているものから、クラス分類部354から供給されるクラスのタップ係数を読み出し、予測演算部356に出力する。 That is, the coefficient output unit 355, of the coefficient memory 361 1 or 361 2, from which the selection unit 362 selects the output terminal, reads out the tap coefficients of the class supplied from the classification unit 354, the prediction calculation and outputs it to the section 356. そして、ステップS326では、予測演算部356が、係数出力部355が出力するタップ係数を取得し、ステップS327に進む。 In step S326, the prediction computation unit 356 acquires the tap coefficients output from the coefficient output unit 355, the process proceeds to step S327.

ステップS327では、予測演算部356が、タップ選択部352が出力する予測タップと、係数出力部355から取得したタップ係数とを用いて、式(1)の予測演算を行う。 In step S327, the prediction computation unit 356, using the prediction taps from the tap selecting section 352 outputs, and the tap coefficient acquired from the coefficient output unit 355 performs prediction computation of the formula (1). これにより、予測演算部356は、注目画素の画素値を求めて出力し、ステップS328に進む。 Thus, the prediction computation unit 356, and determines and outputs the pixel value of the pixel of interest and proceeds to step S328.

ステップS328では、注目画素選択部351が、まだ、注目画素としていない第2の画像データがあるかどうかを判定する。 In step S328, the target pixel selecting section 351, still, determines whether there is a second image data that is not the pixel of interest. ステップS328において、まだ、注目画素としていない第2の画像データがあると判定された場合、ステップS323に戻り、以下、同様の処理が繰り返される。 In step S328, still, if it is determined that there is a second image data that is not the target pixel, the process returns to step S323. In step S323, the same processing is repeated.

また、ステップS328において、まだ、注目画素とされていない第2の画像データがないと判定された場合、処理を終了する。 Further, in step S328, still, if it is determined that there is no second image data which is not the pixel of interest, the process ends.

なお、受信部357は、コマンド列生成部330から、図36上に示す通常画面モードコマンド列を受信した場合、その中の空間解像度創造コマンドを、選択部362に供給する。 The receiving unit 357 supplies the command sequence generator 330, when receiving the normal screen mode command sequence shown on Figure 36, the spatial resolution creation command therein, the selector 362. この場合、選択部362は、係数メモリ361 1の出力端を選択するから、その係数メモリ361 1に記憶されている空間解像度創造処理用のタップ係数が、予測演算部356に供給される。 In this case, selection unit 362, to choose from the output terminal of the coefficient memory 361 1, the tap coefficients for the spatial resolution creation processing stored in the coefficient memory 361 1 is supplied to the prediction computation unit 356.

また、コマンド列生成部330が、図36上に示す通常画面モードコマンド列を送信する場合というのは、動作モードが通常画面モードである場合であり、この場合、チューナ部311(図32)は、所定のチャンネルとしての、例えば、チャンネルCH1を選局し、これにより、信号処理チップ331には、チャンネルCH1の欠損フレームがない画像データが供給される。 Further, the command string generating section 330, because the case of transmitting the normal screen mode command sequence shown on FIG. 36 is a case where the operation mode is the normal screen mode, in this case, the tuner unit 311 (FIG. 32) , as the predetermined channel, for example, selects a channel CH1, thereby, the signal processing chip 331, the image data without missing frames of the channel CH1 is supplied.

従って、この場合、信号処理チップ331は、そこに供給されるチャンネルCH1の欠損フレームがない画像データを、第1の画像データとして、空間解像度創造処理を実行し、その空間解像度創造処理によって空間解像度が向上したチャンネルCH1の欠損フレームがない画像データ(以下、適宜、高解像度画像データともいう)を、第2の画像データとして、後段の信号処理チップ332(図35)に出力する。 Therefore, in this case, the signal processing chip 331, the image data is not lost frame of channel CH1 to be supplied thereto, as the first image data, performs spatial resolution creation processing, the spatial resolution by its spatial resolution creation processing There the image data is not lost frame of channel CH1 with improved (hereinafter, also referred to as a high-resolution image data) to the, as the second image data, the subsequent signal processing chip 332 (FIG. 35).

一方、受信部357は、コマンド列生成部330から、図36下に示すマルチ画面モードコマンド列を受信した場合、その中の縮小画像生成コマンドを、選択部362に供給する。 Meanwhile, the receiving unit 357 supplies the command sequence generator 330, when receiving a multi-screen mode command sequence shown below FIG. 36, the reduced image generation command therein, the selector 362. この場合、選択部362は、係数メモリ361 2の出力端を選択するから、その係数メモリ361 2に記憶されている縮小画像生成処理用のタップ係数が、予測演算部356に供給される。 In this case, selection unit 362, to choose from the output terminal of the coefficient memory 361 2, the tap coefficients for the reduced image generation processing, which is stored in the coefficient memory 361 2 are supplied to the prediction computation unit 356.

また、コマンド列生成部330が、図36下に示すマルチ画面モードコマンド列を送信する場合というのは、動作モードがマルチ画面モードである場合であり、この場合、チューナ部311(図32)は、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ331には、チャンネルCH1乃至CH4の欠損フレームあり画像データが供給される。 Further, the command string generating section 330, because the case of transmitting the multi-screen mode command sequence shown below FIG. 36 is a case where the operation mode is the multi-screen mode, in this case, the tuner unit 311 (FIG. 32) , as a plurality of channels, for example, channel selection in a time division channels CH1 to CH4, thereby, the signal processing chip 331, the image data has lost frame channels CH1 through CH4 are supplied.

従って、この場合、信号処理チップ331は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり画像データを、第1の画像データとして、縮小画像生成処理を実行し、その縮小画像生成処理によってサイズが縮小された(画素数が少なくされた)チャンネルCH1乃至CH4の欠損フレームあり縮小画像データを、第2の画像データとして、後段の信号処理チップ332(図35)に出力する。 Therefore, the size in this case, the signal processing chip 331, the lost frame with image data of the channels CH1 to CH4 supplied thereto as the first image data, performs the reduced image generation processing, by the reduced image generation processing There outputs the reduced (the number of pixels is reduced) there lost frame channels CH1 through CH4 reduced image data as the second image data, the subsequent signal processing chip 332 (FIG. 35).

次に、図46は、図35の信号処理チップ332の構成例を示している。 Next, FIG. 46 shows a configuration example of the signal processing chip 332 of FIG. 35.

信号処理チップ332は、コマンド列生成部330(図35)から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用したノイズ除去処理または時間解像度創造処理を行う。 The signal processing chip 332 according to a command to configure the command string supplied from the command sequence generator 330 (FIG. 35), the switching of the internal structure, the above-described classification adaptive processing noise removal processing or time resolution using do creative process.

即ち、信号処理チップ332は、メモリ370、注目画素選択部371、タップ選択部372,373、クラス分類部374、係数出力部375、予測演算部376、受信部377、タップ決定部378および379で構成されている。 That is, the signal processing chip 332, a memory 370, a target pixel selecting section 371, the tap selecting section 372 and 373, the classification unit 374, the coefficient output unit 375, the prediction computation unit 376, the receiving unit 377, the tap determination unit 378 and 379 It is configured. これらのうちの注目画素選択部371、タップ選択部372,373、クラス分類部374、係数出力部375、予測演算部376は、図1の注目画素選択部11、タップ選択部12,13、クラス分類部14、係数出力部15、予測演算部16にそれぞれ対応するものである。 Target pixel selection unit 371 of these, the tap selecting section 372 and 373, the classification unit 374, the coefficient output unit 375, the prediction computation unit 376, target pixel selection unit 11 of FIG. 1, the tap selection unit 12, the class classification unit 14, the coefficient output unit 15, in which corresponding respectively to the prediction computation unit 16.

従って、信号処理チップ332では、信号処理チップ331(図35)から供給される、クラス分類適応処理の第1の画像データとしてのチャンネルCH1の欠損フレームがない高解像度画像データ、またはチャンネルCH1乃至CH4の欠損フレームあり縮小画像データが、クラス分類適応処理の第2の画像データに変換されて出力される。 Therefore, the signal processing chip 332, is supplied from the signal processing chip 331 (FIG. 35), the high resolution image data is not lost frame of channel CH1 as the first image data of the classification adaptive processing or channels CH1 to CH4, deficient fRAMES reduced image data is output after being converted into second image data of the classification adaptive processing.

但し、図46において、係数出力部375は、係数メモリ381 1および381 2並びに選択部382で構成されている。 However, in FIG. 46, the coefficient output unit 375 is configured by the coefficient memory 381 1 and 381 2 and the selection unit 382.

係数メモリ381 1 ,381 2には、あらかじめ行われた学習により求められたノイズ除去処理用のタップ係数、時間解像度創造処理用のタップ係数が、それぞれ記憶されている。 The coefficient memory 381 1, 381 2, the tap coefficients for the noise removal process obtained by learning performed in advance, the tap coefficients for the temporal resolution creation processing, are respectively stored. ここで、時間解像度創造処理用のタップ係数は、信号処理チップ331から供給されるチャンネルCH1乃至CH4それぞれの欠損フレームあり縮小画像データを、欠損フレームがない縮小画像データとするものである。 Here, the tap coefficients for temporal resolution creation processing, the signal processing there are missing frames channels CH1 through CH4 are supplied from the chip 331 the reduced image data, it is an missing frame is not reduced image data.

係数メモリ381 1と381 2には、クラス分類部374が出力するクラス(クラスコード)が供給される。 The coefficient memory 381 1 and 381 2, class (class code) is supplied to the class classifying unit 374 is output. 係数メモリ381 1と381 2それぞれは、クラス分類部374からのクラスのタップ係数を読み出し、選択部382に出力する。 Each coefficient memory 381 1 and 381 2 reads the tap coefficients of the class from the classification unit 374, and outputs to the selection unit 382.

選択部382には、上述したように、係数メモリ381 1と381 2それぞれから読み出されたタップ係数が供給される他、受信部377からコマンドが供給される。 The selection unit 382, as described above, except that the tap coefficients read out coefficient memory 381 1 and 381 2 from each supplied, the command is supplied from the receiving unit 377. 選択部382は、受信部377から供給されるコマンドに応じて、係数メモリ381 1または381 2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部376の入力端に接続することで、信号処理チップ332の内部構造を切り換える。 Selecting unit 382, in response to a command supplied from the receiving unit 377, selects one of the output terminals of the coefficient memory 381 1 or 381 2, and the selected output terminal, the input terminal of the prediction computation unit 376 by connecting to switch the internal structure of the signal processing chip 332.

ここで、選択部382が、係数メモリ381 1または381 2のうちの、例えば、係数メモリ381 1の出力端を選択し、その選択した出力端を、予測演算部376の入力端に接続した場合、予測演算部376には、係数メモリ381 1から読み出されるノイズ除去処理用のタップ係数が供給されることとなり、その結果、信号処理チップ332は、ノイズ除去処理を行うICとして機能することになる。 Here, if the selected portion 382, of the coefficient memory 381 1 or 381 2, for example, to select the output terminal of the coefficient memory 381 1, and the selected output terminal, connected to the input of the prediction computation unit 376 , the prediction computation unit 376, it is possible to tap coefficients for noise removal processing which is read out from the coefficient memory 381 1 is supplied, as a result, the signal processing chip 332, will function as an IC for performing a noise removal process .

一方、選択部382が、係数メモリ381 1または381 2のうちの、係数メモリ381 2の出力端を選択し、その選択した出力端を、予測演算部376の入力端に接続した場合、予測演算部376には、係数メモリ381 2から読み出される時間解像度創造処理用のタップ係数が供給されることとなり、その結果、信号処理チップ332は、時間解像度創造処理を行うICとして機能することになる。 On the other hand, when the selection unit 382, of the coefficient memory 381 1 or 381 2, selects the output terminal of the coefficient memory 381 2, the selected output terminal, connected to the input of the prediction computation unit 376, the prediction calculation the section 376, becomes the tap coefficients for the temporal resolution creation processing which is read out from the coefficient memory 381 2 is supplied, as a result, the signal processing chip 332, will function as an IC for performing time resolution creation processing.

また、図46において、受信部377は、コマンド列生成部330(図35)から無線で送信されてくるコマンド列を受信し、コマンド列生成部330から受信したコマンド列の中から、信号処理チップ332が実行することができる信号処理のコマンドを認識して、選択部382に供給する。 Further, in FIG. 46, the receiving unit 377 from the command sequence generator 330 (FIG. 35) receives the command string transmitted wirelessly, the command string received from the command sequence generator 330, the signal processing chip 332 recognizes the command of the signal processing can be executed, and supplies to the selecting unit 382.

即ち、受信部377は、図36上に示す通常画面モードコマンド列を受信した場合、その中のノイズ除去コマンドを、信号処理チップ332が実行することができる信号処理のコマンドとして認識し、選択部382に供給する。 That is, the receiving unit 377, when receiving the normal screen mode command sequence shown on Figure 36, recognizes the noise removing command therein as the command of the signal processing which can be the signal processing chip 332 is executed, the selection unit and supplies to 382. この場合、選択部382は、係数メモリ381 1の出力端を選択し、予測演算部376の入力端に接続する。 In this case, selection section 382 selects the output terminal of the coefficient memory 381 1 is connected to the input of the prediction computation unit 376.

一方、受信部377は、図36下に示すマルチ画面モードコマンド列を受信した場合、その中の時間解像度創造コマンドを、信号処理チップ332が実行することができる信号処理のコマンドとして認識し、選択部382に供給する。 Meanwhile, the receiving unit 377, when receiving the multi-screen mode command sequence shown below Figure 36, recognizes the time resolution creation command therein as the command of the signal processing which can be the signal processing chip 332 is executed, select supplied to the part 382. この場合、選択部382は、係数メモリ381 2の出力端を選択し、予測演算部376の入力端に接続する。 In this case, selection section 382 selects the output terminal of the coefficient memory 381 2 are connected to the input terminal of the prediction computation unit 376.

さらに、図46において、タップ決定部378および379には、信号処理チップ334(図35)から、チューナ部311(図32)が信号処理部314に供給する入力画像データを構成する各画素の動きベクトルが供給されるようになっている。 Further, in FIG. 46, the tap determination unit 378 and 379, the signal processing chip 334 (FIG. 35), each pixel tuner 311 (FIG. 32) constituting the input image data supplied to the signal processing unit 314 moves vector is designed to be supplied.

タップ決定部378または379は、それぞれ、注目画素についての予測タップまたはクラスタップとする画素を、信号処理チップ334から供給される動きベクトルに基づいて決定する。 Tap determination section 378 or 379, respectively, the pixel to the prediction tap or class tap for the pixel of interest is determined based on the motion vector supplied from the signal processing chip 334.

即ち、注目画素についての予測タップやクラスタップ(以下、適宜、両方まとめて、単に、タップという)を、クラス分類適応処理の第1の画像データから、どのような画素を選択して構成するかは、特に限定されるものではない。 That is, the prediction tap and the class tap for the pixel of interest (hereinafter, both together, simply referred to as taps) or the, from the first image data of the classification adaptive processing, select and configure any pixel is not particularly limited.

但し、図46の信号処理チップ332では、欠損フレームあり縮小画像データを第1の画像データとして、時間解像度創造処理用のタップ係数を用いたクラス分類適応処理を行うことにより、欠損フレームのない縮小画像データを、第2の画像データとして得る時間解像度創造処理が行われることがある。 However, the signal processing chip 332 of FIG. 46, a lost frame has reduced image data as the first image data, by performing classification adaptive processing using tap coefficients for temporal resolution creation processing, reduction without lost frame image data, the second time resolution creation processing obtained by the image data is to be performed.

時間解像度創造処理では、4つのチャンネルCH1乃至CH4それぞれについて、フレーム周期T 1の各フレームの縮小画像データが予測(生成)されるが、その予測には、ある1フレームの非欠損フレームの画素だけを用いるよりも、複数フレームの非欠損フレーム、即ち、例えば、注目画素(予測によって生成する画素)のフレームにより近い2つの非欠損フレーム、つまり、注目画素のフレームの直前の非欠損フレーム(但し、注目画素のフレームが非欠損フレームである場合は、その非欠損フレーム)と、直後の非欠損フレームの画素を用いるのが望ましい。 The time resolution creation processing, for the four channels CH1 to CH4 respectively, but reduced image data of each frame of the frame period T 1 is expected (generated), the the prediction, only the pixels of the non-defective frame of a certain frame Rather than using a non-defective frames of a plurality of frames, i.e., for example, two non-defective frame closer to the frame of the pixel of interest (pixel to be generated by the prediction), i.e., non-defective frame immediately preceding the frame of the pixel of interest (where If the frame of the pixel of interest is a non-defective frame, and its non-missing frame), to use a pixel of a non-defective frame immediately after desired. さらに、時間解消度創造処理における注目画素の予測には、画像(被写体)の動きを考慮するのが望ましい。 Furthermore, the prediction of the pixel of interest in the time resolving degree creation processing, to consider the motion of the image (object) is desired.

そこで、タップ決定部378は、例えば、注目画素のフレームの直前の非欠損フレーム(以下、適宜、直前非欠損フレームという)の縮小画像データを構成する画素のうちの、注目画素に対応する画素の動きベクトルに基づき、直前非欠損フレームの縮小画像データを構成する画素と、注目画素のフレームの直後の非欠損フレーム(以下、適宜、直後非欠損フレームという)の縮小画像データを構成する画素とから、注目画素についての予測タップとなる画素を決定する。 Therefore, the tap determination unit 378, for example, non-defective frame immediately preceding the frame of the pixel of interest (hereinafter referred to as immediately preceding that non-lost frame) among the pixels constituting the reduced image data of the pixel corresponding to the pixel of interest based on the motion vector, from the pixels constituting the reduced image data of the immediately preceding non-defective frame, the non-defective frame immediately after the frame of the pixel of interest (hereinafter referred to as just referred to as a non-defective frame) and the pixels constituting the reduced image data of , to determine the pixel to be predicted tap for the pixel of interest.

即ち、タップ決定部378は、直前非欠損フレーム、注目画素のフレーム、直後非欠損フレームを時系列に並べ、注目画素に対応する直前非欠損フレームの画素の動きベクトルを、注目画素を通るように補正した場合に、その補正後の動きベクトルの始点を中心とする直前非欠損フレームの幾つかの画素と、補正後の動きベクトルの終点を中心とする直後非欠損フレームの幾つかの画素とを、注目画素についての予測タップとなる画素として決定する。 That is, the tap determination unit 378, immediately preceding non-defective frame, the frame of the pixel of interest, arranged in time series nonmissing frame immediately after, the motion vector of a pixel of the immediately preceding non-defective frame corresponding to the pixel of interest, so as to pass through the pixel of interest when corrected, the number of pixels of the immediately preceding non-defective frame around the start point of the motion vector after the correction, and some pixels of the non-defective frame immediately around the end point of the motion vector after correction It is determined as a pixel to be a prediction tap for the pixel of interest.

ここで、信号処理チップ332において時間解像度創造処理が行われるときに信号処理チップ334から供給される動きベクトルは、直前非欠損フレームや直後非欠損フレームの縮小画像データの各画素の動きベクトルではなく、その縮小画像データに縮小される前の画像データ(以下、適宜、縮小前画像データという)の動きベクトル(の大きさを1/2にしたもの)である。 Here, the motion vector supplied from the signal processing chip 334 when the time resolution creation processing in the signal processing chip 332 is performed, rather than the motion vector of each pixel of the reduced image data of the immediately preceding non-defective frame or immediately after the non-defective frame , the reduced image image data before the data is reduced (hereinafter, appropriately, the reduction of pre-image data) is a motion vector of (a magnitude obtained by 1/2). このため、タップ決定部378は、縮小画像データの画素に対応する縮小前画像データの画素の動きベクトルを、その縮小画像データの画素(縮小画像データの画素の画枠における位置と同一の位置関係の、縮小前画像データの画枠の位置にある画素)の動きベクトルとして用いる。 Therefore, the tap determination unit 378 reduces the motion vector of the pixels of the reduced image before data corresponding to the pixels of the image data, the reduced image data of the pixel (reduced image data of the positions the same positional relationship with the image frame of pixel of, it used as a motion vector of a pixel) at the position of the image frame of the previous image data reduction.

タップ決定部378は、注目画素についての予測タップとなる画素を決定した後、その画素を表す情報(以下、適宜、予測タップ情報という)を、タップ選択部372に供給する。 Tap determination unit 378, after determining the pixel as a prediction tap for the pixel of interest, information representing the pixel (hereinafter referred to as the prediction tap information), and supplies the tap selecting section 372. そして、タップ選択部372は、タップ決定部378からの予測タップ情報にしたがって、メモリ370に記憶された画像データから予測タップとなる画素を選択する。 The tap selection unit 372, according to the prediction tap information from the tap determination unit 378 selects a pixel to be predicted tap from the image data stored in the memory 370.

タップ決定部379も、タップ決定部378と同様にして、注目画素についてのクラスタップとなる画素を決定し、その画素を表す情報(以下、適宜、クラスタップ情報という)を、タップ選択部373に供給する。 Tap determination unit 379 also, similarly to the tap determination unit 378 determines a pixel as a class tap for the pixel of interest, information representing the pixel (hereinafter referred to as class tap information), the tap selection unit 373 supplies. そして、タップ選択部373は、タップ決定部379からのクラスタップ情報にしたがって、メモリ370に記憶された画像データからクラスタップとなる画素を選択する。 The tap selection unit 373, according to the class tap information from the tap determination unit 379 selects the pixels from the image data stored in the memory 370 becomes class tap.

ここで、図46の信号処理チップ332では、上述したことから、信号処理チップ331から供給される画像データの2フレームから、タップが選択される。 Here, in the signal processing chip 332 of FIG. 46, from the above description, the two frames of the image data supplied from the signal processing chip 331, the tap is selected. このため、図46の信号処理チップ332には、信号処理チップ331から供給される画像データのフレームを一時記憶しておくメモリ370が設けられている。 Therefore, the signal processing chip 332 in FIG. 46, the memory 370 is provided to keep temporarily storing a frame of image data supplied from the signal processing chip 331.

さらに、図46の信号処理チップ332では、時間解像度創造処理が、4つのチャンネルCH1乃至CH4それぞれについて行われる。 Further, the signal processing chip 332 of FIG. 46, time resolution creation processing is performed for the four channels CH1 to CH4 respectively. この場合、チャンネルCH1乃至CH4のうちのいずれか1つのチャンネルについて時間解像度創造処理が行われている間、他の3つのチャンネルの画像データを保持しておく必要がある。 In this case, while the time resolution creation processing for any one channel of the channels CH1 to CH4 is being performed, it is necessary to hold the image data of the other three channels. メモリ370が設けられているのは、この画像データの保持のためでもある。 The memory 370 is provided, but also because of the holding of the image data.

なお、図46の信号処理チップ332では、時間解像度創造処理の他、上述したように、ノイズ除去処理も行われる。 In the signal processing chip 332 of FIG. 46, other time resolution creation processing, as described above, the noise removal process is also performed. ノイズ除去処理が行われる場合も、タップ決定部378および379は、時間解像度創造処理が行われる場合と同様に、タップとなる画素を決定する。 Even if noise removal process is performed, the tap determination unit 378 and 379, as if the time resolution creation processing is performed to determine the pixel to be tapped.

但し、ノイズ除去処理は、チャンネルCH1の欠損フレームがない高解像度画像データを対象として行われるため、上述の直前非欠損フレームは、注目画素のフレームとなり、直後非欠損フレームは、注目画素のフレームの次のフレームとなる。 However, the noise removal process, to be done with high resolution image data is not lost frame of channel CH1 as the target, just before the non-defective frame described above, becomes a frame of the pixel of interest, nondefective frame immediately following the pixel of interest of the frame the next frame.

次に、図47のフローチャートを参照して、図46の信号処理チップ332の処理について説明する。 Next, with reference to the flowchart of FIG. 47 describes the processing of the signal processing chip 332 of FIG. 46.

図35のコマンド列生成部330からコマンド列が送信されてくると、ステップS331において、受信部377は、そのコマンド列を受信する。 When the command sequence is transmitted from the command sequence generator 330 of FIG. 35, in step S331, the receiving unit 377 receives the command sequence. さらに、受信部377は、そのコマンド列の中から、信号処理チップ332が実行可能な信号処理のコマンドを認識し、そのコマンドを選択部382に供給して、ステップS332に進む。 Furthermore, the receiving unit 377, from among the command sequence, recognizes the command of the signal processing chip 332 is executable signal processing, and supplies the command to the selection unit 382, ​​the process proceeds to step S332.

ステップS332では、選択部382は、受信部377からのコマンドに応じて、信号処理チップ332の内部構造を切り換える。 In step S332, the selection unit 382, ​​in response to a command from the receiving section 377 switches the internal structure of the signal processing chip 332.

即ち、選択部382は、受信部377からのコマンドに応じて、係数メモリ381 1または381 2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部376(図46)の入力端に接続することで、信号処理チップ332の内部構造を切り換える。 That is, the selector 382, in response to a command from the receiving unit 377, selects one of the output terminals of the coefficient memory 381 1 or 381 2, and the selected output, the prediction computation unit 376 (FIG. 46 ) by connecting to the input terminal, switching the internal structure of the signal processing chip 332.

その後、ステップS333に進み、以下、ステップS333乃至S338において、図2のステップS11乃至S16における場合とそれぞれ同様の処理が行われる。 Thereafter, the process proceeds to step S333, hereinafter, in step S333 through S338, the same processes as in steps S11 to S16 in FIG. 2 are performed.

即ち、信号処理チップ331から信号処理チップ332に入力されるチャンネルCH1の欠損フレームがない高解像度画像データ、またはCH1乃至CH4の欠損フレームあり縮小画像データは、クラス分類適応処理の第1の画像データとして、メモリ370に順次供給されて記憶される。 That is, the lost frame has reduced image data of the high resolution image data or CH1 through CH4, there is no lost frame channel CH1 input from the signal processing chip 331 to the signal processing chip 332, the first image data of the classification adaptive processing as it is sequentially supplied and stored in the memory 370.

そして、ステップS333において、注目画素選択部371は、クラス分類適応処理の第2の画像データを構成する画素のうち、まだ、注目画素とされていないものの1つを、注目画素として選択し、ステップS334に進む。 Then, in step S333, the target pixel selecting section 371, among the pixels constituting the second image data for classification adaptive processing, yet, one but not the target pixel is selected as the pixel of interest, step the process proceeds to S334.

ステップS334において、タップ決定部378または379が、信号処理チップ334(図35)から供給される動きベクトルに基づいて、予測タップまたはクラスタップとする第1の画像データの画素を決定し、その画素を表す予測タップ情報またはクラスタップ情報を、タップ選択部372または373に、それぞれ供給する。 In step S334, the tap determination section 378 or 379, based on the motion vector supplied from the signal processing chip 334 (FIG. 35), to determine the pixels of the first image data and the prediction tap or class tap, the pixel the prediction tap information or the class tap information representative of, the tap selection unit 372 or 373, respectively supply.

さらに、ステップS334では、タップ選択部372と373が、タップ決定部378と379から供給される予測タップ情報とクラスタップ情報にしたがい、メモリ370に記憶された第1の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。 Further, in step S334, the tap selecting section 372 and 373, in accordance with the prediction tap information and the class tap information supplied from the tap determining unit 378 and 379, from the first image data stored in the memory 370, for the pixel of interest what the prediction tap and the class tap, respectively selected. そして、予測タップは、タップ選択部372から予測演算部376に供給され、クラスタップは、タップ選択部373からクラス分類部374に供給される。 The prediction tap is supplied to the prediction computation unit 376 from the tap selector 372, the class taps are supplied from the tap selecting section 373 to the classification unit 374.

クラス分類部374は、タップ選択部373から、注目画素についてのクラスタップを受信し、ステップS335において、そのクラスタップに基づき、注目画素をクラス分類する。 The classification unit 374, the tap selection unit 373 receives the class tap for the pixel of interest, in step S335, based on the class tap, the pixel of interest classification. さらに、クラス分類部374は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部375に出力し、ステップS336に進む。 Further, the class classification portion 374, a class of the pixel of interest obtained as a result of the classification, and outputs the coefficient output unit 375, the process proceeds to step S336.

ステップS336では、係数出力部375が、クラス分類部374から供給されるクラスのタップ係数を出力する。 In step S336, the coefficient output unit 375 outputs the tap coefficients of the class supplied from the classification unit 374. 即ち、係数出力部375は、係数メモリ381 1または381 2のうちの、選択部382が出力端を選択しているものから、クラス分類部374から供給されるクラスのタップ係数を読み出し、予測演算部376に出力する。 That is, the coefficient output unit 375, of the coefficient memory 381 1 or 381 2, from which the selection unit 382 selects the output terminal, reads out the tap coefficients of the class supplied from the classification unit 374, the prediction calculation and outputs it to the section 376. そして、ステップS336では、予測演算部376が、係数出力部375が出力するタップ係数を取得し、ステップS337に進む。 In step S336, the prediction computation unit 376 acquires the tap coefficients output from the coefficient output unit 375, the process proceeds to step S337.

ステップS337では、予測演算部376が、タップ選択部372が出力する予測タップと、係数出力部375から取得したタップ係数とを用いて、式(1)の予測演算を行う。 In step S337, the prediction computation unit 376, using the prediction taps from the tap selecting section 372 outputs, and the tap coefficient acquired from the coefficient output unit 375 performs prediction computation of the formula (1). これにより、予測演算部376は、注目画素の画素値を求めて出力し、ステップS338に進む。 Thus, the prediction computation unit 376, and determines and outputs the pixel value of the pixel of interest and proceeds to step S338.

ステップS338では、注目画素選択部371が、まだ、注目画素としていない第2の画像データがあるかどうかを判定する。 In step S338, the target pixel selecting section 371, still, determines whether there is a second image data that is not the pixel of interest. ステップS338において、まだ、注目画素としていない第2の画像データがあると判定された場合、ステップS333に戻り、以下、同様の処理が繰り返される。 In step S338, still, if it is determined that there is a second image data that is not the target pixel, the process returns to step S333, and similar processing is repeated.

また、ステップS338において、まだ、注目画素とされていない第2の画像データがないと判定された場合、処理を終了する。 Further, in step S338, still, if it is determined that there is no second image data which is not the pixel of interest, the process ends.

なお、受信部377は、コマンド列生成部330から、図36上に示す通常画面モードコマンド列を受信した場合、その中のノイズ除去コマンドを、選択部382に供給する。 The receiving unit 377 supplies the command sequence generator 330, when receiving the normal screen mode command sequence shown on Figure 36, the noise removing command therein, the selector 382. この場合、選択部382は、係数メモリ381 1の出力端を選択するから、その係数メモリ381 1に記憶されているノイズ除去処理用のタップ係数が、予測演算部376に供給される。 In this case, selection unit 382, to choose from the output terminal of the coefficient memory 381 1, the tap coefficients for noise removal processing which is stored in the coefficient memory 381 1 is supplied to the prediction computation unit 376.

また、コマンド列生成部330が、図36上に示す通常画面モードコマンド列を送信する場合というのは、動作モードが通常画面モードである場合であり、この場合、チューナ部311(図32)は、所定のチャンネルとしての、例えば、チャンネルCH1を選局する。 Further, the command string generating section 330, because the case of transmitting the normal screen mode command sequence shown on FIG. 36 is a case where the operation mode is the normal screen mode, in this case, the tuner unit 311 (FIG. 32) , as the predetermined channel, for example, selects a channel CH1. そして、信号処理チップ331(図35)において、そのチャンネルCH1の画像データが、高解像度画像データに変換され、これにより、信号処理チップ332には、チャンネルCH1の高解像度画像データが供給される。 Then, the signal processing chip 331 (FIG. 35), the image data of the channel CH1 is converted into high-resolution image data, thereby, the signal processing chip 332, the high resolution image data of the channel CH1 is supplied.

従って、この場合、信号処理チップ332は、そこに供給されるチャンネルCH1の高解像度画像データを、第1の画像データとして、ノイズ除去処理を実行し、そのノイズ除去処理によってS/Nが向上したチャンネルCH1の高解像度画像データを、第2の画像データとして、後段のメモリ部333(図35)に出力する。 Therefore, in this case, the signal processing chip 332, the high resolution image data of the channel CH1 to be supplied thereto, as the first image data, performs the noise removal process, and improved S / N by the noise removal process the high resolution image data of the channel CH1, as the second image data, and outputs to the subsequent memory unit 333 (FIG. 35).

一方、受信部377は、コマンド列生成部330から、図36下に示すマルチ画面モードコマンド列を受信した場合、その中の時間解像度創造コマンドを、選択部382に供給する。 Meanwhile, the receiving unit 377 supplies the command sequence generator 330, when receiving a multi-screen mode command sequence shown below FIG. 36, the time resolution creation command therein, the selector 382. この場合、選択部382は、係数メモリ381 2の出力端を選択するから、その係数メモリ381 2に記憶されている時間解像度創造処理用のタップ係数が、予測演算部376に供給される。 In this case, selection unit 382, to choose from the output terminal of the coefficient memory 381 2, the tap coefficients for the temporal resolution creation processing, which is stored in the coefficient memory 381 2 are supplied to the prediction computation unit 376.

また、コマンド列生成部330が、図36下に示すマルチ画面モードコマンド列を送信する場合というのは、動作モードがマルチ画面モードである場合であり、この場合、チューナ部311(図32)は、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局する。 Further, the command string generating section 330, because the case of transmitting the multi-screen mode command sequence shown below FIG. 36 is a case where the operation mode is the multi-screen mode, in this case, the tuner unit 311 (FIG. 32) , as a plurality of channels, for example, to select a channel in a time division channels CH1 to CH4. そして、信号処理チップ331(図35)において、そのチャンネルCH1乃至CH4の欠損フレームあり画像データが、欠損フレームあり縮小画像データに変換され、これにより、信号処理チップ332には、チャンネルCH1乃至CH4の欠損フレームあり縮小画像データが供給される。 Then, the signal processing chip 331 (FIG. 35), the image data has lost frame of that channel CH1 through CH4 is converted into defect FRAMES reduced image data, thereby, the signal processing chip 332, the channels CH1 to CH4 deficient fRAMES reduced image data is supplied.

従って、この場合、信号処理チップ332は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像データを、第1の画像データとして、時間解像度創造処理を実行し、その時間解像度創造処理によって欠損フレームがないチャンネルCH1乃至CH4の縮小画像データを、第2の画像データとして得て、後段のメモリ部333(図35)に出力する。 Therefore, in this case, the signal processing chip 332, the lost frame has reduced image data of the channels CH1 to CH4 supplied thereto as the first image data, performs a time resolution creation processing, by the time resolution creation processing the reduced image data of the channels CH1 to CH4 are not lost frame, obtain a second image data, and outputs to the subsequent memory unit 333 (FIG. 35).

以上のように、図35の信号処理チップ331,332,334それぞれでは、コマンド列のうちの、少なくとも1つのコマンドに応じて、内部構造を切り換え、そこに入力される画像データを信号処理して、その信号処理結果としての画像データを出力するので、単一のハードウェアで、複数の機能を、容易に実現することができる。 As described above, in the signal processing chip 331,332,334 respectively of FIG. 35, of the command sequence, according to at least one command, it switches the internal structure, the image data inputted thereto signal processing to since outputs the image data as the signal processing result, a single hardware, a plurality of functions can be easily realized.

さらに、信号処理チップ332では、信号処理チップ331の信号処理結果を信号処理するので、信号処理部314(図35)全体としては、より多くの機能を、容易に実現することができる。 Further, the signal processing chip 332, since the signal processing a signal processing result of the signal processing chip 331, the overall signal processing unit 314 (FIG. 35) is, the more functions can be easily realized.

なお、信号処理部314は、信号処理チップ331や332と同様の信号処理チップを任意の個数だけ設けて構成することができる。 The signal processing unit 314 may be configured similar signal processing chip and the signal processing chip 331 and 332 provided by any number.

また、上述の場合には、信号処理チップ331(図44)の係数出力部355に、タップ係数を記憶させておくようにしたが、タップ係数に代えて、係数種データを記憶させておき、その係数種データからタップ係数を生成するようにすることが可能である。 Further, in the above case, the coefficient output unit 355 of the signal processing chip 331 (FIG. 44) has been so allowed to store the tap coefficients, instead of the tap coefficients, may be stored coefficient seed data, it is possible to generate a tap coefficient from the coefficient seed data. 信号処理チップ332についても、同様である。 The signal processing chip 332 is also the same.

次に、本発明の第3実施の形態について説明する。 Next, a description will be given of a third embodiment of the present invention.

図48は、本発明の第3実施の形態としてのテレビジョン受像機の構成例を示している。 Figure 48 shows a third configuration example of a television receiver as an embodiment of the present invention.

チューナ601には、図示せぬアンテナが受信したディジタル放送の放送信号(伝送信号)が供給される。 The tuner 601, broadcast signal of digital broadcasting antenna not shown is received (transmitted signal) is supplied. このディジタル放送の放送信号は、MPEG(Moving Picture Experts Group)-2等により規定されるディジタルデータであり、複数のTS(Transport Stream:トランスポートストリーム)パケットで構成されるトランスポートストリームとして送信されてくる。 Broadcast signal of the digital broadcasting is a digital data defined by MPEG (Moving Picture Experts Group) -2 or the like, a plurality of TS: is transmitted as a transport stream composed of (Transport Stream Transport Stream) packets come. チューナ601は、コントローラ613の制御に基づいて、アンテナから供給される複数のチャンネルの放送信号の中から、所定のチャンネル(周波数)の放送信号を選択(選局)し、その選択したチャンネルの放送信号を復調部602に供給する。 The tuner 601 under the control of the controller 613, from among the broadcast signals of a plurality of channels supplied from the antenna, selecting a broadcast signal of a predetermined channel (frequency) to (channel selection), the broadcast of the selected channel supplying a signal to the demodulator 602.

復調部602は、コントローラ613の制御に基づいて、チューナ601から供給される所定のチャンネルの放送信号のトランスポートストリームを、例えば、QPSK(Quadrature Phase Shift Keying)復調等で復調し、それにより得られたトランスポートストリームをエラー訂正部603に供給する。 Demodulator 602, under the control of the controller 613, a transport stream of a broadcast signal of a predetermined channel supplied from the tuner 601, for example, demodulated by QPSK (Quadrature Phase Shift Keying) demodulation, thereby obtained and it supplies the error correcting unit 603 to transport streams.

エラー訂正部603では、コントローラ613の制御に基づいて、復調部602から供給されたトランスポートストリームについて、エラーが検出、訂正される。 The error correcting unit 603, based on the control of the controller 613, the transport stream supplied from the demodulator 602, error detection is corrected. そして、訂正処理後のトランスポートストリームが、デマルチプレクサ(DEM)604に供給される。 Then, the transport stream after correction processing is supplied to a demultiplexer (DEM) 604.

デマルチプレクサ604は、コントローラ613の制御に基づいて、エラー訂正部603から供給されるトランスポートストリームを、必要に応じて、デスクランブル処理する。 Demultiplexer 604, under the control of the controller 613, the transport stream supplied from the error correcting unit 603, if necessary, descrambled. また、デマルチプレクサ604は、コントローラ613の制御に基づいて、TSパケットのPID(Packet Identifier)を参照することにより、エラー訂正部603から供給されるトランスポートストリームから、所定の番組のTSパケットを抽出し、ビデオデータのTSパケットをビデオデコーダ605に、オーディオデータのTSパケットをオーディオデコーダ610に、それぞれ供給する。 Further, the demultiplexer 604, based on the control of the controller 613, extracted by referring to the PID of the TS packet (Packet Identifier), from the transport stream supplied from the error correcting unit 603, a TS packet of a predetermined program and a TS packet of video data to the video decoder 605, the TS packet of the audio data to the audio decoder 610, and supplies, respectively.

ビデオデコーダ605は、デマルチプレクサ604から供給されるビデオデータ(のTSパケット)をMPEG-2方式でデコードし、LSI606または合成部607に供給する。 The video decoder 605 decodes the video data supplied from the demultiplexer 604 (TS packets) in MPEG-2 scheme, and supplies the LSI606 or synthetic unit 607.

LSI606は、コントローラ613から供給されるコマンド列を受信し、そのコマンド列に応じて、第1実施の形態のR-IC212等と同様に、リコンフィギュラブルに内部構造を切り換える。 LSI606 receives the command string supplied from the controller 613, in response to the command sequence, similar to the R-IC 212 or the like of the first embodiment, it switches the internal structure reconfigurable. そして、LSI606は、ビデオデコーダ605が出力する画像データ(ビデオデータ)を信号処理し、その信号処理によって得られる画像データを、合成部607に供給(出力)する。 Then, LSI 606 is an image data (video data) the video decoder 605 and outputs the signal processing, the image data obtained by the signal processing, supplies (outputs) the combining unit 607.

合成部607は、LSI606から画像データが供給される場合は、その画像データを選択する。 Combining unit 607, the image data from the LSI606 may be supplied, selects the image data. 一方、LSI606から画像データが供給されない場合は、合成部607は、ビデオデコーダ605から供給される画像データを選択する。 On the other hand, if the image data from the LSI606 is not supplied, the combining unit 607 selects the image data supplied from the video decoder 605. また、合成部607は、ビデオデコーダ605またはLSI606から供給される画像データのうちの選択した方にOSD(On Screen Display)部608から供給される画像データを重畳して、LCD(Liquid Crystal Display)609に供給して、表示させる。 Further, the combining unit 607 superimposes the image data supplied from the OSD (On Screen Display) unit 608 towards the selected one of the image data supplied from the video decoder 605 or LSI606, LCD (Liquid Crystal Display) It is supplied to the 609, to be displayed.

なお、OSD部608から画像データが供給されない場合には、合成部607は、ビデオデコーダ605またはLSI606から供給された画像データのうちの選択した方をそのままLCD609に供給する。 In the case where the image data from the OSD unit 608 is not supplied, the synthesis unit 607 supplies the person selected from among the image data supplied from the video decoder 605 or LSI606 directly to LCD609.

ここで、OSD部608は、コントローラ613の制御に基づいて、例えば、現在選択されているチャンネルの番号や音量などの画像データを生成し、合成部607に供給する。 Here, OSD unit 608, based on the control of the controller 613, for example, generates image data, such as number and volume of the currently selected channel, and supplies to the synthesizing unit 607.

一方、オーディオデコーダ610は、デマルチプレクサ604から供給されるオーディオデータ(のTSパケット)をMPEG-2方式でデコードし、図示せぬ出力端子に供給し、また、スピーカ611に供給して出力させる。 On the other hand, the audio decoder 610 decodes the audio data supplied from the demultiplexer 604 (TS packets) in MPEG-2 system is supplied to an output terminal (not shown) also causes the output is supplied to the speaker 611.

なお、コントローラ613は、チューナ601、復調部602、エラー訂正部603、デマルチプレクサ604、ビデオデコーダ605、オーディオデコーダ610、OSD部608を制御する。 The controller 613, tuner 601, demodulator 602, error correction section 603, a demultiplexer 604, a video decoder 605, and controls the audio decoder 610, OSD unit 608. また、コントローラ613は、キー入力部614やリモコンI/F617から供給される、ユーザの操作に対応する操作信号に基づいて、各種の処理を実行する。 The controller 613 is supplied from the key input unit 614 or the remote controller I / F617, based on the operation signal corresponding to a user operation, it performs various processes.

例えば、コントローラ613は、リモコンI/F617から供給される、ユーザの操作に対応する操作信号に応じて、1以上のコマンドからなるコマンド列を生成し、LSI606に送信(供給)する。 For example, the controller 613 is supplied from the remote controller I / F617, in accordance with an operation signal corresponding to a user operation, it generates a command sequence of one or more commands, and transmits to the LSI 606 (supply).

キー入力部614は、例えば、スイッチボタンなどで構成され、ユーザが所望のチャンネルを選択する際の操作などを受け付け、そのユーザの操作に対応する操作信号をコントローラ613に供給する。 The key input unit 614 is, for example, is configured by a switch button, the operation accepting and when the user selects a desired channel, and supplies an operation signal corresponding to operation of the user to the controller 613. 表示部615は、コントローラ613から供給される制御信号に基づいて、例えば、チューナ601において選択されているチャンネルなどを表示する。 Display unit 615 based on the control signal supplied from the controller 613, for example, displays a channel selected in tuner 601.

リモコンI/F(InterFace)617は、受光部616から供給される、ユーザの操作に対応する操作信号をコントローラ613に供給する。 Remote control I / F (InterFace) 617 supplies supplied from the light receiving unit 616, an operation signal corresponding to a user operation to the controller 613. 受光部616は、リモコン(リモートコマンダ618から送信されるユーザの操作に対応する操作信号を受信(受光)し、リモコンI/F617に供給する。 Receiving unit 616 remote control (receives an operation signal corresponding to a user operation transmitted from a remote commander 618 (light receiving) to the remote I / F617.

次に、図49は、図48のリモコン618の構成例を示す平面図である。 Next, FIG. 49 is a plan view showing an example structure of the controller 618 in FIG. 48.

リモコン618には、ユーザインタフェース部621とLCDパネル622とが設けられている。 The remote controller 618 is provided with a user interface portion 621 and the LCD panel 622.

ユーザインタフェース部621としては、図48のテレビジョン受像機の電源をオン/オフするときに操作される電源ボタン612A、テレビジョン受像機への入力をテレビジョン放送や外部入力に切り換えるときに操作される入力ボタン621B、チャンネルを選択するときに操作されるチャンネルボタン621C、テレビジョン受像機(のLSI606)に対して所定の機能を要求するときに操作される機能ボタン621Dが設けられている。 The user interface unit 621, a power button 612A operated to turn on / off the power of the television receiver of FIG. 48, is operated to switch the input to the television receiver to the television broadcast or external input input button 621B, channel button 621C operated to select a channel, the function button 621D operated to request a predetermined function to the television receiver (LSI 606 of) provided that.

なお、図49では、機能ボタン621Dとして、機能A,B,C,Dの4つのボタンが設けられている。 In FIG. 49, as function button 621D, functions A, B, C, and four buttons D provided.

LCDパネル622は、所定の情報、例えば、直前に操作されたユーザインタフェース部621のボタンを表す情報などが表示される。 LCD panel 622, predetermined information such as information indicating the button of the user interface unit 621 which is operated just before is displayed.

次に、図50は、図49のリモコン618の電気的構成例を示している。 Next, FIG. 50 shows an example of the electrical configuration of the remote controller 618 in FIG. 49.

リモコン618は、ユーザインタフェース部621,LCDパネル622、制御部632、記憶部633、および送信部634が、バス631を介して相互に接続されて構成されている。 Remote control 618, the user interface unit 621, LCD panel 622, the control unit 632, storage unit 633 and transmission unit 634, is configured to be connected to each other via a bus 631.

制御部632は、例えば、CPUなどで構成され、記憶部633に記憶されているプログラムを実行することにより、リモコン618を構成する各ブロックを制御する。 Control unit 632, for example, is composed like by a CPU, a by executing a program stored in the storage unit 633, controls the blocks constituting the remote control 618. 記憶部633は、制御部632が実行するプログラムや必要なデータを記憶している。 Storage unit 633, the control unit 632 stores a program and required data to execute. また、記憶部633は、制御部632等が処理を行う上で必要なデータを記憶する。 The storage unit 633 stores data necessary in terms of such control unit 632 performs processing.

送信部634は、ユーザが、ユーザインタフェース部621を操作した場合に、その操作に対応する操作信号を、赤外線や電波で送信する。 Transmitting unit 634, when the user operates the user interface unit 621, an operation signal corresponding to the operation, transmits infrared or radio waves. 送信部634が送信する操作信号が、受光部616(図48)で受信される。 Operation signal transmitting unit 634 is transmitted, it is received by the light receiving unit 616 (FIG. 48).

次に、図51のフローチャートを参照して、図48のコントローラ613の処理について概説する。 Next, with reference to the flowchart of FIG. 51 outlines the processing of the controller 613 in FIG. 48.

コントローラ613は、ステップS601において、リモコン618のユーザインタフェース部621(図49)がユーザによって操作されたか否かを判定する。 The controller 613, at step S601, determines whether the user interface unit 621 of the remote controller 618 (FIG. 49) is operated by the user. ステップS601において、ユーザインタフェース部621が操作されていないと判定された場合、ステップS601に戻る。 In step S601, if the user interface unit 621 is determined not to be operated, the flow returns to step S601.

また、ステップS601において、ユーザインタフェース部621が操作されたと判定された場合、即ち、ユーザが、ユーザインタフェース部621を操作し、その操作に対応する操作信号が、受光部616およびリモコンI/F617を介して、コントローラ613に供給された場合、ステップS602に進み、コントローラ613は、その操作信号に基づき、電源ボタン621A(図49)が操作されたか否かを判定する。 Further, in step S601, if the user interface unit 621 is determined to have been operated, i.e., the user operates the user interface unit 621, an operation signal corresponding to the operation, the light receiving portion 616 and the remote controller I / F617 through it, when it is supplied to the controller 613, the flow proceeds to step S602, the controller 613 determines whether or not the basis of the operation signal, or the power button 621A (FIG. 49) has been operated.

ステップS602において、電源ボタン621Aが操作されたと判定された場合、即ち、ユーザが、電源ボタン621Aを操作し、その操作に対応する操作信号が、受光部616およびリモコンI/F617を介して、コントローラ613に供給された場合、ステップS603に進み、コントローラ613は、図48のテレビジョン受像機の電源をオンまたはオフとする電源処理を行い、ステップS601に戻る。 In step S602, if the power button 621A is determined to have been operated, i.e., the user operates the power button 621A, an operation signal corresponding to the operation, through the light receiving portion 616 and the remote controller I / F617, the controller when applied to 613, the process proceeds to step S603, the controller 613 performs a power processing for turning on or off the television receiver of FIG. 48, the flow returns to step S601.

また、ステップS602において、電源ボタン621Aが操作されていないと判定された場合、即ち、電源ボタン621A以外のボタンが操作された場合、ステップS604に進み、コントローラ613は、その操作されたボタンに対応する処理を行い、ステップS601に戻る。 Further, in step S602, if the power button 621A is determined not to be operated, i.e., when the button other than the power button 621A has been operated, the process proceeds to step S604, the controller 613, corresponding to the operated button It performs a process of, and the flow returns to step S601.

ここで、リモコン618(図49)の機能ボタン621Dが操作され、コントローラ613が、その機能ボタン621Dの操作に対応した操作信号を、受光部616およびリモコンI/F617を介して受信した場合、コントローラ613は、その操作信号(操作された機能ボタン621D)に応じて、コマンド列を生成し、LSI606に送信する。 Here, the function button 621D of the remote controller 618 (FIG. 49) is an operation, when the controller 613, an operation signal corresponding to the operation of the function button 621D, received via the receiving unit 616 and the remote controller I / F617, the controller 613, in response to the operation signal (the operated function button 621D), generates a command sequence, and transmits to the LSI 606.

図52は、コントローラ613が生成するコマンド列のフォーマットを示している。 Figure 52 shows the format of a command sequence controller 613 generates.

コマンド列は、例えば、ヘッダ、1以上のコマンド、EOC(End Of Command)コードが順次配置されて構成される。 Command string, for example, header, and one or more commands, EOC (End Of Command) code are sequentially arranged.

次に、図53のフローチャートを参照して、コントローラ613による図51のステップS604の処理についてさらに説明する。 Next, with reference to the flowchart of FIG. 53, further describes the processing of step S604 in FIG. 51 by the controller 613.

コントローラ613は、ステップS611において、機能ボタン621D(図49)のうちの機能Aのボタン(以下、適宜、Aボタンという)が操作されたかどうかを判定する。 The controller 613 determines in step S611, the button of the function A of the function button 621D (FIG. 49) (hereinafter referred to as A button) whether has been operated. ステップS611において、Aボタンが操作されたと判定された場合、ステップS612に進み、コントローラ613は、図52に示したコマンド列における1以上のコマンドとして、1次元空間解像度創造コマンドまたは2次元空間解像度創造コマンドを配置したコマンド列を生成し、LSI606に送信して、リターンする。 In step S611, if it is determined that the A button has been operated, the process proceeds to step S612, the controller 613, as one or more commands in the command sequence shown in FIG. 52, the one-dimensional spatial resolution creation command or the two-dimensional spatial resolution creation It generates a command string to place the command to send to the LSI 606, the process returns.

また、ステップS611において、Aボタンが操作されていないと判定された場合、ステップS613に進み、コントローラ613は、機能ボタン621D(図49)のうちの機能Bのボタン(以下、適宜、Bボタンという)が操作されたかどうかを判定する。 Further, in step S611, when it is determined that the A button has not been operated, the process proceeds to step S613, the controller 613, the button functions B of the function button 621D (FIG. 49) (hereinafter referred to as B button ) determines whether it has been operated.

ステップS613において、Bボタンが操作されたと判定された場合、ステップS614に進み、コントローラ613は、図52に示したコマンド列における1以上のコマンドとして、ノイズ除去コマンドを配置したコマンド列を生成し、LSI606に送信して、リターンする。 In step S613, if the B button is determined to have been operated, the process proceeds to step S614, the controller 613, as one or more commands in the command sequence shown in FIG. 52, generates a command sequence arranged noise removal command, and send it to LSI606, to return.

また、ステップS613において、Bボタンが操作されていないと判定された場合、ステップS615に進み、コントローラ613は、機能ボタン621D(図49)のうちの機能Cのボタン(以下、適宜、Cボタンという)が操作されたかどうかを判定する。 Further, in step S613, if the B button is judged not to be operated, the process proceeds to step S615, the controller 613, the button functions C of the function button 621D (FIG. 49) (hereinafter referred to as C button ) determines whether it has been operated.

ステップS615において、Cボタンが操作されたと判定された場合、ステップS616に進み、コントローラ613は、図52に示したコマンド列における1以上のコマンドとして、1次元空間解像度創造コマンドと、ノイズ除去コマンドとを配置したコマンド列を生成し、LSI606に送信して、リターンする。 In step S615, if it is determined that the C button has been operated, the process proceeds to step S616, the controller 613, as one or more commands in the command sequence shown in FIG. 52, the one-dimensional spatial resolution creation command, the noise removing command It generates a command string arranged, and transmitted to the LSI 606, the process returns.

また、ステップS615において、Cボタンが操作されていないと判定された場合、ステップS617に進み、コントローラ613は、機能ボタン621D(図49)のうちの機能Dのボタン(以下、適宜、Dボタンという)が操作されたかどうかを判定する。 Further, in step S615, if it is determined that the C button has not been operated, the process proceeds to step S617, the controller 613, the button functions D of the function button 621D (FIG. 49) (hereinafter referred to as D button ) determines whether it has been operated.

ステップS617において、Dボタンが操作されたと判定された場合、ステップS618に進み、コントローラ613は、図52に示したコマンド列における1以上のコマンドとして、2次元空間解像度創造コマンドと、ノイズ除去コマンドとを配置したコマンド列を生成し、LSI606に送信して、リターンする。 In step S617, if it is determined that the D-button has been operated, the process proceeds to step S618, the controller 613, as one or more commands in the command sequence shown in FIG. 52, a two-dimensional spatial resolution creation command, the noise removing command It generates a command string arranged, and transmitted to the LSI 606, the process returns.

また、ステップS617において、Dボタンが操作されていないと判定された場合、即ち、電源ボタン621Aおよび機能ボタン621D以外のボタンが操作された場合、ステップS619に進み、コントローラ613は、その操作されたボタンに対応する処理を行い、リターンする。 Further, in step S617, when it is determined that D button has not been operated, i.e., if the button other than the power button 621A and function button 621D has been operated, the process proceeds to step S619, the controller 613 was the operation It performs a process corresponding to the button, to return.

次に、図54は、コントローラ613が、機能ボタン621Dの操作に応じて生成し、LSI606に送信するコマンド列を示している。 Next, FIG. 54, the controller 613 generates in response to the operation of the function button 621D, shows a command string to be transmitted to the LSI 606.

Aボタンが操作された場合、コントローラ613は、図54左側の上から1番目または2番目に示すように、1つのコマンドである1次元空間解像度創造コマンドまたは2次元空間解像度創造コマンドを配置したコマンド列であるAボタンコマンド列641または642を生成し、LSI606に送信する。 If the A button is operated, the controller 613, as shown in the first or second from the top of the left side 54, the one-dimensional spatial resolution creation command or the two-dimensional spatial resolution creation command commands placed a single command generating the a button command sequence 641 or 642 is a column, to the LSI 606.

また、Bボタンが操作された場合、コントローラ613は、図54左側の上から3番目に示すように、1つのコマンドであるノイズ除去コマンドを配置したコマンド列であるBボタンコマンド列643を生成し、LSI606に送信する。 Also, if the B button is operated, the controller 613, as shown in the third from the top in the left Figure 54, generates a B-button command sequence 643 is a sequence of commands to place the noise removal command is a single command and transmits it to the LSI606.

さらに、Cボタンが操作された場合、コントローラ613は、図54右側の上から1番目に示すように、2つのコマンドである1次元空間解像度創造コマンドとノイズ除去コマンドとを配置したコマンド列であるCボタンコマンド列644を生成し、LSI606に送信する。 Further, if the C button is operated, the controller 613, as shown in the first from the top in FIG. 54 right, is the one-dimensional spatial resolution creation command and a command sequence arranged a noise removal command is a two commands to generate the C button command sequence 644, and sends it to the LSI606.

また、Dボタンが操作された場合、コントローラ613は、図54右側の上から2番目に示すように、2つのコマンドである2次元空間解像度創造コマンドとノイズ除去コマンドとを配置したコマンド列であるDボタンコマンド列645を生成し、LSI606に送信する。 Also, if the D button is operated, the controller 613, as shown in the second from the top in FIG. 54 right, is the two commands at a two-dimensional spatial resolution creation command and a command sequence arranged a noise removing command to generate the D button command sequence 645, and sends it to the LSI606.

次に、図55は、図48のLSI606の構成例を示している。 Next, FIG. 55 shows a configuration example of LSI606 in Figure 48.

受信部650は、コントローラ613(図48)から送信されてくるコマンド列を受信し、SW(スイッチ)回路654および655、並びに信号処理回路656に供給する。 Receiving unit 650, the controller 613 receives a command string transmitted from a (FIG. 48), SW (switch) circuit 654 and 655, and supplies it to the signal processing circuit 656.

フレームメモリ651は、ビデオデコーダ605(図48)から供給される画像データ(画像入力信号)を、例えば、1フレーム単位で記憶し、SW回路654の入力端子654Aに供給する。 Frame memory 651, the image data supplied from the video decoder 605 (FIG. 48) (image input signals), for example, stored in units of frames, and supplies the input terminal 654A of the SW circuit 654.

フレームメモリ652は、信号処理回路656からSW回路655の出力端子655Aを介して供給される画像データ(画像出力信号)を、例えば、1フレーム単位で記憶し、合成部607(図48)に供給する。 Frame memory 652, supplied from the signal processing circuit 656 image data (image output signal) supplied via the output terminal 655A of the SW circuit 655, for example, stored in units of frames, the combining unit 607 (FIG. 48) to.

フレームメモリ653は、SW回路655の出力端子655Bから供給される画像データを、例えば、1フレーム単位で記憶し、SW回路654の入力端子654Bに供給する。 Frame memory 653, the image data supplied from the output terminal 655B of the SW circuit 655, for example, stored in units of frames, and supplies the input terminal 654B of the SW circuit 654.

SW回路654は、2つの入力端子654Aおよび654Bを有しており、入力端子654Aには、フレームメモリ651に記憶された画像データが供給され、入力端子654Bには、フレームメモリ653に記憶された画像データが供給されるようになっている。 SW circuit 654 has two input terminals 654A and 654B, the input terminal 654A, the image data stored in the frame memory 651 are supplied to the input terminal 654B, stored in the frame memory 653 image data are supplied. SW回路654は、例えば、受信部650から供給されるコマンド列等に応じて、入力端子654Aまたは654Bのうちの一方を選択し、その選択した方の入力端子から供給される画像データを、信号処理回路656に供給する。 SW circuit 654, for example, in response to a command string or the like supplied from the receiving unit 650, selects one of the input terminals 654A or 654B, the image data supplied from the input terminal of the person who the selected signal supplied to the processing circuit 656.

SW回路655は、2つの出力端子655Aおよび655Bを有しており、出力端子655Aは、フレームメモリ652に、出力端子655Bは、フレームメモリ653に、それぞれ接続されている。 SW circuit 655 has two output terminals 655A and 655B, an output terminal 655A is the frame memory 652, the output terminal 655B is the frame memory 653 are connected. SW回路655には、信号処理回路656から、信号処理後の画像データが供給されるようになっており、SW回路655は、例えば、受信部650から供給されるコマンド列等に応じて、出力端子655Aまたは655Bのうちの一方を選択し、その選択した方の出力端子に、信号処理回路656からの画像データを出力する。 The SW circuit 655, the signal processing circuit 656, image data after signal processing has to be supplied, the SW circuit 655, for example, in response to a command string or the like supplied from the reception unit 650, the output selects one of the terminals 655A and 655B, the output terminal of the person who the selected, it outputs the image data from the signal processing circuit 656.

信号処理回路656は、受信部650からのコマンド列に応じて、その内部構造を、リコンフィギュラブルに切り換え、SW回路654から供給される画像データを信号処理し、その信号処理によって得られる画像データを、SW回路655に供給する。 The signal processing circuit 656, in response to the command sequence from the receiver 650, its internal structure, switching to the reconfigurable, the image data signal processing is supplied from the SW circuit 654, image data obtained by the signal processing and supplies to the SW circuit 655.

次に、図56のフローチャートを参照して、図55のLSI606の処理について説明する。 Next, with reference to the flowchart of FIG. 56 describes the processing of LSI606 in Figure 55.

コントローラ613(図48)からLSI606に対して、コマンド列が送信されてくると、受信部650は、ステップS631において、そのコマンド列を受信し、SW回路654および655、並びに信号処理回路656に供給して、ステップS632に進む。 Against LSI606 from the controller 613 (FIG. 48), the command sequence is transmitted, the receiving unit 650, supplied in step S631, receives the command sequence, SW circuits 654 and 655, and the signal processing circuit 656 then, the process proceeds to step S632.

ここで、受信部650が受信したコマンド列は、N個のコマンドで構成されるものとする。 Here, command sequence reception section 650 has received is assumed to be composed of N command. 但し、Nは、1以上の整数とする。 However, N is the is the integer of 1 or more.

ステップS632では、フレームメモリ651が、ビデオデコーダ605(図48)から供給される1フレーム(フィールド)の画像データを記憶し、ステップS633に進む。 In step S632, the frame memory 651 stores the image data of one frame supplied from the video decoder 605 (FIG. 48) (field), the process proceeds to step S633.

ステップS633では、SW回路654および655が、受信部650から供給されたコマンド列を構成するコマンドが1つであるか、または複数であるかを判定する。 In step S633, it determines whether the SW circuit 654 and 655, or the command to configure the command string supplied from the receiving section 650 is one or more a.

ステップS633において、コマンド列を構成するコマンドが1つであると判定された場合、ステップS634に進み、SW回路654が入力端子654Aを選択するとともに、SW回路655が出力端子655Aを選択し、ステップS635に進む。 In step S633, if the command to configure the command string is determined to be one, the process proceeds to step S634, with the SW circuit 654 selects the input terminal 654A, the SW circuit 655 selects the output terminals 655A, step the process proceeds to S635.

ステップS635では、信号処理回路656が、受信部650からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを選択する。 In step S635, the signal processing circuit 656, the command to configure the command sequence from the receiving unit 650, selects a command to a target command. ここで、いまの場合、コマンド列を構成するコマンドは1つであるので、その1つのコマンドが、注目コマンドとして選択される。 Here, in this case, since the command to configure the command sequence is one, the one command can be selected as the target command.

さらに、ステップS635では、信号処理回路656が、注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップS636に進む。 Further, in step S635, the signal processing circuit 656, in accordance with the target command, switches the internal structure, thereby, in a state capable of performing the signal processing corresponding to the target command, the flow advances to step S636 .

ステップS636では、信号処理回路656は、SW回路654が選択している入力端子654Aを介して、フレームメモリ651から1フレームの画像データを読み出し、その1フレームの画像データを対象に、注目コマンドに対応した信号処理を行う。 In step S636, the signal processing circuit 656 via the input terminal 654A to the SW circuit 654 is selected, reads the image data of one frame from the frame memory 651, the target image data of one frame, noting command perform the corresponding signal processing.

ここで、ステップS636では、信号処理回路656は、受信部650から供給されたコマンド列を構成するコマンドの数Nに等しいN倍速で、信号処理を行う。 Here, in step S636, the signal processing circuit 656, at equal N times speed to the number N of the commands constituting the command string supplied from the reception unit 650 performs signal processing. いまの場合、コマンド列は、1つのコマンドで構成されるので、信号処理回路656は、1倍速、即ち、フレームレート(またはフィールドレート)に対応する処理速度(フレーム周期に等しい時間内に、1フレームの画像データの信号処理を終了する処理速度)で、1フレームの画像データを信号処理する。 Case, since the command sequence is composed of one command, the signal processing circuit 656, one-fold speed, i.e., the frame rate (or field rate) corresponding to the processing speed (the equivalent to a frame period time 1 at a processing speed) to terminate the signal processing of the image data of the frame, to the signal processing of image data of one frame.

ステップS636において信号処理回路656が信号処理を行うことにより得られた画像データは、SW回路655に供給され、ステップS637に進む。 Image data obtained by the signal processing circuit 656 in step S636 performs signal processing is supplied to the SW circuit 655, the process proceeds to step S637.

ここで、SW回路655は、ステップS634で、出力端子655Aを選択しているので、信号処理回路656がSW回路655に供給した画像データは、出力端子655Aからフレームメモリ652に供給される。 Here, the SW circuit 655, at step S634, since the select output terminal 655A, the image data signal processing circuit 656 is supplied to the SW circuit 655 is supplied from the output terminal 655A to the frame memory 652.

ステップS637では、フレームメモリ652が、信号処理回路656から、SW回路655を介して供給される画像データを記憶し、その記憶した画像データを、合成回路607(図48)に出力して、ステップS650に進む。 In step S637, the frame memory 652, from the signal processing circuit 656, stores the image data supplied via the SW circuit 655, the image data thereof stored, and outputs to the synthesizing circuit 607 (FIG. 48), step the process proceeds to S650.

一方、ステップS633において、コマンド列を構成するコマンドが複数であると判定された場合、ステップS638に進み、SW回路654が入力端子654Aを選択するとともに、SW回路655が出力端子655Bを選択し、ステップS639に進む。 On the other hand, in step S633, if the command to configure the command sequence is determined to be more, the process proceeds to step S638, with the SW circuit 654 selects the input terminal 654A, the SW circuit 655 selects the output terminal 655B, the process proceeds to step S639.

ステップS639では、信号処理回路656が、受信部650からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを選択する。 In step S639, the signal processing circuit 656, the command to configure the command sequence from the receiving unit 650, selects a command to a target command. 即ち、信号処理回路656は、例えば、コマンド列を構成する複数のコマンドのうちの、まだ注目コマンドとしていない最も先頭寄りのコマンドを、注目コマンドとして選択する。 That is, the signal processing circuit 656, for example, of a plurality of commands that make up the command sequence, the foremost side of the command is not still focused command, it selects as the attention command.

さらに、ステップS639では、信号処理回路656が、注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップS640に進む。 Further, in step S639, the signal processing circuit 656, in accordance with the target command, switches the internal structure, thereby, in a state capable of performing the signal processing corresponding to the target command, the flow advances to step S640 .

ステップS640では、信号処理回路656は、SW回路654が選択している端子654Aを介して、フレームメモリ651から1フレームの画像データを読み出し、その1フレームの画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Nに等しいN倍速で行う。 In step S640, the signal processing circuit 656 through the terminals 654A to the SW circuit 654 is selected, reads the image data of one frame from the frame memory 651, the target image data of one frame, corresponding to the target command the signal processing is performed with N equal speed to the number N of the commands that constitute the command sequence.

ステップS640において、信号処理回路656が信号処理を行うことにより得られた画像データは、SW回路655に供給され、ステップS641に進む。 In step S640, image data obtained by the signal processing circuit 656 performs signal processing is supplied to the SW circuit 655, the process proceeds to step S641.

ここで、SW回路655は、ステップS638で、出力端子655Bを選択しているので、信号処理回路656がSW回路655に供給した画像データは、出力端子655Bからフレームメモリ653に供給される。 Here, the SW circuit 655, at step S638, since the select output terminal 655B, the image data signal processing circuit 656 is supplied to the SW circuit 655 is supplied from the output terminal 655B in the frame memory 653.

ステップS641では、フレームメモリ653が、信号処理回路656から、SW回路655を介して供給される画像データを記憶し、ステップS642に進む。 In step S641, the frame memory 653, from the signal processing circuit 656, stores the image data supplied via the SW circuit 655, the process proceeds to step S642.

ステップS642では、SW回路654が、入力端子654Aから654Bに選択を切り換えて、ステップS643に進む。 In step S642, SW circuit 654 switches the selection from the input terminal 654A to 654B, the flow proceeds to step S643.

ステップS643では、信号処理回路656が、ステップS639における場合と同様にして、受信部650からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを、新たに選択する。 In step S643, the signal processing circuit 656, similarly to the case in step S639, the command to configure the command sequence from the receiving unit 650, a command to a target command, selects newly.

さらに、ステップS643では、信号処理回路656が、新たな注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップS644に進む。 Further, in step S643, the signal processing circuit 656, in accordance with the new attention command switches the internal structure, thereby, in a state capable of performing the signal processing corresponding to the target command, step S644 proceed to.

ステップS644では、信号処理回路656が、注目コマンドが、コマンド列を構成する最後のコマンドであるかどうかを判定する。 In step S644, the signal processing circuit 656, attention command, determines whether it is the last command that constitutes the command sequence.

ステップS644において、注目コマンドが、コマンド列を構成する最後のコマンドでないと判定された場合、即ち、コマンド列の中に、まだ注目コマンドとしていないコマンドが存在する場合、ステップS645に進み、信号処理回路656は、SW回路654が選択している入力端子654Bを介して、フレームメモリ653から画像データを読み出し、即ち、信号処理回路656による前回の信号処理によって得られた画像データを読み出し、その画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Nに等しいN倍速で行う。 In step S644, attention command, if it is determined that it is not the last command that constitutes the command sequence, i.e., in a command sequence, if there is a command that has not been set as interest command, the process proceeds to step S645, the signal processing circuit 656, via the input terminal 654B of the SW circuit 654 is selected, reads the image data from the frame memory 653, i.e., reads out the image data obtained by the preceding signal processing by the signal processing circuit 656, the image data targeting, signal processing corresponding to the target command, performed at equal N times speed to the number N of the commands that constitute the command sequence.

ステップS645において、信号処理回路656が信号処理を行うことにより得られた画像データは、SW回路655に供給され、ステップS646に進む。 In step S645, image data obtained by the signal processing circuit 656 performs signal processing is supplied to the SW circuit 655, the process proceeds to step S646.

ここで、SW回路655は、ステップS638で、出力端子655Bを選択したままとなっているので、信号処理回路656がSW回路655に供給した画像データは、出力端子655Bからフレームメモリ653に供給される。 Here, the SW circuit 655, at step S638, since a still selected output terminal 655B, the image data signal processing circuit 656 is supplied to the SW circuit 655 is supplied from the output terminal 655B in the frame memory 653 that.

ステップS646では、フレームメモリ653が、信号処理回路656から、SW回路655を介して供給される画像データを記憶する(上書きする)。 In step S646, the frame memory 653, from the signal processing circuit 656, stores the image data supplied via the SW circuit 655 (overwriting). そして、ステップS643に戻り、以下、同様の処理が繰り返される。 Then, the process returns to step S643, and similar processing is repeated.

また、ステップS644において、注目コマンドが、コマンド列を構成する最後のコマンドであると判定された場合、ステップS647に進み、SW回路655が、出力端子655Bから655Aに選択を切り換えて、ステップS648に進む。 Further, in step S644, target command, if it is determined that the last command to configure the command sequence, the process proceeds to step S647, SW circuit 655 switches the selection from the output terminal 655B to 655A, the step S648 move on.

ステップS648では、信号処理回路656は、SW回路654が選択している端子654Bを介して、フレームメモリ653から画像データを読み出し、即ち、信号処理回路656による前回の信号処理によって得られた画像データを読み出し、その画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Nに等しいN倍速で行う。 In step S648, the signal processing circuit 656 through the terminal 654B of the SW circuit 654 is selected, reads the image data from the frame memory 653, i.e., image data obtained by the preceding signal processing by the signal processing circuit 656 reading, targeting the image data, a signal processing corresponding to the target command, performed at equal N times speed to the number N of the commands that constitute the command sequence.

ステップS648において、信号処理回路656が信号処理を行うことにより得られた画像データは、SW回路655に供給され、ステップS649に進む。 In step S648, image data obtained by the signal processing circuit 656 performs signal processing is supplied to the SW circuit 655, the process proceeds to step S649.

ここで、SW回路655は、ステップS647で、出力端子655Aを選択しているので、信号処理回路656がSW回路655に供給した画像データは、出力端子655Aからフレームメモリ652に供給される。 Here, the SW circuit 655, at step S647, since the select output terminal 655A, the image data signal processing circuit 656 is supplied to the SW circuit 655 is supplied from the output terminal 655A to the frame memory 652.

ステップS649では、フレームメモリ652が、信号処理回路656から、SW回路655を介して供給される画像データを記憶し、その記憶した画像データを、合成回路607(図48)に出力して、ステップS650に進む。 In step S649, the frame memory 652, from the signal processing circuit 656, stores the image data supplied via the SW circuit 655, the image data thereof stored, and outputs to the synthesizing circuit 607 (FIG. 48), step the process proceeds to S650.

ステップS650では、次のフレームの画像データがフレームメモリ651に供給されたかどうかが判定される。 In step S650, the image data of the next frame whether it has been supplied to the frame memory 651 is determined. ステップS650において、次のフレームの画像データがフレームメモリ651に供給されたと判定された場合、ステップS632に戻り、フレームメモリ651が、その画像データを記憶して、以下、同様の処理が繰り返される。 In step S650, if the image data of the next frame is determined to have been supplied to the frame memory 651, the process returns to step S632, the frame memory 651, and stores the image data, the same process is repeated. なお、このとき、コマンド列を構成するコマンドは、すべて、まだ注目コマンドとされてないものとされる。 It should be noted that, at this time, the command to configure the command sequence, all of which are the ones that have not been the interest yet command.

一方、ステップS650において、次のフレームの画像データがフレームメモリ651に供給されていないと判定された場合、処理を終了する。 On the other hand, in step S650, if the image data of the next frame is determined not to be supplied to the frame memory 651, the process ends.

以上のように、LSI606は、コマンド列が複数のコマンドから構成される場合、注目コマンドに応じて、内部構造を切り換え、その注目コマンドに対応した信号処理を、画像データを対象に実行し、その後、さらに、新たな注目コマンドに応じて、内部構造を切り換え、その新たな注目コマンドに対応した信号処理を、前回の信号処理によって得られた画像データを対象に実行する。 As described above, LSI 606, if the command sequence is composed of a plurality of commands, according to the target command, switches the internal structure, the signal processing corresponding to the target command, executed target image data, then further, in accordance with the new attention command switches the internal structure, to execute the new attention command to the signal processing corresponding to the target image data obtained by the preceding signal processing. 従って、単一のハードウェアで、複数の機能を、容易に実現することができる。 Thus, a single hardware, a plurality of functions can be easily realized.

次に、図57は、図55の信号処理回路656の構成例を示している。 Next, FIG. 57 shows a configuration example of the signal processing circuit 656 in FIG. 55.

走査線変換回路521Aには、SW回路654(図55)から画像データが供給される。 The scanning line conversion circuit 521A, the image data is supplied from the SW circuit 654 (FIG. 55). 走査線変換回路521Bは、そこに供給される画像データの走査方向を変換し、切換回路662に供給する。 Scanning line conversion circuit 521B converts the scanning direction of the image data supplied thereto, and supplies the switching circuit 662.

走査線変換回路521Bには、切換回路664から、信号処理回路661による信号処理後の画像データが供給される。 The scanning line conversion circuit 521B, the switching circuit 664, the image data after signal processing by the signal processing circuit 661 is supplied. 走査線変換回路521Bは、そこに供給される画像データの走査方向を変換し、切換回路663に供給する。 Scanning line conversion circuit 521B converts the scanning direction of the image data supplied thereto, and supplies the switching circuit 663.

フレームメモリ523には、SW回路654(図55)から画像データが供給される。 The frame memory 523, the image data is supplied from the SW circuit 654 (FIG. 55). フレームメモリ523は、そこに供給される画像データを記憶することにより、1フレーム分の時間だけ遅延して、信号処理回路661の端子io2'に供給する。 Frame memory 523, by storing the image data supplied thereto, delayed by one frame time, supplied to the terminal io2 'signal processing circuit 661.

信号処理回路661は、端子io1,io2,io2',io3,io4,io5を有している。 The signal processing circuit 661, terminal io1, io2, io2 ', has a io3, io4, IO5. 端子io1には、切換回路662から画像データが供給され、端子io2には、切換回路663から画像データが供給される。 The terminal io1, is supplied image data from the switching circuit 662, the terminal io2, the image data is supplied from the switching circuit 663. 端子io2'には、フレームメモリ523から画像データが供給される。 The terminal io2 ', the image data are supplied from the frame memory 523. 端子io3またはio4からは、信号処理回路661で信号処理が行われることにより得られた画像データが出力され、この画像データは、切換回路664または665にそれぞれ供給される。 From the terminal io3 or io4, signal processing by the signal processing circuit 661 is the output image data obtained by performed, the image data is supplied to the switch circuit 664 or 665. 端子io5には、受信部650(図55)からコマンド列が供給される。 The terminal IO5, the command string supplied from the receiving unit 650 (FIG. 55).

信号処理回路661は、端子io5に供給されるコマンド列に応じて、その内部構造を切り換え、端子io1,io2、またはio2'に供給される画像データを信号処理し、その結果得られる画像データを、端子io3またはio4から出力する。 The signal processing circuit 661, in response to a command string supplied to the terminal IO5, switches the internal structure thereof, the image data signal processing is supplied to the terminal io1, io2, or io2 ', the image data obtained as a result of and output from the terminal io3 or io4.

切換回路662には、受信部650(図55)からコマンド列が供給される。 The switching circuit 662, the command string supplied from the receiving unit 650 (FIG. 55). また、切換回路662には、SW回路654(図55)と走査線変換回路521Aから画像データが供給される。 Further, the switching circuit 662, the image data is supplied from the scanning line conversion circuit 521A and the SW circuit 654 (FIG. 55). 切換回路662は、受信部650からのコマンド列に応じて、SW回路654からの画像データ、または走査線変換回路521Aからの画像データを選択し、信号処理回路661の端子io1に供給する。 Switching circuit 662, in accordance with the command sequence from the receiving unit 650, selects the image data from the image data or the scanning line conversion circuit 521A, from the SW circuit 654, and supplies the terminal io1 of the signal processing circuit 661.

切換回路663には、受信部650(図55)からコマンド列が供給される。 The switching circuit 663, the command string supplied from the receiving unit 650 (FIG. 55). また、切換回路663には、SW回路654(図55)と走査線変換回路521Bから画像データが供給される。 Further, the switching circuit 663, the image data is supplied from the scanning line conversion circuit 521B and the SW circuit 654 (FIG. 55). 切換回路663は、受信部650からのコマンド列に応じて、SW回路654からの画像データ、または走査線変換回路521Bからの画像データを選択し、信号処理回路661の端子io2に供給する。 Switching circuit 663, in accordance with the command sequence from the receiving unit 650, selects the image data from the image data or the scanning line conversion circuit 521B, from the SW circuit 654, and supplies the terminal io2 of the signal processing circuit 661.

切換回路664には、受信部650(図55)からコマンド列が供給される。 The switching circuit 664, the command string supplied from the receiving unit 650 (FIG. 55). また、切換回路664には、信号処理回路661の端子io3から、画像データが供給される。 Further, the switching circuit 664, the terminal io3 of the signal processing circuit 661, image data is supplied. 切換回路664は、受信部650からのコマンド列に応じて、切換回路665または走査線変換回路521Bを選択し、選択した方の回路に、端子io3からの画像データを供給する。 Switching circuit 664, in accordance with the command sequence from the receiving unit 650, selects the switching circuit 665 or the scanning line conversion circuit 521B, the circuit of the person selected, and supplies the image data from the terminal io3.

切換回路665には、受信部650(図55)からコマンド列が供給される。 The switching circuit 665, the command string supplied from the receiving unit 650 (FIG. 55). また、切換回路665には、切換回路664と信号処理回路661の端子io4から画像データが供給される。 Further, the switching circuit 665, the image data is supplied from the terminal io4 of the switching circuit 664 and the signal processing circuit 661. 切換回路665は、受信部650からのコマンド列に応じて、切換回路664からの画像データ、または信号処理回路661の端子io4からの画像データを選択し、SW回路655(図55)に供給する。 Switching circuit 665 is supplied in response to the command sequence from the receiving unit 650, selects the image data from the image data or terminal io4 signal processing circuit 661, from the switching circuit 664, the SW circuit 655 (FIG. 55) .

図58は、図57の信号処理回路661の構成例を示している。 Figure 58 shows a configuration example of the signal processing circuit 661 in FIG. 57.

なお、信号処理回路661には、端子io1,io2,io2',io3,io4,io5が設けられている他、図示しないが、電源端子等も設けられている。 Note that the signal processing circuit 661, except that the terminal io1, io2, io2 ', io3, io4, io5 is provided, although not shown, also provided power supply terminal or the like.

図58において、信号処理回路661は、複数の回路群としての演算回路群411Aおよび411B、メモリ412Aおよび412B、積和演算回路群413Aおよび413B、アダー414Aおよび414B、乗算器415Aおよび415B、並びにレジスタ群416Aおよび416Bで構成されている。 In Figure 58, the signal processing circuit 661, the arithmetic circuit groups 411A and 411B as a plurality of circuit groups, a memory 412A and 412B, the product-sum operation circuit groups 413A and 413B, adders 414A and 414B, multipliers 415A and 415B, and registers It is composed of the group 416A and 416B.

そして、これらの回路群あるいは回路に対して、入力/出力あるいは相互間(回路群あるいは回路間の相互接続、および回路群の内部における回路間の相互接続の両者を意味する)の接続状態を切り換えるための切換回路が、信号処理回路661内に設けられている。 Then, for these circuits or circuit switches the connection states of the input / output or mutual (refers to both interconnections between circuits inside the interconnect, and the circuit group between circuits or circuit) switching circuit for is provided in the signal processing circuit 661.

換言すると、信号処理回路661内のディジタル信号の流れと、各回路群の機能とが制御信号により制御可能となっている。 In other words, the flow of digital signals in the signal processing circuit 661, the function of each circuit group is made controllable by a control signal. すなわち、演算回路群411Aまたは411Bと関連して切換回路421Aまたは421Bがそれぞれ設けられている。 In other words, the switching in conjunction with the arithmetic circuit group 411A or 411B circuit 421A or 421B, respectively. また、メモリ412Aまたは412Bと関連して切換回路422Aまたは422Bがそれぞれ設けられている。 Also, in conjunction with the memory 412A or 412B is switching circuit 422A or 422B are provided. さらに、積和演算回路群413Aまたは413Bと関連して切換回路423Aまたは423Bがそれぞれ設けられている。 Further, the switching circuit 423A or 423B in conjunction with the product-sum operation circuit group 413A or 413B, respectively. また、アダー414Aおよび414B、乗算器415Aおよび415B、並びにレジスタ群416Aおよび416Bと関連して切換回路424が設けられている。 Furthermore, adders 414A and 414B, multipliers 415A and 415B as well as the switching circuit 424 in conjunction with the register group 416A and 416B, are provided.

切換回路421A,421B,422A,422B,423A,423Bおよび424に対しては、端子io5からコマンド列comが供給される。 Switching circuit 421A, 421B, 422A, is 422B, 423A, relative to 423B and 424, the command sequence com is supplied from the terminal IO5. 切換回路421A,421B,422A,422B,423A,423Bおよび424は、コマンド列comに応じて、演算回路群411Aおよび411B、メモリ412Aおよび412B、積和演算回路群413Aおよび413B、アダー414Aおよび414B、乗算器415Aおよび415B、並びにレジスタ群416Aおよび416Bどうしの接続状態を切り換え、これにより、信号処理回路661の内部構造を切り換える。 Switching circuit 421A, 421B, 422A, 422B, 423A, 423B and 424, depending on the command sequence com, arithmetic circuits 411A and 411B, a memory 412A and 412B, the product-sum operation circuit groups 413A and 413B, adders 414A and 414B, multipliers 415A and 415B, and switches the connection state of to what registers 416A and 416B, thereby, switches the internal structure of the signal processing circuit 661.

図59は、図57の信号処理回路661の他の構成例を示している。 Figure 59 shows another configuration example of the signal processing circuit 661 in FIG. 57.

端子io1からの画像データが、クラス分類回路511A、遅延選択回路512Aおよびライン遅延回路517に供給される。 Image data from the terminal io1 is, the classification circuit 511A, is supplied to the delay selection circuit 512A and the line delay circuit 517.

クラス分類回路511Aは、図1のタップ選択部13およびクラス分類部14に対応する。 Classification circuit 511A corresponds to the tap selector 13 and the classification unit 14 of FIG. 1. クラス分類回路511Aは、端子io1からの画像データ、またはライン遅延回路517からの画像データから、幾つかの画素(の画素値)を選択し、その画素をクラスタップとして、クラス分類を行い、その結果得られるクラスコードを、切換回路513Aに供給する。 Classification circuit 511A from the image data from the image data or line delay circuit 517, from the terminal io1, select the several pixels (pixel value of), the pixel as a class tap, performs class classification, the a class code obtained as a result is supplied to the switching circuit 513A.

但し、クラス分類回路511Aは、クラスタップとして、1次元の配列の複数の画素を選択することと、2次元の配列の複数の画素を選択することが可能になっている。 However, the classification circuit 511A includes, as a class tap, which is selecting a plurality of pixels of one-dimensional array, it is possible to select a plurality of pixels of a two-dimensional array. ここで、1次元の配列の複数の画素としては、例えば、水平方向に並ぶ幾つかの画素や、垂直方向に並ぶ幾つかの画素がある。 Here, the plurality of pixels of one-dimensional array, for example, and some pixels arranged in the horizontal direction, there are some pixels arranged in the vertical direction. また、2次元の配列の複数の画素としては、例えば、ある画素を中心とする、水平方向にX個、垂直方向にY個の画素でなる長方形の領域内にある画素がある。 As the plurality of pixels of a two-dimensional array, for example, centered on the given pixel, X number in the horizontal direction, there is a pixel in the vertical direction in a rectangular region consisting of Y pixels.

従って、クラス分類回路511Aで行われるクラス分類には、1次元の配列の複数の画素をクラスタップとして行われるものと、2次元の配列の複数の画素をクラスタップとして行われるものがある。 Thus, the carried out classification by classification circuit 511A, as that performed a plurality of pixels of one-dimensional array as a class tap, there is one performed a plurality of pixels of a two-dimensional array as a class tap. 1次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、1次元クラス分類という。 The classification performed a plurality of pixels of one-dimensional array as a class tap, hereinafter referred to as 1-dimensional classification. また、2次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、2次元クラス分類という。 Further, the class classification performed a plurality of pixels of a two-dimensional array as a class tap, hereinafter referred to as two-dimensional classification.

なお、クラスタップは、3次元の配列の複数の画素で構成することも可能である。 Incidentally, the class taps may also be composed of a plurality of pixels of a three-dimensional array. 3次元の配列の複数の画素としては、例えば、ある画素を中心とする、水平方向にX個、垂直方向にY個、時間方向にT個の画素でなる直方体の領域内にある画素がある。 The plurality of pixels of a three-dimensional array, for example, centered on the given pixel, X number in the horizontal direction, Y number in the vertical direction, there is a pixel in the time direction becomes a number of T pixels rectangular region . 3次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、3次元クラス分類という。 The classification that is performed as a class tap multiple pixels of 3-dimensional array, hereinafter referred to as 3-dimensional classification.

クラス分類回路511Aは、1次元クラス分類と2次元クラス分類を行い、その1次元クラス分類と2次元クラス分類により得られる2つのクラスコードを、切換回路513Aに供給する。 Classification circuit 511A performs a one-dimensional classification and a two-dimensional classification, the two class code obtained by the one-dimensional classification and a two-dimensional classification, and supplies the switching circuit 513A.

遅延選択回路512Aは、図1のタップ選択部12に対応する。 Delay selection circuit 512A corresponds to the tap selector 12 of FIG. 1. 遅延選択回路512Aは、端子io1からの画像データ、またはライン遅延回路517からの画像データから、幾つかの画素(の画素値)を選択し、その画素を予測タップとして、切換回路514Aに供給する。 Delay selection circuit 512A supplies the image data from the image data or line delay circuit 517, from the terminal io1, select the several pixels (pixel values), the pixel as a prediction tap, the switch circuit 514A .

但し、遅延選択回路512Aは、予測タップとして、1次元の配列の複数の画素を選択することと、2次元の配列の複数の画素を選択することが可能になっている。 However, the delay selection circuit 512A includes, as prediction taps, which is selecting a plurality of pixels of one-dimensional array, it is possible to select a plurality of pixels of a two-dimensional array. 1次元の配列の複数の画素で構成される予測タップを、以下、適宜、1次元予測タップといい、2次元の配列の複数の画素で構成される予測タップを、以下、適宜、2次元予測タップという。 A prediction tap composed of a plurality of pixels of one-dimensional array, hereinafter, referred to as one-dimensional predictive taps, prediction taps composed of a plurality of pixels of a two-dimensional array, hereinafter referred to as two-dimensional prediction that tap.

なお、予測タップは、3次元の配列の複数の画素で構成することも可能であり、3次元の配列の複数の画素で構成される予測タップを、以下、適宜、3次元予測タップという。 Incidentally, the prediction tap, it is also possible to configure a plurality of pixels of a three-dimensional array, a prediction tap composed of a plurality of pixels of a three-dimensional array, hereinafter referred to as 3-dimensional predictive taps.

遅延選択回路512Aは、1次元予測タップと2次元予測タップを得て、切換回路514Aに供給する。 Delay selection circuit 512A obtains a one-dimensional prediction tap and two-dimensional predictive taps, and supplies the switching circuit 514A.

なお、遅延選択回路512Aは、予測演算回路516Aで演算されるべき予測タップとタップ係数とが、予測演算回路516Aに供給されるタイミングを調整する等のために、1次元予測タップと2次元予測タップとを、所定の時間だけ遅延して出力する。 The delay selection circuit 512A, the prediction arithmetic circuit prediction taps to be calculated by 516A and the tap coefficients, for such to adjust the timing to be supplied to the predictive operation circuit 516A, 1-dimensional prediction tap and a two-dimensional prediction and the tap, and outputs the delayed by a predetermined time.

切換回路513Aは、端子io5からのコマンド列に応じて、クラス分類回路511Aが2つのクラスコードを出力する2つの出力端のうちの一方を選択し、係数出力回路515Aに接続する。 Switching circuit 513A, in response to the command sequence from the terminal IO5, classification circuit 511A is one selects the one of the two output terminals for outputting the two class code, is connected to the coefficient output circuit 515A. その結果、クラス分類回路511Aから係数出力回路515Aに対しては、切換回路513Aを介して、1次元クラス分類の結果としてのクラスコードまたは2次元クラス分類の結果としてのクラスコードのうちの一方が供給される。 Consequently, for the coefficient output circuit 515A from the classification circuit 511A, via the switching circuit 513A, it is one of the class code as a result of the class code or two-dimensional classification as a result of one-dimensional classification It is supplied.

切換回路514Aは、端子io5からのコマンド列に応じて、遅延選択回路512Aが2つの予測タップを出力する2つの出力端のうちの一方を選択し、予測演算回路516Aに接続する。 Switching circuit 514A, in response to the command sequence from the terminal IO5, selects one of the two outputs the delay selection circuit 512A outputs two prediction tap, connected to the prediction computation circuit 516A. その結果、遅延選択回路512Aから予測演算回路516Aに対しては、切換回路514Aを介して、1次元予測タップまたは2次元予測タップのうちの一方が供給される。 As a result, for the predictive operation circuit 516A from the delay selection circuit 512A, via the switching circuit 514A, one of which is supplied one of the one-dimensional prediction tap or two-dimensional predictive taps.

係数出力回路515Aは、図1の係数出力部15に対応し、あらかじめ行われた学習によって得られた、幾つかの異なる種類のタップ係数を記憶している。 Coefficient output circuit 515A corresponds to the coefficient output unit 15 of FIG. 1, obtained by learning performed in advance, and stores several different types of tap coefficients. 係数出力回路515Aは、端子io5からのコマンド列に応じた種類のタップ係数を選択し、さらに、そのタップ係数の中から、クラス分類回路511Aから切換回路513Aを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516Aに供給する。 Coefficient output circuit 515A selects the type of tap coefficient corresponding to the command sequence from the terminal IO5, further corresponds to from among the tap coefficients, the class code supplied via the switching circuit 513A from the classification circuit 511A It reads the tap coefficient of the class, and supplies the predictive computation circuit 516A.

なお、係数出力回路515Aは、各種類のタップ係数として、予測タップが1次元予測タップである場合に用いられるべきものと、2次元予測タップである場合に用いられるべきものを記憶しており、さらに、それぞれのタップ係数として、クラス分類として1次元クラス分類が行われる場合に用いられるべきものと、2次元クラス分類が行われる場合に用いられるべきものを記憶している。 The coefficient output circuit 515A as tap coefficients of each type, stores and should be used when the prediction tap is the one-dimensional predictive taps, those to be used when a two-dimensional predictive taps, further, as respective tap coefficients, are stored as to be used when the one-dimensional classification as the classification is carried out, those to be used when the two-dimensional classification is performed. このように、ある種類のタップ係数としては、複数パターンのタップ係数が存在することがあるが、以下では、この点の説明は省略する。 Thus, the tap coefficient of a certain type, it is possible to tap coefficients of the plurality of patterns is present, in the following, description of this point will be omitted.

予測演算回路516Aは、図1の予測演算部16に対応する。 Predictive operation circuit 516A corresponds to the prediction computation unit 16 of FIG. 1. 予想演算回路516Aは、遅延選択回路512Aから切換回路514Aを介して供給される予測タップと、係数出力回路515Aから供給されるタップ係数とを用いて、式(1)の演算を行い、その演算結果を、注目画素(の画素値)として、積和演算回路518および切換回路519に供給する。 Expected operation circuit 516A uses the prediction taps supplied through the switch circuit 514A from the delay selection circuit 512A, and a tap coefficient supplied from the coefficient output circuit 515A, performs the operation of Equation (1), the calculation the results, as a target pixel (value of the pixel) to the product-sum operation circuit 518 and the switching circuit 519.

ここで、式(1)にしたがった予測タップとタップ係数との演算は、FIR(Finite Impulse Response)フィルタによる演算(フィルタリング)に等価である。 Here, the calculation of the prediction taps and the tap coefficients in accordance with equation (1) is equivalent to the FIR (Finite Impulse Response) operation by the filter (filtering). そこで、1次元予測タップ、2次元予測タップ、または3次元予測タップを用いて行われる式(1)の演算を、以下、適宜、1次元フィルタ演算、2次元フィルタ演算、または3次元フィルタ演算と、それぞれいう。 Therefore, one-dimensional predictive taps, two-dimensional predictive taps, or 3-dimensional predictive taps expression is performed using the computation of (1), hereinafter referred to as one-dimensional filter calculation, two-dimensional filter calculation, or three-dimensional filtering operation and , they say, respectively.

クラス分類回路511B、遅延選択回路512B、切換回路513B,514B、係数出力回路515B、予測演算回路516Bは、上述のクラス分類回路511A、遅延選択回路512A、切換回路513A,514A、係数出力回路515A、予測演算回路516Aとそれぞれ同様に構成される。 Classification circuit 511B, the delay selection circuit 512B, switch circuit 513B, 514B, the coefficient output circuit 515B, the prediction arithmetic circuit 516B, the above-described classification circuit 511A, the delay selection circuit 512A, the switching circuit 513A, 514A, the coefficient output circuit 515A, each configured similarly to the predictive operation circuit 516A. そして、クラス分類回路511B乃至予測演算回路516Bは、クラス分類回路511A乃至予測演算回路516Aと同様の接続関係を有する。 The classification circuit 511B to the prediction computation circuit 516B has the same connection relationship and classification circuit 511A to the prediction computation circuit 516A.

但し、クラス分類回路511Bおよび遅延選択回路512Bには、端子io2からの画像データ、端子io2'からの画像データ、およびライン遅延回路517からの画像データが供給されるようになっている。 However, the classification circuit 511B and the delay selecting circuit 512B, image data from the terminal io2, the image data from the image data, and the line delay circuit 517 from the terminal io2 'are supplied.

クラス分類回路511Bは、そこに供給される画像データから画素を選択することで、クラスタップを構成し、そのクラスタップに基づいて、1次元クラス分類、2次元クラス分類、3次元クラス分類を行う。 Classification circuit 511B, by selecting a pixel from the image data supplied thereto, constitute a class tap, based on the class taps, performs one-dimensional classification, the two-dimensional classification, the three-dimensional classification . さらに、クラス分類回路511Bは、その3つのクラス分類によって得られる3つのクラスコードを、切換回路513Bに供給する。 Further, the class classification circuit 511B includes three class code obtained by the three classification, and supplies the switching circuit 513B.

なお、クラス分類回路511Bは、端子io2またはio2'から供給される画像データの動きも検出し、その動きを表す動き情報を、積和演算回路518に供給する。 Incidentally, classification circuit 511B, the motion of the image data supplied from the terminal io2 or io2 'also detected, and supplies motion information indicating the motion to the product-sum operation circuit 518.

遅延選択回路512Bは、そこに供給される画像データから画素を選択することで、1次元予測タップ、2次元予測タップ、3次元予測タップを構成し、切換回路514Bに供給する。 Delay selection circuit 512B, by selecting a pixel from the image data supplied thereto, one-dimensional predictive taps, two-dimensional predictive taps, constitute a 3-dimensional predictive taps, and supplies the switching circuit 514B.

切換回路513Bは、端子io5からのコマンド列に応じて、クラス分類回路511Bからの3つのクラスコードのうちのいずれかを選択し、係数出力回路515Bに供給する。 Switching circuit 513B in response to the command sequence from the terminal IO5, select one of the three class code from the classification circuit 511B, and supplies the coefficient output circuit 515B.

切換回路514Bは、端子io5からのコマンド列に応じて、遅延選択回路512Bからの3つの予測タップのうちのいずれかを選択し、予測演算回路516Bに供給する。 Switching circuit 514B in response to the command sequence from the terminal IO5, select one of the three prediction taps from the delay selection circuit 512B, and supplies the prediction computation circuit 516B.

係数出力回路515Bは、係数出力回路515Aと同様に、幾つかの異なる種類のタップ係数を記憶している。 Coefficient output circuit 515B, as well as the coefficient output circuit 515A, stores several different types of tap coefficients. 係数出力回路515Bは、端子io5からのコマンド列に応じた種類のタップ係数を選択し、さらに、そのタップ係数の中から、クラス分類回路511Bから切換回路513Bを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516Bに供給する。 Coefficient output circuit 515B may select the type of tap coefficient corresponding to the command sequence from the terminal IO5, further corresponds to from among the tap coefficients, the class code supplied through the switching circuit 513B from the classification circuit 511B It reads the tap coefficient of the class, and supplies the prediction computation circuit 516B.

予測演算回路516Aは、遅延選択回路512Bから切換回路514Bを介して供給される予測タップと、係数出力回路515Bから供給されるタップ係数とを用いて、式(1)の演算を行い、その演算結果を、注目画素(の画素値)として、端子io4と、積和演算回路518に供給する。 Predictive operation circuit 516A uses the prediction taps supplied through the switch circuit 514B from the delay selection circuit 512B, and a tap coefficient supplied from the coefficient output circuit 515B, performs the operation of Equation (1), the calculation the results, as the pixel of interest (pixel value of), the terminal io4, supplies the sum-of-products operation circuit 518.

ライン遅延回路517は、メモリで構成された1乃至数ライン分の遅延を生じさせる回路で、端子io1からの画像データを1乃至数ライン分だけ遅延して、クラス分類回路511Aおよび511B、並びに遅延選択回路512Aおよび512Bに供給する。 Line delay circuit 517 is a circuit to cause a delay of one to several lines which are formed by a memory, by delaying the image data from the terminal io1 only 1 to several lines, classification circuit 511A and 511B, and the delay It is supplied to the selection circuit 512A and 512B.

積和演算回路518は、予測演算回路516Aと516Bの出力どうしの重み付け加算を、クラス分類回路511Bから供給される動き情報を重みとして行い、その加算結果を、切換回路519に供給する。 Product-sum operation circuit 518 performs weighted addition of the output each other prediction computation circuit 516A and 516B, the motion information supplied from the classification circuit 511B as weights, and supplies the addition result, the switching circuit 519.

切換回路519は、端子io5からのコマンド列に応じて、予測演算回路516Aの出力または積和演算回路518の出力のうちの一方を選択し、端子io3に供給する。 Switching circuit 519, in accordance with the command sequence from the terminal IO5, selects one of the outputs of the output or product-sum operation circuit 518 of the predictive operation circuit 516A, and supplies the terminal io3.

上述したように、図59において、クラス分類回路511Aと511Bは、図1のタップ選択部13およびクラス分類部14に対応し、遅延選択回路512Aと512Bは、図1のタップ選択部12に対応する。 As described above, in FIG. 59, the classification circuit 511A and 511B correspond to the tap selector 13 and the classification unit 14 of FIG. 1, the delay selection circuit 512A and 512B is corresponding to the tap selector 12 of FIG. 1 to. また、係数出力回路515Aと515Bは、図1の係数出力部15に対応し、予測演算回路516Aと516Bは、図1の予測演算部16に対応する。 The coefficient output circuit 515A and 515B corresponds to the coefficient output unit 15 of FIG. 1, the prediction computation circuit 516A and 516B correspond to the prediction computation unit 16 of FIG. 1.

従って、クラス分類回路511A乃至予測演算回路516Aでは、端子io1から供給される画像データおよびライン遅延回路517から供給される画像データを、第1の画像データとして、クラス分類適応処理(としての画像変換処理)を行うことができ、予測演算回路516Aから出力される画像データが、そのクラス分類適応処理の結果としての第2の画像データである。 Therefore, the classification circuit 511A to the prediction computation circuit 516A, the image data supplied from the image data and the line delay circuit 517 is supplied from the terminal io1, as the first image data, the image conversion as a class classification adaptive processing ( processing) can be performed, the image data output from the predictive operation circuit 516A is a second image data as a result of the classification adaptive processing.

また、クラス分類回路511B乃至予測演算回路516Bでも、端子io2から供給される画像データ、端子io2'から供給される画像データ、およびライン遅延回路517から供給される画像データを、第1の画像データとして、クラス分類適応処理(としての画像変換処理)を行うことができ、予測演算回路516Bから出力される画像データが、そのクラス分類適応処理の結果としての第2の画像データである。 Further, even in the classification circuit 511B to predictive operation circuit 516B, the image data supplied from the terminal io2, image data supplied from the terminal io2 ', and the image data supplied from the line delay circuit 517, the first image data as can perform classification adaptive processing (image conversion processing as), the image data outputted from the predictive operation circuit 516B is the second image data as a result of the classification adaptive processing.

次に、図60のフローチャートを参照して、クラス分類回路511A乃至予測演算回路516Aと、クラス分類回路511B乃至予測演算回路516Bとで行われるクラス分類適応処理としての画像変換処理について説明する。 Next, with reference to the flowchart of FIG. 60, the classification circuit 511A to predictive operation circuit 516A, the image conversion processing as class classification adaptive processing performed by the classification circuit 511B to the prediction computation circuit 516B will be described.

なお、以下、適宜、クラス分類回路511Aと511Bをクラス分類回路511と、遅延選択回路512Aと512Bを遅延選択回路512と、切換回路513Aと513Bを切換回路513と、切換回路514Aと514Bを切換回路514と、係数出力回路515Aと515Bを係数出力回路515と、予測演算回路516Aと516Bを予測演算回路516と、それぞれ記載する。 In the following, as appropriate, switching the classification circuit 511A and 511B and the classification circuit 511, the delay selection circuit 512 a delay selection circuit 512A and 512B, the switching circuit 513 the switching circuit 513A and 513B, the switching circuit 514A and 514B the circuit 514, the coefficient output circuit 515A and 515B and the coefficient output circuit 515, a prediction arithmetic circuit 516 to predictive operation circuit 516A and 516B, described respectively.

ステップS661において、クラス分類回路511および遅延選択回路512に対し、画像データが入力される。 In step S661, with respect to the classification circuit 511 and the delay selection circuit 512, the image data is input. なお、クラス分類回路511および遅延選択回路512に入力された画像データが、クラス分類適応処理の第1の画像データであり、クラス分類適応処理では、その第1の画像データが、第2の画像データに変換される。 Note that the image data inputted to the classifying circuit 511 and the delay selection circuit 512, a first image data of the classification adaptive processing, the class classification adaptation processing, the first image data, second image It is converted to data.

その後、第2の画像データのうちの、まだ注目画素としていない画素が、注目画素として選択され、ステップS662に進み、クラス分類回路511は、注目画素についてのクラスタップとなる画素を、第1の画像データから選択(抽出)して、ステップS663に進む。 Then, among the second image data, a pixel that has not been set pixel of interest, is selected as a target pixel, the process proceeds to step S662, the classification circuit 511, the pixels serving as class taps for the pixel of interest, the first selected from the image data (extract) that the process proceeds to step S663. ステップS663では、クラス分類回路511が、クラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、切換回路513を介して、係数出力回路515に出力する。 In step S663, the classification circuit 511, based on the class taps, performs class classification, the class code obtained as a result, through the switching circuit 513, and outputs the coefficient output circuit 515.

そして、ステップS664に進み、遅延選択回路512が、注目画素についての予測タップとなる画素を、第1の画像データから選択(抽出)し、予測演算回路516に供給して、ステップS665に進む。 Then, the process proceeds to step S664, the delay selection circuit 512, a pixel which is a prediction tap for the pixel of interest, selected from the first image data (extraction), and supplied to the prediction arithmetic circuit 516, the process proceeds to step S665.

ステップS665では、係数出力回路515が、ステップS663でクラス分類回路511が出力したクラスコードに対応するクラスタップ係数を、予測演算回路516に出力し、ステップS666に進む。 In step S665, the coefficient output circuit 515, the class tap coefficient corresponding to the class code class classification circuit 511 is outputted in step S663, and outputs to the prediction arithmetic circuit 516, the process proceeds to step S666.

ステップS666では、予測演算回路516が、遅延選択回路512からの予測タップと、係数出力回路515からのタップ係数とを用いて式(1)の演算(フィルタ演算)を行い、その演算結果を、注目画素(の画素値)として出力し、処理を終了する。 In step S666, the prediction calculation circuit 516, the prediction taps from the delay selection circuit 512 performs a calculation (filter operation) of the formula (1) by using the tap coefficients from the coefficient output circuit 515, the operation result, outputs as the target pixel (pixel value of), the process ends.

なお、図60のステップS662乃至S666の処理は、第2の画像データの画素すべてを注目画素として行われる。 The processing of steps S662 through S666 of FIG. 60 is performed every pixel of the second image data as the pixel of interest.

次に、図59に示した構成の信号処理回路661を有する図57の信号処理回路656の処理について説明する。 Next, a description is given of processing of the signal processing circuit 656 of FIG. 57 having a signal processing circuit 661 having the configuration shown in FIG. 59.

まず、リモコン618(図49)のAボタンが操作され、これにより、図54に示した1つのコマンドである1次元空間解像度創造コマンドが配置されたAボタンコマンド列641が、図55の受信部650で受信され、図57の信号処理回路656に供給された場合の処理について説明する。 First, A button on the remote controller 618 (FIG. 49) is operated, thereby, A button command sequence 641 one-dimensional spatial resolution creation command is a single command shown is arranged in FIG. 54, the reception section of FIG. 55 received at 650, it will be described the processing when it is supplied to the signal processing circuit 656 in FIG. 57.

信号処理回路656(図57)に供給されたAボタンコマンド列641は、切換回路662乃至665、および信号処理回路661の端子io5に供給される。 The signal processing circuit 656 A button command sequence 641 supplied (Fig. 57) is supplied to the switch circuit 662 to 665, and the signal processing circuit 661 of the terminal IO5.

切換回路662は、Aボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、走査線変換回路512Aの出力を選択して、信号処理回路661の端子io1に接続する。 Switching circuit 662, in accordance with the one-dimensional spatial resolution creation command in the A button command sequence 641 selects the output of the scanning line conversion circuit 512A, connected to the terminal io1 of the signal processing circuit 661. また、切換回路663は、Aボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、走査線変換回路512Bの出力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663, in accordance with the one-dimensional spatial resolution creation command in the A button command sequence 641 selects the output of the scanning line conversion circuit 512B, is connected to the terminal io2 of the signal processing circuit 661.

さらに、切換回路664は、Aボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、走査線変換回路512Bへの入力を選択して、信号処理回路661の端子io3を、走査線変換回路512Bに接続する。 Further, switching circuit 664, in accordance with the one-dimensional spatial resolution creation command in the A button command sequence 641, select the input to the scanning line conversion circuit 512B, a terminal io3 of the signal processing circuit 661, scanning line conversion to connect to the circuit 512B. また、切換回路665は、Aボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、信号処理回路661の端子io4を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665, in accordance with the one-dimensional spatial resolution creation command in the A button command sequence 641, and selects the terminal io4 of the signal processing circuit 661 is connected to the SW circuit 655 (FIG. 55).

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Aボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、信号線の選択状態(各ブロックの接続状態)を、1次元空間解像度創造処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B and switching circuit 519, in accordance with the one-dimensional spatial resolution creation command in the A button command sequence 641, the signal line the selection state (connection state of each block), switch to perform the one-dimensional spatial resolution creation processing.

ここで、1次元空間解像度創造処理とは、予測タップとして1次元予測タップを用いる空間解像度創造処理を意味する。 Here, the one-dimensional spatial resolution creation processing, means the space resolution creation processing using a one-dimensional prediction tap as a prediction tap.

図61は、信号線の選択状態を、1次元空間解像度創造処理を行うように切り換えた信号処理回路661を含む図57の信号処理回路656を示している。 Figure 61 is a selected state of the signal line, it shows a signal processing circuit 656 of FIG. 57, including a signal processing circuit 661 is switched to perform one-dimensional spatial resolution creation processing.

図61において、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Aボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、信号線の選択状態を、図61に実線で示すように切り換え、これにより、信号処理として、1次元空間解像度創造処理が行われる。 In Figure 61, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519, in accordance with the one-dimensional spatial resolution creation command in the A button command sequence 641, the signal line selection state a switching as indicated by the solid line in FIG. 61, thereby, as a signal processing, one-dimensional spatial resolution creation processing is performed.

なお、図61において、点線で示す信号線は、配線されているが、現在の信号処理回路661による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 61, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the present signal processing circuit 661.

また、図61では、図57におけるフレームメモリ523、切換回路662乃至665の図示を省略してある。 Further, in FIG. 61, the frame memory 523 in FIG. 57, is not shown in the switching circuit 662 to 665.

図61の信号処理回路656では、例えば、そこに入力される、クラス分類適応処理の第1の画像データとしての標準解像度の画像データ(以下、適宜、SD画像データと称する)を、その水平方向と垂直方向の画素数をいずれも2倍にした、クラス分類適応処理の第2の画像データとしての高解像度の画像データ(以下、適宜、HD画像データと称する)に変換する空間解像度創造処理(1次元空間解像度創造処理)が行われる。 In the signal processing circuit 656 in FIG. 61, for example, is input thereto, the image data of the standard resolution as the first image data of the classification adaptive processing (hereinafter, appropriately referred to as SD image data), the horizontal and was doubled both the number of pixels in the vertical direction, the high resolution image data as the second image data of the classification adaptive processing (hereinafter, appropriately referred to as HD image data) spatial resolution creation processing for converting the ( one-dimensional spatial resolution creation processing) is performed.

なお、ここでは、例えば、最初に、SD画像データ(第1の画像データ)の垂直方向の画素数を2倍とし、その後に水平方向の画素数を2倍とすることで、画素数が4倍のHD画像データ(第2の画像データ)を得るものとする。 Here, for example, first, the number of vertical pixels of the SD image data (first image data), twice, followed by twice the number of horizontal pixels, the number of pixels 4 It shall be subject to multiple of HD image data (second image data).

図61において、走査線変換回路521Aには、SD画像データが供給される。 In Figure 61, the scanning line conversion circuit 521A, SD image data is supplied. 走査線変換回路521Aは、そこに供給されるSD画像データを対象に、水平走査(テレビジョンラスタの走査順序)から垂直走査への変換を行う。 Scanning line conversion circuit 521A comprises administering to a subject an SD image data supplied thereto to convert to a vertical scanning from the horizontal scanning (scanning order of the television raster).

走査線変換521Aで走査方向が変換されたSD画像データは、信号処理回路661の端子io1に供給される。 SD image data scanning direction is converted by the scanning line conversion 521A is supplied to a terminal io1 of the signal processing circuit 661.

端子io1に供給されたSD画像データは、クラス分類回路511Aと遅延選択回路512Aに供給される。 SD image data supplied to the terminal io1 is supplied to a classification circuit 511A and the delay selection circuit 512A.

クラス分類回路511Aは、端子io1からのSD画像データからクラスタップを選択し、そのクラスタップに基づいて、1次元クラス分類を行う。 Classification circuit 511A selects class taps from the SD image data from the terminal io1, based on the class taps, it performs the one-dimensional classification. そして、クラス分類回路511Aは、1次元クラス分類によって得られるクラスコードを、切換回路513Aを介して、係数出力回路515Aに供給する。 The classification circuit 511A includes a class code obtained by the one-dimensional classification, through the switching circuit 513A, and supplies to the coefficient output circuit 515A.

係数出力回路515Aは、少なくとも1次元空間解像度創造処理用のタップ係数を含む複数種類のタップ係数を記憶しており、端子io5から供給されるAボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、1次元空間解像度創造処理用のタップ係数を選択している。 Coefficient output circuit 515A stores a plurality of types of tap coefficients including the tap coefficient for at least one-dimensional spatial resolution creation processing, one-dimensional spatial resolution creation command in the A button command sequence 641 supplied from the terminal io5 depending on, selects the tap coefficients of the one-dimensional spatial resolution creation processing. そして、係数出力回路515Aは、クラス分類回路511Aから、切換回路513Aを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516Aに供給する。 The coefficient output circuit 515A from the classification circuit 511A, reads out the tap coefficients of the class corresponding to the class code supplied via the switching circuit 513A, and supplies to the prediction computation circuit 516A.

一方、遅延選択回路512Aは、端子io1からのSD画像データから1次元予測タップを選択し、切換回路514Aを介して、予測演算回路516Aに供給する。 On the other hand, the delay selection circuit 512A selects the one-dimensional prediction tap from the SD image data from the terminal io1, via a switch circuit 514A, and supplies to the prediction computation circuit 516A.

予測演算回路516Aは、遅延選択回路512Aから切換回路514Aを介して供給される1次元予測タップとしてのSD画像データの複数の画素データと、係数出力回路515Aから供給されるタップ係数とを用いて、式(1)のフィルタ演算(1次元フィルタ演算)を行い、これにより、垂直方向の画素数が元のSD画像データの2倍となった画像データ(画素の画素値)を得て出力する。 Predictive operation circuit 516A uses a plurality of pixel data of the SD image data as a one-dimensional prediction taps supplied through the switch circuit 514A from the delay selection circuit 512A, and a tap coefficient supplied from the coefficient output circuit 515A performs filter operation (one-dimensional filter calculation) of formula (1), thereby, the number of pixels in the vertical direction and outputs the obtained image data becomes twice the original SD image data (pixel value of the pixel) .

予測演算回路516Aが出力する画像データは、切換回路119を介して、端子io3から出力され、さらに、切換回路664(図57)を介して、走査線変換回路521Bに供給される。 Image data predictive operation circuit 516A is output via the switching circuit 119, is output from the terminal io3, further via the switching circuit 664 (FIG. 57), is supplied to the scanning line conversion circuit 521B.

走査線変換回路521Bは、そこに供給される画像データを対象に、垂直走査から水平走査への変換を行う。 Scanning line conversion circuit 521B is intended for image data supplied thereto to convert the horizontal scanning from the vertical scanning. そして、走査線変換回路521Bは、その変換によって、テレビジョンラスタと同様の走査の信号となった画像データを、端子io2に供給する。 Then, the scanning line conversion circuit 521B supplies by the conversion, the image data which is a signal of the same scanning and the television raster, the terminal io2.

端子io2に供給された画像データは、クラス分類回路511Bと遅延選択回路512Bに供給される。 Image data supplied to the terminal io2 is supplied to a classification circuit 511B and the delay selecting circuit 512B.

クラス分類回路511Bは、端子io2からの画像データからクラスタップを選択し、そのクラスタップに基づいて、1次元クラス分類を行う。 Classification circuit 511B selects a class tap from the image data from the terminal io2, based on the class taps, it performs the one-dimensional classification. そして、クラス分類回路511Bは、1次元クラス分類によって得られるクラスコードを、切換回路513Bを介して、係数出力回路515Bに供給する。 The classification circuit 511B includes a class code obtained by the one-dimensional classification, via the switch circuit 513B, and supplies the coefficient output circuit 515B.

係数出力回路515Bは、少なくとも1次元空間解像度創造処理用のタップ係数を含む複数種類のタップ係数を記憶しており、端子io5から供給されるAボタンコマンド列641の中の1次元空間解像度創造コマンドに応じて、1次元空間解像度創造処理用のタップ係数を選択している。 Coefficient output circuit 515B stores a plurality of types of tap coefficients including the tap coefficient for at least one-dimensional spatial resolution creation processing, one-dimensional spatial resolution creation command in the A button command sequence 641 supplied from the terminal io5 depending on, selects the tap coefficients of the one-dimensional spatial resolution creation processing. そして、係数出力回路515Bは、クラス分類回路511Bから、切換回路513Bを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516Bに供給する。 The coefficient output circuit 515B from the classification circuit 511B, read the tap coefficients of the class corresponding to the class code supplied via the switch circuit 513B, and supplies the prediction computation circuit 516B.

一方、遅延選択回路512Bは、端子io2からの画像データから1次元予測タップを選択し、切換回路514Bを介して、予測演算回路516Bに供給する。 On the other hand, the delay selection circuit 512B selects a one-dimensional prediction tap from the image data from the terminal io2, via the switch circuit 514B, and supplies the prediction computation circuit 516B.

予測演算回路516Bは、遅延選択回路512Bから切換回路514Bを介して供給される1次元予測タップとしての画像データの複数の画素データと、係数出力回路515Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(1次元フィルタ演算)を行い、これにより、垂直方向と水平方向の画素数がいずれも元の画像データの2倍となったHD画像データ(画素の画素値)を得て出力する。 Predictive operation circuit 516B uses a plurality of pixel data of the image data as a one-dimensional prediction taps supplied through the switch circuit 514B from the delay selection circuit 512B, and a tap coefficient supplied from the coefficient output circuit 515B, performs filter operation (one-dimensional filter calculation) of formula (1), by which, HD image data the number of pixels in the vertical direction and the horizontal direction are both becomes twice the original image data (pixel value of the pixel) obtained and outputs.

予測演算回路516Bが出力する画像データは、端子io4から出力され、さらに、切換回路665(図57)を介して、SW回路655(図55)に供給される。 Image data predictive operation circuit 516B outputs is output from the terminal io4, further via the switching circuit 665 (FIG. 57), is supplied to the SW circuit 655 (FIG. 55).

次に、リモコン618(図49)のAボタンが操作され、これにより、図54に示した1つのコマンドである2次元空間解像度創造コマンドが配置されたAボタンコマンド列642が、図55の受信部650で受信され、図57の信号処理回路656に供給された場合の処理について説明する。 Next, A button on the remote controller 618 (FIG. 49) is operated, thereby, A button command sequence 642 two-dimensional spatial resolution creation command is a single command shown is arranged in FIG. 54, reception of Figure 55 received at section 650 will be described the processing when it is supplied to the signal processing circuit 656 in FIG. 57.

信号処理回路656(図57)に供給されたAボタンコマンド列642は、切換回路662乃至665、および信号処理回路661の端子io5に供給される。 The signal processing circuit 656 A button command sequence 642 supplied (Fig. 57) is supplied to the switch circuit 662 to 665, and the signal processing circuit 661 of the terminal IO5.

切換回路662は、Aボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、走査線変換回路512Aの出力を選択して、信号処理回路661の端子io1に接続する。 Switching circuit 662, according to the two-dimensional spatial resolution creation command in the A button command sequence 642 selects the output of the scanning line conversion circuit 512A, connected to the terminal io1 of the signal processing circuit 661. また、切換回路663は、Aボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、走査線変換回路512Bの出力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663, according to the two-dimensional spatial resolution creation command in the A button command sequence 642 selects the output of the scanning line conversion circuit 512B, is connected to the terminal io2 of the signal processing circuit 661.

さらに、切換回路664は、Aボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、走査線変換回路512Bへの入力を選択して、信号処理回路661の端子io3を、走査線変換回路512Bに接続する。 Further, switching circuit 664, according to the two-dimensional spatial resolution creation command in the A button command sequence 642, select the input to the scanning line conversion circuit 512B, a terminal io3 of the signal processing circuit 661, scanning line conversion to connect to the circuit 512B. また、切換回路665は、Aボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、信号処理回路661の端子io4を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665, according to the two-dimensional spatial resolution creation command in the A button command sequence 642, and selects the terminal io4 of the signal processing circuit 661 is connected to the SW circuit 655 (FIG. 55).

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Aボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、信号線の選択状態を、2次元空間解像度創造処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B and switching circuit 519, in accordance with the two-dimensional spatial resolution creation command in the A button command sequence 642, the signal line the selected state is switched to perform two-dimensional spatial resolution creation processing.

ここで、2次元空間解像度創造処理とは、予測タップとして2次元予測タップを用いる空間解像度創造処理を意味する。 Here, the two-dimensional spatial resolution creation processing, means the space resolution creation processing using a two-dimensional predictive taps as prediction taps.

図62は、信号線の選択状態を、2次元空間解像度創造処理を行うように切り換えた信号処理回路661を含む図57の信号処理回路656を示している。 Figure 62 is a selected state of the signal line, it shows a signal processing circuit 656 of FIG. 57, including a signal processing circuit 661 is switched to perform two-dimensional spatial resolution creation processing.

図62において、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Aボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、信号線の選択状態を、図62に実線で示すように切り換え、これにより、信号処理として、2次元空間解像度創造処理が行われる。 In Figure 62, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519, according to the two-dimensional spatial resolution creation command in the A button command sequence 642, the signal line selection state a switching as indicated by the solid line in FIG. 62, thereby, as a signal processing, two-dimensional spatial resolution creation processing is performed.

なお、図62において、点線で示す信号線は、配線されているが、現在の信号処理回路661による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 62, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the present signal processing circuit 661.

また、図62では、図57におけるフレームメモリ523、切換回路662乃至665の図示を省略してある。 Further, in FIG. 62, the frame memory 523 in FIG. 57, is not shown in the switching circuit 662 to 665.

図62の信号処理回路656では、例えば、図61における場合と同様に、そこに入力される、クラス分類適応処理の第1の画像データとしてのSD画像データを、その水平方向と垂直方向の画素数をいずれも2倍にした、クラス分類適応処理の第2の画像データとしてのHD画像データに変換する空間解像度創造処理が行われる。 In the signal processing circuit 656 in FIG. 62, for example, as in FIG. 61, is input thereto, the SD image data as the first image data of the classification adaptive processing, the horizontal and vertical pixel any number was doubled, the spatial resolution creation processing for converting the HD image data as the second image data of the classification adaptive processing is performed. 但し、図62では、クラス分類として、2次元クラス分類が採用されるとともに、予測タップとして、2次元予測タップが採用される。 However, in FIG. 62, as classification, with 2-dimensional classification is employed, as prediction taps, a two-dimensional prediction tap is employed.

なお、ここでも、例えば、最初に、SD画像データ(第1の画像データ)の垂直方向の画素数を2倍とし、その後に水平方向の画素数を2倍とすることで、画素数が4倍のHD画像データ(第2の画像データ)を得るものとする。 Incidentally, here, for example, first, the number of vertical pixels of the SD image data (first image data), twice, followed by twice the number of horizontal pixels, the number of pixels 4 It shall be subject to multiple of HD image data (second image data).

図62において、走査線変換回路521Aには、SD画像データが供給される。 In Figure 62, the scanning line conversion circuit 521A, SD image data is supplied. 走査線変換回路521Aは、そこに供給されるSD画像データの走査方向を、水平走査から垂直走査に変換し、信号処理回路661の端子io1に供給する。 Scanning line conversion circuit 521A is the scanning direction of the SD image data supplied thereto, converts the horizontal scanning in the vertical scanning, and supplies the terminal io1 of the signal processing circuit 661.

端子io1に供給されたSD画像データは、クラス分類回路511A、遅延選択回路512A、およびライン遅延回路517に供給される。 SD image data supplied to the terminal io1, the classification circuit 511A, supplied delay selection circuit 512A, and the line delay circuit 517.

ライン遅延回路517は、そこに供給されるSD画像データを、1乃至数ライン分だけ遅延して、クラス分類回路511Aおよび511B、並びに遅延選択回路512Aおよび512Bに供給する。 Line delay circuit 517 supplies the SD image data supplied thereto, delayed by 1 to several lines, classification circuit 511A and 511B, and the delay selection circuits 512A and 512B.

クラス分類回路511Aは、端子io1からのSD画像データと、ライン遅延回路517AからのSD画像データとからクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行う。 Classification circuit 511A includes a SD image data from the terminal io1, select the class tap from the SD image data from the line delay circuit 517A, based on the class taps, it performs the two-dimensional classification. そして、クラス分類回路511Aは、2次元クラス分類によって得られるクラスコードを、切換回路513Aを介して、係数出力回路515Aに供給する。 The classification circuit 511A includes a class code obtained by the two-dimensional classification, through the switching circuit 513A, and supplies to the coefficient output circuit 515A.

係数出力回路515Aが記憶している複数種類のタップ係数には、2次元空間解像度創造処理用のタップ係数が含まれており、係数出力回路515Aは、端子io5から供給されるAボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、2次元空間解像度創造処理用のタップ係数を選択している。 The plurality of types of tap coefficients coefficient output circuit 515A is stored, tap coefficients for the two-dimensional spatial resolution creation processing includes a coefficient output circuit 515A is, A button command sequence supplied from the terminal IO5 642 depending on the two-dimensional spatial resolution creation command in the has selected tap coefficients for the two-dimensional spatial resolution creation processing. そして、係数出力回路515Aは、クラス分類回路511Aから、切換回路513Aを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516Aに供給する。 The coefficient output circuit 515A from the classification circuit 511A, reads out the tap coefficients of the class corresponding to the class code supplied via the switching circuit 513A, and supplies to the prediction computation circuit 516A.

一方、遅延選択回路512Aは、端子io1からのSD画像データと、ライン遅延回路517AからのSD画像データとから2次元予測タップを選択し、切換回路514Aを介して、予測演算回路516Aに供給する。 On the other hand, the delay selection circuit 512A selects the SD image data from the terminal io1, the two-dimensional prediction taps from the SD image data from the line delay circuit 517A, via the switch circuit 514A, and supplies to the prediction computation circuit 516A .

予測演算回路516Aは、遅延選択回路512Aから切換回路514Aを介して供給される2次元予測タップとしてのSD画像データの複数の画素データと、係数出力回路515Aから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、垂直方向の画素数が元のSD画像データの2倍となった画像データ(画素の画素値)を得て出力する。 Predictive operation circuit 516A uses a plurality of pixel data of the SD image data as two-dimensional prediction taps supplied through the switch circuit 514A from the delay selection circuit 512A, and a tap coefficient supplied from the coefficient output circuit 515A , it performs filter operation of equation (1) (two-dimensional filter operation), thereby, the number of pixels in the vertical direction and outputs the obtained image data becomes twice the original SD image data (pixel value of the pixel) .

予測演算回路516Aが出力する画像データは、切換回路119を介して、端子io3から出力され、さらに、切換回路664(図57)を介して、走査線変換回路521Bに供給される。 Image data predictive operation circuit 516A is output via the switching circuit 119, is output from the terminal io3, further via the switching circuit 664 (FIG. 57), is supplied to the scanning line conversion circuit 521B.

走査線変換回路521Bは、そこに供給される画像データの走査方向を、垂直走査から水平走査に変換し、テレビジョンラスタと同様の走査の信号となった画像データを、端子io2に供給する。 Scanning line conversion circuit 521B supplies the scanning direction of the image data supplied thereto, converts the vertical scanning in the horizontal scanning, the image data which is a signal of the same scanning and the television raster, the terminal io2.

端子io2に供給された画像データは、クラス分類回路511Bと遅延選択回路512Bに供給される。 Image data supplied to the terminal io2 is supplied to a classification circuit 511B and the delay selecting circuit 512B.

クラス分類回路511Bは、端子io2からの画像データと、ライン遅延回路517からの画像データとからクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行う。 Classification circuit 511B selects the image data from the terminal io2, the class tap from the image data from the line delay circuit 517, based on the class taps, performs the two-dimensional classification. そして、クラス分類回路511Bは、2次元クラス分類によって得られるクラスコードを、切換回路513Bを介して、係数出力回路515Bに供給する。 The classification circuit 511B includes a class code obtained by the two-dimensional classification, via the switch circuit 513B, and supplies the coefficient output circuit 515B.

係数出力回路515Bが記憶している複数種類のタップ係数には、2次元空間解像度創造処理用のタップ係数が含まれており、係数出力回路515Bは、端子io5から供給されるAボタンコマンド列642の中の2次元空間解像度創造コマンドに応じて、2次元空間解像度創造処理用のタップ係数を選択している。 The plurality of types of tap coefficients coefficient output circuit 515B is stored, the tap coefficients for the two-dimensional spatial resolution creation processing includes a coefficient output circuit 515B is, A button command sequence supplied from the terminal IO5 642 depending on the two-dimensional spatial resolution creation command in the has selected tap coefficients for the two-dimensional spatial resolution creation processing. そして、係数出力回路515Bは、クラス分類回路511Bから、切換回路513Bを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516B供給する。 The coefficient output circuit 515B from the classification circuit 511B, read the tap coefficients of the class corresponding to the class code supplied via the switch circuit 513B, the prediction arithmetic circuit 516B supplies.

一方、遅延選択回路512Bは、端子io2からの画像データと、ライン遅延回路517からの画像データとから2次元予測タップを選択し、切換回路514Bを介して、予測演算回路516Bに供給する。 On the other hand, the delay selection circuit 512B selects the image data from the terminal io2, a two-dimensional prediction tap from the image data from the line delay circuit 517, via the switch circuit 514B, and supplies the prediction computation circuit 516B.

予測演算回路516Bは、遅延選択回路512Bから切換回路514Bを介して供給される2次元予測タップとしての画像データの複数の画素データと、係数出力回路515Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、垂直方向と水平方向の画素数がいずれも元の画像データの2倍となったHD画像データ(画素の画素値)を得て出力する。 Predictive operation circuit 516B uses a plurality of pixel data of the image data as a two-dimensional prediction taps supplied through the switch circuit 514B from the delay selection circuit 512B, and a tap coefficient supplied from the coefficient output circuit 515B, It performs filter operation of equation (1) (two-dimensional filter operation), by which, HD image data the number of pixels in the vertical direction and the horizontal direction are both becomes twice the original image data (pixel value of the pixel) obtained and outputs.

予測演算回路516Bが出力する画像データは、端子io4から出力され、さらに、切換回路665(図57)を介して、SW回路655(図55)に供給される。 Image data predictive operation circuit 516B outputs is output from the terminal io4, further via the switching circuit 665 (FIG. 57), is supplied to the SW circuit 655 (FIG. 55).

次に、リモコン618(図49)のBボタンが操作され、これにより、図54に示した1つのコマンドであるノイズ除去コマンドが配置されたBボタンコマンド列643が、図55の受信部650で受信され、図57の信号処理回路656に供給された場合の処理について説明する。 Next, B button of the remote control 618 (FIG. 49) is operated, by which, B button command sequence 643 noise removing command is located is one of the commands shown in FIG. 54, the receiving unit 650 of FIG. 55 is received, it will be described the processing when it is supplied to the signal processing circuit 656 in FIG. 57.

信号処理回路656に供給されたBボタンコマンド列643は、切換回路662乃至665、および信号処理回路661の端子io5に供給される。 B button command sequence 643 which is supplied to the signal processing circuit 656 is supplied to the switch circuit 662 through 665, and terminals io5 of the signal processing circuit 661.

切換回路662は、Bボタンコマンド列643の中のノイズ除去コマンドに応じて、信号処理回路656への入力を選択して、信号処理回路661の端子io1に接続する。 Switching circuit 662, in response to the noise removing command in the B button command sequence 643, selects the input to the signal processing circuit 656 is connected to the terminal io1 of the signal processing circuit 661. また、切換回路663も、Bボタンコマンド列643の中のノイズ除去コマンドに応じて、信号処理回路656への入力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663 also, in response to the noise removing command in the B button command sequence 643, selects the input to the signal processing circuit 656, connected to the terminal io2 of the signal processing circuit 661.

さらに、切換回路664は、Bボタンコマンド列643の中のノイズ除去コマンドに応じて、切換回路665への入力を選択して、信号処理回路661の端子io3を、切換回路665に接続する。 Further, switching circuit 664, in response to the noise removing command in the B button command sequence 643, selects the input to the switching circuit 665, the terminal io3 of the signal processing circuit 661 is connected to the switching circuit 665. また、切換回路665は、Bボタンコマンド列643の中のノイズ除去コマンドに応じて、切換回路664の出力を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665, in response to the noise removing command in the B button command sequence 643 selects the output of the switching circuit 664 is connected to the SW circuit 655 (FIG. 55).

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Bボタンコマンド列643の中のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519 in response to the noise removing command in the B button command sequence 643, the selection state of the signal line switches to perform noise removal processing.

ここで、信号処理回路661でのノイズ除去処理は、2次元ノイズ除去処理の処理結果と、3次元ノイズ除去処理の処理結果とを、画像の動きに応じて加算することによって行われる。 Here, the noise removal processing by the signal processing circuit 661 includes a two-dimensional noise removing processing of the processing result, and a processing result of the three-dimensional noise removing processing is performed by adding in accordance with the movement of the image. なお、2次元ノイズ除去処理または3次元ノイズ除去処理とは、予測タップとして2次元予測タップまたは3次元予測タップを用いるノイズ除去処理を、それぞれ意味する。 Note that the two-dimensional noise removing processing or three-dimensional noise removing processing, the noise removal processing using a two-dimensional predictive taps or three-dimensional prediction tap as a prediction tap means, respectively. 画像に動きがある場合には、2次元ノイズ除去処理が有効であり、画像に動きがない(動きが小さい)場合には、3次元ノイズ除去処理が有効である。 If there is motion in the image, an effective two-dimensional noise removal process, if there is no motion (small movement) in the image, 3-dimensional noise removal process is effective.

図63は、信号線の選択状態を、ノイズ除去処理を行うように切り換えた信号処理回路661を含む図57の信号処理回路656を示している。 Figure 63, the selection state of the signal line and a signal processing circuit 656 of FIG. 57, including a signal processing circuit 661 is switched to the noise removal processing.

図63において、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Bボタンコマンド列643の中のノイズ除去コマンドに応じて、信号線の選択状態を、図63に実線で示すように切り換え、これにより、信号処理として、ノイズ除去処理が行われる。 In Figure 63, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519 in response to the noise removing command in the B button command sequence 643, the selection state of the signal line, FIG. 63 to switching as indicated by the solid line, by which, as the signal processing, noise reduction processing is performed.

なお、図63において、点線で示す信号線は、配線されているが、現在の信号処理回路661による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 63, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the present signal processing circuit 661.

また、図63では、図57における走査線変換回路521Aおよび521B、並びに切換回路662乃至665の図示を省略してある。 Further, in FIG. 63, it is not shown in the scanning line conversion circuit 521A and 521B and switching circuit 662 through 665, in FIG. 57.

図63の信号処理回路656では、そこに入力される、クラス分類適応処理の第1の画像データを、そのS/Nの向上した、クラス分類適応処理の第2の画像データに変換する2次元ノイズ除去処理と3次元ノイズ除去処理が行われ、さらに、その2次元ノイズ除去処理の処理結果と、3次元ノイズ除去処理の処理結果とを、画像の動きに応じて加算することにより、最終的な信号処理結果としての高S/Nの画像データを得るノイズ除去処理が行われる。 In the signal processing circuit 656 in FIG. 63, is input thereto, the first image data of the classification adaptive processing, and improvement of the S / N, 2-dimensional to be converted to second image data of the classification adaptive processing noise removal processing and the three-dimensional noise reduction process is performed further, and the processing result of the two-dimensional noise removing processing, a processing result of the three-dimensional noise removal process, by adding in accordance with the movement of the image, the final noise removal processing is performed to obtain an image data of a high S / N as a result of signal processing.

図63において、信号処理回路656に入力された画像データは、フレームメモリ523、並びに信号処理回路661の端子io1およびio2に供給される。 In Figure 63, image data input to the signal processing circuit 656 is supplied to a terminal io1 and io2 of the frame memory 523, and the signal processing circuit 661.

フレームメモリ523は、そこに供給される画像データを記憶することにより、1フレーム(またはフィールド)分だけ遅延して、信号処理回路661の端子io2'に供給する。 Frame memory 523, by storing the image data supplied thereto, and only one frame (or field) delay, and it supplies the terminal io2 'signal processing circuit 661.

ここで、端子io1およびio2に供給される画像データのフレームを、以下、適宜、現フレームという。 Here, a frame of image data supplied to the terminal io1 and io2, hereinafter referred to as the current frame. また、フレームメモリ523から端子io2'に供給される、現フレームの1フレーム前のフレームを、前フレームという。 Also, it supplied from the frame memory 523 to the terminal io2 ', the one frame before the current frame, as the previous frame.

端子io1に供給された現フレームの画像データは、クラス分類回路511A、遅延選択回路512A、およびライン遅延回路517に供給される。 Image data of the current frame supplied to the terminal io1, the classification circuit 511A, supplied delay selection circuit 512A, and the line delay circuit 517. また、端子io2に供給された現フレームの画像データは、クラス分類回路511Bおよび遅延選択回路512Bに供給される。 The image data of the current frame supplied to the terminal io2 is supplied to a classification circuit 511B and the delay selecting circuit 512B. さらに、端子io2'に供給された前フレームの画像データも、クラス分類回路511Bおよび遅延選択回路512Bに供給される。 Further, the image data of the previous frame supplied to the terminal io2 'is also supplied to the class classification circuit 511B and the delay selecting circuit 512B.

ライン遅延回路517は、そこに供給される現フレームの画像データを、1乃至数ライン分だけ遅延して、クラス分類回路511Aおよび511B、並びに遅延選択回路512Aおよび512Bに供給する。 Line delay circuit 517 supplies the image data of the current frame supplied thereto, delayed by 1 to several lines, classification circuit 511A and 511B, and the delay selection circuits 512A and 512B.

クラス分類回路511Aは、端子io1からの現フレームの画像データと、ライン遅延回路517Aからの現フレームの画像データとからクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行う。 Classification circuit 511A includes an image data of the current frame from the terminal io1, select the class tap from the image data of the current frame from the line delay circuit 517A, based on the class taps, it performs the two-dimensional classification. そして、クラス分類回路511Aは、2次元クラス分類によって得られるクラスコードを、切換回路513Aを介して、係数出力回路515Aに供給する。 The classification circuit 511A includes a class code obtained by the two-dimensional classification, through the switching circuit 513A, and supplies to the coefficient output circuit 515A.

係数出力回路515Aが記憶している複数種類のタップ係数には、2次元ノイズ除去処理用のタップ係数も含まれており、係数出力回路515Aは、端子io5から供給されるBボタンコマンド列643の中のノイズ除去コマンドに応じて、2次元ノイズ除去処理用のタップ係数を選択している。 The plurality of types of tap coefficients coefficient output circuit 515A is stored, tap coefficients for the two-dimensional noise removal process is also included, the coefficient output circuit 515A is the B button command sequence 643 supplied from the terminal io5 depending in noise removal command, selects the tap coefficients for the two-dimensional noise removing processing. そして、係数出力回路515Aは、クラス分類回路511Aから、切換回路513Aを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516Aに供給する。 The coefficient output circuit 515A from the classification circuit 511A, reads out the tap coefficients of the class corresponding to the class code supplied via the switching circuit 513A, and supplies to the prediction computation circuit 516A.

また、遅延選択回路512Aは、端子io1からの現フレームの画像データと、ライン遅延回路517Aからの現フレームの画像データとから2次元予測タップを選択し、切換回路514Aを介して、予測演算回路516Aに供給する。 The delay selection circuit 512A selects the image data of the current frame from the terminal io1, the two-dimensional prediction tap from the image data of the current frame from the line delay circuit 517A, via the switching circuit 514A, the prediction arithmetic circuit supplied to the 516A.

予測演算回路516Aは、遅延選択回路512Aから切換回路514Aを介して供給される2次元予測タップとしての現フレームの画像データの複数の画素データと、係数出力回路515Aから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、2次元ノイズ除去処理が施された現フレームの画像データ(画素の画素値)を得て、積和演算回路518に出力する。 Predictive operation circuit 516A includes a plurality of pixel data of the image data of the current frame as a two-dimensional prediction taps supplied through the switch circuit 514A from the delay selection circuit 512A, and a tap coefficient supplied from the coefficient output circuit 515A using, it performs filter operation of equation (1) (two-dimensional filter operation), thereby to obtain image data of the current frame two-dimensional noise removal processing has been performed (pixel value of the pixel), product-sum operation circuit and outputs it to 518.

一方、クラス分類回路511Bは、端子io2からの現フレームの画像データ、ライン遅延回路517からの現フレームの画像データ、および端子io2'からの前フレームの画像データからクラスタップを選択し、そのクラスタップに基づいて、3次元クラス分類を行う。 On the other hand, the classification circuit 511B selects the current frame image data, the image data of the current frame from the line delay circuit 517, and the class taps from the previous frame image data from the terminal io2 'from the terminal io2, the class based on the tap, the three-dimensional classification. そして、クラス分類回路511Bは、3次元クラス分類によって得られるクラスコードを、切換回路513Bを介して、係数出力回路515Bに供給する。 The classification circuit 511B includes a class code obtained by the 3-dimensional classification, via the switch circuit 513B, and supplies the coefficient output circuit 515B.

さらに、クラス分類回路511Bは、端子io2からの現フレームの画像データ、ライン遅延回路517からの現フレームの画像データ、および端子io2'からの前フレームの画像データから、現フレームの画像データの動きを検出し、その動きを表す動き情報Kを、積和演算回路118に供給する。 Further, the class classification circuit 511B, the image data of the current frame from the terminal io2, image data of the current frame from the line delay circuit 517, and the image data of the previous frame from the terminal io2 ', the motion of the image data of the current frame It detects and supplies the motion information K indicating the movement, the product-sum operation circuit 118.

ここで、クラス分類回路511Bでの動きの検出方法としては、例えば、グラジェント法と称されるものを採用できる。 Here, as a method of detecting movement in the classification circuit 511B, for example, it can be adopted what is referred to as gradient method. グラジェント法は、動き領域中の画素についてのフレーム差と傾き情報(水平方向では、サンプリング差、垂直方向ではライン差)を用いて動き量を求めるものである。 Gradient method (in the horizontal direction, sampled difference in the vertical direction line difference) frame difference and the slope information for the pixels in the motion area and requests the motion amount using the.

即ち、グラジェント法によれば、フレーム差ΔF(現フレームの画素値から前フレームの対応画素値を減算したもの)と、サンプリング差ΔE(現フレームのある画素の値から、その左隣の画素の値を減算したもの)Eが求められる。 That is, according to the gradient method, a frame difference [Delta] F (minus the corresponding pixel values ​​of the previous frame from the pixel values ​​of the current frame), from the values ​​of the pixels of the sampling difference Delta] E (current frame, the left side pixel values ​​those obtained by subtracting) E is calculated. そして、フレーム差ΔFの絶対値|ΔF|の動き領域中の積算値Σ|ΔF|と、サンプリング差ΔEの絶対値|ΔE|の動き領域中の積算値Σ|ΔE|とから、動きの水平方向成分v1の大きさ|v1|が、式|v1|=Σ|ΔF|/Σ|ΔE|によって求められる。 Then, the absolute value of the frame difference [Delta] F | [Delta] F | integrated value in the motion area sigma | [Delta] F | and the absolute value of the sampling difference Delta] E | Delta] E | integrated value in the motion area sigma | Delta] E | from the horizontal movement the magnitude of the direction component v1 | v1 | has the formula | v1 | = Σ | ΔF | / Σ | determined by | Delta] E. なお、動きの水平方向成分v1の方向(右または左)は、フレーム差ΔFの極性とサンプリング差ΔEの極性との関係から求められる。 The direction (right or left) of the horizontal direction component v1 of the motion is determined from the relationship between the polarity of the sampling difference ΔE of the frame difference [Delta] F. 動きの垂直方向成分v2についても同様して求めることができる。 It can be determined by same for the vertical component v2 movement.

クラス分類回路511Bは、動きの水平方向成分v1と垂直方向成分v2とから、画像の動きを求め、例えば、その動きの大きさを、所定ビット数で表した情報を、動き情報Kとして、積和演算回路118に供給する。 Classification circuit 511B from the horizontal component v1 of the motion vertical component v2 Prefecture, obtains a motion image, for example, the size of the motion, the information representing a predetermined number of bits, as the motion information K, the product and it supplies the sum computation circuit 118.

なお、クラス分類回路511Bでは、上述したように、3次元クラス分類を行う他、動きの水平方向成分v1と垂直方向成分v2とを用いたクラス分類を行うことも可能である。 In the classification circuit 511B, as described above, except that the three-dimensional classification, it is also possible to carry out the classification using a horizontal component v1 of the movement and the vertical component v2.

係数出力回路515Bが記憶している複数種類のタップ係数には、3次元ノイズ除去処理用のタップ係数も含まれており、係数出力回路515Bは、端子io5から供給されるBボタンコマンド列643の中のノイズ除去コマンドに応じて、3次元ノイズ除去処理用のタップ係数を選択している。 The plurality of types of tap coefficients coefficient output circuit 515B is stored, the tap coefficients for the three-dimensional noise removing processing is also included, the coefficient output circuit 515B is the B button command sequence 643 supplied from the terminal io5 depending in noise removal command, selects the tap coefficients for the three-dimensional noise removing processing. そして、係数出力回路515Bは、クラス分類回路511Bから、切換回路513Bを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路516B供給する。 The coefficient output circuit 515B from the classification circuit 511B, read the tap coefficients of the class corresponding to the class code supplied via the switch circuit 513B, the prediction arithmetic circuit 516B supplies.

また、遅延選択回路512Bは、端子io2からの現フレームの画像データ、ライン遅延回路517からの現フレームの画像データ、および端子io2'からの前フレームの画像データから3次元予測タップを選択し、切換回路514Bを介して、予測演算回路516Bに供給する。 The delay selection circuit 512B selects a three-dimensional prediction tap from the image data of the previous frame from the image data of the current frame, and the terminal io2 'from the image data, line delay circuit 517 of the current frame from the terminal io2, via the switch circuit 514B, and it supplies the prediction computation circuit 516B.

予測演算回路516Bは、遅延選択回路512Bから切換回路514Bを介して供給される3次元予測タップとしての画像データの複数の画素データと、係数出力回路515Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(3次元フィルタ演算)を行い、これにより、3次元ノイズ除去処理が施された現フレームの画像データ(画素の画素値)を得て、積和演算回路518に出力する。 Predictive operation circuit 516B uses a plurality of pixel data of the image data as a 3-dimensional prediction taps supplied through the switch circuit 514B from the delay selection circuit 512B, and a tap coefficient supplied from the coefficient output circuit 515B, performs filter calculation (three-dimensional filter operations) of formula (1), thereby obtaining the image data of the current frame three-dimensional noise removal processing has been performed (pixel value of the pixel), outputs the product-sum operation circuit 518 to.

積和演算回路518は、予測演算回路516Aからの2次元ノイズ除去処理が施された現フレームの画像データと、予測演算回路516Bからの3次元ノイズ除去処理が施された現フレームの画像データとの重み付け加算を、クラス分類回路511Bから供給される動き情報Kを重み係数として行う。 Product-sum operation circuit 518, the image data of the current frame two-dimensional noise removal process has been performed from the predictive operation circuit 516A, and the image data of the current frame three-dimensional noise removing processing from prediction computation circuit 516B is performed a weighted addition, a motion information K supplied from the classification circuit 511B as the weighting factor.

即ち、2次元ノイズ除去処理または3次元ノイズ除去処理が施された現フレームの画像データを、それぞれP2またはP3とするとともに、動き情報Kが0乃至1の範囲の値をとするものとすると、積和演算回路518は、式P=K×P2+(1−K)×P3にしたがって、最終的なノイズ除去処理結果としての画像データPを求める。 That is, the image data of the current frame two-dimensional noise removing processing or three-dimensional noise removal processing has been performed, together with a P2 or P3 respectively, assuming that the motion information K is to a value in the range of 0 to 1, product-sum operation circuit 518, in accordance with the formula P = K × P2 + (1-K) × P3, obtains the image data P as the final noise removal processing results.

積和演算回路518が出力する画像データは、切換回路519を介して、端子io3から出力され、さらに、切換回路664および665(図57)を介して、SW回路655(図55)に供給される。 Image data sum operation circuit 518 is output via the switching circuit 519, is output from the terminal io3, further via the switching circuit 664 and 665 (FIG. 57) is supplied to the SW circuit 655 (FIG. 55) that.

次に、リモコン618(図49)のCボタンが操作され、これにより、図54に示した1次元空間解像度創造コマンドおよびノイズ除去コマンドが配置されたCボタンコマンド列644が、図55の受信部650で受信され、図57の信号処理回路656に供給された場合の処理について説明する。 Then, C button on the remote control 618 (FIG. 49) is operated, thereby, C button command sequence 644 one-dimensional spatial resolution creation command and a noise removal command shown is arranged in FIG. 54, the reception section of FIG. 55 received at 650, it will be described the processing when it is supplied to the signal processing circuit 656 in FIG. 57.

信号処理回路656(図57)に供給されたCボタンコマンド列644は、切換回路662乃至665、および信号処理回路661の端子io5に供給される。 The signal processing circuit 656 C button command sequence 644 supplied (Fig. 57) is supplied to the switch circuit 662 to 665, and the signal processing circuit 661 of the terminal IO5.

切換回路662は、Cボタンコマンド列644の中の1番目の1次元空間解像度創造コマンドに応じて、走査線変換回路512Aの出力を選択して、信号処理回路661の端子io1に接続する。 Switching circuit 662, in response to the first one-dimensional spatial resolution creation command in the C button command sequence 644 selects the output of the scanning line conversion circuit 512A, connected to the terminal io1 of the signal processing circuit 661. また、切換回路663は、Cボタンコマンド列644の中の1番目の1次元空間解像度創造コマンドに応じて、走査線変換回路512Bの出力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663, in response to the first one-dimensional spatial resolution creation command in the C button command sequence 644 selects the output of the scanning line conversion circuit 512B, is connected to the terminal io2 of the signal processing circuit 661 .

さらに、切換回路664は、Cボタンコマンド列644の中の1番目の1次元空間解像度創造コマンドに応じて、走査線変換回路512Bへの入力を選択して、信号処理回路661の端子io3を、走査線変換回路512Bに接続する。 Further, switching circuit 664, in response to the first one-dimensional spatial resolution creation command in the C button command sequence 644, select the input to the scanning line conversion circuit 512B, a terminal io3 of the signal processing circuit 661, connecting to scanning line conversion circuit 512B. また、切換回路665は、Cボタンコマンド列644の中の1番目の1次元空間解像度創造コマンドに応じて、信号処理回路661の端子io4を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665, in response to the first one-dimensional spatial resolution creation command in the C button command sequence 644, and selects the terminal io4 of the signal processing circuit 661 is connected to the SW circuit 655 (FIG. 55) .

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Cボタンコマンド列644の中の1番目の1次元空間解像度創造コマンドに応じて、信号線の選択状態を、1次元空間解像度創造処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B and switching circuit 519, in response to the first one-dimensional spatial resolution creation command in the C button command sequence 644, the selection state of the signal line switches to perform one-dimensional spatial resolution creation processing.

即ち、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Cボタンコマンド列644の中の1次元空間解像度創造コマンドに応じて、信号線の選択状態を、図61に実線で示したように切り換える。 That is, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519, in accordance with the one-dimensional spatial resolution creation command in the C button command sequence 644, the selection state of the signal line, It switched as indicated by a solid line in FIG. 61.

従って、信号処理回路656では、図61で説明したように、そこに入力される画像データを対象として、1次元解像度創造処理が行われ、その画像データの空間解像度を向上させた画像データが、端子io4から出力され、さらに、切換回路665(図57)を介して、SW回路655(図55)に供給される。 Therefore, the signal processing circuit 656, as described with reference to FIG. 61, as the target image data to be input thereto, a one-dimensional resolution creation processing is performed, the image data with improved spatial resolution of the image data, is output from the terminal io4, further via the switching circuit 665 (FIG. 57), is supplied to the SW circuit 655 (FIG. 55).

図56のフローチャートで説明したことから、図55のLSI606において、Cボタンコマンド列644の1番目の1次元空間解像度創造コマンドに対応する信号処理である1次元空間解像度創造処理が行われたとき、SW回路655は、信号処理回路656から供給される画像データを、フレームメモリ653に供給して記憶させる。 From what has been described with reference to the flowchart of FIG. 56, in LSI606 in FIG. 55, when the one-dimensional spatial resolution creation processing is a signal processing corresponding to the first one-dimensional spatial resolution creation command C button command sequence 644 is performed, SW circuit 655, the image data supplied from the signal processing circuit 656, and stores and supplies to the frame memory 653. さらに、SW回路654は、フレームメモリ654に記憶された画像データを、信号処理回路656に供給する。 Further, SW circuit 654, the image data stored in the frame memory 654, and supplies the signal processing circuit 656.

従って、信号処理回路656(図55)において1次元解像度創造処理が行われることにより得られた画像データは、切換回路665、フレームメモリ653、およびSW回路654を介して、信号処理回路656に再入力する。 Therefore, image data obtained by one-dimensional resolution creation processing in the signal processing circuit 656 (FIG. 55) is performed, the switching circuit 665 via a frame memory 653 and the SW circuit 654, the signal processing circuit 656 again input.

その後、信号処理回路656(図57)において、切換回路662は、Cボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、信号処理回路656への入力を選択して、信号処理回路661の端子io1に接続する。 Then, the signal processing circuit 656 (FIG. 57), the switching circuit 662, in accordance with the second noise removing command in the C button command sequence 644, selects the input to the signal processing circuit 656, the signal processing circuit to connect to the 661 of the terminal io1. また、切換回路663も、Cボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、信号処理回路656への入力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663 also, in accordance with the second noise removing command in the C button command sequence 644, selects the input to the signal processing circuit 656, connected to the terminal io2 of the signal processing circuit 661.

さらに、切換回路664も、Cボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、切換回路665への入力を選択して、信号処理回路661の端子io3を、切換回路665に接続する。 Further, the switching circuit 664 is also connected according to the second noise removing command in the C button command sequence 644, selects the input to the switching circuit 665, the terminal io3 of the signal processing circuit 661, the switching circuit 665 to. また、切換回路665も、Cボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、切換回路664の出力を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665 also, in accordance with the second noise removing command in the C button command sequence 644 selects the output of the switching circuit 664 is connected to the SW circuit 655 (FIG. 55).

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Cボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B and switching circuit 519, in response to the second noise removing command in the C button command sequence 644, the signal line the selected state is switched to the noise removal processing.

即ち、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Cボタンコマンド列644の中のノイズ除去コマンドに応じて、信号線の選択状態を、図63に実線で示したように切り換える。 That is, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519 in response to the noise removing command in the C button command sequence 644, the selection state of the signal line, in FIG. 63 It switched as indicated by a solid line.

従って、信号処理回路656では、図63で説明したように、そこに再入力される、1次元空間解像度創造処理によって空間解像度が向上した画像データを対象として、ノイズ除去処理が行われ、その画像データのS/Nを向上させた画像データが、端子io3から出力され、さらに、切換回路664および665(図57)を介して、SW回路655(図55)に供給される。 Therefore, the signal processing circuit 656, as described with reference to FIG. 63, is re-entered therein, as target image data with improved spatial resolution by one-dimensional spatial resolution creation processing, noise reduction processing is performed, the image image data with improved S / N ratio of the data is output from the terminal io3, further via the switching circuit 664 and 665 (FIG. 57), it is supplied to the SW circuit 655 (FIG. 55).

図56のフローチャートで説明したことから、図55のLSI606において、Cボタンコマンド列644の2番目、即ち、最後のノイズ除去コマンドに対応する信号処理であるノイズ除去処理が行われたとき、SW回路655は、信号処理回路656から供給される画像データを、フレームメモリ652を介して、合成部607(図48)に供給する。 From what has been described with reference to the flowchart of FIG. 56, in LSI606 in FIG. 55, the second C button command sequence 644, i.e., when the noise removal process has been performed as a signal processing corresponding to the last noise removal command, SW circuit 655, the image data supplied from the signal processing circuit 656 through the frame memory 652, and supplies to the synthesizing unit 607 (FIG. 48).

従って、合成部607には、1次元空間解像度創造処理によって空間解像度が向上し、かつノイズ除去処理によってS/Nが向上した画像データが供給されることになる。 Therefore, the synthesis unit 607, so that the improved spatial resolution by one-dimensional spatial resolution creation processing, and the image data with improved S / N by the noise removal process is supplied.

次に、リモコン618(図49)のDボタンが操作され、これにより、図54に示した2次元空間解像度創造コマンドおよびノイズ除去コマンドが配置されたDボタンコマンド列644が、図55の受信部650で受信され、図57の信号処理回路656に供給された場合の処理について説明する。 Then, D buttons on the remote control 618 (FIG. 49) is operated, thereby, D button command sequence 644 two-dimensional spatial resolution creation command and a noise removal command shown is arranged in FIG. 54, the reception section of FIG. 55 received at 650, it will be described the processing when it is supplied to the signal processing circuit 656 in FIG. 57.

信号処理回路656(図57)に供給されたDボタンコマンド列644は、切換回路662乃至665、および信号処理回路661の端子io5に供給される。 The signal processing circuit 656 D button command sequence 644 supplied (Fig. 57) is supplied to the switch circuit 662 to 665, and the signal processing circuit 661 of the terminal IO5.

切換回路662は、Dボタンコマンド列644の中の1番目の2次元空間解像度創造コマンドに応じて、走査線変換回路512Aの出力を選択して、信号処理回路661の端子io1に接続する。 Switching circuit 662, in accordance with the first two-dimensional spatial resolution creation command in the D button command sequence 644 selects the output of the scanning line conversion circuit 512A, connected to the terminal io1 of the signal processing circuit 661. また、切換回路663は、Dボタンコマンド列644の中の1番目の2次元空間解像度創造コマンドに応じて、走査線変換回路512Bの出力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663, in accordance with the first two-dimensional spatial resolution creation command in the D button command sequence 644 selects the output of the scanning line conversion circuit 512B, is connected to the terminal io2 of the signal processing circuit 661 .

さらに、切換回路664は、Dボタンコマンド列644の中の1番目の2次元空間解像度創造コマンドに応じて、走査線変換回路512Bへの入力を選択して、信号処理回路661の端子io3を、走査線変換回路512Bに接続する。 Further, switching circuit 664, in accordance with the first two-dimensional spatial resolution creation command in the D button command sequence 644, select the input to the scanning line conversion circuit 512B, a terminal io3 of the signal processing circuit 661, connecting to scanning line conversion circuit 512B. また、切換回路665は、Dボタンコマンド列644の中の1番目の2次元空間解像度創造コマンドに応じて、信号処理回路661の端子io4を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665, in accordance with the first two-dimensional spatial resolution creation command in the D button command sequence 644, and selects the terminal io4 of the signal processing circuit 661 is connected to the SW circuit 655 (FIG. 55) .

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Dボタンコマンド列644の中の1番目の2次元空間解像度創造コマンドに応じて、信号線の選択状態を、2次元空間解像度創造処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B and switching circuit 519, in response to the first two-dimensional spatial resolution creation command in the D button command sequence 644, the selection state of the signal line switches to perform two-dimensional spatial resolution creation processing.

即ち、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Dボタンコマンド列644の中の2次元空間解像度創造コマンドに応じて、信号線の選択状態を、図62に実線で示したように切り換える。 That is, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519, according to the two-dimensional spatial resolution creation command in the D button command sequence 644, the selection state of the signal line, It switched as indicated by a solid line in FIG. 62.

従って、信号処理回路656では、図62で説明したように、そこに入力される画像データを対象として、2次元解像度創造処理が行われ、その画像データの空間解像度を向上させた画像データが、端子io4から出力され、さらに、切換回路665(図57)を介して、SW回路655(図55)に供給される。 Therefore, the signal processing circuit 656, as described with reference to FIG. 62, as the target image data inputted thereto, the two-dimensional resolution creation processing is performed, the image data with improved spatial resolution of the image data, is output from the terminal io4, further via the switching circuit 665 (FIG. 57), is supplied to the SW circuit 655 (FIG. 55).

図56のフローチャートで説明したことから、図55のLSI606において、Dボタンコマンド列644の1番目の2次元空間解像度創造コマンドに対応する信号処理である2次元空間解像度創造処理が行われたとき、SW回路655は、信号処理回路656から供給される画像データを、フレームメモリ653に供給して記憶させる。 From what has been described with reference to the flowchart of FIG. 56, in LSI606 in FIG. 55, when the two-dimensional spatial resolution creation processing is a signal processing corresponding to the first two-dimensional spatial resolution creation command D button command sequence 644 is performed, SW circuit 655, the image data supplied from the signal processing circuit 656, and stores and supplies to the frame memory 653. さらに、SW回路654は、フレームメモリ654に記憶された画像データを、信号処理回路656に供給する。 Further, SW circuit 654, the image data stored in the frame memory 654, and supplies the signal processing circuit 656.

従って、信号処理回路656(図55)において2次元解像度創造処理が行われることにより得られた画像データは、切換回路665、フレームメモリ653、およびSW回路654を介して、信号処理回路656に再入力する。 Therefore, image data obtained by two-dimensional resolution creation processing in the signal processing circuit 656 (FIG. 55) is performed, the switching circuit 665 via a frame memory 653 and the SW circuit 654, the signal processing circuit 656 again input.

その後、信号処理回路656(図57)において、切換回路662は、Dボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、信号処理回路656への入力を選択して、信号処理回路661の端子io1に接続する。 Then, the signal processing circuit 656 (FIG. 57), the switching circuit 662, in accordance with the second noise removing command in the D button command sequence 644, selects the input to the signal processing circuit 656, the signal processing circuit to connect to the 661 of the terminal io1. また、切換回路663も、Dボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、信号処理回路656への入力を選択して、信号処理回路661の端子io2に接続する。 Also, switching circuit 663 also, in accordance with the second noise removing command in the D button command sequence 644, selects the input to the signal processing circuit 656, connected to the terminal io2 of the signal processing circuit 661.

さらに、切換回路664も、Dボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、切換回路665への入力を選択して、信号処理回路661の端子io3を、切換回路665に接続する。 Further, switching circuit 664 also, in accordance with the second noise removing command in the D button command sequence 644, selects the input to the switching circuit 665, the terminal io3 signal processing circuit 661, connected to the switching circuit 665 to. また、切換回路665も、Dボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、切換回路664の出力を選択して、SW回路655(図55)に接続する。 Also, switching circuit 665 also, in accordance with the second noise removing command in the D button command sequence 644 selects the output of the switching circuit 664 is connected to the SW circuit 655 (FIG. 55).

さらに、信号処理回路661(図59)の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Dボタンコマンド列644の中の2番目のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。 Further, the signal processing circuit 661 (FIG. 59) of the switching circuit 513A and 513B, switch circuits 514A and 514B and switching circuit 519, in response to the second noise removing command in the D button command sequence 644, the signal line the selected state is switched to the noise removal processing.

即ち、信号処理回路661の切換回路513Aおよび513B、切換回路514Aおよび514B、並びに切換回路519は、Dボタンコマンド列644の中のノイズ除去コマンドに応じて、信号線の選択状態を、図63に実線で示したように切り換える。 That is, the signal processing circuit 661 of the switching circuit 513A and 513B, switch circuits 514A and 514B, and the switching circuit 519 in response to the noise removing command in the D button command sequence 644, the selection state of the signal line, in FIG. 63 It switched as indicated by a solid line.

従って、信号処理回路656では、図63で説明したように、そこに再入力される、2次元空間解像度創造処理によって空間解像度が向上した画像データを対象として、ノイズ除去処理が行われ、その画像データのS/Nを向上させた画像データが、端子io3から出力され、さらに、切換回路664および665(図57)を介して、SW回路655(図55)に供給される。 Therefore, the signal processing circuit 656, as described with reference to FIG. 63, is re-entered therein, as target image data with improved spatial resolution by the two-dimensional spatial resolution creation processing, noise reduction processing is performed, the image image data with improved S / N ratio of the data is output from the terminal io3, further via the switching circuit 664 and 665 (FIG. 57), it is supplied to the SW circuit 655 (FIG. 55).

図56のフローチャートで説明したことから、図55のLSI606において、Dボタンコマンド列644の2番目、即ち、最後のノイズ除去コマンドに対応する信号処理であるノイズ除去処理が行われたとき、SW回路655は、信号処理回路656から供給される画像データを、フレームメモリ652を介して、合成部607(図48)に供給する。 From what has been described with reference to the flowchart of FIG. 56, in LSI606 in FIG. 55, the second D-button command sequence 644, i.e., when the noise removal process has been performed as a signal processing corresponding to the last noise removal command, SW circuit 655, the image data supplied from the signal processing circuit 656 through the frame memory 652, and supplies to the synthesizing unit 607 (FIG. 48).

従って、合成部607には、2次元空間解像度創造処理によって空間解像度が向上し、かつノイズ除去処理によってS/Nが向上した画像データが供給されることになる。 Therefore, the synthesis unit 607 improves the spatial resolution by a two-dimensional spatial resolution creation processing, and the image data with improved S / N will be supplied by the noise removal process.

以上のように、LSI606では、コマンド列が複数のコマンドを有している場合に、そのコマンド列の複数のコマンドとしての、例えば、第1および第2のコマンドのうちの第1のコマンドに応じて、内部構造を第1のコマンドに対応する第1の信号処理を実行する状態に切り換え、第1の信号処理を実行し、その後、さらに、コマンド列の複数のコマンドのうちの第2のコマンドに応じて、内部構造を第2のコマンドに対応する第2の信号処理を実行する状態に切り換え、第2の信号処理を実行する。 As described above, in the LSI 606, if the command sequence has a plurality of commands, as a plurality of commands of the command sequence, for example, according to a first command of the first and second command Te is switched to a state for performing the first signal processing corresponding to the internal structure in the first command, performing a first signal processing, then, further, a second command of the plurality of commands of the command sequence depending on, it switches the internal structure in a state to perform a second signal processing corresponding to the second command, performing a second signal processing. 従って、LSI606によれば、単一のハードウェアで、複数の機能を、容易に実現することができる。 Therefore, according to the LSI 606, a single hardware, a plurality of functions can be easily realized.

次に、本発明の第4実施の形態について説明する。 Next, a description will be given of a fourth embodiment of the present invention.

図64は、本発明の第4実施の形態としてのIC700の構成例を示している。 Figure 64 shows a configuration example of IC700 as a fourth embodiment of the present invention.

なお、図64のIC700は、例えば、図48のテレビジョン受像機において、LSI606に代えて用いることができる。 Incidentally, information IC 700 of FIG. 64, for example, in the television receiver of FIG. 48, can be used instead of the LSI 606.

IC700は、外部(例えば、図48のコントローラ613など)から供給される、1以上のコマンドからなるコマンド列を受信し、そのコマンド列の1以上のコマンドそれぞれに応じて、内部構造をリコンフィギュラブルに切り換える。 IC700 is external (e.g., such as the controller 613 of FIG. 48) is supplied from receiving a command sequence of one or more commands, depending on the respective one or more commands of the command sequence, the reconfigurable internal structure It switched to.

そして、コマンド列が、例えば、複数のコマンドからなる場合は、IC700は、そのコマンド列の第1のコマンドに対応する第1の信号処理を実行し、その後、さらに、コマンド列の第2のコマンドに対応する第2の信号処理を実行する。 Then, if the command sequence is, for example, composed of a plurality of commands, information IC 700 performs the first signal processing corresponding to the first command in the command string, then further second command in the command sequence performing a second signal processing corresponding to the.

即ち、図64において、クラス分類回路711A、遅延選択回路712A、切換回路713A,714A、係数出力回路715A、または予測演算回路716Aは、図59のクラス分類回路511A、遅延選択回路512A、切換回路513A,514A、係数出力回路515A、または予測演算回路516Aとそれぞれ同様に構成される。 That is, in FIG. 64, the classification circuit 711A, the delay selection circuit 712A, the switching circuit 713A, 714A, the coefficient output circuit 715A or predictive operation circuit 716A, the class classification circuit 511A of FIG. 59, the delay selection circuit 512A, the switching circuit 513A , 514A, the coefficient output circuit 515A or predictive computation circuit 516A respectively similarly configured.

また、図64において、クラス分類回路711B、遅延選択回路712B、切換回路713B,714B、係数出力回路715B、または予測演算回路716Bは、図59のクラス分類回路511B、遅延選択回路512B、切換回路513B,514B、係数出力回路515B、または予測演算回路516Bとそれぞれ同様に構成される。 Further, in FIG. 64, the classification circuit 711B, the delay selection circuit 712B, switch circuit 713B, 714B, the coefficient output circuit 715B or predictive operation circuit 716B, the class classification circuit 511B of FIG. 59, the delay selection circuit 512B, switch circuit 513B , 514B, the coefficient output circuit 515B or predictive operation circuit 516B respectively similarly configured.

さらに、図64において、ライン遅延回路717、積和演算回路718、または切換回路719も、図59のライン遅延回路517、積和演算回路518、または切換回路519とそれぞれ同様に構成される。 Further, in FIG. 64, line delay circuit 717, the product-sum operation circuit 718 or switch circuit 719, also, each configured similarly to the line delay circuit 517, the product-sum operation circuit 518 or the switching circuit 519, in FIG. 59.

但し、図59のクラス分類回路511Bは、1次元クラス分類、2次元クラス分類、および3次元クラス分類を行い、切換回路513Bは、その3つのクラス分類によって得られるクラスコードのうちのいずれかを選択して、係数出力回路515Bに出力するようになっていたが、図64では、クラス分類回路711Bは、2次元クラス分類と3次元クラス分類を行い、切換回路713Bは、その2つのクラス分類によって得られるクラスコードのうちのいずれかを選択して、係数出力回路715Bに出力するようになっている。 However, the classification circuit 511B in FIG. 59, 1-dimensional classification, the two-dimensional classification, and performs a three-dimensional classification, the switching circuit 513B is any of the class code obtained by the three classification select, it had adapted to output the coefficient output circuit 515B, in Figure 64, the classification circuit 711B performs 2-dimensional classification and 3D classification, switching circuit 713B, the two-class classification select one of the resulting class code by, and outputs the coefficient output circuit 715B.

また、図59の遅延選択回路512Bは、1次元予測タップ、2次元予測タップ、および3次元予測タップを構成し、切換回路514Bは、その3つの予測タップのうちのいずれかを選択して、予測演算回路516Bに供給するようになっていたが、図64では、遅延選択回路712Bは、2次元予測タップと3次元予測タップを構成し、切換回路714Bは、その2つの予測タップのうちのいずれかを選択して、予測演算回路716Bに供給するようになっている。 The delay selection circuit 512B of FIG. 59, one-dimensional predictive taps, constitute a two-dimensional predictive taps, and a three-dimensional prediction taps, switching circuit 514B is to select one of the three prediction taps, It had supplies it to the prediction computation circuit 516B, in Figure 64, the delay selection circuit 712B constitutes a two-dimensional predictive taps and the three-dimensional predictive taps, switching circuit 714B is of its two prediction tap select one, and supplies to the prediction computation circuit 716B.

受信部720は、外部(例えば、図48のコントローラ613など)から供給される、1以上のコマンドからなるコマンド列を受信し、IC700を構成するブロックのうちの必要なものに供給する。 Receiving unit 720, external (e.g., controllers 613, etc. in FIG. 48) is supplied from receiving a command sequence of one or more commands, and supplies the necessary of the blocks that make up the information IC 700.

フレームメモリ721には、IC700に入力される画像データが供給される。 The frame memory 721, the image data input to IC700 is supplied. フレームメモリ721は、そこに供給される画像データを記憶することにより、例えば、1フレーム分だけ遅延し、クラス分類回路711Bおよび遅延選択回路712Bに供給する。 Frame memory 721, by storing the image data supplied thereto, for example, by one frame delayed is supplied to the classification circuit 711B and the delay selecting circuit 712B.

なお、IC700に入力される画像データ(以下、適宜、入力画像データという)は、フレームメモリ721の他、クラス分類回路711A、遅延選択回路712A、および切換回路724にも供給されるようになっている。 The image data input to the information IC 700 (hereinafter, as appropriate, input of image data), other frame memory 721, the classification circuit 711A, so also supplied to the delay selection circuit 712A and the switching circuit 724, there.

ブロック化回路722には、切換回路724から画像データが供給されるようになっている。 A block forming circuit 722, the image data from the switching circuit 724 are supplied. ブロック化回路722は、そこに供給される画像データから、所定の点(画素)を中心(重心)とする長方形状のブロックを切り出し(抽出し)、切換回路726に出力する。 Block forming circuit 722, the image data supplied thereto, cut a rectangular block centered (centroid) of the given point (pixel) (extracted) to the switching circuit 726.

判定回路723には、予測演算回路716Bから、式(1)の予測演算を行うことにより得られる画像データが供給されるようになっている。 The determination circuit 723, the prediction arithmetic circuit 716B, the image data obtained by performing prediction calculation of the formula (1) is adapted to be supplied. 判定回路723は、予測演算回路716Bから供給される画像データについて、後述する判定処理を行い、その判定処理の結果に応じて、予測演算回路716Bからの画像データを、切換回路727に出力し、またはIC700における処理結果として、外部に出力する。 Judging circuit 723, the image data supplied from the predictive computation circuit 716B, performs determination processing to be described later, according to the result of the determination process, the image data from the predictive operation circuit 716B, and outputs to the switch circuit 727, or as a processing result of information IC 700, and outputs to the outside.

切換回路724には、入力画像データと、切換回路725が出力する画像データとが供給されるようになっている。 The switching circuit 724, the input image data, the image data outputted from the switching circuit 725 are supplied. 切換回路724は、受信部720から供給されるコマンド列に応じて、入力画像データ、または切換回路725が出力する画像データを選択し、ブロック化回路722に出力する。 Switching circuit 724, in response to a command string supplied from the receiving unit 720, selects the image data to the input image data or switching circuit 725, and outputs, and outputs the blocking circuit 722.

また、切換回路724は、受信部720から供給されるコマンド列に応じて、そこに供給される入力画像データを、切換回路725に出力する。 Also, switching circuit 724, in response to a command string supplied from the receiver 720, the input image data supplied thereto, and outputs to the switch circuit 725.

切換回路725には、上述したように、切換回路724が出力する画像データが供給される他、切換回路719が出力する画像データも供給されるようになっている。 The switching circuit 725, as described above, except that the image data output from the switching circuit 724 is supplied, and the image data output from the switching circuit 719 is also designed to be supplied. 切換回路725は、受信部720から供給されるコマンド列に応じて、切換回路724が出力する画像データを、切換回路726に供給する。 Switching circuit 725, in response to a command string supplied from the reception unit 720, the image data outputted from the switching circuit 724 supplies the switching circuit 726.

また、切換回路725は、受信部720から供給されるコマンド列に応じて、切換回路724または726のうちのいずれかを選択し、選択した方に対して、切換回路719から供給される画像データを出力する。 Also, switching circuit 725, in response to a command string supplied from the receiving unit 720, selects one of the switching circuit 724 or 726 for better choice, the image data supplied from the switching circuit 719 to output.

切換回路726は、受信部720から供給されるコマンド列に応じて、ブロック化回路722から供給される画像データ、または切換回路725から供給される画像データのうちのいずれかを選択し、クラス分類回路711Bおよび遅延選択回路712Bに供給する。 Switching circuit 726, in response to a command string supplied from the receiving unit 720, selects one of the image data supplied from the image data or switching circuit 725, is supplied from the blocking circuit 722, the classification supplied to the circuit 711B and the delay selecting circuit 712B.

切換回路727には、ライン遅延回路717が出力する画像データと、判定回路723が出力する画像データとが供給されるようになっている。 The switching circuit 727, the image data line delay circuit 717 is output, the image data judgment circuit 723 outputs are to be supplied. 切換回路727は、受信部720から供給されるコマンド列に応じて、ライン遅延回路717からの画像データ、または判定回路723からの画像データのうちのいずれかを選択し、クラス分類回路711Bおよび遅延選択回路712Bに出力する。 Switching circuit 727, in response to a command string supplied from the receiving unit 720, the image data or select one of the image data from the judging circuit 723, from the line delay circuit 717, the classification circuit 711B and delay and outputs it to the selection circuit 712B.

次に、図65は、図64の受信部720が外部から受信し、IC700の必要なブロックに供給するコマンド列を構成するコマンドの例を示している。 Next, FIG. 65, the reception unit 720 of FIG. 64 is received from the outside, an example of a command to configure the command sequence to be supplied to the necessary blocks of information IC 700.

第4実施の形態では、コマンドとして、例えば、図65上側に示すような、「Kaizodo 1dimentional」、「Kaizodo 2dimentional」、「Kaizodo 3dimentional」、「Zoom ver1」、「Zoom ver2」などが用意されている。 In the fourth embodiment, as a command, for example, FIG as shown in 65 above, "Kaizodo 1dimentional", "Kaizodo 2dimentional", "Kaizodo 3dimentional", "Zoom ver1" and "Zoom ver2" is prepared .

コマンド「Kaizodo 1dimentional」、「Kaizodo 2dimentional」、または「Kaizodo 3dimentional」は、それぞれ、1次元空間解像度創造処理、2次元空間解像度創造処理、または3次元空間解像度創造処理、即ち、1次元予測タップ、2次元予測タップ、または3次元予測タップを用いた空間解像度創造処理を要求するコマンドである。 Command "Kaizodo 1dimentional", "Kaizodo 2dimentional", or "Kaizodo 3dimentional", respectively, one-dimensional spatial resolution creation processing, two-dimensional spatial resolution creation processing, or three-dimensional spatial resolution creation processing, i.e., one-dimensional predictive taps, 2 a command requesting the spatial resolution creation processing using the dimension prediction tap or three-dimensional prediction taps.

また、コマンド「Zoom ver1」は、ある一定倍率の拡大を行うリサイズ処理を繰り返し行う(再帰的に行う)ことで、所望の倍率に拡大した画像データを得る拡大処理を要求するコマンドである。 The command "Zoom ver1", by repeating the resize process for enlarging a certain ratio (recursively performed), a command for requesting the enlargement process of obtaining the image data obtained by enlarging a desired magnification. さらに、コマンド「Zoom ver2」は、所望の倍率の拡大を行うリサイズ処理を1回だけ行うことで、その所望の倍率に拡大した画像データを得る拡大処理を要求するコマンドである。 Further, the command "Zoom ver2" is, by performing only once the resizing process for expansion of a desired magnification, a command for requesting the enlargement process of obtaining the image data expanded to the desired magnification.

ここで、コマンド「Zoom ver1」に対応する拡大処理を、以下、適宜、再帰的拡大処理という。 Here, the enlargement process corresponding to the command "Zoom ver1", hereinafter referred to as a recursive expansion process. また、コマンド「Zoom ver2」に対応する拡大処理を、以下、適宜、1回拡大処理という。 Moreover, the enlargement process corresponding to the command "Zoom ver2", hereinafter referred to as once enlargement process.

受信部720は、以上のようなコマンドの1以上からなるコマンド列を、外部から受信し、IC700の必要なブロックに供給する。 Receiving unit 720, a command sequence of one or more commands as described above, it received from the outside, and supplies the required blocks of information IC 700.

即ち、受信部720は、例えば、図65下側の左に示すように、1つのコマンド「Kaizodo 2dimentional」からなるコマンド列を、外部から受信し、IC700の必要なブロックに供給する。 That is, the receiving unit 720, for example, as shown in the left of FIG. 65 lower, a command string consisting of one command "Kaizodo 2dimentional", received from the outside, and supplies the required blocks of information IC 700.

また、受信部720は、例えば、図65下側の右に示すように、2つのコマンド「Kaizodo 2dimentional」と「Zoom ver1」からなるコマンド列を、外部から受信し、IC700の必要なブロックに供給する。 The receiving unit 720 is, for example, as shown in the right of FIG. 65 below, a two commands "Kaizodo 2dimentional" command string consisting of "Zoom ver1", received from the outside, supplying the required blocks of IC700 to.

次に、図66は、図64の係数出力部715Aの構成例を示している。 Next, FIG. 66 shows a configuration example of a coefficient output unit 715A of FIG. 64.

図66では、係数出力部715Aは、係数メモリ群731と選択部732で構成されている。 In Figure 66, the coefficient output unit 715A is configured by the coefficient memory group 731 and the selection unit 732.

係数メモリ群731は、複数の係数メモリで構成され、各係数メモリには、あらかじめ行われた学習により求められた1次元空間解像度創造処理用のタップ係数、2次元空間解像度創造処理用のタップ係数、3次元空間解像度創造処理用のタップ係数、画像のサイズを各種の倍率にリサイズするリサイズ処理用のタップ係数が記憶されている。 Coefficient memory group 731 is constituted by a plurality of coefficient memory, each coefficient memory, the tap coefficients of the one-dimensional spatial resolution creation processing obtained by learning performed in advance, the tap coefficients for the two-dimensional spatial resolution creation processing , the tap coefficients for the 3-dimensional spatial resolution creation processing, the tap coefficients for resizing to resize the size of the image in a variety of magnifications are stored.

そして、係数メモリ群731の各係数メモリには、図64のクラス分類回路711Aから切換回路713Aを介してクラスコードが供給される。 To each coefficient memory coefficient memory group 731, a class code is supplied via the switching circuit 713A from the classification circuit 711A of FIG. 64. 各係数メモリは、そこに供給されるクラスコードに対応するクラスのタップ係数を読み出し、選択部732に出力する。 Each coefficient memory reads the tap coefficient of a class corresponding to the class code supplied thereto, and outputs to the selection unit 732.

選択部732には、上述したように、係数メモリ群731の各係数メモリから読み出されたタップ係数が供給される他、受信部720からのコマンド列も供給される。 The selection unit 732, as described above, except that the tap coefficients read out from the coefficient memory coefficient memory group 731 is supplied, the command sequence from the receiving unit 720 is also supplied. 選択部732は、受信部211から供給されるコマンド列に応じて、係数メモリ群731の各係数メモリから供給されるタップ係数のうちのいずれかを選択し、予測演算回路716Aに供給する。 Selecting unit 732, in response to a command string supplied from the receiving unit 211, selects one of the tap coefficients supplied from the coefficient memory coefficient memory group 731, and supplies the prediction computation circuit 716A.

なお、図64の係数出力部715Bも、図66の係数出力回路715Aと同様に構成される。 The coefficient output section 715B of FIG. 64 is also configured similarly to the coefficient output circuit 715A of FIG. 66. 但し、係数出力部715Aと715Bを構成する係数メモリ群731の係数メモリは、同一である必要はない。 However, the coefficient memory coefficient memory group 731 constituting the coefficient output portion 715A and 715B need not be the same. 即ち、係数出力部715Aと715Bには、一部異なる、またはすべて異なる種類のタップ係数を記憶させておくことができる。 That is, the coefficient output unit 715A and 715B, may be memorized partly different, or all different kinds of tap coefficients.

次に、図67のフローチャートを参照して、外部から、1つのコマンド「Kaizodo 1dimentional」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 67, from the outside, when the command sequence composed of one command "Kaizodo 1dimentional" is transmitted, the processing of IC700 in FIG. 64 will be described.

まず、ステップS701において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS702に進む。 First, in step S701, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S702.

ステップS702では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS703に進む。 In step S702, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S703.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Kaizodo 1dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 1dimentional」に対応する1次元空間解像度創造処理を行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, switching circuit 719, and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Kaizodo 1dimentional", the signal line switching of the selected state, to perform one-dimensional spatial resolution creation processing corresponding to the command "Kaizodo 1dimentional".

図68は、信号線の選択状態を、1次元空間解像度創造処理を行うように切り換えたIC700を示している。 Figure 68, the selection state of the signal line and a IC700 is switched to perform one-dimensional spatial resolution creation processing.

図68において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Kaizodo 1dimentional」に応じて、信号線の選択状態を、図68に実線で示すように切り換え、これにより、信号処理として、1次元空間解像度創造処理が行われる。 In Figure 68, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Kaizodo 1dimentional", selection signal line state, switching as indicated by the solid line in FIG. 68, thereby, as a signal processing, one-dimensional spatial resolution creation processing is performed.

なお、図68において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 68, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図68のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第2の画像データとしての高解像度の画像データを得る1次元空間解像度創造処理が行われる。 In information IC 700 of FIG. 68, the high resolution of the input image data input to the information IC 700, as the first image data of the classification adaptive processing, and to improve its spatial resolution, as the second image data of the classification adaptive processing one-dimensional spatial resolution creation processing for obtaining the image data is performed.

以下、図67のフローチャートのステップS703以降の処理は、図68に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S703 and subsequent flowchart of FIG. 67 is performed in IC700 internal structure is switched as shown in FIG. 68.

即ち、ステップS703では、クラス分類適応処理の第2の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの1つが、注目画素として選択され、ステップS704に進む。 That is, in step S703, among the pixels constituting the high-resolution image data as the second image data for classification adaptive processing, one have not been set as the pixel of interest, is selected as a target pixel, the process proceeds to step S704.

ステップS704では、クラス分類回路711Aは、クラス分類適応処理の第1の画像データとしての入力画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、1次元クラス分類を行う。 In step S704, the classification circuit 711A from the input image data as the first image data of the classification adaptive processing, select class taps for the pixel of interest, based on the class taps, performs the one-dimensional classification . そして、クラス分類回路711Aは、1次元クラス分類によって得られるクラスコードを、切換回路713Aを介して、係数出力回路715Aに供給し、ステップS704からS705に進む。 The classification circuit 711A includes a class code obtained by the one-dimensional classification, through the switching circuit 713A, and supplies to the coefficient output circuit 715A, the process proceeds from step S704 to S705.

係数出力回路715Aは、受信部720から供給されるコマンド列を構成する1つのコマンド「Kaizodo 1dimentional」に応じて、図66で説明した複数種類のタップ係数のうちの、1次元空間解像度創造処理用のタップ係数を選択している。 Coefficient output circuit 715A in response to one command which constitutes the command string supplied from the receiver 720 'Kaizodo 1dimentional ", among the plurality of types of tap coefficients described in FIG. 66, one-dimensional spatial resolution creation processing We have selected the tap coefficients. そして、係数出力回路715Aは、ステップS705において、その選択しているタップ係数のうちの、クラス分類回路711Aから切換回路713Aを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路716Aに供給して、ステップS706に進む。 The coefficient output circuit 715A, at step S705, the by reading the tap coefficients of the class corresponding to the one of the selected and has tap coefficients, the class code supplied via the switching circuit 713A from the classification circuit 711A acquired, and supplies the prediction computation circuit 716A, the flow proceeds to step S706.

ステップS706では、遅延選択回路712Aは、クラス分類適応処理の第1の画像データとしての入力画像データから、注目画素についての1次元予測タップを選択し、切換回路714Aを介して、予測演算回路716Aに供給して、ステップS707に進む。 At step S706, the delay selection circuit 712A from the input image data as the first image data of the classification adaptive processing, select a one-dimensional prediction taps for the pixel of interest, through the switching circuit 714A, the prediction arithmetic circuit 716A is supplied to, the process proceeds to step S707.

ステップS707では、予測演算回路716Aは、遅延選択回路712Aから切換回路714Aを介して供給される1次元予測タップと、係数出力回路715Aから供給されるタップ係数とを用いて、式(1)のフィルタ演算(1次元フィルタ演算)を行い、これにより、第1の画像データよりも空間解像度を向上させた第2の画像データの注目画素(の画素値)を得て出力する。 At step S707, the predictive operation circuit 716A uses a one-dimensional prediction taps supplied through the switch circuit 714A from the delay selection circuit 712A, and a tap coefficient supplied from the coefficient output circuit 715A, the formula (1) It performs filter operation (one-dimensional filter calculation), thereby to obtain a target pixel of the second image data with improved spatial resolution (pixel value) is output than the first image data.

従って、この場合、IC700は、1次元のタップ(予測タップ)を対象としてフィルタリングを行う1次元ディジタルフィルタとして機能することになる。 Therefore, in this case, information IC 700 will serve as a one-dimensional digital filter for filtering a one-dimensional tap (prediction tap) as a target.

予測演算回路716Aが出力する画像データは、切換回路719を介して、IC700の外部に出力される。 Image data predictive operation circuit 716A is output via the switching circuit 719 is output to the outside of the information IC 700.

そして、ステップS708に進み、注目画素のフレーム(以下、適宜、注目フレームという)を構成する画素すべてを、注目画素としたかどうかが判定される。 Then, the process proceeds to step S 708, the frame of the pixel of interest (hereinafter referred to as target frame) of all the pixels constituting the, whether a target pixel is determined. ステップS708において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS703に戻り、以下、同様の処理が繰り返される。 In step S 708, all the pixels constituting the frame of interest, yet, when it is determined not to be a pixel of interest, the process returns to step S703, and similar processing is repeated.

また、ステップS708において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。 Further, in step S 708, if all the pixels constituting the frame of interest, is determined to be a pixel of interest, the process ends.

なお、IC700に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップS703乃至S708の処理が繰り返される。 Incidentally, with respect to information IC 700, if the input image data of the next frame of the frame of interest is supplied, the frame, a new, as the frame of interest, the processing of steps S703 through S708 are repeated.

次に、図69のフローチャートを参照して、外部から、1つのコマンド「Kaizodo 2dimentional」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 69, from the outside, when the command sequence composed of one command "Kaizodo 2dimentional" is transmitted, the processing of IC700 in FIG. 64 will be described.

まず、ステップS711において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS712に進む。 First, in step S711, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S712.

ステップS712では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS713に進む。 In step S712, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S713.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Kaizodo 2dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する2次元空間解像度創造処理を行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, switching circuit 719, and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Kaizodo 2dimentional", the signal line switching of the selected state, to perform two-dimensional spatial resolution creation processing corresponding to the command "Kaizodo 2dimentional".

図70は、信号線の選択状態を、2次元空間解像度創造処理を行うように切り換えたIC700を示している。 Figure 70, the selection state of the signal line and a two-dimensional spatial resolution creation processing IC700 is switched to perform.

図70において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Kaizodo 2dimentional」に応じて、信号線の選択状態を、図70に実線で示すように切り換え、これにより、信号処理として、2次元空間解像度創造処理が行われる。 In Figure 70, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Kaizodo 2dimentional", selection signal line state, switching as indicated by the solid line in FIG. 70, thereby, as a signal processing, two-dimensional spatial resolution creation processing is performed.

なお、図70において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 70, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図70のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第2の画像データとしての高解像度の画像データを得る2次元空間解像度創造処理が行われる。 In information IC 700 of FIG. 70, the high resolution of the input image data input to the information IC 700, as the first image data of the classification adaptive processing, and to improve its spatial resolution, as the second image data of the classification adaptive processing two-dimensional spatial resolution creation processing is performed to obtain the image data of.

以下、図69のフローチャートのステップS713以降の処理は、図70に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S713 and subsequent flowchart of FIG. 69 is performed in IC700 internal structure is switched as shown in FIG. 70.

即ち、ステップS713では、クラス分類適応処理の第2の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの1つが、注目画素として選択され、ステップS714に進む。 That is, in step S713, among the pixels constituting the high-resolution image data as the second image data for classification adaptive processing, one have not been set as the pixel of interest, is selected as a target pixel, the process proceeds to step S714.

ステップS714では、クラス分類回路711Aは、クラス分類適応処理の第1の画像データとしての入力画像データと、ライン遅延回路717がその入力画像データを遅延して出力する画像データとから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行う。 In step S714, the classification circuit 711A from the input image data as the first image data of the classification adaptive processing, the line delay circuit 717 and the image data output by delaying the input image data, the pixel of interest select the class tap, based on the class taps, it performs the two-dimensional classification. そして、クラス分類回路711Aは、2次元クラス分類によって得られるクラスコードを、切換回路713Aを介して、係数出力回路715Aに供給し、ステップS714からS715に進む。 The classification circuit 711A includes a class code obtained by the two-dimensional classification, through the switching circuit 713A, and supplies to the coefficient output circuit 715A, the process proceeds from step S714 to S715.

係数出力回路715Aは、受信部720から供給されるコマンド列を構成する1つのコマンド「Kaizodo 2dimentional」に応じて、図66で説明した複数種類のタップ係数のうちの、2次元空間解像度創造処理用のタップ係数を選択している。 Coefficient output circuit 715A in response to one command which constitutes the command string supplied from the receiver 720 'Kaizodo 2dimentional ", among the plurality of types of tap coefficients described in FIG. 66, for 2-dimensional spatial resolution creation processing We have selected the tap coefficients. そして、係数出力回路715Aは、ステップS715において、その選択しているタップ係数のうちの、クラス分類回路711Aから切換回路713Aを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路716Aに供給して、ステップS716に進む。 The coefficient output circuit 715A in step S715, by reading a tap coefficient of a class corresponding to that of the selected and has tap coefficients, the class code supplied via the switching circuit 713A from the classification circuit 711A acquired, and supplies the prediction computation circuit 716A, the flow proceeds to step S716.

ステップS716では、遅延選択回路712Aは、クラス分類適応処理の第1の画像データとしての入力画像データと、ライン遅延回路717がその入力画像データを遅延して出力する画像データとから、注目画素についての2次元予測タップを選択し、切換回路714Aを介して、予測演算回路716Aに供給して、ステップS717に進む。 In step S716, the delay selection circuit 712A from the input image data as the first image data of the classification adaptive processing, the line delay circuit 717 and the image data output by delaying the input image data, the pixel of interest select two-dimensional prediction tap, through the switching circuit 714A, and supplies to the prediction computation circuit 716A, the flow proceeds to step S717.

ステップS717では、予測演算回路716Aは、遅延選択回路712Aから切換回路714Aを介して供給される2次元予測タップと、係数出力回路715Aから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、第1の画像データよりも空間解像度を向上させた第2の画像データの注目画素(の画素値)を得て出力する。 In step S717, the prediction computation circuit 716A uses a two-dimensional prediction taps supplied through the switch circuit 714A from the delay selection circuit 712A, and a tap coefficient supplied from the coefficient output circuit 715A, the formula (1) It performs filter operation (two-dimensional filter operation), thereby to obtain a target pixel of the second image data with improved spatial resolution (pixel value) is output than the first image data.

予測演算回路716Aが出力する画像データは、切換回路719を介して、IC700の外部に出力される。 Image data predictive operation circuit 716A is output via the switching circuit 719 is output to the outside of the information IC 700.

従って、この場合、IC700は、2次元のタップ(予測タップ)を対象としてフィルタリングを行う2次元ディジタルフィルタとして機能することになる。 Therefore, in this case, information IC 700 will serve as a two-dimensional digital filter for filtering a two-dimensional Tap (prediction tap) as a target.

そして、ステップS718に進み、注目画素のフレーム(注目フレーム)を構成する画素すべてを、注目画素としたかどうかが判定される。 Then, the process proceeds to step S718, all the pixels constituting the frame (target frame) of the target pixel, whether the pixel of interest is determined. ステップS718において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS713に戻り、以下、同様の処理が繰り返される。 In step S718, all the pixels constituting the frame of interest, yet, when it is determined not to be a pixel of interest, the process returns to step S713, and similar processing is repeated.

また、ステップS718において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。 Further, in step S718, if all the pixels constituting the frame of interest, is determined to be a pixel of interest, the process ends.

なお、IC700に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップS713乃至S718の処理が繰り返される。 Incidentally, with respect to information IC 700, if the input image data of the next frame of the frame of interest is supplied, the frame, a new, as the frame of interest, the processing of steps S713 through S718 are repeated.

次に、図71のフローチャートを参照して、外部から、1つのコマンド「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 71, from the outside, when the command sequence composed of one command "Kaizodo 3dimentional" is transmitted, the processing of IC700 in FIG. 64 will be described.

まず、ステップS721において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS722に進む。 First, in step S721, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S722.

ステップS722では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS723に進む。 In step S722, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S723.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Kaizodo 3dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 3dimentional」に対応する3次元空間解像度創造処理を行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, switching circuit 719, and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Kaizodo 3dimentional", the signal line switching of the selected state, to perform three-dimensional spatial resolution creation processing corresponding to the command "Kaizodo 3dimentional".

図72は、信号線の選択状態を、3次元空間解像度創造処理を行うように切り換えたIC700を示している。 Figure 72 is a selected state of the signal line and a IC700 is switched to the three-dimensional spatial resolution creation processing.

図72において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Kaizodo 3dimentional」に応じて、信号線の選択状態を、図72に実線で示すように切り換え、これにより、信号処理として、3次元空間解像度創造処理が行われる。 In Figure 72, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Kaizodo 3dimentional", selection signal line state, switching as shown by a solid line in FIG. 72, by which, as the signal processing, three-dimensional spatial resolution creation processing is performed.

なお、図72において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 72, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図72のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第2の画像データとしての高解像度の画像データを得る3次元空間解像度創造処理が行われる。 In information IC 700 of FIG. 72, the high resolution of the input image data input to the information IC 700, as the first image data of the classification adaptive processing, and to improve its spatial resolution, as the second image data of the classification adaptive processing 3-dimensional spatial resolution creation processing is performed to obtain the image data of.

以下、図71のフローチャートのステップS723以降の処理は、図72に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S723 and subsequent flowchart of FIG. 71 is performed in IC700 internal structure is switched as shown in FIG. 72.

即ち、ステップS723では、クラス分類適応処理の第2の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの1つが、注目画素として選択され、ステップS724に進む。 That is, in step S723, among the pixels constituting the high-resolution image data as the second image data for classification adaptive processing, one have not been set as the pixel of interest, is selected as a target pixel, the process proceeds to step S724.

ステップS724では、クラス分類回路711Bは、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、3次元クラス分類を行う。 In step S724, the classification circuit 711B selects a class tap for the pixel of interest, based on the class tap, the three-dimensional classification.

ここで、図72では、クラス分類回路711Bには、クラス分類適応処理の第1の画像データとしての入力画像データが、切換回路724,725、および726を介して供給される。 In FIG. 72, the classification circuit 711B, the input image data as the first image data of the classification adaptive processing is supplied through the switching circuit 724, 725, and 726. さらに、クラス分類回路711Bには、入力画像データがライン遅延回路717で1乃至数ライン分だけ遅延され、切換回路727を介して供給される。 In addition, the classification circuit 711B, the input image data is delayed by one to several lines in the line delay circuit 717, it is supplied through the switching circuit 727. また、クラス分類回路711Bには、入力画像データがフレームメモリ721で1フレーム分だけ遅延されて供給される。 In addition, the classification circuit 711B, the input image data is supplied is delayed by one frame in the frame memory 721.

クラス分類回路711Bは、これらの画像データから、クラスタップを選択し、そのクラスタップに基づいて、3次元クラス分類を行う。 Classification circuit 711B from these image data, select the class tap, based on the class tap, the three-dimensional classification.

そして、クラス分類回路711Bは、3次元クラス分類によって得られるクラスコードを、切換回路713Bを介して、係数出力回路715Bに供給し、ステップS724からS725に進む。 The classification circuit 711B includes a class code obtained by the 3-dimensional classification, through the switching circuit 713B, and supplied to the coefficient output circuit 715B, the process proceeds from step S724 to S725.

係数出力回路715Bは、受信部720から供給されるコマンド列を構成する1つのコマンド「Kaizodo 3dimentional」に応じて、図66で説明した複数種類のタップ係数のうちの、3次元空間解像度創造処理用のタップ係数を選択している。 Coefficient output circuit 715B in response to one command which constitutes the command string supplied "Kaizodo 3dimentional" from the receiving unit 720, among the plurality of types of tap coefficients described in FIG. 66, for a three-dimensional spatial resolution creation processing We have selected the tap coefficients. そして、係数出力回路715Bは、ステップS725において、その選択しているタップ係数のうちの、クラス分類回路711Bから切換回路713Bを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路716Bに供給して、ステップS726に進む。 The coefficient output circuit 715B in step S725, by reading a tap coefficient of a class corresponding to that of the selected and has tap coefficients, the class code supplied through the switching circuit 713B from the classification circuit 711B acquired, and supplies the prediction computation circuit 716B, the flow proceeds to step S726.

ステップS726では、遅延選択回路712Bは、注目画素についての3次元予測タップを選択し、切換回路714Bを介して、予測演算回路716Bに供給して、ステップS727に進む。 In step S726, the delay selection circuit 712B selects a three-dimensional prediction taps for the pixel of interest, via a switching circuit 714B, and supplied to the prediction arithmetic circuit 716B, the flow proceeds to step S727.

ここで、図72では、遅延選択回路712Bには、クラス分類適応処理の第1の画像データとしての入力画像データが、切換回路724,725、および726を介して供給される。 In FIG. 72, the delay selection circuit 712B, the input image data as the first image data of the classification adaptive processing is supplied through the switching circuit 724, 725, and 726. さらに、遅延選択回路712Bには、入力画像データがライン遅延回路717で1乃至数ライン分だけ遅延され、切換回路727を介して供給される。 Further, the delay selection circuit 712B, the input image data is delayed by one to several lines in the line delay circuit 717, it is supplied through the switching circuit 727. また、遅延選択回路712Bには、入力画像データがフレームメモリ721で1フレーム分だけ遅延されて供給される。 Further, the delay selection circuit 712B, the input image data is supplied is delayed by one frame in the frame memory 721.

遅延選択回路712Bは、これらの画像データから、3次元予測タップを選択し、切換回路714Bを介して、予測演算回路716Bに供給する。 Delay selection circuit 712B from these image data, and select the 3-dimensional predictive taps, through the switching circuit 714B, and supplies the prediction computation circuit 716B.

ステップS727では、予測演算回路716Bは、遅延選択回路712Bから切換回路714Bを介して供給される3次元予測タップと、係数出力回路715Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(3次元フィルタ演算)を行い、これにより、第1の画像データよりも空間解像度を向上させた第2の画像データの注目画素(の画素値)を得て出力する。 In step S727, the prediction computation circuit 716B uses a three-dimensional prediction taps supplied through the switching circuit 714B from the delay selection circuit 712B, and a tap coefficient supplied from the coefficient output circuit 715B, the formula (1) It performs filter calculation (three-dimensional filter operation), thereby to obtain a target pixel of the second image data with improved spatial resolution (pixel value) is output than the first image data.

予測演算回路716Bが出力する画像データは、積和演算回路718および切換回路719を介して(バイパスして)、IC700の外部に出力される。 Image data predictive operation circuit 716B is output through the product-sum operation circuit 718 and the switching circuit 719 (bypassing) is output to the outside of the information IC 700.

従って、この場合、IC700は、3次元のタップ(予測タップ)を対象としてフィルタリングを行う3次元ディジタルフィルタとして機能することになる。 Therefore, in this case, information IC 700 will serve as a three-dimensional digital filter for filtering the target 3D taps (prediction tap).

そして、ステップS728に進み、注目画素のフレーム(注目フレーム)を構成する画素すべてを、注目画素としたかどうかが判定される。 Then, the process proceeds to step S728, all the pixels constituting the frame (target frame) of the target pixel, whether the pixel of interest is determined. ステップS728において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS723に戻り、以下、同様の処理が繰り返される。 In step S728, all the pixels constituting the frame of interest, yet, when it is determined not to be a pixel of interest, the process returns to step S723, and similar processing is repeated.

また、ステップS728において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。 Further, in step S728, if all the pixels constituting the frame of interest, is determined to be a pixel of interest, the process ends.

なお、IC700に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップS723乃至S728の処理が繰り返される。 Incidentally, with respect to information IC 700, if the input image data of the next frame of the frame of interest is supplied, the frame, a new, as the frame of interest, the processing of steps S723 through S728 are repeated.

次に、図73のフローチャートを参照して、外部から、2つのコマンド「Kaizodo 2dimentional」および「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 73, from the outside, when the command sequence composed of two commands "Kaizodo 2dimentional" and "Kaizodo 3dimentional" is transmitted, the processing of IC700 in FIG. 64 will be described.

まず、ステップS731において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS732に進む。 First, in step S731, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S732.

ステップS732では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS733に進む。 In step S732, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S733.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する2つのコマンド「Kaizodo 2dimentional」と「Kaizodo 3dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する2次元空間解像度創造処理を行うとともに、コマンド「Kaizodo 3dimentional」に対応する3次元空間解像度創造処理を行い、2次元空間解像度創造処理の結果得られる画像データと、3次元空間解像度創造処理の結果得られる画像データとを、動きに応じた重みで重み付け加算する処理(以下、適宜、適応的空間解像度創造処理という)を行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, switching circuit 719, and the switching circuit 724 through 727, the two constituting a command sequence commands and "Kaizodo 2dimentional" to "Kaizodo 3dimentional" in response, the selection state of the signal line, performs a two-dimensional spatial resolution creation processing corresponding to the command "Kaizodo 2dimentional" for 3-dimensional spatial resolution creation processing corresponding to the command "Kaizodo 3dimentional", two-dimensional spatial resolution creation and image data obtained as a result of the processing, the image data obtained as a result of the three-dimensional space resolution creation processing, processing for weighted addition with weighting in accordance with the motion (hereinafter referred to as adaptive spatial resolution creation processing) to perform It switched to.

図74は、信号線の選択状態を、適応的空間解像度創造処理を行うように切り換えたIC700を示している。 Figure 74, the selection state of the signal line and a IC700 is switched to perform adaptive spatial resolution creation processing.

図74において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する2つのコマンド「Kaizodo 2dimentional」と「Kaizodo 3dimentional」に応じて、信号線の選択状態を、図74に実線で示すように切り換え、これにより、信号処理として、適応的空間解像度創造処理が行われる。 In Figure 74, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to configuring the command sequence two commands as "Kaizodo 2dimentional" "Kaizodo 3dimentional" , the selection state of the signal line, switching as shown by a solid line in FIG. 74, by which, as the signal processing, adaptive spatial resolution creation processing is performed.

なお、図74において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 74, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図74のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第2の画像データとしての高解像度の画像データを得る2次元空間解像度創造処理と3次元空間解像度創造処理とが同時に行われる。 In information IC 700 of FIG. 74, the high resolution of the input image data input to the information IC 700, as the first image data of the classification adaptive processing, and to improve its spatial resolution, as the second image data of the classification adaptive processing two-dimensional spatial resolution creation processing for obtaining the image data of the the three-dimensional spatial resolution creation processing is performed at the same time. そして、2次元空間解像度創造処理の結果得られる画像データと、3次元空間解像度創造処理の結果得られる画像データとが、画像の動きに応じた重みで重み付け加算される。 Then, a two-dimensional spatial resolution creation processing resulting image data, the image data obtained as a result of the three-dimensional space resolution creation processing is weighted addition with weighting in accordance with the motion of the image.

以下、図73のフローチャートのステップS733以降の処理は、図74に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S733 and subsequent flowchart of FIG. 73 is performed in IC700 internal structure is switched as shown in FIG. 74.

即ち、ステップS733では、注目画素が選択され、ステップS734に進む。 That is, in step S733, the target pixel is selected, the flow proceeds to step S734.

ステップS734では、注目画素について、図69および図70で説明した2次元空間解像度創造処理と、図71および図72で説明した3次元空間解像度創造処理が行われる。 In step S734, the pixel of interest, a two-dimensional spatial resolution creation processing described in FIGS. 69 and 70, the three-dimensional spatial resolution creation processing described in FIGS. 71 and 72 are performed. そして、2次元空間解像度創造処理により得られる注目画素の画素値が、予測演算回路716Aから積和演算回路718に供給されるとともに、3次元空間解像度創造処理により得られる注目画素の画素値が、予測演算回路716Bから積和演算回路718に供給される。 Then, the pixel value of the pixel of interest obtained by the two-dimensional spatial resolution creation processing, is supplied from the predictive computation circuit 716A to the product-sum operation circuit 718, the pixel value of the pixel of interest obtained by the three-dimensional spatial resolution creation processing, supplied from the predictive computation circuit 716B to the product-sum operation circuit 718.

また、ステップS734では、クラス分類回路711Bが、第3実施の形態で説明した図59のクラス分類回路511Bにおける場合と同様にして、入力画像データの動きを検出し、その動きを表す動き情報Kを、積和演算回路718に供給する。 In step S734, the classification circuit 711B is, in the same manner as the case in the classification circuit 511B of FIG. 59 described in the third embodiment, detects motion of the input image data, the motion information K indicating the motion and it supplies the sum-of-products operation circuit 718.

その後、ステップS734からS735に進み、積和演算回路718は、予測演算回路716Aからの2次元空間解像度創造処理によって得られた注目画素の画素値と、予測演算回路716Bからの3次元空間解像度創造処理によって得られた注目画素の画素値との重み付け加算を、クラス分類回路711Bから供給される、注目画素に対応する入力画像データの画素の動き情報Kを重み係数として行う。 Thereafter, the flow advances from step S734 to S735, the product-sum operation circuit 718, the prediction arithmetic circuit and a pixel value obtained pixel of interest by two-dimensional spatial resolution creation processing from 716A, 3-dimensional spatial resolution creation from the prediction computation circuit 716B weighted sum of the pixel values ​​of the obtained pixel of interest by the processing, supplied from the classification circuit 711B, a motion information K of the pixel of the input image data corresponding to the pixel of interest as a weighting factor.

即ち、2次元空間解像度創造処理または3次元空間解像度創造処理によって得られた画素値を、それぞれP2またはP3とするとともに、動き情報Kが0乃至1の範囲の値をとするものとすると、積和演算回路718は、式P=K×P2+(1−K)×P3にしたがって、適応的空間解像度創造処理の結果としての画素値(注目画素の画素値)Pを求める。 That is, the pixel values ​​obtained by the two-dimensional spatial resolution creation processing, or three-dimensional spatial resolution creation processing, as well as the P2 or P3 respectively, assuming that the motion information K is to a value in the range of 0 to 1, the product sum operation circuit 718, in accordance with the formula P = K × P2 + (1-K) × P3, adaptive spatial pixel values ​​as a result of the resolution creation processing (the pixel value of the pixel of interest) is determined P.

積和演算回路718で求められた画素値は、切換回路719を介して、IC700の外部に出力される。 Pixel value obtained by the product-sum operation circuit 718 through the switching circuit 719 is output to the outside of the information IC 700.

そして、ステップS735からS736に進み、注目画素のフレーム(注目フレーム)を構成する画素すべてを、注目画素としたかどうかが判定される。 Then, the process proceeds from step S735 to S736, all the pixels constituting the frame (target frame) of the target pixel, whether the pixel of interest is determined. ステップS736において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS733に戻り、以下、同様の処理が繰り返される。 In step S736, all the pixels constituting the frame of interest, yet, when it is determined not to be a pixel of interest, the process returns to step S733, and similar processing is repeated.

また、ステップS736において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。 Further, in step S736, if all the pixels constituting the frame of interest, is determined to be a pixel of interest, the process ends.

なお、IC700に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップS733乃至S736の処理が繰り返される。 Incidentally, with respect to information IC 700, if the input image data of the next frame of the frame of interest is supplied, the frame, a new, as the frame of interest, the processing of steps S733 through S736 are repeated.

次に、図75のフローチャートを参照して、外部から、1つのコマンド「Zoom ver1」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 75, from the outside, when the command sequence composed of one command "Zoom ver1" is transmitted, the processing of IC700 in FIG. 64 will be described.

まず、ステップS741において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS742に進む。 First, in step S741, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S742.

ステップS742では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS743に進む。 In step S742, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S743.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Zoom ver1」に応じて、信号線の選択状態を、コマンド「Zoom ver1」に対応する再帰的拡大処理を行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Zoom ver1", the signal line the selected state is switched to perform recursive expansion process corresponding to the command "Zoom ver1".

図76は、信号線の選択状態を、再帰的拡大処理を行うように切り換えたIC700を示している。 Figure 76, the selection state of the signal line and a IC700 is switched to perform recursive expansion process.

図76において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Zoom ver1」に応じて、信号線の選択状態を、図76に実線で示すように切り換え、これにより、信号処理として、再帰的拡大処理が行われる。 In Figure 76, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Zoom ver1", selection signal line state, switching as indicated by the solid line in FIG. 76, thereby, as a signal processing, recursive expansion process is performed.

なお、図76において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 76, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図76のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その一部のブロックを、ユーザが要求する所望の(要求倍率)で倍率にリサイズした、クラス分類適応処理の第2の画像データとしてのサイズが拡大された画像データを得る再帰的拡大処理が行われる。 In information IC 700 of FIG. 76, the input image data input to the information IC 700, as the first image data of the classification adaptive processing, a part of the block, and resized to the magnification at the desired (request magnification) required by the user , recursive expansion processing to obtain an image data size of the second image data for classification adaptive processing has been scaled up.

なお、所望の倍率は、例えば、コマンド「Zoom ver1」のパラメータp1として、コマンド列に含まれるものとする。 Incidentally, the desired magnification can be, for example, as parameters p1 command "Zoom ver1", are intended to be included in the command sequence. さらに、コマンド列には、入力画像データを拡大するときに、その拡大の中心となる位置も、コマンド「Zoom ver1」のパラメータp2として含まれるものとする。 Further, the command sequence, when enlarging the input image data, the position of the center of the enlargement, to be included as a parameter p2 command "Zoom ver1".

以下、図75のフローチャートのステップS743以降の処理は、図76に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S743 and subsequent flowchart of FIG. 75 is performed in IC700 internal structure is switched as shown in FIG. 76.

即ち、ステップS743では、ブロック化回路722が、切換回路724を介して供給される入力画像データの拡大の対象となるブロックを抽出する。 That is, in step S743, the blocking circuit 722, extracts the block to be enlarged in the input image data supplied via the switching circuit 724.

即ち、ブロック化回路722は、受信部720から供給されるコマンド列に含まれるコマンド「Zoom ver1」のパラメータp1が表す倍率と、入力画像データのサイズとから、パラメータp1が表す倍率だけ拡大することによって、入力画像データのサイズとなるブロックのサイズ(以下、適宜、抽出サイズという)を認識する。 That is, the blocking circuit 722, from the magnification indicated by the parameter p1 commands "Zoom ver1" included in the command string supplied from the receiving unit 720, the size of the input image data, to expand by a factor representing the parameter p1 Accordingly, the size of the block serving as the size of the input image data (hereinafter referred to as extraction size) it recognizes. さらに、ブロック化回路722は、受信部720から供給されるコマンド列に含まれるコマンド「Zoom ver1」のパラメータp2が表す位置を中心(重心)として、抽出サイズのブロックの画像データを、入力画像データから抽出する。 Further, blocking circuit 722, a position that represents the parameter p2 command "Zoom ver1" included in the command string supplied from the receiving unit 720 as the center (center of gravity), the image data of the block of the extraction size, the input image data to extract from. なお、ここでは、例えば、ブロックの水平および垂直方向の両方を、パラメータp1が表す倍率で拡大するものとする。 Here, for example, it intended to expand both horizontal and vertical direction of the block, at the magnification indicated by the parameter p1.

抽出サイズのブロックの画像データは、ブロック化回路722から、切換回路726を介して、クラス分類回路711Bおよび遅延選択回路712Bに供給される。 Image data of the block of the extraction size from the blocking circuit 722 through the switching circuit 726 is supplied to a classification circuit 711B and the delay selecting circuit 712B.

その後、ステップS743からS744に進み、抽出サイズのブロックの画像データを拡大することにより得られる、クラス分類適応処理の第2の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの1つが、注目画素として選択され、ステップS745に進む。 Thereafter, the flow advances from step S743 to S744, is obtained by enlarging the image data of the block of the extraction size, among the pixels constituting the enlarged image data as the second image data for classification adaptive processing, as still subject pixel one of not but be selected as a target pixel, the process proceeds to step S745.

ステップS745では、クラス分類回路711Bは、ブロック化回路722から切換回路726を介して供給される抽出サイズのブロックの画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行う。 In step S745, the classification circuit 711B from the image data of the block of the extraction size supplied via the switching circuit 726 from the blocking circuit 722 selects the class tap for the pixel of interest, based on the class taps, performing a two-dimensional classification.

そして、クラス分類回路711Bは、2次元クラス分類によって得られるクラスコードを、切換回路713Bを介して、係数出力回路715Bに供給し、ステップS745からS746に進む。 The classification circuit 711B includes a class code obtained by the two-dimensional classification, through the switching circuit 713B, and supplied to the coefficient output circuit 715B, the process proceeds from step S745 to S746.

係数出力回路715Bは、受信部720から供給されるコマンド列を構成する1つのコマンド「Zoom ver1」に応じて、図66で説明した複数種類のタップ係数のうちの、リサイズ処理用のタップ係数を選択している。 Coefficient output circuit 715B in response to one command which constitutes the command string supplied "Zoom ver1" from the receiving unit 720, among the plurality of types of tap coefficients described in FIG. 66, the tap coefficients for resizing It is selected.

なお、係数出力回路715Bが、受信部720から供給されるコマンド列を構成する1つのコマンド「Zoom ver1」に応じて選択するリサイズ処理用のタップ係数は、画像を、あらかじめ定められた倍率(例えば、1.1倍などの比較的低い倍率)に拡大するものである。 The coefficient output circuit 715B is, the tap coefficients for resizing be selected according to one of the commands constituting the command string supplied from the reception unit 720 "Zoom ver1" is an image, a predetermined magnification (e.g. and it expands to a relatively low magnification) such as 1.1 times. 従って、係数出力回路715Bが、コマンド「Zoom ver1」に応じて選択するリサイズ処理用のタップ係数は、画像を、パラメータp1が表す倍率に拡大するものであるとは限らない。 Accordingly, the coefficient output circuit 715B is, the tap coefficients for resizing selected according to the command "Zoom ver1" is the image, not necessarily the one that magnified at representing the parameter p1.

但し、係数出力回路715Bにおいては、複数の倍率それぞれの拡大を行うリサイズ処理用の複数セットのタップ係数を用意しておき、その複数セットのタップ係数の中から、コマンド「Zoom ver1」に応じて、1セットのタップ係数(例えば、パラメータp1が表す倍率に最も近い倍率の拡大を行うものなど)を選択するようにしてもよい。 However, in the coefficient output circuit 715B, by preparing the tap coefficients of the plurality of sets of resize process for expanding each of the plurality of magnifications, from among the tap coefficients of the plurality of sets, in accordance with the command "Zoom ver1" , one set of tap coefficients (e.g., such as those for enlarging closest magnification factor represented by the parameter p1) may be selected.

係数出力回路715Bは、ステップS746において、クラス分類回路711Bから切換回路713Bを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver1」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路716Bに供給して、ステップS747に進む。 Coefficient output circuit 715B in step S746, the tap coefficients of the class corresponding to the class code supplied through the switching circuit 713B from the classification circuit 711B, resize processing is selected in accordance with the command "Zoom ver1" It acquired by reading from the tap coefficients, and supplies the prediction computation circuit 716B, the flow proceeds to step S747.

ステップS747では、遅延選択回路712Bは、ブロック化回路722から切換回路726を介して供給される抽出サイズのブロックの画像データから、注目画素についての2次元予測タップを選択し、切換回路714Bを介して、予測演算回路716Bに供給して、ステップS748に進む。 In step S747, the delay selection circuit 712B from the image data of the block of the extraction size supplied via the switching circuit 726 from the blocking circuit 722, selects the 2-dimensional prediction taps for the pixel of interest, through the switching circuit 714B Te, and supplied to the prediction arithmetic circuit 716B, the flow proceeds to step S748.

ステップS748では、予測演算回路716Bは、遅延選択回路712Bから切換回路714Bを介して供給される2次元予測タップと、係数出力回路715Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、拡大画像データの注目画素(の画素値)を得て出力する。 In step S748, the prediction computation circuit 716B uses a two-dimensional prediction taps supplied through the switching circuit 714B from the delay selection circuit 712B, and a tap coefficient supplied from the coefficient output circuit 715B, the formula (1) It performs filter operation (two-dimensional filter operation), thereby to output to obtain a target pixel of the enlarged image data (values ​​of pixels).

予測演算回路716Bが出力する拡大画像データは、判定回路723に供給される。 Enlarged image data predictive operation circuit 716B outputs is supplied to the determination circuit 723.

そして、ステップS749に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。 Then, the process proceeds to step S749, all the pixels constituting the enlarged image data, whether a target pixel is determined. ステップS749において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS744に戻り、以下、同様の処理が繰り返される。 In step S749, all the pixels constituting the enlarged image data, still, if it is determined not to be a pixel of interest, the process returns to step S744, and similar processing is repeated.

また、ステップS749において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、ステップS750に進み、判定回路723は、予測演算回路716Bから供給された拡大画像データが、抽出サイズのブロックの画像データを、パラメータp1が表す倍率に拡大したサイズになっているかどうかを判定する。 Further, in step S749, all the pixels constituting the enlarged image, when it is determined that the pixel of interest, the process proceeds to step S750, the determination circuit 723, the enlarged image data is supplied from the predictive operation circuit 716B, extracted the image data of the block size, determines whether it is the size of an enlarged magnification indicated by the parameter p1.

ステップS750において、予測演算回路716Bからの拡大画像データが、抽出サイズのブロックの画像データを、パラメータp1が表す倍率に拡大したサイズになっていないと判定された場合、即ち、予測演算回路716Bからの拡大画像データのサイズが、抽出サイズのブロックの画像データを、パラメータp1が表す倍率に拡大したサイズよりも小さい場合、ステップS751に進み、判定回路723は、予測演算回路716Bからの拡大画像データを、切換回路727を介して、クラス分類回路711Bおよび選択遅延回路712Bにフィードバック(供給)し、ステップS744に戻る。 In step S750, the enlarged image data from the predictive operation circuit 716B is, the image data of the block of the extraction size, if it is determined not to become a size obtained by enlarging the magnifications indicated by the parameter p1, i.e., the predictive operation circuit 716B If the size of the enlarged image data, the image data of the block of the extraction size smaller than the size of an enlarged magnification indicated by the parameter p1, the flow proceeds to step S751, the determination circuit 723, expanded image data from the predictive operation circuit 716B and through the switching circuit 727, the classification circuit 711B and the selection delay circuit 712B is fed back (feed), the flow returns to step S744.

そして、判定回路723から、クラス分類回路711Bおよび選択遅延回路712Bに対してフィードバックされた拡大画像データ(以下、適宜、フィードバック画像データという)を対象として、ステップS744以降の処理が繰り返される。 Then, from the determination circuit 723, the classification circuit 711B and the selection delay circuit expanded image data fed back to 712B (hereinafter referred to as the feedback image data) as a target, and the processes in and after step S744 are repeated.

即ち、この場合、ステップS744において、フィードバック画像データを、パラメータp1が表す倍率だけ拡大することにより得られる、クラス分類適応処理の第2の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの1つが、注目画素として選択され、ステップS745に進む。 That is, in this case, in step S744, the feedback image data obtained by expanding by a factor representing the parameter p1, among the pixels constituting the enlarged image data as the second image data for classification adaptive processing, yet one is though not a target pixel is selected as a target pixel, the process proceeds to step S745.

ステップS745では、クラス分類回路711Bは、判定回路723からのフィードバック画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行い、その2次元クラス分類によって得られるクラスコードを、切換回路713Bを介して、係数出力回路715Bに供給して、ステップS745からS746に進む。 In step S745, the classification circuit 711B from the feedback image data from the judging circuit 723 selects the class tap for the pixel of interest, based on the class taps, it performs the two-dimensional classification, by its two-dimensional classification the resulting class code, through the switching circuit 713B, and supplied to the coefficient output circuit 715B, the process proceeds from step S745 to S746.

係数出力回路715Bは、ステップS746において、クラス分類回路711Bから、切換回路713Bを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver1」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路716Bに供給して、ステップS747に進む。 Coefficient output circuit 715B in step S746, resizing the classification circuit 711B, the tap coefficients of the class corresponding to the class code supplied through the switching circuit 713B, is selected in accordance with the command "Zoom ver1" process obtained by reading out the tap coefficients of use, and supplied to the prediction arithmetic circuit 716B, the flow proceeds to step S747.

ステップS747では、遅延選択回路712Bは、判定回路723からのフィードバック画像データから、注目画素についての2次元予測タップを選択し、切換回路714Bを介して、予測演算回路716Bに供給して、ステップS748に進む。 In step S747, the delay selection circuit 712B, from the feedback image data from the judging circuit 723 selects the two-dimensional prediction taps for the pixel of interest, via a switching circuit 714B, and supplied to the prediction arithmetic circuit 716B, the step S748 proceed to.

ステップS748では、予測演算回路716Bは、遅延選択回路712Bから切換回路714Bを介して供給される2次元予測タップと、係数出力回路715Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、拡大画像データの注目画素(の画素値)を得て、判定回路723に出力する。 In step S748, the prediction computation circuit 716B uses a two-dimensional prediction taps supplied through the switching circuit 714B from the delay selection circuit 712B, and a tap coefficient supplied from the coefficient output circuit 715B, the formula (1) It performs filter operation (two-dimensional filter operation), thereby to obtain a target pixel of the enlarged image data (values ​​of pixels), and outputs the determination circuit 723.

そして、ステップS749に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。 Then, the process proceeds to step S749, all the pixels constituting the enlarged image data, whether a target pixel is determined. ステップS749において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS744に戻り、以下、同様の処理が繰り返される。 In step S749, all the pixels constituting the enlarged image data, still, if it is determined not to be a pixel of interest, the process returns to step S744, and similar processing is repeated.

また、ステップS749において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、ステップS750に進み、上述したように、判定回路723において、予測演算回路716Bから供給された拡大画像データが、抽出サイズのブロックの画像データを、パラメータp1が表す倍率に拡大したサイズになっているかどうかが判定される。 Further, in step S749, all the pixels constituting the enlarged image, when it is determined that the pixel of interest, the process proceeds to step S750, as described above, the determination circuit 723, is supplied from the predictive operation circuit 716B larger image data, the image data of the block of the extraction size, whether it is the size of an enlarged magnification indicated by the parameter p1 is determined.

そして、ステップS750において、予測演算回路716Bからの拡大画像データが、抽出サイズのブロックの画像データを、パラメータp1が表す倍率に拡大したサイズになっていると判定された場合、判定回路723は、予測演算回路716Bからの拡大画像データを、IC700の外部に出力し、処理を終了する。 Then, in step S750, if the expanded image data from the predictive operation circuit 716B is, the image data of the block of the extraction size was determined to have become size enlarged to the magnification indicated by the parameter p1, the determination circuit 723, the expanded image data from the predictive operation circuit 716B, and outputs to the outside the information IC 700, the process ends.

従って、この場合、IC700は、画像の拡大を行う拡大装置として機能することになる。 Therefore, in this case, information IC 700 will serve as an expansion device which performs image enlargement.

なお、IC700に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップS743乃至S751の処理が繰り返される。 Incidentally, with respect to information IC 700, when the input image data of the next frame is supplied, the, as a target for the next frame, the processing of steps S743 through S751 are repeated.

次に、図77のフローチャートを参照して、外部から、1つのコマンド「Zoom ver2」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 77, from the outside, when the command sequence composed of one command "Zoom ver2" is transmitted, the processing of IC700 in FIG. 64 will be described.

まず、ステップS761において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS762に進む。 First, in step S761, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S762.

ステップS762では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS763に進む。 In step S762, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S763.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Zoom ver2」に応じて、信号線の選択状態を、コマンド「Zoom ver2」に対応する1回拡大処理を行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Zoom ver2", the signal line switching of the selected state, to perform one enlargement process corresponding to the command "Zoom ver2".

図78は、信号線の選択状態を、1回拡大処理を行うように切り換えたIC700を示している。 Figure 78, the selection state of the signal line and a IC700 is switched to perform once enlargement process.

図78において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する1つのコマンド「Zoom ver2」に応じて、信号線の選択状態を、図78に実線で示すように切り換え、これにより、信号処理として、1回拡大処理を行う。 In Figure 78, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in response to one command which constitutes the command sequence "Zoom ver2", selection signal line state, switching as indicated by the solid line in FIG. 78, thereby, as a signal processing is performed once enlargement process.

なお、図78において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 78, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図78のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その一部のブロックを、ユーザが要求する所望の倍率(要求倍率)でリサイズした、クラス分類適応処理の第2の画像データとしてのサイズが拡大された画像データを得る1回拡大処理が行われる。 In information IC 700 of FIG. 78, the input image data input to the information IC 700, as the first image data of the classification adaptive processing, a part of the block, and resize desired magnification (request magnification) required by the user, second size once expanded process of obtaining the image data that has been expanded as an image data of the classification adaptive processing is performed.

なお、所望の倍率は、例えば、コマンド「Zoom ver2」のパラメータp1として、コマンド列に含まれるものとする。 Incidentally, the desired magnification can be, for example, as parameters p1 command "Zoom ver2" are intended to be included in the command string. さらに、コマンド列には、入力画像データを拡大するときに、その拡大の中心となる位置も、コマンド「Zoom ver2」のパラメータp2として含まれるものとする。 Further, the command sequence, when enlarging the input image data, the position of the center of the enlargement, to be included as a parameter p2 command "Zoom ver2".

以下、図77のフローチャートのステップS763以降の処理は、図78に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S763 and subsequent flowchart of FIG. 77 is performed in IC700 internal structure is switched as shown in FIG. 78.

即ち、ステップS763では、ブロック化回路722が、図75のステップS743における場合と同様に、切換回路724を介して供給される入力画像データの拡大の対象となるブロックを抽出する。 That is, in step S763, the blocking circuit 722, as in step S743 of FIG. 75, extracts a block of interest of the enlarged input image data supplied via the switching circuit 724.

即ち、ブロック化回路722は、受信部720から供給されるコマンド列に含まれるコマンド「Zoom ver2」のパラメータp1が表す倍率と、入力画像データのサイズとから、パラメータp1が表す倍率だけ拡大することによって、入力画像データのサイズとなるブロックのサイズ(抽出サイズ)を認識する。 That is, the blocking circuit 722, from the magnification indicated by the parameter p1 command "Zoom ver2" included in the command string supplied from the receiving unit 720, the size of the input image data, to expand by a factor representing the parameter p1 by recognizing the size (extraction size) blocks of the size of the input image data. さらに、ブロック化回路722は、受信部720から供給されるコマンド列に含まれるコマンド「Zoom ver2」のパラメータp2が表す位置を中心(重心)として、抽出サイズのブロックの画像データを、入力画像データから抽出する。 Further, blocking circuit 722, a position that represents the parameter p2 command "Zoom ver2" included in the command string supplied from the receiving unit 720 as the center (center of gravity), the image data of the block of the extraction size, the input image data to extract from.

抽出サイズのブロックの画像データは、ブロック化回路722から、切換回路726を介して、クラス分類回路711Bおよび遅延選択回路712Bに供給される。 Image data of the block of the extraction size from the blocking circuit 722 through the switching circuit 726 is supplied to a classification circuit 711B and the delay selecting circuit 712B.

その後、ステップS763からS764に進み、抽出サイズのブロックの画像データを拡大することにより得られる、クラス分類適応処理の第2の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの1つが、注目画素として選択され、ステップS765に進む。 Thereafter, the flow advances from step S763 to S764, is obtained by enlarging the image data of the block of the extraction size, among the pixels constituting the enlarged image data as the second image data for classification adaptive processing, as still subject pixel one of not but be selected as a target pixel, the process proceeds to step S765.

ステップS765では、クラス分類回路711Bは、ブロック化回路722から切換回路726を介して供給される抽出サイズのブロックの画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、2次元クラス分類を行う。 In step S765, the classification circuit 711B from the image data of the block of the extraction size supplied via the switching circuit 726 from the blocking circuit 722 selects the class tap for the pixel of interest, based on the class taps, performing a two-dimensional classification.

そして、クラス分類回路711Bは、2次元クラス分類によって得られるクラスコードを、切換回路713Bを介して、係数出力回路715Bに供給し、ステップS765からS766に進む。 The classification circuit 711B includes a class code obtained by the two-dimensional classification, through the switching circuit 713B, and supplied to the coefficient output circuit 715B, the process proceeds from step S765 to S766.

係数出力回路715Bは、受信部720から供給されるコマンド列を構成する1つのコマンド「Zoom ver2」に応じて、図66で説明した複数種類のタップ係数のうちの、画像をパラメータp1が表す倍率に拡大するリサイズ処理用のタップ係数を選択している。 Coefficient output circuit 715B in response to one command "Zoom ver2" constituting the command string supplied from the receiving unit 720, among the plurality of types of tap coefficients described in FIG. 66, magnification image representing the parameter p1 It is selected tap coefficients for resizing the enlarged.

係数出力回路715Bは、ステップS766において、クラス分類回路711Bから、切換回路713Bを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver2」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路716Bに供給して、ステップS767に進む。 Coefficient output circuit 715B in step S766, resizing the classification circuit 711B, the tap coefficients of the class corresponding to the class code supplied through the switching circuit 713B, is selected in accordance with the command "Zoom ver2" process obtained by reading out the tap coefficients of use, and supplied to the prediction arithmetic circuit 716B, the flow proceeds to step S767.

ステップS767では、遅延選択回路712Bは、ブロック化回路722から切換回路726を介して供給される抽出サイズのブロックの画像データから、注目画素についての2次元予測タップを選択し、切換回路714Bを介して、予測演算回路716Bに供給して、ステップS768に進む。 In step S767, the delay selection circuit 712B from the image data of the block of the extraction size supplied via the switching circuit 726 from the blocking circuit 722, selects the 2-dimensional prediction taps for the pixel of interest, through the switching circuit 714B Te, and supplied to the prediction arithmetic circuit 716B, the flow proceeds to step S768.

ステップS768では、予測演算回路716Bは、遅延選択回路712Bから切換回路714Bを介して供給される2次元予測タップと、係数出力回路715Bから供給されるタップ係数とを用いて、式(1)のフィルタ演算(2次元フィルタ演算)を行い、これにより、抽出サイズのブロックの画像データをパラメータp1が表す倍率で拡大した拡大画像データの注目画素(の画素値)を得て出力する。 In step S768, the prediction computation circuit 716B uses a two-dimensional prediction taps supplied through the switching circuit 714B from the delay selection circuit 712B, and a tap coefficient supplied from the coefficient output circuit 715B, the formula (1) performs filter operation (two-dimensional filter operation), thereby, the pixel of interest (pixel value) of the enlarged image data obtained by enlarging the image data of the block of the extraction size at a magnification indicated by the parameter p1 the obtained output.

予測演算回路716Bが出力する拡大画像データは、判定回路723を介して、IC700の外部に出力される。 Enlarged image data predictive operation circuit 716B outputs, via the determination circuit 723 is output to the outside of the information IC 700.

ステップS769に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。 The process proceeds to step S769, all the pixels constituting the enlarged image data, whether a target pixel is determined. ステップS769において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップS764に戻り、以下、同様の処理が繰り返される。 In step S769, all the pixels constituting the enlarged image data, still, if it is determined not to be a pixel of interest, the process returns to step S764, and similar processing is repeated.

また、ステップS769において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。 Further, in step S769, if all the pixels constituting the enlarged image, is determined to be a pixel of interest, the process ends.

従って、この場合も、IC700は、画像の拡大を行う拡大装置として機能することになる。 Therefore, also in this case, information IC 700 will serve as an expansion device which performs image enlargement.

なお、IC700に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップS764乃至S769の処理が繰り返される。 Incidentally, with respect to information IC 700, when the input image data of the next frame is supplied, the, as a target for the next frame, the processing of steps S764 through S769 are repeated.

次に、図79のフローチャートを参照して、外部から、2つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 79, from the outside, when the two commands "Kaizodo 2dimentional" and the command string consisting of "Zoom ver1" sent, the processing of IC700 in FIG. 64 will be described.

まず、ステップS781において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS782に進む。 First, in step S781, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S782.

ステップS782では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS783に進む。 In step S782, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S783.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する2つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する2次元空間解像度創造処理と、コマンド「Zoom ver1」に対応する再帰的拡大処理とを行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, switching circuit 719, and switching circuit 724 through 727, the two commands "Kaizodo 2dimentional" and which constitutes the command sequence "Zoom ver1" in response, the selection state of the signal line switches to perform the command "Kaizodo 2dimentional" in the corresponding two-dimensional spatial resolution creation processing, and a recursive expansion process corresponding to the command "Zoom ver1".

図80は、信号線の選択状態を、2次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行うように切り換えたIC700を示している。 Figure 80 is a selected state of the signal line, it performs a two-dimensional spatial resolution creation processing, further, as an object the processing result shows IC700 is switched to perform recursive expansion process.

図80において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する2つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」に応じて、信号線の選択状態を、図80に実線で示すように切り換え、これにより、信号処理として、2次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行う。 In Figure 80, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in accordance with the two commands "Kaizodo 2dimentional" and which constitutes the command sequence "Zoom ver1" , the selection state of the signal line, switching as shown by a solid line in FIG. 80, by which, as a signal processing performs two-dimensional spatial resolution creation processing, further, as an object the processing result, a recursive expansion process.

なお、図80において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 80, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図80のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第2の画像データとしての高解像度の画像データを得る2次元空間解像度創造処理が行われる。 In information IC 700 of FIG. 80, the high resolution of the input image data input to the information IC 700, as the first image data of the classification adaptive processing, and to improve its spatial resolution, as the second image data of the classification adaptive processing two-dimensional spatial resolution creation processing is performed to obtain the image data of. さらに、図80のIC700では、その高解像度の画像データを、クラス分類適応処理の第1の画像データとして、そのサイズを拡大した、クラス分類適応処理の第2の画像データとしての拡大画像データを得る再帰的拡大処理が行われる。 Furthermore, in IC700 in FIG. 80, the image data of the high resolution as the first image data of the classification adaptive processing, expanded its size, the enlarged image data as the second image data of the classification adaptive processing recursive expansion process of obtaining is performed.

以下、図79のフローチャートのステップS783以降の処理は、図80に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S783 and subsequent flowchart of FIG. 79 is performed in IC700 internal structure is switched as shown in FIG. 80.

即ち、ステップS783では、図69のステップS713乃至S718で説明した2次元空間解像度創造処理が行われる。 That is, in step S783, 2-dimensional spatial resolution creation processing described in step S713 to S718 in FIG. 69 is performed. この2次元空間解像度創造処理によって得られる高解像度の画像データは、予測演算回路716Aから、切換回路719,725、および724を介して、ブロック化回路722に供給される。 High-resolution image data obtained by the two-dimensional spatial resolution creation processing, the predictive operation circuit 716A, via the switching circuit 719,725, and 724 are supplied to the blocking circuit 722.

そして、ステップS784に進み、ブロック化回路722に供給された高解像度の画像データを対象として、図75のステップS743乃至S751で説明した再帰的拡大処理が行われる。 Then, the process proceeds to step S784, as a target high-resolution image data supplied to the blocking circuit 722, a recursive expansion processing described in step S743 to S751 in FIG. 75 is performed. そして、この再帰的拡大処理によって得られる拡大画像データは、判定回路723から、IC700の外部に出力される。 The expanded image data obtained by the recursive expansion process, from the determination circuit 723 is output to the outside of the information IC 700.

この場合、IC700は、2次元のタップ(予測タップ)を対象としてフィルタリングを行う2次元ディジタルフィルタと、画像の拡大を行う拡大装置として機能することになる。 In this case, information IC 700 will serve a two-dimensional Tap (prediction tap) and a two-dimensional digital filter for filtering a target, as a larger device that performs image enlargement.

なお、IC700に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップS783およびS784の処理が繰り返される。 Incidentally, with respect to information IC 700, when the input image data of the next frame is supplied, the, as a target for the next frame, the processing of steps S783 and S784 are repeated.

次に、図81のフローチャートを参照して、外部から、2つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」からなるコマンド列が送信されてきた場合の、図64のIC700の処理について説明する。 Next, with reference to the flowchart of FIG. 81, from the outside, when the two commands "Kaizodo 2dimentional" and the command string consisting of "Zoom ver2" sent, the processing of IC700 in FIG. 64 will be described.

まず、ステップS791において、受信部720は、外部からのコマンド列を受信し、IC700を構成する必要なブロックに供給して、ステップS792に進む。 First, in step S791, the receiving unit 720 receives a command sequence from the external to supply the necessary blocks of the information IC 700, the process proceeds to step S792.

ステップS792では、IC700は、受信部720で受信されたコマンド列に応じ、その内部構造を切り換え、ステップS793に進む。 In step S792, information IC 700, in response to a command string received by the receiving section 720, switches the internal structure thereof, the process proceeds to step S793.

即ち、IC700(図64)の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する2つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する2次元空間解像度創造処理と、コマンド「Zoom ver2」に対応する1回拡大処理とを行うように切り換える。 That, information IC 700 (FIG. 64) of the switching circuit 713A and 713B, switch circuits 714A and 714B, switching circuit 719, and switching circuit 724 through 727, the two commands "Kaizodo 2dimentional" and which constitutes the command sequence "Zoom ver2" in response, the selection state of the signal line switches to perform the command "Kaizodo 2dimentional" in the corresponding two-dimensional spatial resolution creation processing, and once enlargement process corresponding to the command "Zoom ver2".

図82は、信号線の選択状態を、2次元空間解像度創造処理を行い、さらに、その処理結果を対象として、1回拡大処理を行うように切り換えたIC700を示している。 Figure 82 is a selected state of the signal line, it performs a two-dimensional spatial resolution creation processing, further, as an object the processing result shows IC700 is switched to perform once enlargement process.

図82において、IC700の切換回路713Aおよび713B、切換回路714Aおよび714B、切換回路719、並びに切換回路724乃至727は、コマンド列を構成する2つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」に応じて、信号線の選択状態を、図82に実線で示すように切り換え、これにより、信号処理として、2次元空間解像度創造処理を行い、さらに、その処理結果を対象として、1回拡大処理を行う。 In Figure 82, information IC 700 of the switching circuit 713A and 713B, switch circuits 714A and 714B, the switching circuit 719 and switching circuit 724 through 727, in accordance with the two commands "Kaizodo 2dimentional" and which constitutes the command sequence "Zoom ver2" , the selection state of the signal line, switching as shown by a solid line in FIG. 82, by which, as a signal processing performs two-dimensional spatial resolution creation processing, further, as an object the processing result, performs one enlargement process.

なお、図82において、点線で示す信号線は、配線されているが、現在のIC700による信号処理に関係のない信号線を意味している。 Incidentally, in FIG. 82, a signal line indicated by a dotted line has been wire, which means no signal line related to signal processing by the current information IC 700.

図82のIC700では、IC700に入力される入力画像データを、クラス分類適応処理の第1の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第2の画像データとしての高解像度の画像データを得る2次元空間解像度創造処理が行われる。 In information IC 700 of FIG. 82, the high resolution of the input image data input to the information IC 700, as the first image data of the classification adaptive processing, and to improve its spatial resolution, as the second image data of the classification adaptive processing two-dimensional spatial resolution creation processing is performed to obtain the image data of. さらに、図82のIC700では、その高解像度の画像データを、クラス分類適応処理の第1の画像データとして、そのサイズを拡大した、クラス分類適応処理の第2の画像データとしての拡大画像データを得る1回拡大処理が行われる。 Furthermore, in IC700 in FIG. 82, the image data of the high resolution as the first image data of the classification adaptive processing, expanded its size, the enlarged image data as the second image data of the classification adaptive processing once the enlargement processing is performed to obtain.

以下、図81のフローチャートのステップS793以降の処理は、図82に示したように内部構造が切り換えられたIC700において行われる。 Hereinafter, the processing of step S793 and subsequent flowchart of FIG. 81 is performed in IC700 internal structure is switched as shown in FIG. 82.

即ち、ステップS793では、図69のステップS713乃至S718で説明した2次元空間解像度創造処理が行われる。 That is, in step S793, 2-dimensional spatial resolution creation processing described in step S713 to S718 in FIG. 69 is performed. この2次元空間解像度創造処理によって得られる高解像度の画像データは、予測演算回路716Aから、切換回路719,725、および724を介して、ブロック化回路722に供給される。