JP5673937B2 - 信号処理装置、および信号処理方法 - Google Patents

Description

本発明は、信号のリアルタイム処理を行う信号処理装置等に関するものである。

リアルタイムに映像信号を処理する装置（特許文献１参照）が存在する。

特開２０１０−１０３７１１

しかしながら、従来の信号処理装置においては、ハードウェア構成として、時分割処理可能な構成にはなっているが、リアルタイム性を保証しているものは存在しない。また、入力信号の最大帯域を想定した構成となっているため、例えば、最大帯域よりも低い帯域の信号を処理する場合において、ハードウェアの能力を最大限に活用できていなかった。という課題があった。

本第一の発明の信号処理装置は、信号の処理能力に関する情報である処理能力情報を格納し得る処理能力情報格納手段と、連続性がある信号であり、リアルタイム処理の対象である２種類以上の帯域の信号を受け付ける信号受付手段と、信号受付手段が受け付けた信号の帯域を取得し、帯域と処理能力情報とを用いて、余剰の処理時間に関する情報である余剰時間情報を取得する調停手段と、信号受付手段が受け付けた信号に対して第一の処理を行う信号処理手段と、余剰時間情報から、信号処理手段において第二の処理が可能であるか否かを判断し、信号処理手段において第二の処理が可能であると判断した場合、第二の処理を行うことを信号処理手段に指示する制御手段とを具備し、信号処理手段は、制御手段の指示に従って、第二の処理を行う信号処理装置である。

このような構成により、処理能力を有効に活用することができる。

また、本第二の発明の信号処理装置は、第一の発明に対して、第二の処理は、第一の処理と同質の処理である信号処理装置である。

このような構成により、同一の入力信号に対して、同質の複数の処理を施すことができる。

また、本第三の発明の信号処理装置は、第二の発明に対して、第二の処理は、第一の処理とは異なる条件で行われる第一の処理と同質の１回以上の処理を含み、かつ、第一の処理の結果および同質の１回以上の処理の１以上の結果のうち、一の結果を選択する処理を含む信号処理装置である。

このような構成により、同一の入力信号からの異なる複数の処理結果の中から、一の結果を選択することができる。

また、本第四の発明の信号処理装置は、第二の発明に対して、第一の処理は、外部メモリを介した処理であり、第二の処理は、第一の処理と同質の１回以上の処理を含み、かつ、第一の処理の結果および同質の１回以上の処理の結果を用いて処理を行う信号処理装置である。

このような構成により、先に処理を行った結果を利用して処理を行うことができる。

また、本第五の発明の信号処理装置は、第二から第四いずれかの発明に対して、調停手段は、信号受付手段が受け付けた信号の帯域を取得し、帯域と処理能力情報とを用いて、第二の処理の可能回数である余剰時間情報を取得し、制御手段は、第二の処理の可能回数である余剰時間情報から、可能回数だけ、第二の処理を行うことを信号処理手段に指示する信号処理装置である。

このような構成により、余剰時間を最大限に活用することができる。

また、本第六の発明の信号処理装置は、第一の発明に対して、第二の処理は、第一の処理と異なる処理である信号処理装置である。

このような構成により、同一の入力信号に対して、異なる複数の処理を施すことができる。

また、本第七の発明の信号処理装置は、第六の発明に対して、第二の処理は、第一の処理の前に行われる処理である、信号の特徴量を取得する処理であり、第一の処理は、第二の処理により取得された特徴量を用いて、信号処理を行う信号処理装置である。

このような構成により、効率的に特徴量を算出することができる。

また、本第八の発明の信号処理装置は、第六の発明に対して、ルックアップテーブルを格納し得るルックアップテーブル格納手段をさらに具備し、第一の処理は、ルックアップテーブルを参照して、信号に対して行う処理であり、第二の処理は、ルックアップテーブルを更新する処理である信号処理装置である。

このような構成により、ルックアップテーブルを使用して、効率的に処理を行うことができる。

また、本第九の発明の信号処理装置は、第一から第八いずれかの発明に対して、内部状態を保存し得る２以上の保存手段をさらに具備し、信号処理手段は、制御手段の指示に従って、第一の処理から第二の処理に処理を切り替える場合に、内部状態を第一の処理に対応する保存手段に保存し、第二の処理に対応する保存手段から内部状態を読み出し、内部状態を用いて第二の処理を行い、第二の処理から第一の処理に処理を切り替える場合に、内部状態を第二の処理に対応する保存手段に保存し、第一の処理に対応する保存手段から内部状態を読み出し、内部状態を用いて第一の処理を行う信号処理装置である。

このような構成により、内部状態を保存しながら、複数の処理を行うことができる。

また、本第十の発明の信号処理装置は、第九の発明に対して、信号処理手段は、復元に必要な情報だけを内部状態として、保存手段に保存する信号処理装置である。

このような構成により、保存する内部状態の容量を削減することができる。

また、本第十一の発明の信号処理装置は、第十の発明に対して、信号処理手段から内部状態を受け付け、内部状態を処理に対応する保存手段に保存し、信号処理手段の処理に必要な内部状態を、処理に対応する保存手段から読み出し、信号処理手段に渡す切替手段をさらに具備し、信号処理手段は、第一の処理から第二の処理に処理を切り替える場合、または第二の処理から第一の処理に処理を切り替える場合に、処理終了段階の内部状態を切替手段に渡し、次の処理に必要な内部状態を切替手段から受け取り、第二の処理または第一の処理を行う信号処理装置である。

このような構成により、複数の内部状態を保存することができる。

本発明による信号処理装置によれば、ハードウェア構成としてリアルタイム性を保証し、ハードウェアの能力を最大限に活用することができる。

実施の形態における信号処理装置のブロック図 同信号処理装置の構成例を示す図

以下、本発明による信号処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態）
図１は、本実施の形態における信号処理装置１のブロック図である。信号処理装置１は、処理能力情報格納手段１１、ルックアップテーブル格納手段１２、保存手段１３、信号受付手段１４、調停手段１５、制御手段１６、切替手段１７、信号処理手段１８、信号出力手段１９を備える。

処理能力情報格納手段１１は、信号の処理能力に関する情報である処理能力情報を格納し得る。処理能力情報とは、信号処理装置１が処理することのできる信号の帯域幅、および信号処理装置１の動作周波数などを示す情報である。処理能力情報は、例えば、「１５０ＭＨｚ」や、「２０Ｍｂｐｓ」などである。処理能力情報格納手段１１は、通常、ＩＣ等の集積回路で実現され得る。

ルックアップテーブル格納手段１２は、ルックアップテーブルを格納し得る。ルックアップテーブルとは、効率よく参照や変換をする目的でつくられた配列や連想配列などのことである。ここでは、ルックアップテーブルとは、後述の第一の処理において使用するデータのことである。ルックアップテーブルの内容は、例えば、内部状態や、信号処理結果などである。ルックアップテーブルの内容は、後述の第一の処理が使用するデータであれば、その内容は問わない。ルックアップテーブル格納手段１２は、通常、ＩＣ等の集積回路で実現され得る。

保存手段１３は、信号処理に関する情報である内部状態を保存し得る。ここで、内部状態とは、論理回路や順序回路などが集積された集積回路の状態を示すビット列のことである。本実施の形態における内部状態とは、信号処理手段１８の内部状態である。また、保存手段１３は、通常、２以上存在し得るものとする。保存手段１３の数は、２以上であれば問わない。保存手段１３は、通常、ＩＣ等の集積回路で実現され得る。

信号受付手段１４は、信号を受け付ける。ここで、信号とは、例えば、テレビ信号や、映像信号、音声信号、動画などである。また、ここでの信号は、連続性があるものであり、リアルタイム処理の対象となるものである。また、信号受付手段１４は、通常、２種類以上の信号を受け付ける。ここでの種類とは、帯域が異なることを意味する。また、帯域とは、信号の周波数帯域のことであり、画像レートのことである。また、信号受付手段１４は、通常、受け付けた信号を任意の保存用メモリに保存する。また、信号受付手段１４は、１以上の信号をシリアル（直列）に受け付けてもよいし、パラレル（並列）に受け付けてもよい。信号受付手段１４は、通常、ＩＣ等の集積回路で実現され得る。

調停手段１５は、余剰時間情報を取得する。ここで、余剰時間情報とは、余剰の処理時間に関する情報である。余剰時間情報は、例えば、時間情報や、回数情報などである。時間情報は、余剰の時間を示す情報であり、例えば、「０．１」や、「０．２Ｓｅｃ」、「０．９秒」などである。また、回数情報は、余剰の時間において処理を行うことができる回数を示す情報であり、例えば、「１０」や、「２０Ｔｉｍｅｓ」、「４５回」などである。調停手段１５は、通常、後述の信号処理手段１８において行われる第二の処理の可能回数を示す回数情報である余剰時間情報を取得する。

また、調停手段１５は、余剰時間情報の取得には、信号受付手段１４が受け付けた信号と、処理能力情報格納手段に格納されている処理能力情報とを用いる。つまり、調停手段１５は、信号受付手段１４が受け付けた信号の帯域を取得し、また、処理能力情報格納手段に格納されている処理能力情報を取得し、当該帯域と、当該処理能力情報とを用いて、余剰時間情報を取得する。また、調停手段１５は、通常、信号受付手段１４が受け付けた信号に含まれるヘッダ情報から取得する。つまり、信号受付手段１４が受け付ける信号に、「１５ＭＨｚ」や「１５０ＭＨｚ」などの信号の帯域幅を示す情報が含まれており、調停手段１５は、これを取得する。

具体的には、例えば、信号受付手段１４が受け付けた信号の帯域幅が１５ＭＨｚであり、処理能力情報が１５０ＭＨｚである場合、調停手段１５は、「１−（１５／１５０）」の計算を行い、「０．９秒」の時間情報である余剰時間情報を取得する。また、例えば、時間情報が「０．９秒」であり、後述の第二の処理が「０．３秒」の時間を要する場合、調停手段１５は、「０．９／０．３」の計算を行い、「３回」の回数情報である余剰時間情報を取得する。調停手段１５は、通常、ＩＣ等の集積回路で実現され得るが、ソフトウェアで実現してもよい。

制御手段１６は、調停手段１５から余剰時間情報を取得する。そして、制御手段１６は、当該余剰時間から、後述の信号処理手段１８において第二の処理が可能であるか否かを判断する。第二の処理が可能である場合、制御手段１６は、第二の処理を行うことを信号処理手段１８に指示する。

例えば、余剰時間情報が時間情報である場合、制御手段１６は、当該時間情報が「０秒」より大きいか否かを判断する。そして、当該時間情報が「０秒」より大きい場合に、制御手段１６は、信号処理手段１８に対して、第二の処理を行うことを指示する。

また、例えば、余剰時間情報が回数情報である場合、制御手段１６は、当該回数情報が「１回」以上であるか否かを判断する。そして、当該回数情報が「１回」以上である場合に、制御手段１６は、信号処理手段１８に対して、当該回数情報により示される回数だけ、第二の処理を行うことを指示する。制御手段１６は、通常、ＩＣ等の集積回路で実現され得るが、ソフトウェアで実現してもよい。

なお、信号処理手段１８において第二の処理が可能であるか否かの判断は、調停手段１５が行ってもよい。この場合、制御手段１６は、調停手段１５における当該判断結果を示す情報である判断結果情報を、調停手段１５から取得する。そして、制御手段１６は、当該判断結果情報が、第二の処理を行うことを示す情報であれば、信号処理手段１８に対して、第二の処理を行うことを指示する。

切替手段１７は、後述の信号処理手段１８から内部状態を受け付ける。そして、切替手段１７は、当該内部状態を、信号処理手段１８の処理に対応する保存手段１３に保存する。また、切替手段１７は、後述の信号処理手段１８の処理に必要な内部状態を、処理に対応する保存手段１３から読み出す。そして、切替手段１７は、当該内部状態を、信号処理手段１８に渡す。

切替手段１７は、通常、信号処理手段１８が行う処理と、当該処理に対応する保存手段１３との対応関係を示す対応情報を保持しており、当該情報に基づき、信号処理手段１８の内部状態を保存手段１３に保存したり、保存手段１３に保存されている内部状態を、信号処理手段１８に渡したりする。具体的には、切替手段１７は、例えば、「第一の処理｜保存手段（１）」のような対応情報を保持しており、信号処理手段１８が第一の処理を終了した場合に、１番目の保存手段１３に信号処理手段１８の内部状態を保存する。また、切替手段１７は、前述のような対応情報を保持している場合、信号処理手段１８が第一の処理を開始する場合に、１番目の保存手段１３に保存されている内部状態を、信号処理手段１８に渡す。

また、切替手段１７は、例えば、「第二の処理｜２回目｜保存手段（３）」のような対応情報を保持しており、信号処理手段１８が２回目の第二の処理を終了した場合に、３番目の保存手段１３に信号処理手段１８の内部状態を保存する。また、切替手段１７は、前述のような対応情報を保持している場合、信号処理手段１８が２回目の第二の処理を開始する場合に、３番目の保存手段１３に保存されている内部状態を、信号処理手段１８に渡す。切替手段１７は、通常、ＩＣ等の集積回路で実現され得るが、ソフトウェアで実現してもよい。

信号処理手段１８は、信号受付手段１４が受け付けた信号に対して第一の処理を行う。また、信号処理手段１８は、制御手段１６の指示に従って、第二の処理を行う。

ここで、第一の処理とは、信号処理のことである。信号処理とは、テレビ信号や映像信号などの様々な信号を、数値的に処理することである。信号処理は、例えば、高画質化や、フォーマット変換、解像度変換などである。高画質化とは、ビットレートの低い音声、映像等を、ビットレートの高い音声、映像等に変換することや、フレームレートの低い映像等を、フレームレートの高い映像等に変換することなどである。また、フォーマット変換とは、一の音声、映像等の形式（フォーマット）を、他の音声、映像等の形式に変換することなどである。また、解像度変換とは、低い解像度の映像を高い解像度の映像に変換することや、高い解像度の画像を低い解像度の画像に変換することなどである。また、第二の処理も、通常は信号処理であるが、そうでなくてもよい。

また、信号処理手段１８は、制御手段１６の指示に従って、第一の処理から第二の処理に処理を切り替える場合に、内部状態を第一の処理に対応する保存手段１３に保存する。そして、信号処理手段１８は、第二の処理に対応する保存手段１３から内部状態を読み出し、当該内部状態を用いて第二の処理を行う。また、信号処理手段１８は、第二の処理から第一の処理に処理を切り替える場合に、内部状態を第二の処理に対応する保存手段１３に保存する。そして、信号処理手段１８は、第一の処理に対応する保存手段１３から内部状態を読み出し、当該内部状態を用いて第一の処理を行う。なお、当該内部状態の保存と内部状態の読み出しは、前述のように、切替手段１７を介して行う。

また、内部状態を保存するとき、信号処理手段１８は、通常、復元に必要な情報だけを内部状態として、保存手段１３に保存する。例えば、信号処理手段１８の内部状態が４ビットのビット列で表現される場合であって、信号処理手段１８が信号処理を行っている間、２ビット目と４ビット目のみが変化する場合、信号処理手段１８は、変化しない１ビット目と３ビット目は保存せず、変化する２ビット目と４ビット目のみを保存手段１３に保存する。

なお、第二の処理は、通常、第一の処理と同質の処理である。同質とは、同じであることや、やや異なることなどを含み、広く解する。また、同質の処理とは、例えば、動作や手順は同じであるが、異なる条件下で行われる処理などである。異なる条件とは、例えば、使用するパラメータが異なることなどである。例えば、第一の処理と第二の処理共に信号の帯域を増幅させる処理である場合に、第一の処理は信号の帯域を２倍に増幅させ、第二の処理は信号の帯域を１．５倍に増幅させるような場合、第二の処理は、第一の処理と同質の処理であると言える。

また、第二の処理が第一の処理と同質の処理である場合、信号処理手段１８は、通常、第一の処理を１回行ったあとに、第二の処理を１回以上行う。第二の処理の回数は、制御手段からの指示による。

また、第二の処理は、第一の処理と異なる処理であってもよい。「異なる」とは、「同質」とは異なり、処理そのものが異なることを意味する。例えば、第一の処理が信号の帯域を増幅させる処理であり、第二の処理が信号の帯域を増幅させる割合を算出する処理である場合、第二の処理は、第一の処理と異なる処理であると言える。

また、第一の処理と第二の処理は、第一の処理のあとに第二の処理が行われてもよく、第二の処理のあとに第一の処理が行われてもよく、その順序は問わない。また、第二の処理が第一の処理と同質の処理である場合、第一の処理と第二の処理は同質であればよく、その処理内容は問わない。また、第二の処理が第一の処理と異なる処理である場合、第一の処理と第二の処理は異なればよく、その処理内容は問わない。信号処理手段１８は、通常、ＩＣ等の集積回路で実現され得るが、ソフトウェアで実現してもよい。

信号出力手段１９は、信号処理手段１８が信号処理した結果を出力する。信号出力手段１９は、通常、ＩＣ等の集積回路で実現され得る。

（具体例１）
本具体例において、処理能力の余剰分を利用して、同質の処理を複数回行う信号処理装置について説明する。図２は、本具体例における信号処理装置の構成例を示す図である。信号処理装置２は、複数の内部状態保存回路２１０、入力処理回路２２０、メモリ２３０、調停回路２４０、切替回路２５１、２５２、信号処理回路２６０、出力処理回路２７０を備える。なお、内部状態保存回路２１０は、図１の保存手段１３に相当する。入力処理回路は、図１の信号受付手段１４に相当する。調停回路２４０は、図１の処理能力情報格納手段１１、調停手段１５、制御手段１６に相当する。切替回路２５１、２５２は、図１の切替手段１７に相当する。信号処理回路２６０は、図１の信号処理手段１８に相当する。出力処理回路２７０は、図１の信号出力手段１９に相当する。

内部状態保存回路２１０には、信号処理回路２６０の内部状態が保存される。入力処理回路２２０には、信号処理の対象となる信号が入力される。なお、入力処理回路２２０に入力された信号を、以下、入力信号とする。また、本具体例においては、入力信号は映像信号であるものとする。メモリ２３０には、入力信号や、信号処理回路２６０が入力信号を信号処理した結果である信号処理結果などが保存される。調停回路２４０は、切替回路２５１、２５２、信号処理回路２６０の制御を行う。また、調停回路２４０は、信号処理回路２６０における第一の処理、第二の処理の可能回数を算出する。調停回路２４０からの制御信号に応じて、内部状態保存回路２１０と信号処理回路２６０の接続の切り替えを行う。信号処理回路２６０は、調停回路２４０からの制御信号に応じて、入力信号に対して、第一の処理、または第二の処理を行う。出力処理回路２７０は、信号処理結果を出力する。なお、内部状態保存回路２１０は、２個存在するものとし、１個目は信号処理回路２６０が第一の処理を行う際の内部状態、２個目は信号処理回路２６０が第二の処理を行う際の内部状態を保存するものとする。また、内部状態保存回路２１０と処理との対応関係は、調停回路２４０が保持しているものとする。

入力処理回路２２０に信号が入力されると、入力処理回路２２０は、入力信号をメモリ２３０に保存する。このとき、入力処理回路２２０は、信号処理回路２６０が処理する処理単位ごとに保存する。処理単位は、通常、フレームである。保存が完了すると、入力処理回路２２０は、処理リクエスト信号と、入力信号保存アドレスとを、調停回路２４０に送信する。処理リクエスト信号とは、信号処理の要求を示す制御信号である。また、入力信号保存アドレスとは、入力信号のメモリ２３０上の保存場所を示すアドレスである。なお、入力処理回路２２０は、処理単位ごとに入力信号を保存するため、保存された処理単位ごとの入力信号保存アドレスを、調停回路２４０に送信する。

調停回路２４０は、処理リクエスト信号と、入力信号保存アドレスを、入力処理回路２２０から受信する。そして、調停回路２４０は、受信したこれらを、任意のメモリに保存する。任意のメモリは、通常、調停回路２４０の内蔵メモリである。

次に、調停回路２４０は、信号処理回路２６０が信号処理を行っていないか否かを判断する。そして、信号処理回路２６０が信号処理を行っていない場合、調停回路２４０は、信号処理回路２６０における第二の処理を行う回数を取得する。具体的には、調停回路２４０は、入力信号の帯域を検出し、当該帯域と、信号処理回路２６０が行う第一の処理の最大処理能力を比較し、信号処理回路２６０において第二の処理が可能であるか否かを判断する。可能である場合は、調停回路２４０は、第二の処理が何回可能であるかを判断する。なお、信号処理を行っていないか否かの判断は、信号処理を行っていないことを示す制御信号である非処理中信号を、信号処理回路２６０が出力しているか否かで判断する。

次に、調停回路２４０は、信号処理回路２６０が第一の処理を行う上での内部状態を使用できるように、信号処理回路２６０と内部状態保存回路２１０の接続を切り替える。具体的には、調停回路２４０は、保持している内部状態保存回路２１０と信号処理回路が行う処理との対応関係の情報を基に、１個目の内部状態保存回路２１０と信号処理回路２６０とを接続する旨の切り替え信号を２５１に送信する。なお、切替信号とは、２個の回路を接続する旨を示す制御信号である。

次に、調停回路２４０は、信号処理回路２６０が第一の処理を終了し、内部状態を保存する際に備え、信号処理回路２６０と内部状態保存回路２１０の接続を切り替える。具体的には、調停回路２４０は、保持している内部状態保存回路２１０と信号処理回路が行う処理との対応関係の情報を基に、１個目の内部状態保存回路２１０と信号処理回路２６０とを接続する旨の切り替え信号を２５２に送信する。

次に、調停回路２４０は、内蔵メモリに保存されている先頭のリクエストを実行するために、入力信号に対して第一の処理を行うように信号処理回路２６０の制御を行う。具体的には、調停回路２４０は、第一処理開始信号と、入力信号保存アドレスとを、信号処理回路２６０に送信する。第一処理開始信号とは、第一の処理を開始する旨を示す制御信号である。

また、調停回路２４０は、第一処理完了信号と、処理結果保存アドレスとを、信号処理回路２６０から受信する。第一処理完了信号とは、第一の処理の完了を示す制御信号である。また、処理結果保存アドレスとは、信号処理結果のメモリ２３０上の保存場所を示すアドレスである。そして、調停回路２４０は、受信した処理結果保存アドレスを、任意のメモリに保存する。

また、調停回路２４０は、第一処理完了信号を受信すると、入力信号に対して第二の処理を行うように信号処理回路２６０の制御を行う。具体的には、まず、切替回路２５１、２５２に対して、２個目の内部状態保存回路２１０と信号処理回路２６０とを接続する旨の切替信号を切替回路２５１、２５２に送信する。そして、次に、調停回路２４０は、第二処理開始信号と、入力信号保存アドレスとを、信号処理回路２６０に送信する。第二処理開始信号とは、第二の処理を開始する旨を示す制御信号である。なお、２個目の内部状態保存回路２１０と信号処理回路２６０とを接続する方法の詳細については、１個目の内部状態保存回路２１０と同様であるので、説明を省略する。

切替回路２５１、２５２は、信号処理回路２６０と内部状態保存回路２１０のうちのいずれかとの接続を切り替える旨の切替信号を、調停回路２４０から受信する。切替回路２５１、２５２は、当該切替信号を受信すると、信号処理回路２６０と内部状態保存回路２１０のうちのいずれかとの接続を切り替える。例えば、切替回路２５１、２５２は、１番目の内部状態保存回路２１０と接続する旨の切替信号を受信した場合、信号処理回路２６０と１番目の内部状態保存回路２１０とを接続する。また、例えば、切替回路２５１、２５２は、２番目の内部状態保存回路２１０と接続する旨の切替信号を受信した場合、信号処理回路２６０と２番目の内部状態保存回路２１０とを接続する。

信号処理回路２６０は、調停回路２４０から、第一処理開始信号、第二処理開始信号、入力信号保存アドレスとを受信する。また、信号処理回路２６０は、内部状態を切替回路２５１から受信し、自身の内部状態として上書きする。そして、信号処理回路２６０は、受信した入力信号保存アドレスで示されるメモリ２３０上の保存場所に保存されている入力信号を読み出し、第一処理開始信号、または第二処理開始信号に従い、第一の処理、または第二の処理を開始する。なお、処理を開始し、処理を行っている間、信号処理回路２６０は、処理中信号を調停回路２４０に送信する。処理中信号とは、処理を行っていることを示す制御信号である。

また、信号処理回路２６０は、信号処理が完了すると、切替回路２５２を介して、接続されている内部状態保存回路２１０のいずれかに、自身の内部状態を保存する。このとき、信号処理回路２６０の内部状態の一部は、常に初期値に戻るため、信号処理回路２６０は、初期値に戻らない内部状態のみを保存する。これにより、内部状態保存回路２１０に保存するデータ量を削減することができる。また、信号処理回路２６０は、信号処理結果を、メモリ２３０に保存する。そして、信号処理回路２６０は、処理結果保存アドレスと、非処理中信号とを、調停回路２４０に送信する。なお、信号処理回路２６０は、信号処理を行っていない間は、非処理中信号を調停回路２４０に送信し続ける。

ここで、例えば、第一の処理は、入力信号に対する３×３のマスクを使用した平均化処理である３×３平均化処理であり、第二の処理は、入力信号に対する５×５のマスクを使用した平均化処理である５×５平均化処理であるとする。このとき、第一の処理と第二の処理は、使用するマスクのサイズが異なるだけで、処理そのものは平均化処理であるので、第二の処理は、第一の処理と同質の処理であると言える。

例えば、入力信号の１フレーム目に対して処理を行う場合を考える。また、調停回路２４０は、入力信号の帯域幅と、信号処理回路２６０の処理能力と、１フレーム目に対する３×３平均化処理に要する時間と、１フレーム目に対する５×５平均化処理に要する時間とから、３×３平均化処理後に５×５平均化処理が行える回数を算出し、１回可能であると判断したものとする。すると、信号処理回路２６０は、まず、１フレーム目に対して、３×３平均化処理を行う。そして、信号処理回路２６０は、次に、処理能力の余剰分を利用して、１フレーム目に対して、５×５平均化処理を行う。これにより、１つの入力信号に対して、３×３平均化処理を施した処理結果と、５×５平均化処理を施した処理結果とを得ることができる。

以上より、本具体例における信号処理装置２によれば、同質の複数の処理を適用した信号処理結果を得ることができる。また、当該信号処理装置２によれば、例えば、得られた複数の信号処理結果をユーザに提示することができ、ユーザが自身の好みの映像を選択することができるようになる。

また、例えば、第一の処理は、入力信号に対する３次元Ｙ／Ｃ分離処理であり、第二の処理は、第一の処理結果、および第二の処理結果に対する３次元Ｙ／Ｃ分離処理であるとする。このとき、第一の処理と第二の処理は、処理の対象となる信号が異なるだけで、処理そのものは３次元Ｙ／Ｃ分離処理であるので、第二の処理は、第一の処理と同質の処理であると言える。なお、ここでの３次元Ｙ／Ｃ分離処理は、信号のノイズを低減するノイズリダクションを行うための処理である。

例えば、入力信号の１フレーム目に対して処理を行う場合を考える。また、調停回路２４０は、入力信号の帯域幅と、信号処理回路２６０の処理能力と、１フレーム目に対する３次元Ｙ／Ｃ分離処理に要する時間と、１フレーム目に対する２回目以降の３次元Ｙ／Ｃ分離処理に要する時間とから、第一の処理として行う３次元Ｙ／Ｃ分離処理の後に、第二の処理として行う３次元Ｙ／Ｃ分離処理が行える回数を算出し、３回可能であると判断したとする。すると、信号処理回路２６０は、まず、１フレーム目に対して３次元Ｙ／Ｃ分離処理を行う。これにより得られた結果を、１回目の処理結果とする。以降、同様の処理結果についても、２回目の処理結果、３回目の処理結果、・・・、とする。そして、信号処理回路２６０は、次に、処理能力の余剰分を利用して、１回目の処理結果に対して、３次元Ｙ／Ｃ分離処理を行い、２回目の処理結果を得る。以降、同様に、信号処理回路２６０は、３回目の処理結果、４回目の処理結果を得る。これにより、１つの入力信号に対して、３次元Ｙ／Ｃ分離処理を再帰的に施した処理結果を得ることができる。

以上より、本具体例における信号処理装置２によれば、再帰的な処理を複数回行うことが可能となる。また、当該信号処理装置２によれば、例えば、超解像的な効果を得ることが可能となる。

また、例えば、上記のような第一の処理、第二の処理において、構造上Ｍ個のタップに対して処理を行う場合、Ｎ回処理を繰り返すことにより、見かけ上、Ｍ×Ｎ個のタップに対して処理を行ったことと等価になる。これにより、広範囲にタップを持つことを意味するため、より広い範囲での画像を構築でき、高画質化が可能となる。

また、例えば、複数の入力信号をパラレルに受信し、各信号に対し、解像度を落とす解像度処理（低解像度化処理）を行う場合を考える。このとき、入力信号は６本あり、１本目を第一の処理で処理し、２本目以降を第二の処理で処理するものとする。

例えば、各信号の１フレーム目に対して処理を行う場合を考える。まず、信号処理回路２６０は、１本目の信号の１フレーム目に対して、低解像度化処理を行う。次に、信号処理回路は、処理能力の余剰分を利用して、２本目の信号の１フレーム目に対して、低解像度化処理を行う。次に、信号処理回路２６０は、３本目の信号の１フレーム目に対して、低解像度化処理を行う。以上のようにして、信号処理回路２６０は、残りの４本目〜６本目の信号の１フレーム目に対して、低解像度化処理を行う。また、信号処理回路２６０は、各入力信号が有する２フレーム目以降のフレームに対しても同様の処理を行う。これにより、複数の入力信号に対して、実質的には並列に同質の低解像度化処理を行うことができる。

以上より、本具体例における信号処理装置２によれば、例えば、処理時間に応じて処理できる入力信号の本数を変更することが可能となる。また、当該信号処理装置２によれば、例えば、当該効果に加え、画面分割数を変更することも可能となる。

なお、信号処理回路２６０は、前述のような第一の処理を行う第一処理回路と、前述のような第二の処理を行う第二処理回路を備えていてもよい。この場合、信号処理回路２６０は、第一の処理、および第二の処理を行わず、第一処理回路と第二処理回路が、各処理を行うことは言うまでもない。

（具体例２）
本具体例において、処理能力の余剰分を利用して、異なる処理を行う信号処理装置について説明する。本具体例における信号処理装置の構成例は、図２と同様であり、図２において、信号処理装置２を信号処理装置３と、信号処理回路２６０を信号処理回路３６０と読み替えたものである。

信号処理回路３６０は、調停回路２４０からの制御信号に応じて、入力信号に対して、第一の処理、または第二の処理を行う。なお、信号処理回路３６０の動作の詳細は、具体例１と同様であるので、説明を省略する。

ここで、例えば、第一の処理は、入力信号に対する動きベクトルを使用した解像度変換処理であり、フレームの前後において、動きのない画素に対しては処理を行わない処理であるとする。また、例えば、第二の処理は、第一の処理において使用する動きベクトルを算出する処理であるとする。このとき、第一の処理と第二の処理は、処理そのものが異なるので、異なる処理であると言える。また、調停回路２４０は、信号処理回路３６０において、第一の処理後、第二の処理が１回可能であると判断したものとする。

例えば、入力信号の１フレーム目に対して処理を行う場合を考える。信号処理回路３６０は、１フレーム目に対して、解像度変換処理を行う。このとき、動きベクトルは算出されていないので、信号処理回路３６０は、第一の処理として、動きベクトルの算出と、解像度変換処理を行う。次に、信号処理回路３６０は、調停回路２４０からの制御信号に応じて、第二の処理である動きベクトルの算出を行う。第二の処理は、１回可能であるので、信号処理回路３６０は、次に処理する２フレーム目に対する第一の処理に使用する動きベクトルの算出を、１フレーム目と２フレーム目を用いて行う。

次に、入力信号の２フレーム目に対して処理を行う場合を考える。信号処理回路３６０は、２フレーム目に対して、解像度変換処理を行う。このとき、動きベクトルは既に算出されているので、算出されている動きベクトルを使用して解像度変換処理を行う。次に、信号処理回路３６０は、調停回路２４０からの制御信号に応じて、第二の処理である動きベクトルの算出を行う。第二の処理は１回可能であるので、信号処理回路３６０は、次に処理する３フレーム目に対する第一の処理に使用する動きベクトルの算出を、２フレーム目と３フレーム目を用いて行う。これにより、解像度変換処理に使用する動きベクトルを事前に算出することができ、処理の効率化を図ることができる。

以上より、本具体例における信号処理装置３によれば、処理の効率化や、消費電力の削減効果などを得ることができる。

ここで、例えば、第一の処理は、入力信号に対するガンマ補正処理であり、第二の処理は、入力信号の各画素、およびその画素の輝度値に対するガンマ補正結果を格納するルックアップテーブル（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ、以下、ＬＵＴ）を構築する処理であるとする。このとき、第一の処理と第二の処理は、処理そのものが異なるので、異なる処理であると言える。また、調停回路２４０は、信号処理回路３６０において、第一の処理後、第二の処理が１回可能であると判断したものとする。

例えば、入力信号の１フレーム目に対して処理を行う場合を考える。信号処理回路３６０は、１フレーム目に対して、ガンマ補正処理を行う。このとき、ＬＵＴは構築されていないので、信号処理回路３６０は、１フレーム目の全画素に対して、ガンマ補正後の輝度値を算出するガンマ補正処理を行う。次に、信号処理回路３６０は、調停回路２４０からの制御信号に応じて、第二の処理であるＬＵＴ構築処理を行う。第二の処理は１回可能であるので、信号処理回路３６０は、次に処理する２フレーム目に対する第一の処理に使用するＬＵＴを構築する。ここで、例えば、２フレーム目の画素の輝度値の範囲が「５０〜２００」であったとする。この場合、信号処理回路３６０は、当該輝度値に対するガンマ補正後の輝度値を算出し、例えば、「（５０｜１００），（５１｜１００），（５２｜１０１），・・・，（１９８｜２５４），（１９９｜２５５），（２００｜２５５）」のようなＬＵＴを構築する。

次に、入力信号の２フレーム目に対して処理を行う場合を考える。信号処理回路３６０は、２フレーム目に対して、ガンマ補正処理を行う。このとき、ＬＵＴは既に構築されているので、構築されているＬＵＴからガンマ補正後の輝度値を取得し、ガンマ補正処理を行う。例えば、１フレーム目の座標（１，１）の画素の輝度値が「５１」であった場合、構築済みのＬＵＴからガンマ補正後の輝度値「１００」を取得する。この処理を、１フレーム目のすべての画素に対して行う。次に、信号処理回路３６０は、調停回路２４０からの制御信号に応じて、第二の処理であるＬＵＴ構築処理を行う。第二の処理は１回可能であるので、信号処理回路３６０は、次に処理する３フレーム目に対する第一の処理で使用するＬＵＴを構築する。ここで、例えば、３フレーム目の画素の輝度値の範囲が「１０〜１００」であったとする。この場合、信号処理回路３６０は、当該輝度値に対するガンマ補正後の輝度値を算出し、例えば、「（１０｜４０），（１１｜４０），（１２｜４１），・・・，（９８｜１４９），（９９｜１５０），（１００｜１５０）」のようなＬＵＴを構築する。これにより、ＬＵＴを事前に構築することができ、処理の効率化を図ることができる。

以上のように、本具体例における信号処理装置３によれば、処理の効率化や、消費電力の削減効果などを得ることができる。

なお、信号処理回路３６０は、前述のような第一の処理を行う第一処理回路と、前述のような第二の処理を行う第二処理回路を備えていてもよい。この場合、信号処理回路２６０は、第一の処理、および第二の処理を行わず、第一処理回路と第二処理回路が、各処理を行うことは言うまでもない。

また、以上のように、本実施の形態による信号処理装置は、信号処理装置の処理能力の余剰を算出し、かつ、その余剰を利用して、処理を制御する回路を備える。このような構成により、当該信号処理装置は、例えば、入力信号の画素レートが低い場合に、複数回の処理を繰り返すことができるため、少ない情報からでもより高品質な出力、つまり、画素レートが高く、入力情報が潤沢な場合と同等の結果を得ることが可能となる。また、当該信号処理装置は、例えば、入力信号の画素レートが低い場合に、入力信号に複数回の異なる処理が行えるため、異なる複数の処理結果を得ることが可能となる。また、当該信号処理装置は、例えば、複数の画素レートが低い入力信号を処理することや、複数の画素レートが異なる入力信号を処理することができるため、マルチチャンネル的な信号処理結果を得ることが可能となる。

なお、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよいし、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる信号処理装置は、ハードウェア構成としてリアルタイム性を保証し、ハードウェアの能力を最大限に活用することができるという効果を有し、テレビジョン装置等として有用である。

１、２、３ 信号処理装置
１１ 処理能力情報格納手段
１２ ルックアップテーブル格納手段
１３ 保存手段
１４ 信号受付手段
１５ 調停手段
１６ 制御手段
１７ 切替手段
１８ 信号処理手段
１９ 信号出力手段
２１０ 内部状態保存回路
２２０ 入力処理回路
２３０ メモリ
２４０ 調停回路
２５１、２５２ 切替回路
２６０、３６０ 信号処理回路
２７０ 出力処理回路

Claims (12)

1. 帯域の異なる２種類以上の信号を入力することが可能な信号処理装置であって、
   信号の処理能力に関する情報であり、信号処理装置が処理することのできる信号の帯域幅を示す情報である処理能力情報を格納し得る処理能力情報格納手段と、
   連続性がある信号であり、リアルタイム処理の対象である２種類以上の帯域の信号を受け付ける信号受付手段と、
   前記信号受付手段が受け付けた信号の帯域を取得し、当該帯域と前記処理能力情報とを用いて、余剰の処理時間に関する情報である余剰時間情報を取得する調停手段と、
   前記信号受付手段が受け付けた信号に対して第一の処理を行う信号処理手段と、
   前記余剰時間情報から、前記信号処理手段において第二の処理が可能であるか否かを判断し、前記信号処理手段において第二の処理が可能であると判断した場合、当該第二の処理を行うことを前記信号処理手段に指示する制御手段とを具備し、
   前記信号処理手段は、
   前記制御手段の指示に従って、第二の処理を行う信号処理装置。
2. 前記第二の処理は、
   前記第一の処理と同質の処理である請求項１記載の信号処理装置。
3. 前記第二の処理は、
   前記第一の処理とは異なる条件で行われる前記第一の処理と同質の１回以上の処理を含み、かつ、第一の処理の結果および前記同質の１回以上の処理の１以上の結果のうち、一の結果を選択する処理を含む請求項２記載の信号処理装置。
4. 前記第一の処理は、
   外部メモリを介した処理であり、
   前記第二の処理は、
   前記第一の処理と同質の１回以上の処理を含み、かつ、第一の処理の結果および前記同質の１回以上の処理の結果を用いて処理を行う請求項２記載の信号処理装置。
5. 前記調停手段は、
   前記信号受付手段が受け付けた信号の帯域を取得し、当該帯域と前記処理能力情報とを用いて、前記第二の処理の可能回数である余剰時間情報を取得し、
   前記制御手段は、
   前記第二の処理の可能回数である余剰時間情報から、当該可能回数だけ、前記第二の処理を行うことを前記信号処理手段に指示する請求項２から請求項４いずれか一項に記載の信号処理装置。
6. 前記第二の処理は、
   前記第一の処理と異なる処理である請求項１記載の信号処理装置。
7. 前記第二の処理は、
   前記第一の処理の前に行われる処理である、前記信号の特徴量を取得する処理であり、
   前記第一の処理は、前記第二の処理により取得された特徴量を用いて、信号処理を行う請求項６記載の信号処理装置。
8. ルックアップテーブルを格納し得るルックアップテーブル格納手段をさらに具備し、
   前記第一の処理は、
   前記ルックアップテーブルを参照して、前記信号に対して行う処理であり、
   前記第二の処理は、
   前記ルックアップテーブルを更新する処理である請求項６記載の信号処理装置。
9. 内部状態を保存し得る２以上の保存手段をさらに具備し、
   前記信号処理手段は、
   前記制御手段の指示に従って、前記第一の処理から前記第二の処理に処理を切り替える場合に、内部状態を前記第一の処理に対応する前記保存手段に保存し、前記第二の処理に対応する保存手段から内部状態を読み出し、当該内部状態を用いて前記第二の処理を行い、前記第二の処理から前記第一の処理に処理を切り替える場合に、内部状態を前記第二の処理に対応する前記保存手段に保存し、前記第一の処理に対応する保存手段から内部状態を読み出し、当該内部状態を用いて前記第一の処理を行う請求項１から請求項８いずれか一項に記載の信号処理装置。
10. 前記信号処理手段は、
    復元に必要な情報だけを内部状態として、前記保存手段に保存する請求項９記載の信号処理装置。
11. 前記信号処理手段から内部状態を受け付け、当該内部状態を処理に対応する保存手段に保存し、前記信号処理手段の処理に必要な内部状態を、処理に対応する保存手段から読み出し、前記信号処理手段に渡す切替手段をさらに具備し、
    前記信号処理手段は、
    前記第一の処理から前記第二の処理に処理を切り替える場合、または前記第二の処理から前記第一の処理に処理を切り替える場合に、処理終了段階の内部状態を前記切替手段に渡し、次の処理に必要な内部状態を前記切替手段から受け取り、前記第二の処理または前記第一の処理を行う請求項１０記載の信号処理装置。
12. 信号の処理能力に関する情報であり、信号処理装置が処理することのできる信号の帯域幅を示す情報である処理能力情報を格納し得る処理能力情報格納手段と、
    信号受付手段と、調停手段と、信号処理手段と、制御手段とを用いて行われる信号処理方法であり、帯域の異なる２種類以上の信号を処理することが可能な信号処理方法であって、
    前記信号受付手段が、
    連続性がある信号であり、リアルタイム処理の対象である２種類以上の帯域の信号を受け付ける信号受付ステップと、
    前記調停手段が、
    前記信号受付手段が受け付けた信号の帯域を取得し、当該帯域と前記処理能力情報とを用いて、余剰の処理時間に関する情報である余剰時間情報を取得する調停ステップと、
    前記信号処理手段が、
    前記信号受付手段が受け付けた信号に対して第一の処理を行う信号処理ステップと、
    前記制御手段が、
    前記余剰時間情報から、前記信号処理手段において第二の処理が可能であるか否かを判断し、前記信号処理手段において第二の処理が可能であると判断した場合、当該第二の処理を行うことを前記信号処理手段に指示する制御ステップとを具備し、
    前記信号処理ステップでは、
    前記信号処理手段が、
    前記制御手段の指示に従って、第二の処理を行う信号処理方法。

Images