JP4489245B2 - 画像処理装置とその制御方法 - Google Patents
画像処理装置とその制御方法 Download PDFInfo
- Publication number
- JP4489245B2 JP4489245B2 JP2000133088A JP2000133088A JP4489245B2 JP 4489245 B2 JP4489245 B2 JP 4489245B2 JP 2000133088 A JP2000133088 A JP 2000133088A JP 2000133088 A JP2000133088 A JP 2000133088A JP 4489245 B2 JP4489245 B2 JP 4489245B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- image processing
- output
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ディジタルカメラ等の電子的撮像装置に用いられる画像処理装置、特に複数の色成分をもつディジタル画像データに対し、異なる空間的な画像処理を並列に実行する画像処理装置に関する。
【０００２】
【従来の技術】
画像データを複数段直列に接続された空間的な画像処理によって、パイプライン的に処理する画像処理装置は、先に本件発明者等が特願平１１−１２０９２０号で提案している。
【０００３】
次に、上記先に提案した画像処理装置において、複数の色成分画像、例えばＹ，Ｃb ，Ｃr の各画像を、それぞれ演算に必要なデータ数の異なる処理ブロックで並列に処理する例について説明する。図14は、フレームメモリ101 から読み出した Bayer画像データを、ＹＣ生成ブロック102 によりＹ，Ｃb ，Ｃr の各成分の画像信号に分離し、Ｙ信号に対しては Cubic補間処理と称する16点補間処理ブロック103 により、Ｃb 及びＣr 信号に対しては４点補間処理ブロック104 ，105 により画像信号の補間処理を行い、ＲＧＢマトリクス変換ブロック106 によりＲＧＢの各信号に変換するデータフロー処理を行う画像処理回路を示している。ここで、 Cubic補間処理は、図15に示すように、Ａ〜Ｒの周囲16点の画像データからＺ位置の画像データを補間する処理であり、４点補間処理は図16に示すように、Ａ〜Ｄの周囲４点の画像データからＺ位置の画像データを補間する処理である。フレームメモリ101 から、ＹＣ生成ブロック102 へ入力される画像データは、図17，図18に示すように、行方向もしくは列方向にある一定の長さのデータを単位として読み出され、この単位でパイプライン処理されるようになっている。
【０００４】
次に、 Cubic補間処理及び４点補間処理について詳細に説明する。図19は Cubic補間処理ブロック103 の構成の従来例を示すブロック図である。 Cubic補間処理には、図15に示すように４ライン分の原画像データが必要であるため、補間処理時に読み出す４ラインと処理中に前段ブロック（ＹＣ生成ブロック）からの入力データをバッファリングするための１ラインの、計５ライン分の入力バッファ103-１と演算部103-２をもつ構成になっており、これによりライン単位でのパイプライン処理を行う。図20は４点補間処理ブロック104 ，105 の構成の従来例を示しており、この補間処理ブロックは３ライン分の入力バッファ104-１と演算部104-２をもつ構成となっている。
【０００５】
このような構成の補間処理ブロックで処理を行った場合、図21に示すようなタイミングで処理が行われる。図21において、Ｒは入力バッファからのデータ読み出し、Ｗはデータ書き込みを表している。また破線間の時間は、１ラインのデータが入力される時間である。 Cubic補間処理に関しては、入力バッファ103-１の１〜４ライン目までに順次入力データが書き込まれ、５ライン目を書き込むと同時に、１〜４ライン目のデータを読み出して演算を行い出力する。一方、４点補間処理に関しては、入力バッファ104-１の１，２ライン目に順次入力データが書き込まれ、３ライン目を書き込むと同時に、１，２ライン目のデータを読み出して演算を行い出力する。
【０００６】
【発明が解決しようとする課題】
ところで、上記のように Bayer画像データをＹＣ生成ブロック102 によりＹ，Ｃb ，Ｃr の各成分の画像信号に分離し、Ｙ信号に対して Cubic補間処理、Ｃb，Ｃr 信号に対して４点補間処理を行った場合、図21に示すように、 Cubic補間処理と４点補間処理とで出力のタイミングがずれるため、後段のＲＧＢマトリクス変換ブロック106 に対して、そのままデータを入力することはできず、４点補間処理の出力を遅延させる必要がある。また、図22の（Ａ），（Ｂ）に示すように、 Cubic補間処理と４点補間処理の出力は、厳密には座標が一致しない。よって、４点補間処理の出力を１ライン遅延させるための装置を設けるなどして、出力のタイミングを合わせる必要がある。また、その場合においても、 Cubic補間処理出力の１ライン目、すなわち図22の（Ｂ）に示す４点補間画像におけるハッチングを施したデータ列の座標位置に相当するラインは、実際にはデータが出力されないため、ＲＧＢマトリクス変換ブロックからの出力は１ライン目は正しい出力とはならない。したがって、ＲＧＢマトリクス変換ブロックからの出力を１ライン分マスキングするための装置が必要である。
【０００７】
このように、処理に必要なデータ数の異なる処理ブロックによる並列処理においては、データを同期させるための機構が必要となる。しかしながら、従来提案の画像処理装置には、処理に必要なデータ数の異なる画像処理ブロック間の出力を時間的空間的に同期させる構成に関して考慮がなされていない。
【０００８】
本発明は、先に提案した画像処理装置における上記問題点を解消するためになされたもので、請求項１に係る発明は、処理に必要なデータ数の異なる、複数の画像処理ブロックが並列動作するものにおいて、各画像処理ブロック間の出力を同期させるかどうかを容易に且つ柔軟に切り換えられるようにした画像処理装置を提供することを目的とする。請求項２に係る発明は、請求項１に係る画像処理装置における画像処理回路を構成するバッファ回路の全容量を見かけ上増やして、バッファ回路を無駄なく使用することができるようにすることを目的とする。請求項３に係る発明は、請求項２に係る画像処理装置において、画像処理回路を構成するバッファ回路から読み出す画像データの開始位置を変更し、画像処理回路が出力する画像データの空間的な位置を変更できるようにすることを目的とする。請求項４に係る発明は、並列動作の画像処理回路間の時間的並びに空間的同期をとることが可能な画像処理装置を提供することを目的とする。請求項５に係る発明は、並列動作の画像処理回路間の時間的並びに空間的同期をとらせる画像処理装置の制御方法を提供することを目的とする。
【０００９】
また請求項６に係る発明は、請求項４に係る画像処理装置において、装置の規模や消費電力を抑えるように構成することを目的とする。請求項７に係る発明は、請求項６に係る画像処理装置において、補間処理性能の向上と消費電力の低減のいずれを優先させるかを選択できるように構成することを目的とする。請求項８に係る発明は、請求項７に係る画像処理装置において、Ｙ，Ｃb ，Ｃr 信号の補間処理を各補間処理ブロックで並列処理して、ＴＩＦＦ画像とＪＰＥＧ画像とを選択的に出力できるように構成することを目的とする。請求項９に係る発明は、請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間処理ブロック又は４点補間処理ブロックで補間処理する場合でも、その切り換え並びにＣb ，Ｃr 信号補間処理ブロックとの同期を容易に行え、ＴＩＦＦ画像を出力させることが可能な制御方法を提供することを目的とする。請求項10に係る発明は、請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間処理ブロック又は４点補間処理ブロックで補間処理してＪＰＥＧ画像を出力する際に、最速のタイミングで画像データを出力させることが可能な制御方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、周期的にデータの区切りを表すマーカ信号が付加された画像データ信号が自己の入力部に供給されるようになされ、該入力部に供給される上記画像データ信号を所定のアドレス順に一定量一時的に蓄積し、該蓄積された画像データ信号を自己の出力部から順次出力するようになされたバッファ回路と、上記バッファ回路に供給される上記画像データ信号を自己の第１の入力部で受け且つ外部から別途に供給されるデータ量初期値設定信号を自己の第２の入力部で受け、上記第１の入力部及び第２の入力部で受けた各信号に依拠して、上記バッファ回路に蓄積されるデータ量に対して上記第２の入力部で受けた当該データ量初期値に応じた一定の対応関係を有するデータ量検出信号を出力するようになされたデータ量検出手段と、該データ量検出手段から出力されるデータ量検出信号に応じて、上記バッファ回路に蓄積された上記画像データ信号を、所定のアドレスから順次読み出すための指令信号を該バッファ回路に供給する制御手段とを有する遅延回路要素を含んでなる画像処理回路を備えた画像処理装置であって、上記データ量検出手段の第２の入力部に供給するデータ量初期値設定信号の値を選択することによって、上記バッファ回路の入力部に供給される当該画像データ信号が出力部から出力されるに至る伝達特性に関して所望の遅延が得られるように構成されていることを特徴とするものである。
【００１１】
上記構成の画像処理装置における、周期的にデータの区切りを表すマーカ信号が付加された画像データ信号には、図２に示した実施の形態におけるデータ有効信号の重畳された画像データが対応する。またバッファ回路には図３に示した実施の形態における入力バッファが対応し、データ量検出手段にはデータ量計数器が対応し、制御手段には入力バッファコントローラが対応する。
【００１２】
そして、上記構成の画像処理装置においては、データ量検出手段は、データの区切りを表すマーカ信号を用いてバッファ回路内のデータ量を検出してデータ量検出信号を発生し、このデータ量検出信号値に応じて、バッファ回路から蓄積された画像データが読み出される。すなわち、データ量検出信号値がある範囲の値をとるとき、バッファ回路から画像データ信号が読み出される。そして、データ量初期値を変更することで、このデータ量検出信号の値に至るまでの時間を変更することができ、その結果、バッファ回路の入出力の伝達特性に関して所望の遅延を得ることが可能となる。したがって、複数の画像処理回路を用いて並列動作させる際に、各画像処理回路間の出力を同期させるか否かを容易に且つ柔軟に切り換えられるようにした画像処理装置を実現することが可能となる。
【００１３】
請求項２に係る発明は、請求項１に係る画像処理装置において、上記画像処理回路は、上記バッファ回路に供給される上記画像データ信号を自己の第１の入力部で受け且つ外部から別途に供給される残容量初期値設定信号を自己の第２の入力部で受け、上記第１の入力部及び第２の入力部で受けた各信号に依拠して、上記バッファ回路に蓄積可能な残容量に対して上記第２の入力部で受けた当該残容量初期値に応じた一定の対応関係を有する残容量信号を出力するようになされた残容量検出手段を更に備え、上記制御手段は、上記データ量検出手段からのデータ量検出信号及び上記残容量検出手段からの残容量信号に基づいて、上記バッファ回路に蓄積された上記画像データ信号を所定のアドレスから順次読み出すための指令信号と、上記バッファ回路に上記画像データ信号を所定のアドレス順に蓄積するための指令信号とを、該バッファ回路に供給するように構成されていることを特徴とするものである。
【００１４】
上記構成の画像処理回路における残容量検出手段には、図３に示した実施の形態における空き容量計数器が対応する。そして、上記のように構成された画像処理装置においては、残容量検出手段は、データの区切りを表すマーカ信号を用いてバッファ回路内の残容量を検出して残容量検出信号を発生し、この残容量検出信号値に応じて、バッファ回路への画像データ信号の書き込みが行われる。すなわち、残容量があれば、バッファ回路に画像データ信号が書き込まれる。そして、残容量初期値を変更することで、バッファ回路の全容量を見かけ上増やすことができる。バッファ回路の容量を見かけ上増やした場合、一度蓄積された画像データ信号の上に更に画像データ信号を上書きすることが可能となるので、入力されるものの処理に不必要なデータを上書きさせることで、バッファ回路を無駄なく使用することができる。
【００１５】
請求項３に係る発明は、請求項２に係る画像処理装置において、上記制御手段は、更に上記バッファ回路に対し読み出し開始アドレスを指定する読み出し位置指定信号を受けて、上記データ量検出信号及び上記残容量検出信号並びに前記読み出し位置指定信号に基づいて、上記バッファ回路に蓄積された上記画像データ信号を、所定のアドレスから順次読み出すための指令信号を該バッファ回路に供給するように構成されていることを特徴とするものである。
【００１６】
上記構成の画像処理装置における読み出し位置指定信号には、図３に示した実施の形態における入力バッファコントローラに入力されている読み出し初期位置指定信号が相当する。そして、上記のように構成された画像処理装置においては、読み出し位置指定信号は、バッファ回路の読み出し開始アドレスを指定しており、この読み出し位置指定信号を変更することで、バッファ回路から読み出す画像データの開始位置を変更することができる。これにより、実際の処理に使用される画像の開始位置を変更して、当該画像処理回路が出力する画像データの空間的な位置を変更できる。
【００１７】
請求項４に係る発明は、複数段直列に接続された空間的画像処理を行う処理ブロックにより、パイプライン的に画像データを処理する画像処理装置であって、上記処理ブロックのうち少なくとも１つは前記請求項１に係る画像処理回路を複数並列に動作するように配設したもので構成されていることを特徴とするものである。
【００１８】
この構成の画像処理装置には、図１及び図４に示す実施の形態が対応する。そして、複数段直列に接続された空間的画像処理を行う処理ブロックには、図１における第１処理ブロック、第（２−１）処理ブロック〜第（２−３）処理ブロック，第（３−１）処理ブロック〜第（３−３）処理ブロック、第（ｎ−１）処理ブロック〜第（ｎ−３）処理ブロックが対応し、また図４においては、ＹＣ生成処理ブロックや、 Cubic補間処理ブロック、４点補間処理ブロック、ＪＰＥＧ圧縮処理ブロック、ＲＧＢマトリクス変換ブロックが対応する。また、複数並列に動作する画像処理回路は、図１においては第（２−１）〜（２−３）処理ブロックや第（３−１）〜（３−３）処理ブロックや第（ｎ−１）〜（ｎ−３）処理ブロックの組であり、図４においては Cubic補間処理ブロックと４点補間処理ブロックからなる補間処理ブロックである。
【００１９】
請求項５に係る発明は、上記請求項４に係る画像処理装置の制御方法において、上記複数並列に動作するように配設された画像処理回路に供給される上記データ量初期値設定信号と上記残容量初期値設定信号と上記読み出し位置指定信号の設定により、上記複数並列に動作するように配設された画像処理回路が出力する画像データ信号を時間的空間的に同期するように制御することを特徴とするものである。
【００２０】
この請求項５に係る制御方法には、図５及び図７に示す動作モードにおけるデータ量、空き容量、読み出し位置の各初期値の設定方法が対応し、また図11及び図13のタイミングチャートで示す各初期値を設定する方法が対応する。
【００２１】
そして、上記請求項４に係る画像処理装置及び請求項５に係るその制御方法によれば、データ量初期値と残容量初期値を適当に設定することにより、バッファ回路からのデータの読み出しと書き込みのタイミングを変更して、並列に動作している各画像処理回路間の時間的同期をとることが可能となる。また、読み出し位置の初期値を設定することで、空間的同期をとることが可能となる。
【００２２】
請求項６に係る発明は、請求項４に係る画像処理装置において、上記複数段直列に接続された空間的画像処理を行う処理ブロックとして、少なくともＹＣ生成処理ブロック、補間処理ブロック、ＲＧＢマトリクス変換ブロック、ＪＰＥＧ処理ブロックを備え、上記補間処理ブロックは、少なくともそれぞれ１つ以上の Cubic補間処理ブロックと４点補間処理ブロックを含み、それらが並列に動作するように構成されていることを特徴とするものである。また請求項７に係る発明は、請求項６に係る画像処理装置において、上記補間処理ブロックは、１つの Cubic補間処理ブロックと３つの４点補間処理ブロックをもち、 Cubic補間処理ブロックと４点補間処理ブロックを選択的に用いて輝度信号（Ｙ信号）を補間処理し、４点補間処理ブロックを用いて色信号（Ｃb ，Ｃr 信号）を補間処理するように構成されていることを特徴とするものである。
【００２３】
これらの請求項６，７に係る画像処理装置には、図４に示す実施の形態が対応し、上記構成により、Ｃb ，Ｃr 信号を４点補間処理することで、全てを Cubic補間処理することに比べて装置の規模や消費電力を押さえることができる。また、Ｙ信号に関しては Cubic補間処理と４点補間処理を選択でき、これにより性能と消費電力のどちらを優先させた処理を行うか選択することが可能となる。
【００２４】
請求項８に係る発明は、請求項７に係る画像処理装置において、少なくともＴＩＦＦ画像出力モードとＪＰＥＧ画像出力モードを選択できるように構成され、ＴＩＦＦ画像出力モード選択時においては、ＹＣ生成処理ブロックでＹ，Ｃb ，Ｃr 信号に分離し、Ｙ信号は Cubic補間処理ブロック又は４点補間処理ブロックで、Ｃb ，Ｃr 信号は４点補間処理ブロックでそれぞれ並列に処理し、この補間処理出力をＲＧＢマトリクス変換ブロックで原色（ＲＧＢ）画像に変換し、ＪＰＥＧ画像出力モード選択時においては、ＹＣ生成処理ブロックでＹ，Ｃb ，Ｃr信号に分離し、Ｙ信号は Cubic補間処理ブロック又は４点補間処理ブロックで、Ｃb ，Ｃr 信号は４点補間処理ブロックでそれぞれ並列に処理し、この補間処理出力をＪＰＥＧ処理ブロックでＪＰＥＧ画像に変換するように構成されていることを特徴とするものである。
【００２５】
また請求項９に係る発明は、上記請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間で処理してＴＩＦＦ画像を出力する場合には、前記請求項５記載の複数並列に動作するように配設された画像処理回路が出力する画像データ信号を時間的空間的に同期させる制御方法で Cubic補間処理ブロックと２つの４点補間処理ブロックとの同期をとり、Ｙ信号を４点補間で処理してＴＩＦＦ画像を出力する場合には、前記請求項５記載の同期制御方法で３つの４点補間処理ブロックの同期をとることを特徴とするものである。
【００２６】
上記請求項８に係る画像処理装置の構成には、図４に示した実施の形態において、図５，図６，図７及び図８に示す動作モードで動作させる場合の構成に対応し、請求項９に係る画像処理装置の制御方法には、図５及び図７に示す各動作モードにおいて、図11及び図13のタイミングチャートの各初期値を設定する制御方法が対応する。
【００２７】
上記のように構成された画像処理装置及びその制御方法においては、データ量初期値、残容量初期値、読み出し位置初期値を適宜設定することで、 Cubic補間処理と４点補間処理の出力を時間的空間的に同期させることができる。補間処理ブロックの処理が Cubic補間処理と４点補間処理の組み合わせから、全て４点補間処理の組み合わせになっても、上記データ量、残容量、読み出し位置の各初期値を設定変更することで、同期をとることが可能であり、特殊な装置を必要とすることもなく容易に切り換えが可能である。
【００２８】
請求項10に係る発明は、上記請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間で処理してＪＰＥＧ画像を出力する場合には、 Cubic補間処理ブロックと２つの４点補間処理ブロックの同期をとらず、Ｙ信号を４点補間で処理してＪＰＥＧ画像を出力する場合には、３つの４点補間処理ブロックの同期をとらないで出力制御することを特徴とするものである。この請求項に係る画像処理装置の制御方法には、図６及び図８に示す動作モードにおける、上記データ量、残容量、読み出し位置の各初期値設定方法が対応する。図６の動作モードにおける上記各初期値の設定は、図12に示すタイミングチャートが対応する。
【００２９】
上記構成の画像処理装置の制御方法においては、最終処理がＪＰＥＧ処理で、 Cubic補間処理と４点補間処理の同期が必要ない場合においても、上記各初期値の設定を変更するだけで、 Cubic補間処理と４点補間処理の同期を考慮せずに、各ブロックから最速のタイミングで画像データを出力させるように制御することができる。
【００３０】
【発明の実施の形態】
次に、実施の形態について説明する。まず、本発明に係る画像処理装置の概念的な実施の形態を図１に基づいて説明する。本発明に係る画像処理装置においては、バス６に接続された各部の制御を行うＣＰＵ５の制御により、ＣＣＤ撮像素子１からの撮像信号をプリプロセス回路２で処理した信号を、バス６を介してフレームメモリ３へ一旦記憶し、次いでフレームメモリ３から読み出した画像データをバス６を介して、第１処理ブロック11へ入力し空間的な画像処理がなされ、３つの画像成分に分離して出力される。これらの画像データは、以後加えたい画像処理の種類に応じて、接続切り換えブロック17を介して接続された、第（２−１）処理ブロック12-1乃至第（ｎ−３）処理ブロック14-3のうちの幾つかのブロックで、空間的な画像処理がなされ、最終的にはＪＰＥＧ圧縮ブロック15もしくはＲＧＢマトリクス変換ブロック16により処理され、バス６を介してフレームメモリ３もしくはメモリカード４へ書き込まれるようになっている。
【００３１】
接続切り換えブロック17による画像データ信号経路の変更は、処理モードの設定に応じてＣＰＵ５の制御により、接続切り換えブロック17内の接続を変更することによりなされる。また、図１に示した画像処理装置に入力し、処理される画像データの形式は、従来例と同様に図17，図18に示すように、行方向もしくは列方向に一定の長さのデータを単位とするようになされる。各画像処理ブロックに入力される画像データは、図２に示すように、１ラインのデータ有効期間を表すデータ有効信号と重畳されて、１ラインずつ順次入力される。
【００３２】
ここで、ＪＰＥＧ圧縮処理及びＲＧＢマトリクス変換処理を行う各ブロック15，16は、共に３成分の信号を入力し処理を行う。このとき、ＪＰＥＧ圧縮ブロック15では各入力が同期する必要はないが、ＲＧＢマトリクス変換ブロック16では全ての入力が同期している必要がある。
【００３３】
次に、第（２−１）処理ブロック12-1〜第（ｎ−３）処理ブロック14-3の各画像処理ブロックの詳細な構成を、図３を用いて説明する。各画像処理ブロックは、前段ブロックからの入力データを蓄積するための入力バッファ21，入力バッファ21から読み出されたデータに空間的画像処理を施す演算部22，入力バッファ21内のデータ量を計数するデータ量計数器23，入力バッファ21の空き容量を計数する空き容量計数器24，入力バッファコントローラ25により構成されている。
【００３４】
入力バッファ21は、当該処理ブロックが処理に必要となるデータのライン数以上の容量を備えており、ライン１から順にデータが書き込まれ、ラインｎまで書き込まれた後は、またライン１から順にデータが書き込まれる。データ量計数器23は、データに重畳されて入力されるデータ有効信号によりインクリメントされ、入力バッファ21から演算部22へデータが移送されると、その際消費され無効データとなったデータライン数が減算されるアップダウンカウンタである。空き容量計数器24は、前記データ有効信号によりデクリメントされ、入力バッファ21から演算部22へデータが移送されると、その際消費され無効データとなったデータライン数が加算されるアップダウンカウンタである。
【００３５】
入力バッファコントローラ25は、上記２つの計数器23，24から出力されるデータ量、空き容量、及び入力バッファ21からの読み出し開始位置の情報を基に、入力バッファ21のアクセスをコントロールするようになっている。データ量が当該処理ブロックの処理必要ライン数以上の場合、入力バッファ21からデータを読み出し演算部22へ移送する。また、空き容量が０以下の場合、前段処理ブロックからの書き込みを禁止する。入力バッファ21からのデータ読み出しアドレスは、読み出し開始位置に基づいて発行される。該読み出し開始位置は、入力バッファ21中の何番目のラインからデータを読み出すか、及び各ラインの先頭から何番目のデータから読み出すかに関する情報を表し、入力バッファ21からデータを読み出す毎に、次に読み出す位置を指すように入力バッファコントローラ25の内部で更新される。
【００３６】
前記２つの計数器23，24と読み出し開始位置には、それぞれ初期値を設定できるようになっており、これらを変更することにより、出力のタイミング、座標位置を変更することができる。したがって、並列に動作している画像処理ブロック間で、これらの初期値を適当に設定することにより、出力を同期させることが可能となる。なお、これらの各初期値は、ＣＰＵ５により各画像処理ブロックに対し設定されるようになっている。
【００３７】
次に、本発明に係る画像処理装置の具体的な実施の形態を図４に基づいて説明する。なお、この図４に示す具体的な実施の形態において、図１の概念図に示した画像処理装置と同一の構成要素には同一の符号を付して示している。この具体的な実施の形態では、画像処理ブロックとして、ＹＣ生成処理ブロック31， Cubic補間処理ブロック32，３つの４点補間処理ブロック33，34，35で構成しているものを示している。
【００３８】
次に、このように構成した具体的な画像処理装置の動作について説明する。この実施の形態の画像処理装置は、いくつかの動作モードを備えており、その内の一つは、図５に示したデータフローで表される画像データ処理態様、すなわち、 Cubic補間処理ブロックと２つの４点補間処理ブロック33，34を用い、Ｙ画像信号を Cubic補間により、Ｃb ，Ｃr 画像信号を４点補間により補間処理した後、ＲＧＢマトリクス変換処理を行うモードである。図６に示すデータフローは、図５に示したデータフローにおける補間処理後のデータを、ＲＧＢマトリクス変換ブロック16で処理する代わりに、ＪＰＥＧ圧縮ブロック15で処理するモードである。図７に示すデータフローは、補間処理をＹ，Ｃb ，Ｃr 全ての画像信号について４点補間処理ブロック33，34，35で行った後、ＲＧＢマトリクス変換ブロック16で処理を行うモードである。図８のデータフローは、補間処理をＹ，Ｃb ，Ｃr 全てについて４点補間処理ブロック33，34，35で行った後、ＪＰＥＧ圧縮ブロック15で処理を行うモードである。
【００３９】
これらの動作モードのうち、図５及び図７に示す動作モードにおいては、補間処理の出力データは同期して出力される。それ以外の図６及び図８に示す動作モードにおいては、補間処理の出力は各補間処理ブロックにおいて補間処理が可能になった時点、すなわち最も速いタイミングで出力される。
【００４０】
次に、 Cubic補間処理ブロック及び４点補間処理ブロックの構成について説明する。 Cubic補間処理ブロックは、従来例と同じで、図19に示すように５ライン分の入力バッファをもつ構成となっており、一方、４点補間処理ブロック40は、図９に示すように４ライン分の入力バッファ41と演算部42とをもつ構成であり、図20に示した従来例のものよりも１ライン分多い入力バッファを用いて構成している。
【００４１】
これにより、 Cubic補間処理と４点補間処理を同期させる場合、４点補間の処理を１ライン期間遅らせることが可能となる。なお、図19，図９においては、演算部と入力バッファのみを示し、補間処理ブロックを構成する他の構成要素は図３に示した構成に準じており、図示を省略する。
【００４２】
次に、図５に示した動作モードにおける、 Cubic補間処理及び４点補間処理におけるデータ量、空き容量及びバッファ読み出し開始位置の初期値設定と同期出力の動作について説明する。以下の説明では、読み出し開始位置を次のように定義する。読み出し開始位置が（ｍ，ｎ）のとき、入力バッファのｍライン目から処理の必要ライン数分のバッファのデータを読み出す。このとき、各ラインの先頭からｎ番目以降のデータを読み出す。入力バッファが図10に示される構成で、処理の必要ライン数が３の場合を例にとり詳しく説明する。
【００４３】
図10に示す入力バッファに対して、読み出し位置（２，３）から読み出す場合、
Ｌ23，Ｌ33，Ｌ43
Ｌ24，Ｌ34，Ｌ44
・・・・・・
Ｌ2m，Ｌ3m，Ｌ4m
のようにデータを読み出す。また、入力バッファにはデータが循環して記憶されていくので、読み出し開始位置が（ｎ，１）の場合、
Ｌn1，Ｌ11，Ｌ21
Ｌn2，Ｌ12，Ｌ22
・・・・・・
Ｌnm，Ｌ1m，Ｌ2m
のようにデータが読み出されることになる。
【００４４】
さて、本実施の形態に係る画像処理装置において、 Cubic補間処理と４点補間処理の出力を同期させる場合、データ量、空き容量及び読み出し位置の各初期値を次のように設定する。
（１）（処理に必要なライン数−データ量初期値）が Cubic補間処理と４点補間処理とで等しくなるように、データ量初期値を設定する。
（２） Cubic補間処理と４点補間処理で同じ空間座標の画像から出力されるように、読み出し初期位置を設定する。
（３）（入力バッファの全ライン数＋実際に入力されるデータラインのうち使用しないラインの数）を空き容量初期値に設定する。
【００４５】
そして、 Cubic補間処理を基準に４点補間処理の初期値を決定する。 Cubic補間処理の初期値は、以下のようになる。
データ量初期値＝０、読み出し初期位置＝（１，１）、空き容量初期値＝５
ここで、処理に必要なライン数−データ量初期値＝４−０＝４から、４点補間処理のデータ量初期値ｘは、処理に必要なライン数−データ量初期値＝２−ｘ＝４より、ｘ＝−２と求まる。
【００４６】
更に、図22に示したように、 Cubic補間処理と４点補間処理では入力画像に対して補間処理を開始できる位置が異なる。入力画像左上の座標を（０，０）とすると、 Cubic補間処理の開始可能位置は（１，１）、４点補間処理の開始可能位置は（０，０）となる。したがって、４点補間処理は水平垂直方向共に１画素ずれた場所から補間処理を開始するために、２，３ライン目のバッファの、先頭から２番目のデータから読み出しを開始できるように、読み出し初期位置＝（２，２）と設定する。また、２，３ライン目のバッファからデータを読み出すことから、１ライン目のバッファに格納されたデータは使用されない。したがって、（入力バッファの全ライン数＋実際に入力されるデータラインのうち使用しないラインの数）＝４＋１＝５より、空き容量の初期値は５と設定する。
【００４７】
以上の設定における、 Cubic補間処理及び４点補間処理の初期動作タイミングを図11に示す。各処理ブロックにおいては、入力バッファに１ライン分のデータを書き込むたびにデータ量がインクリメントされ、 Cubic補間処理ではデータ量＝４で、４点補間処理ではデータ量＝２で処理を開始する。どちらの処理においても、処理開始までに４ライン分のデータを入力する。したがって、出力のタイミングが同時になり、同期した出力がなされる。また、４点補間処理では入力バッファの２，３ライン目から処理が行われ、 Cubic補間処理と同じ座標位置のデータが出力される。
【００４８】
次に、図６に示す動作モードにおける、 Cubic補間処理及び４点補間処理のデータ量、空き容量及びバッファ読み出し開始位置の初期値設定と、同期出力の動作について説明する。このモードは最終処理がＪＰＥＧ圧縮処理であるため、 Cubic補間処理と４点補間処理の出力が同期する必要はない。 Cubic補間処理及び４点補間処理の各初期値は、
Cubic補間 データ量初期値＝０、読み出し初期位置＝（１，１）、
空き容量初期値＝５
４点補間 データ量初期値＝−１、読み出し初期位置＝（２，２）、
空き容量初期値＝５
のように設定する。
【００４９】
以上の設定における、 Cubic補間処理及び４点補間処理の初期動作タイミングを図12に示す。このとき、４点補間処理では１ライン目のデータは使用されず、 Cubic補間処理と同じ座標のデータを出力するが、タイミングは同期しない。
【００５０】
以上のように、データ量、空き容量、読み出し位置の各初期値の設定を変更するだけで、 Cubic補間処理ブロックの出力と４点補間処理処理ブロックの出力を、同期させるかどうかを切り換えることが可能である。
【００５１】
次に、図７に示す動作モードにおける、 Cubic補間処理及び４点補間処理のデータ量、空き容量及びバッファ読み出し開始位置の初期値設定と、同期出力の動作について説明する。このモードではＹ画像信号に対して Cubic補間処理の代わりに４点補間処理を用いるモードである。全ての４点補間処理の設定は同じとなり、
データ量初期値＝０、読み出し初期位置＝（１，１）、空き容量初期値＝４
のように設定する。
【００５２】
以上の設定における４点補間処理の初期動作タイミングを図13に示す。同図において、４点補間（Ｙ）はＹ画像信号の補間処理、４点補間（Ｃ）はＣb ，Ｃr画像信号の補間処理のタイミングを表す。このとき、全ての４点補間処理は同期してデータを出力する。図６に示すモード時のように、１ライン目のデータを捨てることなく、可能な位置から補間処理を開始する。
【００５３】
このように、並列に動作する処理ブロックの組み合わせが、 Cubic補間処理と４点補間処理の組み合わせから、全て４点補間処理の組み合わせに切り換わった場合にも、データ量、空き容量、読み出し位置の各初期値の変更のみで、出力タイミングを合わせることが可能である。
【００５４】
なお、図８に示す動作モード時も図７に示す動作モード時と同様に各初期値を設定することにより、図13と同様のタイミングで動作させることができる。
【００５５】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、データ量初期値設定信号の値を選択することによって、画像処理回路のバッファ回路から出力される画像データ信号の伝達特性に関して所望の遅延が得られるように構成しているので、複数の画像処理回路を用いて並列動作させる際に、各画像処理回路間の出力を同期させるか否かを容易に且つ柔軟に切り換えられるようにした画像処理装置を実現することが可能となる。請求項２に係る発明によれば、請求項１に係る画像処理装置において、残容量初期値を変更することによりバッファ回路の全容量を見かけ上増やすことができ、バッファ回路を無駄なく使用することが可能となる。請求項３に係る発明によれば、請求項２に係る画像処理装置において、画像処理回路を構成するバッファ回路から読み出す画像データの開始位置を変更し、画像処理回路から出力する画像データの空間的な位置を変更することができる。請求項４に係る発明によれば、並列動作の画像処理回路間の時間的並びに空間的同期をとることが可能な画像処理装置を実現することができる。請求項５に係る発明によれば、並列動作の画像処理回路間の時間的並びに空間的同期をとらせる画像処理装置の制御方法を提供することができる。
【００５６】
また請求項６に係る発明によれば、請求項４に係る画像処理装置において、装置の規模や消費電力を抑えることが可能となる。請求項７に係る発明によれば、請求項６に係る画像処理装置において、補間処理性能の向上と消費電力の低減のいずれを優先させるかを選択することが可能となる。請求項８に係る発明によれば、請求項７に係る画像処理装置において、Ｙ，Ｃb ，Ｃr 信号の補間処理を各補間処理ブロックで並列処理して、ＴＩＦＦ画像とＪＰＥＧ画像とを選択的に出力することができる。請求項９に係る発明によれば、請求項８に係る画像処理装置の制御方法において、Ｙ信号の補間処理ブロックの切り換え動作並びにＣb ，Ｃr 信号の補間処理ブロックとの同期動作を容易に行え、ＴＩＦＦ画像を容易に出力させるように制御することができる。請求項10に係る発明によれば、請求項８に係る画像処理装置の制御方法において、Ｙ，Ｃb ，Ｃr 信号を補間処理してＪＰＥＧ画像を出力する際に、最速のタイミングで画像データを出力させることが可能な制御方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の概念的な実施の形態を示すブロック構成図である。
【図２】各画像処理ブロックに入力される画像データの構成を示す図である。
【図３】各画像処理ブロックの構成を示すブロック構成図である。
【図４】本発明に係る画像処理装置の具体的な実施の形態を示すブロック構成図である。
【図５】図４に示した実施の形態における画像処理動作モードの一例をデータフローで示す図である。
【図６】画像処理動作モードの他の例をデータフローで示す図である。
【図７】画像処理動作モードの更に他の例をデータフローで示す図である。
【図８】画像処理動作モードの更に他の例をデータフローで示す図である。
【図９】図４に示した実施の形態における４点補間処理ブロックの一部省略して示すブロック構成図である。
【図１０】入力バッファの構成を模式的に示す図である。
【図１１】図５に示した動作モードにおける Cubic補間処理及び４点補間処理の初期動作タイミングを示す図である。
【図１２】図６に示した動作モードにおける Cubic補間処理及び４点補間処理の初期動作タイミングを示す図である。
【図１３】図７に示した動作モードにおける Cubic補間処理及び４点補間処理の初期動作タイミングを示す図である。
【図１４】先に提案した画像処理装置の構成を示すブロック構成図である。
【図１５】 Cubic補間処理態様を示す説明図である。
【図１６】４点補間処理態様を示す説明図である。
【図１７】行方向にある一定の長さのデータを単位として画像データを読み出す態様を示す図である。
【図１８】列方向にある一定の長さのデータを単位として画像データを読み出す態様を示す図である。
【図１９】従来の Cubic補間処理ブロックの構成を示す図である。
【図２０】従来の４点補間処理ブロックの構成を示す図である。
【図２１】従来の Cubic補間処理ブロック及び４点補間処理ブロックによる処理動作のタイミングを示す図である。
【図２２】 Cubic補間処理の出力態様及び４点補間処理の出力態様を示す図である。
【符号の説明】
１ ＣＣＤ撮像素子
２ プリプロセス回路
３ フレームメモリ
４ メモリカード
５ ＣＰＵ
６ バス
11 第１処理ブロック
12-1 第（２−１）処理ブロック
12-2 第（２−２）処理ブロック
12-3 第（２−３）処理ブロック
13-1 第（３−１）処理ブロック
13-2 第（３−２）処理ブロック
13-3 第（３−３）処理ブロック
14-1 第（ｎ−１）処理ブロック
14-2 第（ｎ−１）処理ブロック
14-3 第（ｎ−１）処理ブロック
15 ＪＰＥＧ圧縮ブロック
16 ＲＧＢマトリクス変換ブロック
17 接続切り換えブロック
21 入力バッファ
22 演算部
23 データ量計数器
24 空き容量計数器
25 入力バッファコントローラ
31 ＹＣ生成処理ブロック
32 Cubic補間処理ブロック
33，34，35 ４点補間処理ブロック
40 ４点補間処理ブロック
41 入力バッファ
42 演算部
【発明の属する技術分野】
この発明は、ディジタルカメラ等の電子的撮像装置に用いられる画像処理装置、特に複数の色成分をもつディジタル画像データに対し、異なる空間的な画像処理を並列に実行する画像処理装置に関する。
【０００２】
【従来の技術】
画像データを複数段直列に接続された空間的な画像処理によって、パイプライン的に処理する画像処理装置は、先に本件発明者等が特願平１１−１２０９２０号で提案している。
【０００３】
次に、上記先に提案した画像処理装置において、複数の色成分画像、例えばＹ，Ｃb ，Ｃr の各画像を、それぞれ演算に必要なデータ数の異なる処理ブロックで並列に処理する例について説明する。図14は、フレームメモリ101 から読み出した Bayer画像データを、ＹＣ生成ブロック102 によりＹ，Ｃb ，Ｃr の各成分の画像信号に分離し、Ｙ信号に対しては Cubic補間処理と称する16点補間処理ブロック103 により、Ｃb 及びＣr 信号に対しては４点補間処理ブロック104 ，105 により画像信号の補間処理を行い、ＲＧＢマトリクス変換ブロック106 によりＲＧＢの各信号に変換するデータフロー処理を行う画像処理回路を示している。ここで、 Cubic補間処理は、図15に示すように、Ａ〜Ｒの周囲16点の画像データからＺ位置の画像データを補間する処理であり、４点補間処理は図16に示すように、Ａ〜Ｄの周囲４点の画像データからＺ位置の画像データを補間する処理である。フレームメモリ101 から、ＹＣ生成ブロック102 へ入力される画像データは、図17，図18に示すように、行方向もしくは列方向にある一定の長さのデータを単位として読み出され、この単位でパイプライン処理されるようになっている。
【０００４】
次に、 Cubic補間処理及び４点補間処理について詳細に説明する。図19は Cubic補間処理ブロック103 の構成の従来例を示すブロック図である。 Cubic補間処理には、図15に示すように４ライン分の原画像データが必要であるため、補間処理時に読み出す４ラインと処理中に前段ブロック（ＹＣ生成ブロック）からの入力データをバッファリングするための１ラインの、計５ライン分の入力バッファ103-１と演算部103-２をもつ構成になっており、これによりライン単位でのパイプライン処理を行う。図20は４点補間処理ブロック104 ，105 の構成の従来例を示しており、この補間処理ブロックは３ライン分の入力バッファ104-１と演算部104-２をもつ構成となっている。
【０００５】
このような構成の補間処理ブロックで処理を行った場合、図21に示すようなタイミングで処理が行われる。図21において、Ｒは入力バッファからのデータ読み出し、Ｗはデータ書き込みを表している。また破線間の時間は、１ラインのデータが入力される時間である。 Cubic補間処理に関しては、入力バッファ103-１の１〜４ライン目までに順次入力データが書き込まれ、５ライン目を書き込むと同時に、１〜４ライン目のデータを読み出して演算を行い出力する。一方、４点補間処理に関しては、入力バッファ104-１の１，２ライン目に順次入力データが書き込まれ、３ライン目を書き込むと同時に、１，２ライン目のデータを読み出して演算を行い出力する。
【０００６】
【発明が解決しようとする課題】
ところで、上記のように Bayer画像データをＹＣ生成ブロック102 によりＹ，Ｃb ，Ｃr の各成分の画像信号に分離し、Ｙ信号に対して Cubic補間処理、Ｃb，Ｃr 信号に対して４点補間処理を行った場合、図21に示すように、 Cubic補間処理と４点補間処理とで出力のタイミングがずれるため、後段のＲＧＢマトリクス変換ブロック106 に対して、そのままデータを入力することはできず、４点補間処理の出力を遅延させる必要がある。また、図22の（Ａ），（Ｂ）に示すように、 Cubic補間処理と４点補間処理の出力は、厳密には座標が一致しない。よって、４点補間処理の出力を１ライン遅延させるための装置を設けるなどして、出力のタイミングを合わせる必要がある。また、その場合においても、 Cubic補間処理出力の１ライン目、すなわち図22の（Ｂ）に示す４点補間画像におけるハッチングを施したデータ列の座標位置に相当するラインは、実際にはデータが出力されないため、ＲＧＢマトリクス変換ブロックからの出力は１ライン目は正しい出力とはならない。したがって、ＲＧＢマトリクス変換ブロックからの出力を１ライン分マスキングするための装置が必要である。
【０００７】
このように、処理に必要なデータ数の異なる処理ブロックによる並列処理においては、データを同期させるための機構が必要となる。しかしながら、従来提案の画像処理装置には、処理に必要なデータ数の異なる画像処理ブロック間の出力を時間的空間的に同期させる構成に関して考慮がなされていない。
【０００８】
本発明は、先に提案した画像処理装置における上記問題点を解消するためになされたもので、請求項１に係る発明は、処理に必要なデータ数の異なる、複数の画像処理ブロックが並列動作するものにおいて、各画像処理ブロック間の出力を同期させるかどうかを容易に且つ柔軟に切り換えられるようにした画像処理装置を提供することを目的とする。請求項２に係る発明は、請求項１に係る画像処理装置における画像処理回路を構成するバッファ回路の全容量を見かけ上増やして、バッファ回路を無駄なく使用することができるようにすることを目的とする。請求項３に係る発明は、請求項２に係る画像処理装置において、画像処理回路を構成するバッファ回路から読み出す画像データの開始位置を変更し、画像処理回路が出力する画像データの空間的な位置を変更できるようにすることを目的とする。請求項４に係る発明は、並列動作の画像処理回路間の時間的並びに空間的同期をとることが可能な画像処理装置を提供することを目的とする。請求項５に係る発明は、並列動作の画像処理回路間の時間的並びに空間的同期をとらせる画像処理装置の制御方法を提供することを目的とする。
【０００９】
また請求項６に係る発明は、請求項４に係る画像処理装置において、装置の規模や消費電力を抑えるように構成することを目的とする。請求項７に係る発明は、請求項６に係る画像処理装置において、補間処理性能の向上と消費電力の低減のいずれを優先させるかを選択できるように構成することを目的とする。請求項８に係る発明は、請求項７に係る画像処理装置において、Ｙ，Ｃb ，Ｃr 信号の補間処理を各補間処理ブロックで並列処理して、ＴＩＦＦ画像とＪＰＥＧ画像とを選択的に出力できるように構成することを目的とする。請求項９に係る発明は、請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間処理ブロック又は４点補間処理ブロックで補間処理する場合でも、その切り換え並びにＣb ，Ｃr 信号補間処理ブロックとの同期を容易に行え、ＴＩＦＦ画像を出力させることが可能な制御方法を提供することを目的とする。請求項10に係る発明は、請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間処理ブロック又は４点補間処理ブロックで補間処理してＪＰＥＧ画像を出力する際に、最速のタイミングで画像データを出力させることが可能な制御方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、周期的にデータの区切りを表すマーカ信号が付加された画像データ信号が自己の入力部に供給されるようになされ、該入力部に供給される上記画像データ信号を所定のアドレス順に一定量一時的に蓄積し、該蓄積された画像データ信号を自己の出力部から順次出力するようになされたバッファ回路と、上記バッファ回路に供給される上記画像データ信号を自己の第１の入力部で受け且つ外部から別途に供給されるデータ量初期値設定信号を自己の第２の入力部で受け、上記第１の入力部及び第２の入力部で受けた各信号に依拠して、上記バッファ回路に蓄積されるデータ量に対して上記第２の入力部で受けた当該データ量初期値に応じた一定の対応関係を有するデータ量検出信号を出力するようになされたデータ量検出手段と、該データ量検出手段から出力されるデータ量検出信号に応じて、上記バッファ回路に蓄積された上記画像データ信号を、所定のアドレスから順次読み出すための指令信号を該バッファ回路に供給する制御手段とを有する遅延回路要素を含んでなる画像処理回路を備えた画像処理装置であって、上記データ量検出手段の第２の入力部に供給するデータ量初期値設定信号の値を選択することによって、上記バッファ回路の入力部に供給される当該画像データ信号が出力部から出力されるに至る伝達特性に関して所望の遅延が得られるように構成されていることを特徴とするものである。
【００１１】
上記構成の画像処理装置における、周期的にデータの区切りを表すマーカ信号が付加された画像データ信号には、図２に示した実施の形態におけるデータ有効信号の重畳された画像データが対応する。またバッファ回路には図３に示した実施の形態における入力バッファが対応し、データ量検出手段にはデータ量計数器が対応し、制御手段には入力バッファコントローラが対応する。
【００１２】
そして、上記構成の画像処理装置においては、データ量検出手段は、データの区切りを表すマーカ信号を用いてバッファ回路内のデータ量を検出してデータ量検出信号を発生し、このデータ量検出信号値に応じて、バッファ回路から蓄積された画像データが読み出される。すなわち、データ量検出信号値がある範囲の値をとるとき、バッファ回路から画像データ信号が読み出される。そして、データ量初期値を変更することで、このデータ量検出信号の値に至るまでの時間を変更することができ、その結果、バッファ回路の入出力の伝達特性に関して所望の遅延を得ることが可能となる。したがって、複数の画像処理回路を用いて並列動作させる際に、各画像処理回路間の出力を同期させるか否かを容易に且つ柔軟に切り換えられるようにした画像処理装置を実現することが可能となる。
【００１３】
請求項２に係る発明は、請求項１に係る画像処理装置において、上記画像処理回路は、上記バッファ回路に供給される上記画像データ信号を自己の第１の入力部で受け且つ外部から別途に供給される残容量初期値設定信号を自己の第２の入力部で受け、上記第１の入力部及び第２の入力部で受けた各信号に依拠して、上記バッファ回路に蓄積可能な残容量に対して上記第２の入力部で受けた当該残容量初期値に応じた一定の対応関係を有する残容量信号を出力するようになされた残容量検出手段を更に備え、上記制御手段は、上記データ量検出手段からのデータ量検出信号及び上記残容量検出手段からの残容量信号に基づいて、上記バッファ回路に蓄積された上記画像データ信号を所定のアドレスから順次読み出すための指令信号と、上記バッファ回路に上記画像データ信号を所定のアドレス順に蓄積するための指令信号とを、該バッファ回路に供給するように構成されていることを特徴とするものである。
【００１４】
上記構成の画像処理回路における残容量検出手段には、図３に示した実施の形態における空き容量計数器が対応する。そして、上記のように構成された画像処理装置においては、残容量検出手段は、データの区切りを表すマーカ信号を用いてバッファ回路内の残容量を検出して残容量検出信号を発生し、この残容量検出信号値に応じて、バッファ回路への画像データ信号の書き込みが行われる。すなわち、残容量があれば、バッファ回路に画像データ信号が書き込まれる。そして、残容量初期値を変更することで、バッファ回路の全容量を見かけ上増やすことができる。バッファ回路の容量を見かけ上増やした場合、一度蓄積された画像データ信号の上に更に画像データ信号を上書きすることが可能となるので、入力されるものの処理に不必要なデータを上書きさせることで、バッファ回路を無駄なく使用することができる。
【００１５】
請求項３に係る発明は、請求項２に係る画像処理装置において、上記制御手段は、更に上記バッファ回路に対し読み出し開始アドレスを指定する読み出し位置指定信号を受けて、上記データ量検出信号及び上記残容量検出信号並びに前記読み出し位置指定信号に基づいて、上記バッファ回路に蓄積された上記画像データ信号を、所定のアドレスから順次読み出すための指令信号を該バッファ回路に供給するように構成されていることを特徴とするものである。
【００１６】
上記構成の画像処理装置における読み出し位置指定信号には、図３に示した実施の形態における入力バッファコントローラに入力されている読み出し初期位置指定信号が相当する。そして、上記のように構成された画像処理装置においては、読み出し位置指定信号は、バッファ回路の読み出し開始アドレスを指定しており、この読み出し位置指定信号を変更することで、バッファ回路から読み出す画像データの開始位置を変更することができる。これにより、実際の処理に使用される画像の開始位置を変更して、当該画像処理回路が出力する画像データの空間的な位置を変更できる。
【００１７】
請求項４に係る発明は、複数段直列に接続された空間的画像処理を行う処理ブロックにより、パイプライン的に画像データを処理する画像処理装置であって、上記処理ブロックのうち少なくとも１つは前記請求項１に係る画像処理回路を複数並列に動作するように配設したもので構成されていることを特徴とするものである。
【００１８】
この構成の画像処理装置には、図１及び図４に示す実施の形態が対応する。そして、複数段直列に接続された空間的画像処理を行う処理ブロックには、図１における第１処理ブロック、第（２−１）処理ブロック〜第（２−３）処理ブロック，第（３−１）処理ブロック〜第（３−３）処理ブロック、第（ｎ−１）処理ブロック〜第（ｎ−３）処理ブロックが対応し、また図４においては、ＹＣ生成処理ブロックや、 Cubic補間処理ブロック、４点補間処理ブロック、ＪＰＥＧ圧縮処理ブロック、ＲＧＢマトリクス変換ブロックが対応する。また、複数並列に動作する画像処理回路は、図１においては第（２−１）〜（２−３）処理ブロックや第（３−１）〜（３−３）処理ブロックや第（ｎ−１）〜（ｎ−３）処理ブロックの組であり、図４においては Cubic補間処理ブロックと４点補間処理ブロックからなる補間処理ブロックである。
【００１９】
請求項５に係る発明は、上記請求項４に係る画像処理装置の制御方法において、上記複数並列に動作するように配設された画像処理回路に供給される上記データ量初期値設定信号と上記残容量初期値設定信号と上記読み出し位置指定信号の設定により、上記複数並列に動作するように配設された画像処理回路が出力する画像データ信号を時間的空間的に同期するように制御することを特徴とするものである。
【００２０】
この請求項５に係る制御方法には、図５及び図７に示す動作モードにおけるデータ量、空き容量、読み出し位置の各初期値の設定方法が対応し、また図11及び図13のタイミングチャートで示す各初期値を設定する方法が対応する。
【００２１】
そして、上記請求項４に係る画像処理装置及び請求項５に係るその制御方法によれば、データ量初期値と残容量初期値を適当に設定することにより、バッファ回路からのデータの読み出しと書き込みのタイミングを変更して、並列に動作している各画像処理回路間の時間的同期をとることが可能となる。また、読み出し位置の初期値を設定することで、空間的同期をとることが可能となる。
【００２２】
請求項６に係る発明は、請求項４に係る画像処理装置において、上記複数段直列に接続された空間的画像処理を行う処理ブロックとして、少なくともＹＣ生成処理ブロック、補間処理ブロック、ＲＧＢマトリクス変換ブロック、ＪＰＥＧ処理ブロックを備え、上記補間処理ブロックは、少なくともそれぞれ１つ以上の Cubic補間処理ブロックと４点補間処理ブロックを含み、それらが並列に動作するように構成されていることを特徴とするものである。また請求項７に係る発明は、請求項６に係る画像処理装置において、上記補間処理ブロックは、１つの Cubic補間処理ブロックと３つの４点補間処理ブロックをもち、 Cubic補間処理ブロックと４点補間処理ブロックを選択的に用いて輝度信号（Ｙ信号）を補間処理し、４点補間処理ブロックを用いて色信号（Ｃb ，Ｃr 信号）を補間処理するように構成されていることを特徴とするものである。
【００２３】
これらの請求項６，７に係る画像処理装置には、図４に示す実施の形態が対応し、上記構成により、Ｃb ，Ｃr 信号を４点補間処理することで、全てを Cubic補間処理することに比べて装置の規模や消費電力を押さえることができる。また、Ｙ信号に関しては Cubic補間処理と４点補間処理を選択でき、これにより性能と消費電力のどちらを優先させた処理を行うか選択することが可能となる。
【００２４】
請求項８に係る発明は、請求項７に係る画像処理装置において、少なくともＴＩＦＦ画像出力モードとＪＰＥＧ画像出力モードを選択できるように構成され、ＴＩＦＦ画像出力モード選択時においては、ＹＣ生成処理ブロックでＹ，Ｃb ，Ｃr 信号に分離し、Ｙ信号は Cubic補間処理ブロック又は４点補間処理ブロックで、Ｃb ，Ｃr 信号は４点補間処理ブロックでそれぞれ並列に処理し、この補間処理出力をＲＧＢマトリクス変換ブロックで原色（ＲＧＢ）画像に変換し、ＪＰＥＧ画像出力モード選択時においては、ＹＣ生成処理ブロックでＹ，Ｃb ，Ｃr信号に分離し、Ｙ信号は Cubic補間処理ブロック又は４点補間処理ブロックで、Ｃb ，Ｃr 信号は４点補間処理ブロックでそれぞれ並列に処理し、この補間処理出力をＪＰＥＧ処理ブロックでＪＰＥＧ画像に変換するように構成されていることを特徴とするものである。
【００２５】
また請求項９に係る発明は、上記請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間で処理してＴＩＦＦ画像を出力する場合には、前記請求項５記載の複数並列に動作するように配設された画像処理回路が出力する画像データ信号を時間的空間的に同期させる制御方法で Cubic補間処理ブロックと２つの４点補間処理ブロックとの同期をとり、Ｙ信号を４点補間で処理してＴＩＦＦ画像を出力する場合には、前記請求項５記載の同期制御方法で３つの４点補間処理ブロックの同期をとることを特徴とするものである。
【００２６】
上記請求項８に係る画像処理装置の構成には、図４に示した実施の形態において、図５，図６，図７及び図８に示す動作モードで動作させる場合の構成に対応し、請求項９に係る画像処理装置の制御方法には、図５及び図７に示す各動作モードにおいて、図11及び図13のタイミングチャートの各初期値を設定する制御方法が対応する。
【００２７】
上記のように構成された画像処理装置及びその制御方法においては、データ量初期値、残容量初期値、読み出し位置初期値を適宜設定することで、 Cubic補間処理と４点補間処理の出力を時間的空間的に同期させることができる。補間処理ブロックの処理が Cubic補間処理と４点補間処理の組み合わせから、全て４点補間処理の組み合わせになっても、上記データ量、残容量、読み出し位置の各初期値を設定変更することで、同期をとることが可能であり、特殊な装置を必要とすることもなく容易に切り換えが可能である。
【００２８】
請求項10に係る発明は、上記請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間で処理してＪＰＥＧ画像を出力する場合には、 Cubic補間処理ブロックと２つの４点補間処理ブロックの同期をとらず、Ｙ信号を４点補間で処理してＪＰＥＧ画像を出力する場合には、３つの４点補間処理ブロックの同期をとらないで出力制御することを特徴とするものである。この請求項に係る画像処理装置の制御方法には、図６及び図８に示す動作モードにおける、上記データ量、残容量、読み出し位置の各初期値設定方法が対応する。図６の動作モードにおける上記各初期値の設定は、図12に示すタイミングチャートが対応する。
【００２９】
上記構成の画像処理装置の制御方法においては、最終処理がＪＰＥＧ処理で、 Cubic補間処理と４点補間処理の同期が必要ない場合においても、上記各初期値の設定を変更するだけで、 Cubic補間処理と４点補間処理の同期を考慮せずに、各ブロックから最速のタイミングで画像データを出力させるように制御することができる。
【００３０】
【発明の実施の形態】
次に、実施の形態について説明する。まず、本発明に係る画像処理装置の概念的な実施の形態を図１に基づいて説明する。本発明に係る画像処理装置においては、バス６に接続された各部の制御を行うＣＰＵ５の制御により、ＣＣＤ撮像素子１からの撮像信号をプリプロセス回路２で処理した信号を、バス６を介してフレームメモリ３へ一旦記憶し、次いでフレームメモリ３から読み出した画像データをバス６を介して、第１処理ブロック11へ入力し空間的な画像処理がなされ、３つの画像成分に分離して出力される。これらの画像データは、以後加えたい画像処理の種類に応じて、接続切り換えブロック17を介して接続された、第（２−１）処理ブロック12-1乃至第（ｎ−３）処理ブロック14-3のうちの幾つかのブロックで、空間的な画像処理がなされ、最終的にはＪＰＥＧ圧縮ブロック15もしくはＲＧＢマトリクス変換ブロック16により処理され、バス６を介してフレームメモリ３もしくはメモリカード４へ書き込まれるようになっている。
【００３１】
接続切り換えブロック17による画像データ信号経路の変更は、処理モードの設定に応じてＣＰＵ５の制御により、接続切り換えブロック17内の接続を変更することによりなされる。また、図１に示した画像処理装置に入力し、処理される画像データの形式は、従来例と同様に図17，図18に示すように、行方向もしくは列方向に一定の長さのデータを単位とするようになされる。各画像処理ブロックに入力される画像データは、図２に示すように、１ラインのデータ有効期間を表すデータ有効信号と重畳されて、１ラインずつ順次入力される。
【００３２】
ここで、ＪＰＥＧ圧縮処理及びＲＧＢマトリクス変換処理を行う各ブロック15，16は、共に３成分の信号を入力し処理を行う。このとき、ＪＰＥＧ圧縮ブロック15では各入力が同期する必要はないが、ＲＧＢマトリクス変換ブロック16では全ての入力が同期している必要がある。
【００３３】
次に、第（２−１）処理ブロック12-1〜第（ｎ−３）処理ブロック14-3の各画像処理ブロックの詳細な構成を、図３を用いて説明する。各画像処理ブロックは、前段ブロックからの入力データを蓄積するための入力バッファ21，入力バッファ21から読み出されたデータに空間的画像処理を施す演算部22，入力バッファ21内のデータ量を計数するデータ量計数器23，入力バッファ21の空き容量を計数する空き容量計数器24，入力バッファコントローラ25により構成されている。
【００３４】
入力バッファ21は、当該処理ブロックが処理に必要となるデータのライン数以上の容量を備えており、ライン１から順にデータが書き込まれ、ラインｎまで書き込まれた後は、またライン１から順にデータが書き込まれる。データ量計数器23は、データに重畳されて入力されるデータ有効信号によりインクリメントされ、入力バッファ21から演算部22へデータが移送されると、その際消費され無効データとなったデータライン数が減算されるアップダウンカウンタである。空き容量計数器24は、前記データ有効信号によりデクリメントされ、入力バッファ21から演算部22へデータが移送されると、その際消費され無効データとなったデータライン数が加算されるアップダウンカウンタである。
【００３５】
入力バッファコントローラ25は、上記２つの計数器23，24から出力されるデータ量、空き容量、及び入力バッファ21からの読み出し開始位置の情報を基に、入力バッファ21のアクセスをコントロールするようになっている。データ量が当該処理ブロックの処理必要ライン数以上の場合、入力バッファ21からデータを読み出し演算部22へ移送する。また、空き容量が０以下の場合、前段処理ブロックからの書き込みを禁止する。入力バッファ21からのデータ読み出しアドレスは、読み出し開始位置に基づいて発行される。該読み出し開始位置は、入力バッファ21中の何番目のラインからデータを読み出すか、及び各ラインの先頭から何番目のデータから読み出すかに関する情報を表し、入力バッファ21からデータを読み出す毎に、次に読み出す位置を指すように入力バッファコントローラ25の内部で更新される。
【００３６】
前記２つの計数器23，24と読み出し開始位置には、それぞれ初期値を設定できるようになっており、これらを変更することにより、出力のタイミング、座標位置を変更することができる。したがって、並列に動作している画像処理ブロック間で、これらの初期値を適当に設定することにより、出力を同期させることが可能となる。なお、これらの各初期値は、ＣＰＵ５により各画像処理ブロックに対し設定されるようになっている。
【００３７】
次に、本発明に係る画像処理装置の具体的な実施の形態を図４に基づいて説明する。なお、この図４に示す具体的な実施の形態において、図１の概念図に示した画像処理装置と同一の構成要素には同一の符号を付して示している。この具体的な実施の形態では、画像処理ブロックとして、ＹＣ生成処理ブロック31， Cubic補間処理ブロック32，３つの４点補間処理ブロック33，34，35で構成しているものを示している。
【００３８】
次に、このように構成した具体的な画像処理装置の動作について説明する。この実施の形態の画像処理装置は、いくつかの動作モードを備えており、その内の一つは、図５に示したデータフローで表される画像データ処理態様、すなわち、 Cubic補間処理ブロックと２つの４点補間処理ブロック33，34を用い、Ｙ画像信号を Cubic補間により、Ｃb ，Ｃr 画像信号を４点補間により補間処理した後、ＲＧＢマトリクス変換処理を行うモードである。図６に示すデータフローは、図５に示したデータフローにおける補間処理後のデータを、ＲＧＢマトリクス変換ブロック16で処理する代わりに、ＪＰＥＧ圧縮ブロック15で処理するモードである。図７に示すデータフローは、補間処理をＹ，Ｃb ，Ｃr 全ての画像信号について４点補間処理ブロック33，34，35で行った後、ＲＧＢマトリクス変換ブロック16で処理を行うモードである。図８のデータフローは、補間処理をＹ，Ｃb ，Ｃr 全てについて４点補間処理ブロック33，34，35で行った後、ＪＰＥＧ圧縮ブロック15で処理を行うモードである。
【００３９】
これらの動作モードのうち、図５及び図７に示す動作モードにおいては、補間処理の出力データは同期して出力される。それ以外の図６及び図８に示す動作モードにおいては、補間処理の出力は各補間処理ブロックにおいて補間処理が可能になった時点、すなわち最も速いタイミングで出力される。
【００４０】
次に、 Cubic補間処理ブロック及び４点補間処理ブロックの構成について説明する。 Cubic補間処理ブロックは、従来例と同じで、図19に示すように５ライン分の入力バッファをもつ構成となっており、一方、４点補間処理ブロック40は、図９に示すように４ライン分の入力バッファ41と演算部42とをもつ構成であり、図20に示した従来例のものよりも１ライン分多い入力バッファを用いて構成している。
【００４１】
これにより、 Cubic補間処理と４点補間処理を同期させる場合、４点補間の処理を１ライン期間遅らせることが可能となる。なお、図19，図９においては、演算部と入力バッファのみを示し、補間処理ブロックを構成する他の構成要素は図３に示した構成に準じており、図示を省略する。
【００４２】
次に、図５に示した動作モードにおける、 Cubic補間処理及び４点補間処理におけるデータ量、空き容量及びバッファ読み出し開始位置の初期値設定と同期出力の動作について説明する。以下の説明では、読み出し開始位置を次のように定義する。読み出し開始位置が（ｍ，ｎ）のとき、入力バッファのｍライン目から処理の必要ライン数分のバッファのデータを読み出す。このとき、各ラインの先頭からｎ番目以降のデータを読み出す。入力バッファが図10に示される構成で、処理の必要ライン数が３の場合を例にとり詳しく説明する。
【００４３】
図10に示す入力バッファに対して、読み出し位置（２，３）から読み出す場合、
Ｌ23，Ｌ33，Ｌ43
Ｌ24，Ｌ34，Ｌ44
・・・・・・
Ｌ2m，Ｌ3m，Ｌ4m
のようにデータを読み出す。また、入力バッファにはデータが循環して記憶されていくので、読み出し開始位置が（ｎ，１）の場合、
Ｌn1，Ｌ11，Ｌ21
Ｌn2，Ｌ12，Ｌ22
・・・・・・
Ｌnm，Ｌ1m，Ｌ2m
のようにデータが読み出されることになる。
【００４４】
さて、本実施の形態に係る画像処理装置において、 Cubic補間処理と４点補間処理の出力を同期させる場合、データ量、空き容量及び読み出し位置の各初期値を次のように設定する。
（１）（処理に必要なライン数−データ量初期値）が Cubic補間処理と４点補間処理とで等しくなるように、データ量初期値を設定する。
（２） Cubic補間処理と４点補間処理で同じ空間座標の画像から出力されるように、読み出し初期位置を設定する。
（３）（入力バッファの全ライン数＋実際に入力されるデータラインのうち使用しないラインの数）を空き容量初期値に設定する。
【００４５】
そして、 Cubic補間処理を基準に４点補間処理の初期値を決定する。 Cubic補間処理の初期値は、以下のようになる。
データ量初期値＝０、読み出し初期位置＝（１，１）、空き容量初期値＝５
ここで、処理に必要なライン数−データ量初期値＝４−０＝４から、４点補間処理のデータ量初期値ｘは、処理に必要なライン数−データ量初期値＝２−ｘ＝４より、ｘ＝−２と求まる。
【００４６】
更に、図22に示したように、 Cubic補間処理と４点補間処理では入力画像に対して補間処理を開始できる位置が異なる。入力画像左上の座標を（０，０）とすると、 Cubic補間処理の開始可能位置は（１，１）、４点補間処理の開始可能位置は（０，０）となる。したがって、４点補間処理は水平垂直方向共に１画素ずれた場所から補間処理を開始するために、２，３ライン目のバッファの、先頭から２番目のデータから読み出しを開始できるように、読み出し初期位置＝（２，２）と設定する。また、２，３ライン目のバッファからデータを読み出すことから、１ライン目のバッファに格納されたデータは使用されない。したがって、（入力バッファの全ライン数＋実際に入力されるデータラインのうち使用しないラインの数）＝４＋１＝５より、空き容量の初期値は５と設定する。
【００４７】
以上の設定における、 Cubic補間処理及び４点補間処理の初期動作タイミングを図11に示す。各処理ブロックにおいては、入力バッファに１ライン分のデータを書き込むたびにデータ量がインクリメントされ、 Cubic補間処理ではデータ量＝４で、４点補間処理ではデータ量＝２で処理を開始する。どちらの処理においても、処理開始までに４ライン分のデータを入力する。したがって、出力のタイミングが同時になり、同期した出力がなされる。また、４点補間処理では入力バッファの２，３ライン目から処理が行われ、 Cubic補間処理と同じ座標位置のデータが出力される。
【００４８】
次に、図６に示す動作モードにおける、 Cubic補間処理及び４点補間処理のデータ量、空き容量及びバッファ読み出し開始位置の初期値設定と、同期出力の動作について説明する。このモードは最終処理がＪＰＥＧ圧縮処理であるため、 Cubic補間処理と４点補間処理の出力が同期する必要はない。 Cubic補間処理及び４点補間処理の各初期値は、
Cubic補間 データ量初期値＝０、読み出し初期位置＝（１，１）、
空き容量初期値＝５
４点補間 データ量初期値＝−１、読み出し初期位置＝（２，２）、
空き容量初期値＝５
のように設定する。
【００４９】
以上の設定における、 Cubic補間処理及び４点補間処理の初期動作タイミングを図12に示す。このとき、４点補間処理では１ライン目のデータは使用されず、 Cubic補間処理と同じ座標のデータを出力するが、タイミングは同期しない。
【００５０】
以上のように、データ量、空き容量、読み出し位置の各初期値の設定を変更するだけで、 Cubic補間処理ブロックの出力と４点補間処理処理ブロックの出力を、同期させるかどうかを切り換えることが可能である。
【００５１】
次に、図７に示す動作モードにおける、 Cubic補間処理及び４点補間処理のデータ量、空き容量及びバッファ読み出し開始位置の初期値設定と、同期出力の動作について説明する。このモードではＹ画像信号に対して Cubic補間処理の代わりに４点補間処理を用いるモードである。全ての４点補間処理の設定は同じとなり、
データ量初期値＝０、読み出し初期位置＝（１，１）、空き容量初期値＝４
のように設定する。
【００５２】
以上の設定における４点補間処理の初期動作タイミングを図13に示す。同図において、４点補間（Ｙ）はＹ画像信号の補間処理、４点補間（Ｃ）はＣb ，Ｃr画像信号の補間処理のタイミングを表す。このとき、全ての４点補間処理は同期してデータを出力する。図６に示すモード時のように、１ライン目のデータを捨てることなく、可能な位置から補間処理を開始する。
【００５３】
このように、並列に動作する処理ブロックの組み合わせが、 Cubic補間処理と４点補間処理の組み合わせから、全て４点補間処理の組み合わせに切り換わった場合にも、データ量、空き容量、読み出し位置の各初期値の変更のみで、出力タイミングを合わせることが可能である。
【００５４】
なお、図８に示す動作モード時も図７に示す動作モード時と同様に各初期値を設定することにより、図13と同様のタイミングで動作させることができる。
【００５５】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、データ量初期値設定信号の値を選択することによって、画像処理回路のバッファ回路から出力される画像データ信号の伝達特性に関して所望の遅延が得られるように構成しているので、複数の画像処理回路を用いて並列動作させる際に、各画像処理回路間の出力を同期させるか否かを容易に且つ柔軟に切り換えられるようにした画像処理装置を実現することが可能となる。請求項２に係る発明によれば、請求項１に係る画像処理装置において、残容量初期値を変更することによりバッファ回路の全容量を見かけ上増やすことができ、バッファ回路を無駄なく使用することが可能となる。請求項３に係る発明によれば、請求項２に係る画像処理装置において、画像処理回路を構成するバッファ回路から読み出す画像データの開始位置を変更し、画像処理回路から出力する画像データの空間的な位置を変更することができる。請求項４に係る発明によれば、並列動作の画像処理回路間の時間的並びに空間的同期をとることが可能な画像処理装置を実現することができる。請求項５に係る発明によれば、並列動作の画像処理回路間の時間的並びに空間的同期をとらせる画像処理装置の制御方法を提供することができる。
【００５６】
また請求項６に係る発明によれば、請求項４に係る画像処理装置において、装置の規模や消費電力を抑えることが可能となる。請求項７に係る発明によれば、請求項６に係る画像処理装置において、補間処理性能の向上と消費電力の低減のいずれを優先させるかを選択することが可能となる。請求項８に係る発明によれば、請求項７に係る画像処理装置において、Ｙ，Ｃb ，Ｃr 信号の補間処理を各補間処理ブロックで並列処理して、ＴＩＦＦ画像とＪＰＥＧ画像とを選択的に出力することができる。請求項９に係る発明によれば、請求項８に係る画像処理装置の制御方法において、Ｙ信号の補間処理ブロックの切り換え動作並びにＣb ，Ｃr 信号の補間処理ブロックとの同期動作を容易に行え、ＴＩＦＦ画像を容易に出力させるように制御することができる。請求項10に係る発明によれば、請求項８に係る画像処理装置の制御方法において、Ｙ，Ｃb ，Ｃr 信号を補間処理してＪＰＥＧ画像を出力する際に、最速のタイミングで画像データを出力させることが可能な制御方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の概念的な実施の形態を示すブロック構成図である。
【図２】各画像処理ブロックに入力される画像データの構成を示す図である。
【図３】各画像処理ブロックの構成を示すブロック構成図である。
【図４】本発明に係る画像処理装置の具体的な実施の形態を示すブロック構成図である。
【図５】図４に示した実施の形態における画像処理動作モードの一例をデータフローで示す図である。
【図６】画像処理動作モードの他の例をデータフローで示す図である。
【図７】画像処理動作モードの更に他の例をデータフローで示す図である。
【図８】画像処理動作モードの更に他の例をデータフローで示す図である。
【図９】図４に示した実施の形態における４点補間処理ブロックの一部省略して示すブロック構成図である。
【図１０】入力バッファの構成を模式的に示す図である。
【図１１】図５に示した動作モードにおける Cubic補間処理及び４点補間処理の初期動作タイミングを示す図である。
【図１２】図６に示した動作モードにおける Cubic補間処理及び４点補間処理の初期動作タイミングを示す図である。
【図１３】図７に示した動作モードにおける Cubic補間処理及び４点補間処理の初期動作タイミングを示す図である。
【図１４】先に提案した画像処理装置の構成を示すブロック構成図である。
【図１５】 Cubic補間処理態様を示す説明図である。
【図１６】４点補間処理態様を示す説明図である。
【図１７】行方向にある一定の長さのデータを単位として画像データを読み出す態様を示す図である。
【図１８】列方向にある一定の長さのデータを単位として画像データを読み出す態様を示す図である。
【図１９】従来の Cubic補間処理ブロックの構成を示す図である。
【図２０】従来の４点補間処理ブロックの構成を示す図である。
【図２１】従来の Cubic補間処理ブロック及び４点補間処理ブロックによる処理動作のタイミングを示す図である。
【図２２】 Cubic補間処理の出力態様及び４点補間処理の出力態様を示す図である。
【符号の説明】
１ ＣＣＤ撮像素子
２ プリプロセス回路
３ フレームメモリ
４ メモリカード
５ ＣＰＵ
６ バス
11 第１処理ブロック
12-1 第（２−１）処理ブロック
12-2 第（２−２）処理ブロック
12-3 第（２−３）処理ブロック
13-1 第（３−１）処理ブロック
13-2 第（３−２）処理ブロック
13-3 第（３−３）処理ブロック
14-1 第（ｎ−１）処理ブロック
14-2 第（ｎ−１）処理ブロック
14-3 第（ｎ−１）処理ブロック
15 ＪＰＥＧ圧縮ブロック
16 ＲＧＢマトリクス変換ブロック
17 接続切り換えブロック
21 入力バッファ
22 演算部
23 データ量計数器
24 空き容量計数器
25 入力バッファコントローラ
31 ＹＣ生成処理ブロック
32 Cubic補間処理ブロック
33，34，35 ４点補間処理ブロック
40 ４点補間処理ブロック
41 入力バッファ
42 演算部
Claims (10)
- 周期的にデータの区切りを表すマーカ信号が付加された画像データ信号が自己の入力部に供給されるようになされ、該入力部に供給される上記画像データ信号を所定のアドレス順に一定量一時的に蓄積し、該蓄積された画像データ信号を自己の出力部から順次出力するようになされたバッファ回路と、上記バッファ回路に供給される上記画像データ信号を自己の第１の入力部で受け且つ外部から別途に供給されるデータ量初期値設定信号を自己の第２の入力部で受け、上記第１の入力部及び第２の入力部で受けた各信号に依拠して、上記バッファ回路に蓄積されるデータ量に対して上記第２の入力部で受けた当該データ量初期値に応じた一定の対応関係を有するデータ量検出信号を出力するようになされたデータ量検出手段と、該データ量検出手段から出力されるデータ量検出信号に応じて、上記バッファ回路に蓄積された上記画像データ信号を、所定のアドレスから順次読み出すための指令信号を該バッファ回路に供給する制御手段とを有する遅延回路要素を含んでなる画像処理回路を備えた画像処理装置であって、上記データ量検出手段の第２の入力部に供給するデータ量初期値設定信号の値を選択することによって、上記バッファ回路の入力部に供給される当該画像データ信号が出力部から出力されるに至る伝達特性に関して所望の遅延が得られるように構成されていることを特徴とする画像処理装置。
- 上記画像処理回路は、上記バッファ回路に供給される上記画像データ信号を自己の第１の入力部で受け且つ外部から別途に供給される残容量初期値設定信号を自己の第２の入力部で受け、上記第１の入力部及び第２の入力部で受けた各信号に依拠して、上記バッファ回路に蓄積可能な残容量に対して上記第２の入力部で受けた当該残容量初期値に応じた一定の対応関係を有する残容量信号を出力するようになされた残容量検出手段を更に備え、上記制御手段は、上記データ量検出手段からのデータ量検出信号及び上記残容量検出手段からの残容量信号に基づいて、上記バッファ回路に蓄積された上記画像データ信号を所定のアドレスから順次読み出すための指令信号と、上記バッファ回路に上記画像データ信号を所定のアドレス順に蓄積するための指令信号とを、該バッファ回路に供給するように構成されていることを特徴とする請求項１に係る画像処理装置。
- 上記制御手段は、更に上記バッファ回路に対し読み出し開始アドレスを指定する読み出し位置指定信号を受けて、上記データ量検出信号及び上記残容量検出信号並びに前記読み出し位置指定信号に基づいて、上記バッファ回路に蓄積された上記画像データ信号を、所定のアドレスから順次読み出すための指令信号を該バッファ回路に供給するように構成されていることを特徴とする請求項２に係る画像処理装置。
- 複数段直列に接続された空間的画像処理を行う処理ブロックにより、パイプライン的に画像データを処理する画像処理装置であって、上記処理ブロックのうち少なくとも１つは前記請求項１に係る画像処理回路を複数並列に動作するように配設したもので構成されていることを特徴とする画像処理装置。
- 上記請求項４に係る画像処理装置の制御方法において、上記複数並列に動作するように配設された画像処理回路に供給される上記データ量初期値設定信号と上記残容量初期値設定信号と上記読み出し位置指定信号の設定により、上記複数並列に動作するように配設された画像処理回路が出力する画像データ信号を時間的空間的に同期するように制御することを特徴とする画像処理装置の制御方法。
- 上記複数段直列に接続された空間的画像処理を行う処理ブロックとして、少なくともＹＣ生成処理ブロック、補間処理ブロック、ＲＧＢマトリクス変換ブロック、ＪＰＥＧ処理ブロックを備え、上記補間処理ブロックは、少なくともそれぞれ１つ以上の Cubic補間処理ブロックと４点補間処理ブロックを含み、それらが並列に動作するように構成されていることを特徴とする請求項４に係る画像処理装置。
- 上記補間処理ブロックは、１つの Cubic補間処理ブロックと３つの４点補間処理ブロックをもち、 Cubic補間処理ブロックと４点補間処理ブロックを選択的に用いて輝度信号（Ｙ信号）を補間処理し、４点補間処理ブロックを用いて色信号（Ｃb ，Ｃr 信号）を補間処理するように構成されていることを特徴とする請求項６に係る画像処理装置。
- 少なくともＴＩＦＦ画像出力モードとＪＰＥＧ画像出力モードを選択できるように構成され、ＴＩＦＦ画像出力モード選択時においては、ＹＣ生成処理ブロックでＹ，Ｃb ，Ｃr 信号に分離し、Ｙ信号は Cubic補間処理ブロック又は４点補間処理ブロックで、Ｃb ，Ｃr 信号は４点補間処理ブロックでそれぞれ並列に処理し、この補間処理出力をＲＧＢマトリクス変換ブロックで原色（ＲＧＢ）画像に変換し、ＪＰＥＧ画像出力モード選択時においては、ＹＣ生成処理ブロックでＹ，Ｃb ，Ｃr 信号に分離し、Ｙ信号は Cubic補間処理ブロック又は４点補間処理ブロックで、Ｃb ，Ｃr 信号は４点補間処理ブロックでそれぞれ並列に処理し、この補間処理出力をＪＰＥＧ処理ブロックでＪＰＥＧ画像に変換するように構成されていることを特徴とする請求項７に係る画像処理装置。
- 上記請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間で処理してＴＩＦＦ画像を出力する場合には、前記請求項５に係る複数並列に動作するように配設された画像処理回路が出力する画像データ信号を時間的空間的に同期させる制御方法で Cubic補間処理ブロックと２つの４点補間処理ブロックとの同期をとり、Ｙ信号を４点補間で処理してＴＩＦＦ画像を出力する場合には、前記請求項５に係る同期制御方法で３つの４点補間処理ブロックの同期をとることを特徴とする画像処理装置の制御方法。
- 上記請求項８に係る画像処理装置の制御方法において、Ｙ信号を Cubic補間で処理してＪＰＥＧ画像を出力する場合には、 Cubic補間処理ブロックと２つの４点補間処理ブロックの同期をとらず、Ｙ信号を４点補間で処理してＪＰＥＧ画像を出力する場合には、３つの４点補間処理ブロックの同期をとらないで出力制御することを特徴とする画像処理装置の制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000133088A JP4489245B2 (ja) | 2000-05-02 | 2000-05-02 | 画像処理装置とその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000133088A JP4489245B2 (ja) | 2000-05-02 | 2000-05-02 | 画像処理装置とその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001312719A JP2001312719A (ja) | 2001-11-09 |
| JP4489245B2 true JP4489245B2 (ja) | 2010-06-23 |
Family
ID=18641646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000133088A Expired - Fee Related JP4489245B2 (ja) | 2000-05-02 | 2000-05-02 | 画像処理装置とその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4489245B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5023313B2 (ja) * | 2008-12-24 | 2012-09-12 | 株式会社アクセル | ディストーション補正装置 |
| US8698823B2 (en) * | 2009-04-08 | 2014-04-15 | Nvidia Corporation | System and method for deadlock-free pipelining |
-
2000
- 2000-05-02 JP JP2000133088A patent/JP4489245B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001312719A (ja) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101034493B1 (ko) | 화상 변환 장치, 화상 변환을 위한 직접 메모리 액세스장치 및 화상 변환을 지원하는 카메라 인터페이스 | |
| JP2008506295A (ja) | 一連のイメージ・フレームを表示する方法及びシステム | |
| JP2004040260A (ja) | 画素ブロックデータ生成装置および画素ブロックデータ生成方法 | |
| JP2004023279A (ja) | 半導体装置、携帯端末システムおよびセンサモジュール | |
| US6762792B1 (en) | Digital still camera | |
| US20030058348A1 (en) | Image sensing apparatus, image processing method, recording medium, and program | |
| WO2010064374A1 (ja) | 画像処理装置 | |
| JP3513165B2 (ja) | 画像処理装置 | |
| JP4489245B2 (ja) | 画像処理装置とその制御方法 | |
| JP2004260265A (ja) | 画素の折り返し機能を有する画素抽出回路、および撮像装置 | |
| JP3586131B2 (ja) | 高速画像処理装置 | |
| JP4424097B2 (ja) | 電子ズーム装置 | |
| JP4211572B2 (ja) | 撮像装置 | |
| JP3382195B2 (ja) | 画像処理装置 | |
| JP2000059800A (ja) | 画像信号処理回路 | |
| JP3529208B2 (ja) | 画像処理装置 | |
| JP3302531B2 (ja) | 画像処理装置のライン変換回路 | |
| JP2664578B2 (ja) | 映像信号の再生方法 | |
| JP3977156B2 (ja) | 撮像装置 | |
| JP2005020521A (ja) | 撮像装置及びこの撮像装置を備える携帯型電話機 | |
| JP2009193337A (ja) | ページメモリコントローラ | |
| JP2002108701A (ja) | マルチポートメモリ装置 | |
| JP3788566B2 (ja) | 密度変換装置 | |
| JP2004104453A (ja) | 画像信号処理装置 | |
| JP2001054054A (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100331 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4489245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |