JP5003421B2

JP5003421B2 - 画像処理装置

Info

Publication number: JP5003421B2
Application number: JP2007295967A
Authority: JP
Inventors: 知典横山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-11-14
Filing date: 2007-11-14
Publication date: 2012-08-15
Anticipated expiration: 2027-11-14
Also published as: US7877531B2; US20090125644A1; JP2009124435A

Description

本発明は、撮像手段により撮像された画素データに対して画像処理を施す画像処理装置に関するものである。

近年、シリアル形式で表される複数画素のデータを、画素ごとに並列に出力する固体撮像装置が提案されている（特許文献１、２）。

このような固体撮像装置では、並列に出力する画素の数の変更が容易であり、例えばフレームレートや画素数に応じて、並列に出力する画素の数を容易に変えることができる。

このような固体撮像装置から出力される画素データに対して画像処理を施す画像処理装置では、従来、クロック周波数を下げることや電源電圧を下げることによって、消費電力を抑えていた。

しかし、半導体の微細加工技術が進歩するにつれて、リーク電流の割合が増加していることや、電源電圧があまり下げられなくなっていることから、これらの方法では消費電力が十分に下げられなくなりつつある。

また、ＤＤＲ２−ＳＤＲＡＭ等のメモリ装置では、動作周波数の下限が存在し、メモリアクセスの帯域が余剰である場合でも、下限以下の周波数に下げられず、消費電力が十分に下げられないという問題もある。

また、特許文献３では、バス上のデータトラフィックを監視し、それに応じてバス幅を切り替えるバス制御装置が提案されている。

しかし、特許文献３に記載された発明では、トラフィック監視装置が必要となるのと、監視結果によってバス幅を切り替えるために遅延が生じ、トラフィックの変動が激しい場合に追従するのが難しいという欠点がある。

また、メモリ装置においては、データ線とメモリアレイとの接続関係を変える事で、データ線の数を変える技術が提案されている（特許文献４、５）。

しかしこれらの技術は、メモリアレイのマッピングを変える技術であり、メモリ装置のデータ幅を減らした分ワード数が増え、メモリアレイの一部のクロック供給や電源供給を停止するようなことができない。

また、これらの技術はＳＤＲＡＭ、ＤＤＲ−ＳＤＲＡＭ、ＤＤＲ２−ＳＤＲＡＭなど、一般的で安価なメモリ装置には適用されておらず、安価に利用することができない。

特開２００５−８６２２４号公報特開２００５−２４４７０９号公報特開２００２−２５９３２７号公報特開２００６−３１３６４５号公報特開昭５８−１２２６８８号公報

本発明は、このような実情に鑑みて提案されたものであり、汎用的なメモリ装置を用いて、撮像手段から出力された画素データに対して低消費電力で画像処理を施して外部へ出力する画像処理装置を提供することを目的とする。

上述した課題を解決するための手段として、本発明に係る画像処理装置は、撮像手段から撮像モードに応じて変化する画素数で画素毎に並列に出力された画素データをそれぞれ入力する入力手段と、該入力手段に入力された画素データに対してそれぞれ演算処理を施す演算手段とを有する入力部と、上記入力部と接続され、上記演算手段により演算処理が施された画素データを伝送するバスと、上記バスと接続され、該バスから伝送されてくる上記入力部の演算手段により演算処理が施された画素データをメモリに書き込むとともに、該バスに接続されている他の処理部からのアクセス要求に応じて、該メモリへのアクセスを制御するメモリインタフェースと、上記バスを介して上記メモリインタフェースと接続され、該メモリインタフェースにアクセス要求して、上記メモリに書き込まれた画素データを読み出して外部へ出力する出力部と、上記撮像手段により撮像され上記入力部に並列して入力される画素データの画素数に応じて、上記演算手段が並列して画素データに対して演算処理を行う画素数、上記バスがデータを伝送するデータ幅、及び、上記メモリインタフェースが上記メモリにアクセスするデータ幅を変化させる制御部とを備え、上記制御部は、画素データの書き込み使用するメモリの数およびメモリインタフェースのデータ幅、画素データを伝送するバスのデータ幅、演算手段の並列処理数を、上記出力部から外部に出力するシリアル出力チャンネル数と関連付けて決定し、決定した数のメモリ、データ幅のメモリインタフェース、並列処理数の演算出段に電源を供給する制御を行うことを特徴とする。

本発明では、撮像手段から撮像モードに応じて変化する画素数で画素毎に並列に出力された画素データを処理するに当たり、制御部により、画素データの書き込み使用するメモリの数およびメモリインタフェースのデータ幅、画素データを伝送するバスのデータ幅、演算手段の並列処理数を、上記出力部から外部に出力するシリアル出力チャンネル数と関連付けて決定し、決定した数のメモリ、データ幅のメモリインタフェース、並列処理数の演算出段に電源を供給する制御を行うので、画像処理装置に実装されている半導体回路上の不要な部分への電源供給の停止、又は、メモリへの不要な電源供給の停止を容易に行うことができる。これにより、本発明は、汎用的なメモリ装置を用いて、撮像手段から出力された画素データに対して画像処理を施して外部へ出力する処理の低消費電力化を図ることができる。

本発明が適用された画像処理装置は、撮像手段により撮像された画素データに対して、メモリ装置を用いて画像処理を施す画像処理装置である。以下に説明する実施形態においては、この画像処理装置を組み込んだ撮像装置、具体的には、図１に示すような、固体撮像素子を用いて被写体を撮像するデジタルカメラ１を用いて説明する。

デジタルカメラ１は、図１に示すように、レンズユニット３１、撮像素子１０、前処理部１１、画像処理デバイス１５、メモリ装置２３、表示部２４、記録メディア２５、操作部２６、ＣＰＵ２７、ＲＡＭ２８、ＥＥＰＲＯＭ２９、及び、ＵＳＢインタフェース３０を備える。

レンズユニット３１には、フォーカスレンズ、ズームレンズ、絞り機構、及び、これらを後述するレンズ制御部３２から供給される駆動制御信号に応じて駆動する駆動部が設けられている。また、レンズユニット３１は、被写体像を受光して撮像素子１０の受光面に結像させる。

撮像素子１０は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの、画像情報を電気信号として取り込むためのものである。

具体的に、撮像素子１０は、受光面に単位画素が二次元配列されており、各単位画素が結像された光を光電変換して電気信号を出力する。撮像素子１０は、後述するＶドライバ１４から供給される同期信号に同期して各単位画素から電気信号を読み出して、読み出した電気信号を、最大４個の画素を画素毎に並列して前処理部１１に出力する。なお、撮像素子１０が並列して読み出す画素数は、最大４個に限定されるものではなく、所望とする性能に応じて変更するようにしてもよい。

前処理部１１は、アナログ信号処理部１２と、タイミングジェネレータ１３と、Ｖドライバ１４とを備える。

アナログ信号処理部１２は、撮像素子１０から出力される画素毎に並列した電気信号に対して、それぞれ、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好に保つようにするとともに、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換を行って、デジタル信号とされた画像データを形成する。そして、アナログ信号処理部１２は、形成した画像データを、シリアル形式の画素データとして、画素毎に並列に出力する。

タイミングジェネレータ１３は、アナログ信号処理部１２の動作を制御するため、アナログ信号処理部１２が出力する各ビットデータに同期した信号を生成してアナログ信号処理部１２、及び、Ｖドライバ１４に供給する。また、タイミングジェネレータ１３は、各ビットデータに同期したクロックをシリアル入力クロックとして、アナログ信号処理部１２から出力される画素データの供給先である画像処理デバイス１５に供給する。

Ｖドライバ１４は、タイミングジェネレータ１３から供給されるクロックをカウントして、画像の垂直方向との同期を図り、同期信号を撮像素子１０に供給する。この同期信号によって、撮像素子１０の駆動タイミングが制御される。

上述した撮像素子１０と前処理部１１は、同一の半導体基板上に構成されても良いし、異なる半導体基板上に構成されても良い。また、前処理部１１が出力する画像データの各画素データは、シリアル形式で表され、シリアルインタフェースを介して画像処理デバイス１５へ送られる。このシリアルインタフェースは、複数チャンネルあり、前処理部１１は画像データを構成する画素データを複数並列に画像処理デバイス１５へ供給する。

画像処理デバイス１５は、本発明が適用された画像処理装置の一例であり、前処理部１１から供給される画像データを、一時的にメモリ装置２３に記憶させて所定の画像処理を施すため、カメラ信号処理部１６、解像度変換部１７、画像符号化部１８、メモリインタフェース１９、表示制御部２０、メディア制御部２１、ＢＩＵ２２、及び、レンズ制御部３２を備える。

カメラ信号処理部１６は、後述する画像入力部１７１として半導体基板上に実装される処理部である。具体的に、カメラ信号処理部１６は、撮像素子１０から画素毎に並列して出力された画素データを入力して、入力した各画素データに対して、γ補正処理、ホワイトバランス処理などを施す。そして、カメラ信号処理部１６は、メモリインタフェース１９を介してメモリ装置２３に画像データを記憶する。

解像度変換部１７は、後述する画像処理部１６９として半導体基板上に実装される処理部である。具体的に、解像度変換部１７は、メモリインタフェース１９を介してメモリ装置２３から画像データを読み出し、読み出した画像データの解像度を変換する処理を行う。

画像符号化部１８は、後述する画像処理部１６９として半導体基板上に実装される処理部である。具体的に、画像符号化部１８は、メモリインタフェース１９を介してメモリ装置２３から画像データを読み出し、データ量を圧縮するため、画像データに対して画像データの冗長性を低減する符号化処理を施す。

メモリインタフェース１９は、上述した各処理部がメモリ装置２３に対して行うアクセスを制御する。

表示制御部２０は、後述する画像出力部１７０として半導体基板上に実装される処理部である。具体的に、表示制御部２０は、メモリインタフェース１９を介してメモリ装置２３から画像データを読み出し、読み出した画像データを表示部２４の表示形式に変換して表示部２４に供給する。

メディア制御部２１は、後述する画像出力部１７０として半導体基板上に実装される処理部である。具体的に、メディア制御部２１は、メモリインタフェース１９を介してメモリ装置２３から画像データを読み出し、読み出した画像データを記録メディア２５の記録形式に変換して記録メディア２５に供給する。

ＢＩＵ２２は、システムバスを介して、ＣＰＵ２７等と接続され、後述するＣＰＵ２７から供給される制御信号に応じて画像処理デバイス１５が備える各処理部の動作を制御する。

レンズ制御部３２は、ＢＩＵ２２からの制御命令に応じてレンズユニット３１に駆動制御信号を出力して、レンズユニット３１の動作を制御する。

画像処理デバイス１５の各処理部からアクセスされるメモリ装置２３は、例えば汎用的なランダムアクセスメモリなどであり、メモリインタフェース１９によるアクセス制御に応じて、画像処理デバイス１５から供給される画像データを記憶するとともに、記憶している画像データを画像処理デバイス１５に読み出す処理を行う。

また、メモリ装置２３は、複数のメモリ装置から構成される。

表示部２４は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどからなり、表示制御部２０から供給される画像データを表示する。

記録メディア２５は、例えば、フラッシュメモリ、ハードディスク、光磁気記録ディスクなどの不揮発性記録媒体であり、メディア制御部２１から供給される画像データを記録する。

操作部２６は、ユーザがデジタルカメラ１を操作するためのユーザインタフェースであって、ユーザによって操作された操作入力をＣＰＵ２７に供給する。

ＣＰＵ２７は、操作部２６からの操作入力に応じて、デジタルカメラ１が備える各処理部の動作を制御する処理部である。ＣＰＵ２７は、操作部２６に入力される操作入力に応じて、例えばＥＥＰＲＯＭ２９に格納されている制御プログラムをＲＡＭ２８に読み出して、制御プログラムに応じた制御信号をシステムバスを介して画像処理デバイス１５のＢＩＵ２２に供給することにより、デジタルカメラ１全体の動作を制御する。

また、ＵＳＢ(Universal Serial Bus)インタフェース３０は、ストレージクラス対応であり、パーソナルコンピュータなどの情報処理装置から画像データを取り込む処理や、デジタルカメラ１内の画像ファイルをエクスプローラなどで操作する場合に利用される。

以上のような構成からなるデジタルカメラ１において、ユーザにより操作部２６に被写体像をモニタリングするモニタリングモードが設定されたとき、各処理部は次のように動作する。すなわち、撮像素子１０及び前処理部１１は、記録画像よりも画素数の少ない画像を撮影するように設定され、所定のフレーム間隔毎に画像を撮影し、画像データを画像処理デバイス１５に供給する。この時、前処理部１１は、シリアルインタフェースの一部のみを用いて画像処理デバイス１５に画像データを供給する。そして、画像処理デバイス１５は、カメラ信号処理部１６から出力されるデータをメモリインタフェース１９を介してメモリ装置２３に書き込む。その後、画像処理デバイス１５は、メモリ装置２３から画像データを読み出し、解像度変換部１７で画像サイズを変更し、表示制御部２０を通して、表示部２４に出力する。

また、デジタルカメラ１において、ユーザにより操作部２６に静止画記録を行う静止画記録モードが設定されたとき、各処理部は次のように動作する。

すなわち、撮像素子１０及び前処理部１１は、所定のサイズの記録用画像を撮像するように設定され、記録用画像を撮影して、画像データを画像処理デバイス１５に供給する。この時、前処理部１１は、シリアルインタフェースを全て用いて画像処理デバイス１５に画像データを供給する。

画像処理デバイス１５では、カメラ信号処理部１６で処理された画像データをメモリインタフェース１９を介してメモリ装置２３に書き込む。その後、画像処理デバイス１５は、メモリ装置２３から画像データを読み出し、解像度変換部１７にて画像サイズを変更し、表示制御部２０を介して、表示部２４に出力する。

また、画像処理デバイス１５は、メモリ装置２３から画像データを読み出し、解像度変換部１７にて画像サイズを変更し、画像符号化部１８にてＪＰＥＧ/ＭＰＥＧなどのストリームデータに圧縮し、メディア制御部２１を介して記録メディア２５に書き込む。

以上のようにデジタルカメラ１では、ユーザによって、被写体像をモニタリングするモニタリングモード、及び、静止画記録を行う静止画記録モードに加えて、画サイズがＨＤの動画像の記録を行うＨＤ動画記録モード、画サイズがＳＤの動画像の記録を行うＳＤ動画記録モードの中から任意の撮像モードが選択され、選択された撮像モードに応じて、撮像素子１０が、画素毎に並列して電気信号を出力する画素数を変化させて、撮像処理を行う。

このような撮像処理に応じて、アナログ信号処理部１２は、撮像素子１０から並列して出力される電気信号と同数の画素データを画像処理デバイス１５に供給する。

したがって、画像処理デバイス１５には、図２に示すように、例えば、静止画記録モード及びＨＤ動画記録モードのとき、並列して４画素の画素データが供給され、ＳＤ記録モードのとき、並列して２画素の画素データが供給され、モニタリングモードのとき１画素の画素データが供給される。

画像処理デバイス１５は、単位時間当たりの処理量が比較的少ないＳＤ記録モードやモニタリングモードでの動作時において低消費電力化を図るため、図３に示すような回路基板によって実装される。

図３は、第１の実施例として、上述した画像処理デバイス１５とメモリ装置２３とを回路基板上に実装した構成を模式的に示した図である。

すなわち、回路基板上において実装される画像処理デバイス１５は、図３に示すように、画像バス１２６を介して、画像入力部１７１、メモリインタフェース１９、画像処理部１６９、画像出力部１７０、及び、ＢＩＵ２２が接続された構成となっている。なお、これらの各処理部は、この回路基板上において実装されている後述する制御部１４６が備える電源出力部１４９及びクロック出力部１５０から電源及び動作クロックが供給されることによって駆動する。

また、画像処理デバイス１５と回路基板上で接続されるメモリ装置２３は、メモリインタフェース１９と合計ｗ（ｗは正の整数。）本のデータ線を介して接続され、メモリインタフェース１９のデータ幅に対して１／ｗのデータ幅からなる合計ｗ個のメモリ装置として実装される。具体的に、メモリ装置２３は、図３に示すように、メモリインタフェース１９と合計４本のデータ線を介して接続される合計４個のメモリ装置１３７、１３８、１３９、１４０として実装されているものとする。

メモリ装置１３７、１３８、１３９、１４０には、例えばＳＤＲＡＭ、ＤＤＲ−ＳＤＲＡＭ、ＤＤＲ２−ＳＤＲＡＭ、ＭｏｂｉｌｅＤＤＲ−ＳＤＲＡＭなどが用いられる。また、メモリ装置１３７、１３８、１３９、１４０には、制御部１４６によりそれぞれ異なるメモリ電源１４１、１４２、１４３、１４４が供給され、個別に電源ＯＮ／ＯＦＦされる。このようにすることで、画像処理デバイスでは、メモリインタフェース１９が、データ入出力の一部を使用しない場合、データ入出力に接続されるメモリ装置のみに電源を供給することができる。

画像入力部１７１は、上述したカメラ信号処理部１６の機能を半導体基板上に実装したものである。具体的に、画像入力部１７１は、前処理部１１のシリアルインタフェースから画素毎に並列して出力されたシリアル形式の画素データをそれぞれ入力する合計ｍ（ｍは、正の整数。）チャンネルの入力手段として、４チャンネルのシリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄと、シリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄに入力された画素データに対してそれぞれ演算処理を施す演算部１０５ａ、１０５ｂ、１０５ｃ、１０５ｄと、演算処理が施された画素データを画像バス１２６に出力するためのライトポート１１９とを備える。

シリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄは、それぞれ、８ビットのシリアル形式の画素データ１０１ａ、１０１ｂ、１０１ｃ、１０１ｄがアナログ信号処理部１２から供給される。また、シリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄには、シリアル入力クロック１０２がタイミングジェネレータ１３から供給される。

シリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄは、シリアル形式の画素データ１０１ａ、１０１ｂ、１０１ｃ、１０１ｄを、それぞれパラレル形式の画素データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄに変換して演算部１０５ａ、１０５ｂ、１０５ｃ、１０５ｄに供給する。

また、シリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄは、それぞれ、後述する制御部１４６によってＯＮ／ＯＦＦされる電源１０７、１０８、１０９、１１０が供給されることによって動作する。

ここで、撮像モードに応じてアナログ信号処理部１２が並列して出力する画素数が異なるため、画像入力部１７１には、例えば、静止画記録モード及びＨＤ動画記録モードのとき、画素データ１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが入力され、ＳＤ動画記録モードのとき、画素データ１０１ａ、１０１ｂが入力され、モニタリングモードのとき、画素データ１０１ａが入力されるものとする。

演算部１０５ａ、１０５ｂ、１０５ｃ、１０５ｄは、シリアル入力チャンネル１０３ａ、１０３ｂ、１０３ｃ、１０３ｄから供給されるパラレル形式の画素データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄに対して、それぞれγ補正処理及びホワイトバランス補正処理を施して、これらの演算処理が施された画素データ１０６ａ、１０６ｂ、１０６ｃ、１０６ｄをライトポート１１９に供給する。

また、演算部１０５ａ、１０５ｂ、１０５ｃ、１０５ｄは、それぞれ、後述するように制御部１４６によって個別にＯＮ／ＯＦＦされる電源１０７、１０８、１０９、１１０、及び、動作クロック１１５、１１６、１１７、１１８が供給されることによって動作する。

なお、演算部は、シリアル入力チャンネルと同数である４個に限定されることはなく、例えばより少ない数によって構成され、時分割で処理を行うようにしてもよい。

ライトポート１１９は、演算処理が施された画素データ１０６ａ〜１０６ｄを、画像バス１２６に伝送する処理を行う。具体的に、ライトポート１１９は、演算部１０５ａ、１０５ｂ、１０５ｃ、１０５ｄから所定数の画素データが供給されると、画像バス１２６に対して書き込み要求信号１２０を供給して、画像バス１２６から書き込み許可信号１２１が供給されるまで待機する。そして、ライトポート１１９は、画像バス１２６から書き込み許可信号を１２１が供給されると、演算部１０５ａ、１０５ｂ、１０５ｃ、１０５ｄから供給された所定数の画素データをライトデータ１２２として画像バス１２６に出力する。また、ライトポート１１９は、ライトデータ１２２のデータ幅を、演算部１０５ａ〜１０５ｄから並列して供給される画素データの画素数、又は、この画素数と画素データのビット数とを乗じた値に応じて変化させることにより、最低限必要なデータ幅を確保して画像バス１２６にライトデータ１２２を伝送することができる。

画像バス１２６は、書き込み及び読み出し要求を受ける複数のバスマスタからの要求の調停を行い、選択したバスマスタへ書き込み許可及び読み出し許可を出力すると共に、メモリインタフェース１９へコマンド１２３を出力する。

具体的に、画像バス１２６には、書き込み要求が入力されるバスマスタとして、上述した画像入力部１７１のライトポート１１９と、後述する画像処理部１６９が備えるライトポート１５６と、それぞれシリアルデータを伝送する複数のデータ線により接続されている。また、画像バス１２６には、読み出し要求が入力されるバスマスタとして、後述する画像処理部１６９が備えるリードポート１５１と、画像出力部１７０が備えるリードポート１６３と、それぞれシリアルデータを伝送する複数のデータ線により接続されている。

また、画像バス１２６がメモリインタフェース１９に出力するコマンド１２３には、書き込みか読み出しかを示すアクセス種別、アクセスするメモリ領域の先頭アドレスを示すアドレス、アクセスするメモリ領域のサイズを指定するサイズなどが含まれる。

書き込みアクセスの場合、画像バス１２６は、コマンド１２３を出力した後、書き込みを許可したマスタからのライトデータを選択し、メモリインタフェース１９にライトデータ１２４を出力する。

具体的に、画像バス１２６は、たとえば、図４に示すようなライトデータ選択回路２００を備え、このライトデータ選択回路２００により上述した書き込み処理を行う。

図４は、２つのライトマスタが出力するライトデータから一つを選択する回路の一部を示した図である。画像バス１２６は、２つのライトマスタが出力するライトデータ線からの一のライトデータ線を選択する合計３２個のマルチプレクサを備える。

なお、図５においては、３２個の半分の合計１６個のマルチプレクサ２０１〜２１６を示しており、便宜上マルチプレクサ２０１〜２１６について説明する。マルチプレクサ２０１〜２１６は、それぞれ、画像バスのデータ線に接続された２つのライトマスタ０、１のうち、書き込み要求信号に応じたマスタ選択信号により、一のライトマスタに接続されたデータ線を選択して、選択したデータ線を介してメモリインタフェース１９に画素データを伝送する処理を行う。

これら１６個のマルチプレクサ２０１〜２１６は、例えば、８個ずつ２組に分割され、それぞれ、制御部１４６から電源１１１、１１２及び、動作クロック１１５、１１６が供給されることによって動作する。

図５は、個々のマルチプレクサの動作を説明するため、代表してマルチプレクサ２０１の構成を示した図である。すなわち、マルチプレクサ２０１は、図５に示すように、３個のフリップフロップ２０１ａ、２０１ｂ、２０１ｃと、セレクタ２０１ｄとを備える。

マルチプレクサ２０１では、マスタ０からの入力データ０がフリップフロップ２０１ａに、マスタ１からの入力データ１がフリップフロップ２０１ｂにそれぞれ入力され、各入力データが一時的に保持される。そして、マルチプレクサ２０１では、動作クロック１１５がフリップフロップ２０１ａ、２０１ｂに入力されると、それぞれ入力データ０、１をセレクタ２０１ｄに出力する。そして、マルチプレクサ２０１では、マスタ選択信号に応じてセレクタ２０１ｄに入力された入力データ０、１のうち一の入力データが選択されて、選択された入力データがフリップフロップ２０１ｃに出力される。そして、マルチプレクサ２０１では、動作クロック１１５がフリップフロップ２０１ｃに入力されると、セレクタ２０１ｄから入力された入力データを出力データとして、メモリインタフェース１９に出力する。

以上のような構成からなるライトデータ選択回路２００では、制御部１４６から供給される電源１１１、１１２、１１３、１１４、及び、動作クロック１１５、１１６、１１７、１１８が個別にＯＮ／ＯＦＦされることによって、ライトデータをメモリインタフェース１９に伝送するデータ幅を、４画素分の画素データに対応する最大３２ｂｉｔとして８ｂｉｔ単位で変えることができ、使用しないマルチプレクサへの動作クロックまたは電源供給を停止することができる構成となっている。

なお、ライトデータ選択回路２００では、ライトデータ幅の変更単位が８ｂｉｔとなるように構成されているが、変更単位が画素データのデータ幅の整数倍であれば任意の値を用いるようにしてもよい。

一方、読み出しアクセスの場合、画像バス１２６は、コマンド１２３を出力した後、メモリインタフェース１９がリードデータ１２５を出力するまで待機して、その後リードデータ１２５が供給されると、読み出しを許可したマスタに対してリードデータを出力する。

具体的に、画像バス１２６は、たとえば、図６に示すようなリードデータ選択回路３００を備え、このリードデータ選択回路３００により上述した読み出し処理を行う。

図６は、一つの読み出しデータ入力を、２つのリードマスタのうち選択した１つのデータ線にのみ出力する回路の一部を示した図である。すなわち、リードデータ選択回路３００は、１ｂｉｔの入力信号を２つの出力の内片方のみに選択して出力する合計３２個のデマルチプレクサを備える。なお、図６においては、３２個の半分の合計１６個のデマルチプレクサ３０１〜３１６を示しており、便宜上デマルチプレクサ３０１〜３１６について説明する。デマルチプレクサ３０１〜３１６は、それぞれ、画像バス１２６のデータ線に接続された２つのリードマスタ０、１のうち、読み出し要求信号に応じたマスタ選択信号により、一のリードマスタに接続されたデータ線を選択して、選択したデータ線にメモリインタフェース１９を介してメモリ装置２３から読み出された画素データを伝送する。これら１６個のデマルチプレクサ３０１〜３１６は、例えば８個ずつ２組に分割され、それぞれ、制御部１４６から電源１１１、１１２、及び、動作クロック１１５、１１６が供給されることによって動作する。

図７は、個々のデマルチプレクサの動作を説明するため、代表してデマルチプレクサ３０１の構成を示した図である。すなわち、デマルチプレクサ３０１は、図７に示すように、３個のフリップフロップ３０１ａ、３０１ｂ、３０１ｃと、２個のＡＮＤ回路３０１ｄ、３０１ｅとを備える。

デマルチプレクサ３０１では、メモリインタフェース１９から入力された入力データがフリップフロップ３０１ａに入力され一時的に保持される。そして、デマルチプレクサ３０１では、動作クロック１１５がフリップフロップ３０１ａに入力されると、入力データをＡＮＤ回路３０１ｄ、３０１ｅに出力する。そして、デマルチプレクサ３０１では、マスタ選択信号の０／１を反転した信号がＡＮＤ回路３０１ｄに、非反転のマスタ選択信号がＡＮＤ回路３０１ｅにそれぞれ入力されることによって、マスタ選択信号に応じてＡＮＤ回路３０１ｄ、３０１ｅのうち一のＡＮＤ回路が選択されて、選択されたＡＮＤ回路から入力データが出力される。そして、デマルチプレクサ３０１では、ＡＮＤ回路３０１ｄから出力された入力データをフリップフロップ３０１ｂで一時的に保持し、フリップフロップ３０１ｂが動作クロック１１５に同期して入力データをマスタ０への出力データ０として出力する。また、デマルチプレクサ３０１では、ＡＮＤ回路３０１ｅから出力された入力データをフリップフロップ３０１ｃで一時的に保持し、フリップフロップ３０１ｃが動作クロック１１５に同期して入力データをマスタ１への出力データ１として出力する。

以上のような構成からなるライトデータ選択回路２００では、制御部１４６から供給される電源１１１、１１２、１１３、１１４、及び、動作クロック１１５、１１６、１１７、１１８が個別にＯＮ／ＯＦＦされることによって、リードデータのデータ幅を最大３２ｂｉｔとして８ｂｉｔ単位で変えることができ、使用しないデマルチプレクサへの動作クロックまたは電源供給を停止することができる。

なお、このリードデータ選択回路３００では、リードデータ幅の変更単位が８ｂｉｔとなるように構成されているが、変更単位が単位画素データ当たりシリアルビット幅の整数倍であれば任意の値を用いるようにしてもよい。

以上のようにして、画像バス１２６は、ライトデータ選択回路２００及びリードデータ選択回路３００を駆動することにより、画像バス１２６のライトデータ幅、リードデータ幅を所定の単位で変更するとともに、最大幅を使用しない場合は、後述するように、制御部１４６によって電源または動作クロック供給が停止されることで不要な消費電力を削減することが可能となる。

メモリインタフェース１９は、画像バス１２６から供給されるコマンド１２３に応じて、メモリ装置２３に対して書き込み処理及び読み出し処理を行うため、コマンド制御信号１３２をメモリ装置１３７、１３８、１３９、１４０に供給して、それぞれ、データ１３３、１３４、１３５、１３６の入出力を行う。

具体的に、メモリインタフェース１９は、画像バス１２６からコマンド１２３が供給されると、メモリ装置２３にコマンド制御信号１３２を出力する。コマンド１２３が書き込みであったとき、メモリインタフェース１９は、コマンド出力後にライトデータを、データ１３３、１３４、１３５、１３６として、各メモリ装置１３７、１３８、１３９、１４０に書き込む。コマンド１２３が読み出しであったとき、メモリインタフェース１９は、各メモリ装置１３７、１３８、１３９、１４０からリードデータをデータ１３３、１３４、１３５、１３６として読み出す。

上述したメモリ装置２３に対するアクセスを行うためメモリインタフェース１９は、図８に示すような構成を有している。

すなわち、メモリインタフェース１９は、画像バス１２６から供給されたコマンド１２３に応じてメモリ装置２３へのコマンド制御信号１３２を生成するコントローラ４０１と、コントローラ４０１により生成されたコマンド制御信号１３２をメモリ装置２３へ出力するＩＯセル４０２とを備える。

ここで、ＩＯセル４０２は、メモリ装置２３に供給される電源１４１、１４２、１４３、１４４が供給されることによって動作する。

また、メモリインタフェース１９は、画像バス１２６から供給される最大３２ｂｉｔのデータ幅のライトデータ１２４（０〜３１ｂｉｔ）を４分割して、それぞれ８ｂｉｔ単位でバッファするライトデータバッファ４１１〜４１４と、各メモリ装置１３７、１３８、１３９、１４０から最大３２ｂｉｔのデータ幅で読み出したリードデータ１２５（０〜３１ｂｉｔ）をそれぞれバッファするリードデータバッファ４２１〜４２４と、各メモリ装置１３７〜１４０との間でそれぞれライトデータの出力及びリードデータの入力、すなわちデータ１３３、１３４、１３５、１３６の入出力を行うＩＯセル４３１〜４３４を備える。

ライトデータバッファ４１１〜４１４は、それぞれ、バッファしたライトデータ１２４をＩＯセル４３１〜４３４に供給する。また、ライトデータバッファ４１１〜４１４は、後述するように制御部１４６によって個別にＯＮ／ＯＦＦされる電源１１１〜１１４、及び、動作クロック１１５〜１１８が供給されることによって動作する。

リードデータバッファ４２１〜４２４は、それぞれ、ＩＯセル４３１〜４３４に入力されたデータ１３３〜１３６をバッファする。また、リードデータバッファ４２１〜４２４は、後述するように制御部１４６によって個別にＯＮ／ＯＦＦされる電源１１１〜１１４、及び、動作クロック１１５〜１１８が供給されることによって動作する。

ＩＯセル４３１〜４３４は、それぞれ、後述するように制御部１４６によって個別にＯＮ／ＯＦＦされ、各メモリ装置に供給される電源１４１〜１４４、及び、コントローラ４０１からコマンド制御信号１３２が供給されることによって動作する。

また、メモリインタフェース１９は、制御部１４６から供給される動作クロック１２８、１２９、１３０、１３１を各メモリ装置１３７、１３８、１３９、１４０へ出力するＩＯセル４４１〜４４４を備える。このＩＯセル４４１〜４４４は、それぞれ、後述するように制御部１４６によって個別にＯＮ／ＯＦＦされ、各メモリ装置に供給される電源１４１〜１４４によって動作する。

以上のような構成からなるメモリインタフェース１９は、ライトデータ１２４、ライトデータバッファ４１１〜４１４、ＩＯセル４３１〜４３４、４４１〜４４４、リードデータバッファ４２１〜４２４、リードデータ１２５を、それぞれ８ｂｉｔずつのグループに分け、動作クロックと電源が個別にＯＮ／ＯＦＦできる構成となっている。

このように、メモリインタフェース１９では、入出力されるデータ幅を８ｂｉｔ単位で変えることができ、使用しないデータ入出力に関連するＩＯセル４３１〜４３４、４４１〜４４４、リードデータバッファ４２１〜４２４、ライトデータバッファ４１１〜４１４への動作クロックまたは電源供給を停止することで不要な消費電力を削減することができる。なお、メモリインタフェース１９においては、画像バス１２６との間で入出力されるライトデータ１２４及びリードデータ１２５のデータ幅と同じデータ入力幅で、メモリ装置２３へのデータの入出力を行うような構成であるが、異なるように構成してもよい。

画像処理部１６９は、メモリ装置２３に記録された画像データを読み出して画像処理を施す処理部である。画像処理部１６９は、画像バス１２６を介してメモリ装置２３に記憶されている画像データを読み出すリードポート１５１と、リードポート１５１により読み出された画素データ１５５に対して画像処理を施す演算部１６１と、演算部１６１により画像処理が施された画像データ１６０を画像バス１２６を介してメモリ装置２３に書き込むライトポート１５６とを備える。

リードポート１５１は、画像バス１２６に読み出し要求信号１５２を出力し、その後画像バス１２６から読み出し許可信号１５３が供給されるとともに後続のリードデータ１５４が供給され、読み出し画素データ１５５として演算部１６１へ出力する。

演算部１６１は、例えばノイズ除去を含め、上述した解像度変換部１７、画像符号化部１８などの演算処理を行う。演算部１６１は、画像処理した画像データ１６０を、ライトポート１５６に供給する。ライトポート１５６は、画像バス１２６に書き込み要求信号１５７を出力し、書き込み許可信号１５８を受け取ると、画像バス１２６を介してメモリ装置２３にライトデータ１５９を出力する。なお、画像処理デバイス１５においては、画像バス１２６に接続されている画像処理部１６９が複数であってもよい。

画像出力部１７０は、画像処理部１６９が処理し、メモリ装置１３７〜１４０に記憶された画像データを、表示部２４、及び、記憶メディア２５などに出力する。画像出力部１７０は、メモリ装置２３に記憶されている画像データを読み出すリードポート１６３と、リードポート１６３により読み出された画素データ１６２を所定のデータ形式に変換してデバイス外部へ出力する出力制御部１６７とを備える。

リードポート１６３は、画像バス１２６に読み出し要求信号１６４を出力し、その後画像バス１２６から読み出し許可信号１６５が供給されるとともに後続のリードデータ１６６が供給され、読み出し画素データ１６２として出力制御部１６７へ出力する。

出力制御部１６７は、リードポート１６３から供給された読み出し画素データ１６２に対して所定のデータ形式及びタイミングを変換して、画像出力データ１６８として出力する。出力制御部１６７は、画像出力データ１６８として、例えばＩＴＵ−ＲＢＴ．６０１で定められた輝度・色差形式で表されるデジタルデータと同期信号から構成されるデータ、又は、圧縮された画像データを出力する。また、画像出力部１７０は、画像出力データ１６８として、ＮＡＮＤ型フラッシュメモリなどの記憶装置に書き込む形式の画像データを出力する。なお画像バス１２６に接続される画像出力部１７０は複数であっても良い。

ＢＩＵ２２は、図９に示すように、ＣＰＵ２７から供給される制御信号に応じて、画像処理デバイス１５の各処理部への電源及び動作クロックの供給を行うため、制御部１４６と、画像処理デバイス１５内の複数の電源系統への電源供給する電源出力部１４９と、複数のクロック系統への動作クロックを供給するクロック出力部１５０とを備える。

制御部１４６は、ＣＰＵ２７によって選択された撮像モードに対応するシリアル入力チャンネルの使用チャンネル数１４５に基づいて、電源出力部１４９に電源制御信号１４７を、またクロック出力部１５０にクロック制御信号１４８をそれぞれ供給する。

電源出力部１４９は、図１０に示すように、シリアルＩＦ電源部５０１、コア電源部５０２、メモリ電源部５０３、３つの電源スイッチ５０４、５０５、５０６とを備える。

シリアルＩＦ電源部５０１は、電源スイッチ５０４を介して、電源１０７〜１１０を画像入力部１７１の各部に供給する。

コア電源部５０２は、電源スイッチ５０５を介して、電源１１１〜１１４を、画像バス１２６及びメモリインタフェース１９の各部に供給する。

メモリ電源部５０３は、電源スイッチ５０５を介して、電源１４１〜１４４を、各メモリ装置１３７〜１４０に供給する。

電源スイッチ５０４は、制御部１４６から供給される電源系統１ＯＮ信号〜電源系統４ＯＮ信号に応じて、それぞれ、電源１０７〜１１０を画像入力部１７１に供給する。

電源スイッチ５０５は、制御部１４６から供給される電源系統１ＯＮ信号〜電源系統４ＯＮ信号に応じて、それぞれ、電源１１１〜１１４を、画像バス１２６及びメモリインタフェース１９に供給する。

電源スイッチ５０６は、制御部１４６から供給される電源系統１ＯＮ信号〜電源系統４ＯＮ信号に応じて、それぞれ、電源１４１〜１４４を、各メモリ装置１３７〜１４０に供給する。

図１１は、電源スイッチ５０４〜５０６の動作を説明するため、代表して電源スイッチ５０４の構成を示した図である。すなわち、電源スイッチ５０４は、図１１に示すように、制御部１４６から供給される電源系統１ＯＮ信号〜電源系統４ＯＮ信号に応じて、電気的に接続される合計４個のスイッチＳＷ１〜ＳＷ４を備える。

スイッチＳＷ１は、シリアルＩＦ電源部５０１と、電源１０７を供給する配線と接続され、電源系統１ＯＮ信号に応じてＯＮされる。スイッチＳＷ２は、シリアルＩＦ電源部５０１と、電源１０８を供給する配線と接続され、電源系統２ＯＮ信号に応じてＯＮされる。スイッチＳＷ３は、シリアルＩＦ電源部５０１と、電源１０９を供給する配線と接続され、電源系統３ＯＮ信号に応じてＯＮされる。スイッチＳＷ４は、シリアルＩＦ電源部５０１と、電源１１０を供給する配線と接続され、電源系統４ＯＮ信号に応じてＯＮされる。

以上のような構成からなる電源出力部１４９では、電源制御信号１４７として電源系統１〜４の電源ＯＮ信号が与えることによって、画像処理デバイス１５の各部、及びメモリ装置２３へ電源を供給する。

また、クロック出力部１５０は、クロック発生器が発生した動作クロックを、幾つかのクロック系統に分けて出力するもので、クロック系統毎に出力のＯＮ／ＯＦＦが制御できるようにしたものである。クロック出力部１５０は、それぞれ４つの、独立してＯＮ／ＯＦＦが制御できるクロック系統を持つ２つのクロック群として、メモリインタフェース１９及び画像バス１２６へ供給する動作クロック１１５〜１１８、各メモリ装置１３７〜１４０へ供給する動作クロック１２８〜１３１を出力する。

すなわち、制御部１４６は、画像入力部１７１に並列して入力される画素データの画素数に応じて、画像入力部１７１の演算部１０５ａ〜１０５ｄが並列して画素データに対して演算処理を行う画素数、画像バス１２６がデータを伝送するデータ幅、及び、メモリインタフェース１９がメモリ装置１３７〜１４０にアクセスするデータ幅のうち、少なくともいずれか１つを、電源系統、及びクロック系統をＯＮ／ＯＦＦさせることにより、画像処理デバイス１５及びメモリ装置２３に係る動作の省電力化を実現する。

これは、静止画記録モード又はＨＤ動画記録モードのとき、リアルタイムで画像処理デバイス１５の各部が処理を行うため、例えば電源系統１〜電源系統４、クロック系統１〜クロック系統４の全てをＯＮにして、画像処理デバイス１５及びメモリ装置２３が備える各処理部を全て動作させる必要があるが、並列して入力される画素数が少ないＳＤ動画記録モード又はモニタリングモードのときは、画像処理デバイス１５及びメモリ装置２３が備える各処理部を全て動作させる必要がないからである。

制御部１４６は、メモリインタフェース１９又はメモリ装置２３に係る動作の省電力化を図るため、具体的には次のような処理を行う。

まず、制御部１４６は、撮像モードに応じて、メモリインタフェース１９がメモリ装置２３とアクセスするデータ幅を設定する。

この設定したデータ幅に応じて、制御部１４６は、動作クロック１１５〜１１８を供給するメモリインタフェース１９のデータ線を駆動するドライバの数、すなわち、動作クロック１１５〜１１８を供給するライトデータバッファ４１１〜４１４、リードデータバッファ４２１〜４２４を変化させるように、クロック系統１〜クロック系統４のＯＮ／ＯＦＦを制御するクロック制御信号１４８をクロック出力部１５０に供給する。

また、制御部１４６は、上述したクロック制御信号１４８に応じてクロック出力部１５０が動作クロックを供給するライトデータバッファ４１１〜４１４、リードデータバッファ４２１〜４２４のみに電源を供給するように、電源系統１〜電源系統４のＯＮ／ＯＦＦを制御する電源制御信号１４７を電源出力部１４９に供給する。

また制御部１４６は、電源制御信号１４７を電源出力部１４９に供給することで、上述したクロック制御信号１４８に応じてクロック出力部１５０が動作クロックを供給するライトデータバッファ４１１〜４１４、リードデータバッファ４２１〜４２４のみと接続されているメモリ装置１３７〜１４０のみに電源を供給する。

例えば、メモリインタフェース１９がメモリ装置２３とアクセスするデータ幅を最大のデータ幅の１／２に設定した場合、制御部１４６は、クロック系統１及びクロック系統２のみをＯＮにするクロック制御信号１４８をクロック出力部１５０に供給して、ライトデータバッファ４１１、４１２、リードデータバッファ４２１、４２２にそれぞれ動作クロック１１５、１１６を、メモリ装置１３７、１３８にそれぞれ動作クロック１２８、１２９を供給する。さらに、制御部１４６は、電源系統１及び電源系統２のみをＯＮにする電源制御信号１４７を電源出力部１４９に供給して、ライトデータバッファ４１１、４１２、リードデータバッファ４２１、４２２にそれぞれ電源１１１、１１２を、メモリ装置１３７、１３８にそれぞれ電源１４１、１４２を供給する。

このようにして、制御部１４６は、使用するシリアル入力チャンネル１０３ａ〜１０３ｄが減少した場合に、メモリインタフェース１９又はメモリ装置２３の一部への動作クロック供給を停止、あるいは電源供給を停止することが可能となり、メモリインタフェース１９又はメモリ装置２３が消費する電力を削減することができる。

また、制御部１４６は、画像バス１２６の動作を省電力化するため、次のような動作を行う。

まず、制御部１４６は、撮像モードに応じて、画像バス１２６が画像データを伝送するデータ幅を設定する。具体的に、制御部１４６は、画像入力部１７１に並列して入力される画素データの画素数に比例して、画像バス１２６が有するデータ線のうち、チャンネル数の整数倍となる本数のデータ線を介して画素データを伝送するため、次のような処理を行う。

すなわち、この設定したデータ幅に応じて、制御部１４６は、動作クロック１１５〜１１８を供給するメモリインタフェース１９のデータ線を駆動させるドライバの数、すなわち、動作クロック１１５〜１１８を供給するマルチプレクサ、デマルチプレクサの数を変化させるように、クロック系統１〜クロック系統４のＯＮ／ＯＦＦを制御するクロック制御信号１４８をクロック出力部１５０に供給する。

また、制御部１４６は、上述したクロック制御信号１４８に応じてクロック出力部１５０が動作クロックを供給するマルチプレクサ、デマルチプレクサのみに電源を供給するように、電源系統１〜電源系統４のＯＮ／ＯＦＦを制御する電源制御信号１４７を電源出力部１４９に供給する。

また、制御部１４６は、電源制御信号１４７を電源出力部１４９に供給することで、上述したクロック制御信号１４８に応じてクロック出力部１５０が動作クロックを供給するマルチプレクサ、デマルチプレクサのみに電源を供給する。

例えば、画像バス１２６のデータ幅を最大のデータ幅である３２ｂｉｔの１／２（１６ｂｉｔ）に設定した場合、制御部１４６は、クロック系統１及びクロック系統２のみをＯＮにするクロック制御信号１４８をクロック出力部１５０に供給して、合計３２個のマルチプレクサのうちマルチプレクサ２０１〜２１６、合計３２個のデマルチプレクサのうちデマルチプレクサ３０１〜３１６にそれぞれ動作クロック１１５、１１６を供給する。

さらに、制御部１４６は、電源系統１及び電源系統２のみをＯＮにする電源制御信号１４７を電源出力部１４９に供給して、合計３２個のマルチプレクサのうちマルチプレクサ２０１〜２１６、合計３２個のデマルチプレクサのうちデマルチプレクサ３０１〜３１６にそれぞれ電源１１１、１１２を供給する。

このようにして、制御部１４６は、使用するシリアル入力チャンネル数の減少に比例して、画像バス１２６のデータ幅を減少させるとともに、画像バス１２６を構成する回路の一部への動作クロック供給を停止、あるいは電源供給を停止する事が可能となり、画像バス１２６が消費する電力を削減することができる。

また、制御部１４６は、画像入力部１７１の演算部１０５ａ〜１０５ｄの動作を省電力化するため、次のように動作する。

制御部１４６は、画像入力部１７１に並列して入力される画素データのチャンネル数に応じて、使用する演算部１０５ａ〜１０５ｄの数を変化させる。

具体的に、制御部１４６は、使用する演算部１０５ａ〜１０５ｄの数を変化させるため、クロック系統１〜クロック系統４のＯＮ／ＯＦＦを制御するクロック制御信号１４８をクロック出力部１５０に供給する。

また、制御部１４６は、上述したクロック制御信号１４８に応じてクロック出力部１５０が動作クロックを供給する演算部１０５ａ〜１０５ｄのみに電源を供給するように、電源系統１〜電源系統４のＯＮ／ＯＦＦを制御する電源制御信号１４７を電源出力部１４９に供給する。

例えば、シリアル入力チャンネル１０３ａ、１０３ｂのみに画素データが供給される場合、制御部１４６は、クロック系統１及びクロック系統２のみをＯＮにするクロック制御信号１４８をクロック出力部１５０に供給して、演算部１０５ａ、１０５ｂのみにそれぞれ動作クロック１１５、１１６を供給する。

さらに、制御部１４６は、電源系統１及び電源系統２のみをＯＮにする電源制御信号１４７を電源出力部１４９に供給して、演算部１０５ａ、１０５ｂのみにそれぞれ電源１１１、１１２を供給する。

このようにして、制御部１４６は、使用するシリアル入力チャンネル数が減少した場合に、並列処理が可能な演算部１０５ａ〜１０５ｄからなる並列処理数を減少させ、使用しない演算部１０５ａ〜１０５ｄへの動作クロック供給を停止、あるいは電源供給を停止する事が可能となり、演算部１０５ａ〜１０５ｄが消費する電力を削減することができる。

以上のように、制御部１４６では、使用するメモリ装置２３の数およびメモリインタフェース１９のデータ幅、画像バス１２６のデータ幅、演算部１０５ａ〜１０５ｄの並列処理数を、シリアル入力チャンネル数と関連付けて決定することが容易にできるので、画像処理デバイス１５及びメモリ装置２３の省電力化を容易に実現することができる。

次に、画像処理デバイス１５を回路基板上に実装した第２の実施例について説明する。図１２は第２の実施例に係る画像処理デバイス６００である。

画像処理デバイス６００は、画像バス１２６に、図１２に示すように、画像入力部６０１、メモリインタフェース１９、画像処理部１６９、画像出力部６０２、及び、ＢＩＵ２２が接続された構成となっている。なお、メモリインタフェース１９、メモリインタフェース１９に接続されるメモリ装置２３、画像処理部１６９の構成は、第１の実施例に係る画像処理デバイス１５、ＢＩＵ２２と同様なので、同様の符号を付してその説明を省略するものとする。また、第２の実施例に係る画像処理デバイス６００の各処理部及びメモリ装置２３は、制御部１４６が備える電源出力部１４９及びクロック出力部１５０から電源及び動作クロックが供給されることによって駆動する。

画像入力部６０１は、信号入力部９０１と、ライトポート９０３とを備える。画像入力部６０１において、信号入力部９０１は、前処理部１１から画素データが入力され、入力された画素データ９０２をライトポート９０３に出力する。ライトポート９０３は、画素データ９０２が供給され、画像バス１２６へ書き込み処理を行う。ライトポート９０３は、画素データ９０２が所定の数供給されると、画像バス１２６に書き込み要求信号９０４を供給し、画像バス１２６から書き込み許可信号９０５を受け取るまで待機する。その後、ライトポート９０３は、書き込み許可信号９０５が供給されると、所定の数のライトデータ９０６を画像バス１２６に出力する。

画像出力部６０２は、リードポート９１８と、合計４個の演算部９２２ａ〜９２２ｄと、合計４個のシリアル出力チャンネル９２４ａ〜９２４ｄとを備える。

リードポート９１８は、画像バス１２６に読み出し要求信号９１９を供給し、読み出し許可信号９２０が供給されると、後続して、最大ｎ（ｎは、正の整数。）個のリードデータ９０７として、例えば、合計４個の画素データが供給され、並列した読み出し画素データ９２１ａ、９２１ｂ、９２１ｃ、９２１ｄを、それぞれ演算部９２２ａ〜９２２ｄに供給する。

演算部９２２ａ〜９２２ｄは、それぞれ、リードポート９１８から供給される読み出し画素データ９２１ａ〜９２１ｄに対して演算処理を施し、演算後の画素データ９２３ａ〜９２３ｄを、シリアル出力チャンネル９２４ａ〜９２４ｄに供給する。

また、演算部９２２ａ〜９２２ｄは、それぞれ、制御部１４６によって個別にＯＮ／ＯＦＦされる電源１１１、１１２、１１３、１１４、及び、動作クロック１１５、１１６、１１７、１１８が供給されることによって動作する。

なお、演算部９２２ａ〜９２２ｄは、図１２のようにシリアル出力チャンネル９２４ａ〜９２４ｄと同じ数だけ設けても良いし、より少ない数で、演算後の画素データ９２３ａ〜９２３ｄをシリアル出力チャンネル９２４ａ〜９２４ｄに順次供給するようにしてもよい。

シリアル出力チャンネル９２４ａ〜９２４ｄは、画素データ９２３ａ〜９２３ｄを８ビットからなるパラレル形式の画素データとして供給され、８ビットのシリアル形式の画素データ９２５ａ〜９２５ｄに変換して、画像処理デバイス６００外部に出力する回路である。

また、シリアル出力チャンネル９２４ａ〜９２４ｄは、それぞれ、制御部１４６によってＯＮ／ＯＦＦされる電源１０７、１０８、１０９、１１０が供給されることによって動作する。

以上のような構成からなる第２の実施例に係る画像処理デバイス６００では、制御部１４６が、画像出力部６０２のシリアル出力チャンネル９２４ａ〜９２４ｄにより並列して外部に出力する画素データの画素数に応じて、画像入力部６０１の演算部９２２ａ〜９２２ｄが並列して画素データに対して演算処理を行う画素数、画像バス１２６がデータを伝送するデータ幅、及び、メモリインタフェース１９がメモリ装置１３７〜１４０にアクセスするデータ幅のうち、少なくともいずれか１つを、電源系統、及びクロック系統をＯＮ／ＯＦＦさせることによって変化させることにより、画像処理デバイス１５及びメモリ装置２３に係る動作の省電力化を実現する。

制御部１４６は、メモリインタフェース１９又はメモリ装置２３の動作を省電力化するため、次の処理を行う。

このようにして、制御部１４６は、使用するシリアル出力チャンネル９２４ａ〜９２４ｄが減少した場合に、メモリインタフェース１９又はメモリ装置２３の一部への動作クロック供給を停止、あるいは電源供給を停止することが可能となり、メモリインタフェース１９又はメモリ装置２３が消費する電力を削減することができる。

まず、制御部１４６は、撮像モードに応じて、画像バス１２６が画像データを伝送するデータ幅を設定する。具体的に、制御部１４６は、画像入力部１７１に並列して入力される画素データの画素数に比例して、画像バス１２６が有するデータ線のうち、チャンネル数の整数倍となる本数のデータ線を介して上記画素データを伝送するため、次のような処理を行う。

このようにして、制御部１４６は、使用するシリアル出力チャンネル９２４ａ〜９２４ｄの数が減少するのに比例して、画像バス１２６のデータ幅を減少させるとともに、画像バス１２６を構成する回路の一部への動作クロック供給を停止、あるいは電源供給を停止する事が可能となり、画像バス１２６が消費する電力を削減することができる。

制御部１４６は、画像出力部６０２が並列して出力する画素データのチャンネル数に応じて、使用する演算部９２２ａ〜９２２ｄの数を変化させる。

具体的に、制御部１４６は、使用する演算部９２２ａ〜９２２ｄの数を変化させるため、クロック系統１〜クロック系統４のＯＮ／ＯＦＦを制御するクロック制御信号１４８をクロック出力部１５０に供給する。

また、制御部１４６は、上述したクロック制御信号１４８に応じてクロック出力部１５０が動作クロックを供給する演算部９２２ａ〜９２２ｄのみに電源を供給するように、電源系統１〜電源系統４のＯＮ／ＯＦＦを制御する電源制御信号１４７を電源出力部１４９に供給する。

例えば、シリアル出力チャンネル９２４ａ、９２４ｂのみに画素データが供給される場合、制御部１４６は、クロック系統１及びクロック系統２のみをＯＮにするクロック制御信号１４８をクロック出力部１５０に供給して、演算部９２２ａ、９２２ｂのみにそれぞれ動作クロック１１５、１１６を供給する。

さらに、制御部１４６は、電源系統１及び電源系統２のみをＯＮにする電源制御信号１４７を電源出力部１４９に供給して、演算部９２２ａ、９２２ｂのみにそれぞれ電源１１１、１１２を供給する。

このようにして、制御部１４６は、使用するシリアル出力チャンネル数が減少した場合に、並列処理が可能な演算部９２２ａ〜９２２ｄからなる並列処理数を減少させ、使用しない演算部９２２ａ〜９２２ｄへの動作クロック供給を停止、あるいは電源供給を停止する事が可能となり、演算部９２２ａ〜９２２ｄが消費する電力を削減することができる。

以上のような動作を行う制御部１４６では、使用するメモリ装置２３の数およびメモリインタフェース１９のデータ幅、画像バス１２６のデータ幅、演算部１０５ａ〜１０５ｄの並列処理数を、シリアル出力チャンネル数と関連付けて決定することが容易にできるので、容易に画像処理デバイス１５及びメモリ装置２３の省電力化を実現することができる。

なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。

デジタルカメラ１の全体構成を示すブロック図である。撮像モードを説明するための図である。第１の実施例に係る画像処理デバイスの回路構成を模式的に示す図である。ライトデータ選択回路の構成を説明するための図である。マルチプレクサの構成を示す図である。リードデータ選択回路の構成を説明するための図である。デマルチプレクサの構成を示す図である。メモリインタフェースの内部構成を示す図である。ＢＩＵの内部構成を示す図である。電源出力部の内部構成を示す図である。電源スイッチの内部構成を示す図である。第２の実施例に係る画像処理デバイスの回路構成を模式的に示す図である。

符号の説明

１デジタルカメラ、１０撮像素子、１１前処理部、１２アナログ信号処理部、１３タイミングジェネレータ、１４Ｖドライバ、１５、６００画像処理デバイス、１６カメラ信号処理部、１７解像度変換部、１８画像符号化部、１９メモリインタフェース、２０表示制御部、２１メディア制御部、２３メモリ装置、２４表示部、２５記録メディア、２６操作部、２７ＣＰＵ、２８ＲＡＭ、２９ＥＥＰＲＯＭ、３０ＵＳＢインタフェース、３１レンズユニット、３２レンズ制御部、１０１ａ〜１０１ｄ、１０４ａ〜１０４ｄ、１５５、１６２、９０２、９２１ａ〜９２１ｄ画素データ、１０２シリアル入力クロック、１０３ａ〜１０３ｄシリアル入力チャンネル、１０５ａ〜１０５ｄ、１０６ａ〜１０６ｄ、１６１、９２２ａ〜９２２ｄ演算部、１０７〜１１０、１１１〜１１４、１４１〜１４４電源、１１５〜１１８、１２８〜１３１動作クロック、１１９、１５６、９０３ライトポート、１２０、１５７、９０４書き込み要求信号、１２１、１５８、９０５書き込み許可信号、１２２、１５９、９０６ライトデータ、１２３コマンド、１２４ライトデータ、１２５、９０７リードデータ、１２６画像バス、１３２コマンド制御信号、１３３〜１３６データ、１３７〜１４０メモリ装置、１４５使用チャンネル数、１４６制御部、１４７電源制御信号、１４８クロック制御信号、１４９電源出力部、１５０クロック出力部、１５１、１６３、９１８リードポート、１５２、１６４、９１９読み出し要求信号、１５３、１６５、９２０読み出し許可信号、１５４、１６６リードデータ、１６０画像データ、１６７出力制御部、１６８画像出力データ、１６９画像処理部、１７０、６０２画像出力部、１７１、６０１画像入力部、２００ライトデータ選択回路、２０１〜２１６マルチプレクサ、２０１ａ〜２０１ｃ、３０１ａ〜３０１ｃフリップフロップ、２０１ｄセレクタ、３００リードデータ選択回路、３０１〜３１６デマルチプレクサ、３０１ｄ、３０１ｅ、ＡＮＤ回路、４０１コントローラ、４０２、４３１〜４３４、４４１〜４４４ＩＯセル、４１１〜４１４ライトデータバッファ、４２１〜４２４ライトデータバッファ、５０１シリアルＩＦ電源部、５０２コア電源部、５０３メモリ電源部、５０４〜５０６電源スイッチ、９０１信号入力部、９２３ａ〜９２３ｄ、９２５ａ〜９２５ｄ画素データ、９２４ａ〜９２４ｄシリアル出力チャンネル

Claims

撮像手段から撮像モードに応じて変化する画素数で画素毎に並列に出力された画素データをそれぞれ入力する入力手段と、該入力手段に入力された画素データに対してそれぞれ演算処理を施す演算手段とを有する入力部と、
上記入力部と接続され、上記演算手段により演算処理が施された画素データを伝送するバスと、
上記バスと接続され、該バスから伝送されてくる上記入力部の演算手段により演算処理が施された画素データをメモリに書き込むとともに、該バスに接続されている他の処理部からのアクセス要求に応じて、該メモリへのアクセスを制御するメモリインタフェースと、
上記バスを介して上記メモリインタフェースと接続され、該メモリインタフェースにアクセス要求して、上記メモリに書き込まれた画素データを読み出して外部へ出力する出力部と、
上記撮像手段により撮像され上記入力部に並列して入力される画素データの画素数に応じて、上記演算手段が並列して画素データに対して演算処理を行う画素数、上記バスがデータを伝送するデータ幅、及び、上記メモリインタフェースが上記メモリにアクセスするデータ幅を変化させる制御部とを備え、
上記制御部は、画素データの書き込み使用するメモリの数およびメモリインタフェースのデータ幅、画素データを伝送するバスのデータ幅、演算手段の並列処理数を、上記出力部から外部に出力するシリアル出力チャンネル数と関連付けて決定し、決定した数のメモリ、データ幅のメモリインタフェース、並列処理数の演算出段に電源を供給する制御を行うことを特徴とする画像処理装置。
上記メモリインタフェースは、合計ｗ（ｗは正の整数。）本のデータ線を介して、それぞれ、該メモリインタフェースのデータ幅に対して１／ｗのデータ幅からなるｗ個の上記メモリと接続され、
上記制御部は、上記メモリインタフェースのデータ線を駆動させるドライバを動作させるための動作クロックを出力するクロック出力手段と、上記メモリインタフェースの各データ線に電源を供給する電源出力手段を有し、上記メモリインタフェースのデータ幅に応じて上記クロック出力手段が上記動作クロックを供給する上記メモリインタフェースのデータ線を駆動させるドライバの数を変化させ、上記クロック出力手段が動作クロックを供給する上記メモリインタフェースのデータ線を駆動させるドライバのみに上記電源出力手段により電源を供給する制御を行うことを特徴とする請求項１記載の画像処理装置。
上記制御部は、更に、上記各メモリに電源を供給する電源出力手段を有し、該電源出力手段により、上記クロック出力手段が動作クロックを供給して駆動させる上記メモリインタフェースのデータ線に接続されている上記メモリのみに電源を供給する制御を行うことを特徴とする請求項２記載の画像処理装置。
上記バスは、該バスに接続された各処理部によりアクセスされる上記画素データを伝送する複数のデータ線に接続された各処理部のうち、一の処理部に接続されたデータ線を選択して、該選択したデータ線を介して上記メモリインタフェースに上記画素データを伝送するためのマルチプレクサを有し、
上記制御部は、上記バスの有するマルチプレクサを動作させるための動作クロックを出力するクロック出力手段と、上記バスの有するマルチプレクサに電源を供給する電源出力手段を有し、上記バスが有するマルチプレクサのうち、上記バスのデータ幅に応じて上記画素データを伝送するデータ線に接続されるマルチプレクサのみに上記クロック出力手段により動作クロックを供給し、上記クロック出力手段が動作クロックを供給する上記マルチプレクサのみに上記電源出力手段により電源を供給する制御を行い、上記撮像手段により撮像され上記入力部に並列して入力される画素データの画素数に比例して、上記バスが有するデータ線のうち、シリアル出力チャンネル数の整数倍となる本数のデータ線を介して上記画素データを伝送することを特徴とする請求項１記載の画像処理装置。
上記バスは、該バスのデータ線に接続された各処理部のうち、一の処理部に接続されたデータ線を選択して、該選択したデータ線に上記メモリインタフェースを介して上記メモリから読み出された画素データを伝送するためのデマルチプレクサを有し、
上記制御部は、上記バスの有するデマルチプレクサを動作させるための動作クロックを出力するクロック出力手段と、上記バスの有するデマルチプレクサに電源を供給する電源出力手段を有し、上記バスが有するデマルチプレクサのうち、上記バスのデータ幅に応じて上記画素データを伝送するデータ線に接続されるデマルチプレクサのみに上記クロック出力手段により動作クロックを供給し、上記クロック出力手段が動作クロックを供給する上記デマルチプレクサのみに上記電源出力手段により電源を供給する制御を行うことを特徴とする請求項１記載の画像処理装置。
上記演算手段は、該入力手段に入力された画素データに対してそれぞれ演算処理を施す合計ｍチャンネルの演算器からなり、
上記制御部は、上記演算手段の各演算器を動作させるための動作クロックを出力するクロック出力手段と、上記演算手段の各演算器に電源を供給する電源出力手段を有し、上記撮像手段により撮像され上記入力部に並列して入力される画素データのチャンネル数に応じて、上記演算手段が使用する演算器の数を変化させ、上記演算手段が並列して画素データに対して演算処理を行う画素数に応じて、上記クロック出力手段により動作クロックを供給する上記演算器の数を変化させ、上記クロック出力手段が動作クロックを供給する上記演算器のみに上記電源出力手段により電源を供給する制御を行うことを特徴とする請求項１記載の画像処理装置。