JP3532781B2 - 画像入力装置の画像処理回路 - Google Patents
画像入力装置の画像処理回路Info
- Publication number
- JP3532781B2 JP3532781B2 JP03497999A JP3497999A JP3532781B2 JP 3532781 B2 JP3532781 B2 JP 3532781B2 JP 03497999 A JP03497999 A JP 03497999A JP 3497999 A JP3497999 A JP 3497999A JP 3532781 B2 JP3532781 B2 JP 3532781B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- real
- data
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Description
【０００１】
【発明の属する技術分野】この発明は、画像入力装置内
において画素補間、色変換、輪郭補正処理、フィルタリ
ング及び間引き処理等の所定の画像処理を行う画像入力
装置の画像処理回路に関する。
において画素補間、色変換、輪郭補正処理、フィルタリ
ング及び間引き処理等の所定の画像処理を行う画像入力
装置の画像処理回路に関する。
【０００２】
【従来の技術】一般に、ディジタルスチルカメラ（画像
入力装置）は、図３３の如く、ＣＣＤ１の駆動と画像の
取り込みを画像処理回路２で行い、この画像処理回路２
内で画素補間、色変換、輪郭補正処理、フィルタリング
及び間引き処理等の所定の画像処理を行った後、この画
像を液晶モニタ３等のファインダに表示するとともに、
画像データを所定の内蔵メモリ４に格納するようになっ
ており、また必要に応じて画像データをメモリカード５
に保存格納したり、外部インターフェース（Ｉ／Ｆ）６
を通じて外部の所定の処理装置（パーソナルコンピュー
タ）等に出力するようになっている。図３３中の符号７
は撮影レンズ、符号８は絞り機構、符号９は光学ローパ
スフィルタ、符号１０は赤外カットフィルタ、符号１１
はストロボ、符号１２は電源をそれぞれ示している。
入力装置）は、図３３の如く、ＣＣＤ１の駆動と画像の
取り込みを画像処理回路２で行い、この画像処理回路２
内で画素補間、色変換、輪郭補正処理、フィルタリング
及び間引き処理等の所定の画像処理を行った後、この画
像を液晶モニタ３等のファインダに表示するとともに、
画像データを所定の内蔵メモリ４に格納するようになっ
ており、また必要に応じて画像データをメモリカード５
に保存格納したり、外部インターフェース（Ｉ／Ｆ）６
を通じて外部の所定の処理装置（パーソナルコンピュー
タ）等に出力するようになっている。図３３中の符号７
は撮影レンズ、符号８は絞り機構、符号９は光学ローパ
スフィルタ、符号１０は赤外カットフィルタ、符号１１
はストロボ、符号１２は電源をそれぞれ示している。
【０００３】
【発明が解決しようとする課題】ここで、一般に、画像
処理回路２内には、図３４及び図３５の如く、ＣＰＵ２
ａの他に、ＣＣＤ１で得られた画像のリアルタイムな画
像処理を実行するリアルタイムプロセッシングユニット
（ＲＰＵ）２ｂが備えられることが多い。そして、一旦
内蔵メモリ４内に格納された画像の各種画像処理は、Ｃ
ＰＵ２ａのみがソフトウェアプログラムによって実行す
る構成となっていた。即ち、従来のリアルタイムプロセ
ッシングユニット２ｂは、専らファインダー動作等を行
うためのリアルタイム画像処理に限定され、完全にソフ
トウェア処理とは分離されており、処理過程の変更は各
部のパラメータを変更する程度であった。
処理回路２内には、図３４及び図３５の如く、ＣＰＵ２
ａの他に、ＣＣＤ１で得られた画像のリアルタイムな画
像処理を実行するリアルタイムプロセッシングユニット
（ＲＰＵ）２ｂが備えられることが多い。そして、一旦
内蔵メモリ４内に格納された画像の各種画像処理は、Ｃ
ＰＵ２ａのみがソフトウェアプログラムによって実行す
る構成となっていた。即ち、従来のリアルタイムプロセ
ッシングユニット２ｂは、専らファインダー動作等を行
うためのリアルタイム画像処理に限定され、完全にソフ
トウェア処理とは分離されており、処理過程の変更は各
部のパラメータを変更する程度であった。
【０００４】この場合、リアルタイムプロセッシングユ
ニット２ｂでのリアルタイム処理と、ＣＰＵ２ａでのソ
フトウェア処理とが完全に分離されていたため、リアル
タイムプロセッシングユニット２ｂとしてのハードウェ
アで用意されない特殊な処理が必要となった場合は、一
旦リアルタイム処理を中断して、特殊な処理を実行した
後、その他の一般的な処理を行うことになるが、一旦内
蔵メモリ４内に格納した画像をリアルタイムプロセッシ
ングユニット２ｂで処理することができない構成となっ
ていたため、図３５の如く、それ以降の処理を、すべて
ソフトウェアで処理しなければならなかった。この場
合、ハードウェア処理部（即ち、リアルタイムプロセッ
シングユニット２ｂ）を全く使用せず、最初から最後ま
でＣＰＵ２ａでのソフトウェア処理によって実行される
ため、少しでも例外的画像処理が要求された場合には、
極端に処理スピードが低下し、処理に非常に時間がかか
ることから、撮影の機会を失う等の不都合が生じてい
た。
ニット２ｂでのリアルタイム処理と、ＣＰＵ２ａでのソ
フトウェア処理とが完全に分離されていたため、リアル
タイムプロセッシングユニット２ｂとしてのハードウェ
アで用意されない特殊な処理が必要となった場合は、一
旦リアルタイム処理を中断して、特殊な処理を実行した
後、その他の一般的な処理を行うことになるが、一旦内
蔵メモリ４内に格納した画像をリアルタイムプロセッシ
ングユニット２ｂで処理することができない構成となっ
ていたため、図３５の如く、それ以降の処理を、すべて
ソフトウェアで処理しなければならなかった。この場
合、ハードウェア処理部（即ち、リアルタイムプロセッ
シングユニット２ｂ）を全く使用せず、最初から最後ま
でＣＰＵ２ａでのソフトウェア処理によって実行される
ため、少しでも例外的画像処理が要求された場合には、
極端に処理スピードが低下し、処理に非常に時間がかか
ることから、撮影の機会を失う等の不都合が生じてい
た。
【０００５】ここで、最初からソフトウェア処理を前提
にしておき、ＣＰＵ２ａの速度を上げて処理の高速化を
図る場合もあるが、この時はＣＰＵ２ａの高速動作のた
め消費電力が極端に大きくなり、ハードウェア処理に比
較して、処理内容を複雑にすることができない。
にしておき、ＣＰＵ２ａの速度を上げて処理の高速化を
図る場合もあるが、この時はＣＰＵ２ａの高速動作のた
め消費電力が極端に大きくなり、ハードウェア処理に比
較して、処理内容を複雑にすることができない。
【０００６】これらのことから、従来の方法では、必ず
しも効率的な画像処理を行っているとは言い難かった。
しも効率的な画像処理を行っているとは言い難かった。
【０００７】本発明では、ＣＰＵによりソフトウェア処
理で必要な部分のみを修正した後、再びリアルタイムプ
ロセッシングユニットでの高速処理を続行できるように
することで、高速な画像処理が可能で且つ消費電力を低
く抑制できるディジタルスチルカメラの画像処理回路を
提供することにある。
理で必要な部分のみを修正した後、再びリアルタイムプ
ロセッシングユニットでの高速処理を続行できるように
することで、高速な画像処理が可能で且つ消費電力を低
く抑制できるディジタルスチルカメラの画像処理回路を
提供することにある。
【０００８】
【課題を解決するための手段】上記課題を解決すべく、
請求項１に記載の発明は、ディジタルスチルカメラ内に
おいて、撮像素子で撮像した画像について所定の画像処
理を行う画像処理回路であって、前記撮像素子で撮像さ
れて順次入力される画素データについてラインメモリを
使用して順次に接続された複数の画像処理部による実時
間処理により所定の一般画像処理を行うリアルタイムプ
ロセッシングユニットと、少なくとも前記リアルタイム
プロセッシングユニットから出力された画素データを画
像フレーム単位で記憶する主メモリと、前記主メモリ内
に一旦記憶された画像に対して前記一般画像処理以外の
例外的画像処理をソフトウェアプログラム処理として実
行して前記主メモリ内に格納する中央制御部とを備え、
前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを少なくとも有することを特徴とするもので
ある。
請求項１に記載の発明は、ディジタルスチルカメラ内に
おいて、撮像素子で撮像した画像について所定の画像処
理を行う画像処理回路であって、前記撮像素子で撮像さ
れて順次入力される画素データについてラインメモリを
使用して順次に接続された複数の画像処理部による実時
間処理により所定の一般画像処理を行うリアルタイムプ
ロセッシングユニットと、少なくとも前記リアルタイム
プロセッシングユニットから出力された画素データを画
像フレーム単位で記憶する主メモリと、前記主メモリ内
に一旦記憶された画像に対して前記一般画像処理以外の
例外的画像処理をソフトウェアプログラム処理として実
行して前記主メモリ内に格納する中央制御部とを備え、
前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを少なくとも有することを特徴とするもので
ある。
【０００９】そして、最前段の画像処理部は、前記セレ
クタを通じて、前記主メモリ内に一旦格納された画像の
画素データが選択的に入力されるように接続され、２段
目以降の画像処理部のうちの少なくともひとつは、当該
画像処理部の前段の画像処理部から入力される画素デー
タと、前記主メモリ内に一旦格納された画像の画素デー
タとが、所定の他のセレクタにより選択的に入力される
ように接続され、最後段の画像処理部は、前記主メモリ
に画素データを送出するように接続され、前記最後段の
画像処理部より前段の画像処理部のうちの少なくともひ
とつは、次段の画像処理部と前記主メモリとの両方に画
素データを送出するように接続されたものである。
クタを通じて、前記主メモリ内に一旦格納された画像の
画素データが選択的に入力されるように接続され、２段
目以降の画像処理部のうちの少なくともひとつは、当該
画像処理部の前段の画像処理部から入力される画素デー
タと、前記主メモリ内に一旦格納された画像の画素デー
タとが、所定の他のセレクタにより選択的に入力される
ように接続され、最後段の画像処理部は、前記主メモリ
に画素データを送出するように接続され、前記最後段の
画像処理部より前段の画像処理部のうちの少なくともひ
とつは、次段の画像処理部と前記主メモリとの両方に画
素データを送出するように接続されたものである。
【００１０】請求項２に記載の発明は、前記リアルタイ
ムプロセッシングユニット及び前記撮像素子の動作タイ
ミングを規律するためのタイミングジェネレータをさら
に備え、前記タイミングジェネレータは、前記セレクタ
が、前記撮像素子で撮像されて順次入力される画素デー
タを選択しているときは、前記リアルタイムプロセッシ
ングユニットの動作タイミングと前記撮像素子の動作タ
イミングとを同期して規律する同期制御機能と、前記セ
レクタが、前記主メモリ内に一旦格納された画像の画素
データを選択しているときは、前記リアルタイムプロセ
ッシングユニットの動作タイミングと前記撮像素子の動
作タイミングとを非同期に規律する非同期制御機能とを
有するものである。
ムプロセッシングユニット及び前記撮像素子の動作タイ
ミングを規律するためのタイミングジェネレータをさら
に備え、前記タイミングジェネレータは、前記セレクタ
が、前記撮像素子で撮像されて順次入力される画素デー
タを選択しているときは、前記リアルタイムプロセッシ
ングユニットの動作タイミングと前記撮像素子の動作タ
イミングとを同期して規律する同期制御機能と、前記セ
レクタが、前記主メモリ内に一旦格納された画像の画素
データを選択しているときは、前記リアルタイムプロセ
ッシングユニットの動作タイミングと前記撮像素子の動
作タイミングとを非同期に規律する非同期制御機能とを
有するものである。
【００１１】請求項３及び請求項４に記載の発明は、前
記セレクタが、前記主メモリ内に一旦格納された画像の
画素データを選択しているときは、当該画素データが、
前記主メモリから前記リアルタイムプロセッシングユニ
ットに対して複数回に亘って循環的に繰り返し入力され
るものである。
記セレクタが、前記主メモリ内に一旦格納された画像の
画素データを選択しているときは、当該画素データが、
前記主メモリから前記リアルタイムプロセッシングユニ
ットに対して複数回に亘って循環的に繰り返し入力され
るものである。
【００１２】請求項５及び請求項６に記載の発明は、前
記リアルタイムプロセッシングユニットと、前記主メモ
リと、前記中央制御部との間で送受信が行われる画素デ
ータは、４つの画素成分のそれぞれについて所定のデー
タ長が与えられた４個の成分データから構成され、前記
４個の成分データのうちの少なくとも１個は、前記リア
ルタイムプロセッシングユニット内で一般画像処理内で
処理された任意の１個の成分データが選択的に格納され
るものである。
記リアルタイムプロセッシングユニットと、前記主メモ
リと、前記中央制御部との間で送受信が行われる画素デ
ータは、４つの画素成分のそれぞれについて所定のデー
タ長が与えられた４個の成分データから構成され、前記
４個の成分データのうちの少なくとも１個は、前記リア
ルタイムプロセッシングユニット内で一般画像処理内で
処理された任意の１個の成分データが選択的に格納され
るものである。
【００１３】請求項７及び請求項８に記載の発明は、前
記リアルタイムプロセッシングユニットは、前記撮像素
子で撮像されて順次入力される画素データまたは前記主
メモリからの画素データが４色系の画素データである場
合には、当該４色系の画素データの４色の各成分のデー
タのそれぞれを前記各成分データに格納する一方、前記
撮像素子で撮像されて順次入力される画素データまたは
前記主メモリからの画素データが３色系の画素データで
ある場合には、当該３色系の画素データに加えて、４色
目の成分のデータに、前記リアルタイムプロセッシング
ユニット内で一般画像処理内で処理された任意の１個の
成分データを、各画素データの所定の特徴データとして
付加する機能を有するものである。
記リアルタイムプロセッシングユニットは、前記撮像素
子で撮像されて順次入力される画素データまたは前記主
メモリからの画素データが４色系の画素データである場
合には、当該４色系の画素データの４色の各成分のデー
タのそれぞれを前記各成分データに格納する一方、前記
撮像素子で撮像されて順次入力される画素データまたは
前記主メモリからの画素データが３色系の画素データで
ある場合には、当該３色系の画素データに加えて、４色
目の成分のデータに、前記リアルタイムプロセッシング
ユニット内で一般画像処理内で処理された任意の１個の
成分データを、各画素データの所定の特徴データとして
付加する機能を有するものである。
【００１４】請求項９に記載の発明は、前記撮像素子で
撮像されて順次入力される画素データについて実時間処
理により所定の一般画像処理を行うリアルタイムプロセ
ッシングユニットと、少なくとも前記リアルタイムプロ
セッシングユニットから出力された画素データを画像フ
レーム単位で記憶する主メモリと、前記主メモリ内に一
旦記憶された画像に対して前記一般画像処理以外の例外
的画像処理をソフトウェアプログラム処理として実行し
て前記主メモリ内に格納する中央制御部とを備え、前記
リアルタイムプロセッシングユニットは、前記撮像素子
で撮像されて順次入力される各画素データが複数フレー
ムに亘る場合に、当該撮像素子からの各フレーム内の各
画素データに対して、前記主メモリ内に一旦記憶された
前フレーム中の同位置の画素データを加算してから再び
前記主メモリ内に記憶する累積加算処理を所定の回数繰
り返して実行する累積加算処理機能を有するものであ
る。
撮像されて順次入力される画素データについて実時間処
理により所定の一般画像処理を行うリアルタイムプロセ
ッシングユニットと、少なくとも前記リアルタイムプロ
セッシングユニットから出力された画素データを画像フ
レーム単位で記憶する主メモリと、前記主メモリ内に一
旦記憶された画像に対して前記一般画像処理以外の例外
的画像処理をソフトウェアプログラム処理として実行し
て前記主メモリ内に格納する中央制御部とを備え、前記
リアルタイムプロセッシングユニットは、前記撮像素子
で撮像されて順次入力される各画素データが複数フレー
ムに亘る場合に、当該撮像素子からの各フレーム内の各
画素データに対して、前記主メモリ内に一旦記憶された
前フレーム中の同位置の画素データを加算してから再び
前記主メモリ内に記憶する累積加算処理を所定の回数繰
り返して実行する累積加算処理機能を有するものであ
る。
【００１５】請求項１０に記載の発明は、前記撮像素子
で撮像されて順次入力される画素データについて実時間
処理により所定の一般画像処理を行うリアルタイムプロ
セッシングユニットと、少なくとも前記リアルタイムプ
ロセッシングユニットから出力された画素データを画像
フレーム単位で記憶する主メモリと、前記主メモリ内に
一旦記憶された画像に対して前記一般画像処理以外の例
外的画像処理をソフトウェアプログラム処理として実行
して前記主メモリ内に格納する中央制御部とを備え、前
記リアルタイムプロセッシングユニットは、前記撮像素
子で撮像されて順次入力される各画素データが複数フレ
ームに亘る場合に、当該撮像素子からの各フレーム内の
各画素データと、前記主メモリ内に一旦記憶された前フ
レーム中の同位置の画素データとを、所定の重み付け係
数によりそれぞれ乗算しつつ加算してから再び前記主メ
モリ内に記憶する循環加算処理を所定の回数繰り返して
実行する循環加算処理機能を有し、前記循環加算処理に
おける前記重み付け係数は、前記主メモリ内に一旦記憶
された前フレーム中の同位置の画素データに乗算する第
一係数と、撮像素子からの各フレーム内の各画素データ
に乗算する第二係数とからなり、前記第一係数と第二係
数との合計値が常に１になるよう予め設定されるもので
ある。
で撮像されて順次入力される画素データについて実時間
処理により所定の一般画像処理を行うリアルタイムプロ
セッシングユニットと、少なくとも前記リアルタイムプ
ロセッシングユニットから出力された画素データを画像
フレーム単位で記憶する主メモリと、前記主メモリ内に
一旦記憶された画像に対して前記一般画像処理以外の例
外的画像処理をソフトウェアプログラム処理として実行
して前記主メモリ内に格納する中央制御部とを備え、前
記リアルタイムプロセッシングユニットは、前記撮像素
子で撮像されて順次入力される各画素データが複数フレ
ームに亘る場合に、当該撮像素子からの各フレーム内の
各画素データと、前記主メモリ内に一旦記憶された前フ
レーム中の同位置の画素データとを、所定の重み付け係
数によりそれぞれ乗算しつつ加算してから再び前記主メ
モリ内に記憶する循環加算処理を所定の回数繰り返して
実行する循環加算処理機能を有し、前記循環加算処理に
おける前記重み付け係数は、前記主メモリ内に一旦記憶
された前フレーム中の同位置の画素データに乗算する第
一係数と、撮像素子からの各フレーム内の各画素データ
に乗算する第二係数とからなり、前記第一係数と第二係
数との合計値が常に１になるよう予め設定されるもので
ある。
【００１６】
【００１７】請求項１１に記載の発明は、前記撮像素子
で撮像されて順次入力される画素データについて実時間
処理により所定の一般画像処理を行うリアルタイムプロ
セッシングユニットと、少なくとも前記リアルタイムプ
ロセッシングユニットから出力された画素データを画像
フレーム単位で記憶する主メモリと、前記主メモリ内に
一旦記憶された画像に対して前記一般画像処理以外の例
外的画像処理をソフトウェアプログラム処理として実行
して前記主メモリ内に格納する中央制御部とを備え、前
記リアルタイムプロセッシングユニットは、少なくと
も、請求項９に記載の前記累積加算処理機能と、請求項
１０に記載の循環加算処理機能とを選択する機能を有す
るものである。
で撮像されて順次入力される画素データについて実時間
処理により所定の一般画像処理を行うリアルタイムプロ
セッシングユニットと、少なくとも前記リアルタイムプ
ロセッシングユニットから出力された画素データを画像
フレーム単位で記憶する主メモリと、前記主メモリ内に
一旦記憶された画像に対して前記一般画像処理以外の例
外的画像処理をソフトウェアプログラム処理として実行
して前記主メモリ内に格納する中央制御部とを備え、前
記リアルタイムプロセッシングユニットは、少なくと
も、請求項９に記載の前記累積加算処理機能と、請求項
１０に記載の循環加算処理機能とを選択する機能を有す
るものである。
【００１８】請求項１２に記載の発明は、画像入力装置
内において、撮像素子で撮像した画像について所定の画
像処理を行う画像処理回路であって、前記撮像素子で撮
像されて順次入力される画素データについて実時間処理
により所定の一般画像処理を行うリアルタイムプロセッ
シングユニットと、少なくとも前記リアルタイムプロセ
ッシングユニットから出力された画素データを画像フレ
ーム単位で記憶する主メモリと、前記主メモリ内に一旦
記憶された画像に対して前記一般画像処理以外の例外的
画像処理をソフトウェアプログラム処理として実行して
前記主メモリ内に格納する中央制御部とを備え、前記リ
アルタイムプロセッシングユニットは、前記撮像素子で
撮像されて順次入力される各画素データに対して、シェ
ーディング補正を含む所定の画素補正のために予め前記
主メモリ内に記憶され且つダイレクトメモリアクセスで
連続的に入力された所定の画素補正パラメータを乗算す
る画素補正機能を有するとともに、請求項９に記載の前
記累積加算処理機能と、請求項１０に記載の循環加算処
理機能と、前記画素補正機能とを選択する機能を有する
ものである。
内において、撮像素子で撮像した画像について所定の画
像処理を行う画像処理回路であって、前記撮像素子で撮
像されて順次入力される画素データについて実時間処理
により所定の一般画像処理を行うリアルタイムプロセッ
シングユニットと、少なくとも前記リアルタイムプロセ
ッシングユニットから出力された画素データを画像フレ
ーム単位で記憶する主メモリと、前記主メモリ内に一旦
記憶された画像に対して前記一般画像処理以外の例外的
画像処理をソフトウェアプログラム処理として実行して
前記主メモリ内に格納する中央制御部とを備え、前記リ
アルタイムプロセッシングユニットは、前記撮像素子で
撮像されて順次入力される各画素データに対して、シェ
ーディング補正を含む所定の画素補正のために予め前記
主メモリ内に記憶され且つダイレクトメモリアクセスで
連続的に入力された所定の画素補正パラメータを乗算す
る画素補正機能を有するとともに、請求項９に記載の前
記累積加算処理機能と、請求項１０に記載の循環加算処
理機能と、前記画素補正機能とを選択する機能を有する
ものである。
【００１９】請求項１３及び請求項１４に記載の発明
は、前記リアルタイムプロセッシングユニットは、３×
３ピクセルレジスタ及び２個の前記ラインメモリを有
し、前記３×３ピクセルレジスタ内の中央に位置する注
目画素に対して、その周囲の画素を参照するための画素
参照ブロックと、前記画素参照ブロック内の前記注目画
素に対して色成分についての画素補間を行う色選択ブロ
ックとをさらに有し、前記色選択ブロックは、前記画素
参照ブロック内の各画素が４色系の２×２の画素配列の
場合は、各画素について相互に同様の補間を行う第一演
算処理によって画素補間を行う一方、前記画素参照ブロ
ック内の各画素が３色系の画素配列の場合は、４色系と
同様の２×２の画素配列内の４色目の画素として前記３
色系の画素中の一成分を使用し、各画素の画素補間処理
において当該一成分と他の成分とで異なった補間を行う
第二演算処理を実行する機能を有せしめられたものであ
る。
は、前記リアルタイムプロセッシングユニットは、３×
３ピクセルレジスタ及び２個の前記ラインメモリを有
し、前記３×３ピクセルレジスタ内の中央に位置する注
目画素に対して、その周囲の画素を参照するための画素
参照ブロックと、前記画素参照ブロック内の前記注目画
素に対して色成分についての画素補間を行う色選択ブロ
ックとをさらに有し、前記色選択ブロックは、前記画素
参照ブロック内の各画素が４色系の２×２の画素配列の
場合は、各画素について相互に同様の補間を行う第一演
算処理によって画素補間を行う一方、前記画素参照ブロ
ック内の各画素が３色系の画素配列の場合は、４色系と
同様の２×２の画素配列内の４色目の画素として前記３
色系の画素中の一成分を使用し、各画素の画素補間処理
において当該一成分と他の成分とで異なった補間を行う
第二演算処理を実行する機能を有せしめられたものであ
る。
【００２０】請求項１５に記載の発明は、前記３色系の
画素配列は、赤色成分、緑色成分及び青色成分からなる
ＲＧＢベイヤーであり、前記リアルタイムプロセッシン
グユニット内の前記色選択ブロックは、前記画素参照ブ
ロック内の各画素がＲＧＢベイヤーの場合に、４色系と
同様の２×２の画素配列内の４色目の画素として前記緑
色成分を使用し、且つ、２×２の画素配列内で前記緑色
成分が対角線状に配置されるようにし、前記緑色成分を
他の成分に補間する画素補間処理において、他の成分で
ある注目画素の上下左右の４画素の前記緑色成分の平均
値を求めて画素補間し、または、他の成分である注目画
素の上下左右の４画素の前記緑色成分のうち最小値及び
最大値を除いた残りの２画素の平均値を求めて画素補間
する機能を有せしめられたものである。
画素配列は、赤色成分、緑色成分及び青色成分からなる
ＲＧＢベイヤーであり、前記リアルタイムプロセッシン
グユニット内の前記色選択ブロックは、前記画素参照ブ
ロック内の各画素がＲＧＢベイヤーの場合に、４色系と
同様の２×２の画素配列内の４色目の画素として前記緑
色成分を使用し、且つ、２×２の画素配列内で前記緑色
成分が対角線状に配置されるようにし、前記緑色成分を
他の成分に補間する画素補間処理において、他の成分で
ある注目画素の上下左右の４画素の前記緑色成分の平均
値を求めて画素補間し、または、他の成分である注目画
素の上下左右の４画素の前記緑色成分のうち最小値及び
最大値を除いた残りの２画素の平均値を求めて画素補間
する機能を有せしめられたものである。
【００２１】請求項１６及び請求項１７に記載の発明
は、前記リアルタイムプロセッシングユニットは、オー
トフォーカスのための適正評価を行うための評価値とし
て、画像中の画素配列のうち所定の同一成分の複数の近
隣画素の差分の絶対値を一定領域について積分した高周
波成分評価値を出力するオートフォーカス評価部をさら
に有し、前記オートフォーカス評価部は、差分をとるべ
き一対の同一成分の画素同士の離間タイミングを選択的
に変更できるセレクタと、前記セレクタで選択された離
間タイミングだけ離間した一対の同一成分の画素の差分
の絶対値を演算する演算回路と、前記演算回路から順次
出力されてくる絶対値を一定回数だけ累積加算する累積
加算器とを備えるものである。
は、前記リアルタイムプロセッシングユニットは、オー
トフォーカスのための適正評価を行うための評価値とし
て、画像中の画素配列のうち所定の同一成分の複数の近
隣画素の差分の絶対値を一定領域について積分した高周
波成分評価値を出力するオートフォーカス評価部をさら
に有し、前記オートフォーカス評価部は、差分をとるべ
き一対の同一成分の画素同士の離間タイミングを選択的
に変更できるセレクタと、前記セレクタで選択された離
間タイミングだけ離間した一対の同一成分の画素の差分
の絶対値を演算する演算回路と、前記演算回路から順次
出力されてくる絶対値を一定回数だけ累積加算する累積
加算器とを備えるものである。
【００２２】請求項１８に記載の発明は、ディジタルス
チルカメラ内において、撮像素子で撮像した画像につい
て所定の画像処理を行う画像処理回路であって、前記撮
像素子で撮像されて順次入力される画素データについて
ラインメモリを使用して順次に接続された複数の画像処
理部による実時間処理により所定の一般画像処理を行う
リアルタイムプロセッシングユニットと、少なくとも前
記リアルタイムプロセッシングユニットから出力された
画素データを画像フレーム単位で記憶する主メモリとを
備え、前記リアルタイムプロセッシングユニットは、当
該リアルタイムプロセッシングユニット外の前記主メモ
リに格納された欠陥画素アドレスをダイレクトメモリア
クセスによって読み出し、画像中の画素データの画素ア
ドレスが前記欠陥画素アドレスに一致したときに欠陥画
素補正を行う欠陥画素補正部をさらに有する。
チルカメラ内において、撮像素子で撮像した画像につい
て所定の画像処理を行う画像処理回路であって、前記撮
像素子で撮像されて順次入力される画素データについて
ラインメモリを使用して順次に接続された複数の画像処
理部による実時間処理により所定の一般画像処理を行う
リアルタイムプロセッシングユニットと、少なくとも前
記リアルタイムプロセッシングユニットから出力された
画素データを画像フレーム単位で記憶する主メモリとを
備え、前記リアルタイムプロセッシングユニットは、当
該リアルタイムプロセッシングユニット外の前記主メモ
リに格納された欠陥画素アドレスをダイレクトメモリア
クセスによって読み出し、画像中の画素データの画素ア
ドレスが前記欠陥画素アドレスに一致したときに欠陥画
素補正を行う欠陥画素補正部をさらに有する。
【００２３】そして、前記主メモリ内に格納された欠陥
画素アドレスが複数存在する場合には、画素配列の順次
に従った順番で複数の欠陥画素アドレスが格納され、前
記リアルタイムプロセッシングユニットの欠陥画素補正
部は、複数のレジスタが連なって、主メモリ内に格納さ
れた欠陥画素アドレスが順次入力されるシフトレジスタ
と、前記シフトレジスタの最終段に接続されて、順次入
力される画素データのアドレスカウント値と、前記シフ
トレジスタの最終段から与えられた欠陥画素アドレスと
を比較し、一致していた場合に欠陥画素タイミング信号
を出力する比較器とを備え、前記シフトレジスタは、欠
陥画素アドレスを保持し最終段の出力が最前段の入力端
子にループして形成され、前記比較器は、順次入力され
る画素データのアドレスカウント値と、前記シフトレジ
スタの最終段から与えられた欠陥画素アドレスとを比較
し、一致していた場合にシフトタイミング及び欠陥画素
補正タイミングの信号を出力する比較器であり、前記シ
フトレジスタのシフトは前記比較器から与えられたシフ
トタイミングの信号によって実行されるものである。
画素アドレスが複数存在する場合には、画素配列の順次
に従った順番で複数の欠陥画素アドレスが格納され、前
記リアルタイムプロセッシングユニットの欠陥画素補正
部は、複数のレジスタが連なって、主メモリ内に格納さ
れた欠陥画素アドレスが順次入力されるシフトレジスタ
と、前記シフトレジスタの最終段に接続されて、順次入
力される画素データのアドレスカウント値と、前記シフ
トレジスタの最終段から与えられた欠陥画素アドレスと
を比較し、一致していた場合に欠陥画素タイミング信号
を出力する比較器とを備え、前記シフトレジスタは、欠
陥画素アドレスを保持し最終段の出力が最前段の入力端
子にループして形成され、前記比較器は、順次入力され
る画素データのアドレスカウント値と、前記シフトレジ
スタの最終段から与えられた欠陥画素アドレスとを比較
し、一致していた場合にシフトタイミング及び欠陥画素
補正タイミングの信号を出力する比較器であり、前記シ
フトレジスタのシフトは前記比較器から与えられたシフ
トタイミングの信号によって実行されるものである。
【００２４】請求項１９に記載の発明は、ディジタルス
チルカメラ内において、撮像素子で撮像した画像につい
て所定の画像処理を行う画像処理回路であって、前記撮
像素子で撮像されて順次入力される画素データについて
実時間処理により所定の一般画像処理を行うリアルタイ
ムプロセッシングユニットと、少なくとも前記リアルタ
イムプロセッシングユニットから出力された画素データ
を画像フレーム単位で記憶する主メモリと、前記主メモ
リ内に一旦記憶された画像に対して前記一般画像処理以
外の例外的画像処理をソフトウェアプログラム処理とし
て実行して前記主メモリ内に格納する中央制御部とを備
え、前記リアルタイムプロセッシングユニットは、Ｎビ
ット長の１個の画素データが与えられた場合に当該１個
の画素データについてガンマ補正処理を行うことのでき
るガンマ補正テーブルと、Ｎビット長の１個の画素デー
タが与えられた場合に、当該１個の画素データを前記ガ
ンマ補正テーブルに入力する一方、（Ｎ−２）ビット長
の画素データが与えられた場合に、前記ガンマ補正テー
ブルを４分割してなる４個のルックアップテーブルのそ
れぞれに（Ｎ−２）ビット長の画素データとして順次与
えられた４個のデータ列を入力するよう切り換えるセレ
クタとをさらに有するものである。
チルカメラ内において、撮像素子で撮像した画像につい
て所定の画像処理を行う画像処理回路であって、前記撮
像素子で撮像されて順次入力される画素データについて
実時間処理により所定の一般画像処理を行うリアルタイ
ムプロセッシングユニットと、少なくとも前記リアルタ
イムプロセッシングユニットから出力された画素データ
を画像フレーム単位で記憶する主メモリと、前記主メモ
リ内に一旦記憶された画像に対して前記一般画像処理以
外の例外的画像処理をソフトウェアプログラム処理とし
て実行して前記主メモリ内に格納する中央制御部とを備
え、前記リアルタイムプロセッシングユニットは、Ｎビ
ット長の１個の画素データが与えられた場合に当該１個
の画素データについてガンマ補正処理を行うことのでき
るガンマ補正テーブルと、Ｎビット長の１個の画素デー
タが与えられた場合に、当該１個の画素データを前記ガ
ンマ補正テーブルに入力する一方、（Ｎ−２）ビット長
の画素データが与えられた場合に、前記ガンマ補正テー
ブルを４分割してなる４個のルックアップテーブルのそ
れぞれに（Ｎ−２）ビット長の画素データとして順次与
えられた４個のデータ列を入力するよう切り換えるセレ
クタとをさらに有するものである。
【００２５】請求項２０及び請求項２１に記載の発明
は、前記リアルタイムプロセッシングユニットは、所定
の色成分配列を有する第一配列方式の画素データを、所
定の特別色成分（一般に輝度成分）を有する第二配列方
式の画素データに変換する色空間変換回路と、前記色空
間変換回路で変換された前記第二配列方式の画素データ
のうちの前記所定の特別色成分のみを入力し、当該特別
色成分の値を所定の関数で数値変換して出力する特別色
用ルックアップテーブルと、前記特別色用ルックアップ
テーブルから出力された値を、前記第二配列方式の画素
データのうちの前記所定の特別色成分以外の成分にそれ
ぞれ乗算する乗算器とを備えるものである。
は、前記リアルタイムプロセッシングユニットは、所定
の色成分配列を有する第一配列方式の画素データを、所
定の特別色成分（一般に輝度成分）を有する第二配列方
式の画素データに変換する色空間変換回路と、前記色空
間変換回路で変換された前記第二配列方式の画素データ
のうちの前記所定の特別色成分のみを入力し、当該特別
色成分の値を所定の関数で数値変換して出力する特別色
用ルックアップテーブルと、前記特別色用ルックアップ
テーブルから出力された値を、前記第二配列方式の画素
データのうちの前記所定の特別色成分以外の成分にそれ
ぞれ乗算する乗算器とを備えるものである。
【００２６】請求項２２に記載の発明は、前記リアルタ
イムプロセッシングユニットは、前記色選択ブロック内
の前記画素参照ブロックで得られる緑色成分の高域成分
信号と前記主メモリ内に格納された４色目の画素とを選
択するセレクタと、前記セレクタで選択されたデータが
特徴データとして入力されて所定の関数で数値変換して
出力する特徴データ用ルックアップテーブルと、前記特
徴データ用ルックアップテーブルから出力された値を所
定の画素配列の画素データの各成分にそれぞれ乗算する
乗算器とを備えるものである。
イムプロセッシングユニットは、前記色選択ブロック内
の前記画素参照ブロックで得られる緑色成分の高域成分
信号と前記主メモリ内に格納された４色目の画素とを選
択するセレクタと、前記セレクタで選択されたデータが
特徴データとして入力されて所定の関数で数値変換して
出力する特徴データ用ルックアップテーブルと、前記特
徴データ用ルックアップテーブルから出力された値を所
定の画素配列の画素データの各成分にそれぞれ乗算する
乗算器とを備えるものである。
【００２７】請求項２３に記載の発明は、前記リアルタ
イムプロセッシングユニットは、前記色選択ブロック内
の前記画素参照ブロック内に格納され、または前記撮像
素子から与えられた各画素のうちの４色目の画素と、前
記３色系の画素配列の場合に２×２の画素配列内の４色
目の画素として使用された前記３色系の画素中の一成分
の画素とを選択するセレクタと、前記セレクタによって
選択された画素を特徴データとして入力し、当該特徴デ
ータを所定の関数で数値変換して出力する特徴データ用
ルックアップテーブルと、前記特徴データ用ルックアッ
プテーブルから出力された値を所定の画素配列の画素デ
ータの各成分にそれぞれ乗算する乗算器とを備えるもの
である。
イムプロセッシングユニットは、前記色選択ブロック内
の前記画素参照ブロック内に格納され、または前記撮像
素子から与えられた各画素のうちの４色目の画素と、前
記３色系の画素配列の場合に２×２の画素配列内の４色
目の画素として使用された前記３色系の画素中の一成分
の画素とを選択するセレクタと、前記セレクタによって
選択された画素を特徴データとして入力し、当該特徴デ
ータを所定の関数で数値変換して出力する特徴データ用
ルックアップテーブルと、前記特徴データ用ルックアッ
プテーブルから出力された値を所定の画素配列の画素デ
ータの各成分にそれぞれ乗算する乗算器とを備えるもの
である。
【００２８】請求項２４に記載の発明は、前記リアルタ
イムプロセッシングユニットは、所定の色成分配列を有
する第一配列方式の画素データを、所定の特別色成分
（一般に輝度成分）を有する第二配列方式の画素データ
に変換する色空間変換回路と、前記色選択ブロックから
出力された４色目の画素のデータまたは前記第一配列方
式の画素データ中の一の成分のデータの前記色空間変換
回路に対する入力の可否を切り換えるセレクタとをさら
に有し、前記色空間変換回路は、当該色空間変換回路に
対して前記セレクタがデータの入力を許可したときに、
入力を許可された当該データを４色目の画素のデータと
して第二配列方式の画素データに変換する機能を有する
ものである。
イムプロセッシングユニットは、所定の色成分配列を有
する第一配列方式の画素データを、所定の特別色成分
（一般に輝度成分）を有する第二配列方式の画素データ
に変換する色空間変換回路と、前記色選択ブロックから
出力された４色目の画素のデータまたは前記第一配列方
式の画素データ中の一の成分のデータの前記色空間変換
回路に対する入力の可否を切り換えるセレクタとをさら
に有し、前記色空間変換回路は、当該色空間変換回路に
対して前記セレクタがデータの入力を許可したときに、
入力を許可された当該データを４色目の画素のデータと
して第二配列方式の画素データに変換する機能を有する
ものである。
【００２９】請求項２５及び請求項２６に記載の発明
は、前記リアルタイムプロセッシングユニットは、画像
フレーム中において少なくとも３×３の複数のブロック
にブロック分割し、各ブロックにおける前画素の特別色
成分（一般に輝度成分）の積分値を求めて撮像素子での
撮像時における露出決定の評価値を出力する露出決定評
価器をさらに有し、前記露出決定評価器は、前記各ブロ
ック同士の境界線を上下左右方向に任意に設定変更でき
るようにしたものである。
は、前記リアルタイムプロセッシングユニットは、画像
フレーム中において少なくとも３×３の複数のブロック
にブロック分割し、各ブロックにおける前画素の特別色
成分（一般に輝度成分）の積分値を求めて撮像素子での
撮像時における露出決定の評価値を出力する露出決定評
価器をさらに有し、前記露出決定評価器は、前記各ブロ
ック同士の境界線を上下左右方向に任意に設定変更でき
るようにしたものである。
【００３０】請求項２７及び請求項２８に記載の発明
は、前記リアルタイムプロセッシングユニットは、所定
の色空間におけるデータ群を処理する空間フィルタと、
前記空間フィルタ内の前記データ群のうち周波数変換後
の成分のみをゲイン調整して輪郭補正処理を行う輪郭補
正処理部とをさらに有し、前記輪郭補正処理部は、前記
空間フィルタ内の前記データ群のうち周波数変換後の成
分のみをゲイン調整したデータと、前記空間フィルタ内
の元データとを別々のデータとして出力する機能を有す
るものである。
は、前記リアルタイムプロセッシングユニットは、所定
の色空間におけるデータ群を処理する空間フィルタと、
前記空間フィルタ内の前記データ群のうち周波数変換後
の成分のみをゲイン調整して輪郭補正処理を行う輪郭補
正処理部とをさらに有し、前記輪郭補正処理部は、前記
空間フィルタ内の前記データ群のうち周波数変換後の成
分のみをゲイン調整したデータと、前記空間フィルタ内
の元データとを別々のデータとして出力する機能を有す
るものである。
【００３１】請求項２９に記載の発明は、前記リアルタ
イムプロセッシングユニットは、輪郭補正処理部での輪
郭補正処理において、前記空間フィルタから与えられた
前記高周波特別色成分の振幅が所定のしきい幅より小さ
いときにのみ、所定の非線形演算関数により当該振幅を
ゼロ値とみなして出力することで画像中のノイズ成分の
除去を行うコアリングファンクションブロックと、前記
コアリングファンクションブロックにおける前記所定の
しきい幅に対する前記高周波特別色成分の振幅の比率を
相対的に変化させる逆ガンマ効果ブロックとを有し、前
記逆ガンマ効果ブロックは、前記空間フィルタから与え
られた元データの特別色成分により前記比率を所定の比
率変換関数により決定するようにされ、前記所定の比率
変換関数は、前記元データの特別色成分が大きいほど、
前記所定のしきい幅に対する前記高周波特別色成分の振
幅の比率を逓増するように設定されたものである。
イムプロセッシングユニットは、輪郭補正処理部での輪
郭補正処理において、前記空間フィルタから与えられた
前記高周波特別色成分の振幅が所定のしきい幅より小さ
いときにのみ、所定の非線形演算関数により当該振幅を
ゼロ値とみなして出力することで画像中のノイズ成分の
除去を行うコアリングファンクションブロックと、前記
コアリングファンクションブロックにおける前記所定の
しきい幅に対する前記高周波特別色成分の振幅の比率を
相対的に変化させる逆ガンマ効果ブロックとを有し、前
記逆ガンマ効果ブロックは、前記空間フィルタから与え
られた元データの特別色成分により前記比率を所定の比
率変換関数により決定するようにされ、前記所定の比率
変換関数は、前記元データの特別色成分が大きいほど、
前記所定のしきい幅に対する前記高周波特別色成分の振
幅の比率を逓増するように設定されたものである。
【００３２】請求項３０に記載の発明は、前記リアルタ
イムプロセッシングユニット中の前記空間フィルタ内の
前記データ群は３成分のデータの集積として構成され、
前記リアルタイムプロセッシングユニットは、前記主メ
モリに対して３成分出力または４成分出力が選択可能で
あり、いずれの場合においても、少なくとも１成分の出
力に対し、前記空間フィルタ内の３成分及び周波数変換
後の特別色成分のうちの１成分を選択的に出力可能であ
るものである。
イムプロセッシングユニット中の前記空間フィルタ内の
前記データ群は３成分のデータの集積として構成され、
前記リアルタイムプロセッシングユニットは、前記主メ
モリに対して３成分出力または４成分出力が選択可能で
あり、いずれの場合においても、少なくとも１成分の出
力に対し、前記空間フィルタ内の３成分及び周波数変換
後の特別色成分のうちの１成分を選択的に出力可能であ
るものである。
【００３３】請求項３１及び請求項３２に記載の発明
は、前記主メモリは、前記撮像素子として、偶数ライン
と奇数ラインが２つのフィールドとして時間的に異なっ
たタイミングで読み出されるインターレースタイプのも
のを使用する場合に、前記偶数ラインと前記奇数ライン
の一方に係る第一フィールドの画素データが格納され、
前記リアルタイムプロセッシングユニットは、前記偶数
ラインと前記奇数ラインのうちの他方に係る第二フィー
ルドの画素データが前記撮像素子から順次入力される際
に、当該画素データに対応する前記主メモリ内の前記第
一フィールド内の画素データを、前記第二フィールドの
画素データの入力に同期して読み出し参照し、画素補間
処理、色空間変換処理及び輪郭補正処理を含む所定の画
像処理を実行するものである。
は、前記主メモリは、前記撮像素子として、偶数ライン
と奇数ラインが２つのフィールドとして時間的に異なっ
たタイミングで読み出されるインターレースタイプのも
のを使用する場合に、前記偶数ラインと前記奇数ライン
の一方に係る第一フィールドの画素データが格納され、
前記リアルタイムプロセッシングユニットは、前記偶数
ラインと前記奇数ラインのうちの他方に係る第二フィー
ルドの画素データが前記撮像素子から順次入力される際
に、当該画素データに対応する前記主メモリ内の前記第
一フィールド内の画素データを、前記第二フィールドの
画素データの入力に同期して読み出し参照し、画素補間
処理、色空間変換処理及び輪郭補正処理を含む所定の画
像処理を実行するものである。
【００３４】請求項３３及び請求項３４に記載の発明
は、前記リアルタイムプロセッシングユニットは、１ラ
イン中において所定個数の画素データを格納する前記ラ
インメモリを有し、前記主メモリは、前記撮像素子から
与えられるフレーム単位の画像を格納するようにされ、
前記リアルタイムプロセッシングユニットは、前記撮像
素子の１ラインの撮像画素数が前記ラインメモリ中の画
素データの個数より多い場合に、前記主メモリに格納さ
れたフレーム単位の前記画像を水平方向に複数ブロック
に分割して認識し、前記リアルタイムプロセッシングユ
ニット内の前記ラインメモリには、前記主メモリ内で前
記複数ブロックに分割された前記画像に係る画素データ
が順次入力されるものである。
は、前記リアルタイムプロセッシングユニットは、１ラ
イン中において所定個数の画素データを格納する前記ラ
インメモリを有し、前記主メモリは、前記撮像素子から
与えられるフレーム単位の画像を格納するようにされ、
前記リアルタイムプロセッシングユニットは、前記撮像
素子の１ラインの撮像画素数が前記ラインメモリ中の画
素データの個数より多い場合に、前記主メモリに格納さ
れたフレーム単位の前記画像を水平方向に複数ブロック
に分割して認識し、前記リアルタイムプロセッシングユ
ニット内の前記ラインメモリには、前記主メモリ内で前
記複数ブロックに分割された前記画像に係る画素データ
が順次入力されるものである。
【００３５】
【発明の実施の形態】図１はこの発明の一の実施の形態
に係るディジタルスチルカメラを示す図である。このデ
ィジタルスチルカメラは、図１の如く、ＣＣＤ（撮像素
子）２１で撮像した画像をアナログ信号処理回路２２で
取り込んでＡ／Ｄ変換し、このディジタル化された画像
についての画素補間、色変換、輪郭補正処理、フィルタ
リング及び間引き処理等の所定の一般画像処理をリアル
タイムプロセッシングユニット（ＲＰＵ）２３でリアル
タイム処理（実時間処理）にて高速に実行すると共に、
ＪＰＥＧ圧縮処理等を含む例外的画像処理をＣＰＵ（中
央制御部）２４で実行した後、外部インターフェース
（Ｉ／Ｆ）２６を通じて所定の処理装置（パーソナルコ
ンピュータ）等に出力し、併せて、当該画像をファイン
ダーとしてのＬＣＤ２７に表示し、またＤＲＡＭまたは
ＳＤＲＡＭ等の一般的な主メモリ２９等に格納するよう
になっている。この際、ファインダー（ＬＣＤ２７）へ
の画像供給に関しては若干の解像度を落とすなどの所定
の処理をリアルタイムプロセッシングユニット２３で行
った後、次々と画像を出力することで、ファインダー２
７での画像表示を行うが、撮像釦等が操作者によって押
操作されたときには、主メモリ２９内の詳細な画像をメ
モリカード３０等の記録装置（Storage Media）に一気
に格納するようになっている。
に係るディジタルスチルカメラを示す図である。このデ
ィジタルスチルカメラは、図１の如く、ＣＣＤ（撮像素
子）２１で撮像した画像をアナログ信号処理回路２２で
取り込んでＡ／Ｄ変換し、このディジタル化された画像
についての画素補間、色変換、輪郭補正処理、フィルタ
リング及び間引き処理等の所定の一般画像処理をリアル
タイムプロセッシングユニット（ＲＰＵ）２３でリアル
タイム処理（実時間処理）にて高速に実行すると共に、
ＪＰＥＧ圧縮処理等を含む例外的画像処理をＣＰＵ（中
央制御部）２４で実行した後、外部インターフェース
（Ｉ／Ｆ）２６を通じて所定の処理装置（パーソナルコ
ンピュータ）等に出力し、併せて、当該画像をファイン
ダーとしてのＬＣＤ２７に表示し、またＤＲＡＭまたは
ＳＤＲＡＭ等の一般的な主メモリ２９等に格納するよう
になっている。この際、ファインダー（ＬＣＤ２７）へ
の画像供給に関しては若干の解像度を落とすなどの所定
の処理をリアルタイムプロセッシングユニット２３で行
った後、次々と画像を出力することで、ファインダー２
７での画像表示を行うが、撮像釦等が操作者によって押
操作されたときには、主メモリ２９内の詳細な画像をメ
モリカード３０等の記録装置（Storage Media）に一気
に格納するようになっている。
【００３６】そして、アナログ信号処理回路２２を通じ
て与えられた画像については、リアルタイム処理を行う
場合は途中の画素配列データを主メモリ２９に蓄えずに
ＲＰＵ２３で直接的に処理を行う一方（図３４参照）、
リアルタイム処理を行わない場合には、例えば図２の如
く、ＣＰＵ２４で処理されて一旦主メモリ２９のＣＣＤ
データバッファ（CCD Data Buffer）２９ａに蓄えた画
素配列データを再度ダイレクトメモリアクセス（ＤＭ
Ａ）でリアルタイムプロセッシングユニット２３に入力
してやることで、高速に処理を行うようになっている。
て与えられた画像については、リアルタイム処理を行う
場合は途中の画素配列データを主メモリ２９に蓄えずに
ＲＰＵ２３で直接的に処理を行う一方（図３４参照）、
リアルタイム処理を行わない場合には、例えば図２の如
く、ＣＰＵ２４で処理されて一旦主メモリ２９のＣＣＤ
データバッファ（CCD Data Buffer）２９ａに蓄えた画
素配列データを再度ダイレクトメモリアクセス（ＤＭ
Ａ）でリアルタイムプロセッシングユニット２３に入力
してやることで、高速に処理を行うようになっている。
【００３７】即ち、この実施の形態のディジタルスチル
カメラでは、一旦主メモリ２９内に格納した画像の画素
補間、色変換及び輪郭補正処理等の各種処理を、いつで
も再びリアルタイムプロセッシングユニット２３で再実
行することが可能となっている。これにより、例えば画
像中の所望の部分のみについて、リアルタイムプロセッ
シングユニット２３で予定していない特殊な処理を、Ｃ
ＰＵ２４でソフトウェア処理・修正した後、その他の定
型処理等をリアルタイムプロセッシングユニット２３で
高速に処理することができ、すべてをソフトウェアで行
うときに比較して数倍から数十倍のスピードアップが可
能となり、また、このときＣＰＵ２４は処理を行う必要
がないので消費電力を削減することができるものであ
る。
カメラでは、一旦主メモリ２９内に格納した画像の画素
補間、色変換及び輪郭補正処理等の各種処理を、いつで
も再びリアルタイムプロセッシングユニット２３で再実
行することが可能となっている。これにより、例えば画
像中の所望の部分のみについて、リアルタイムプロセッ
シングユニット２３で予定していない特殊な処理を、Ｃ
ＰＵ２４でソフトウェア処理・修正した後、その他の定
型処理等をリアルタイムプロセッシングユニット２３で
高速に処理することができ、すべてをソフトウェアで行
うときに比較して数倍から数十倍のスピードアップが可
能となり、また、このときＣＰＵ２４は処理を行う必要
がないので消費電力を削減することができるものであ
る。
【００３８】ここで、リアルタイムプロセッシングユニ
ット２３、ＣＰＵ２４、外部インターフェース２６等
は、主メモリ２９、メモリカード３０及びＪＰＥＧ処理
部３１とともにメインバス２８にバス接続されており、
これらのデータ相互の受け渡しに際してＣＰＵ２４の負
荷を低減すべく、このＣＰＵ２４を介さずにダイレクト
メモリアクセス（ＤＭＡ）コントローラ３２の制御に基
づいて各要素間のメインバス２８を通じたデータの授受
を行っている。
ット２３、ＣＰＵ２４、外部インターフェース２６等
は、主メモリ２９、メモリカード３０及びＪＰＥＧ処理
部３１とともにメインバス２８にバス接続されており、
これらのデータ相互の受け渡しに際してＣＰＵ２４の負
荷を低減すべく、このＣＰＵ２４を介さずにダイレクト
メモリアクセス（ＤＭＡ）コントローラ３２の制御に基
づいて各要素間のメインバス２８を通じたデータの授受
を行っている。
【００３９】尚、図１中の符号２７ａはＬＣＤ２７を駆
動するＬＣＤ駆動回路、符号２７ｂはディジタルエンコ
ーダ、符号２７ｃはディスプレイモジュール、符号３０
ａはオートフォーカス機能付きのレンズや絞り機構等を
有する光学機構、符号３０ｂはストロボ、符号３０ｃは
ＣＣＤ２１を駆動するＣＣＤ駆動回路、符号３０ｄはリ
アルタイムプロセッシングユニット２３及びＣＣＤ駆動
回路３０ｃ等の動作タイミングを規律するためのタイミ
ングジェネレータ（ＴＧ）、符号３０ｅはＰＬＬ発信回
路、符号３０ｆはＣＰＵ２４の補助演算装置であるコプ
ロセッサをそれぞれ示している。
動するＬＣＤ駆動回路、符号２７ｂはディジタルエンコ
ーダ、符号２７ｃはディスプレイモジュール、符号３０
ａはオートフォーカス機能付きのレンズや絞り機構等を
有する光学機構、符号３０ｂはストロボ、符号３０ｃは
ＣＣＤ２１を駆動するＣＣＤ駆動回路、符号３０ｄはリ
アルタイムプロセッシングユニット２３及びＣＣＤ駆動
回路３０ｃ等の動作タイミングを規律するためのタイミ
ングジェネレータ（ＴＧ）、符号３０ｅはＰＬＬ発信回
路、符号３０ｆはＣＰＵ２４の補助演算装置であるコプ
ロセッサをそれぞれ示している。
【００４０】＜ＣＣＤ２１の構成＞ＣＣＤ２１は、電荷
蓄積部及び電荷転送部を内部に備える一般的なもので、
例えば、偶数ラインと奇数ラインが２つのフィールドと
して時間的に全く異なるタイミングでアナログ信号処理
回路２２に読み出されるインターレース（飛び越し走
査）タイプのものと、各ライン順に順次読み出しが行わ
れるプログレッシブ（順次走査）タイプのもののいずれ
かが選択的に使用される。勿論、電荷転送部を持たない
ＣＭＯＳセンサタイプのものも適用して差し支えない。
蓄積部及び電荷転送部を内部に備える一般的なもので、
例えば、偶数ラインと奇数ラインが２つのフィールドと
して時間的に全く異なるタイミングでアナログ信号処理
回路２２に読み出されるインターレース（飛び越し走
査）タイプのものと、各ライン順に順次読み出しが行わ
れるプログレッシブ（順次走査）タイプのもののいずれ
かが選択的に使用される。勿論、電荷転送部を持たない
ＣＭＯＳセンサタイプのものも適用して差し支えない。
【００４１】＜リアルタイムプロセッシングユニット２
３の構成及び動作＞ リアルタイムプロセッシングユニット２３は、図３の如
く、アナログ信号処理回路２２を通じて得られた各画素
を各ピクセル単位で処理する単一画素処理部（Single P
ixel Proccessing Block）４１と、所定の画素補間を行
いながらガンマ処理を行う画素補間・ガンマ処理部（In
terpolation & Gamma Block）４２と、色空間変換・色
抑圧処理部（Color Space Conversion & False Color S
uppression Block）４３と、空間フィルタ・コアリング
処理部（Spatial Filter & Coring Block）４４と、こ
れらの画像処理が行われた画像データをメインバス２８
に出力する出力部（Resizing Block）４５とを備えてい
る。
３の構成及び動作＞ リアルタイムプロセッシングユニット２３は、図３の如
く、アナログ信号処理回路２２を通じて得られた各画素
を各ピクセル単位で処理する単一画素処理部（Single P
ixel Proccessing Block）４１と、所定の画素補間を行
いながらガンマ処理を行う画素補間・ガンマ処理部（In
terpolation & Gamma Block）４２と、色空間変換・色
抑圧処理部（Color Space Conversion & False Color S
uppression Block）４３と、空間フィルタ・コアリング
処理部（Spatial Filter & Coring Block）４４と、こ
れらの画像処理が行われた画像データをメインバス２８
に出力する出力部（Resizing Block）４５とを備えてい
る。
【００４２】そして、特に、単一画素処理部４１及び画
素補間・ガンマ処理部４２については、一旦主メモリ２
９内に格納した画像を、ダイレクトメモリアクセス（Ｄ
ＭＡ）コントローラ３２での制御によりいつでも取り込
めるようになっている。このように、リアルタイムプロ
セッシングユニット２３の初段の単一画素処理部４１だ
けでなく、中途段の画素補間・ガンマ処理部４２にも入
力できるようになっているので、ＣＰＵ２４で画像の例
外的画像処理を行った後、単一画素処理部４１を通過さ
せずに、リアルタイムプロセッシングユニット２３の中
途（画素補間・ガンマ処理部４２）からの処理を実行で
きる。即ち、例外的画像処理を行う部分のみをソフトウ
ェアで行い、その他のすべての処理を高速なリアルタイ
ムプロセッシングユニット２３で処理することにより、
処理スピードの低下を最小限に抑えることができる。
素補間・ガンマ処理部４２については、一旦主メモリ２
９内に格納した画像を、ダイレクトメモリアクセス（Ｄ
ＭＡ）コントローラ３２での制御によりいつでも取り込
めるようになっている。このように、リアルタイムプロ
セッシングユニット２３の初段の単一画素処理部４１だ
けでなく、中途段の画素補間・ガンマ処理部４２にも入
力できるようになっているので、ＣＰＵ２４で画像の例
外的画像処理を行った後、単一画素処理部４１を通過さ
せずに、リアルタイムプロセッシングユニット２３の中
途（画素補間・ガンマ処理部４２）からの処理を実行で
きる。即ち、例外的画像処理を行う部分のみをソフトウ
ェアで行い、その他のすべての処理を高速なリアルタイ
ムプロセッシングユニット２３で処理することにより、
処理スピードの低下を最小限に抑えることができる。
【００４３】また、実際のディジタルスチルカメラにお
いては、ＣＣＤ２１によって取り込んだ画素データに対
して、例えば「Ｇ（グリーン）」成分だけをガンマ補正
するなどの特殊な例外的画像処理を行うことがある。こ
の場合、かかる特殊な処理は、予めリアルタイムプロセ
ッシングユニット２３にハードウェアとして用意された
機能を使用できないことが多く、よって、一旦、主メモ
リ２９内に格納した画像に対して種々の一般画像処理を
リアルタイムプロセッシングユニット２３で行う（ポス
ト処理：Post Processing）ことが行われる。そして、
この実施の形態のディジタルスチルカメラでは、かかる
ポスト処理時において、リアルタイムプロセッシングユ
ニット２３の処理クロックをリアルタイム処理時より高
い周波数に設定し、可久的にポスト処理を高速に行うよ
うにしている。尚、一般に、従来のＣＣＤ２１の画素の
読み出しクロックとリアルタイムプロセッシングユニッ
ト２３でのリアルタイム処理の処理クロックは常に同期
するようになっている。このため、ＣＣＤ２１の画像デ
ータについてＣＰＵ２４で例外的処理し、一度主メモリ
２９に格納した後に、再びリアルタイムプロセッシング
ユニット２３でポスト処理することとすると、処理時間
が全体としてかなり長くかかってしまうことが予想され
る。そこで、この実施の形態では、リアルタイムプロセ
ッシングユニット２３の処理クロックをＣＣＤ２１の画
素の読み出しクロックから非同期に独立して単独で設定
できるようにし、ポスト処理時のリアルタイムプロセッ
シングユニット２３の処理スピードをＣＣＤ２１からの
データ転送速度に比べて大幅に向上させている。これに
より、ＣＣＤ２１とリアルタイムプロセッシングユニッ
ト２３の処理クロックを同期させる場合に比べて、ポス
ト処理のスピードを２〜４倍上げることができるもので
ある。
いては、ＣＣＤ２１によって取り込んだ画素データに対
して、例えば「Ｇ（グリーン）」成分だけをガンマ補正
するなどの特殊な例外的画像処理を行うことがある。こ
の場合、かかる特殊な処理は、予めリアルタイムプロセ
ッシングユニット２３にハードウェアとして用意された
機能を使用できないことが多く、よって、一旦、主メモ
リ２９内に格納した画像に対して種々の一般画像処理を
リアルタイムプロセッシングユニット２３で行う（ポス
ト処理：Post Processing）ことが行われる。そして、
この実施の形態のディジタルスチルカメラでは、かかる
ポスト処理時において、リアルタイムプロセッシングユ
ニット２３の処理クロックをリアルタイム処理時より高
い周波数に設定し、可久的にポスト処理を高速に行うよ
うにしている。尚、一般に、従来のＣＣＤ２１の画素の
読み出しクロックとリアルタイムプロセッシングユニッ
ト２３でのリアルタイム処理の処理クロックは常に同期
するようになっている。このため、ＣＣＤ２１の画像デ
ータについてＣＰＵ２４で例外的処理し、一度主メモリ
２９に格納した後に、再びリアルタイムプロセッシング
ユニット２３でポスト処理することとすると、処理時間
が全体としてかなり長くかかってしまうことが予想され
る。そこで、この実施の形態では、リアルタイムプロセ
ッシングユニット２３の処理クロックをＣＣＤ２１の画
素の読み出しクロックから非同期に独立して単独で設定
できるようにし、ポスト処理時のリアルタイムプロセッ
シングユニット２３の処理スピードをＣＣＤ２１からの
データ転送速度に比べて大幅に向上させている。これに
より、ＣＣＤ２１とリアルタイムプロセッシングユニッ
ト２３の処理クロックを同期させる場合に比べて、ポス
ト処理のスピードを２〜４倍上げることができるもので
ある。
【００４４】このように、リアルタイムプロセッシング
ユニット２３の処理クロックをＣＣＤ２１からのデータ
転送速度に比べて非同期に高速化しているので、リアル
タイムプロセッシングユニット２３の１パスが非常に短
時間に終了することになる。このことを考慮すると、ポ
スト処理において、リアルタイムプロセッシングユニッ
ト２３に対してデータを複数回通しても、全体としての
処理スピードはＣＣＤ２１の読み出し速度に対してそれ
ほど遅延することがない。したがって、全体的な処理速
度を低下させずに、リアルタイムプロセッシングユニッ
ト２３にデータを複数回通すことにより、特定の機能を
データに重複して作用させ、個々の機能を拡張させるこ
とができ、例えば、後述の空間フィルタ９１の範囲を等
価的に増加させる等の機能の拡張を行うことが容易に可
能となる。
ユニット２３の処理クロックをＣＣＤ２１からのデータ
転送速度に比べて非同期に高速化しているので、リアル
タイムプロセッシングユニット２３の１パスが非常に短
時間に終了することになる。このことを考慮すると、ポ
スト処理において、リアルタイムプロセッシングユニッ
ト２３に対してデータを複数回通しても、全体としての
処理スピードはＣＣＤ２１の読み出し速度に対してそれ
ほど遅延することがない。したがって、全体的な処理速
度を低下させずに、リアルタイムプロセッシングユニッ
ト２３にデータを複数回通すことにより、特定の機能を
データに重複して作用させ、個々の機能を拡張させるこ
とができ、例えば、後述の空間フィルタ９１の範囲を等
価的に増加させる等の機能の拡張を行うことが容易に可
能となる。
【００４５】尚、リアルタイムプロセッシングユニット
２３の処理クロックをＣＣＤ２１の画素の読み出しクロ
ックから非同期にできるため、上記とは逆に、リアルタ
イムプロセッシングユニット２３の処理スピードをＣＣ
Ｄ２１からの転送速度に比べて低減させることも可能で
ある。この場合は、リアルタイムプロセッシングユニッ
ト２３における消費電力を低減できるものとなる。
２３の処理クロックをＣＣＤ２１の画素の読み出しクロ
ックから非同期にできるため、上記とは逆に、リアルタ
イムプロセッシングユニット２３の処理スピードをＣＣ
Ｄ２１からの転送速度に比べて低減させることも可能で
ある。この場合は、リアルタイムプロセッシングユニッ
ト２３における消費電力を低減できるものとなる。
【００４６】このような非同期の場合の処理クロックの
変更は、図１に示したタイミングジェネレータ（ＴＧ）
３０ｄにより行うものであり、望ましくは、かかるタイ
ミングジェネレータ（ＴＧ）３０ｄによるリアルタイム
プロセッシングユニット２３の処理クロックの設定に関
して、予め数種類のクロック周波数の設定を用意してお
き、ドライバソフトウェアプログラムやジャンパピンの
接続切り換え、あるいはディップスイッチの切り換え等
によりクロック周波数の設定を容易に切り替えられるよ
うにしておく。これにより、ポスト処理に関して消費電
力特性及び処理速度特性を自由に且つ容易に設計できる
ようになる。
変更は、図１に示したタイミングジェネレータ（ＴＧ）
３０ｄにより行うものであり、望ましくは、かかるタイ
ミングジェネレータ（ＴＧ）３０ｄによるリアルタイム
プロセッシングユニット２３の処理クロックの設定に関
して、予め数種類のクロック周波数の設定を用意してお
き、ドライバソフトウェアプログラムやジャンパピンの
接続切り換え、あるいはディップスイッチの切り換え等
によりクロック周波数の設定を容易に切り替えられるよ
うにしておく。これにより、ポスト処理に関して消費電
力特性及び処理速度特性を自由に且つ容易に設計できる
ようになる。
【００４７】＜単一画素処理部４１の構成及び動作＞単
一画素処理部４１は、アナログ信号処理回路２２から与
えられた各画素毎に乗算、加算またはその両方の演算を
行うことにより、複数フレームの画像の間での「経時的
平均化処理」及び１フレーム内での「シェーディング補
正処理」のいずれかを選択的に行うものであって、具体
的には、図４の如く、メインバス２８にそれぞれ接続さ
れてデータ入出力のタイミングを調整するための３個の
ＦＩＦＯ（バッファ）５１ａ〜５１ｃと、このうちの第
一ＦＩＦＯ５１ａを通じてメインバス２８からの画素デ
ータが入力される１個のシフタ（Shifter）５２と、ア
ナログ信号処理回路２２からの１２ビット長の入力デー
タ（Input Data）と上記のシフタ５２からの１２ビット
長のデータとを選択する第一セレクタ（Selector）５３
と、第二ＦＩＦＯ５１ｂを通じて得られるメインバス２
８からの画素データに対して所定の第一係数（Ratio
A）を乗算する第一乗算器５４と、第二ＦＩＦＯ５１ｂ
を通じて得られるメインバス２８からの画素データと所
定の第二係数（Ratio B）とを選択する第二セレクタ５
５と、この第二セレクタ５５からの出力値と第一セレク
タ５３からの出力値とを乗算する第二乗算器５６と、第
一乗算器５４からの出力値と第二乗算器５６からの出力
値とを加算する加算器５７と、加算器５７からの出力値
を受けて第三ＦＩＦＯ５１ｃを通じてメインバス２８に
信号出力を行うために、加算後のデータを一定値に適合
させるリミッタ（Limmitter & Shifter）５８とを備え
ている。
一画素処理部４１は、アナログ信号処理回路２２から与
えられた各画素毎に乗算、加算またはその両方の演算を
行うことにより、複数フレームの画像の間での「経時的
平均化処理」及び１フレーム内での「シェーディング補
正処理」のいずれかを選択的に行うものであって、具体
的には、図４の如く、メインバス２８にそれぞれ接続さ
れてデータ入出力のタイミングを調整するための３個の
ＦＩＦＯ（バッファ）５１ａ〜５１ｃと、このうちの第
一ＦＩＦＯ５１ａを通じてメインバス２８からの画素デ
ータが入力される１個のシフタ（Shifter）５２と、ア
ナログ信号処理回路２２からの１２ビット長の入力デー
タ（Input Data）と上記のシフタ５２からの１２ビット
長のデータとを選択する第一セレクタ（Selector）５３
と、第二ＦＩＦＯ５１ｂを通じて得られるメインバス２
８からの画素データに対して所定の第一係数（Ratio
A）を乗算する第一乗算器５４と、第二ＦＩＦＯ５１ｂ
を通じて得られるメインバス２８からの画素データと所
定の第二係数（Ratio B）とを選択する第二セレクタ５
５と、この第二セレクタ５５からの出力値と第一セレク
タ５３からの出力値とを乗算する第二乗算器５６と、第
一乗算器５４からの出力値と第二乗算器５６からの出力
値とを加算する加算器５７と、加算器５７からの出力値
を受けて第三ＦＩＦＯ５１ｃを通じてメインバス２８に
信号出力を行うために、加算後のデータを一定値に適合
させるリミッタ（Limmitter & Shifter）５８とを備え
ている。
【００４８】ここで、従来では、単一画素処理部４１に
おいて複数フレームの画像の加算処理を行うことが行わ
れていなかったが、この単一画素処理部４１の「経時的
平均化処理」では、ＣＣＤ２１の蓄積時間が複数フレー
ムに渡る場合、各フレーム毎にＣＣＤ２１からデータを
読み出し、主メモリ２９上の対応する画素のデータと加
算することによって、複数フレームのＣＣＤ２１上での
蓄積と等価な信号を作成するようになっている。この場
合、「累積加算」と「循環加算」のいずれか一方の加算
方式を選択できるようになっている。
おいて複数フレームの画像の加算処理を行うことが行わ
れていなかったが、この単一画素処理部４１の「経時的
平均化処理」では、ＣＣＤ２１の蓄積時間が複数フレー
ムに渡る場合、各フレーム毎にＣＣＤ２１からデータを
読み出し、主メモリ２９上の対応する画素のデータと加
算することによって、複数フレームのＣＣＤ２１上での
蓄積と等価な信号を作成するようになっている。この場
合、「累積加算」と「循環加算」のいずれか一方の加算
方式を選択できるようになっている。
【００４９】ここで、まず「累積加算」について説明す
る。
る。
【００５０】従来では、対象物が暗く、ＣＣＤ２１の蓄
積時間が複数フレーム（フィールド）に渡る場合は、Ｃ
ＣＤ２１の電荷蓄積部から電荷転送部への読み出しをそ
の期間停止して電荷レベルを増大させ、十分な信号レベ
ルにした後、読み出しパルスを印加し撮影を行なってい
た。しかし、この場合、ＣＣＤ２１内の電荷蓄積部にお
けるノイズ電荷の湧き出しにより、映像Ｓ／Ｎ特性が低
下する。これを避けるため、電荷の読み出しは通常周期
で行ない、読み出された信号をアナログの電気回路や、
ディジタル回路でゲインを上げて処理することが従来に
おいて行われることがあったが、この場合も、読み出し
以降のランダムノイズが所定のアンプによって増大され
るため、やはりＳ／Ｎ特性は低下する。
積時間が複数フレーム（フィールド）に渡る場合は、Ｃ
ＣＤ２１の電荷蓄積部から電荷転送部への読み出しをそ
の期間停止して電荷レベルを増大させ、十分な信号レベ
ルにした後、読み出しパルスを印加し撮影を行なってい
た。しかし、この場合、ＣＣＤ２１内の電荷蓄積部にお
けるノイズ電荷の湧き出しにより、映像Ｓ／Ｎ特性が低
下する。これを避けるため、電荷の読み出しは通常周期
で行ない、読み出された信号をアナログの電気回路や、
ディジタル回路でゲインを上げて処理することが従来に
おいて行われることがあったが、この場合も、読み出し
以降のランダムノイズが所定のアンプによって増大され
るため、やはりＳ／Ｎ特性は低下する。
【００５１】これに対し、この実施の形態に係るディジ
タルスチルカメラでは、上記の場合に、通常読み出しの
周期を維持してアナログゲインを増大させ、一度主メモ
リ２９に格納したデータと、新たに読み出したフレーム
（フィールド）のデータを加算器５７で加算して、再度
主メモリ２９に格納することを繰り返すことにより、複
数フレーム期間に渡る累積加算を行なう。そして、最終
的に得られた累積加算データを加算回数で除算すること
により、電荷蓄積部のノイズを増大させることなく、Ｓ
／Ｎの良い、十分な信号レベルのデータを得ることがで
きる。通常、ＣＣＤ２１内の電荷蓄積部及び電荷転送部
やアナログ信号処理回路２２のノイズはランダムノイズ
が支配的であるため、累積加算する回数をＮ回とする
と、ノイズのレベルはＮの１／２乗に比例して小さくな
る。このことにより、ランダムノイズを大幅に削減でき
るようになっている。
タルスチルカメラでは、上記の場合に、通常読み出しの
周期を維持してアナログゲインを増大させ、一度主メモ
リ２９に格納したデータと、新たに読み出したフレーム
（フィールド）のデータを加算器５７で加算して、再度
主メモリ２９に格納することを繰り返すことにより、複
数フレーム期間に渡る累積加算を行なう。そして、最終
的に得られた累積加算データを加算回数で除算すること
により、電荷蓄積部のノイズを増大させることなく、Ｓ
／Ｎの良い、十分な信号レベルのデータを得ることがで
きる。通常、ＣＣＤ２１内の電荷蓄積部及び電荷転送部
やアナログ信号処理回路２２のノイズはランダムノイズ
が支配的であるため、累積加算する回数をＮ回とする
と、ノイズのレベルはＮの１／２乗に比例して小さくな
る。このことにより、ランダムノイズを大幅に削減でき
るようになっている。
【００５２】この場合、第一セレクタ５３はアナログ信
号処理回路２２からの入力データを選択し、第二セレク
タ５５は「１．０」という値で与えられた第二係数（Ra
tioB）を選択し、また第一係数（Ratio A）は「１．
０」で与えられることで、加算器５７においては、アナ
ログ信号処理回路２２からの入力データを、メインバス
２８及び第二ＦＩＦＯ５１ｂを通じて主メモリ２９から
与えられる過去の累積データにさらに累積加算すること
ができるようになる。
号処理回路２２からの入力データを選択し、第二セレク
タ５５は「１．０」という値で与えられた第二係数（Ra
tioB）を選択し、また第一係数（Ratio A）は「１．
０」で与えられることで、加算器５７においては、アナ
ログ信号処理回路２２からの入力データを、メインバス
２８及び第二ＦＩＦＯ５１ｂを通じて主メモリ２９から
与えられる過去の累積データにさらに累積加算すること
ができるようになる。
【００５３】このように、累積加算としての各係数（Ra
tio A，Ratio B）の設定及び各セレクタ５３，５５の選
択を行った場合の単一画素処理部４１の処理構造を示し
たものが図５である。図５のように、ＣＣＤ２１からア
ナログ信号処理回路２２を通じて与えられた入力データ
（Input Data）を、加算器５７によって、主メモリ２９
内のＣＣＤデータバッファ（CCD Data Buffer）２９ａ
に蓄えられたデータに累積的に加算し、再びＣＣＤデー
タバッファ２９ａに更新記憶するようになっている。か
かる累積加算をＮ回繰り返した後、リアルタイムプロセ
ッシングユニット（ＲＰＵ）２３内の他のブロック４２
〜４５に与え、主メモリ２９内の処理データバッファ
（Processed Data Buffer）２９ｂにフレーム単位で格
納した後、必要に応じてＣＰＵ２４により所定のソフト
ウェア処理を行い、これを主メモリ２９内の一時記憶デ
ータバッファ（Temporaly Data Buffer）２９ｃに格納
すると共に、メインバス２８を通じて外部Ｉ／Ｆ２６等
に出力するようになっている。
tio A，Ratio B）の設定及び各セレクタ５３，５５の選
択を行った場合の単一画素処理部４１の処理構造を示し
たものが図５である。図５のように、ＣＣＤ２１からア
ナログ信号処理回路２２を通じて与えられた入力データ
（Input Data）を、加算器５７によって、主メモリ２９
内のＣＣＤデータバッファ（CCD Data Buffer）２９ａ
に蓄えられたデータに累積的に加算し、再びＣＣＤデー
タバッファ２９ａに更新記憶するようになっている。か
かる累積加算をＮ回繰り返した後、リアルタイムプロセ
ッシングユニット（ＲＰＵ）２３内の他のブロック４２
〜４５に与え、主メモリ２９内の処理データバッファ
（Processed Data Buffer）２９ｂにフレーム単位で格
納した後、必要に応じてＣＰＵ２４により所定のソフト
ウェア処理を行い、これを主メモリ２９内の一時記憶デ
ータバッファ（Temporaly Data Buffer）２９ｃに格納
すると共に、メインバス２８を通じて外部Ｉ／Ｆ２６等
に出力するようになっている。
【００５４】ここで、メインバス２８を通じて主メモリ
２９から得られる累積データと、アナログ信号処理回路
２２から得られる入力データとは、画素配列データ中で
の同じ位置の各画素データについて個別に累積演算さ
れ、その後に同じ位置の画素データとして主メモリ２９
に順次格納される。
２９から得られる累積データと、アナログ信号処理回路
２２から得られる入力データとは、画素配列データ中で
の同じ位置の各画素データについて個別に累積演算さ
れ、その後に同じ位置の画素データとして主メモリ２９
に順次格納される。
【００５５】かかる構成を採用することにより、複数フ
レーム分の画像をメモリに格納して累積加算する場合に
比べて、主メモリ２９の容量が１フレーム分で足りるこ
とになるため、メモリ容量が少なくて済み、低コスト化
を図ると共に省電力化を図り得るという利点がある。ま
た、ＣＣＤ２１での画像の読み出しに同期してリアルタ
イムプロセッシングユニット２３で累積加算処理を行う
ことができるので、例えば、複数フレーム分の画像をメ
モリに格納した後に何らかのソフトウェアプログラムに
従ってＣＰＵの動作により累積加算する場合に比べ、加
算処理の速度を大幅に向上できる。
レーム分の画像をメモリに格納して累積加算する場合に
比べて、主メモリ２９の容量が１フレーム分で足りるこ
とになるため、メモリ容量が少なくて済み、低コスト化
を図ると共に省電力化を図り得るという利点がある。ま
た、ＣＣＤ２１での画像の読み出しに同期してリアルタ
イムプロセッシングユニット２３で累積加算処理を行う
ことができるので、例えば、複数フレーム分の画像をメ
モリに格納した後に何らかのソフトウェアプログラムに
従ってＣＰＵの動作により累積加算する場合に比べ、加
算処理の速度を大幅に向上できる。
【００５６】尚、この「累積加算」の場合は、画像デー
タを累積加算する際の加算回数が増大するに従ってビッ
ト長が伸びることになる。例えば、８ビットの画像デー
タを２５６回加算するのであれば１６ビットのデータ長
を確保しなければならない。このことは、逆に言えば、
１６ビットのデータ長を確保している場合は８ビットの
画像データであれば加算限度として２５６回しか加算で
きず、これを超過すると信号の一部がオーバーフローす
る可能性があることになる。また、例えば、入力データ
として１２ビットまで対応できるようにリアルタイムプ
ロセッシングユニット２３を設計する場合は、１６ビッ
トのデータ長を確保している場合は、１２ビットの入力
データに対して最大１６（＝２16-12）回までしか累積
加算できないことになる。このように加算処理回数が少
ない場合、被写体の明るさや、ノイズの量によっては、
十分な平均化処理ができない可能性がある。したがっ
て、使用環境等の要因によりＳ／Ｎ比の向上が強く求め
られる場合には、加算回数に制限をなくすことが望まし
い場合があり、このような場合を考慮した方式が「循環
加算」である。
タを累積加算する際の加算回数が増大するに従ってビッ
ト長が伸びることになる。例えば、８ビットの画像デー
タを２５６回加算するのであれば１６ビットのデータ長
を確保しなければならない。このことは、逆に言えば、
１６ビットのデータ長を確保している場合は８ビットの
画像データであれば加算限度として２５６回しか加算で
きず、これを超過すると信号の一部がオーバーフローす
る可能性があることになる。また、例えば、入力データ
として１２ビットまで対応できるようにリアルタイムプ
ロセッシングユニット２３を設計する場合は、１６ビッ
トのデータ長を確保している場合は、１２ビットの入力
データに対して最大１６（＝２16-12）回までしか累積
加算できないことになる。このように加算処理回数が少
ない場合、被写体の明るさや、ノイズの量によっては、
十分な平均化処理ができない可能性がある。したがっ
て、使用環境等の要因によりＳ／Ｎ比の向上が強く求め
られる場合には、加算回数に制限をなくすことが望まし
い場合があり、このような場合を考慮した方式が「循環
加算」である。
【００５７】この「循環加算」は、ＣＣＤ２１の蓄積時
間が複数フレームに渡る場合に、各フレーム毎にＣＣＤ
２１からデータを読み出し、図４の如く、メインバス２
８及び第二ＦＩＦＯ５１ｂを通じて主メモリ２９から与
えられる画素データに対し、第一乗算器５４によって第
一係数（Ratio A）としてαを乗算するとともに、ＣＣ
Ｄ２１からの入力データに対し、第二係数（Ratio B）
として（１−α）を第二乗算器５６によって乗算し、こ
れらを加算することによって複数フレームのＣＣＤ上で
の蓄積と等価な信号を作成するものである。この場合、
第一係数（Ratio A＝α）と第二係数（Ratio B＝１−
α）の合計は「１」になるように設定されており、αの
値は「０」より大で且つ「１」未満の任意の値として実
験等の経験により設定されるものである。また、第一セ
レクタ５３及び第二セレクタ５５でのそれぞれの選択は
「累積加算」の場合と同様である。この「循環加算」方
式によると、加算された最新の入力データやこれに近い
比較的新しい過去の入力データの方が、古い入力データ
よりも寄与率が高いことになり、データの時間的均衡に
ついては若干扱いにくい点もあるが、ランダムノイズを
低減するための加算処理において、加算回数に応じてデ
ータ長をデフレートすることで、メモリ上のデータ量を
増やさずに、加算回数を大きくすることができるという
利点があるものである。したがって、被写体の明るさや
ノイズの量によって十分な平均化処理を行いたい場合
に、蓄積部のデータ長を増加させずに長時間（無限回
数）のフレーム加算が可能となる。
間が複数フレームに渡る場合に、各フレーム毎にＣＣＤ
２１からデータを読み出し、図４の如く、メインバス２
８及び第二ＦＩＦＯ５１ｂを通じて主メモリ２９から与
えられる画素データに対し、第一乗算器５４によって第
一係数（Ratio A）としてαを乗算するとともに、ＣＣ
Ｄ２１からの入力データに対し、第二係数（Ratio B）
として（１−α）を第二乗算器５６によって乗算し、こ
れらを加算することによって複数フレームのＣＣＤ上で
の蓄積と等価な信号を作成するものである。この場合、
第一係数（Ratio A＝α）と第二係数（Ratio B＝１−
α）の合計は「１」になるように設定されており、αの
値は「０」より大で且つ「１」未満の任意の値として実
験等の経験により設定されるものである。また、第一セ
レクタ５３及び第二セレクタ５５でのそれぞれの選択は
「累積加算」の場合と同様である。この「循環加算」方
式によると、加算された最新の入力データやこれに近い
比較的新しい過去の入力データの方が、古い入力データ
よりも寄与率が高いことになり、データの時間的均衡に
ついては若干扱いにくい点もあるが、ランダムノイズを
低減するための加算処理において、加算回数に応じてデ
ータ長をデフレートすることで、メモリ上のデータ量を
増やさずに、加算回数を大きくすることができるという
利点があるものである。したがって、被写体の明るさや
ノイズの量によって十分な平均化処理を行いたい場合
に、蓄積部のデータ長を増加させずに長時間（無限回
数）のフレーム加算が可能となる。
【００５８】このように循環加算としての各係数（Rati
o A，Ratio B）の設定及び各セレクタ５３，５５の選択
を行った場合の単一画素処理部４１の処理構造を示した
ものが図６である。図６のように、ＣＣＤ２１からアナ
ログ信号処理回路２２を通じて与えられた入力データ
（Input Data）に対して、第二乗算器５６により第二係
数（Ratio B＝１−α）を乗算し、また主メモリ２９内
のＣＣＤデータバッファ（CCD Data Buffer）２９ａに
蓄えられたデータに対して、第一乗算器５４により第一
係数（Ratio A＝α）を乗算し、これらを加算器５７に
よって加算し、再びＣＣＤデータバッファ２９ａに更新
記憶するようになっている。かかる循環加算をＮ回繰り
返した後、リアルタイムプロセッシングユニット（ＲＰ
Ｕ）２３内の他のブロック４２〜４５に与え、主メモリ
２９内の処理データバッファ（Processed Data Buffe
r）２９ｂにフレーム単位で格納した後、必要に応じて
ＣＰＵ２４により所定のソフトウェア処理を行い、これ
を主メモリ２９内の一時記憶データバッファ（Temporal
ly Data Buffer）２９ｃに格納すると共に、メインバス
２８を通じて外部Ｉ／Ｆ２６等に出力するようになって
いる。
o A，Ratio B）の設定及び各セレクタ５３，５５の選択
を行った場合の単一画素処理部４１の処理構造を示した
ものが図６である。図６のように、ＣＣＤ２１からアナ
ログ信号処理回路２２を通じて与えられた入力データ
（Input Data）に対して、第二乗算器５６により第二係
数（Ratio B＝１−α）を乗算し、また主メモリ２９内
のＣＣＤデータバッファ（CCD Data Buffer）２９ａに
蓄えられたデータに対して、第一乗算器５４により第一
係数（Ratio A＝α）を乗算し、これらを加算器５７に
よって加算し、再びＣＣＤデータバッファ２９ａに更新
記憶するようになっている。かかる循環加算をＮ回繰り
返した後、リアルタイムプロセッシングユニット（ＲＰ
Ｕ）２３内の他のブロック４２〜４５に与え、主メモリ
２９内の処理データバッファ（Processed Data Buffe
r）２９ｂにフレーム単位で格納した後、必要に応じて
ＣＰＵ２４により所定のソフトウェア処理を行い、これ
を主メモリ２９内の一時記憶データバッファ（Temporal
ly Data Buffer）２９ｃに格納すると共に、メインバス
２８を通じて外部Ｉ／Ｆ２６等に出力するようになって
いる。
【００５９】この図５及び図６のように、図４に示した
同一の回路を用いて「累積加算」と「循環加算」を任意
に選択することができるため、設計の自由度を確保で
き、この単一画素処理部４１の汎用性が向上するという
利点がある。
同一の回路を用いて「累積加算」と「循環加算」を任意
に選択することができるため、設計の自由度を確保で
き、この単一画素処理部４１の汎用性が向上するという
利点がある。
【００６０】さらに、上記の図４に示した同一の回路を
用いて、上記のノイズ緩和のための加算処理以外に、全
く異なった機能である「シェーディング補正処理」をも
選択して実行できるようになっている。
用いて、上記のノイズ緩和のための加算処理以外に、全
く異なった機能である「シェーディング補正処理」をも
選択して実行できるようになっている。
【００６１】一般に、ＣＣＤ２１で対象物や風景等を撮
影する場合、レンズの光学的作用等に起因して、中心位
置の明るさに比べてその周囲が暗くなると言うシェーデ
ィングが発生することがある。図７は画像にシェーディ
ングが発生した状態を示す図であり、横軸は画像ライン
の位置、縦軸は輝度レベルを示している。図７では、画
像ライン中の中心部分に比べてその周囲部分の輝度が相
対的に低くなっている。このような現象は、レンズとし
て広角レンズ等を使用する場合に顕著に現れる。かかる
シェーディングを緩和するために、各画素の輝度値等の
ゲイン調整を行うのが「シェーディング補正処理」であ
る。
影する場合、レンズの光学的作用等に起因して、中心位
置の明るさに比べてその周囲が暗くなると言うシェーデ
ィングが発生することがある。図７は画像にシェーディ
ングが発生した状態を示す図であり、横軸は画像ライン
の位置、縦軸は輝度レベルを示している。図７では、画
像ライン中の中心部分に比べてその周囲部分の輝度が相
対的に低くなっている。このような現象は、レンズとし
て広角レンズ等を使用する場合に顕著に現れる。かかる
シェーディングを緩和するために、各画素の輝度値等の
ゲイン調整を行うのが「シェーディング補正処理」であ
る。
【００６２】尚、例えばＣＰＵ２４によりソフトウェア
処理を行ってシェーディング補正処理を行う場合を考え
ると、１画素毎にシェーディング補正する場合には、従
来は、レンズのシェーディング補正等を行なうために、
ＲＰＵ内部に乗算係数（シェーディング補正パラメー
タ）を格納する１ライン分のメモリを用意しておき、そ
のデータと、ＣＣＤ２１からの入力データを掛け合わせ
て、補正を行なっていた。しかしながら、この方法で
は、水平方向の補正しかできないため、垂直方向にも補
正したい場合には、複数ラインの乗算係数（シェーディ
ング補正パラメータ）を持てるようにメモリを追加する
か、ソフトウェアで定期的にデータを更新してやる必要
があった。１ライン中の画素毎に異なった乗算係数（シ
ェーディング補正パラメータ）を乗算するので、大量の
係数を持たなければならず、内部のメモリの容量が巨大
になり、かつソフトウェアでのデータの更新も非常に頻
繁に必要になるため、水平画素の補正単位を複数画素単
位とし、垂直のラインも複数ライン単位とせざるを得な
かったこともあり、これをソフトウェア処理する場合は
非常に時間がかかり好ましくない。
処理を行ってシェーディング補正処理を行う場合を考え
ると、１画素毎にシェーディング補正する場合には、従
来は、レンズのシェーディング補正等を行なうために、
ＲＰＵ内部に乗算係数（シェーディング補正パラメー
タ）を格納する１ライン分のメモリを用意しておき、そ
のデータと、ＣＣＤ２１からの入力データを掛け合わせ
て、補正を行なっていた。しかしながら、この方法で
は、水平方向の補正しかできないため、垂直方向にも補
正したい場合には、複数ラインの乗算係数（シェーディ
ング補正パラメータ）を持てるようにメモリを追加する
か、ソフトウェアで定期的にデータを更新してやる必要
があった。１ライン中の画素毎に異なった乗算係数（シ
ェーディング補正パラメータ）を乗算するので、大量の
係数を持たなければならず、内部のメモリの容量が巨大
になり、かつソフトウェアでのデータの更新も非常に頻
繁に必要になるため、水平画素の補正単位を複数画素単
位とし、垂直のラインも複数ライン単位とせざるを得な
かったこともあり、これをソフトウェア処理する場合は
非常に時間がかかり好ましくない。
【００６３】このため、ＣＰＵ２４において、図７中の
縦線のように１フレームの画像をいくつかの格子状のブ
ロックに分割し、これらのブロック相互間で、シェーデ
ィング補正を行う方法も考えられる。しかしながら、ブ
ロック単位に区切ってシェーディング補正処理を行う
と、図８のように、ブロックの区切り部分（図８中の縦
線）で輝度値に段差ができてしまい、画像として見た場
合に縞状の不自然な画像となってしまう。
縦線のように１フレームの画像をいくつかの格子状のブ
ロックに分割し、これらのブロック相互間で、シェーデ
ィング補正を行う方法も考えられる。しかしながら、ブ
ロック単位に区切ってシェーディング補正処理を行う
と、図８のように、ブロックの区切り部分（図８中の縦
線）で輝度値に段差ができてしまい、画像として見た場
合に縞状の不自然な画像となってしまう。
【００６４】これらの問題を考慮し、この実施の形態の
リアルタイムプロセッシングユニット２３では、単一画
素処理部４１において、個々の画素毎にシェーディング
補正処理を高速に実行するようになっている。
リアルタイムプロセッシングユニット２３では、単一画
素処理部４１において、個々の画素毎にシェーディング
補正処理を高速に実行するようになっている。
【００６５】具体的には、画素単位のシェーディング補
正パラメータを主メモリ２９内の補正データ格納領域２
９ｄ上に格納しておき、ＣＣＤ２１での画像データのキ
ャプチャー時にダイレクトメモリアクセス（ＤＭＡ）で
補正データをリアルタイムプロセッシングユニット２３
に入力することにより画素単位の補正を行なう。これに
より、ソフトウェア処理に係るＣＰＵ２４に負担をかけ
ずに、画素単位のシェーディング補正処理を高速に実現
できる。特にＣＣＤ２１に代えてＣＭＯＳセンサを使用
するような市場の要請があった場合、このＣＭＯＳセン
サはＣＣＤセンサと異なり、画素毎に読み出し回路が独
立しており、画素単位のエラーが発生しやすいため、こ
の発明は有効となる。また、リアルタイムプロセッシン
グユニット２３内に特別のレジスタを設置する必要がな
いため、回路構成を容易にすることでコストを低く抑え
ることができると共に、消費電力を低減できる。
正パラメータを主メモリ２９内の補正データ格納領域２
９ｄ上に格納しておき、ＣＣＤ２１での画像データのキ
ャプチャー時にダイレクトメモリアクセス（ＤＭＡ）で
補正データをリアルタイムプロセッシングユニット２３
に入力することにより画素単位の補正を行なう。これに
より、ソフトウェア処理に係るＣＰＵ２４に負担をかけ
ずに、画素単位のシェーディング補正処理を高速に実現
できる。特にＣＣＤ２１に代えてＣＭＯＳセンサを使用
するような市場の要請があった場合、このＣＭＯＳセン
サはＣＣＤセンサと異なり、画素毎に読み出し回路が独
立しており、画素単位のエラーが発生しやすいため、こ
の発明は有効となる。また、リアルタイムプロセッシン
グユニット２３内に特別のレジスタを設置する必要がな
いため、回路構成を容易にすることでコストを低く抑え
ることができると共に、消費電力を低減できる。
【００６６】この「シェーディング補正処理」では、図
４及び図９の如く、第二セレクタ５５では、メインバス
２８及び第二ＦＩＦＯ５１ｂを通じて主メモリ２９内の
補正データ格納領域２９ｄから与えられる画素毎の乗算
係数（シェーディング補正パラメータ）を選択してお
り、ここで選択された乗算係数（シェーディング補正パ
ラメータ）を、第二乗算器５６によってＣＣＤ２１から
の画素データに対して各画素毎に乗算し、その結果の画
像データをＣＣＤデータバッファ（CCD Data Buffer）
２９ａに格納する。尚、ここで、第一乗算器５４で乗算
される第一係数（Ratio A）は「０」であり、よってそ
の乗算値が「０」となるため、加算器５７では第二乗算
器５６での結果に値「０」を加算することになり、故に
加算器５７の出力は第二乗算器５６からの出力値がその
まま維持される。
４及び図９の如く、第二セレクタ５５では、メインバス
２８及び第二ＦＩＦＯ５１ｂを通じて主メモリ２９内の
補正データ格納領域２９ｄから与えられる画素毎の乗算
係数（シェーディング補正パラメータ）を選択してお
り、ここで選択された乗算係数（シェーディング補正パ
ラメータ）を、第二乗算器５６によってＣＣＤ２１から
の画素データに対して各画素毎に乗算し、その結果の画
像データをＣＣＤデータバッファ（CCD Data Buffer）
２９ａに格納する。尚、ここで、第一乗算器５４で乗算
される第一係数（Ratio A）は「０」であり、よってそ
の乗算値が「０」となるため、加算器５７では第二乗算
器５６での結果に値「０」を加算することになり、故に
加算器５７の出力は第二乗算器５６からの出力値がその
まま維持される。
【００６７】かかる回路は、上述の図４に示した回路と
同一の回路を使用しているだけなので、かかる同一の回
路で「累積加算」と「循環加算」と「シェーディング補
正処理」との３つの機能を選択して使用できる。尚、か
かる複数の機能は、リアルタイムプロセッシングユニッ
ト２３の単一画素処理部４１の駆動制御に使用されるド
ライバプログラム（ＢＩＯＳ）において、各セレクタ５
３，５５の選択及び各係数（Ratio A，Ratio B）の設定
を変更するだけで容易に選択できる。したがって、「累
積加算」と「循環加算」と「シェーディング補正処理」
の３つの機能のうち、予めいずれかの機能に限定するよ
うドライバプログラムを設定してもよいし、あるいは、
コマンド入力または回路基板上のジャンパピンまたはデ
ィップスイッチ等の設定により切り換えできるように設
定してもよい。
同一の回路を使用しているだけなので、かかる同一の回
路で「累積加算」と「循環加算」と「シェーディング補
正処理」との３つの機能を選択して使用できる。尚、か
かる複数の機能は、リアルタイムプロセッシングユニッ
ト２３の単一画素処理部４１の駆動制御に使用されるド
ライバプログラム（ＢＩＯＳ）において、各セレクタ５
３，５５の選択及び各係数（Ratio A，Ratio B）の設定
を変更するだけで容易に選択できる。したがって、「累
積加算」と「循環加算」と「シェーディング補正処理」
の３つの機能のうち、予めいずれかの機能に限定するよ
うドライバプログラムを設定してもよいし、あるいは、
コマンド入力または回路基板上のジャンパピンまたはデ
ィップスイッチ等の設定により切り換えできるように設
定してもよい。
【００６８】＜画素補間・ガンマ処理部４２の構成及び
動作＞画素補間・ガンマ処理部４２は、ＣＣＤ２１より
画像を読み込んだ場合の画素補間を行うとともに、画像
のガンマ補正を行うブロックである。
動作＞画素補間・ガンマ処理部４２は、ＣＣＤ２１より
画像を読み込んだ場合の画素補間を行うとともに、画像
のガンマ補正を行うブロックである。
【００６９】まず、画素補間・ガンマ処理部４２の画素
補間機能について説明する。
補間機能について説明する。
【００７０】一般に、ＣＣＤ２１においてカラー画像の
撮像を行うに当たって、１画素毎に異なる色（ＲＧＢ−
ＢａｙｅｒまたはＹＭＣＧ系等の補色タイプ等）のフィ
ルタを使用することが多い。
撮像を行うに当たって、１画素毎に異なる色（ＲＧＢ−
ＢａｙｅｒまたはＹＭＣＧ系等の補色タイプ等）のフィ
ルタを使用することが多い。
【００７１】ＲＧＢ−Ｂａｙｅｒは、画素毎に３色系の
フィルタをかけるもので、一般に「Ｒ（赤色成分）」，
「Ｇ（緑色成分）」，「Ｂ（青色成分）」の３色により
画素配列を行っており、例えば図１０の如く、奇数ライ
ン及び偶数ラインの一方を「Ｒ，Ｇ，Ｒ，Ｇ，…」と
し、他方を「Ｇ，Ｂ，Ｇ，Ｂ，…」としたものである。
この場合、図１０中の太線枠で示したように、２×２＝
４ピクセルでもって１組の色を認識するようになってい
るが、この太線枠内においては、右上位置と左下位置の
両方に「Ｇ」が配置される。
フィルタをかけるもので、一般に「Ｒ（赤色成分）」，
「Ｇ（緑色成分）」，「Ｂ（青色成分）」の３色により
画素配列を行っており、例えば図１０の如く、奇数ライ
ン及び偶数ラインの一方を「Ｒ，Ｇ，Ｒ，Ｇ，…」と
し、他方を「Ｇ，Ｂ，Ｇ，Ｂ，…」としたものである。
この場合、図１０中の太線枠で示したように、２×２＝
４ピクセルでもって１組の色を認識するようになってい
るが、この太線枠内においては、右上位置と左下位置の
両方に「Ｇ」が配置される。
【００７２】また、補色タイプ（ＹＭＣＧ系またはＹＭ
ＣＫ系）は、画素毎に異なる色成分の４色系のフィルタ
をかけるもので、図１１の如く、奇数ライン及び偶数ラ
インの一方を「Ｃ（シアン色成分），Ｍ（マゼンダ色成
分），Ｃ，Ｍ，…」とし、他方を「Ｙ（イエロー色成
分），Ｇ（緑色成分），Ｙ，Ｇ，…（ＹＭＣＧ系の場
合）」としたものである。これも一画素毎に異なる色成
分のフィルタをかけたもので、図１１中の太線枠で示し
た通り、２×２＝４ピクセルでもって１組の色を認識す
るようになっている。
ＣＫ系）は、画素毎に異なる色成分の４色系のフィルタ
をかけるもので、図１１の如く、奇数ライン及び偶数ラ
インの一方を「Ｃ（シアン色成分），Ｍ（マゼンダ色成
分），Ｃ，Ｍ，…」とし、他方を「Ｙ（イエロー色成
分），Ｇ（緑色成分），Ｙ，Ｇ，…（ＹＭＣＧ系の場
合）」としたものである。これも一画素毎に異なる色成
分のフィルタをかけたもので、図１１中の太線枠で示し
た通り、２×２＝４ピクセルでもって１組の色を認識す
るようになっている。
【００７３】これらのＲＧＢ−Ｂａｙｅｒ及び補色タイ
プ（ＹＭＣＧ系等）の画素配列を記号「Ａ」，「Ｂ」，
「Ｃ」，「Ｄ」で一般化したものが図１２である。ＪＰ
ＥＧ系のディジタルスチルカメラでは、これらの画素配
列に基づいて最終的にＪＰＥＧ系色空間であるＹ（輝
度），Ｃｒ（＝α1｛Ｒ（赤色成分）−Ｙ（輝
度）｝），Ｃｂ（＝α2｛Ｂ（青色成分）−Ｙ（輝
度）｝）に１画素毎に変換する必要があるが、ここで
は、例えば図１２のＤａｔａＸ１において、「Ｄ」の成
分しかなく、この画素について他の「Ａ」，「Ｂ」，
「Ｃ」の成分の補間を行うためには、周囲のこれらの成
分を参照することになる。
プ（ＹＭＣＧ系等）の画素配列を記号「Ａ」，「Ｂ」，
「Ｃ」，「Ｄ」で一般化したものが図１２である。ＪＰ
ＥＧ系のディジタルスチルカメラでは、これらの画素配
列に基づいて最終的にＪＰＥＧ系色空間であるＹ（輝
度），Ｃｒ（＝α1｛Ｒ（赤色成分）−Ｙ（輝
度）｝），Ｃｂ（＝α2｛Ｂ（青色成分）−Ｙ（輝
度）｝）に１画素毎に変換する必要があるが、ここで
は、例えば図１２のＤａｔａＸ１において、「Ｄ」の成
分しかなく、この画素について他の「Ａ」，「Ｂ」，
「Ｃ」の成分の補間を行うためには、周囲のこれらの成
分を参照することになる。
【００７４】具体的には、例えば補色タイプ（ＹＭＣＧ
系等）の場合、図１３の如く、ＤａｔａＸ１において
「Ａ」の成分を参照する場合は、斜め四方の「Ａ」の成
分の平均化処理を行ってこれをＤａｔａＸ１の成分に加
味する。また、ＤａｔａＸ２（「Ｃ」の成分）において
「Ａ」の成分を参照する場合は、上下に隣接する「Ａ」
の成分の平均化処理を行ってこれをＤａｔａＸ２の成分
に加味する。さらに、ＤａｔａＸ３（「Ｂ」の成分）に
おいて「Ａ」の成分を参照する場合は、左右に隣接する
「Ａ」の成分の平均化処理を行ってこれをＤａｔａＸ３
の成分に加味する。他の成分「Ｂ」，「Ｃ」，「Ｄ」の
補間についても同様である。ここで、画素配列の信号
は、各ライン別に入力されるにも拘わらず、例えば図１
３中のＤａｔａＸ１の画素補間を行うためには当該Ｄａ
ｔａＸ１のラインと異なる前後ラインを参照しなければ
ならないため、この画素補間・ガンマ処理部４２では、
画素補間を行う画素に対して前後の２ラインを格納する
ためのラインバッファ６１ａ，６１ｂを設置し、このラ
インバッファ６１ａ，６１ｂと３×３ピクセルレジスタ
６２の間で画素の受け渡しをしながら、この３×３ピク
セルレジスタ６２の各画素の値を色選択ブロック６３で
セレクトしながら、この色選択ブロック６３内において
画素補間を行う。即ち、補色タイプ（ＹＭＣＧ系等）の
ような２×２の４色構成のＣＣＤ２１に対しては、図１
３に示した方法のように、すべて同じ演算処理を行うこ
とで画素補間を行う。尚、ラインバッファ６１ａ，６１
ｂ及び３×３ピクセルレジスタ６２は、３×３ピクセル
レジスタ６２内の中央に位置する注目画素に対して、そ
の周囲の画素を参照するための画素参照ブロックを構成
するものである。
系等）の場合、図１３の如く、ＤａｔａＸ１において
「Ａ」の成分を参照する場合は、斜め四方の「Ａ」の成
分の平均化処理を行ってこれをＤａｔａＸ１の成分に加
味する。また、ＤａｔａＸ２（「Ｃ」の成分）において
「Ａ」の成分を参照する場合は、上下に隣接する「Ａ」
の成分の平均化処理を行ってこれをＤａｔａＸ２の成分
に加味する。さらに、ＤａｔａＸ３（「Ｂ」の成分）に
おいて「Ａ」の成分を参照する場合は、左右に隣接する
「Ａ」の成分の平均化処理を行ってこれをＤａｔａＸ３
の成分に加味する。他の成分「Ｂ」，「Ｃ」，「Ｄ」の
補間についても同様である。ここで、画素配列の信号
は、各ライン別に入力されるにも拘わらず、例えば図１
３中のＤａｔａＸ１の画素補間を行うためには当該Ｄａ
ｔａＸ１のラインと異なる前後ラインを参照しなければ
ならないため、この画素補間・ガンマ処理部４２では、
画素補間を行う画素に対して前後の２ラインを格納する
ためのラインバッファ６１ａ，６１ｂを設置し、このラ
インバッファ６１ａ，６１ｂと３×３ピクセルレジスタ
６２の間で画素の受け渡しをしながら、この３×３ピク
セルレジスタ６２の各画素の値を色選択ブロック６３で
セレクトしながら、この色選択ブロック６３内において
画素補間を行う。即ち、補色タイプ（ＹＭＣＧ系等）の
ような２×２の４色構成のＣＣＤ２１に対しては、図１
３に示した方法のように、すべて同じ演算処理を行うこ
とで画素補間を行う。尚、ラインバッファ６１ａ，６１
ｂ及び３×３ピクセルレジスタ６２は、３×３ピクセル
レジスタ６２内の中央に位置する注目画素に対して、そ
の周囲の画素を参照するための画素参照ブロックを構成
するものである。
【００７５】これに対し、３色系のＲＧＢ−Ｂａｙｅｒ
では、図１０中の太線枠で示したように、「Ｒ」，
「Ｇ」，「Ｂ」の３色に加えて４色目の色成分として再
び「Ｇ」を使用している。このように、ＲＧＢ−Ｂａｙ
ｅｒのＣＣＤ２１に対しては、色選択ブロックの一部
（４色目）を置き換えることによって、同一の回路によ
り３色系と４色系の両方をリアルタイム処理できるよう
になっている。かかる３色系のＲＧＢ−Ｂａｙｅｒにつ
いて色補間処理する場合、４色系の補色タイプ（ＹＭＣ
Ｇ系等）の処理とは異なった処理が必要とされる。即
ち、４色系の補色タイプ（ＹＭＣＧ系等）の色補間処理
では、すべての画素について図１３に示したような処理
を行うことが可能であるが、３色系のＲＧＢ−Ｂａｙｅ
ｒの「Ｇ」について色補間処理する場合、例えば図１０
において「Ｒ」においても「Ｂ」においても、これに
「Ｇ」を補間する場合は、上下方向及び左右方向の四方
に隣接して「Ｇ」が存在しているので、これらの四方の
「Ｇ」に基づいて色補間を行えばよい（第一補間方
法）。あるいは、上下方向及び左右方向の四方に隣接し
て存在する４画素の「Ｇ」のうち、最小値のものと最大
値のものを除去した残りの２画素の「Ｇ」の平均値をと
ってもよい（第二補間方法）。実際には、これらの第一
補間方法と第二補間方法とを、色選択ブロック６３の駆
動のためのドライバソフトウェアプログラム等の設定に
より任意に選択できるようにしておく。これにより、設
計変更の自由度が大幅に向上するものである。一方、
「Ｇ」については、縦（上下）方向に隣接した「Ｒ」を
補間し、横（左右）方向に隣接した「Ｂ」を補間するだ
けで、斜め四方の他の「Ｇ」に基づく補間は必要なく、
図１３に示したような処理とは大きく異なった処理とな
る。
では、図１０中の太線枠で示したように、「Ｒ」，
「Ｇ」，「Ｂ」の３色に加えて４色目の色成分として再
び「Ｇ」を使用している。このように、ＲＧＢ−Ｂａｙ
ｅｒのＣＣＤ２１に対しては、色選択ブロックの一部
（４色目）を置き換えることによって、同一の回路によ
り３色系と４色系の両方をリアルタイム処理できるよう
になっている。かかる３色系のＲＧＢ−Ｂａｙｅｒにつ
いて色補間処理する場合、４色系の補色タイプ（ＹＭＣ
Ｇ系等）の処理とは異なった処理が必要とされる。即
ち、４色系の補色タイプ（ＹＭＣＧ系等）の色補間処理
では、すべての画素について図１３に示したような処理
を行うことが可能であるが、３色系のＲＧＢ−Ｂａｙｅ
ｒの「Ｇ」について色補間処理する場合、例えば図１０
において「Ｒ」においても「Ｂ」においても、これに
「Ｇ」を補間する場合は、上下方向及び左右方向の四方
に隣接して「Ｇ」が存在しているので、これらの四方の
「Ｇ」に基づいて色補間を行えばよい（第一補間方
法）。あるいは、上下方向及び左右方向の四方に隣接し
て存在する４画素の「Ｇ」のうち、最小値のものと最大
値のものを除去した残りの２画素の「Ｇ」の平均値をと
ってもよい（第二補間方法）。実際には、これらの第一
補間方法と第二補間方法とを、色選択ブロック６３の駆
動のためのドライバソフトウェアプログラム等の設定に
より任意に選択できるようにしておく。これにより、設
計変更の自由度が大幅に向上するものである。一方、
「Ｇ」については、縦（上下）方向に隣接した「Ｒ」を
補間し、横（左右）方向に隣接した「Ｂ」を補間するだ
けで、斜め四方の他の「Ｇ」に基づく補間は必要なく、
図１３に示したような処理とは大きく異なった処理とな
る。
【００７６】あるいは、このＲＧＢ−Ｂａｙｅｒにおい
て、例えば図１０中の太線枠内の２個の「Ｇ」のうちの
一方については、かかる部分の画素の全体的な輝度成分
や強調成分として擬似的に活用することも可能であり、
各画素の色成分として抽出するのではなく画素の輝度成
分や強調成分等の所定の特徴を示す「特徴データ（ＫＥ
Ｙ信号）」として活用できる。
て、例えば図１０中の太線枠内の２個の「Ｇ」のうちの
一方については、かかる部分の画素の全体的な輝度成分
や強調成分として擬似的に活用することも可能であり、
各画素の色成分として抽出するのではなく画素の輝度成
分や強調成分等の所定の特徴を示す「特徴データ（ＫＥ
Ｙ信号）」として活用できる。
【００７７】例えば、「Ｒ」，「Ｇ」，「Ｂ」として各
８ｂｉｔにＫＥＹ信号８ｂｉｔを追加した３２ｂｉｔ信
号を、４色信号として図１４中の３×３ピクセルレジス
タ６２上に配置し、リアルタイムプロセッシングユニッ
ト２３の各ブロック４３，４４，４５における処理過程
で、各画素毎の「特徴データ（後述）」として使用す
る。
８ｂｉｔにＫＥＹ信号８ｂｉｔを追加した３２ｂｉｔ信
号を、４色信号として図１４中の３×３ピクセルレジス
タ６２上に配置し、リアルタイムプロセッシングユニッ
ト２３の各ブロック４３，４４，４５における処理過程
で、各画素毎の「特徴データ（後述）」として使用す
る。
【００７８】さらに、４色系の補色タイプ（ＹＭＣＧ系
等）においても、例えば「Ｇ」については、かかる部分
の画素の全体的な輝度成分や強調成分として擬似的に活
用することも可能であり、各画素の色成分として抽出す
るのではなく画素の輝度成分や強調成分等の所定の特徴
を示す「特徴データ（後述）」として活用できる。
等）においても、例えば「Ｇ」については、かかる部分
の画素の全体的な輝度成分や強調成分として擬似的に活
用することも可能であり、各画素の色成分として抽出す
るのではなく画素の輝度成分や強調成分等の所定の特徴
を示す「特徴データ（後述）」として活用できる。
【００７９】尚、一般的には、３色系処理と４色系処理
を扱える処理回路において、３色系の処理を行う場合に
は、３色データを所定のメモリ上で詰めて格納するか、
４色目のデータを無視して処理する方法が考えられる。
しかしながら、特に後者の場合、メモリや処理回路を有
効に活用できないという問題が生じる。
を扱える処理回路において、３色系の処理を行う場合に
は、３色データを所定のメモリ上で詰めて格納するか、
４色目のデータを無視して処理する方法が考えられる。
しかしながら、特に後者の場合、メモリや処理回路を有
効に活用できないという問題が生じる。
【００８０】これに対して、この実施の形態のディジタ
ルスチルカメラでは、主メモリ２９内の４色処理のメモ
リ配置の中に３色データを格納した場合に、４色目に相
当する領域に各画素を格納し、後述の色空間変換・色抑
圧処理部４３やＣＰＵ２４でのソフトウェア処理におい
て画素毎に所定の特徴づけを行うための後述の「特徴デ
ータ（ＫＥＹ信号：例えば「Ｇ」）」として活用するよ
うにする。かかる４色目の画素補間の処理を、リアルタ
イムプロセッシングユニット２３での処理の中で使用す
ることによって、各ブロック４３，４４，４５における
各種の非線型処理や画素単位処理を非常に高速に行うこ
とができるものである。
ルスチルカメラでは、主メモリ２９内の４色処理のメモ
リ配置の中に３色データを格納した場合に、４色目に相
当する領域に各画素を格納し、後述の色空間変換・色抑
圧処理部４３やＣＰＵ２４でのソフトウェア処理におい
て画素毎に所定の特徴づけを行うための後述の「特徴デ
ータ（ＫＥＹ信号：例えば「Ｇ」）」として活用するよ
うにする。かかる４色目の画素補間の処理を、リアルタ
イムプロセッシングユニット２３での処理の中で使用す
ることによって、各ブロック４３，４４，４５における
各種の非線型処理や画素単位処理を非常に高速に行うこ
とができるものである。
【００８１】かかる色補間処理では、図１４の如く、単
一画素処理部４１のリミッタ５８から出力されてきた各
画素データに対して、上述のようにラインバッファ６１
ａ，６１ｂを使用しながら、３×３ピクセルレジスタ６
２に各色成分を配置し、これらの各色成分の信号を、水
平同期信号に基づくＨ＿Ｃｏｕｎｔ信号及び垂直同期信
号に基づくＶ＿Ｃｏｕｎｔ信号の入力に従って色選択ブ
ロック６３でセレクトしながら平均化処理を行って画素
補間を行う。これにより、リアルタイムプロセッシング
ユニット２３の後段の各ブロック４３，４４，４５にお
ける処理過程で、各画素毎の「特徴データ（後述）」と
して使用することが可能となる。
一画素処理部４１のリミッタ５８から出力されてきた各
画素データに対して、上述のようにラインバッファ６１
ａ，６１ｂを使用しながら、３×３ピクセルレジスタ６
２に各色成分を配置し、これらの各色成分の信号を、水
平同期信号に基づくＨ＿Ｃｏｕｎｔ信号及び垂直同期信
号に基づくＶ＿Ｃｏｕｎｔ信号の入力に従って色選択ブ
ロック６３でセレクトしながら平均化処理を行って画素
補間を行う。これにより、リアルタイムプロセッシング
ユニット２３の後段の各ブロック４３，４４，４５にお
ける処理過程で、各画素毎の「特徴データ（後述）」と
して使用することが可能となる。
【００８２】このように、画素補間・ガンマ処理部４２
においては、ＲＧＢ−Ｂａｙｅｒのような３色系の処理
について、色選択ブロックの一部（４色目）を置き換え
ることによって処理を行えるので、同一の回路により３
色系と４色系の両方をリアルタイム処理できるものであ
る。したがって、従来のように、ＲＧＢ用の画素補間回
路と補色（４色系）用の画素補間回路を独立のものとし
て別々に設置していた場合に比べ、回路規模を非常に小
さくでき、また消費電力を抑制することが可能となる。
さらに、かかる処理をＣＰＵ２４によりソフトウェアプ
ログラムに基づいて処理する場合を考えると、一旦フレ
ーム単位で画像をメモリに格納した後、その画像中の各
画素につき縦横の平均化処理を行って色補間することに
なるので、これをすべての画素について処理することに
なると、処理の工程が膨大となり多大な時間を要するの
に対して、この実施の形態では、リアルタイムプロセッ
シングユニット２３内でリアルタイムに処理を行ってい
る分、処理速度が大幅に向上する。
においては、ＲＧＢ−Ｂａｙｅｒのような３色系の処理
について、色選択ブロックの一部（４色目）を置き換え
ることによって処理を行えるので、同一の回路により３
色系と４色系の両方をリアルタイム処理できるものであ
る。したがって、従来のように、ＲＧＢ用の画素補間回
路と補色（４色系）用の画素補間回路を独立のものとし
て別々に設置していた場合に比べ、回路規模を非常に小
さくでき、また消費電力を抑制することが可能となる。
さらに、かかる処理をＣＰＵ２４によりソフトウェアプ
ログラムに基づいて処理する場合を考えると、一旦フレ
ーム単位で画像をメモリに格納した後、その画像中の各
画素につき縦横の平均化処理を行って色補間することに
なるので、これをすべての画素について処理することに
なると、処理の工程が膨大となり多大な時間を要するの
に対して、この実施の形態では、リアルタイムプロセッ
シングユニット２３内でリアルタイムに処理を行ってい
る分、処理速度が大幅に向上する。
【００８３】尚、画素補間・ガンマ処理部４２の色選択
ブロック６３には、「Ｇ」信号の高域成分（Ｇｈ信号）
を抜き出して、これに基づいてＡＦ（オートフォーカ
ス）用の高周波成分の評価（ＡＦ評価）を行うＡＦ評価
機能が有せしめられている。図１５は、ＲＧＢ−Ｂａｙ
ｅｒでのＧｈ信号に基づいてＡＦ評価用の高周波成分の
評価値（高周波成分評価値）を作成する機能において、
ある瞬間の画素配列中の一部のタイミングのデータ
（「Ｇ」信号）を抜き出してＡＦ評価を行う様子を示し
たブロック図である。ＡＦ評価は、その瞬間にエッジが
明確に出てきているかどうかを検出することで行うこと
が可能であり、一般に、ＦＦＴ（高速フーリエ変換）等
により高周波成分のみのレベルを抽出し、この抽出値に
基づいて判定すれば、最良のＡＦ評価値を得ることがで
きる。しかしながら、リアルタイムプロセッシングユニ
ット２３において入力データ（Input Data）が次々と入
力される状況でＦＦＴの処理を行うことは極めて困難で
あり、また、フレーム単位で画像を主メモリ２９に格納
し、ＣＰＵ２４によりソフトウェア処理でＦＦＴの処理
を行う場合は、処理が複雑になると共に多大な時間を要
するため効率的でない。そこで、近隣の同一色成分の画
素をセレクタ６４で選択して抽出し、抽出された同一色
成分の画素の差分値を演算回路６５で絶対値化して求
め、かかる一連の処理で連続して得られる絶対値を、バ
ッファ６６及び加算器６７からなる帰還回路としての累
積加算器６８で積分し、その積分値（累積値）の変化値
（微分値）の極大点を求めることでＡＦ評価を行ってい
る。即ち、セレクタ６４、演算回路６５及び累積加算器
６８で、オートフォーカスのための高周波成分評価値を
出力するオートフォーカス評価部を構成するものであ
る。
ブロック６３には、「Ｇ」信号の高域成分（Ｇｈ信号）
を抜き出して、これに基づいてＡＦ（オートフォーカ
ス）用の高周波成分の評価（ＡＦ評価）を行うＡＦ評価
機能が有せしめられている。図１５は、ＲＧＢ−Ｂａｙ
ｅｒでのＧｈ信号に基づいてＡＦ評価用の高周波成分の
評価値（高周波成分評価値）を作成する機能において、
ある瞬間の画素配列中の一部のタイミングのデータ
（「Ｇ」信号）を抜き出してＡＦ評価を行う様子を示し
たブロック図である。ＡＦ評価は、その瞬間にエッジが
明確に出てきているかどうかを検出することで行うこと
が可能であり、一般に、ＦＦＴ（高速フーリエ変換）等
により高周波成分のみのレベルを抽出し、この抽出値に
基づいて判定すれば、最良のＡＦ評価値を得ることがで
きる。しかしながら、リアルタイムプロセッシングユニ
ット２３において入力データ（Input Data）が次々と入
力される状況でＦＦＴの処理を行うことは極めて困難で
あり、また、フレーム単位で画像を主メモリ２９に格納
し、ＣＰＵ２４によりソフトウェア処理でＦＦＴの処理
を行う場合は、処理が複雑になると共に多大な時間を要
するため効率的でない。そこで、近隣の同一色成分の画
素をセレクタ６４で選択して抽出し、抽出された同一色
成分の画素の差分値を演算回路６５で絶対値化して求
め、かかる一連の処理で連続して得られる絶対値を、バ
ッファ６６及び加算器６７からなる帰還回路としての累
積加算器６８で積分し、その積分値（累積値）の変化値
（微分値）の極大点を求めることでＡＦ評価を行ってい
る。即ち、セレクタ６４、演算回路６５及び累積加算器
６８で、オートフォーカスのための高周波成分評価値を
出力するオートフォーカス評価部を構成するものであ
る。
【００８４】そして、この色選択ブロック６３内のオー
トフォーカス評価部では、入力データに対してＡＦ評価
を行う際に、ＲＧＢ−Ｂａｙｅｒ中の同一色の色成分と
して最も多い「Ｇ」成分を使用することとし、特にこの
色選択ブロック６３では、「Ｇ」成分の値の差分抽出対
象として直近のものであるか、あるいはこれより離隔し
た「Ｇ」成分の値を差分抽出対象として選択するかにつ
いて、セレクタ６４によって任意に選択的に変更できる
ようになっている。即ち、ある場合には、演算回路６５
の一方のＢ入力端子６５ｂに入力される「Ｇ」信号（注
目画素）に最も近い「Ｇ」信号として、セレクタ６４の
Ｄ入力端子に入力される「Ｇ」信号を選択し、またある
場合には、演算回路６５の一方のＢ入力端子６５ｂに入
力される注目画素の「Ｇ」信号に最も遠い「Ｇ」信号と
して、セレクタ６４のＡ入力端子に入力される「Ｇ」信
号を選択し、さらにある場合には、セレクタ６４のＢ入
力端子またはＣ入力端子に入力される「Ｇ」信号を選択
して注目画素の「Ｇ」信号との差分値を演算することが
可能となっている。このように、セレクタ６４によって
注目画素からの離間距離を変更して差分値を求めること
ができるので、ＡＦ評価における着目周波数を容易に変
更できる。これは、人間が画像を肉視した場合にピント
が合ったと感じる周波数は、必ずしも隣接画素レベルの
最大周波数とは限らず、２〜４ピクセル程度離間した画
素でピントを合わせても十分にフォーカスが合ったよう
に感じる。これに対して、例えばＣＣＤ２１の撮像画素
に異変が見られた場合や、ここからの信号出力の過程で
ノイズがコンデンサに混入する場合のように、画素中に
何らかのノイズが発生した場合には、殆どの場合、隣接
画素毎に大きな変化が生じるため、隣接画素のみで差分
を求める場合には、ノイズの影響でＡＦ評価が過大評価
されるおそれがあることを考慮したものである。即ち、
セレクタ６４でＡＦ評価における着目周波数を変更する
ことで、ノイズの影響を低減しながら、肉視に耐えるフ
ォーカス合わせが可能となるものである。尚、このセレ
クタ６４の選択は、実際のＣＣＤ２１の画素ピッチ等の
特性に応じて変化させればよい。同じ被写体や風景等を
撮像する場合でも、ＣＣＤ２１の画素ピッチ等の特性に
よって隣接する注目画素のピッチも変化することになる
ため、実際のＣＣＤ２１の画素ピッチ等の特性に応じて
セレクタ６４で着目周波数を変化させることで、ＡＦ評
価の精度を一定レベルに維持でき、故に同一のリアルタ
イムプロセッシングユニット２３として様々な特性のＣ
ＣＤ２１に対応することが可能となる。
トフォーカス評価部では、入力データに対してＡＦ評価
を行う際に、ＲＧＢ−Ｂａｙｅｒ中の同一色の色成分と
して最も多い「Ｇ」成分を使用することとし、特にこの
色選択ブロック６３では、「Ｇ」成分の値の差分抽出対
象として直近のものであるか、あるいはこれより離隔し
た「Ｇ」成分の値を差分抽出対象として選択するかにつ
いて、セレクタ６４によって任意に選択的に変更できる
ようになっている。即ち、ある場合には、演算回路６５
の一方のＢ入力端子６５ｂに入力される「Ｇ」信号（注
目画素）に最も近い「Ｇ」信号として、セレクタ６４の
Ｄ入力端子に入力される「Ｇ」信号を選択し、またある
場合には、演算回路６５の一方のＢ入力端子６５ｂに入
力される注目画素の「Ｇ」信号に最も遠い「Ｇ」信号と
して、セレクタ６４のＡ入力端子に入力される「Ｇ」信
号を選択し、さらにある場合には、セレクタ６４のＢ入
力端子またはＣ入力端子に入力される「Ｇ」信号を選択
して注目画素の「Ｇ」信号との差分値を演算することが
可能となっている。このように、セレクタ６４によって
注目画素からの離間距離を変更して差分値を求めること
ができるので、ＡＦ評価における着目周波数を容易に変
更できる。これは、人間が画像を肉視した場合にピント
が合ったと感じる周波数は、必ずしも隣接画素レベルの
最大周波数とは限らず、２〜４ピクセル程度離間した画
素でピントを合わせても十分にフォーカスが合ったよう
に感じる。これに対して、例えばＣＣＤ２１の撮像画素
に異変が見られた場合や、ここからの信号出力の過程で
ノイズがコンデンサに混入する場合のように、画素中に
何らかのノイズが発生した場合には、殆どの場合、隣接
画素毎に大きな変化が生じるため、隣接画素のみで差分
を求める場合には、ノイズの影響でＡＦ評価が過大評価
されるおそれがあることを考慮したものである。即ち、
セレクタ６４でＡＦ評価における着目周波数を変更する
ことで、ノイズの影響を低減しながら、肉視に耐えるフ
ォーカス合わせが可能となるものである。尚、このセレ
クタ６４の選択は、実際のＣＣＤ２１の画素ピッチ等の
特性に応じて変化させればよい。同じ被写体や風景等を
撮像する場合でも、ＣＣＤ２１の画素ピッチ等の特性に
よって隣接する注目画素のピッチも変化することになる
ため、実際のＣＣＤ２１の画素ピッチ等の特性に応じて
セレクタ６４で着目周波数を変化させることで、ＡＦ評
価の精度を一定レベルに維持でき、故に同一のリアルタ
イムプロセッシングユニット２３として様々な特性のＣ
ＣＤ２１に対応することが可能となる。
【００８５】また、画素補間・ガンマ処理部４２の色選
択ブロック６３には、ＣＣＤ２１の欠陥画素を補正する
欠陥画素補正機能が有せしめられている。
択ブロック６３には、ＣＣＤ２１の欠陥画素を補正する
欠陥画素補正機能が有せしめられている。
【００８６】一般に、ＣＣＤ２１の欠陥画素補正では、
画像中にピクセル単位で欠陥画素が含まれて入力された
場合に、これをそのまま使用すると画像が不自然になっ
てしまうため、例えば、この欠陥画素と同じ色成分とし
て１つ前に入力された色データ（例えば図１５の例では
同じ色成分の画素が１つおきに入力されるため、２画素
前の色データが対象となる）で画素補充を行う方法があ
る。通常のＣＣＤ２１はフレーム中に１００万画素程度
の画素を有するため、まれに欠陥画素が発生しても、上
記の比較的単純な方法で画素の補充を行っても十分に肉
視に耐える画像を得ることができる。
画像中にピクセル単位で欠陥画素が含まれて入力された
場合に、これをそのまま使用すると画像が不自然になっ
てしまうため、例えば、この欠陥画素と同じ色成分とし
て１つ前に入力された色データ（例えば図１５の例では
同じ色成分の画素が１つおきに入力されるため、２画素
前の色データが対象となる）で画素補充を行う方法があ
る。通常のＣＣＤ２１はフレーム中に１００万画素程度
の画素を有するため、まれに欠陥画素が発生しても、上
記の比較的単純な方法で画素の補充を行っても十分に肉
視に耐える画像を得ることができる。
【００８７】この場合、従来のＣＣＤの欠陥画素補正に
おいては、欠陥画素の垂直方向（Ｖ）と水平方向（Ｈ）
のアドレス情報をＲＰＵ（リアルタイムプロセッシング
ユニット）の内部の複数（予想される欠陥画素の総数
分）のレジスタに格納しておき、アドレス値がＣＣＤの
ＴＧ（タイミングジェネレータ）の垂直（Ｖ）カウント
値及び水平（Ｈ）カウント値と一致したタイミングで欠
陥信号を発生し、そのタイミングの画素データを周囲の
画素（一般的には直前の同色の画素）で置き換える等の
動作を行なって補正することが行われていた。
おいては、欠陥画素の垂直方向（Ｖ）と水平方向（Ｈ）
のアドレス情報をＲＰＵ（リアルタイムプロセッシング
ユニット）の内部の複数（予想される欠陥画素の総数
分）のレジスタに格納しておき、アドレス値がＣＣＤの
ＴＧ（タイミングジェネレータ）の垂直（Ｖ）カウント
値及び水平（Ｈ）カウント値と一致したタイミングで欠
陥信号を発生し、そのタイミングの画素データを周囲の
画素（一般的には直前の同色の画素）で置き換える等の
動作を行なって補正することが行われていた。
【００８８】しかし、この従来の方法では、予想される
欠陥画素の総数分だけのアドレスデータを格納するのに
十分な数のレジスタをＲＰＵ内部に持つ必要がある。と
ころが、近年のＣＣＤの画素数の増大に伴って、欠陥画
素も増大する傾向にあるため、次第に内部のレジスタの
個数が増大し、消費電力の増大等の問題を生じてきた。
また、欠陥画素の総数は、通常は数個〜２０個程度と予
想されるものの、必ずしもこの個数内に収まるとは限ら
ず、特に、欠陥であるか否かの評価におけるしきい値に
よって欠陥画素と判断される画素の個数も大きく変化す
るため、１つのＣＣＤに対して数個〜２０個程度の数の
欠陥では十分とは言えなかった。しかしながら、例え
ば、１０００個程度の欠陥画素が予想される場合に、上
記の従来の方法ではＲＰＵ内に１０００個程度のレジス
タを設置しなければならないことになるが、これは回路
規模の制限から現実的でなく、多くの場合は１つのＣＣ
Ｄに対して数個〜２０個程度の数の欠陥しか補正できな
いこととなっていた。
欠陥画素の総数分だけのアドレスデータを格納するのに
十分な数のレジスタをＲＰＵ内部に持つ必要がある。と
ころが、近年のＣＣＤの画素数の増大に伴って、欠陥画
素も増大する傾向にあるため、次第に内部のレジスタの
個数が増大し、消費電力の増大等の問題を生じてきた。
また、欠陥画素の総数は、通常は数個〜２０個程度と予
想されるものの、必ずしもこの個数内に収まるとは限ら
ず、特に、欠陥であるか否かの評価におけるしきい値に
よって欠陥画素と判断される画素の個数も大きく変化す
るため、１つのＣＣＤに対して数個〜２０個程度の数の
欠陥では十分とは言えなかった。しかしながら、例え
ば、１０００個程度の欠陥画素が予想される場合に、上
記の従来の方法ではＲＰＵ内に１０００個程度のレジス
タを設置しなければならないことになるが、これは回路
規模の制限から現実的でなく、多くの場合は１つのＣＣ
Ｄに対して数個〜２０個程度の数の欠陥しか補正できな
いこととなっていた。
【００８９】これに対し、この実施の形態に係るディジ
タルスチルカメラでは、リアルタイムプロセッシングユ
ニット２３内に欠陥画素アドレス格納用のレジスタを設
置するのではなく、ＣＣＤ２１の欠陥画素の位置情報を
時間位置順に主メモリ２９上に格納しておき、この主メ
モリ２９中の欠陥画素の位置情報を、図１６の如く、シ
フトレジスタ７１ａ，７１ｂと比較器（ＣＭＰ）７２
ａ，７２ｂを組み合わせてなる欠陥画素タイミング発生
回路７３にダイレクトメモリアクセス（ＤＭＡ）で入力
してやることで、ＣＣＤの欠陥画素補正を行うようにな
っている。即ち、このシフトレジスタ７１ａ，７１ｂと
比較器（ＣＭＰ）７２ａ，７２ｂとで、欠陥画素補正部
を構成するものである。
タルスチルカメラでは、リアルタイムプロセッシングユ
ニット２３内に欠陥画素アドレス格納用のレジスタを設
置するのではなく、ＣＣＤ２１の欠陥画素の位置情報を
時間位置順に主メモリ２９上に格納しておき、この主メ
モリ２９中の欠陥画素の位置情報を、図１６の如く、シ
フトレジスタ７１ａ，７１ｂと比較器（ＣＭＰ）７２
ａ，７２ｂを組み合わせてなる欠陥画素タイミング発生
回路７３にダイレクトメモリアクセス（ＤＭＡ）で入力
してやることで、ＣＣＤの欠陥画素補正を行うようにな
っている。即ち、このシフトレジスタ７１ａ，７１ｂと
比較器（ＣＭＰ）７２ａ，７２ｂとで、欠陥画素補正部
を構成するものである。
【００９０】具体的には、ＣＣＤの欠陥画素アドレスを
主メモリ２９（図１参照）中の任意の格納領域に当該欠
陥画素の発生時間の順序で格納しておき、ダイレクトメ
モリアクセス（ＤＭＡ）により１ｗｏｒｄ長のレジスタ
（ＦＩＦＯ）７４を通じて画素補間・ガンマ処理部４２
内の欠陥画素タイミング発生回路７３内に平行に設置さ
れた各シフトレジスタ７１ａ，７１ｂに入力し、それぞ
れのシフトレジスタ７１ａ，７１ｂの最終段からそれぞ
れの比較器７２ａ，７２ｂにデータ入力して垂直（Ｖ）
カウント値及び水平（Ｈ）カウント値に対して比較して
やることにより、実際上、欠陥画素数の制限なしに補正
を行なうことができる。
主メモリ２９（図１参照）中の任意の格納領域に当該欠
陥画素の発生時間の順序で格納しておき、ダイレクトメ
モリアクセス（ＤＭＡ）により１ｗｏｒｄ長のレジスタ
（ＦＩＦＯ）７４を通じて画素補間・ガンマ処理部４２
内の欠陥画素タイミング発生回路７３内に平行に設置さ
れた各シフトレジスタ７１ａ，７１ｂに入力し、それぞ
れのシフトレジスタ７１ａ，７１ｂの最終段からそれぞ
れの比較器７２ａ，７２ｂにデータ入力して垂直（Ｖ）
カウント値及び水平（Ｈ）カウント値に対して比較して
やることにより、実際上、欠陥画素数の制限なしに補正
を行なうことができる。
【００９１】ここで、一方のシフトレジスタ７１ａとこ
れに接続された一方の比較器７２ａは、水平方向（Ｈ）
の欠陥画素の出現タイミング（アドレス）を認識するも
のであり、他方のシフトレジスタ７１ｂとこれに接続さ
れた他方の比較器７２ｂは、垂直方向（Ｖ）の欠陥画素
の出現タイミング（アドレス）を認識するものである。
れに接続された一方の比較器７２ａは、水平方向（Ｈ）
の欠陥画素の出現タイミング（アドレス）を認識するも
のであり、他方のシフトレジスタ７１ｂとこれに接続さ
れた他方の比較器７２ｂは、垂直方向（Ｖ）の欠陥画素
の出現タイミング（アドレス）を認識するものである。
【００９２】そして、リアルタイムプロセッシングユニ
ット２３内でカウントされた垂直（Ｖ）カウント値及び
水平（Ｈ）カウント値がそれぞれ比較器７２ａ，７２ｂ
に入力されており、この比較器７２ａ，７２ｂにおい
て、シフトレジスタ７１ａ，７１ｂの最終段（７１ａ
ｆ，７１ｂｆ）の出力アドレスと、前述の垂直（Ｖ）カ
ウント値及び水平（Ｈ）カウント値とが一致したと判断
した場合に、論理積回路７５及びレジスタ（DMA Req. T
rigger）７６を通じて欠陥画素タイミング（CCD Detect
Timing）信号を出力するようになっている。
ット２３内でカウントされた垂直（Ｖ）カウント値及び
水平（Ｈ）カウント値がそれぞれ比較器７２ａ，７２ｂ
に入力されており、この比較器７２ａ，７２ｂにおい
て、シフトレジスタ７１ａ，７１ｂの最終段（７１ａ
ｆ，７１ｂｆ）の出力アドレスと、前述の垂直（Ｖ）カ
ウント値及び水平（Ｈ）カウント値とが一致したと判断
した場合に、論理積回路７５及びレジスタ（DMA Req. T
rigger）７６を通じて欠陥画素タイミング（CCD Detect
Timing）信号を出力するようになっている。
【００９３】これと同時に、最終段のシフトレジスタ７
１ａｆ（ＨＣＲｅｇ０），７１ｂｆ（ＶＣＲｅｇ０）に
は、その１つ前段のシフトレジスタ７１ａｆ−１（ＨＣ
Ｒｅｇ１），７１ｂｆ−１（ＶＣＲｅｇ１）の値がロー
ドされる。また最前段のシフトレジスタ７１ａ１（ＨＣ
ＲｅｇＮ），７１ｂ１（ＶＣＲｅｇＮ）へはその前段の
１ｗｏｒｄ長のレジスタ（ＦＩＦＯ）７４を通じて得ら
れた主メモリ２９内の欠陥画素アドレス（DMA Data）が
ロードされる。
１ａｆ（ＨＣＲｅｇ０），７１ｂｆ（ＶＣＲｅｇ０）に
は、その１つ前段のシフトレジスタ７１ａｆ−１（ＨＣ
Ｒｅｇ１），７１ｂｆ−１（ＶＣＲｅｇ１）の値がロー
ドされる。また最前段のシフトレジスタ７１ａ１（ＨＣ
ＲｅｇＮ），７１ｂ１（ＶＣＲｅｇＮ）へはその前段の
１ｗｏｒｄ長のレジスタ（ＦＩＦＯ）７４を通じて得ら
れた主メモリ２９内の欠陥画素アドレス（DMA Data）が
ロードされる。
【００９４】ここで、欠陥画素アドレス（DMA Data）を
主メモリ２９から受け入れるためのレジスタ（ＦＩＦ
Ｏ）７４を単一にのみ設ける場合、レジスタ（ＦＩＦ
Ｏ）７４内の値を、新たに受け入れた欠陥画素アドレス
（DMA Data）の値に書き換える課程で様々に変化する。
その課程において、レジスタ７４内の値が一瞬でも偶然
に垂直（Ｖ）カウント値及び水平（Ｈ）カウント値と同
じ値になったときには、比較器７２ａ，７２ｂは誤って
肯定的な比較結果を出力してしまうおそれがある（ハザ
ードの発生の問題）。
主メモリ２９から受け入れるためのレジスタ（ＦＩＦ
Ｏ）７４を単一にのみ設ける場合、レジスタ（ＦＩＦ
Ｏ）７４内の値を、新たに受け入れた欠陥画素アドレス
（DMA Data）の値に書き換える課程で様々に変化する。
その課程において、レジスタ７４内の値が一瞬でも偶然
に垂直（Ｖ）カウント値及び水平（Ｈ）カウント値と同
じ値になったときには、比較器７２ａ，７２ｂは誤って
肯定的な比較結果を出力してしまうおそれがある（ハザ
ードの発生の問題）。
【００９５】しかしながら、この実施の形態では、レジ
スタ７４と比較器７２ａ，７２ｂとの間にシフトレジス
タ７１ａ，７１ｂを介在させているので、かかるハザー
ドの発生の問題を解消できる。具体的には、比較器７２
ａ，７２ｂへの入力はシフトレジスタ７１ａ，７１ｂの
最終段のシフトレジスタ７１ａｆ，７１ｂｆからの信号
が入力されるようになっており、レジスタ７４が直接比
較器７２ａ，７２ｂに接続される訳ではない。そして、
各シフトレジスタ７１ａ，７１ｂのシフトは、比較器７
２ａ，７２ｂでの比較結果が肯定的に得られた場合（一
致信号が出力される場合）に限り、この比較器７２ａ，
７２ｂからの出力信号に基づいたタイミングで実行され
るようになっている。この場合、比較器７２ａ，７２ｂ
で比較されるデータは常に最終段のシフトレジスタ７１
ａｆ，７１ｂｆからのものに限られるので、レジスタ７
４のデータがいつ書き換えられても、比較器７２ａ，７
２ｂから一致信号が出力されることはなく、故にハザー
ドの発生の問題を解消できる。
スタ７４と比較器７２ａ，７２ｂとの間にシフトレジス
タ７１ａ，７１ｂを介在させているので、かかるハザー
ドの発生の問題を解消できる。具体的には、比較器７２
ａ，７２ｂへの入力はシフトレジスタ７１ａ，７１ｂの
最終段のシフトレジスタ７１ａｆ，７１ｂｆからの信号
が入力されるようになっており、レジスタ７４が直接比
較器７２ａ，７２ｂに接続される訳ではない。そして、
各シフトレジスタ７１ａ，７１ｂのシフトは、比較器７
２ａ，７２ｂでの比較結果が肯定的に得られた場合（一
致信号が出力される場合）に限り、この比較器７２ａ，
７２ｂからの出力信号に基づいたタイミングで実行され
るようになっている。この場合、比較器７２ａ，７２ｂ
で比較されるデータは常に最終段のシフトレジスタ７１
ａｆ，７１ｂｆからのものに限られるので、レジスタ７
４のデータがいつ書き換えられても、比較器７２ａ，７
２ｂから一致信号が出力されることはなく、故にハザー
ドの発生の問題を解消できる。
【００９６】尚、シフトレジスタ７４からのロードが発
生する際には、比較器７２ａ，７２ｂからの一致信号に
応じて、レジスタ（DMA Req. Trigger）７６がＤＭＡコ
ントローラ３２（図１参照）に対して主メモリ２９内の
欠陥画素アドレス（DMA Data）についてのデータ転送要
求（DMA Request to DMA Controller）を発生する。こ
れに応答したＤＭＡによる実際のデータ転送は、次の欠
陥画素のタイミングまでに終了していればよい。尚、図
１６とは異なる例として、最終段のシフトレジスタ７１
ａｆ，７１ｂｆより前段のシフトレジスタ７１ａ１〜７
１ａｆ−１，７１ｂ１〜７１ｂｆ−１の動作をＤＭＡで
のデータ転送の完了信号で制御すれば、ＤＭＡによる実
際のデータ転送に関して、ある程度の時間的な余裕を稼
ぐことができる。
生する際には、比較器７２ａ，７２ｂからの一致信号に
応じて、レジスタ（DMA Req. Trigger）７６がＤＭＡコ
ントローラ３２（図１参照）に対して主メモリ２９内の
欠陥画素アドレス（DMA Data）についてのデータ転送要
求（DMA Request to DMA Controller）を発生する。こ
れに応答したＤＭＡによる実際のデータ転送は、次の欠
陥画素のタイミングまでに終了していればよい。尚、図
１６とは異なる例として、最終段のシフトレジスタ７１
ａｆ，７１ｂｆより前段のシフトレジスタ７１ａ１〜７
１ａｆ−１，７１ｂ１〜７１ｂｆ−１の動作をＤＭＡで
のデータ転送の完了信号で制御すれば、ＤＭＡによる実
際のデータ転送に関して、ある程度の時間的な余裕を稼
ぐことができる。
【００９７】また、ＤＭＡによるデータ転送を使用しな
い場合には、最終段のシフトレジスタ７１ａｆ，７１ｂ
ｆからの出力データを、セレクタ７７ａ，７７ｂによっ
て最前段の最前段のシフトレジスタ７１ａ１，７１ｂ１
に切り換えて入力しておくことにより、シフトレジスタ
７１ａ，７１ｂの段数分の数の欠陥画素を補正すること
が可能である。
い場合には、最終段のシフトレジスタ７１ａｆ，７１ｂ
ｆからの出力データを、セレクタ７７ａ，７７ｂによっ
て最前段の最前段のシフトレジスタ７１ａ１，７１ｂ１
に切り換えて入力しておくことにより、シフトレジスタ
７１ａ，７１ｂの段数分の数の欠陥画素を補正すること
が可能である。
【００９８】いずれの場合も、アドレスデータは、シフ
トレジスタ７１ａ，７１ｂの最終段のシフトレジスタ７
１ａｆ，７１ｂｆから遡って、主メモリ２９のアドレス
データまで発生時間順に並んでいることが必要となる。
トレジスタ７１ａ，７１ｂの最終段のシフトレジスタ７
１ａｆ，７１ｂｆから遡って、主メモリ２９のアドレス
データまで発生時間順に並んでいることが必要となる。
【００９９】このような構成により、容量の大きい主メ
モリ２９内に欠陥画素アドレスを格納することで、欠陥
画素の総数が例えば１０００個程度に多大な場合にも容
易に欠陥画素補正処理を行うことができる。そして、内
部のレジスタ７４，７６は図１６のように最低２つだけ
でよいので、予想される欠陥画素の総数分だけの数のレ
ジスタをＲＰＵ内部に持つ場合に比べて、回路規模を大
幅に削減できる。
モリ２９内に欠陥画素アドレスを格納することで、欠陥
画素の総数が例えば１０００個程度に多大な場合にも容
易に欠陥画素補正処理を行うことができる。そして、内
部のレジスタ７４，７６は図１６のように最低２つだけ
でよいので、予想される欠陥画素の総数分だけの数のレ
ジスタをＲＰＵ内部に持つ場合に比べて、回路規模を大
幅に削減できる。
【０１００】尚、画素補間・ガンマ処理部４２の色選択
ブロック６３は、「Ｇ」信号の高域成分（Ｇｈ）のみを
抜き出して色空間変換・色抑圧処理部４３に出力するよ
うになっている。
ブロック６３は、「Ｇ」信号の高域成分（Ｇｈ）のみを
抜き出して色空間変換・色抑圧処理部４３に出力するよ
うになっている。
【０１０１】次に、画素補間・ガンマ処理部４２のガン
マ補正機能について説明する。この画素補間・ガンマ処
理部４２では、図１７及び図１８の如く、入力データが
１２ビット信号となる１個のガンマ補正テーブル７８
（図１７）を、１０ビット×４（＝２12-10）個のガン
マ補正用ルックアップテーブル７８ａ〜７８ｄ（図１
８）として使用するようにしている。
マ補正機能について説明する。この画素補間・ガンマ処
理部４２では、図１７及び図１８の如く、入力データが
１２ビット信号となる１個のガンマ補正テーブル７８
（図１７）を、１０ビット×４（＝２12-10）個のガン
マ補正用ルックアップテーブル７８ａ〜７８ｄ（図１
８）として使用するようにしている。
【０１０２】即ち、アナログ信号処理回路２２でＡ／Ｄ
変換されたＣＣＤ２１は、単一画素処理部４１を経て、
画素補間・ガンマ処理部４２の画素補間処理を経た後
に、このガンマ補正処理が行われるが、このガンマ補正
処理に入力される入力データが１２ビット長のときに
は、この１２ビット長で入力された信号について、上述
のガンマ補正テーブル７８がメモリサイズとして４０９
６バイトの８ビット出力のものとして機能する一方、入
力データが１０ビットのときは、入力データの各色毎に
独立な１０ビット入力、８ビット出力の４個のガンマ補
正用ルックアップテーブルとして機能するルックアップ
テーブル（ＬＵＴ）として機能するようになっている。
変換されたＣＣＤ２１は、単一画素処理部４１を経て、
画素補間・ガンマ処理部４２の画素補間処理を経た後
に、このガンマ補正処理が行われるが、このガンマ補正
処理に入力される入力データが１２ビット長のときに
は、この１２ビット長で入力された信号について、上述
のガンマ補正テーブル７８がメモリサイズとして４０９
６バイトの８ビット出力のものとして機能する一方、入
力データが１０ビットのときは、入力データの各色毎に
独立な１０ビット入力、８ビット出力の４個のガンマ補
正用ルックアップテーブルとして機能するルックアップ
テーブル（ＬＵＴ）として機能するようになっている。
【０１０３】前段の画素補間処理を行った後、４色系の
画素データの場合は一度に４色の入力データが与えられ
ることになるため、ガンマ補正テーブル７８の入力ポー
トとして４つの入力ポートＩＰｏｒｔ１〜ＩＰｏｒｔ４
が用意されており、これに対応してガンマ補正テーブル
７８の出力ポートも４つの出力ポートＯＰｏｒｔ１〜Ｏ
Ｐｏｒｔ４が用意されている。
画素データの場合は一度に４色の入力データが与えられ
ることになるため、ガンマ補正テーブル７８の入力ポー
トとして４つの入力ポートＩＰｏｒｔ１〜ＩＰｏｒｔ４
が用意されており、これに対応してガンマ補正テーブル
７８の出力ポートも４つの出力ポートＯＰｏｒｔ１〜Ｏ
Ｐｏｒｔ４が用意されている。
【０１０４】一般に、入力データが１２ビット長の場合
は、ルックアップテーブル７８は１２ビット長のものが
必要とされる。ところで、１２ビット長の入力データか
ら８ビット長の出力信号へ変換するためのルックアップ
テーブル７８は、各色毎の非線形性が除去できないとい
う問題があるため、すべての色に対して１種類しか定義
することができない。この場合に、４色系の画素データ
を扱う場合は、４種類の１２ビット長のルックアップテ
ーブルを内蔵することが望ましいのであるが、この場合
は回路規模が４倍となり、消費電力等の点で問題とな
る。
は、ルックアップテーブル７８は１２ビット長のものが
必要とされる。ところで、１２ビット長の入力データか
ら８ビット長の出力信号へ変換するためのルックアップ
テーブル７８は、各色毎の非線形性が除去できないとい
う問題があるため、すべての色に対して１種類しか定義
することができない。この場合に、４色系の画素データ
を扱う場合は、４種類の１２ビット長のルックアップテ
ーブルを内蔵することが望ましいのであるが、この場合
は回路規模が４倍となり、消費電力等の点で問題とな
る。
【０１０５】一方、常に１２ビット長の入力データが要
求されるとは限らず、１０ビット長の入力データが適用
される場合もある。この場合に、上記の１２ビット長の
入力データの処理同様にデータを扱うとすれば、余剰ビ
ットが発生し、非効率であった。
求されるとは限らず、１０ビット長の入力データが適用
される場合もある。この場合に、上記の１２ビット長の
入力データの処理同様にデータを扱うとすれば、余剰ビ
ットが発生し、非効率であった。
【０１０６】そこで、この実施の形態に係るディジタル
スチルカメラでは、１２ビット長の入力データを扱う場
合には、ルックアップテーブル７８が単一の１２ビット
長ルックアップテーブルとして動作する一方、１０ビッ
ト長の入力データを扱う場合には、４色それぞれに独立
な４種類のルックアップテーブル７８ａ〜７８ｄを使用
することができるようになっている。
スチルカメラでは、１２ビット長の入力データを扱う場
合には、ルックアップテーブル７８が単一の１２ビット
長ルックアップテーブルとして動作する一方、１０ビッ
ト長の入力データを扱う場合には、４色それぞれに独立
な４種類のルックアップテーブル７８ａ〜７８ｄを使用
することができるようになっている。
【０１０７】具体的には、メモリサイズとして４０９６
バイトのルックアップテーブル７８を、予め４個の１０
２４バイトのルックアップテーブル７８ａ〜７８ｄに分
割して設計しておき、各ルックアップテーブル７８ａ〜
７８ｄの入力側において、上位２ビットの上位入力端子
（Upper）と、下位１０ビットの下位入力端子（Lower）
とを形成するとともに、上位２ビットの上位入力端子
（Upper）にはそれぞれセレクタ７９ａ〜７９ｄからの
出力信号が入力されるように接続しておき、この各セレ
クタ７９ａ，７９ｂにおいて、各ルックアップテーブル
７８ａ〜７８ｄのポート番号（０ｘ０〜０ｘ３）（Ａ入
力端子）と入力データの上位２ビットの値（Ｂ入力端
子）とを選択できるようになっている。そして、１２ビ
ット長の入力データを扱う場合には、ＣＰＵ２４等によ
る制御切換でセレクタ７９ａ〜７９ｄをＢ入力端子側
（入力データの上位２ビットの値）に切り換える一方、
１０ビット長の入力データを扱う場合には、同様にして
セレクタ７９ａ〜７９ｄをＡ入力端子側（各ルックアッ
プテーブル７８ａ〜７８ｄのポート番号（０ｘ０〜０ｘ
３））に切り換えるようになっている。
バイトのルックアップテーブル７８を、予め４個の１０
２４バイトのルックアップテーブル７８ａ〜７８ｄに分
割して設計しておき、各ルックアップテーブル７８ａ〜
７８ｄの入力側において、上位２ビットの上位入力端子
（Upper）と、下位１０ビットの下位入力端子（Lower）
とを形成するとともに、上位２ビットの上位入力端子
（Upper）にはそれぞれセレクタ７９ａ〜７９ｄからの
出力信号が入力されるように接続しておき、この各セレ
クタ７９ａ，７９ｂにおいて、各ルックアップテーブル
７８ａ〜７８ｄのポート番号（０ｘ０〜０ｘ３）（Ａ入
力端子）と入力データの上位２ビットの値（Ｂ入力端
子）とを選択できるようになっている。そして、１２ビ
ット長の入力データを扱う場合には、ＣＰＵ２４等によ
る制御切換でセレクタ７９ａ〜７９ｄをＢ入力端子側
（入力データの上位２ビットの値）に切り換える一方、
１０ビット長の入力データを扱う場合には、同様にして
セレクタ７９ａ〜７９ｄをＡ入力端子側（各ルックアッ
プテーブル７８ａ〜７８ｄのポート番号（０ｘ０〜０ｘ
３））に切り換えるようになっている。
【０１０８】これにより、１２ビット長の入力データを
扱う場合には、セレクタ７９ａ〜７９ｄのＢ入力端子側
への切り換えにより入力データの上位２ビットの値が各
ルックアップテーブル７８ａ〜７８ｄの上位２ビットの
上位入力端子（Upper）に入力され、また入力データの
下位１０ビットの値が各ルックアップテーブル７８ａ〜
７８ｄの下位１０ビットの下位入力端子（Lower）にそ
のまま入力される。
扱う場合には、セレクタ７９ａ〜７９ｄのＢ入力端子側
への切り換えにより入力データの上位２ビットの値が各
ルックアップテーブル７８ａ〜７８ｄの上位２ビットの
上位入力端子（Upper）に入力され、また入力データの
下位１０ビットの値が各ルックアップテーブル７８ａ〜
７８ｄの下位１０ビットの下位入力端子（Lower）にそ
のまま入力される。
【０１０９】一方、１０ビット長の入力データを扱う場
合には、セレクタ７９ａ〜７９ｄのＡ入力端子側への切
り換えにより入力データの各ルックアップテーブル７８
ａ〜７８ｄのポート番号（０ｘ０〜０ｘ３）が各ルック
アップテーブル７８ａ〜７８ｄの上位２ビットの上位入
力端子（Upper）に入力され、また入力データの下位１
０ビットの値が各ルックアップテーブル７８ａ〜７８ｄ
の下位１０ビットの下位入力端子（Lower）にそのまま
入力される。
合には、セレクタ７９ａ〜７９ｄのＡ入力端子側への切
り換えにより入力データの各ルックアップテーブル７８
ａ〜７８ｄのポート番号（０ｘ０〜０ｘ３）が各ルック
アップテーブル７８ａ〜７８ｄの上位２ビットの上位入
力端子（Upper）に入力され、また入力データの下位１
０ビットの値が各ルックアップテーブル７８ａ〜７８ｄ
の下位１０ビットの下位入力端子（Lower）にそのまま
入力される。
【０１１０】これにより、１０ビット長の入力データを
扱う場合には、４色すべての色に対してそれぞれ１０ビ
ット長（１０２４ビット）のルックアップテーブル７８
ａ〜７８ｄを互いに独立に且つ任意に定義できる。
扱う場合には、４色すべての色に対してそれぞれ１０ビ
ット長（１０２４ビット）のルックアップテーブル７８
ａ〜７８ｄを互いに独立に且つ任意に定義できる。
【０１１１】また、このガンマ補正処理における入力デ
ータは、図１４の如く、主メモリ２９内に格納されてい
る画素データがＦＩＦＯ７３及びカラーサンプリングモ
ジュール（Color Over Sampling Module）７４を通じて
セレクタ７９ａ〜７９ｄに入力されるようになってお
り、これにより、一旦主メモリ２９内に格納した画像に
対して、上記のリアルタイムによるガンマ補正処理と同
様の処理をいつでも行えるようになっている（ポスト処
理：Post Processing）。
ータは、図１４の如く、主メモリ２９内に格納されてい
る画素データがＦＩＦＯ７３及びカラーサンプリングモ
ジュール（Color Over Sampling Module）７４を通じて
セレクタ７９ａ〜７９ｄに入力されるようになってお
り、これにより、一旦主メモリ２９内に格納した画像に
対して、上記のリアルタイムによるガンマ補正処理と同
様の処理をいつでも行えるようになっている（ポスト処
理：Post Processing）。
【０１１２】尚、ここでのガンマ補正処理を、上述の画
素補間処理より前段階で実行する場合は、入力ポートと
して１つの入力ポート及び１つの出力ポートのみを容易
するだけでよい。この場合は、かかる１つの入力ポート
及び１つの出力ポートに対してセレクタ（図示せず）を
設置し、このセレクタによりデータを４色に振り分け
て、４種類のルックアップテーブル７８ａ〜７８ｄに対
して入出力するようにすればよい。したがって、この場
合でも、ルックアップテーブル７８（７８ａ〜７８ｄ）
自体の構造は、図１７及び図１８に示したものと同様と
なる。
素補間処理より前段階で実行する場合は、入力ポートと
して１つの入力ポート及び１つの出力ポートのみを容易
するだけでよい。この場合は、かかる１つの入力ポート
及び１つの出力ポートに対してセレクタ（図示せず）を
設置し、このセレクタによりデータを４色に振り分け
て、４種類のルックアップテーブル７８ａ〜７８ｄに対
して入出力するようにすればよい。したがって、この場
合でも、ルックアップテーブル７８（７８ａ〜７８ｄ）
自体の構造は、図１７及び図１８に示したものと同様と
なる。
【０１１３】また、ここでは、１２ビット長と１０ビッ
ト長の両方の入力データに対応できるルックアップテー
ブルについて説明したが、必ずしもこれに限定されるも
のではなく、一般に入力データがＮビット長の場合は、
このＮビット長の処理を行うガンマ補正テーブル７８と
して機能し、入力データが（Ｎ−２）ビット長のとき
は、４（＝２N-(N-2)）個のガンマ補正用ルックアップ
テーブル７８ａ〜７８ｄとして機能するようにすればよ
い。これによって、それぞれの入力データのビット長に
合わせて、余剰ビットが生じることなく、同一のルック
アップテーブル７８（７８ａ〜７８ｄ）を有効に活用す
ることができる。
ト長の両方の入力データに対応できるルックアップテー
ブルについて説明したが、必ずしもこれに限定されるも
のではなく、一般に入力データがＮビット長の場合は、
このＮビット長の処理を行うガンマ補正テーブル７８と
して機能し、入力データが（Ｎ−２）ビット長のとき
は、４（＝２N-(N-2)）個のガンマ補正用ルックアップ
テーブル７８ａ〜７８ｄとして機能するようにすればよ
い。これによって、それぞれの入力データのビット長に
合わせて、余剰ビットが生じることなく、同一のルック
アップテーブル７８（７８ａ〜７８ｄ）を有効に活用す
ることができる。
【０１１４】＜色空間変換・色抑圧処理部４３の構成及
び動作＞ この色空間変換・色抑圧処理部４３は、３色系のＲＧＢ
−Ｂａｙｅｒまたは４色系の補色タイプ（ＹＭＣＧ系
等）の画素データを、例えば、ＹＣｒＣｂ等の所定の色
空間に変換する色空間変換機能と、さらに画像中の明部
と暗部の色抑圧（クロマサプレス：偽色防止）を行う色
抑圧機能とを備えたものである。
び動作＞ この色空間変換・色抑圧処理部４３は、３色系のＲＧＢ
−Ｂａｙｅｒまたは４色系の補色タイプ（ＹＭＣＧ系
等）の画素データを、例えば、ＹＣｒＣｂ等の所定の色
空間に変換する色空間変換機能と、さらに画像中の明部
と暗部の色抑圧（クロマサプレス：偽色防止）を行う色
抑圧機能とを備えたものである。
【０１１５】色空間変換・色抑圧処理部４３の色空間変
換機能は、上述のように、３色系のＲＧＢ−Ｂａｙｅｒ
または４色系の補色タイプ（ＹＭＣＧ系等）の画素デー
タを、例えば、ＹＣｒＣｂ等の所定の色空間に変換する
機能であるが、特に３色系の処理と４色系の処理の両方
を扱えるようになっており、さらに３色系の処理を行う
場合に、４色目の色データ領域の信号を各画素の「特徴
データ（ＫＥＹ信号）」として使用できるようにしたも
のである。
換機能は、上述のように、３色系のＲＧＢ−Ｂａｙｅｒ
または４色系の補色タイプ（ＹＭＣＧ系等）の画素デー
タを、例えば、ＹＣｒＣｂ等の所定の色空間に変換する
機能であるが、特に３色系の処理と４色系の処理の両方
を扱えるようになっており、さらに３色系の処理を行う
場合に、４色目の色データ領域の信号を各画素の「特徴
データ（ＫＥＹ信号）」として使用できるようにしたも
のである。
【０１１６】例えばＲＧＢ−Ｂａｙｅｒの場合、
「Ｒ」，「Ｇ」，「Ｂ」の各８ビット長の信号に「特徴
データ」としての８ビット長の信号を追加した合計３２
（＝８×４）ビット長の信号を、４色信号として主メモ
リ２９内に配置し、リアルタイムプロセッシングユニッ
ト２３の処理過程で、「特徴データ」を各画素毎の例え
ば「強調成分」等の「特徴データ」として使用する。
「Ｒ」，「Ｇ」，「Ｂ」の各８ビット長の信号に「特徴
データ」としての８ビット長の信号を追加した合計３２
（＝８×４）ビット長の信号を、４色信号として主メモ
リ２９内に配置し、リアルタイムプロセッシングユニッ
ト２３の処理過程で、「特徴データ」を各画素毎の例え
ば「強調成分」等の「特徴データ」として使用する。
【０１１７】一般に、３色系処理と４色系処理の両方を
扱える処理回路においては、３色系の処理を行う場合
に、３色の画素データを主メモリ内に詰めて格納する
か、４色目のデータを無視して処理する方法が考えられ
るが、特に後者の場合は、主メモリや処理回路を有効に
活用できないという問題がある旨は前述の通りである。
そこで、この実施の形態に係るディジタルスチルカメラ
では、４色処理の主メモリ２９の中に３色系の画素デー
タを格納する場合に、４色目に相当する領域に各画素を
画素毎に特徴づけるための「特徴データ」を併せて格納
し、後に再びリアルタイムプロセッシングユニット２３
での何らかの処理に使用したり、あるいは一旦主メモリ
２９内に格納した後にＣＰＵ２４でのソフトウェア処理
で活用したりすることによって、各種の非線型処理や画
素単位処理を非常に高速に行うことが可能となるもので
ある。
扱える処理回路においては、３色系の処理を行う場合
に、３色の画素データを主メモリ内に詰めて格納する
か、４色目のデータを無視して処理する方法が考えられ
るが、特に後者の場合は、主メモリや処理回路を有効に
活用できないという問題がある旨は前述の通りである。
そこで、この実施の形態に係るディジタルスチルカメラ
では、４色処理の主メモリ２９の中に３色系の画素デー
タを格納する場合に、４色目に相当する領域に各画素を
画素毎に特徴づけるための「特徴データ」を併せて格納
し、後に再びリアルタイムプロセッシングユニット２３
での何らかの処理に使用したり、あるいは一旦主メモリ
２９内に格納した後にＣＰＵ２４でのソフトウェア処理
で活用したりすることによって、各種の非線型処理や画
素単位処理を非常に高速に行うことが可能となるもので
ある。
【０１１８】具体的には、この色空間変換・色抑圧処理
部４３は、図１９の如く、画素補間・ガンマ処理部４２
のガンマ補正テーブル７８から出力されてきた画素デー
タの４色目の成分と、画素補間・ガンマ処理部４２の色
選択ブロック６３から出力されてきた「Ｇ」信号の高域
成分（Ｇｈ信号）とを選択するセレクタ８１と、このセ
レクタ８１で選択された側のデータが格納される特徴デ
ータ用ルックアップテーブル（8 to 8 LUT）８２と、画
素補間・ガンマ処理部４２のガンマ補正テーブル７８か
ら出力されてきた画素データの１色目から３色目までの
各成分及びセレクタ８１で選択された側のデータに基づ
いてＹＣｒＣｂ等の輝度成分（ＹＣｒＣｂ空間において
は「Ｙ」成分）を有する所定の３成分色空間への変換を
行う色空間変換回路８３と、ＹＣｒＣｂ等の所定の３成
分色空間のうちの輝度成分（「Ｙ」成分）のみが入力さ
れる輝度用ルックアップテーブル（8 to 8 LUT）８４
と、色空間変換回路８３からの３成分（例えば「Ｙ」
「Ｃｒ」「Ｃｂ」）が入力されて当該３成分によりＣＣ
Ｄ２１の撮像時の露出決定（オートエクスポージャー）
のための評価値を出力する露出決定評価器（AE Evaluat
ion Value Detector）８５と、露出決定評価器８５から
出力された３成分（例えば「Ｙ」「Ｃｒ」「Ｃｂ」）の
それぞれに対して輝度用ルックアップテーブル８４内の
輝度データを用いて変調する３個の乗算器８６ａ〜８６
ｃと、各乗算器８６ａ〜８６ｃを経由した３成分（例え
ば「Ｙ」「Ｃｒ」「Ｃｂ」）のそれぞれに対して特徴デ
ータ用ルックアップテーブル８２内で変換された特徴デ
ータを用いて変調する３個の乗算器８７ａ〜８７ｃとを
備える。
部４３は、図１９の如く、画素補間・ガンマ処理部４２
のガンマ補正テーブル７８から出力されてきた画素デー
タの４色目の成分と、画素補間・ガンマ処理部４２の色
選択ブロック６３から出力されてきた「Ｇ」信号の高域
成分（Ｇｈ信号）とを選択するセレクタ８１と、このセ
レクタ８１で選択された側のデータが格納される特徴デ
ータ用ルックアップテーブル（8 to 8 LUT）８２と、画
素補間・ガンマ処理部４２のガンマ補正テーブル７８か
ら出力されてきた画素データの１色目から３色目までの
各成分及びセレクタ８１で選択された側のデータに基づ
いてＹＣｒＣｂ等の輝度成分（ＹＣｒＣｂ空間において
は「Ｙ」成分）を有する所定の３成分色空間への変換を
行う色空間変換回路８３と、ＹＣｒＣｂ等の所定の３成
分色空間のうちの輝度成分（「Ｙ」成分）のみが入力さ
れる輝度用ルックアップテーブル（8 to 8 LUT）８４
と、色空間変換回路８３からの３成分（例えば「Ｙ」
「Ｃｒ」「Ｃｂ」）が入力されて当該３成分によりＣＣ
Ｄ２１の撮像時の露出決定（オートエクスポージャー）
のための評価値を出力する露出決定評価器（AE Evaluat
ion Value Detector）８５と、露出決定評価器８５から
出力された３成分（例えば「Ｙ」「Ｃｒ」「Ｃｂ」）の
それぞれに対して輝度用ルックアップテーブル８４内の
輝度データを用いて変調する３個の乗算器８６ａ〜８６
ｃと、各乗算器８６ａ〜８６ｃを経由した３成分（例え
ば「Ｙ」「Ｃｒ」「Ｃｂ」）のそれぞれに対して特徴デ
ータ用ルックアップテーブル８２内で変換された特徴デ
ータを用いて変調する３個の乗算器８７ａ〜８７ｃとを
備える。
【０１１９】このように、セレクタ８１で選択した４色
目の色成分を特徴データ用ルックアップテーブル８２に
特徴データとして入力し、この特徴データを用いて３個
の画素データのそれぞれの変調を容易に行うことができ
る。これにより、例えば所定の空間フィルタを設け、こ
の空間フィルタにより特定の周波数（高周波成分等）に
注目した値を４色目のデータとして抽出し、その特定の
周波数の値が所定のスレッシュレベルより大きい場合等
に色信号抑圧等の様々な例外的画像処理を容易に実行で
きる。あるいは、図１９には図示していないが、特徴デ
ータに所定の係数を積算した後、加算器を用いて３個の
画素データに加算するようなことも容易に可能となる。
さらに、図１９には図示していないが、画素データの３
成分（例えば「Ｙ」「Ｃｒ」「Ｃｂ」）に加えて、特徴
データ（４色目の信号）をメインバス２８を通じて主メ
モリ２９に格納することが可能となり、この一旦主メモ
リ２９に格納されたデータ中の特徴データについていつ
でも容易に様々な例外的画像処理を行うことができる。
この場合は、ＣＰＵ２４でのソフトウェア処理で活用し
てもよいし、また、４色目のデータとして主メモリ２９
内に一旦格納した後に再度リアルタイムプロセッシング
ユニット２３で活用してもよいものである。
目の色成分を特徴データ用ルックアップテーブル８２に
特徴データとして入力し、この特徴データを用いて３個
の画素データのそれぞれの変調を容易に行うことができ
る。これにより、例えば所定の空間フィルタを設け、こ
の空間フィルタにより特定の周波数（高周波成分等）に
注目した値を４色目のデータとして抽出し、その特定の
周波数の値が所定のスレッシュレベルより大きい場合等
に色信号抑圧等の様々な例外的画像処理を容易に実行で
きる。あるいは、図１９には図示していないが、特徴デ
ータに所定の係数を積算した後、加算器を用いて３個の
画素データに加算するようなことも容易に可能となる。
さらに、図１９には図示していないが、画素データの３
成分（例えば「Ｙ」「Ｃｒ」「Ｃｂ」）に加えて、特徴
データ（４色目の信号）をメインバス２８を通じて主メ
モリ２９に格納することが可能となり、この一旦主メモ
リ２９に格納されたデータ中の特徴データについていつ
でも容易に様々な例外的画像処理を行うことができる。
この場合は、ＣＰＵ２４でのソフトウェア処理で活用し
てもよいし、また、４色目のデータとして主メモリ２９
内に一旦格納した後に再度リアルタイムプロセッシング
ユニット２３で活用してもよいものである。
【０１２０】また、上述のように、図２０の如く、セレ
クタ８１での選択動作により、ガンマ補正テーブル７８
からの入力データの４色目の信号（「色４」）と、色選
択ブロック６３より出力されるグリーン（Ｇ）の高域成
分（Ｇｈ信号）を特徴データ用ルックアップテーブル８
２に入力し、ここからの出力を露出決定評価器８５から
出力された３成分（例えば「Ｙ」「Ｃｒ」「Ｃｂ」）の
それぞれに対し乗算するかどうかを決定するようにして
いるので、実際に搭載するＣＣＤ２１の光学的特性に適
するようにセレクタ８１での選択を行い、上述のポスト
処理（Post Processing）における「Ｙ」または「Ｃ
ｒ」「Ｃｂ」の画素毎の変調等の処理を、ＣＰＵ２４で
のソフトウェア処理に依らずに高速に行うことができ
る。
クタ８１での選択動作により、ガンマ補正テーブル７８
からの入力データの４色目の信号（「色４」）と、色選
択ブロック６３より出力されるグリーン（Ｇ）の高域成
分（Ｇｈ信号）を特徴データ用ルックアップテーブル８
２に入力し、ここからの出力を露出決定評価器８５から
出力された３成分（例えば「Ｙ」「Ｃｒ」「Ｃｂ」）の
それぞれに対し乗算するかどうかを決定するようにして
いるので、実際に搭載するＣＣＤ２１の光学的特性に適
するようにセレクタ８１での選択を行い、上述のポスト
処理（Post Processing）における「Ｙ」または「Ｃ
ｒ」「Ｃｂ」の画素毎の変調等の処理を、ＣＰＵ２４で
のソフトウェア処理に依らずに高速に行うことができ
る。
【０１２１】また、色選択ブロック（画素補間ブロッ
ク）６３から出力される「Ｇｈ」信号をセレクタ８１ａ
で選択して色空間変換回路８３の４色目に入力できるよ
うにしている。これにより、例えばＲＧＢ−Ｂａｙｅｒ
のような３色系画素配列のデータ処理時には、「Ｇｈ」
信号の成分を色空間変換回路８３において各色成分に任
意に加算することができる。もともと、グリーン（Ｇ）
の画素成分は、「Ｙ（輝度）（＝０．６Ｇ＋０．３Ｒ＋
０．１Ｂ）」信号の生成過程において、６割の重み付け
がなされるため、輝度表示への寄与率が高い。そして、
「Ｇ」成分の高域信号である「Ｇｈ」信号は、「Ｙ（輝
度）」信号の高域成分としてそのまま使用することも可
能である。したがって、この「Ｇｈ」信号を各色成分へ
容易に加算することができる。例えば、ＲＧＢ−Ｂａｙ
ｅｒの場合、「Ｒ」，「Ｇ」，「Ｂ」の各成分に「Ｇ
ｈ」信号の成分を一種の輝度特性として一定の係数で足
し込めば、そのまま各成分の輝度の調整が容易に可能と
なる。
ク）６３から出力される「Ｇｈ」信号をセレクタ８１ａ
で選択して色空間変換回路８３の４色目に入力できるよ
うにしている。これにより、例えばＲＧＢ−Ｂａｙｅｒ
のような３色系画素配列のデータ処理時には、「Ｇｈ」
信号の成分を色空間変換回路８３において各色成分に任
意に加算することができる。もともと、グリーン（Ｇ）
の画素成分は、「Ｙ（輝度）（＝０．６Ｇ＋０．３Ｒ＋
０．１Ｂ）」信号の生成過程において、６割の重み付け
がなされるため、輝度表示への寄与率が高い。そして、
「Ｇ」成分の高域信号である「Ｇｈ」信号は、「Ｙ（輝
度）」信号の高域成分としてそのまま使用することも可
能である。したがって、この「Ｇｈ」信号を各色成分へ
容易に加算することができる。例えば、ＲＧＢ−Ｂａｙ
ｅｒの場合、「Ｒ」，「Ｇ」，「Ｂ」の各成分に「Ｇ
ｈ」信号の成分を一種の輝度特性として一定の係数で足
し込めば、そのまま各成分の輝度の調整が容易に可能と
なる。
【０１２２】ここで、一般に、Ｇｈ等の高域成分を
「Ｙ」信号に独立加算すると、ゲイン調整用の乗算器と
Ｙ信号等への加算器が独立に必要となってしまい、回路
規模が増大してしまう。その一方、４色系の処理も行な
える色空間変換回路の場合、この色空間変換回路が４成
分の入力機能を持っているのが常であるが、ＲＧＢ−Ｂ
ａｙｅｒのような３色系画素配列のデータ処理に対して
は、４色目の係数は通常すべて「０」に設定され使用し
ておらず、余剰な入力端子となって非効率である。この
ことを考慮し、この実施の形態では、「Ｇｈ」信号をこ
の４色目の色成分としてセレクタ８１で選択的に入力で
きるようにすることによって、ＲＧＢ−Ｂａｙｅｒのよ
うな３色系画素配列のデータ処理においても、乗算器，
加算器を追加せずに、「Ｇｈ」信号のゲイン調整と各色
成分への加算が達成できる。
「Ｙ」信号に独立加算すると、ゲイン調整用の乗算器と
Ｙ信号等への加算器が独立に必要となってしまい、回路
規模が増大してしまう。その一方、４色系の処理も行な
える色空間変換回路の場合、この色空間変換回路が４成
分の入力機能を持っているのが常であるが、ＲＧＢ−Ｂ
ａｙｅｒのような３色系画素配列のデータ処理に対して
は、４色目の係数は通常すべて「０」に設定され使用し
ておらず、余剰な入力端子となって非効率である。この
ことを考慮し、この実施の形態では、「Ｇｈ」信号をこ
の４色目の色成分としてセレクタ８１で選択的に入力で
きるようにすることによって、ＲＧＢ−Ｂａｙｅｒのよ
うな３色系画素配列のデータ処理においても、乗算器，
加算器を追加せずに、「Ｇｈ」信号のゲイン調整と各色
成分への加算が達成できる。
【０１２３】色空間変換・色抑圧処理部４３の輝度用ル
ックアップテーブル（8 to 8 LUT）８４は、色空間変換
回路８３から出力される「Ｙ（輝度成分）」「Ｃｒ（第
一色信号）」「Ｃｂ（第二色信号）」の色空間領域の信
号において、特に「Ｙ」信号のみが入力され、その出力
を露出決定評価器８５からの「Ｙ」，「Ｃｒ」，「Ｃ
ｂ」の各成分に対して乗算するかどうかを決定する機能
を有している。
ックアップテーブル（8 to 8 LUT）８４は、色空間変換
回路８３から出力される「Ｙ（輝度成分）」「Ｃｒ（第
一色信号）」「Ｃｂ（第二色信号）」の色空間領域の信
号において、特に「Ｙ」信号のみが入力され、その出力
を露出決定評価器８５からの「Ｙ」，「Ｃｒ」，「Ｃ
ｂ」の各成分に対して乗算するかどうかを決定する機能
を有している。
【０１２４】そして、特に「Ｃｒ」信号及び「Ｃｂ」信
号の乗算をＯＮにし、「Ｙ」信号の乗算をＯＦＦにした
場合は、暗部と明部の色抑圧（クロマサプレス）等を行
うことができる（色抑圧機能）ものである。
号の乗算をＯＮにし、「Ｙ」信号の乗算をＯＦＦにした
場合は、暗部と明部の色抑圧（クロマサプレス）等を行
うことができる（色抑圧機能）ものである。
【０１２５】一般に、画像中の暗部は、様々なノイズの
影響を受けやすい性質があり、故に暗部ではできるだけ
発色を抑制することが自然な画質を出力することにつな
がる。一方、画像中の明部は、これを撮像したＣＣＤ２
１やその他の種々のハードウェア部品の特性に応じて変
調がかかりやすい部分であり、ホワイトバランスが狂い
やすい部分であるため、やはりできるだけ発色を抑制す
ることが自然な画質を出力することに寄与する。これら
のことを考慮し、画像中の明部と暗部において発色を抑
制するのが色抑圧（クロマサプレス）機能の目的であ
る。尚、図２１はクロマサプレス処理時の動作例を示す
ブロック図である。ここでは、色空間変換回路８３中に
示した各演算関数に基づいて「色１」〜「色４」までの
４色の成分を「Ｙ」，「Ｃｒ」，「Ｃｂ」の各成分に変
換した後、「Ｙ」信号のみを輝度用ルックアップテーブ
ル８４に留保し、これを各乗算器８６ａ〜８６ｃで
「Ｙ」以外の各成分「Ｃｒ」，「Ｃｂ」に乗算してい
る。
影響を受けやすい性質があり、故に暗部ではできるだけ
発色を抑制することが自然な画質を出力することにつな
がる。一方、画像中の明部は、これを撮像したＣＣＤ２
１やその他の種々のハードウェア部品の特性に応じて変
調がかかりやすい部分であり、ホワイトバランスが狂い
やすい部分であるため、やはりできるだけ発色を抑制す
ることが自然な画質を出力することに寄与する。これら
のことを考慮し、画像中の明部と暗部において発色を抑
制するのが色抑圧（クロマサプレス）機能の目的であ
る。尚、図２１はクロマサプレス処理時の動作例を示す
ブロック図である。ここでは、色空間変換回路８３中に
示した各演算関数に基づいて「色１」〜「色４」までの
４色の成分を「Ｙ」，「Ｃｒ」，「Ｃｂ」の各成分に変
換した後、「Ｙ」信号のみを輝度用ルックアップテーブ
ル８４に留保し、これを各乗算器８６ａ〜８６ｃで
「Ｙ」以外の各成分「Ｃｒ」，「Ｃｂ」に乗算してい
る。
【０１２６】一般に、例えばクロマサプレス処理の場
合、画像中の明部のクロマサプレスを行うためには、
「Ｙ」信号を一定のしきい値と比較し、「Ｙ」信号があ
る一定レベルを超えたところで「Ｙ」信号の傾きを変更
するようにした演算回路を使用する方法がある。また、
画像中の暗部でのクロマサプレスを行う場合、明部の回
路と独立にサプレス回路を追加して設置することが多
い。しかしながら、このような一般的な方法では、回路
点数が多大となり、回路構成の複雑化によりコストが上
昇し、また回路の面積効率も良いものとは言えない。
合、画像中の明部のクロマサプレスを行うためには、
「Ｙ」信号を一定のしきい値と比較し、「Ｙ」信号があ
る一定レベルを超えたところで「Ｙ」信号の傾きを変更
するようにした演算回路を使用する方法がある。また、
画像中の暗部でのクロマサプレスを行う場合、明部の回
路と独立にサプレス回路を追加して設置することが多
い。しかしながら、このような一般的な方法では、回路
点数が多大となり、回路構成の複雑化によりコストが上
昇し、また回路の面積効率も良いものとは言えない。
【０１２７】これに対し、この実施の形態に係るディジ
タルスチルカメラでは、「Ｙ」信号を８ビット信号とし
て輝度用ルックアップテーブル（8 to 8 LUT）８４に入
力し、ここから８ビット出力信号として出力するように
しているので、「Ｙ」信号，「Ｃｒ」信号，「Ｃｂ」信
号にのそれぞれに対して独立に乗算することができる。
これにより、画像中の暗部及び明部のクロマサプレスを
単一の回路で行うことができるようになる。
タルスチルカメラでは、「Ｙ」信号を８ビット信号とし
て輝度用ルックアップテーブル（8 to 8 LUT）８４に入
力し、ここから８ビット出力信号として出力するように
しているので、「Ｙ」信号，「Ｃｒ」信号，「Ｃｂ」信
号にのそれぞれに対して独立に乗算することができる。
これにより、画像中の暗部及び明部のクロマサプレスを
単一の回路で行うことができるようになる。
【０１２８】ここで、このクロマサプレス処理につい
て、例えば、ＣＰＵ２４でのソフトウェア処理でＧｈ信
号等の高域信号を所定のしきい値と比較し、高域信号が
その閾値を超えていればクロマサプレスを行うようにす
る場合を考えると、このＣＰＵ２４での処理ではクロマ
サプレスの方法が固定され、特定の画像で色の付くべき
領域に色がつかない等の不具合を発生していた。これら
の場合はソフトウェアで色の抑圧を行なう等の方法で対
応していたが、処理時間が非常に長くなってしまい問題
となっていた。
て、例えば、ＣＰＵ２４でのソフトウェア処理でＧｈ信
号等の高域信号を所定のしきい値と比較し、高域信号が
その閾値を超えていればクロマサプレスを行うようにす
る場合を考えると、このＣＰＵ２４での処理ではクロマ
サプレスの方法が固定され、特定の画像で色の付くべき
領域に色がつかない等の不具合を発生していた。これら
の場合はソフトウェアで色の抑圧を行なう等の方法で対
応していたが、処理時間が非常に長くなってしまい問題
となっていた。
【０１２９】しかしながら、この実施の形態では、一旦
主メモリ２９内に画像を格納し、ＣＰＵ２４等により画
素毎にで特徴データを付加して再び主メモリ２９内に格
納した後、さらにリアルタイムプロセッシングユニット
２３での処理を行うことができるようになっているの
で、一つの回路で状況に応じてＧｈ成分によるクロマサ
プレスとソフトウェアで生成された特徴データ信号によ
るクロマサプレスをリアルタイム処理にてスピードの低
下を発生させずに使用することができる。
主メモリ２９内に画像を格納し、ＣＰＵ２４等により画
素毎にで特徴データを付加して再び主メモリ２９内に格
納した後、さらにリアルタイムプロセッシングユニット
２３での処理を行うことができるようになっているの
で、一つの回路で状況に応じてＧｈ成分によるクロマサ
プレスとソフトウェアで生成された特徴データ信号によ
るクロマサプレスをリアルタイム処理にてスピードの低
下を発生させずに使用することができる。
【０１３０】また、色空間変換回路８３からの「Ｙ」信
号の乗算のみをＯＮにすることで、「Ｙ」信号に対して
のみガンマ変換を行うことができるものである（ガンマ
変換機能）。ここで、図２２はガンマ変換処理時の動作
を示すブロック図である。ここでは、色空間変換回路８
３中に示した各演算式に基づいて「色１」〜「色４」ま
での４色の成分を「Ｙ」，「Ｃｒ」，「Ｃｂ」の各成分
に変換した後、「Ｙ」信号のみを輝度用ルックアップテ
ーブル８４に留保し、これを各乗算器８６ａ〜８６ｃで
各成分「Ｙ」，「Ｃｒ」，「Ｃｂ」のすべてにそれぞれ
乗算している。
号の乗算のみをＯＮにすることで、「Ｙ」信号に対して
のみガンマ変換を行うことができるものである（ガンマ
変換機能）。ここで、図２２はガンマ変換処理時の動作
を示すブロック図である。ここでは、色空間変換回路８
３中に示した各演算式に基づいて「色１」〜「色４」ま
での４色の成分を「Ｙ」，「Ｃｒ」，「Ｃｂ」の各成分
に変換した後、「Ｙ」信号のみを輝度用ルックアップテ
ーブル８４に留保し、これを各乗算器８６ａ〜８６ｃで
各成分「Ｙ」，「Ｃｒ」，「Ｃｂ」のすべてにそれぞれ
乗算している。
【０１３１】そして、かかるガンマ変換処理と上述のク
ロマサプレス処理とを同一の回路で行っているので、回
路構成は非常に簡単なものでよい。特に、２個の輝度用
ルックアップテーブル（8 to 8 LUT）８４を独立に持て
ば、色抑圧機能とガンマ変換機能の両者を同時に発揮す
ることができる。一般のリアルタイムプロセッシングユ
ニットでは、この「クロマサプレス」と「ガンマ補正」
の２つの機能を持たせる場合はこれらの機能を同時に使
用できないという不都合が生じるが、この実施の形態に
係るディジタルスチルカメラのリアルタイムプロセッシ
ングユニット２３では、一旦リアルタイムプロセッシン
グユニット２３で処理された画素データについて、主メ
モリ２９及びメインバス２８を通じてダイレクトメモリ
アクセス（ＤＭＡ）により何度でも繰り返しリアルタイ
ムプロセッシングユニット２３を通過させることができ
るので、それぞれを別のパスに分けて使用することで、
不都合なく処理することができる。
ロマサプレス処理とを同一の回路で行っているので、回
路構成は非常に簡単なものでよい。特に、２個の輝度用
ルックアップテーブル（8 to 8 LUT）８４を独立に持て
ば、色抑圧機能とガンマ変換機能の両者を同時に発揮す
ることができる。一般のリアルタイムプロセッシングユ
ニットでは、この「クロマサプレス」と「ガンマ補正」
の２つの機能を持たせる場合はこれらの機能を同時に使
用できないという不都合が生じるが、この実施の形態に
係るディジタルスチルカメラのリアルタイムプロセッシ
ングユニット２３では、一旦リアルタイムプロセッシン
グユニット２３で処理された画素データについて、主メ
モリ２９及びメインバス２８を通じてダイレクトメモリ
アクセス（ＤＭＡ）により何度でも繰り返しリアルタイ
ムプロセッシングユニット２３を通過させることができ
るので、それぞれを別のパスに分けて使用することで、
不都合なく処理することができる。
【０１３２】尚、ここでは「Ｙ」，「Ｃｒ」，「Ｃｂ」
の色空間信号に対する処理を説明したが、これに限るも
のではなく、例外的画像処理によりこれと全く異なる色
空間信号に対しても、全く同様に実行することができ
る。
の色空間信号に対する処理を説明したが、これに限るも
のではなく、例外的画像処理によりこれと全く異なる色
空間信号に対しても、全く同様に実行することができ
る。
【０１３３】色空間変換・色抑圧処理部４３の露出決定
評価器８５は、シャッタスピードや絞りの大きさ等を決
定する際の前提として、実際の画像データの適正輝度に
基づいて露出レベルの決定を行うためのもので、１フレ
ームの画像を複数のブロックに区分けし、ブロック同士
の輝度（明るさ）を平準化するための輝度評価を行うも
のである。
評価器８５は、シャッタスピードや絞りの大きさ等を決
定する際の前提として、実際の画像データの適正輝度に
基づいて露出レベルの決定を行うためのもので、１フレ
ームの画像を複数のブロックに区分けし、ブロック同士
の輝度（明るさ）を平準化するための輝度評価を行うも
のである。
【０１３４】一般に、露出決定の評価を行う場合、フレ
ーム中の中心に位置する長方形領域のブロックとその周
辺部のブロックの「Ｙ（輝度）」信号（または「Ｇ（緑
色成分）」信号）の平均値を評価値とする方法（第一の
露出決定評価方法：図２３参照）がある。通常、中央部
分の画像は被写体が映し出されるために比較的露出決定
を厳密に行いたいのに対して、周辺部分については画像
中の重要度が低いと予想されるために中央部分に比べて
露出決定の厳密性が要求されないことが多い。このよう
な場合には、この第一の露出決定評価方法が有効とな
る。
ーム中の中心に位置する長方形領域のブロックとその周
辺部のブロックの「Ｙ（輝度）」信号（または「Ｇ（緑
色成分）」信号）の平均値を評価値とする方法（第一の
露出決定評価方法：図２３参照）がある。通常、中央部
分の画像は被写体が映し出されるために比較的露出決定
を厳密に行いたいのに対して、周辺部分については画像
中の重要度が低いと予想されるために中央部分に比べて
露出決定の厳密性が要求されないことが多い。このよう
な場合には、この第一の露出決定評価方法が有効とな
る。
【０１３５】この他、全領域を例えば５×５に等間隔に
区切った各ブロックの各々の「Ｙ」信号（または「Ｇ」
信号）の平均値を露出決定に使用する評価値とする方法
（第二の露出決定評価方法：図２４参照）もある。
区切った各ブロックの各々の「Ｙ」信号（または「Ｇ」
信号）の平均値を露出決定に使用する評価値とする方法
（第二の露出決定評価方法：図２４参照）もある。
【０１３６】しかしながら、中心位置とその周囲のブロ
ックをそれぞれ平均して行う第一の露出決定評価方法で
は、中央重点露出決定と全体的な逆光補正は可能である
が、よりきめ細かな露出決定アルゴリズムの使用は難し
い。また、等間隔のブロック分割を行う第二の露出決定
評価方法では、中央重点の露出決定を行なうときとスポ
ット的な露出決定を行なうときでそれぞれ異なるブロッ
クの合成処理が必要となり、演算に時間がかかる。ま
た、ブロック境界を最適な位置に設定する際、すべての
ブロックの面積が同一でなければならないという制約が
あるため、かかる制約を満たすためにはブロックの分割
数が増大しがちであり、この場合は回路規模が大きくな
って消費電力を増大したり、露出決定評価の処理時間が
多大となってしまう。
ックをそれぞれ平均して行う第一の露出決定評価方法で
は、中央重点露出決定と全体的な逆光補正は可能である
が、よりきめ細かな露出決定アルゴリズムの使用は難し
い。また、等間隔のブロック分割を行う第二の露出決定
評価方法では、中央重点の露出決定を行なうときとスポ
ット的な露出決定を行なうときでそれぞれ異なるブロッ
クの合成処理が必要となり、演算に時間がかかる。ま
た、ブロック境界を最適な位置に設定する際、すべての
ブロックの面積が同一でなければならないという制約が
あるため、かかる制約を満たすためにはブロックの分割
数が増大しがちであり、この場合は回路規模が大きくな
って消費電力を増大したり、露出決定評価の処理時間が
多大となってしまう。
【０１３７】これらのことを考慮し、この実施の形態に
係るディジタルスチルカメラの露出決定評価器８５は、
複数のブロックに分割する際に、図２３及び図２４の如
く、各ブロックの境界の位置を任意に変更可能としたも
のである。
係るディジタルスチルカメラの露出決定評価器８５は、
複数のブロックに分割する際に、図２３及び図２４の如
く、各ブロックの境界の位置を任意に変更可能としたも
のである。
【０１３８】ここで、図２３は中心位置とその周囲のそ
れぞれのブロックと同士の境界線を任意の位置に設定し
た場合の図、図２４は各ブロックを同一面積に設定する
場合の図である。
れぞれのブロックと同士の境界線を任意の位置に設定し
た場合の図、図２４は各ブロックを同一面積に設定する
場合の図である。
【０１３９】即ち、露出決定の領域を少なくとも３×３
以上のブロックに分割し、各ブロックの境界位置を自由
に移動可能としており、例えば図２３の場合は、各ブロ
ック同士の境界線を全く任意の位置に設定している。ま
た図２４の場合は、同図中の太線の部分のみを確定する
ことで、細線のように等間隔のブロックを設定する。こ
れらの方法により、少ないブロック数で最適なブロック
境界を選択することが可能となり、演算時間の増加を抑
えつつ、露出決定の精度を向上させることができる。
以上のブロックに分割し、各ブロックの境界位置を自由
に移動可能としており、例えば図２３の場合は、各ブロ
ック同士の境界線を全く任意の位置に設定している。ま
た図２４の場合は、同図中の太線の部分のみを確定する
ことで、細線のように等間隔のブロックを設定する。こ
れらの方法により、少ないブロック数で最適なブロック
境界を選択することが可能となり、演算時間の増加を抑
えつつ、露出決定の精度を向上させることができる。
【０１４０】具体的には、この露出決定評価器８５にお
いては、リアルタイムプロセッシングユニット２３のを
駆動制御するためのドライバソフトウェアプログラムに
よって、ＣＣＤ２１の光学的特性に応じた最適なブロッ
ク同士の間の境界線を任意の位置に設定しておき、かか
る境界線によって区画される各ブロック毎にすべての画
素の「Ｙ」信号等の輝度値を積分演算し、これらの各ブ
ロック毎の積分値を評価の対象とする。具体的な露出決
定評価器８５のハードウェア構成としては、カウンター
及び加算器等が内蔵されて構成される。あるいは、ディ
ジタルスチルカメラのユニットの表面に何らかのモード
切換用の入力釦を設けておき、この入力釦によりブロッ
ク同士の間の境界線をいくつかのモード設定の位置に変
更できるようにドライバソフトウェアプログラムを設定
しておけば、ユーザーの意思により、状況に応じて最適
な露出決定領域を選択できる。
いては、リアルタイムプロセッシングユニット２３のを
駆動制御するためのドライバソフトウェアプログラムに
よって、ＣＣＤ２１の光学的特性に応じた最適なブロッ
ク同士の間の境界線を任意の位置に設定しておき、かか
る境界線によって区画される各ブロック毎にすべての画
素の「Ｙ」信号等の輝度値を積分演算し、これらの各ブ
ロック毎の積分値を評価の対象とする。具体的な露出決
定評価器８５のハードウェア構成としては、カウンター
及び加算器等が内蔵されて構成される。あるいは、ディ
ジタルスチルカメラのユニットの表面に何らかのモード
切換用の入力釦を設けておき、この入力釦によりブロッ
ク同士の間の境界線をいくつかのモード設定の位置に変
更できるようにドライバソフトウェアプログラムを設定
しておけば、ユーザーの意思により、状況に応じて最適
な露出決定領域を選択できる。
【０１４１】＜空間フィルタ・コアリング処理部４４の
構成及び動作＞図２５は空間フィルタ・コアリング処理
部４４の内部構成を示すブロック図である。ここでは、
色空間変換・色抑圧処理部４３の各乗算器８７ａ〜８７
ｃからの色空間信号（「Ｙ」，「Ｃｒ」，「Ｃｂ」）
を、空間フィルタ９１（R00〜R48）に対して複数のライ
ンメモリ（2048 Variable Length FIFO）９２ａ〜９２
ｄを用いながら格納し、その後に輪郭補正処理を行うも
のである。
構成及び動作＞図２５は空間フィルタ・コアリング処理
部４４の内部構成を示すブロック図である。ここでは、
色空間変換・色抑圧処理部４３の各乗算器８７ａ〜８７
ｃからの色空間信号（「Ｙ」，「Ｃｒ」，「Ｃｂ」）
を、空間フィルタ９１（R00〜R48）に対して複数のライ
ンメモリ（2048 Variable Length FIFO）９２ａ〜９２
ｄを用いながら格納し、その後に輪郭補正処理を行うも
のである。
【０１４２】このように、輪郭補正処理を行う場合に、
この実施の形態では、各成分の信号（「Ｙ」，「Ｃ
ｒ」，「Ｃｂ」）と、これを強調した高周波成分の信号
に分解して取り扱うことを可能としており、これにより
各データにおけるビット長を小さくすることを可能とし
ている。この理由を説明する。
この実施の形態では、各成分の信号（「Ｙ」，「Ｃ
ｒ」，「Ｃｂ」）と、これを強調した高周波成分の信号
に分解して取り扱うことを可能としており、これにより
各データにおけるビット長を小さくすることを可能とし
ている。この理由を説明する。
【０１４３】一般に、空間フィルタでの処理は、単に任
意設定可能な一定の空間フィルタを通すだけであった
が、この方法では、２つの問題点が存在する。
意設定可能な一定の空間フィルタを通すだけであった
が、この方法では、２つの問題点が存在する。
【０１４４】まず、一般的なフィルタ処理を行なう際に
は、図２６の如く、通常、中心画素の係数の絶対値Ｓｏ
は大きな値となるが、この中心画素から周辺に遠ざかる
に従って絶対値Ｓｖが小さくなる。これは、輪郭補正処
理を行った後のデータでも同様である（図２７）。しか
し空間フィルタの汎用性を確保しようとすると、周辺画
素のビット長を小さくすることはできない。この場合、
すべての画素の係数のビット長を中心画素のビット長に
合わせて長くする必要があり、ほとんどの場合、用意し
たビット長を有効に使用することとはならなくなってし
まう。
は、図２６の如く、通常、中心画素の係数の絶対値Ｓｏ
は大きな値となるが、この中心画素から周辺に遠ざかる
に従って絶対値Ｓｖが小さくなる。これは、輪郭補正処
理を行った後のデータでも同様である（図２７）。しか
し空間フィルタの汎用性を確保しようとすると、周辺画
素のビット長を小さくすることはできない。この場合、
すべての画素の係数のビット長を中心画素のビット長に
合わせて長くする必要があり、ほとんどの場合、用意し
たビット長を有効に使用することとはならなくなってし
まう。
【０１４５】そこで、この実施の形態では、空間フィル
タ９１（図２５）の出力と、中心画素の元データに各々
係数を乗算し、その後で加算する構成とすることによ
り、各画素のビット長を増加することなく、必要十分な
フィルタ演算を実行することを可能としている。
タ９１（図２５）の出力と、中心画素の元データに各々
係数を乗算し、その後で加算する構成とすることによ
り、各画素のビット長を増加することなく、必要十分な
フィルタ演算を実行することを可能としている。
【０１４６】具体的には、「Ｙ」，「Ｃｒ」，「Ｃｂ」
の色空間信号において輪郭補正処理を行う場合に、「Ｃ
ｒ」成分及び「Ｃｂ」成分といった各色成分に対しては
輪郭補正処理を行わず、「Ｙ（輝度）」成分のみに対し
て輪郭補正処理を行うようにすれば、画像のコントラス
トが十分に強調され、これをもって輪郭を強調すること
ができる。即ち、図２５において、空間フィルタ９１内
の中心画素（R24）の「Ｙ」成分のみを配線９３を通じ
て取り出し、乗算器９４で所定の任意の係数を乗算す
る。一方、空間フィルタ９１内の１２ビット長の中心画
素（R24）の全成分の合計値を配線９６で取り出し、こ
れらに乗算器９７で所定の任意の係数（Ratio）を乗算
して、非線形処理（コアリング）を施すための第一コア
リングファンクション（Coring Function）ブロック９
８に入力する。そして、この第一コアリングファンクシ
ョンブロック９８からの出力（色線分の合計値）と、乗
算器９４で所定の係数が乗算された「Ｙ」成分を加算器
９９により加算して、中心画素（R24）の輪郭強調の値
を算出し、他方、色信号（「Ｃｒ」，「Ｃｂ」）そのも
のについては、配線１０１，１０２を通じてこれを取り
出した後、第二及び第三コアリングファンクションブロ
ック１０３，１０４に格納した後、加算器９９からの輪
郭強調の値と併せて出力部４５へ送出される。尚、これ
ら要素９４，９７，９９を総称して輪郭補正処理部と称
する。
の色空間信号において輪郭補正処理を行う場合に、「Ｃ
ｒ」成分及び「Ｃｂ」成分といった各色成分に対しては
輪郭補正処理を行わず、「Ｙ（輝度）」成分のみに対し
て輪郭補正処理を行うようにすれば、画像のコントラス
トが十分に強調され、これをもって輪郭を強調すること
ができる。即ち、図２５において、空間フィルタ９１内
の中心画素（R24）の「Ｙ」成分のみを配線９３を通じ
て取り出し、乗算器９４で所定の任意の係数を乗算す
る。一方、空間フィルタ９１内の１２ビット長の中心画
素（R24）の全成分の合計値を配線９６で取り出し、こ
れらに乗算器９７で所定の任意の係数（Ratio）を乗算
して、非線形処理（コアリング）を施すための第一コア
リングファンクション（Coring Function）ブロック９
８に入力する。そして、この第一コアリングファンクシ
ョンブロック９８からの出力（色線分の合計値）と、乗
算器９４で所定の係数が乗算された「Ｙ」成分を加算器
９９により加算して、中心画素（R24）の輪郭強調の値
を算出し、他方、色信号（「Ｃｒ」，「Ｃｂ」）そのも
のについては、配線１０１，１０２を通じてこれを取り
出した後、第二及び第三コアリングファンクションブロ
ック１０３，１０４に格納した後、加算器９９からの輪
郭強調の値と併せて出力部４５へ送出される。尚、これ
ら要素９４，９７，９９を総称して輪郭補正処理部と称
する。
【０１４７】また、これと同時に、各成分の信号（「Ｙ
（１色目の成分）」、「Ｃｒ（２色目の成分）」及び
「Ｃｂ（３色目の成分）」）は配線１０５を通じて出力
部４５へ送出される。この際、「Ｙ」成分、「Ｃｒ」成
分、「Ｃｂ」成分及び乗算器９７からの出力値（空間フ
ィルタ９１からの出力値自身）のいずれかを特徴データ
（ＫＥＹ信号）として扱うことを可能とするために、セ
レクタ１０５ａによって４色目の成分として選択して出
力できるようになっている。
（１色目の成分）」、「Ｃｒ（２色目の成分）」及び
「Ｃｂ（３色目の成分）」）は配線１０５を通じて出力
部４５へ送出される。この際、「Ｙ」成分、「Ｃｒ」成
分、「Ｃｂ」成分及び乗算器９７からの出力値（空間フ
ィルタ９１からの出力値自身）のいずれかを特徴データ
（ＫＥＹ信号）として扱うことを可能とするために、セ
レクタ１０５ａによって４色目の成分として選択して出
力できるようになっている。
【０１４８】このように、この実施の形態では、空間フ
ィルタ９１（図２５）の出力と、中心画素の元データに
各々係数を乗算器９４，９７で乗算し、その後で加算器
９９で加算する構成とすることにより、各画素のビット
長を増加することなく、必要十分なフィルタ演算を実行
することが可能となる。また、元信号と高域信号が分離
できるため、この高域信号に対し「コアリング」という
非線形演算を施すことにより、ノイズの増加を抑えなが
ら輪郭強調を行なうことができる。
ィルタ９１（図２５）の出力と、中心画素の元データに
各々係数を乗算器９４，９７で乗算し、その後で加算器
９９で加算する構成とすることにより、各画素のビット
長を増加することなく、必要十分なフィルタ演算を実行
することが可能となる。また、元信号と高域信号が分離
できるため、この高域信号に対し「コアリング」という
非線形演算を施すことにより、ノイズの増加を抑えなが
ら輪郭強調を行なうことができる。
【０１４９】ここで、色信号（「Ｃｒ」，「Ｃｂ」）と
輝度信号（「Ｙ」）を独立に処理し、最後に加算してビ
デオ信号等を作成する方法も考えられ、この場合、輝度
信号（「Ｙ」）は輪郭強調を行われた後でガンマ変換を
行なうことが多い。しかし、デジタルカメラの信号処理
は、入力信号として１０ビット〜１２ビットが使用され
るため、ガンマ変換を処理の当初に行なってメモリ上の
ビット長を削減し、メモリ容量を削減すること、及びデ
ジタル処理途中のビット長を削減し、回路規模を小さく
することが一般的に行なわれる。この形では輪郭補正処
理を、ガンマ変換の後で行なうことが必要となってく
る。
輝度信号（「Ｙ」）を独立に処理し、最後に加算してビ
デオ信号等を作成する方法も考えられ、この場合、輝度
信号（「Ｙ」）は輪郭強調を行われた後でガンマ変換を
行なうことが多い。しかし、デジタルカメラの信号処理
は、入力信号として１０ビット〜１２ビットが使用され
るため、ガンマ変換を処理の当初に行なってメモリ上の
ビット長を削減し、メモリ容量を削減すること、及びデ
ジタル処理途中のビット長を削減し、回路規模を小さく
することが一般的に行なわれる。この形では輪郭補正処
理を、ガンマ変換の後で行なうことが必要となってく
る。
【０１５０】一般に、「Ｙ」成分の高周波数成分を抽出
する場合、通常であれば高周波フィルタである空間フィ
ルタ９１のみを用いて実行する方法も考えられるが、こ
の「Ｙ」成分を用いて空間フィルタ９１内の１２ビット
長の各要素（例えばR24）を輪郭強調する場合は、各要
素自体にノイズが重畳していた場合、かかるノイズ成分
も一緒に輪郭強調されてしまうおそれがあり、このまま
ではノイズが目立った不自然な画像に変質してしまうお
それがある。
する場合、通常であれば高周波フィルタである空間フィ
ルタ９１のみを用いて実行する方法も考えられるが、こ
の「Ｙ」成分を用いて空間フィルタ９１内の１２ビット
長の各要素（例えばR24）を輪郭強調する場合は、各要
素自体にノイズが重畳していた場合、かかるノイズ成分
も一緒に輪郭強調されてしまうおそれがあり、このまま
ではノイズが目立った不自然な画像に変質してしまうお
それがある。
【０１５１】そこで、ガンマ補正を行った後の信号に対
して輪郭強調をする際に、高域成分がある一定レベルを
超えたときのみに輪郭強調を行なう非線形演算（コアリ
ング）が必要となる。ただし、ガンマ変換後の「Ｙ」の
高域信号に対してコアリングを行なうと、低輝度域では
振幅が相対的に大きくなっているため、低輝度域の高域
成分により強く輪郭強調が行われる傾向となる。しか
し、一方、実際に、強調が必要な信号は中輝度域から高
輝度域に多く含まれ、低輝度域の高域成分はノイズが支
配的であるため、空間フィルタ９１を輪郭強調等に使用
した場合には、すべての周波数成分を線形演算すると、
ノイズの多い画像では小レベルのノイズを増幅してしま
い、ノイズばかり強調されて、必要な信号が強調されず
に見苦しくなる。
して輪郭強調をする際に、高域成分がある一定レベルを
超えたときのみに輪郭強調を行なう非線形演算（コアリ
ング）が必要となる。ただし、ガンマ変換後の「Ｙ」の
高域信号に対してコアリングを行なうと、低輝度域では
振幅が相対的に大きくなっているため、低輝度域の高域
成分により強く輪郭強調が行われる傾向となる。しか
し、一方、実際に、強調が必要な信号は中輝度域から高
輝度域に多く含まれ、低輝度域の高域成分はノイズが支
配的であるため、空間フィルタ９１を輪郭強調等に使用
した場合には、すべての周波数成分を線形演算すると、
ノイズの多い画像では小レベルのノイズを増幅してしま
い、ノイズばかり強調されて、必要な信号が強調されず
に見苦しくなる。
【０１５２】ところで、このノイズは一般にコントラス
トは少ないが、非常に小さく現れるため高周波成分に偏
って現れることが多い。そこで、この実施の形態のディ
ジタルスチルカメラでは、コントラストの小さい部分に
ついては強調処理をできるだけ行わないように、基づい
ての信号をそのまま使用する一方、コントラストが一定
水準以上の場合に強調処理を積極的に実行することが望
ましいと言える。そこで、第一コアリングファンクショ
ン９８においては、図２８及び図２９中の符号９８内の
非線形演算関数の如く、入力値に対して非線形な出力値
を出力し、特に絶対値が所定のしきい値αより少ない部
分についてはこれを無視するようにすることで、低輝度
域にはあまり強調を加えず、中輝度、高輝度域に強く強
調を行ない、ノイズ成分を除去した形で画像をはっきり
と補正することが可能になる。
トは少ないが、非常に小さく現れるため高周波成分に偏
って現れることが多い。そこで、この実施の形態のディ
ジタルスチルカメラでは、コントラストの小さい部分に
ついては強調処理をできるだけ行わないように、基づい
ての信号をそのまま使用する一方、コントラストが一定
水準以上の場合に強調処理を積極的に実行することが望
ましいと言える。そこで、第一コアリングファンクショ
ン９８においては、図２８及び図２９中の符号９８内の
非線形演算関数の如く、入力値に対して非線形な出力値
を出力し、特に絶対値が所定のしきい値αより少ない部
分についてはこれを無視するようにすることで、低輝度
域にはあまり強調を加えず、中輝度、高輝度域に強く強
調を行ない、ノイズ成分を除去した形で画像をはっきり
と補正することが可能になる。
【０１５３】そして、このようにガンマ変換後の高域成
分にコアリング処理を行なう場合に、特に、この実施の
形態のディジタルスチルカメラでは、図２８の如く、第
一コアリングファンクション９８に対する入力値（高周
波信号）について、「Ｙ」信号自身のガンマ特性を用い
て変換したり、あるいは図２９の如く、コアリングのし
きい値α（Thresh Level）自体を「Ｙ」信号自身のガン
マ逆特性を用いて変換することにより、ガンマ変換前に
コアリングを行なった場合と等価な処理を行なうことを
可能としている。具体的には、ノイズの目立ちにくい明
るい部分（「Ｙ」信号の値が大きい場合）は、入力値に
対してしきい値αの幅を相対的に小さくなるよう設定
し、輪郭強調がかかりやすくする一方、ノイズの目立ち
やすい暗い部分（「Ｙ」信号の値が小さい場合）では入
力値に対してしきい値αの幅を相対的に大きくなるよう
設定することで、輪郭強調がかかりにくくする。そし
て、このような逆変換特性を過補正気味に設定すること
で、低輝度域にはあまり強調を加えず、中輝度、高輝度
域に強く強調を行ない、画像をよりはっきりと補正する
ことが可能になる。
分にコアリング処理を行なう場合に、特に、この実施の
形態のディジタルスチルカメラでは、図２８の如く、第
一コアリングファンクション９８に対する入力値（高周
波信号）について、「Ｙ」信号自身のガンマ特性を用い
て変換したり、あるいは図２９の如く、コアリングのし
きい値α（Thresh Level）自体を「Ｙ」信号自身のガン
マ逆特性を用いて変換することにより、ガンマ変換前に
コアリングを行なった場合と等価な処理を行なうことを
可能としている。具体的には、ノイズの目立ちにくい明
るい部分（「Ｙ」信号の値が大きい場合）は、入力値に
対してしきい値αの幅を相対的に小さくなるよう設定
し、輪郭強調がかかりやすくする一方、ノイズの目立ち
やすい暗い部分（「Ｙ」信号の値が小さい場合）では入
力値に対してしきい値αの幅を相対的に大きくなるよう
設定することで、輪郭強調がかかりにくくする。そし
て、このような逆変換特性を過補正気味に設定すること
で、低輝度域にはあまり強調を加えず、中輝度、高輝度
域に強く強調を行ない、画像をよりはっきりと補正する
ことが可能になる。
【０１５４】尚、図２８の例では、「Ｙ」信号（Ｙ０）
の値によって逆ガンマ効果ブロック１０６で１倍から４
倍までの値を正の一次関数（比率変換関数）により線形
的に演算選出し、これを乗算器１０７によって入力値に
乗算した後、セレクタ１０８によってこれを選択して第
一コアリングファンクション９８に入力値（ブロック内
の非線形演算関数図の横軸）として入力し、これに対応
する縦軸の値を出力するようになっている。これによ
り、コアリングでのしきい値αに対する入力値の有効／
無効の幅を変化させることができる。尚、同図中の符号
１０９ａ，１０９ｂはリミッタである。
の値によって逆ガンマ効果ブロック１０６で１倍から４
倍までの値を正の一次関数（比率変換関数）により線形
的に演算選出し、これを乗算器１０７によって入力値に
乗算した後、セレクタ１０８によってこれを選択して第
一コアリングファンクション９８に入力値（ブロック内
の非線形演算関数図の横軸）として入力し、これに対応
する縦軸の値を出力するようになっている。これによ
り、コアリングでのしきい値αに対する入力値の有効／
無効の幅を変化させることができる。尚、同図中の符号
１０９ａ，１０９ｂはリミッタである。
【０１５５】また、図２９「Ｙ」信号（Ｙ０）の値によ
って逆ガンマ効果ブロック１１１で１倍から４倍までの
値を負の一次関数（比率変換関数）により線形的に演算
選出し、これをコアリングの初期しきい値α０（thresh
old Level）に対して乗算器１１２で乗算した後、セレ
クタ１１３によってこれを選択して第一コアリングファ
ンクション９８でのコアリングの実際のしきい値αとし
て設定することで、コアリングでの入力値に対するしき
い値αの幅を変化させることができる。尚、同図中の符
号１１４ａ，１１４ｂはリミッタである。
って逆ガンマ効果ブロック１１１で１倍から４倍までの
値を負の一次関数（比率変換関数）により線形的に演算
選出し、これをコアリングの初期しきい値α０（thresh
old Level）に対して乗算器１１２で乗算した後、セレ
クタ１１３によってこれを選択して第一コアリングファ
ンクション９８でのコアリングの実際のしきい値αとし
て設定することで、コアリングでの入力値に対するしき
い値αの幅を変化させることができる。尚、同図中の符
号１１４ａ，１１４ｂはリミッタである。
【０１５６】尚、逆ガンマ効果ブロック１０６，１１１
では、線形的な変換関数を用いているが、非線形であっ
ても差し支えない。
では、線形的な変換関数を用いているが、非線形であっ
ても差し支えない。
【０１５７】また、図２５においては、色信号（「Ｃ
ｒ」，「Ｃｂ」）についてもそれぞれ第二及び第三コア
リングファンクション１０３，１０４に入力されるよう
になっているが、ここでのコアリング処理は一般的な非
線形関数によって処理されるため、ここでは説明を省略
する。
ｒ」，「Ｃｂ」）についてもそれぞれ第二及び第三コア
リングファンクション１０３，１０４に入力されるよう
になっているが、ここでのコアリング処理は一般的な非
線形関数によって処理されるため、ここでは説明を省略
する。
【０１５８】＜ＣＣＤ２１としてインターレースタイプ
のものを使用した場合のリアルタイムプロセッシングユ
ニット２３の構成及び動作＞上述のように、このディジ
タルスチルカメラは、撮像素子であるＣＣＤ２１とし
て、インターレースタイプのものとプログレッシブタイ
プのものを選択して使用できるようになっている。
のものを使用した場合のリアルタイムプロセッシングユ
ニット２３の構成及び動作＞上述のように、このディジ
タルスチルカメラは、撮像素子であるＣＣＤ２１とし
て、インターレースタイプのものとプログレッシブタイ
プのものを選択して使用できるようになっている。
【０１５９】一般に、プログレッシブタイプのＣＣＤ２
１を使用する場合には、数ライン分のラインメモリを用
意すれば、ＣＣＤ２１からの画素データの読み出しと平
行して、画素補間、色変換及び輪郭強調などの一般画像
処理を同時に行ない、ＣＣＤ２１からのデータ読み出し
とほぼ同時にこれらの一般画像処理を終了させることが
できる。
１を使用する場合には、数ライン分のラインメモリを用
意すれば、ＣＣＤ２１からの画素データの読み出しと平
行して、画素補間、色変換及び輪郭強調などの一般画像
処理を同時に行ない、ＣＣＤ２１からのデータ読み出し
とほぼ同時にこれらの一般画像処理を終了させることが
できる。
【０１６０】しかしながら、インターレースタイプのＣ
ＣＤ２１では、偶数ラインのみのフィールド（偶数フィ
ールド）と奇数ラインのみのフィールド（奇数フィール
ド）が交互に出力されてリアルタイムプロセッシングユ
ニット２３に与えられる。この場合に、図３０の如く、
インターレースタイプのＣＣＤ２１で撮像された画像を
処理するために、両方のフィールドを１フレームの画像
に合成して主メモリ２９内に格納した後に、初めて種々
の画像処理の開始を行う方法が考えられる。しかしなが
ら、この場合は、ＣＣＤ２１からの画像データの格納の
ために主メモリ２９内に１フレーム中の全画素分の格納
領域が使用されてしまい、回路的に大規模となる上、消
費電力を多く必要としていた。また、読み出し終了まで
画像処理を開始することができないため、撮影に時間が
かかっていた。
ＣＤ２１では、偶数ラインのみのフィールド（偶数フィ
ールド）と奇数ラインのみのフィールド（奇数フィール
ド）が交互に出力されてリアルタイムプロセッシングユ
ニット２３に与えられる。この場合に、図３０の如く、
インターレースタイプのＣＣＤ２１で撮像された画像を
処理するために、両方のフィールドを１フレームの画像
に合成して主メモリ２９内に格納した後に、初めて種々
の画像処理の開始を行う方法が考えられる。しかしなが
ら、この場合は、ＣＣＤ２１からの画像データの格納の
ために主メモリ２９内に１フレーム中の全画素分の格納
領域が使用されてしまい、回路的に大規模となる上、消
費電力を多く必要としていた。また、読み出し終了まで
画像処理を開始することができないため、撮影に時間が
かかっていた。
【０１６１】このことを考慮し、この実施の形態にかか
るディジタルスチルカメラでは、図３１の如く、インタ
ーレースタイプのＣＣＤ２１の最初のフィールド（奇数
フィールドまたは偶数フィールドのうちの一方：以下
「第一フィールド」と称す）を主メモリ２９内に格納
し、２番目のフィールド（奇数フィールドまたは偶数フ
ィールドのうちの他方：以下「第二フィールド」と称
す）の読み出しと同時に、主メモリ２９から第一フィー
ルドのデータをダイレクトメモリアクセスで読み出して
リアルタイムプロセッシングユニット２３に入力するよ
うにしている。これにより、インターレースタイプのＣ
ＣＤ２１からの第二フィールドの読み出し期間中に、画
素補間、色変換及び輪郭強調等の一般画像処理を同時に
行なうことができ、第二フィールドの読み出し終了と同
時に一般画像処理を終了させることができる。また、主
メモリ２９内においてＣＣＤ２１からのデータ格納のた
めに容易する格納領域は、１フィールド分（１／２フレ
ーム分）のみで良いので、主メモリ２９内の必要容量を
２分の１に低減できる。
るディジタルスチルカメラでは、図３１の如く、インタ
ーレースタイプのＣＣＤ２１の最初のフィールド（奇数
フィールドまたは偶数フィールドのうちの一方：以下
「第一フィールド」と称す）を主メモリ２９内に格納
し、２番目のフィールド（奇数フィールドまたは偶数フ
ィールドのうちの他方：以下「第二フィールド」と称
す）の読み出しと同時に、主メモリ２９から第一フィー
ルドのデータをダイレクトメモリアクセスで読み出して
リアルタイムプロセッシングユニット２３に入力するよ
うにしている。これにより、インターレースタイプのＣ
ＣＤ２１からの第二フィールドの読み出し期間中に、画
素補間、色変換及び輪郭強調等の一般画像処理を同時に
行なうことができ、第二フィールドの読み出し終了と同
時に一般画像処理を終了させることができる。また、主
メモリ２９内においてＣＣＤ２１からのデータ格納のた
めに容易する格納領域は、１フィールド分（１／２フレ
ーム分）のみで良いので、主メモリ２９内の必要容量を
２分の１に低減できる。
【０１６２】＜リアルタイムプロセッシングユニット２
３内のラインメモリ６１ａ，６１ｂ，９２ａ〜９２ｄの
画素数を超える水平画素数を有したＣＣＤ２１を使用す
る場合＞このディジタルスチルカメラにおいて、ＣＣＤ
２１については、前述の通り、様々なタイプのものを選
択して使用するようになっている。この場合、ＣＣＤ２
１の水平画素数が、図１４及び図２５に示したラインメ
モリ６１ａ，６１ｂ，９２ａ〜９２ｄの画素数を超える
場合も考えられる。かかる大規模な素子配列を有するＣ
ＣＤ２１に対しては、このＣＣＤ２１のデータを一度主
メモリ２９内に蓄積し、図３２のように、画像フレーム
１１８中の画像を水平方向に複数ブロック１１９に分割
して、ダイレクトメモリアクセスでリアルタイムプロセ
ッシングユニット２３に入力することにより、高速処理
を行うことが可能になっている。
３内のラインメモリ６１ａ，６１ｂ，９２ａ〜９２ｄの
画素数を超える水平画素数を有したＣＣＤ２１を使用す
る場合＞このディジタルスチルカメラにおいて、ＣＣＤ
２１については、前述の通り、様々なタイプのものを選
択して使用するようになっている。この場合、ＣＣＤ２
１の水平画素数が、図１４及び図２５に示したラインメ
モリ６１ａ，６１ｂ，９２ａ〜９２ｄの画素数を超える
場合も考えられる。かかる大規模な素子配列を有するＣ
ＣＤ２１に対しては、このＣＣＤ２１のデータを一度主
メモリ２９内に蓄積し、図３２のように、画像フレーム
１１８中の画像を水平方向に複数ブロック１１９に分割
して、ダイレクトメモリアクセスでリアルタイムプロセ
ッシングユニット２３に入力することにより、高速処理
を行うことが可能になっている。
【０１６３】一般に、ＣＣＤ２１からの画像についての
リアルタイム処理（一般画像処理）においては、ほとん
どの処理において上下ラインの画素を参照する必要があ
るため、水平の画素数分のラインメモリが（複数）必要
であった。したがって、ＣＣＤ２１からの画像を直接リ
アルタイムプロセッシングユニット２３で処理すること
とすると、処理できるＣＣＤ２１の水平の画素サイズ
は、ハードウェアとして作り込まれたラインメモリ６１
ａ，６１ｂ，９２ａ〜９２ｄの画素数によって制限を受
けることになる。ところが、集積回路においてラインメ
モリ６１ａ，６１ｂ，９２ａ〜９２ｄは非常に大きな面
積を占めるため、ＣＣＤ２１の駆動回路に比較してリア
ルタイムプロセッシングユニット２３の面積を多大に確
保することが困難であり、その結果、処理可能な水平画
素数はどうしても小さくなってしまい、大画素のＣＣＤ
２１の使用が困難であった。
リアルタイム処理（一般画像処理）においては、ほとん
どの処理において上下ラインの画素を参照する必要があ
るため、水平の画素数分のラインメモリが（複数）必要
であった。したがって、ＣＣＤ２１からの画像を直接リ
アルタイムプロセッシングユニット２３で処理すること
とすると、処理できるＣＣＤ２１の水平の画素サイズ
は、ハードウェアとして作り込まれたラインメモリ６１
ａ，６１ｂ，９２ａ〜９２ｄの画素数によって制限を受
けることになる。ところが、集積回路においてラインメ
モリ６１ａ，６１ｂ，９２ａ〜９２ｄは非常に大きな面
積を占めるため、ＣＣＤ２１の駆動回路に比較してリア
ルタイムプロセッシングユニット２３の面積を多大に確
保することが困難であり、その結果、処理可能な水平画
素数はどうしても小さくなってしまい、大画素のＣＣＤ
２１の使用が困難であった。
【０１６４】これに対してこの実施の形態にかかるディ
ジタルスチルカメラでは、一度主メモリ２９内に格納し
たデータを、ダイレクトメモリアクセスでリアルタイム
プロセッシングユニット２３に入力して処理するように
なっているため、画像フレーム１１８を水平方向に複数
のブロック１１９に分割してリアルタイムプロセッシン
グユニット２３でのリアルタイム処理を行なうことによ
り、上記のＣＣＤ２１の水平画素サイズの制限は発生し
ない。したがって、主メモリ２９の容量があればいくら
でも大きなＣＣＤ２１の処理が可能となり、ＣＣＤ２１
に対するリアルタイムプロセッシングユニット２３の汎
用性が向上する。
ジタルスチルカメラでは、一度主メモリ２９内に格納し
たデータを、ダイレクトメモリアクセスでリアルタイム
プロセッシングユニット２３に入力して処理するように
なっているため、画像フレーム１１８を水平方向に複数
のブロック１１９に分割してリアルタイムプロセッシン
グユニット２３でのリアルタイム処理を行なうことによ
り、上記のＣＣＤ２１の水平画素サイズの制限は発生し
ない。したがって、主メモリ２９の容量があればいくら
でも大きなＣＣＤ２１の処理が可能となり、ＣＣＤ２１
に対するリアルタイムプロセッシングユニット２３の汎
用性が向上する。
【０１６５】以上の実施の形態では、主としてディジタ
ルスチルカメラを例にあげて説明したが、他の画像入力
装置の画像処理回路としても容易に適用可能である。
ルスチルカメラを例にあげて説明したが、他の画像入力
装置の画像処理回路としても容易に適用可能である。
【０１６６】また、図２５に示した空間フィルタ・コア
リング処理部４４では、「Ｙ」成分、「Ｃｒ」成分、
「Ｃｂ」成分及び乗算器９７からの出力値（空間フィル
タ９１からの出力値自身）のいずれかのうちのひとつ
を、セレクタ１０５ａによって４色目のみの成分として
選択するようにしていたが、同様のセレクタを他の出力
ラインにも設置し、４色目だけでなく他の３色のそれぞ
れの成分をもそれ以外の成分に自由に切り換えられるよ
うに構成してもよい。このようにすることにより、さら
に出力成分を自由に変更でき、画像処理回路としての汎
用性を向上できる。
リング処理部４４では、「Ｙ」成分、「Ｃｒ」成分、
「Ｃｂ」成分及び乗算器９７からの出力値（空間フィル
タ９１からの出力値自身）のいずれかのうちのひとつ
を、セレクタ１０５ａによって４色目のみの成分として
選択するようにしていたが、同様のセレクタを他の出力
ラインにも設置し、４色目だけでなく他の３色のそれぞ
れの成分をもそれ以外の成分に自由に切り換えられるよ
うに構成してもよい。このようにすることにより、さら
に出力成分を自由に変更でき、画像処理回路としての汎
用性を向上できる。
【０１６７】
【発明の効果】請求項１に記載の発明によれば、撮像素
子から次々と入力される画素データについてラインメモ
リを使用して順次に接続された複数の画像処理部による
実時間（リアルタイム）処理を行う場合には、途中の画
素データを主メモリに蓄えずに行う一方、リアルタイム
プロセッシングユニットで用意されない特殊な例外的画
像処理だけを制御部（ＣＰＵ）におけるソフトウェアプ
ログラム処理として実行し、その後に一般画像処理を行
う場合（ポスト処理）は、一旦主メモリに蓄えた画素デ
ータを再度リアルタイムプロセッシングユニットに入力
して処理することで、ソフトウェアプログラム処理で実
行する場合に比較して大幅に高速化を達成できるととも
に、制御部での長時間にわたる処理を可久的に少なくで
きるので、消費電力を大幅に低減できる。
子から次々と入力される画素データについてラインメモ
リを使用して順次に接続された複数の画像処理部による
実時間（リアルタイム）処理を行う場合には、途中の画
素データを主メモリに蓄えずに行う一方、リアルタイム
プロセッシングユニットで用意されない特殊な例外的画
像処理だけを制御部（ＣＰＵ）におけるソフトウェアプ
ログラム処理として実行し、その後に一般画像処理を行
う場合（ポスト処理）は、一旦主メモリに蓄えた画素デ
ータを再度リアルタイムプロセッシングユニットに入力
して処理することで、ソフトウェアプログラム処理で実
行する場合に比較して大幅に高速化を達成できるととも
に、制御部での長時間にわたる処理を可久的に少なくで
きるので、消費電力を大幅に低減できる。
【０１６８】そして、セレクタでの選択によってリアル
タイムプロセッシングユニット内の途中（２段目以降）
の画像処理部に主メモリ内の画素データを入力できるよ
うにし、また、リアルタイムプロセッシングユニット内
の途中（最後段より前段）の画像処理部からの画素デー
タを主メモリに格納することがてきるようにしているの
で、リアルタイムプロセッシングユニットで用意されな
い特殊な例外的画像処理だけを制御部（ＣＰＵ）におけ
るソフトウェアプログラム処理として実行し、その後に
一般画像処理のうちの必要な処理だけをリアルタイムプ
ロセッシングユニットで処理することができる。即ち、
主メモリ内の画素データを常にリアルタイムプロセッシ
ングユニットの最前段に入力する場合に比べて処理手順
の一部を省略でき、故に高速化を達成できるとともに、
消費電力を低減できる。
タイムプロセッシングユニット内の途中（２段目以降）
の画像処理部に主メモリ内の画素データを入力できるよ
うにし、また、リアルタイムプロセッシングユニット内
の途中（最後段より前段）の画像処理部からの画素デー
タを主メモリに格納することがてきるようにしているの
で、リアルタイムプロセッシングユニットで用意されな
い特殊な例外的画像処理だけを制御部（ＣＰＵ）におけ
るソフトウェアプログラム処理として実行し、その後に
一般画像処理のうちの必要な処理だけをリアルタイムプ
ロセッシングユニットで処理することができる。即ち、
主メモリ内の画素データを常にリアルタイムプロセッシ
ングユニットの最前段に入力する場合に比べて処理手順
の一部を省略でき、故に高速化を達成できるとともに、
消費電力を低減できる。
【０１６９】請求項２に記載の発明によれば、ポスト処
理時におけるリアルタイムプロセッシングユニットの動
作タイミング（処理クロック）を撮像素子の動作タイミ
ングに非同期に規律しているので、例えばリアルタイム
プロセッシングユニットの動作タイミング（処理クロッ
ク）を撮像素子の動作タイミングより高速に規律する場
合は、ポスト処理時の処理スピードが大幅に向上する。
一方、リアルタイムプロセッシングユニットの動作タイ
ミング（処理クロック）を撮像素子の動作タイミングよ
り低速に規律する場合は、ポスト処理時の消費電力を低
く抑えることができる。
理時におけるリアルタイムプロセッシングユニットの動
作タイミング（処理クロック）を撮像素子の動作タイミ
ングに非同期に規律しているので、例えばリアルタイム
プロセッシングユニットの動作タイミング（処理クロッ
ク）を撮像素子の動作タイミングより高速に規律する場
合は、ポスト処理時の処理スピードが大幅に向上する。
一方、リアルタイムプロセッシングユニットの動作タイ
ミング（処理クロック）を撮像素子の動作タイミングよ
り低速に規律する場合は、ポスト処理時の消費電力を低
く抑えることができる。
【０１７０】請求項３及び請求項４に記載の発明によれ
ば、ポスト処理において、主メモリ内の画素データをリ
アルタイムプロセッシングユニットに複数回通すことを
可能としているので、リアルタイムプロセッシングユニ
ット内に例えば空間フィルタを設けているような場合、
当該空間フィルタの範囲を等価的に増加させる等の機能
の拡張を容易に行うことが可能となる。例えば、従来の
リアルタイムプロセッシングユニットでは、撮像素子か
らのデータ読み出し時に１パスだけの処理しか行えない
ため、空間フィルタのサイズ等はリアルタイムプロセッ
シングユニット内に現実に設けられているサイズに限定
され、また、それぞれの個別機能も１回しか信号に作用
させることができなかったのに対し、この請求項３及び
請求項４に記載の発明によれば、ポスト処理において、
特定の機能をデータに重複して作用させ、個々の機能を
拡張させることができる。また、複数回数に亘って主メ
モリ内の画素データをリアルタイムプロセッシングユニ
ットに入力できるので、元々のリアルタイムプロセッシ
ングユニットに設定されている処理の順序を変更して処
理することが容易となる。したがって、かかる処理順序
の変更を制御部（ＣＰＵ）でのソフトウェアプログラム
処理で実行する場合に比べて、非常に短時間で処理を実
行できる。この場合、請求項２のようにリアルタイムプ
ロセッシングユニットの動作タイミング（処理クロッ
ク）を撮像素子の動作タイミングより高速に規律すれ
ば、リアルタイムプロセッシングユニットの１パスの処
理を非常に短時間で終了でき、撮影時間の増加を最小限
に抑えて、撮像素子からの読み出し時間に対する時間の
ロスを最小限に抑制できる。
ば、ポスト処理において、主メモリ内の画素データをリ
アルタイムプロセッシングユニットに複数回通すことを
可能としているので、リアルタイムプロセッシングユニ
ット内に例えば空間フィルタを設けているような場合、
当該空間フィルタの範囲を等価的に増加させる等の機能
の拡張を容易に行うことが可能となる。例えば、従来の
リアルタイムプロセッシングユニットでは、撮像素子か
らのデータ読み出し時に１パスだけの処理しか行えない
ため、空間フィルタのサイズ等はリアルタイムプロセッ
シングユニット内に現実に設けられているサイズに限定
され、また、それぞれの個別機能も１回しか信号に作用
させることができなかったのに対し、この請求項３及び
請求項４に記載の発明によれば、ポスト処理において、
特定の機能をデータに重複して作用させ、個々の機能を
拡張させることができる。また、複数回数に亘って主メ
モリ内の画素データをリアルタイムプロセッシングユニ
ットに入力できるので、元々のリアルタイムプロセッシ
ングユニットに設定されている処理の順序を変更して処
理することが容易となる。したがって、かかる処理順序
の変更を制御部（ＣＰＵ）でのソフトウェアプログラム
処理で実行する場合に比べて、非常に短時間で処理を実
行できる。この場合、請求項２のようにリアルタイムプ
ロセッシングユニットの動作タイミング（処理クロッ
ク）を撮像素子の動作タイミングより高速に規律すれ
ば、リアルタイムプロセッシングユニットの１パスの処
理を非常に短時間で終了でき、撮影時間の増加を最小限
に抑えて、撮像素子からの読み出し時間に対する時間の
ロスを最小限に抑制できる。
【０１７１】請求項５及び請求項６に記載の発明によれ
ば、リアルタイムプロセッシングユニットの出力段で、
４個の成分データのうちの少なくとも１個の信号に、リ
アルタイムプロセッシングユニット内の一般画像処理内
で処理された任意の成分のうちの１個の成分データを選
択的に格納して出力するようにできるので、元信号にな
んら変更を加えずに１パスで、特定の出力信号（例えば
４色目の信号）を特徴データとして容易に出力できる。
この場合、制御部（ＣＰＵ）でのソフトウェアプログラ
ム処理で実行することとすると、一度すべての画素デー
タを主メモリ内に格納に格納した後ですべての４成分の
画素の組み合わせ毎に特徴データを特定の出力成分（例
えば４色目の成分）に移す必要があり、処理時間が膨大
になるのに対して、請求項５及び請求項６に記載の発明
によれば、他の一般画像処理に影響を与えず実時間で高
速に処理でき、処理効率を向上でき且つ低消費電力化を
図り得る。
ば、リアルタイムプロセッシングユニットの出力段で、
４個の成分データのうちの少なくとも１個の信号に、リ
アルタイムプロセッシングユニット内の一般画像処理内
で処理された任意の成分のうちの１個の成分データを選
択的に格納して出力するようにできるので、元信号にな
んら変更を加えずに１パスで、特定の出力信号（例えば
４色目の信号）を特徴データとして容易に出力できる。
この場合、制御部（ＣＰＵ）でのソフトウェアプログラ
ム処理で実行することとすると、一度すべての画素デー
タを主メモリ内に格納に格納した後ですべての４成分の
画素の組み合わせ毎に特徴データを特定の出力成分（例
えば４色目の成分）に移す必要があり、処理時間が膨大
になるのに対して、請求項５及び請求項６に記載の発明
によれば、他の一般画像処理に影響を与えず実時間で高
速に処理でき、処理効率を向上でき且つ低消費電力化を
図り得る。
【０１７２】請求項７及び請求項８に記載の発明によれ
ば、ＹＭＣＧ系等の補色タイプ等のような４色系画素デ
ータの処理を扱うことが可能なリアルタイムプロセッシ
ングユニットにおいて、例えばＲＧＢベイヤー等のよう
な３色系画素データの処理を行う場合に、４色分のデー
タ長のデータ列に対して３色分のデータを格納して処理
するだけでなく、４色目の色データ領域の信号として各
画素の強調成分等の特徴データを格納して処理するよう
にしているので、各種の非線型処理や画素単位処理を非
常に高速に行うことができる。また、４色分のデータ長
のデータ列に対して３色分のデータのみを格納して処理
する場合に比べて、主メモリ内での記憶ビットを有効に
活用でき、また、リアルタイムプロセッシングユニッ
ト、制御部及び主メモリ相互間でのデータ転送処理等の
効率化を図ることができる。さらに、別途に特徴データ
のデータ群を取り扱う場合に比べて、低消費電力化を図
り得る。
ば、ＹＭＣＧ系等の補色タイプ等のような４色系画素デ
ータの処理を扱うことが可能なリアルタイムプロセッシ
ングユニットにおいて、例えばＲＧＢベイヤー等のよう
な３色系画素データの処理を行う場合に、４色分のデー
タ長のデータ列に対して３色分のデータを格納して処理
するだけでなく、４色目の色データ領域の信号として各
画素の強調成分等の特徴データを格納して処理するよう
にしているので、各種の非線型処理や画素単位処理を非
常に高速に行うことができる。また、４色分のデータ長
のデータ列に対して３色分のデータのみを格納して処理
する場合に比べて、主メモリ内での記憶ビットを有効に
活用でき、また、リアルタイムプロセッシングユニッ
ト、制御部及び主メモリ相互間でのデータ転送処理等の
効率化を図ることができる。さらに、別途に特徴データ
のデータ群を取り扱う場合に比べて、低消費電力化を図
り得る。
【０１７３】請求項９に記載の発明によれば、撮像素子
からリアルタイムプロセッシングユニットに順次入力さ
れる各画素データが複数フレームに亘る場合に、当該撮
像素子からの各フレーム内の各画素データに対して、主
メモリ内に一旦記憶された前フレーム中の同位置の画素
データを所定回数繰り返して累積加算することができる
ようにしているので、最終的に得られた累積加算データ
を加算回数で除算すれば、撮像素子の電荷蓄積部のノイ
ズを減算でき、Ｓ／Ｎの良い十分な信号レベルのデータ
を得ることができる。
からリアルタイムプロセッシングユニットに順次入力さ
れる各画素データが複数フレームに亘る場合に、当該撮
像素子からの各フレーム内の各画素データに対して、主
メモリ内に一旦記憶された前フレーム中の同位置の画素
データを所定回数繰り返して累積加算することができる
ようにしているので、最終的に得られた累積加算データ
を加算回数で除算すれば、撮像素子の電荷蓄積部のノイ
ズを減算でき、Ｓ／Ｎの良い十分な信号レベルのデータ
を得ることができる。
【０１７４】請求項１０に記載の発明によれば、撮像素
子からリアルタイムプロセッシングユニットに順次入力
される各画素データが複数フレームに亘る場合に、当該
撮像素子からの各フレーム内の各画素データに対して、
主メモリ内に一旦記憶された前フレーム中の同位置の画
素データを所定回数繰り返して所定の係数でデフレート
して重み付け加算（循環加算）することができるように
しているので、最終的に得られた累積加算データを加算
回数で除算すれば、撮像素子の電荷蓄積部のノイズを減
算でき、Ｓ／Ｎの良い十分な信号レベルのデータを得る
ことができる。この場合、所定の係数でデフレートしな
がら循環加算するようにしているので、各画素のデータ
長を元のデータ長から変化させることなく何回でも循環
加算することができ、データのオーバーフローを防止す
ることで、加算回数の制限を取り去ることが可能とな
る。
子からリアルタイムプロセッシングユニットに順次入力
される各画素データが複数フレームに亘る場合に、当該
撮像素子からの各フレーム内の各画素データに対して、
主メモリ内に一旦記憶された前フレーム中の同位置の画
素データを所定回数繰り返して所定の係数でデフレート
して重み付け加算（循環加算）することができるように
しているので、最終的に得られた累積加算データを加算
回数で除算すれば、撮像素子の電荷蓄積部のノイズを減
算でき、Ｓ／Ｎの良い十分な信号レベルのデータを得る
ことができる。この場合、所定の係数でデフレートしな
がら循環加算するようにしているので、各画素のデータ
長を元のデータ長から変化させることなく何回でも循環
加算することができ、データのオーバーフローを防止す
ることで、加算回数の制限を取り去ることが可能とな
る。
【０１７５】
【０１７６】請求項１１に記載の発明によれば、請求項
９に記載の累積加算処理機能と、請求項１０に記載の循
環加算処理機能とを選択することが可能となり、ディジ
タルスチルカメラの仕様設計の変更に容易に対応でき
る。したがって、ディジタルスチルカメラに組み込まれ
る画像処理回路として、汎用性を大きく持たせることが
できる。
９に記載の累積加算処理機能と、請求項１０に記載の循
環加算処理機能とを選択することが可能となり、ディジ
タルスチルカメラの仕様設計の変更に容易に対応でき
る。したがって、ディジタルスチルカメラに組み込まれ
る画像処理回路として、汎用性を大きく持たせることが
できる。
【０１７７】請求項１２に記載の発明によれば、請求項
９に記載の累積加算処理機能と、請求項１０に記載の循
環加算処理機能と、さらに画素補正機能とを選択するこ
とが可能となり、ディジタルスチルカメラの仕様設計の
変更に容易に対応できる。したがって、ディジタルスチ
ルカメラに組み込まれる画像処理回路として、汎用性を
大きく持たせることができる。
９に記載の累積加算処理機能と、請求項１０に記載の循
環加算処理機能と、さらに画素補正機能とを選択するこ
とが可能となり、ディジタルスチルカメラの仕様設計の
変更に容易に対応できる。したがって、ディジタルスチ
ルカメラに組み込まれる画像処理回路として、汎用性を
大きく持たせることができる。
【０１７８】請求項１３〜請求項１５に記載の発明によ
れば、２×２の４色構成の撮像素子に対しては全て同じ
演算処理を行うことで画素補間を行う一方、ＲＧＢベイ
ヤー等の３色構成の撮像素子に対しては、同一の回路構
成において、４色系の補間処理の特殊解として色選択ブ
ロックの一部を置き換えることによって対応できるよう
にしているので、４色系と３色系とで別々の独立な演算
部を設置する場合に比べて、回路規模を小さくとること
ができ、消費電力を大幅に抑えることができる。
れば、２×２の４色構成の撮像素子に対しては全て同じ
演算処理を行うことで画素補間を行う一方、ＲＧＢベイ
ヤー等の３色構成の撮像素子に対しては、同一の回路構
成において、４色系の補間処理の特殊解として色選択ブ
ロックの一部を置き換えることによって対応できるよう
にしているので、４色系と３色系とで別々の独立な演算
部を設置する場合に比べて、回路規模を小さくとること
ができ、消費電力を大幅に抑えることができる。
【０１７９】請求項１６及び請求項１７に記載の発明に
よれば、オートフォーカス評価用の高周波成分評価値を
作成する場合に、差分を求める画素対象の離間ピッチを
可変にできるようにしているので、評価値が代表する周
波数を容易に変更することができる。即ち、肉眼視で十
分なレベルにピントが合えば、その範囲内でそれ以上画
像を高周波にする行う必要がない一方、あまりに高周波
画像が強調されるとノイズの影響が目立つことになり、
これらのことを考慮し、適正な周波数（即ち、差分を求
める画素対象の離間ピッチ）で高周波成分評価値を作成
することが望ましい。ただし、かかる最適な周波数は撮
像素子やその他の回路構成によってノイズの混入の度合
いが変化することもあり、理論的に一律に決定されるも
のではない。このため、オートフォーカス評価用の高周
波成分評価値を作成する場合に、差分を求める画素対象
の離間ピッチを可変することで、撮像素子やその他の回
路構成に応じた最適な周波数により高周波成分評価値を
容易に作成することが可能となる。
よれば、オートフォーカス評価用の高周波成分評価値を
作成する場合に、差分を求める画素対象の離間ピッチを
可変にできるようにしているので、評価値が代表する周
波数を容易に変更することができる。即ち、肉眼視で十
分なレベルにピントが合えば、その範囲内でそれ以上画
像を高周波にする行う必要がない一方、あまりに高周波
画像が強調されるとノイズの影響が目立つことになり、
これらのことを考慮し、適正な周波数（即ち、差分を求
める画素対象の離間ピッチ）で高周波成分評価値を作成
することが望ましい。ただし、かかる最適な周波数は撮
像素子やその他の回路構成によってノイズの混入の度合
いが変化することもあり、理論的に一律に決定されるも
のではない。このため、オートフォーカス評価用の高周
波成分評価値を作成する場合に、差分を求める画素対象
の離間ピッチを可変することで、撮像素子やその他の回
路構成に応じた最適な周波数により高周波成分評価値を
容易に作成することが可能となる。
【０１８０】請求項１８に記載の発明によれば、リアル
タイムプロセッシングユニット内のレジスタを使用せず
に、当該リアルタイムプロセッシングユニット外の主メ
モリを使用して欠陥画素アドレスを格納するようにして
いるので、主メモリに格納された欠陥画素アドレスをダ
イレクトメモリアクセスによって読み出し、画像中の画
素データの画素アドレスが欠陥画素アドレスに一致した
ときに欠陥画素補正を行うことが可能であり、且つリア
ルタイムプロセッシングユニット内の回路規模を低減で
き、低消費電力化を図り得る。
タイムプロセッシングユニット内のレジスタを使用せず
に、当該リアルタイムプロセッシングユニット外の主メ
モリを使用して欠陥画素アドレスを格納するようにして
いるので、主メモリに格納された欠陥画素アドレスをダ
イレクトメモリアクセスによって読み出し、画像中の画
素データの画素アドレスが欠陥画素アドレスに一致した
ときに欠陥画素補正を行うことが可能であり、且つリア
ルタイムプロセッシングユニット内の回路規模を低減で
き、低消費電力化を図り得る。
【０１８１】そして、撮像素子の欠陥画素アドレスをそ
の欠陥画素の発生時間の順序で主メモリ内に格納してお
き、シフトレジスタと比較器からなる欠陥画素補正部に
入力してやることにより、リアルタイムプロセッシング
ユニット内のレジスタに欠陥画素アドレスを格納する場
合に比べて、欠陥画素数の制限なしに補正を行なうこと
ができる。
の欠陥画素の発生時間の順序で主メモリ内に格納してお
き、シフトレジスタと比較器からなる欠陥画素補正部に
入力してやることにより、リアルタイムプロセッシング
ユニット内のレジスタに欠陥画素アドレスを格納する場
合に比べて、欠陥画素数の制限なしに補正を行なうこと
ができる。
【０１８２】請求項１９に記載の発明によれば、１個の
ガンマ補正テーブルについて、これより入力データのビ
ット長が２ビットだけ短い場合に、４個のガンマ補正用
ルックアップテーブルとして機能させるようにしている
ので、ビット長が２ビットだけ短い場合に、ガンマ補正
テーブルの余剰ビット領域を有効活用することで、回路
構成を変更せずに、各色に独立な４種類のルックアップ
テーブルを使用することが可能となる。
ガンマ補正テーブルについて、これより入力データのビ
ット長が２ビットだけ短い場合に、４個のガンマ補正用
ルックアップテーブルとして機能させるようにしている
ので、ビット長が２ビットだけ短い場合に、ガンマ補正
テーブルの余剰ビット領域を有効活用することで、回路
構成を変更せずに、各色に独立な４種類のルックアップ
テーブルを使用することが可能となる。
【０１８３】請求項２０及び請求項２１に記載の発明に
よれば、所定の第一配列方式の画素データを所定の特別
色成分を有する第二配列方式の画素データに変換する色
空間変換回路を設け、このうちの特別色成分のみを特別
色用ルックアップテーブル内で所定の関数に従って数値
変換し、乗算器により特別色成分以外の成分にそれぞれ
乗算できるようにしているので、例えば、暗部でのクロ
マサプレス、明部でのクロマサプレス及び各種のガンマ
変換等の所定の処理を単一の回路で自由に選択して実行
できる。また、請求項４のように画素データをリアルタ
イムプロセッシングユニットに複数回に亘って繰り返し
入力するようにすることで、暗部でのクロマサプレス
（偽色防止）、明部でのクロマサプレス及び各種のガン
マ変換等の所定の処理を重複して処理できる。
よれば、所定の第一配列方式の画素データを所定の特別
色成分を有する第二配列方式の画素データに変換する色
空間変換回路を設け、このうちの特別色成分のみを特別
色用ルックアップテーブル内で所定の関数に従って数値
変換し、乗算器により特別色成分以外の成分にそれぞれ
乗算できるようにしているので、例えば、暗部でのクロ
マサプレス、明部でのクロマサプレス及び各種のガンマ
変換等の所定の処理を単一の回路で自由に選択して実行
できる。また、請求項４のように画素データをリアルタ
イムプロセッシングユニットに複数回に亘って繰り返し
入力するようにすることで、暗部でのクロマサプレス
（偽色防止）、明部でのクロマサプレス及び各種のガン
マ変換等の所定の処理を重複して処理できる。
【０１８４】請求項２２及び請求項２３に記載の発明に
よれば、各画素データのうちの４色目の画素と、３色系
の画素配列の場合に２×２の画素配列内の４色目の画素
として使用された３色系の画素中の一成分の画素とをセ
レクタで選択し、ここで選択された画素を特徴データと
して特徴データ用ルックアップテーブル入力して所定の
関数で数値変換し、その値を所定の画素配列の画素デー
タの各成分にそれぞれ乗算するようにしているので、実
時間処理とポスト処理のいずれにおいても、特徴データ
を使用したエッジのクロマサプレスやガンマ補正処理等
の種々の処理をリアルタイムプロセッシングユニットで
容易に且つ高速に実行できる。特に、請求項１のよう
に、一旦主メモリ内に格納された画素データのうちの４
色目の画素を特徴データとして使用する場合は、制御部
（ＣＰＵ）でのソフトウェアプログラム処理の結果得ら
れた特徴データ（４色目の成分）や、以前にリアルタイ
ムプロセッシングユニット内で処理された結果得られた
特徴データ（４色目の成分）をそのまま特徴データとし
てクロマサプレス等の所定の処理に活用できるので、こ
れらの処理を最初から最後まで制御部でのソフトウェア
プログラム処理で実行する場合に比べて、処理時間を大
幅に短縮できる。
よれば、各画素データのうちの４色目の画素と、３色系
の画素配列の場合に２×２の画素配列内の４色目の画素
として使用された３色系の画素中の一成分の画素とをセ
レクタで選択し、ここで選択された画素を特徴データと
して特徴データ用ルックアップテーブル入力して所定の
関数で数値変換し、その値を所定の画素配列の画素デー
タの各成分にそれぞれ乗算するようにしているので、実
時間処理とポスト処理のいずれにおいても、特徴データ
を使用したエッジのクロマサプレスやガンマ補正処理等
の種々の処理をリアルタイムプロセッシングユニットで
容易に且つ高速に実行できる。特に、請求項１のよう
に、一旦主メモリ内に格納された画素データのうちの４
色目の画素を特徴データとして使用する場合は、制御部
（ＣＰＵ）でのソフトウェアプログラム処理の結果得ら
れた特徴データ（４色目の成分）や、以前にリアルタイ
ムプロセッシングユニット内で処理された結果得られた
特徴データ（４色目の成分）をそのまま特徴データとし
てクロマサプレス等の所定の処理に活用できるので、こ
れらの処理を最初から最後まで制御部でのソフトウェア
プログラム処理で実行する場合に比べて、処理時間を大
幅に短縮できる。
【０１８５】請求項２４に記載の発明によれば、例えば
ＲＧＢベイヤーのような３色系の画素配列の場合の４色
目の成分として、色選択ブロックから出力された４色目
の画素のデータと、前記第一配列方式の画素データ中の
一の成分のデータとを選択して色空間変換回路に入力で
きるようにしているので、この選択されたデータを色空
間変換回路内で任意の係数で第二配列方式の画素データ
に加算することができる。したがって、例えば、乗算器
や加算器を追加せずに、色選択ブロックから出力された
４色目として緑色成分の高周波成分（Ｇｈ成分）等を容
易に入力でき、Ｇｈ成分のゲイン調整と各色成分への加
算等の所定の処理を容易に実行できる。
ＲＧＢベイヤーのような３色系の画素配列の場合の４色
目の成分として、色選択ブロックから出力された４色目
の画素のデータと、前記第一配列方式の画素データ中の
一の成分のデータとを選択して色空間変換回路に入力で
きるようにしているので、この選択されたデータを色空
間変換回路内で任意の係数で第二配列方式の画素データ
に加算することができる。したがって、例えば、乗算器
や加算器を追加せずに、色選択ブロックから出力された
４色目として緑色成分の高周波成分（Ｇｈ成分）等を容
易に入力でき、Ｇｈ成分のゲイン調整と各色成分への加
算等の所定の処理を容易に実行できる。
【０１８６】請求項２５及び請求項２６に記載の発明に
よれば、露出決定評価のためのブロック分割の領域につ
いて、各ブロックの境界位置を自由に変更可能としてい
るので、少ないブロック数で最適なブロック境界を選択
することが可能となり、演算時間の増加を抑えつつ、露
出決定評価の精度を向上させることができる。
よれば、露出決定評価のためのブロック分割の領域につ
いて、各ブロックの境界位置を自由に変更可能としてい
るので、少ないブロック数で最適なブロック境界を選択
することが可能となり、演算時間の増加を抑えつつ、露
出決定評価の精度を向上させることができる。
【０１８７】請求項２７及び請求項２８に記載の発明に
よれば、輪郭強調後の画素データの出力において、空間
フィルタの出力を元信号と別々に出力して加算できるよ
うにしているので、空間フィルタの画素データのうちビ
ット長の大きい中心画素の演算ビット長を元データで表
し、ビット長の小さい輪郭強調成分（高域信号成分）を
別途出力することで、中心画素の元データに各々係数を
乗算し、その後で加算する構成とすることなどにより、
各画素のビット長を増加することなく、必要十分なフィ
ルター演算を実行することができる。したがって、全体
としてのデータの総ビット数を抑制でき、回路規模を小
さくできる。また、元信号と高域信号が分離できるた
め、この高域信号に対し「コアリング」という非線形演
算を施すことにより、容易にノイズの増加を抑えながら
輪郭強調を行なうことができる。
よれば、輪郭強調後の画素データの出力において、空間
フィルタの出力を元信号と別々に出力して加算できるよ
うにしているので、空間フィルタの画素データのうちビ
ット長の大きい中心画素の演算ビット長を元データで表
し、ビット長の小さい輪郭強調成分（高域信号成分）を
別途出力することで、中心画素の元データに各々係数を
乗算し、その後で加算する構成とすることなどにより、
各画素のビット長を増加することなく、必要十分なフィ
ルター演算を実行することができる。したがって、全体
としてのデータの総ビット数を抑制でき、回路規模を小
さくできる。また、元信号と高域信号が分離できるた
め、この高域信号に対し「コアリング」という非線形演
算を施すことにより、容易にノイズの増加を抑えながら
輪郭強調を行なうことができる。
【０１８８】請求項２９及び請求項３０に記載の発明に
よれば、ガンマ補正を行った後の信号に対して輪郭強調
をする際に、コアリングを行うようにし、その際に、コ
アリングのしきい幅を各画素の特別色成分の値により容
易に変調できるようにしているので、相対的に明るい部
分について強く強調することが容易に可能となり、ノイ
ズの増加を防ぎながら輪郭強調が可能となる。
よれば、ガンマ補正を行った後の信号に対して輪郭強調
をする際に、コアリングを行うようにし、その際に、コ
アリングのしきい幅を各画素の特別色成分の値により容
易に変調できるようにしているので、相対的に明るい部
分について強く強調することが容易に可能となり、ノイ
ズの増加を防ぎながら輪郭強調が可能となる。
【０１８９】また、請求項３０に記載の発明によれば、
空間周波数変換を任意の色成分に対して行い、元の色成
分に重ねて格納できるため、各色毎の周波数変換処理を
独立に且つ高速に行うことができる。
空間周波数変換を任意の色成分に対して行い、元の色成
分に重ねて格納できるため、各色毎の周波数変換処理を
独立に且つ高速に行うことができる。
【０１９０】請求項３１及び請求項３２に記載の発明に
よれば、撮像素子としてインターレースタイプのものを
使用する場合に、主メモリ内の第一フィールド内の画素
データを、撮像素子からの第二フィールドの画素データ
の入力に同期して読み出し参照し、画素補間処理、色空
間変換処理及び輪郭補正処理を含む所定の画像処理を実
行するようにしているので、第二フィールドの画素デー
タの読み出し終了と同時に画像処理を終了させることが
でき、処理効率を大幅に向上させることができる。ま
た、主メモリ内の画像格納領域が第一フィールドについ
ての１フィールド分のみで済むため主メモリの必要容量
を低減できる。
よれば、撮像素子としてインターレースタイプのものを
使用する場合に、主メモリ内の第一フィールド内の画素
データを、撮像素子からの第二フィールドの画素データ
の入力に同期して読み出し参照し、画素補間処理、色空
間変換処理及び輪郭補正処理を含む所定の画像処理を実
行するようにしているので、第二フィールドの画素デー
タの読み出し終了と同時に画像処理を終了させることが
でき、処理効率を大幅に向上させることができる。ま
た、主メモリ内の画像格納領域が第一フィールドについ
ての１フィールド分のみで済むため主メモリの必要容量
を低減できる。
【０１９１】請求項３３及び請求項３４に記載の発明に
よれば、主メモリに一旦格納した画素データを、再度リ
アルタイムプロセッシングユニットに入力して処理する
際に、複数のブロックに分割可能とることで、撮像素子
の撮像画素数がリアルタイムプロセッシングユニット内
のラインメモリ中の画素データの個数より多い場合に
も、画像の水平サイズをラインメモリの画素数以下に保
つことが可能であり、リアルタイムプロセッシングユニ
ットの処理に関して撮像素子の水平画素サイズの制限が
存在せず、汎用性に優れた画像処理回路を提供できる、
という効果がある。
よれば、主メモリに一旦格納した画素データを、再度リ
アルタイムプロセッシングユニットに入力して処理する
際に、複数のブロックに分割可能とることで、撮像素子
の撮像画素数がリアルタイムプロセッシングユニット内
のラインメモリ中の画素データの個数より多い場合に
も、画像の水平サイズをラインメモリの画素数以下に保
つことが可能であり、リアルタイムプロセッシングユニ
ットの処理に関して撮像素子の水平画素サイズの制限が
存在せず、汎用性に優れた画像処理回路を提供できる、
という効果がある。
【図１】この発明の一の実施の形態に係るディジタルス
チルカメラの全体構成の概略を示すブロック図である。
チルカメラの全体構成の概略を示すブロック図である。
【図２】この発明の一の実施の形態に係るディジタルス
チルカメラ中のリアルタイムプロセッシングユニットと
ＣＰＵとのデータの受け渡しに係る構成を示すブロック
図である。
チルカメラ中のリアルタイムプロセッシングユニットと
ＣＰＵとのデータの受け渡しに係る構成を示すブロック
図である。
【図３】この発明の一の実施の形態に係るディジタルス
チルカメラ中のリアルタイムプロセッシングユニットの
内部構成の概略を示すブロック図である。
チルカメラ中のリアルタイムプロセッシングユニットの
内部構成の概略を示すブロック図である。
【図４】リアルタイムプロセッシングユニット中の単一
画素処理部の内部構造を示すブロック図である。
画素処理部の内部構造を示すブロック図である。
【図５】累積加算処理時の単一画素処理部の処理構造を
示す図である。
示す図である。
【図６】循環加算処理時の単一画素処理部の処理構造を
示す図である。
示す図である。
【図７】画像ライン中にシェーディングが発生した状態
を示す輝度の分布図である。
を示す輝度の分布図である。
【図８】ブロック単位でシェーディング補正処理を行っ
た場合に輝度段差が生じた状態を示す輝度の分布図であ
る。
た場合に輝度段差が生じた状態を示す輝度の分布図であ
る。
【図９】シェーディング補正処理時の単一画素処理部の
処理構造を示す図である。
処理構造を示す図である。
【図１０】ＲＧＢ−Ｂａｙｅｒの画素配列の例を示す図
である。
である。
【図１１】ＹＭＣＧ系補色タイプの画素配列を示す図で
ある。
ある。
【図１２】一般的な画素配列を示す図である。
【図１３】４色系画素配列中の一般的な画素補間の動作
を示す図である。
を示す図である。
【図１４】リアルタイムプロセッシングユニット中の画
素補間・ガンマ処理部の内部構造を示すブロック図であ
る。
素補間・ガンマ処理部の内部構造を示すブロック図であ
る。
【図１５】リアルタイムプロセッシングユニット中の画
素補間・ガンマ処理部におけるＡＦ評価機能を示したブ
ロック図である。
素補間・ガンマ処理部におけるＡＦ評価機能を示したブ
ロック図である。
【図１６】リアルタイムプロセッシングユニット中の画
素補間・ガンマ処理部における欠陥画素補正機能を示し
たブロック図である。
素補間・ガンマ処理部における欠陥画素補正機能を示し
たブロック図である。
【図１７】リアルタイムプロセッシングユニット中の画
素補間・ガンマ処理部におけるガンマ補正テーブルを示
す図である。
素補間・ガンマ処理部におけるガンマ補正テーブルを示
す図である。
【図１８】リアルタイムプロセッシングユニット中の画
素補間・ガンマ処理部におけるガンマ補正テーブルが４
つのルックアップテーブルに分割された状態を示す図で
ある。
素補間・ガンマ処理部におけるガンマ補正テーブルが４
つのルックアップテーブルに分割された状態を示す図で
ある。
【図１９】リアルタイムプロセッシングユニット中の色
空間変換・色抑圧処理部を示すブロック図である。
空間変換・色抑圧処理部を示すブロック図である。
【図２０】「Ｇｈ」信号と４色目の信号とを選択してク
ロマサプレス処理等の所定の処理動作を行う状態を示す
ブロック図である。
ロマサプレス処理等の所定の処理動作を行う状態を示す
ブロック図である。
【図２１】「Ｙ」信号に基づくクロマサプレス処理時の
動作を示すブロック図である。
動作を示すブロック図である。
【図２２】「Ｙ」信号に基づくガンマ変換処理時の動作
を示すブロック図である。
を示すブロック図である。
【図２３】画像をブロック毎に等間隔に分割した状態を
示す図である。
示す図である。
【図２４】画像をブロック毎に最適化して分割した状態
を示す図である。
を示す図である。
【図２５】この発明の一の実施の形態に係るディジタル
スチルカメラ中の空間フィルタ・コアリング処理部の内
部構成を示すブロック図である。
スチルカメラ中の空間フィルタ・コアリング処理部の内
部構成を示すブロック図である。
【図２６】輪郭補正処理前の画像の輝度分布例を示す分
布図である。
布図である。
【図２７】輪郭補正処理後の画像の輝度分布例を示す分
布図である。
布図である。
【図２８】コアリングファンクションの変調機能を示す
機能ブロック図である。
機能ブロック図である。
【図２９】コアリングファンクションの変調機能を示す
機能ブロック図である。
機能ブロック図である。
【図３０】インターレースタイプのＣＣＤを使用する場
合のリアルタイムプロセッシングユニットに対するデー
タ入力動作についての従来例を示すブロック図である。
合のリアルタイムプロセッシングユニットに対するデー
タ入力動作についての従来例を示すブロック図である。
【図３１】インターレースタイプのＣＣＤを使用する場
合のこの発明の一の実施の形態に係るディジタルスチル
カメラにおけるリアルタイムプロセッシングユニットに
対するデータ入力動作を示すブロック図である。
合のこの発明の一の実施の形態に係るディジタルスチル
カメラにおけるリアルタイムプロセッシングユニットに
対するデータ入力動作を示すブロック図である。
【図３２】画面を複数のブロックに分割して処理する動
作を示す図である。
作を示す図である。
【図３３】従来のディジタルスチルカメラの全体構成を
示すブロック図である。
示すブロック図である。
【図３４】リアルタイムプロセッシングユニットでリア
ルタイム処理を行う動作を示すブロック図である。
ルタイム処理を行う動作を示すブロック図である。
【図３５】従来においてＣＰＵにより例外的画像処理を
行う場合の動作を示すブロック図である。
行う場合の動作を示すブロック図である。
２１ ＣＣＤ
２２ アナログ信号処理回路
２３ リアルタイムプロセッシングユニット
２４ ＣＰＵ
２６ 外部インターフェース
２７ ファインダー
２８ メインバス
２９ 主メモリ
３０ メモリカード
３２ ＤＭＡコントローラ
４１ 単一画素処理部
４２ 画素補間・ガンマ処理部
４３ 色空間変換・色抑圧処理部
４４ 空間フィルタ・コアリング処理部
４５ リサイズ処理部
５２ シフタ
５３ 第一セレクタ
５４ 第一乗算器
５５ 第二セレクタ
５６ 第二乗算器
５７ 加算器
５８ リミッタ
６１ａ，６１ｂ，９２ａ〜９２ｄ ラインメモリ
６２ ピクセルレジスタ
６３ 色選択ブロック
６４ セレクタ
６５ 演算回路
６５ｂ 入力端子
６６ バッファ
６７ 加算器
６８ 累積加算器
７１ ガンマ補正テーブル
７１ａ〜７１ｄ シフトレジスタ
７２ａ，７２ｂ 比較器
７３ 欠陥画素タイミング発生回路
７４，７６ レジスタ
７５ 論理積回路
７７ａ，７７ｂ セレクタ
７８ ガンマ補正テーブル
７８ａ〜７８ｄ ルックアップテーブル
７９ａ〜７９ｄ セレクタ
８１ セレクタ
８２ 特徴データ用ルックアップテーブル
８３ 色空間変換回路
８４ 輝度用ルックアップテーブル
８５ 露出決定評価器
８６ａ〜８６ｃ，８７ａ〜８７ｃ 乗算器
９１ 空間フィルタ
９２ａ〜９２ｄ ラインメモリ
９３ 配線
９４，９７ 乗算器
９６ 配線
９８ 第一コアリングファンクションブロック
９９ 加算器
１０１，１０２ 配線
１０３，１０４ 第三コアリングファンクションブロッ
ク １０５ 配線 １０５ａ セレクタ １０６，１１１ 逆ガンマ効果ブロック １０７ 乗算器 １０８ セレクタ １１１ 逆ガンマ効果ブロック １１２ 乗算器 １１３ セレクタ １１８ 画像フレーム １１９ ブロック
ク １０５ 配線 １０５ａ セレクタ １０６，１１１ 逆ガンマ効果ブロック １０７ 乗算器 １０８ セレクタ １１１ 逆ガンマ効果ブロック １１２ 乗算器 １１３ セレクタ １１８ 画像フレーム １１９ ブロック
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ
Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 9/07 Ａ
Ｃ
9/64 9/64 Ｒ
9/68 9/68 Ａ
１０３ １０３Ａ
Claims (34)
- 【請求項１】 画像入力装置内において、撮像素子で撮
像した画像について所定の画像処理を行う画像処理回路
であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを少なくとも有し、 最前段の画像処理部は、前記セレクタを通じて、前記主
メモリ内に一旦格納された画像の画素データが選択的に
入力されるように接続され、 ２段目以降の画像処理部のうちの少なくともひとつは、
当該画像処理部の前段の画像処理部から入力される画素
データと、前記主メモリ内に一旦格納された画像の画素
データとが、所定の他のセレクタにより選択的に入力さ
れるように接続され、 最後段の画像処理部は、前記主メモリに画素データを送
出するように接続され、 前記最後段の画像処理部より前段の画像処理部のうちの
少なくともひとつは、次段の画像処理部と前記主メモリ
との両方に画素データを送出するように接続されたこと
を特徴とする 画像入力装置の画像処理回路。 - 【請求項２】 請求項１に記載の画像入力装置の画像処
理回路であって、 前記リアルタイムプロセッシングユニット及び前記撮像
素子の動作タイミングを規律するためのタイミングジェ
ネレータをさらに備え、 前記タイミングジェネレータは、 前記セレクタが、前記撮像素子で撮像されて順次入力さ
れる画素データを選択しているときは、前記リアルタイ
ムプロセッシングユニットの動作タイミングと前記撮像
素子の動作タイミングとを同期して規律する同期制御機
能と、 前記セレクタが、前記主メモリ内に一旦格納された画像
の画素データを選択しているときは、前記リアルタイム
プロセッシングユニットの動作タイミングと前記撮像素
子の動作タイミングとを非同期に規律する非同期制御機
能とを有することを特徴とする 画像入力装置の画像処理
回路。 - 【請求項３】 画像入力装置内において、撮像素子で撮
像した画像について所定の画像処理を行う画像処理回路
であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを少なくとも有し、 前記セレクタが、前記主メモリ内に一旦格納された画像
の画素データを選択しているときは、当該画素データ
が、前記主メモリから前記リアルタイムプロセッシング
ユニットに対して複数回に亘って循環的に繰り返し入力
されることを特徴とする 画像入力装置の画像処理回路。 - 【請求項４】 請求項１または請求項２に記載の画像入
力装置の画像処理回路であって、前記セレクタが、前記
主メモリ内に一旦格納された画像の画素データを選択し
ているときは、当該画素データが、前記主メモリから前
記リアルタイムプロセッシングユニットに対して複数回
に亘って循環的に繰り返し入力されることを特徴とする
画像入力装置の画像処理回路。 - 【請求項５】 画像入力装置内において、撮像素子で撮
像した画像について所定の画像処理を行う画像処理回路
であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを少なくとも有し、 前記リアルタイムプロセッシングユニットと、前記主メ
モリと、前記中央制御部との間で送受信が行われる画素
データは、４つの画素成分のそれぞれについて所定のデ
ータ長が与えられた４個の成分データから構成され、 前記４個の成分データのうちの少なくとも１個は、前記
リアルタイムプロセッシングユニット内で一般画像処理
内で処理された任意の１個の成分データが選択的に格納
されることを特徴とする 画像入力装置の画像処理回路。 - 【請求項６】 請求項１ないし請求項４のいずれかに記
載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットと、前記主メ
モリと、前記中央制御部との間で送受信が行われる画素
データは、４つの画素成分のそれぞれについて所定のデ
ータ長が与えられた４個の成分データから構成され、 前記４個の成分データのうちの少なくとも１個は、前記
リアルタイムプロセッシングユニット内で一般画像処理
内で処理された任意の１個の成分データが選択的に格納
されることを特徴とする 画像入力装置の画像処理回路。 - 【請求項７】 画像入力装置内において、撮像素子で撮
像した画像について所定の画像処理を行う画像処理回路
であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを少なくとも有し、 当該リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データまたは前記
主メモリからの画素データが４色系の画素データである
場合には、当該４色系の画素データの４色の各成分のデ
ータのそれぞれを前記各成分データに格納する一方、前
記撮像素子で撮像されて順次入力される画素データまた
は前記主メモリから の画素データが３色系の画素データ
である場合には、当該３色系の画素データに加えて、４
色目の成分のデータに、前記リアルタイムプロセッシン
グユニット内で一般画像処理内で処理された任意の１個
の成分データを、各画素データの所定の特徴データとし
て付加する機能を有することを特徴とする 画像入力装置
の画像処理回路。 - 【請求項８】 請求項１ないし請求項６のいずれかに記
載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データまたは前記
主メモリからの画素データが４色系の画素データである
場合には、当該４色系の画素データの４色の各成分のデ
ータのそれぞれを前記各成分データに格納する一方、前
記撮像素子で撮像されて順次入力される画素データまた
は前記主メモリからの画素データが３色系の画素データ
である場合には、当該３色系の画素データに加えて、４
色目の成分のデータに、前記リアルタイムプロセッシン
グユニット内で一般画像処理内で処理された任意の１個
の成分データを、各画素データの所定の特徴データとし
て付加する機能を有することを特徴とする 画像入力装置
の画像処理回路。 - 【請求項９】 画像入力装置内において、撮像素子で撮
像した画像について所定の画像処理を行う画像処理回路
であって、 前記撮像素子で撮像されて順次入力される画素データに
ついて実時間処理により所定の一般画像処理を行うリア
ルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される各画素データが複数フ
レームに亘る場合に、当該撮像素子からの各フレーム内
の各画素データに対して、前記主メモリ内に一旦記憶さ
れた前フレーム中の同位置の画素データを加算してから
再び前記主メモリ内に記憶する累積加算処理を所定の回
数繰り返して実行する累積加算処理機能を有することを
特徴とする 画像入力装置の画像処理回路。 - 【請求項１０】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついて実時間処理により所定の一般画像処理を行うリア
ルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される各画素データが複数フ
レームに亘る場合に、当該撮像素子からの各フレーム内
の各画素データと、前記主メモリ内に一旦記憶された前
フレーム中の同位置の画素データとを、所定の重み付け
係数によりそれぞれ乗算しつつ加算してから再び前記主
メモリ内に記憶する循環加算処理を所定の回数繰り返し
て実行する循環加算処理機能を有し、 前記循環加算処理における前記重み付け係数は、前記主
メモリ内に一旦記憶された前フレーム中の同位置の画素
データに乗算する第一係数と、撮像素子からの各フレー
ム内の各画素データに乗算する第二係数とからなり、前
記第一係数と第二係数との合計値が常に１になるよう予
め設定されることを特徴とする 画像入力装置の画像処理
回路。 - 【請求項１１】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついて実時間処理により所定の一般画像処理を行うリア
ルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、少なくと
も、請求項９に記載の前記累積加算処理機能と、請求項
１０に記載の循環加算処理機能とを選択する機能を有す
ることを特徴とする画像入力装置の画像処理回路。 - 【請求項１２】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついて実時間処理により所定の一般画像処理を行うリア
ルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される各画素データに対し
て、シェーディング補正を含む所定の画素補正のために
予め前記主メモリ内に記憶され且つダイレクトメモリア
クセスで連続的に入力された所定の画素補正パラメータ
を乗算する画素補正機能を有するとともに、請求項９に
記載の前記累積加算処理機能と、請求項１０に記載の循
環加算処理機能と、前記画素補正機能とを選択する機能
を有することを特徴とする画像入力装置の画像処理回
路。 - 【請求項１３】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 前記撮像素子で撮像されて順次入力される画素データ
と、前記主メモリ内に一旦格納された画像の画素データ
とを選択するセレクタと、 ３×３ピクセルレジスタ及び２個の前記ラインメモリを
有し、前記３×３ピクセルレジスタ内の中央に位置する
注目画素に対して、その周囲の画素を参照するための画
素参照ブロックと、 前記画素参照ブロック内の前記注目画素に対して色成分
についての画素補間を行う色選択ブロックとを有し、 前記色選択ブロックは、前記画素参照ブロック内の各画
素が４色系の２×２の画素配列の場合は、各画素につい
て相互に同様の補間を行う第一演算処理によって画素補
間を行う一方、前記画素参照ブロック内の各画素が３色
系の画素配列の場合は、４色系と同様の２×２の画素配
列内の４色目の画素として前記３色系の画素中の一成分
を使用し、各画素の画素補間処理において当該一成分と
他の成分とで異なった補間を行う第二演算処理を実行す
る機能を有せしめられたことを特徴とする画像入力装置
の画像処理回路。 - 【請求項１４】 請求項１ないし請求項１０のいずれか
に記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 ３×３ピクセルレジスタ及び２個の前記ラインメモリを
有し、前記３×３ピクセルレジスタ内の中央に位置する
注目画素に対して、その周囲の画素を参照するための画
素参照ブロックと、 前記画素参照ブロック内の前記注目画素に対して色成分
についての画素補間を行う色選択ブロックとをさらに有
し、 前記色選択ブロックは、前記画素参照ブロック内の各画
素が４色系の２×２の画素配列の場合は、各画素につい
て相互に同様の補間を行う第一演算処理によって画素補
間を行う一方、前記画素参照ブロック内の各画素が３色
系の画素配列の場合は、４色系と同様の２×２の画素配
列内の４色目の画素として前記３色系の画素中の一成分
を使用し、各画素の画素補間処理において当該一成分と
他の成分とで異なった補間を行う第二演算処理を実行す
る機能を有せしめられたことを特徴とする 画像入力装置
の画像処理回路。 - 【請求項１５】 請求項１３または請求項１４に記載の
画像入力装置の画像処理回路であって、 前記３色系の画素配列は、赤色成分、緑色成分及び青色
成分からなるＲＧＢベイヤーであり、 前記リアルタイムプロセッシングユニット内の前記色選
択ブロックは、前記画素参照ブロック内の各画素がＲＧ
Ｂベイヤーの場合に、４色系と同様の２×２の画素配列
内の４色目の画素として前記緑色成分を使用し、且つ、
２×２の画素配列内で前記緑色成分が対角線状に配置さ
れるようにし、前記緑色成分を他の成分に補間する画素
補間処理において、他の成分である注目画素の上下左右
の４画素の前記緑色成分の平均値を求めて画素補間し、
または、他の成分である注目画素の上下左右の４画素の
前記緑色成分のうち最小値及び最大値を除いた残りの２
画素の平均値を求めて画素補間する機能を有せしめられ
たことを特徴とする 画像入力装置の画像処理回路。 - 【請求項１６】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 前記撮像素子で撮像されて順次入力される画素データ
と、前記主メモリ内に一旦格納された画像の画素データ
とを選択するセレクタと、 オートフォーカスのための適正評価を行うための評価値
として、画像中の画素配列のうち所定の同一成分の複数
の近隣画素の差分の絶対値を一定領域について積分した
高周波成分評価値を出力するオートフォーカス評価部と
を有し、 前記オートフォーカス評価部は、 差分をとるべき一対の同一成分の画素同士の離間タイミ
ングを選択的に変更できるセレクタと、 前記セレクタで選択された離間タイミングだけ離間した
一対の同一成分の画素の差分の絶対値を演算する演算回
路と、 前記演算回路から順次出力されてくる絶対値を一定回数
だけ累積加算する累積加算器とを備える 画像入力装置の
画像処理回路。 - 【請求項１７】 請求項１ないし請求項１５のいずれか
に記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、オートフ
ォーカスのための適正評価を行 うための評価値として、
画像中の画素配列のうち所定の同一成分の複数の近隣画
素の差分の絶対値を一定領域について積分した高周波成
分評価値を出力するオートフォーカス評価部をさらに有
し、 前記オートフォーカス評価部は、 差分をとるべき一対の同一成分の画素同士の離間タイミ
ングを選択的に変更できるセレクタと、 前記セレクタで選択された離間タイミングだけ離間した
一対の同一成分の画素の差分の絶対値を演算する演算回
路と、 前記演算回路から順次出力されてくる絶対値を一定回数
だけ累積加算する累積加算器とを備える 画像入力装置の
画像処理回路。 - 【請求項１８】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリとを備え、 前記リアルタイムプロセッシングユニットは、当該リア
ルタイムプロセッシングユニット外の前記主メモリに格
納された欠陥画素アドレスをダイレクトメモリアクセス
によって読み出し、画像中の画素データの画素アドレス
が前記欠陥画素アドレスに一致したときに欠陥画素補正
を行う欠陥画素補正部をさらに有し、 前記主メモリ内に格納された欠陥画素アドレスが複数存
在する場合には、画素配列の順次に従った順番で複数の
欠陥画素アドレスが格納され、 前記リアルタイムプロセッシングユニットの欠陥画素補
正部は、 複数のレジスタが連なって、主メモリ内に格納された欠
陥画素アドレスが順次入力されるシフトレジスタと、 前記シフトレジスタの最終段に接続されて、順次入力さ
れる画素データのアドレスカウント値と、前記シフトレ
ジスタの最終段から与えられた欠陥画素アドレスとを比
較し、一致していた場合に欠陥画素タイミング信号を出
力する比較器とを備え、 前記シフトレジスタは、欠陥画素アドレスを保持し最終
段の出力が最前段の入力端子にループして形成され、 前記比較器は、順次入力される画素データのアドレスカ
ウント値と、前記シフトレジスタの最終段から与えられ
た欠陥画素アドレスとを比較し、一致していた場合にシ
フトタイミング及び欠陥画素補正タイミングの信号を出
力する比較器であり、 前記シフトレジスタのシフトは前記比較器から与えられ
たシフトタイミングの信号によって実行されることを特
徴とする 画像入力装置の画像処理回路。 - 【請求項１９】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついて実時間処理により所定の一般画像処理を行うリア
ルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 Ｎビット長の１個の画素データが与えられた場合に当該
１個の画素データについてガンマ補正処理を行うことの
できるガンマ補正テーブルと、 Ｎビット長の１個の画素データが与えられた場合に、当
該１個の画素データを前記ガンマ補正テーブルに入力す
る一方、（Ｎ−２）ビット長の画素データが与えられた
場合に、前記ガンマ補正テーブルを４分割してなる４個
のルックアップテーブルのそれぞれに（Ｎ−２）ビット
長の画素データとして順次与えられた４個のデータ列を
入力するよう切り換えるセレクタとをさらに有すること
を特徴とする 画像入力装置の画像処理回路。 - 【請求項２０】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 前記撮像素子で撮像されて順次入力される画素データ
と、前記主メモリ内に一旦格納された画像の画素データ
とを選択するセレクタと、 所定の色成分配列を有する第一配列方式の画素データ
を、所定の特別色成分を有する第二配列方式の画素デー
タに変換する色空間変換回路と、 前記色空間変換回路で変換された前記第二配列方式の画
素データのうちの前記所定の特別色成分のみを入力し、
当該特別色成分の値を所定の関数で数値変換して出力す
る特別色用ルックアップテーブルと、 前記特別色用ルックアップテーブルから出力された値
を、前記第二配列方式の画素データのうちの前記所定の
特別色成分以外の成分にそれぞれ乗算する乗算器とを備
える 画像入力装置の画像処理回路。 - 【請求項２１】 請求項１ないし請求項１９のいずれか
に記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 所定の色成分配列を有する第一配列方式の画素データ
を、所定の特別色成分を有する第二配列方式の画素デー
タに変換する色空間変換回路と、 前記色空間変換回路で変換された前記第二配列方式の画
素データのうちの前記所定の特別色成分のみを入力し、
当該特別色成分の値を所定の関数で数値変換して出力す
る特別色用ルックアップテーブルと、 前記特別色用ルックアップテーブルから出力された値
を、前記第二配列方式の画素データのうちの前記所定の
特別色成分以外の成分にそれぞれ乗算する乗算器とを備
える 画像入力装置の画像処理回路。 - 【請求項２２】 請求項１３ないし請求項１５のいずれ
かに記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 前記色選択ブロック内の前記画素参照ブロックで得られ
る緑色成分の高域成分信号と前記主メモリ内に格納され
た４色目の画素とを選択するセレクタと、 前記セレクタで選択されたデータが特徴データとして入
力されて所定の関数で数値変換して出力する特徴データ
用ルックアップテーブルと、 前記特徴データ用ルックアップテーブルから出力された
値を所定の画素配列の画素データの各成分にそれぞれ乗
算する乗算器とを備える 画像入力装置の画像処理回路。 - 【請求項２３】 請求項１３ないし請求項１５のいずれ
かに記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 前記色選択ブロック内の前記画素参照ブロック内に格納
され、または前記撮像素子から与えられた各画素のうち
の４色目の画素と、前記３色系の画素配列の場合に２×
２の画素配列内の４色目の画素として使用された前記３
色系の画素中の一成分の画素とを選択するセレクタと、 前記セレクタによって選択された画素を特徴データとし
て入力し、当該特徴データを所定の関数で数値変換して
出力する特徴データ用ルックアップテーブルと、 前記特徴データ用ルックアップテーブルから出力された
値を所定の画素配列の画素データの各成分にそれぞれ乗
算する乗算器とを備える 画像入力装置の画像処理回路。 - 【請求項２４】 請求項１３ないし請求項１５のいずれ
かに記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 所定の色成分配列を有する第一配列方式の画素データ
を、所定の特別色成分を有する第二配列方式の画素デー
タに変換する色空間変換回路と、 前記色選択ブロックから出力された４色目の画素のデー
タまたは前記第一配列方式の画素データ中の一の成分の
データの前記色空間変換回路に対する入力の可否を切り
換えるセレクタとをさらに有し、 前記色空間変換回路は、当該色空間変換回路に対して前
記セレクタがデータの入力を許可したときに、入力を許
可された当該データを４色目の画素のデータとして第二
配列方式の画素データに変換する機能を有することを特
徴とする 画像入力装置の画像処理回路。 - 【請求項２５】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 前記撮像素子で撮像されて順次入力される画素データ
と、前記主メモリ内に一旦格納された画像の画素データ
とを選択するセレクタと、 画像フレーム中において少なくとも３×３の複数のブロ
ックにブロック分割し、各ブロックにおける前画素の特
別色成分の積分値を求めて撮像素子での撮像時における
露出決定の評価値を出力する露出決定評価器を有し、 前記露出決定評価器は、前記各ブロック同士の境界線を
上下左右方向に任意に設定変更できるようにしたことを
特徴とする 画像入力装置の画像処理回路。 - 【請求項２６】 請求項１ないし請求項２４のいずれか
に記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、画像フレ
ーム中において少なくとも３×３の複数のブロックにブ
ロック分割し、各ブロックにおける前画素の特別色成分
の積分値を求めて撮像素子での撮像時における露出決定
の評価値を出力する露出決定評価器をさらに有し、 前記露出決定評価器は、前記各ブロック同士の境界線を
上下左右方向に任意に設定変更できるようにしたことを
特徴とする 画像入力装置の画像処理回路。 - 【請求項２７】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 前記撮像素子で撮像されて順次入力される画素データ
と、前記主メモリ内に一旦格納された画像の画素データ
とを選択するセレクタと、 所定の色空間におけるデータ群を処理する空間フィルタ
と、 前記空間フィルタ内の前記データ群のうち周波数変換後
の成分のみをゲイン調整して輪郭補正処理を行う輪郭補
正処理部とを有し、 前記輪郭補正処理部は、前記空間フィルタ内の前記デー
タ群のうち周波数変換後の成分のみをゲイン調整したデ
ータと、前記空間フィルタ内の元データとを別々のデー
タとして出力する機能を有することを特徴とする 画像入
力装置の画像処理回路。 - 【請求項２８】 請求項１ないし請求項２６のいずれか
に記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 所定の色空間におけるデータ群を処理する空間フィルタ
と、 前記空間フィルタ内の前記データ群のうち周波数変換後
の成分のみをゲイン調整して輪郭補正処理を行う輪郭補
正処理部とをさらに有し、 前記輪郭補正処理部は、前記空間フィルタ内の前記デー
タ群のうち周波数変換後の成分のみをゲイン調整したデ
ータと、前記空間フィルタ内の元データとを別々のデー
タとして出力する機能を有することを特徴とする 画像入
力装置の画像処理回路。 - 【請求項２９】 請求項２７または請求項２８に記載の
画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、 輪郭補正処理部での輪郭補正処理において、前記空間フ
ィルタから与えられた前記高周波特別色成分の振幅が所
定のしきい幅より小さいときにのみ、所定の非線形演算
関数により当該振幅をゼロ値とみなして出力することで
画像中のノイズ成分の除去を行うコアリングファンクシ
ョンブロックと、 前記コアリングファンクションブロックにおける前記所
定のしきい幅に対する前記高周波特別色成分の振幅の比
率を相対的に変化させる逆ガンマ効果ブロックとを有
し、 前記逆ガンマ効果ブロックは、前記空間フィルタから与
えられた元データの特別色成分により前記比率を所定の
比率変換関数により決定するようにされ、 前記所定の比率変換関数は、前記元データの特別色成分
が大きいほど、前記所定のしきい幅に対する前記高周波
特別色成分の振幅の比率を逓増するように設定されたこ
とを特徴とする画像入力装置の画像処理回路。 - 【請求項３０】 請求項２７または請求項２８に記載の
画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニット中の前記空間
フィルタ内の前記データ群は３成分のデータの集積とし
て構成され、 前記リアルタイムプロセッシングユニットは、前記主メ
モリに対して３成分出力または４成分出力が選択可能で
あり、いずれの場合においても、少なくとも１成分の出
力に対し、前記空間フィルタ内の３成分及び周波数変換
後の特別色成分のうちの１成分を選択的に 出力可能であ
ることを特徴とする画像入力装置の画像処理回路。 - 【請求項３１】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、前記撮像
素子で撮像されて順次入力される画素データと、前記主
メモリ内に一旦格納された画像の画素データとを選択す
るセレクタを有し、 前記主メモリは、前記撮像素子として、偶数ラインと奇
数ラインが２つのフィールドとして時間的に異なったタ
イミングで読み出されるインターレースタイプのものを
使用する場合に、前記偶数ラインと前記奇数ラインの一
方に係る第一フィールドの画素データが格納され、 前記リアルタイムプロセッシングユニットは、前記偶数
ラインと前記奇数ラインのうちの他方に係る第二フィー
ルドの画素データが前記撮像素子から順次入力される際
に、当該画素データに対応する前記主メモリ内の前記第
一フィールド内の画素データを、前記第二フィールドの
画素データの入力に同期して読み出し参照し、画素補間
処理、色空間変換処理及び輪郭補正処理を含む所定の画
像処理を実行することを特徴とする画像入力装置の画像
処理回路。 - 【請求項３２】 請求項１ないし請求項３０のいずれか
に記載の画像入力装置の画像処理回路であって、 前記主メモリは、前記撮像素子として、偶数ラインと奇
数ラインが２つのフィールドとして時間的に異なったタ
イミングで読み出されるインターレースタイプのものを
使用する場合に、前記偶数ラインと前記奇数ラインの一
方に係る第一フィールドの画素データが格納され、 前記リアルタイムプロセッシングユニットは、前記偶数
ラインと前記奇数ラインのうちの他方に係る第二フィー
ルドの画素データが前記撮像素子から順次入力される際
に、当該画素データに対応する前記主メモリ内の前記第
一フィールド内の画素データを、前記第二フィールドの
画素データの入力に同期して読み出し参照し、画素補間
処理、色空間変換処理及び輪郭補正処理を含む所定の画
像処理を実行することを特徴とする画像入力装置の画像
処理回路。 - 【請求項３３】 画像入力装置内において、撮像素子で
撮像した画像について所定の画像処理を行う画像処理回
路であって、 前記撮像素子で撮像されて順次入力される画素データに
ついてラインメモリを使用して順次に接続された複数の
画像処理部による実時間処理により所定の一般画像処理
を行うリアルタイムプロセッシングユニットと、 少なくとも前記リアルタイムプロセッシングユニットか
ら出力された画素データを画像フレーム単位で記憶する
主メモリと、 前記主メモリ内に一旦記憶された画像に対して前記一般
画像処理以外の例外的画像処理をソフトウェアプログラ
ム処理として実行して前記主メモリ内に格納する中央制
御部とを備え、 前記リアルタイムプロセッシングユニットは、 前記撮像素子で撮像されて順次入力される画素データ
と、前記主メモリ内に一旦格納された画像の画素データ
とを選択するセレクタと、 １ライン中において所定個数の画素データを格納する前
記ラインメモリと を有し、 前記主メモリは、前記撮像素子から与えられるフレーム
単位の画像を格納するようにされ、 前記リアルタイムプロセッシングユニットは、前記撮像
素子の１ラインの撮像画素数が前記ラインメモリ中の画
素データの個数より多い場合に、前記主メモリに格納さ
れたフレーム単位の前記画像を水平方向に複数ブロック
に分割して認識し、 前記リアルタイムプロセッシングユニット内の前記ライ
ンメモリには、前記主メモリ内で前記複数ブロックに分
割された前記画像に係る画素データが順次入力されるこ
とを特徴とする画像入力装置の画像処理回路。 - 【請求項３４】 請求項１ないし請求項３２のいずれか
に記載の画像入力装置の画像処理回路であって、 前記リアルタイムプロセッシングユニットは、１ライン
中において所定個数の画素データを格納する前記ライン
メモリを有し、 前記主メモリは、前記撮像素子から与えられるフレーム
単位の画像を格納するようにされ、 前記リアルタイムプロセッシングユニットは、前記撮像
素子の１ラインの撮像画素数が前記ラインメモリ中の画
素データの個数より多い場合に、前記主メモリに格納さ
れたフレーム単位の前記画像を水平方向に複数ブロック
に分割して認識し、 前記リアルタイムプロセッシングユニット内の前記ライ
ンメモリには、前記主メモリ内で前記複数ブロックに分
割された前記画像に係る画素データが順次入力されるこ
とを特徴とする画像入力装置の画像処理回路。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03497999A JP3532781B2 (ja) | 1999-02-12 | 1999-02-12 | 画像入力装置の画像処理回路 |
| US09/459,574 US7116358B1 (en) | 1999-02-12 | 1999-12-13 | Image processing circuit of image input device |
| US10/694,913 US20040085462A1 (en) | 1999-02-12 | 2003-10-29 | Image processing circuit of image input device |
| US10/694,914 US7256826B2 (en) | 1999-02-12 | 2003-10-29 | Image processing circuit of image input device |
| US10/694,909 US7190396B2 (en) | 1999-02-12 | 2003-10-29 | Image processing circuit of image input device |
| US11/490,182 US7598985B2 (en) | 1999-02-12 | 2006-07-21 | Image processing circuit of image input device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03497999A JP3532781B2 (ja) | 1999-02-12 | 1999-02-12 | 画像入力装置の画像処理回路 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003423091A Division JP2004153848A (ja) | 2003-12-19 | 2003-12-19 | 画像入力装置の画像処理回路 |
| JP2003423090A Division JP2004153847A (ja) | 2003-12-19 | 2003-12-19 | 画像入力装置の画像処理回路 |
| JP2003423092A Division JP3748446B2 (ja) | 2003-12-19 | 2003-12-19 | 画像入力装置の画像処理回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000236473A JP2000236473A (ja) | 2000-08-29 |
| JP3532781B2 true JP3532781B2 (ja) | 2004-05-31 |
Family
ID=12429277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03497999A Expired - Lifetime JP3532781B2 (ja) | 1999-02-12 | 1999-02-12 | 画像入力装置の画像処理回路 |
Country Status (2)
| Country | Link |
|---|---|
| US (5) | US7116358B1 (ja) |
| JP (1) | JP3532781B2 (ja) |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3532781B2 (ja) | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
| JP4700164B2 (ja) * | 2000-04-24 | 2011-06-15 | 富士フイルム株式会社 | 画像記録装置及び方法 |
| JP2002142149A (ja) | 2000-11-06 | 2002-05-17 | Mega Chips Corp | 画像処理回路 |
| US20020063899A1 (en) * | 2000-11-29 | 2002-05-30 | Tinku Acharya | Imaging device connected to processor-based system using high-bandwidth bus |
| JP3720268B2 (ja) | 2001-02-26 | 2005-11-24 | 株式会社メガチップス | 画像処理装置 |
| JP4112187B2 (ja) * | 2001-03-01 | 2008-07-02 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP2002290838A (ja) * | 2001-03-27 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 映像信号処理方式及び撮像装置 |
| JP3781634B2 (ja) * | 2001-04-26 | 2006-05-31 | シャープ株式会社 | 画像処理装置および画像処理方法並びに携帯用映像機器 |
| JP3854833B2 (ja) * | 2001-09-10 | 2006-12-06 | キヤノン株式会社 | 撮像装置およびその信号処理方法およびプログラム及び記憶媒体 |
| DE60130671D1 (de) * | 2001-12-24 | 2007-11-08 | St Microelectronics Srl | Verfahren zur Kontrastverbesserung in digitalen Farbbildern |
| JP2003199019A (ja) * | 2001-12-26 | 2003-07-11 | Sony Corp | 撮像装置および方法、記録媒体、並びにプログラム |
| CN1219395C (zh) * | 2002-01-30 | 2005-09-14 | 株式会社理光 | 摄像装置和摄像方法 |
| EP1333663B8 (en) | 2002-01-30 | 2015-10-28 | Ricoh Company, Ltd. | Photographing apparatus and photographing method |
| JP3986325B2 (ja) * | 2002-02-27 | 2007-10-03 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理システム |
| US7433099B2 (en) * | 2002-05-01 | 2008-10-07 | Canon Kabushiki Kaisha | Image sensing apparatus, image sensing method, program, and storage medium |
| JP2003348336A (ja) * | 2002-05-24 | 2003-12-05 | Canon Inc | 画像処理方法及び装置 |
| US7202894B2 (en) * | 2002-06-04 | 2007-04-10 | Micron Technology, Inc. | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays |
| US20030234888A1 (en) * | 2002-06-25 | 2003-12-25 | Jia-Cherng Hong | Carried image processing device |
| JP2004193970A (ja) * | 2002-12-11 | 2004-07-08 | Sanyo Electric Co Ltd | 画像データ処理装置 |
| JP4245139B2 (ja) * | 2003-03-31 | 2009-03-25 | 株式会社メガチップス | 画像処理装置 |
| JP4189252B2 (ja) * | 2003-04-02 | 2008-12-03 | パナソニック株式会社 | 画像処理装置及びカメラ |
| KR100771299B1 (ko) * | 2003-06-26 | 2007-10-29 | 삼성전기주식회사 | 색 보간용 라인 버퍼 및 라인 데이터 제공 방법 |
| US7350176B1 (en) * | 2003-07-17 | 2008-03-25 | Altera Corporation | Techniques for mapping to a shared lookup table mask |
| JP4193628B2 (ja) | 2003-07-18 | 2008-12-10 | ソニー株式会社 | 撮像装置 |
| JP2005167974A (ja) * | 2003-11-10 | 2005-06-23 | Seiko Epson Corp | 画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置 |
| JP4546102B2 (ja) * | 2004-01-23 | 2010-09-15 | キヤノン株式会社 | 記録ヘッド基板、その記録ヘッド基板を用いた記録ヘッド、その記録ヘッドを備えた記録装置、及びその記録ヘッドを含むヘッドカートリッジ |
| FR2867935A1 (fr) * | 2004-03-17 | 2005-09-23 | Thomson Licensing Sa | Procede de rehaussement des contours dans une image |
| JP2006259663A (ja) * | 2004-06-30 | 2006-09-28 | Canon Inc | 画像処理方法、画像表示装置、映像受信表示装置および画像処理装置 |
| JP2006020015A (ja) * | 2004-07-01 | 2006-01-19 | Pentax Corp | 画像処理装置 |
| KR100615277B1 (ko) * | 2004-08-18 | 2006-08-25 | 엠텍비젼 주식회사 | 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치 |
| JP4811664B2 (ja) * | 2004-10-19 | 2011-11-09 | 株式会社メガチップス | 画像処理方法及び画像処理装置 |
| TWI296394B (en) * | 2005-03-15 | 2008-05-01 | Sunplus Technology Co Ltd | Method and apparatus of image dynamic response re-mapping and digital camera using the same |
| JP4715278B2 (ja) * | 2005-04-11 | 2011-07-06 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム格納媒体、プログラム、並びに提供装置 |
| US7321504B2 (en) * | 2005-04-21 | 2008-01-22 | Micron Technology, Inc | Static random access memory cell |
| JP2007195096A (ja) * | 2006-01-23 | 2007-08-02 | Sanyo Electric Co Ltd | 電子カメラ |
| KR20070079224A (ko) * | 2006-02-01 | 2007-08-06 | 삼성전자주식회사 | 코어링 장치 및 이를 이용하는 휘도 처리 프로세서와 그방법 |
| JP2007293431A (ja) * | 2006-04-21 | 2007-11-08 | Megachips Lsi Solutions Inc | 画像処理装置 |
| US7768866B2 (en) * | 2006-05-03 | 2010-08-03 | Macronix International Co., Ltd. | Method and system for preventing noise disturbance in high speed, low power memory |
| KR100804632B1 (ko) * | 2006-05-12 | 2008-02-20 | 삼성전자주식회사 | 전류 소모를 줄이는 데이터 전송 장치 및 방법, 액정 표시장치의 소스 드라이버 및 소스 구동 방법, 이를 포함하는액정 표시 장치 |
| JP4764924B2 (ja) * | 2006-05-18 | 2011-09-07 | パイオニア株式会社 | データ処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
| JP4925271B2 (ja) * | 2006-08-21 | 2012-04-25 | 株式会社メガチップス | 一眼レフデジタルカメラにおける連続撮像方法 |
| JP4785799B2 (ja) * | 2007-07-17 | 2011-10-05 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び撮影装置 |
| US8391635B2 (en) * | 2007-08-31 | 2013-03-05 | Olympus Corporation | Noise removal device, noise removal method, and computer readable recording medium |
| US20090094392A1 (en) * | 2007-10-03 | 2009-04-09 | Mikio Sakurai | System and Method for Data Operations in Memory |
| JP4952627B2 (ja) * | 2008-03-21 | 2012-06-13 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP4960309B2 (ja) * | 2008-06-17 | 2012-06-27 | 株式会社東芝 | 固体撮像装置 |
| JP5121671B2 (ja) * | 2008-10-30 | 2013-01-16 | 株式会社東芝 | 画像処理プロセッサ |
| KR101556931B1 (ko) * | 2009-02-24 | 2015-10-02 | 삼성전자주식회사 | 영상 데이터 처리 장치 및 방법 |
| JP5476876B2 (ja) * | 2009-09-11 | 2014-04-23 | 株式会社リコー | センサ駆動回路、ドライバ装置、画像読取装置、及び画像形成装置 |
| KR101608347B1 (ko) * | 2009-11-02 | 2016-04-01 | 삼성전자주식회사 | 디지털 영상 신호 처리 장치 및 방법 |
| US20110317034A1 (en) * | 2010-06-28 | 2011-12-29 | Athreya Madhu S | Image signal processor multiplexing |
| JP5528976B2 (ja) | 2010-09-30 | 2014-06-25 | 株式会社メガチップス | 画像処理装置 |
| US8934028B2 (en) * | 2011-12-15 | 2015-01-13 | Samsung Electronics Co., Ltd. | Imaging apparatus and image processing method |
| KR101613762B1 (ko) * | 2012-06-14 | 2016-04-19 | 엘에스산전 주식회사 | 영상 제공 장치 및 방법 |
| US9575304B2 (en) * | 2012-06-25 | 2017-02-21 | Huron Technologies International Inc. | Pathology slide scanners for fluorescence and brightfield imaging and method of operation |
| US20140168278A1 (en) * | 2012-12-13 | 2014-06-19 | Pixtronix, Inc. | Display with light modulating pixels organized in off-axis arrangement |
| US9052740B2 (en) * | 2013-03-12 | 2015-06-09 | Qualcomm Incorporated | Adaptive data path for computer-vision applications |
| KR101637637B1 (ko) * | 2014-01-06 | 2016-07-07 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치 |
| CN107736016B (zh) * | 2015-06-30 | 2020-10-13 | 索尼公司 | 图像传感器和电子装置 |
| EP3278718A4 (en) * | 2015-08-07 | 2019-01-23 | Olympus Corporation | IMAGING DEVICE |
| JP6551150B2 (ja) * | 2015-10-23 | 2019-07-31 | 株式会社リコー | 画像処理装置、画像形成装置、及び画像処理方法 |
| KR102433924B1 (ko) | 2016-01-14 | 2022-08-19 | 삼성전자주식회사 | 디스플레이 컨트롤러, 그리고 이를 포함하는 어플리케이션 프로세서 |
| US10506161B2 (en) * | 2017-10-26 | 2019-12-10 | Qualcomm Incorporated | Image signal processor data traffic management |
Family Cites Families (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59186480A (ja) | 1983-04-08 | 1984-10-23 | Fuji Photo Film Co Ltd | 固体撮像装置 |
| JPS60139080A (ja) * | 1983-12-27 | 1985-07-23 | Canon Inc | 画像処理装置 |
| DE3527301A1 (de) * | 1984-07-31 | 1986-02-13 | Canon K.K., Tokio/Tokyo | Bildleseeinrichtung |
| US4805013A (en) * | 1984-09-05 | 1989-02-14 | Canon Kabushiki Kaisha | Image data conversion system |
| JPS62293384A (ja) * | 1986-06-11 | 1987-12-19 | Toshiba Corp | 画像入力装置 |
| JPH0797838B2 (ja) * | 1986-09-30 | 1995-10-18 | キヤノン株式会社 | 撮像装置 |
| US4858013A (en) * | 1987-03-19 | 1989-08-15 | Mitsubishi Denki Kabushiki Kaisha | Solid state imaging device with adaptive pixel correction |
| JP2565260B2 (ja) * | 1987-10-17 | 1996-12-18 | ソニー株式会社 | 固体撮像装置用画像欠陥補正装置 |
| US4980760A (en) * | 1988-01-29 | 1990-12-25 | Konica Corporation | Image processing apparatus |
| JP3226271B2 (ja) * | 1989-07-27 | 2001-11-05 | オリンパス光学工業株式会社 | ディジタル電子スチルカメラ |
| US5047863A (en) * | 1990-05-24 | 1991-09-10 | Polaroid Corporation | Defect correction apparatus for solid state imaging devices including inoperative pixel detection |
| JP2748678B2 (ja) * | 1990-10-09 | 1998-05-13 | 松下電器産業株式会社 | 階調補正方法および階調補正装置 |
| JPH0799850B2 (ja) * | 1991-03-04 | 1995-10-25 | 富士ゼロックス株式会社 | 画像記録装置用画像読み取り装置 |
| JPH04288781A (ja) * | 1991-03-18 | 1992-10-13 | Canon Inc | γ補正回路 |
| WO1992021204A2 (en) * | 1991-05-10 | 1992-11-26 | Eastman Kodak Company | Customizable timing and control asic for electronic imaging |
| US5412489A (en) * | 1991-06-29 | 1995-05-02 | Minolta Camera Kabushiki Kaisha | Shading correction having a line memory read which generates an average reference level from a plurality of lines of a reference plate |
| JPH05260386A (ja) * | 1992-03-16 | 1993-10-08 | Sony Corp | 固体撮像素子の欠陥画素検出回路 |
| US5905533A (en) * | 1992-05-20 | 1999-05-18 | Nikon Corporation | Image processing apparatus |
| US5291293A (en) * | 1992-06-01 | 1994-03-01 | Eastman Kodak Company | Electronic imaging device with defect correction |
| KR940008510A (ko) * | 1992-09-14 | 1994-04-29 | 김광호 | 고체촬상소자(ccd)형 컬러비디오카메라의 비디오신호처리회로 |
| US5691821A (en) * | 1992-12-04 | 1997-11-25 | Canon Kabushiki Kaisha | A/D converting apparatus and image sensing apparatus |
| US6259478B1 (en) * | 1994-04-01 | 2001-07-10 | Toshikazu Hori | Full frame electronic shutter camera |
| US6181368B1 (en) * | 1994-04-14 | 2001-01-30 | Asahi Kogaku Kogyo Kabushiki Kaisha | Electronic endoscope |
| US5473373A (en) * | 1994-06-07 | 1995-12-05 | Industrial Technology Research Institute | Digital gamma correction system for low, medium and high intensity video signals, with linear and non-linear correction |
| JPH0865546A (ja) * | 1994-08-18 | 1996-03-08 | Fuji Photo Film Co Ltd | シェーディング補正係数生成回路およびシェーディング補正係数生成方法 |
| JP3687124B2 (ja) | 1995-02-23 | 2005-08-24 | 三菱電機株式会社 | 固体撮像素子及びその駆動方法 |
| JPH08275098A (ja) * | 1995-04-03 | 1996-10-18 | Konica Corp | ビデオカメラ |
| JP3071131B2 (ja) * | 1995-09-05 | 2000-07-31 | 三洋電機株式会社 | ガンマ補正装置 |
| US6011585A (en) * | 1996-01-19 | 2000-01-04 | Apple Computer, Inc. | Apparatus and method for rotating the display orientation of a captured image |
| JPH09321812A (ja) | 1996-05-29 | 1997-12-12 | Tokyo Electron Ind Co Ltd | デジタルデータ復調装置 |
| JPH1042286A (ja) * | 1996-07-19 | 1998-02-13 | Canon Inc | 画像処理装置、方法及びコンピュータ可読メモリ装置 |
| JP4058121B2 (ja) | 1996-07-19 | 2008-03-05 | キヤノン株式会社 | カメラ及びカメラの制御方法 |
| US6166781A (en) * | 1996-10-04 | 2000-12-26 | Samsung Electronics Co., Ltd. | Non-linear characteristic correction apparatus and method therefor |
| US5828985A (en) * | 1996-11-20 | 1998-10-27 | Advantest Corp. | Semiconductor test system |
| US6411331B1 (en) * | 1997-02-28 | 2002-06-25 | Hewlett-Packard Company | Automatic white balance detection and correction of an image captured in a digital camera |
| US6356306B1 (en) * | 1997-02-28 | 2002-03-12 | Sanyo Electric Co., Ltd. | Digital camera capable of converting a progressive scan signal into an interlace scan signal |
| JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
| JPH10304190A (ja) | 1997-04-23 | 1998-11-13 | Ricoh Co Ltd | 画像形成装置 |
| JP3133702B2 (ja) * | 1997-05-30 | 2001-02-13 | 三洋電機株式会社 | ディジタルスチルカメラ |
| JP4115574B2 (ja) * | 1998-02-02 | 2008-07-09 | オリンパス株式会社 | 撮像装置 |
| US6396539B1 (en) * | 1998-02-27 | 2002-05-28 | Intel Corporation | CMOS imaging device with integrated defective pixel correction circuitry |
| US6563535B1 (en) * | 1998-05-19 | 2003-05-13 | Flashpoint Technology, Inc. | Image processing system for high performance digital imaging devices |
| US6642956B1 (en) * | 1998-05-29 | 2003-11-04 | Agilent Technologies, Inc. | Digital image processor for a digital camera |
| JP4131052B2 (ja) * | 1998-07-17 | 2008-08-13 | ソニー株式会社 | 撮像装置 |
| JP3532781B2 (ja) | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
| US6381357B1 (en) * | 1999-02-26 | 2002-04-30 | Intel Corporation | Hi-speed deterministic approach in detecting defective pixels within an image sensor |
-
1999
- 1999-02-12 JP JP03497999A patent/JP3532781B2/ja not_active Expired - Lifetime
- 1999-12-13 US US09/459,574 patent/US7116358B1/en not_active Expired - Lifetime
-
2003
- 2003-10-29 US US10/694,909 patent/US7190396B2/en not_active Expired - Lifetime
- 2003-10-29 US US10/694,914 patent/US7256826B2/en not_active Expired - Lifetime
- 2003-10-29 US US10/694,913 patent/US20040085462A1/en not_active Abandoned
-
2006
- 2006-07-21 US US11/490,182 patent/US7598985B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7190396B2 (en) | 2007-03-13 |
| US7116358B1 (en) | 2006-10-03 |
| US20060256213A1 (en) | 2006-11-16 |
| US20040105016A1 (en) | 2004-06-03 |
| US20040085462A1 (en) | 2004-05-06 |
| US20040095482A1 (en) | 2004-05-20 |
| US7256826B2 (en) | 2007-08-14 |
| JP2000236473A (ja) | 2000-08-29 |
| US7598985B2 (en) | 2009-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3532781B2 (ja) | 画像入力装置の画像処理回路 | |
| US6778216B1 (en) | Method and apparatus for digital camera real-time image correction in preview mode | |
| US7408587B2 (en) | Image conversion device, image conversion method and data conversion circuit as well as digital camera | |
| US6982756B2 (en) | Digital camera, image signal processing method and recording medium for the same | |
| JPH09135388A (ja) | 電子的撮像装置 | |
| JPH1084502A (ja) | デジタルカメラ | |
| JP2002010108A (ja) | 画像信号処理装置および画像信号処理方法 | |
| US6967660B2 (en) | Image processing apparatus and image processing system | |
| EP1045594A2 (en) | Programmable real-time image processing | |
| JP2002359754A (ja) | 階調補正装置及び方法 | |
| JP2921973B2 (ja) | 特定物体の画像抽出方法及び画像抽出装置 | |
| JP3748446B2 (ja) | 画像入力装置の画像処理回路 | |
| JP2004153848A (ja) | 画像入力装置の画像処理回路 | |
| JP3983500B2 (ja) | データ変換回路およびデジタル・カメラ | |
| US8913164B2 (en) | Image processor, electronic device including image processor, and image processing method for performing stepped tone correction on images | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| JP2003101884A (ja) | シェーディング補正装置および方法 | |
| JP4677582B2 (ja) | 画像処理装置 | |
| JP2004153847A (ja) | 画像入力装置の画像処理回路 | |
| JP2003348442A (ja) | テレビジョンカメラ装置 | |
| JP3777733B2 (ja) | 入力画像処理方法及び画像入力装置並びに入力画像処理プログラムを記憶したコンピュータに読み取り可能な記憶媒体 | |
| JP2002199275A (ja) | ディジタルカメラ及び撮像方法 | |
| JP2002176584A (ja) | 自動露出補正装置及び方法 | |
| JP2005318387A (ja) | 画像処理装置及びその色判定方法、画像機器 | |
| JPH11146409A (ja) | ビデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031219 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040304 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160312 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |