JP4244218B2

JP4244218B2 - 撮像信号処理回路およびカメラシステム

Info

Publication number: JP4244218B2
Application number: JP2005193902A
Authority: JP
Inventors: 義久嶋津; 真晃古武; 臣二北村
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-07-09
Filing date: 2005-07-01
Publication date: 2009-03-25
Anticipated expiration: 2025-07-01
Also published as: US20060007323A1; JP2006050593A

Description

本発明は、固体撮像素子よりインターレース方式の読み出しで得られるデジタル撮像信号を処理する撮像信号処理回路に関する。

近年、カメラシステムの技術分野では、処理の高速化や記録枚数の向上が重要視されている。

図９に示す関連技術のカメラシステムにおいて、被写体の像は撮影レンズ４１を通過し、ＣＣＤ(Charge Coupled Device)等の固体撮像素子４２に結像され、固体撮像素子駆動部４３の駆動タイミング制御により光電変換され、アナログ信号として出力される。次に、アナログ信号処理部４４によってアナログ信号の増幅やノイズ除去等の処理が行われ、アナログ／デジタル変換部４５によってアナログ信号がデジタル撮像信号に変換される。デジタル撮像信号は撮像信号処理回路２００の色信号処理部５１に入力され、色変換処理によって輝度信号と色差信号の映像信号が生成され、圧縮／伸張処理部５２に出力される。圧縮／伸張処理部５２により圧縮率を求める符号量見積りの圧縮処理が行われ、さらに、求められた圧縮率を基に画像データが例えばＪＰＥＧ（Joint Photographic Coding Experts Group）方式で圧縮され、圧縮画像データとして出力され、外部メモリ６１に格納される。同様にサムネイル画像データが作成され、ＲＡＭ（random access memory）などの外部メモリ６１に格納される。ＣＰＵ５５の制御により、外部メモリ６１に格納された圧縮画像データは規格フォーマットに沿ったデータに加工され、画像データ記録部５３に入力される。圧縮画像データは画像データ記録部５３により記録メディア６２に記録される。また、色信号処理部５１から出力された映像信号は、表示出力部５４により表示出力される。図１０はデータの流れを示す。図１１は３フィールド取り込み方式の説明図、図１２は５フィールド取り込み方式の説明図である。

なお、本発明に関する先行技術として特許文献１がある。特許文献１においては、ブロック単位で各処理を行うことにより、回路規模の縮小、消費電力の低減化、処理速度の向上、メモリへのアクセス回数の低減が実現されている。
特開２０００−３５４１９３号公報（第３頁、第１図）

上記関連技術のカメラシステムには、次のような課題がある。色変換処理後の画像データを一時記憶させるために大容量の外部メモリを必要とする。また、外部メモリへのアクセス頻度が高い。圧縮／伸張処理部では、事前に符号量見積りの圧縮処理を行って圧縮率を求めておき、その後、外部メモリから画像データを読み出して圧縮処理を行う２パス方式にしなければならない。圧縮／伸張処理部から出力された画像データを外部メモリへ書き込み、ＣＰＵ制御により外部メモリ上の画像データを読み出し、画像データ記録部を介して記録メディアへ記録する。その結果、高速処理がむずかしい。

（１）本発明による第１の撮像信号処理回路は、
固体撮像素子より垂直方向にＮフィールドのインターレース方式で読み出されかつデジタル変換されて得られるデジタル撮像信号を入力し、前記デジタル撮像信号を輝度信号および色差信号に変換する色変換処理を行う色信号処理部と、
色変換された前記デジタル撮像信号を用いて事前に圧縮率を求める符号量見積りの圧縮処理を行うとともに、求められた前記圧縮率を基に、Ｎフィールド目のデジタル撮像信号の取り込みが完了する前に、Ｎフィールドのうち取り込み完了フィールドまでのデジタル撮像信号を圧縮して圧縮画像データを生成する圧縮／伸張処理部と、
生成された前記圧縮画像データを記録メディアへ転送し記録する画像データ記録部と、
プログラムメモリに格納されたプログラムに従って動作し、前記色信号処理部、前記圧縮／伸張処理部および前記画像データ記録部を制御するＣＰＵ（central processing unit）とを備えた構成とされている。ここでＮフィールドのＮは、２以上の自然数である。

これによれば、符号量見積りの圧縮処理によりあらかじめ圧縮率を求めているので、色変換処理、拡大／縮小処理と同時に圧縮処理を行い、外部メモリを介さずに記録メディアへ直接入力するシーケンスを実現できる。すなわち、１パス方式を実現でき、各処理におけるワーク領域としての外部メモリを少量化でき、低コスト化を実現できる。また、外部メモリへのアクセス頻度を軽減し、高速化を実現できる。

なお、前記圧縮率を求める符号量見積りの圧縮処理では、好ましくは、前記取り込み完了フィールドまでの垂直全画素または垂直一部画素および水平全画素で構成されるデジタル撮像信号を対象にするものとする。

上記の構成において、さらに、前記色信号処理部の前段に、前記固体撮像素子から取り込まれた前記デジタル撮像信号を水平方向に加算混合する水平画素加算処理部を備えた態様もある。

これによれば、水平画素加算処理部において、符号量見積りの圧縮処理時に、見積り画像の水平方向と垂直方向のアスペクト比を撮像画像のアスペクト比と合わせることができ、水平方向と垂直方向の周波数特性の違いによる見積り符号量の誤差を軽減することができる。

また、上記の構成において、前記ＣＰＵは、外部から入力される画質情報に応じて符号量調整パラメータを決定するという態様がある。

この場合、前記ＣＰＵは、所定のアルゴリズムを用いて、前記画質情報に応じて所望の符号量を決定し、Ｎフィールド目のデジタル撮像信号の取り込みが完了する前に行われた符号量見積りの圧縮処理における符号量と前記所望の符号量とを基に計算することにより前記符号量調整パラメータを決定するものとする。

これによれば、記録画素数、画像ファイルサイズ、あるいは画質モード（高画質、通常画質、低画質など）などの画質情報をユーザーが設定することにより、その画質情報に応じた圧縮画像データの生成が可能となる。

さらに、上記において、前記ＣＰＵは、決定された前記符号量調整パラメータを用いた本体画像の圧縮の符号量と前記所望の符号量とを比較し、その大小関係に応じて前記所定のアルゴリズムを修正するという態様もある。

これによれば、撮影する都度、アルゴリズムの修正を行うことにより、撮影枚数が増えるに従って符号量見積りの精度が向上し、記録時に所望の符号量を得ることができる。

本発明は、カメラシステムとして、次のように展開することも可能である。

すなわち、本発明によるカメラシステムは、
撮影レンズを通して受けた光を電気信号に変換し撮像信号として出力する固体撮像素子と、
前記撮像信号をデジタル変換してデジタル撮像信号を得るアナログ／デジタル変換回路と、
上記のいずれかの撮像信号処理回路を備えた構成とされているものである。

本発明によれば、下記効果が期待できる。

すなわち、事前にサムネイル色変換処理、サムネイル画像信号圧縮処理を行うことにより画像データを外部メモリに戻さずに記録メディアへの書き込みが可能となり、外部メモリへのアクセス頻度が軽減される。また、各処理におけるワーク領域としての外部メモリが少量化でき、低コスト化が実現できる。

また、事前にサムネイル色変換処理、サムネイル画像信号圧縮処理、色変換処理、符号量見積り圧縮処理を行うことで色変換処理、拡大／縮小処理と同時に圧縮処理を行う。この場合、すでに符号量見積り圧縮処理が完了しているため、色変換処理、拡大／縮小処理と同時に圧縮処理を行い、記録メディア部へ直接入力するシーケンスが実現できる。このとき、画像信号圧縮／伸張処理に関して事前に符号量見積り圧縮処理を行うことで、色変換処理された映像信号は外部メモリを介さずに直接圧縮処理されるという１パス方式になる。また、事前に色変換処理、符号量見積り圧縮処理を行うことにより、色変換処理を行いながら圧縮処理を行えるため、記録手順を更新し高速化を実現できる。

さらに、符号量見積り圧縮時に水平画素加算部を設けることにより、見積り画像の水平方向と垂直方向のアスペクト比を撮像画像のアスペクト比と合わせることが出来、水平方向と垂直方向の周波数特性の違いによる見積り符号量の誤差を軽減することも出来る。撮影する都度アルゴリズム修正を行うことにより撮影枚数が増えると符号量見積り精度が向上し、記録時に所望の符号量を得ることが出来る。

以下、本発明にかかわる撮像信号処理回路の実施の形態を図面に基づいて詳細に説明する。

図１は本発明の実施の形態における撮像信号処理回路を含むカメラシステムの構成を示すブロック図である。このカメラシステムは、撮影レンズ１１、固体撮像素子１２、固体撮像素子駆動部１３、アナログ信号処理部１４、アナログ／デジタル変換部１５、撮像信号処理回路１００、外部メモリ３１、記録メディア３２、プログラムメモリ３３および画質選択手段３４で構成されている。固体撮像素子１２としては例えばＣＣＤを使用できる。外部メモリ３１としては例えばＤＲＡＭ（Dynamic Random Access Memory）を使用できる。

撮像信号処理回路１００は、ＬＳＩで構成され、水平画素加算処理部２１、色信号処理部２２、画像データの圧縮／伸張処理部２３、画像データ記録部２４、表示出力部２５およびＣＰＵ２６を備えている。

色信号処理部２２は、デジタル撮像信号を輝度信号および色差信号に変換し、任意のサイズに拡大／縮小する色変換処理を行う。圧縮／伸張処理部２３は、色変換されたデジタル撮像信号を用いて、画像データを圧縮するときに使用する圧縮率を事前に求めるための符号量見積りの圧縮処理を行い、またその圧縮率を用いて本体圧縮処理を行う。画像データ記録部２４は、圧縮された画像データをメディアへ転送するメディア転送処理を行う。表示出力部２５は、画像データを外部デバイスへ出力する表示出力処理を行う。色信号処理部２２、圧縮／伸張処理部２３、画像データ記録部２４、表示出力部２５は、ＣＰＵ２６によって制御される。水平画素加算処理部２１は、垂直１/Ｎ間引き(Ｎ≧２)、水平全画素データを水平にＮ画素を加算混合するための回路である。この水平画素加算処理部２１は、必ずしも必要としない。

プログラムメモリ３３は、カメラシステムを動作させるためのプログラムを格納する。ＣＰＵ２６は、プログラムメモリ３３からプログラムを読み出して実行する。ＣＰＵ２６によりプログラムメモリ３３の内容を書き換えることも可能である。

画質選択手段３４は、スイッチまたはメニューでユーザーが選択する機構となっており、記録画素数の選択、画像ファイルサイズ、あるいは画質モード（高画質、通常画質、低画質など）をユーザーが選択し、その画質情報がＣＰＵ２６に伝達される。

次に、上記のように構成された本実施の形態のカメラシステムの動作を説明する。図２は、本実施の形態のカメラシステムにおけるデータ処理の流れを示す。

被写体の像は撮影レンズ１１を通過し、固体撮像素子１２に結像され、固体撮像素子駆動部１３の駆動タイミングにより光電変換されアナログ信号として出力される。次に、アナログ信号処理部１４によってアナログ信号の増幅やノイズ除去等の処理が行われ、アナログ／デジタル変換部１５によってアナログ信号がデジタル撮像信号に変換される。

アナログ／デジタル変換部１５によってデジタル撮像信号に変換された撮像信号を入力した撮像信号処理回路１００は、外部メモリ３１をワーク領域として使用し、入力されたデジタル撮像信号を画像データ（符号データ）に変換する。以下、撮像信号処理回路１００の動作の詳細を説明する。

デジタルの撮像信号は水平画素加算処理部２１を通過し、デジタル撮像信号処理部２０における色信号処理部２２に入力され、色信号処理部２２によって色変換処理が行われて輝度信号と色差信号の映像信号が生成され、必要に応じて拡大／縮小処理が行われる。色変換処理は、例えばモニターのような外部デバイスに表示するためや記録データとして圧縮するために必要である。色変換処理されたデジタル撮像信号は、表示出力部２５や圧縮／伸張処理部２３に送られる。映像信号は圧縮／伸張処理部２３によりＪＰＥＧで圧縮され圧縮画像データとして出力される。必要に応じて、圧縮画像データが伸張される。圧縮画像データは画像データ記録部２４によって記録メディア３２に記録される。また、色信号処理部２２から出力された画像データは、表示出力部２５により表示出力される。

（具体的実施例１）
本発明の具体的実施例１として、図３にカメラシステムの３フィールド取り込み方式時の処理シーケンスを示す。初めに３フィールド取り込み方式時の取り込みデータの処理に関して、図４を用いて説明する。

３フィールド取り込み方式の固体撮像素子による撮像信号の出力は、３ｎライン単位で行われ、撮像信号１ａに対し、第１フィールド１ｂ、第２フィールド１ｃ、第３フィールド１ｄの順で取り込みが行われる。まず、第１フィールドのデジタル撮像信号が外部メモリ３１に取り込まれる。

水平画素加算処理部２１がある場合には、水平方向に加算混合されたフィールドデータまたは／および加算混合されていないフィールドデータが取り込まれる。

次に、第２フィールドのデータの外部メモリ３１への取り込みと並列して、第１フィールドのデータが外部メモリ３１から読み出され、色信号処理部２２によって色変換処理が行われる。すなわち、輝度信号、色差信号の映像信号が生成される。

次に、生成された輝度信号、色差信号を用いて、圧縮／伸張処理部２３へ入力し圧縮することにより、圧縮率を求める符号量見積りの圧縮処理が行われる。ここで圧縮率を求める符号量見積りの圧縮処理とは、画像データを圧縮するときに使用する圧縮率を求めるために事前に行う画像データ圧縮処理をいう。圧縮率を求める符号量見積りの圧縮処理は、画像データを圧縮するときに一定のサイズもしくは任意のサイズに圧縮するために必要であり、処理結果を用いて画像データを圧縮するときに必要な圧縮率を求める処理が行われる。

また、外部メモリ３１から読み出された第１フィールドのデータを用いて、サムネイル色変換処理が行われ、撮像信号が輝度信号、色差信号に変換され、サムネイルサイズの垂直１６０画素、水平１２０画素の大きさに変換される。サムネイル色変換処理は、ＤＣＦ（Design rule for Camera File system）やＤＰＯＦ（Digital Print Order Format）などの規格に準拠したデータとして記録するために必要であり、処理結果を用いてサムネイル画像データの圧縮処理やサムネイル画像の表示出力処理などが行われる。

サムネイル画像データの作成によって、水平方向のデジタル的な間引き、または加算混合等による画角合わせ、サムネイル用の輝度信号、色差信号の作成が行われる。なお、水平画素加算処理部２１がある場合には、すでに水平方向に画素の加算混合がなされており、画角が調整されているためデジタル的な画角合わせは必要ではない。

次に、サムネイル用の輝度信号、色差信号を用いて、圧縮／伸張処理部２３へ入力し、圧縮することによりサムネイル画像のデータ圧縮処理が行われる。サムネイル画像は、ＤＣＦやＤＰＯＦなどの規格に準拠したデータとして記録するために必要であり、処理結果を用いて記録メディア転送処理が行われる。生成されたサムネイル画像データは記録メディア３２へと転送される。

次に、第３フィールドのデータ取り込みと並列して、外部メモリ３１から垂直方向に対応する第１フィールドまたは／および第２フィールドのデータ読み出しが行われる。これによって、連続するデジタル撮像信号が順次完成していくので、完成した連続するデジタル撮像信号毎に、色信号処理部２２によって本体色信号処理が行われる。すなわち、輝度信号、色差信号の映像信号が生成される。

次に、前記映像信号を用い、その一部または全部を圧縮／伸張処理部２３へ入力し圧縮することにより本体画像の圧縮処理が行われ、圧縮処理が行われた本体画像の圧縮画像データからＣＰＵ制御により画像データ記録部２４を介して記録メディア３２へ記録される。

本実施の形態においては、事前に圧縮率を求める符号量見積りの圧縮処理が行われているため、圧縮率がすでに決定されている。したがって、関連技術のように符号量見積りの圧縮処理のために色変換処理後のデジタル撮像信号を外部メモリ３１に書き戻すことなく、本体画像の圧縮処理を行うことができ、外部メモリ３１へのバスアクセスを減らし、消費電力を低減できる。また、事前に圧縮率を求める符号量見積りの圧縮処理が完了しているため、処理速度も向上する。なおこのとき、ＣＰＵ２６によって記録メディア３２上の符号ヘッダデータを書き換えることも可能である。

また、本実施の形態においては、事前にサムネイル色変換処理およびサムネイル画像のデータ圧縮処理が行われているため、サムネイル画像データを事前に作成することが可能となる。その結果、例えばＤＣＦやＤＰＯＦなどの規格に準拠した画像データを作成するときに、サムネイル画像データを事前に作成していることにより、本体圧縮データを外部メモリ３１に戻すことなく直接、記録メディア３２へ転送できる。これにより、外部メモリバスのアクセスを軽減できることや、処理の高速化を実現できる。

なお、外部メモリ３１に取り込まれた第１フィールドのデータを用いて、圧縮率を求める符号量見積りの圧縮処理、サムネイル画像データ圧縮等を行うシーケンスを説明した。しかしながら、図２に示すように、本実施例においては、ＣＣＤからＹＣ／ＺＯＯＭへの直接のパスを設けている。したがって、第１フィールドのデータ取り込みと並列して第１フィールドのデータを用いて圧縮率を求める符号量見積りの圧縮処理、サムネイル画像のデータ圧縮処理を行うことも可能である。この場合、さらに第２フィールドのデータ取り込みと並列して、第２フィールドまでのデータを用いて見積り圧縮を行うことも可能である。このようにすることにより、見積り圧縮を複数回行うことによる消費電力の増加はあるものの、複数回の見積り圧縮による正確な圧縮率の算出が可能となり、より適正な圧縮率での本体圧縮が可能となる。

また、水平画素加算処理部を備えている場合には、必ずしも、混合された画素を用いて、サムネイル色変換処理、サムネイル画像のデータ圧縮処理、本体色変換処理、圧縮率を求める符号量見積りの圧縮処理を行う必要はなく、適宜選択しながら混合された画素と混合されていない画素とを用いればよい。

本実施の形態によれば、事前にサムネイル色変換処理、サムネイル画像のデータ圧縮処理を行うことにより、画像データを外部メモリに戻さずに記録メディアへ書き込むことが可能となり、外部メモリへのアクセス頻度が軽減される。また、各処理におけるワーク領域としての外部メモリが少量化でき、低コスト化を実現できる。

この場合、符号量見積りの圧縮処理によりあらかじめ圧縮率を求めているので、色変換処理、拡大／縮小処理と同時に圧縮処理を行い、外部メモリを介さずに記録メディアへ直接入力するシーケンスを実現できる。すなわち、１パス方式を実現でき、各処理におけるワーク領域としての外部メモリを少量化でき、低コスト化を実現できる。また、外部メモリへのアクセス頻度を軽減し、高速化を実現できる。

さらに、水平画素加算処理部において、符号量見゛積りの圧縮処理時に、見積り画像の水平方向と垂直方向のアスペクト比を撮像画像のアスペクト比と合わせることができ、水平方向と垂直方向の周波数特性の違いによる見積り符号量の誤差を軽減することができる。

（具体的実施例２）
本発明の具体的実施例２として、図５にカメラシステムの５フィールド取り込み方式時の処理シーケンスを示す。初めに５フィールド取り込み方式時の取り込みデータの処理に関して、図６を用いて説明する。５フィールド取り込み方式の固体撮像素子による撮像信号の出力は、５ｎライン単位で行われ、撮像信号２ａに対し、第１フィールド２ｂ、第２フィールド２ｃ、第３フィールド２ｄ、第４フィールド２ｅ、第５フィールド２ｆの順で行われる。まず、第１フィールドのデータが外部メモリ３１に取り込まれる。

具体的実施例１の場合と同様に、第１フィールド、第２フィールドのデータ処理を行った後、次に、第３フィールドのデータ取り込みと並列して、外部メモリ３１から垂直方向に対応する第１フィールドまたは／および第２フィールドのデータ読み出しが行われ、色変換処理、圧縮率を求める符号量見積りの圧縮処理、サムネイル色変換処理、サムネイル画像のデータ圧縮処理が行われる。

以下同様に第４フィールドのデータ取り込みと並列して、外部メモリ３１から垂直方向に対応する第１フィールドまたは／および第２フィールドまたは／および第３フィールドのデータ読み出しが行われ、色変換処理、圧縮率を求める符号量見積りの圧縮処理、サムネイル色変換処理、サムネイル画像のデータ圧縮処理が行われる。これによって、連続するデジタル撮像信号が順次完成していくので、完成した連続するデジタル撮像信号毎に、色信号処理部２２によって本体色変換処理が行われる。その他は、具体的実施例１の場合と同様である。

（具体的実施例３）
本発明の具体的実施例４として、例えば図３に示した３フィールド取り込み方式時の処理シーケンスにおいて第２フィールド取り込み時に第１フィールドの撮像データを用いて、例えばＯＢ（Optical Black）クランプ処理などの前処理を行うこともできる。ＯＢクランプ処理とは、遮光領域を用いて黒レベル、つまり基準レベルを一定の値に補正するための処理である。全てのフィールドのデータを用いて補正を行うわけではないが、空間的には全領域のデータを用いているので適正な補正を行うことが可能であり、かつ処理速度は関連技術と比較して大幅に高速化される。

（具体的実施例４）
本発明の具体的実施例４として、例えば図４に示した３フィールド取り込み方式時の処理シーケンスにおいて第２フィールド取り込み時に第１フィールドデータを使って例えばＷＢ（White Balance）処理などの測光処理を行うこともできる。ＷＢ処理とは、ホワイトバランスゲイン調整処理のことであり、撮像データから色差信号の割合を調整する処理である。全てのフィールドのデータを用いて補正を行うわけではないが、空間的には全領域のデータを用いているので適正な補正を行うことが可能であり、かつ処理速度は関連技術と比較して大幅に高速化される。

（具体的実施例５）
本発明の具体的実施例５として、撮影を重ねるごとに本体画像の符号量の見積り精度を向上させる学習のシーケンスについて、図７のフローチャートを用いて説明する。

ＣＰＵ２６は、プログラムメモリ３３に格納されている符号量調整パラメータを設定するためのプログラム（所定のアルゴリズム）に従って動作する。

ステップＳ１において、図１の画質選択手段３４を用いて画質の選択を行う。この画質は、記録画素数、画像ファイルサイズ、あるいは画質モード（高画質、通常画質、低画質など）などであり、ユーザーが選択する。次いでステップＳ２において、ＣＰＵ２６は、サムネイル画像の記録画素数や圧縮率などに関して、見積り上の所望の符号量を準備する。同じ記録画素数であっても圧縮率の違いはある。次いでステップＳ３において、ＣＰＵ２６は、サムネイル画像の見積りの圧縮処理を行う。次いでステップＳ４において、所定のアルゴリズムに従って符号量調整パラメータを演算する。この演算では、符号量見積りの圧縮処理で求めたサムネイル画像の実符号量と、サムネイル画像と本体画像の画素数比とに基づいて、本体画像の予想される符号量を導く。そして、その本体画像の予想される符号量と所望の符号量との差分に基づいて、実際にサムネイル画像で用いた符号量調整パラメータを換算することにより、符号量調整パラメータを決定する。次いでステップＳ５において、ステップＳ４で決定した符号量調整パラメータに基づいて本体画像の圧縮処理を行う。次いでステップＳ６において、本体画像の圧縮記録を行い、本体画像の符号量を格納する。

次いでステップＳ７において、本体画像の圧縮の符号量と所望の符号量とを比較し、本体画像の符号量が所望の符号量と等しければ、見積り精度が完全であるので当シーケンスを終了するが、異なっているときはステップＳ８に進んで、本体画像の圧縮の符号量と所望の符号量との大小比較を行う。本体画像の圧縮の符号量の方が大きいときはステップＳ９に進んで、圧縮率を上げるようにパラメータの補正を行い、逆に、本体画像の圧縮の符号量の方が小さいときはステップＳ１０に進んで、圧縮率を下げるようにパラメータの補正を行う。このようなパラメータの補正により、本体画像の圧縮の符号量を所望の符号量に近づける。

次いでステップＳ１１において、ＣＰＵ２６は、ステップＳ９またはステップＳ１０で求めたパラメータ補正量を内部に蓄積する。１枚の撮影ごとに、色の分布や構図（例えば人物風景）等の各画像の特長を解析し、付加情報として内部に蓄積する。次いでステップＳ１２において、１枚の撮影ごとに蓄積された複数回のパラメータの補正結果および撮影画像の特徴を基に、学習および符号量調整パラメータの設定のアルゴリズムの補正を行う否かを判断する。撮影枚数が少ないときは蓄積されたデータの母集団が小さい。少数での学習によりアルゴリズムが発散するのを抑えるため、ステップＳ１２を設けている。所望の枚数以上で学習するようにする。学習とアルゴリズム補正を行うと判断したときは、ステップＳ１３に進んで、補正量が小さく収束する方向にフィードバックを行い、アルゴリズムまたは演算式を補正する。

なお、ステップＳ１１〜Ｓ１３を省略すれば、１枚１枚の撮影に対するパラメータ補正となるが、それも有効である。

図８は、３フィールド取り込み時の処理シーケンス上で本実施の形態を適用したシーケンス図である。撮影を繰り返してｎ回（ｎは２以上の自然数）撮影を行ったとする。学習に用いる蓄積データのサンプル数がｎ−１個存在する。撮影回数ｎが大きくなるほどサンプルが多くなり、精度向上が期待できる。

ステップＳ１１における蓄積されたパラメータおよびパラメータ補正量またはステップＳ１２における補正したアルゴリズムまたは演算式は、電源やシステムの立ち下げ時や当該のプログラムの未使用時に、ＣＰＵ２６によりプログラムメモリ３３に書き込みを行う。そして、次のプログラム実行時に、再びプログラムメモリ３３から読み出して、使用する。

本実施の形態によれば、撮影の都度、パラメータ補正、アルゴリズムの修正を行うことにより、撮影枚数が増えるに従って符号量の見積り精度が向上し、記録メディアへの記録時に所望の符号量を得ることができる。

なお、上述してきた各実施の形態を構成する各部についてはマイクロコンピュータによるソフトウェアにより実現するようにしてもよい。

本発明は、上記した実施の形態のみに限定されるものではなく、その技術的思想の範囲内で種々に変形して実施することが可能である。

以上詳述したように、本発明の撮像信号処理回路は、外部メモリの容量が少なく、外部メモリへのアクセス頻度が少なく、高速動作が可能なカメラシステムに搭載される撮像信号処理回路等として有用である。

本発明の実施の形態における撮像信号処理回路を搭載したカメラシステムの構成を示すブロック図である。本発明の実施の形態におけるデータの流れの説明図である。本発明の具体的実施例１における３フィールド取り込み方式の説明図である。本発明の具体的実施例１における３フィールド取り込み方式の固体撮像素子による出力データの説明図である。本発明の具体的実施例２における５フィールド取り込み方式の説明図である。本発明の具体的実施例２における５フィールド取り込み方式の固体撮像素子による出力データの説明図である。本発明の具体的実施例５における符号量見積りの精度向上学習シーケンスのフローチャート図である。本発明の具体的実施例５における３フィールド取り込み方式での符号量見積りの精度向上学習シーケンスの説明図である。関連技術のカメラシステムの構成を示すブロック図である。関連技術のカメラシステムにおけるデータの流れの説明図である。関連技術における３フィールド取り込み方式の説明図である。関連技術における５フィールド取り込み方式の説明図である。

符号の説明

１０１撮影レンズ
１０２固体撮像素子
１０３固体撮像素子駆動部
１０４アナログ信号処理部
１０５アナログ／デジタル変換部
１０６撮像信号処理回路
１０７記録メディア部
１０８外部メモリ部
１０９画質選択手段
１１０プログラムメモリ部
１１１色信号処理部
１１２画像信号圧縮／伸張処理部
１１３画像データ記録部
１１４表示出力部
１１５ＣＰＵ
１１６水平画素加算処理部
１ａ撮像データ
１ｂ第１フィールドデータ
１ｃ第２フィールドデータ
１ｄ第３フィールドデータ
２ａ撮像データ
２ｂ第１フィールドデータ
２ｃ第２フィールドデータ
２ｄ第３フィールドデータ
２ｅ第４フィールドデータ
２ｆ第５フィールドデータ

Claims

固体撮像素子より垂直方向にＮフィールドのインターレース方式で読み出されかつデジタル変換されて得られるデジタル撮像信号を入力し、前記デジタル撮像信号を輝度信号および色差信号に変換する色変換処理を行う色信号処理部と、
色変換された前記デジタル撮像信号を用いて事前に圧縮率を求める符号量見積りの圧縮処理を行うとともに、求められた前記圧縮率を基に、Ｎフィールド目のデジタル撮像信号の取り込みが完了する前に、Ｎフィールドのうち取り込み完了フィールドまでのデジタル撮像信号を圧縮して圧縮画像データを生成する圧縮／伸張処理部と、
生成された前記圧縮画像データを記録メディアへ転送し記録する画像データ記録部と、
プログラムメモリに格納されたプログラムに従って動作し、前記色信号処理部、前記圧縮／伸張処理部および前記画像データ記録部を制御するＣＰＵとを備えた撮像信号処理回路。
前記圧縮／伸張処理部は、前記取り込み完了フィールドまでの垂直全画素または垂直一部画素および水平全画素で構成されるデジタル撮像信号を対象にして、前記圧縮率を求める符号量見積りの圧縮処理を行う請求項１に記載の撮像信号処理回路。
さらに、前記色信号処理部の前段に、前記固体撮像素子から取り込まれた前記デジタル撮像信号を水平方向に加算混合する水平画素加算処理部を備えた請求項１に記載の撮像信号処理回路。
前記圧縮／伸張処理部は、前記取り込み完了フィールドまでの垂直全画素または垂直一部画素および前記水平画素加算処理部による水平加算混合画素で構成されるデジタル撮像信号を対象にして、前記圧縮率を求める符号量見積りの圧縮処理を行う請求項３に記載の撮像信号処理回路。
さらに、前記色信号処理部における映像信号を外部デバイスへ出力する表示出力部を備えた請求項１に記載の撮像信号処理回路。
前記圧縮／伸張処理部は、前記Ｎフィールド目のデジタル撮像信号の取り込みと並列して、前記符号量見積りの圧縮処理で求めた前記圧縮率を基に、Ｎフィールド全ての画素のデジタル撮像信号を用いてデータ圧縮を行い、圧縮画像データを生成する請求項１に記載の撮像信号処理回路。
前記圧縮／伸張処理部は、前記Ｎフィールド目のデジタル撮像信号の取り込みが完了する前に、（Ｎ−１）フィールド目までのうち取り込み完了フィールドまでの前記デジタル撮像信号を用いて、サムネイル画像データを生成する圧縮処理を行う請求項１に記載の撮像信号処理回路。
前記画像データ記録部は、生成した前記サムネイル画像データを、外部メモリを介さずに前記記録メディアに転送する請求項７に記載の撮像信号処理回路。
前記色信号処理部は、前記取り込み完了フィールドまでのデジタル撮像信号を用いてＯＢクランプ処理などの前処理を行うことを特徴とする請求項１に記載の撮像信号処理回路。
前記色信号処理部は、前記取り込み完了フィールドまでのデジタル撮像信号を用いてホワイトバランス処理などの測光処理を行う請求項１に記載の撮像信号処理回路。
前記ＣＰＵは、外部から入力される画質情報に応じて符号量調整パラメータを決定する請求項１に記載の撮像信号処理回路。
前記画質情報が、少なくとも記録画素数または画質モードを含む請求項１１に記載の撮像信号処理回路。
前記ＣＰＵは、所定のアルゴリズムを用いて、前記画質情報に応じて所望の符号量を決定し、Ｎフィールド目のデジタル撮像信号の取り込みが完了する前に行われた符号量見積りの圧縮処理における符号量と前記所望の符号量とを基に計算することにより前記符号量調整パラメータを決定する請求項１１に記載の撮像信号処理回路。
前記ＣＰＵは、決定された前記符号量調整パラメータを用いた本体画像の圧縮の符号量と前記所望の符号量とを比較し、その大小関係に応じて前記所定のアルゴリズムを修正する請求項１３に記載の撮像信号処理回路。
前記ＣＰＵは、複数回の撮像にわたり、前記本体画像の圧縮の符号量と前記所望の符号量との差分と前記符号量調整パラメータとの関係を示す情報を前記プログラムメモリに蓄積しておき、前記関係を示す情報に基づいて前記所定のアルゴリズムを修正する請求項１３に記載の撮像信号処理回路。
前記ＣＰＵは、前記複数回の撮像において、撮像画像の特徴を示す情報も併せて前記プログラムメモリに蓄積しておき、前記撮像画像の特徴も加味して前記所定のアルゴリズムを修正する請求項１５に記載の撮像信号処理回路。
撮影レンズを通して受けた光を電気信号に変換し撮像信号として出力する固体撮像素子と、
前記撮像信号をデジタル変換してデジタル撮像信号を得るアナログ／デジタル変換回路と、
請求項１に記載の撮像信号処理回路とを備えたカメラシステム。
撮影レンズを通して受けた光を電気信号に変換し撮像信号として出力する固体撮像素子と、
前記撮像信号をデジタル変換してデジタル撮像信号を得るアナログ／デジタル変換回路と、
請求項３に記載の撮像信号処理回路とを備えたカメラシステム。
撮影レンズを通して受けた光を電気信号に変換し撮像信号として出力する固体撮像素子と、
前記撮像信号をデジタル変換してデジタル撮像信号を得るアナログ／デジタル変換回路と、
請求項５に記載の撮像信号処理回路とを備えたカメラシステム。
撮影レンズを通して受けた光を電気信号に変換し撮像信号として出力する固体撮像素子と、
前記撮像信号をデジタル変換してデジタル撮像信号を得るアナログ／デジタル変換回路と、
請求項１３に記載の撮像信号処理回路とを備えたカメラシステム。
撮影レンズを通して受けた光を電気信号に変換し撮像信号として出力する固体撮像素子と、
前記撮像信号をデジタル変換してデジタル撮像信号を得るアナログ／デジタル変換回路と、
請求項１４に記載の撮像信号処理回路とを備えたカメラシステム。