JP4616429B2

JP4616429B2 - 画像処理装置

Info

Publication number: JP4616429B2
Application number: JP02211599A
Authority: JP
Inventors: 憲司船本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-01-29
Filing date: 1999-01-29
Publication date: 2011-01-19
Anticipated expiration: 2019-01-29
Also published as: JP2000224604A; US6867803B1

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置に係り、特にデジタルカメラなどのように、多画素のＣＣＤ撮像素子を用いて入力される画像データを間引き処理して、表示装置の解像度に合わせて動画を表示することができる画像記録再生装置に好適な画像処理装置に関する。
【０００２】
【従来の技術】
ＣＣＤ等の撮像素子を用いて光学像を電子画像信号に変換し、これを適宜信号処理することによって画像データを得る技術は広く知られている。特開平８−５１５０９号公報においては、データ量の少ない画像処理装置を得ることを目的とし、アナログのＲＧＢ信号をＡ／Ｄコンバータでデジタル信号に変換する際に、サンプリング信号発生回路により、Ｒ，Ｂデータを間引いてデータ量を少なくし、メモリ容量の削減を図る技術が開示されている。
【０００３】
【発明が解決しようとする課題】
ところで、従来から、多画素の単板ＣＣＤから入力される画像データを動画表示する場合には、表示装置の解像度に合わせるために、適宜間引き処理を行って画像データを縮小している。かかる縮小化の手法は様々な態様があるが、例えば、ＣＣＤの画素配列がＧストライプ配列の場合、水平転送路の出力部からＲＧＢＧＲＧＢＧ…と点順次に出力されるＣＣＤの出力データ（１線データ）から、全画素分のＲのみのデータ、Ｇのみのデータ、Ｂのみのデータを生成する処理（３線化）を行い、３線化した後に適当な間引き率でデータを間引く処理が行われている。
【０００４】
一方、ベイヤー配列の場合であれば、水平出力がＲＧＲＧＲＧ…と繰り返されるＲＧライン、又はＧＢＧＢＧＢ…と繰り返されるＧＢラインの１線データを２線化してから間引くという方法が採用されることが多い。
しかしながら、これら従来の手法は、水平転送路の出力部から得られる全データを信号処理部に取り込んでから３線化（又は２線化）処理した後に間引き行うものであり、信号処理ＬＳＩなどの間引き機能や縮小機能、或いは内蔵のバッファ容量等に依存している。また、高画質化の要望に伴いＣＣＤの多画素化が進むにつれ、動画表示の解像度（動解像度）を得るためにＣＣＤ駆動用のクロック周波数が上がっていくことになるが、このとき高い周波数のクロックで信号処理を行うことになり、消費電力が大きくなるという問題もある。
【０００５】
本発明はこのような事情に鑑みてなされたもので、多画素のＣＣＤから得られる画像データの画素数を単板イメージのまま間引き、メモリ容量の削減と消費電力の低減を図ることができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理装置は、撮像素子の駆動クロックを分周する分周手段と、前記駆動クロックに従って前記撮像素子から出力される画像信号をデジタルデータに変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力される画像データを前記分周手段から提供される分周クロックに同期するタイミングで取り込み、当該取り込んだ画像データを処理する信号処理部と、を備えたことを特徴としている。
【０００７】
本発明によれば、撮像素子から読み出されるアナログ形式の撮像信号は、Ａ／Ｄ変換手段において撮像素子の駆動クロックに同期したデジタルデータに変換される。そして、このデジタルデータを信号処理部に入力するにあたり、該信号処理部に対して前記駆動クロックを分周したクロックを与えている。信号処理部は分周されたクロックに同期して画像データを取り込むため、信号処理部に入力されるデータは分周比に応じて間引かれる。これにより、撮像素子の単板イメージのままデータを間引くことができ、信号処理部の内蔵メモリの容量を削減し、消費電力の低減を図ることができる。
【０００８】
特に、駆動クロックを奇数分の１に分周して信号処理部に与えることにより、ＣＣＤ固体撮像素子の画素配列がＧストライプであるか、ベイヤー配列であるかにかかわらず、画素配列を変えることなく単板イメージの画像データの画素数を奇数分の１に間引くことができる。
本発明の他の態様に係る画像処理装置は、撮像素子と、前記撮像素子を駆動するための駆動クロックを発生させるタイミング信号発生手段と、前記駆動クロックを分周する分周手段と、前記駆動クロックに従って前記撮像素子から出力される画像信号をデジタルデータに変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力される画像データを前記駆動クロック又は前記分周手段から提供される分周クロックに同期するタイミングで取り込み、当該取り込んだ画像データを処理する信号処理部と、前記駆動クロック又は前記分周手段から出力される分周クロックの何れか一方を選択的に前記信号処理部に加えることができる選択手段と、前記分周クロックに同期するタイミングで前記信号処理部に入力され該信号処理部において処理された画像データに基づいて画像を表示する表示装置と、撮影開始指示信号の受入に呼応して前記撮像素子から読み出され、前記駆動クロックに同期するタイミングで前記信号処理部に入力され該信号処理部において処理された画像データを記録する記録手段と、を備えたことを特徴としている。
【０００９】
本発明によれば、動画表示中は表示装置の解像度に合わせるために、駆動クロックを分周して信号処理部に入力することで擬似的にデータを間引き、縮小画像を得る。その一方、画像記録時、すなわち、撮影開始指示信号の受入に呼応して撮像した画像データを記録装置に記録する際には、駆動クロックを分周せずに信号処理部に入力して高画素数の画像を取得する。
【００１０】
こうすることにより、信号処理部の内蔵メモリの容量や、従来の間引き機能に制限されることなく、表示装置の解像度に合わせて動画を表示できるシステムが達成される。また、動画表示中、信号処理部に入力されるクロック周波数が従来よりも低くなるので、信号処理部における消費電力も低減される。
【００１１】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像処理装置の好ましい実施の形態について説明する。
図１は本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。この画像処理装置１０は、画像の記録及び再生機能を併せ持つ電子カメラに適用され、主として、ＣＣＤ固体撮像素子（以下、ＣＣＤと略記する。）１２、ＣＤＳ回路等を含むアナログ処理部１４、Ａ／Ｄコンバータ１６、ＣＣＤ駆動回路１８、タイミングジェネレータ（ＴＧ）２０、分周回路２２、セレクタ２４、信号処理部２６、フレームメモリ２８、Ｄ／Ａコンバータ３０、液晶モニタ（ＬＣＤ）３２、記録装置３４、操作部３６及び中央演算処理装置（ＣＰＵ）３８等から構成される。
【００１２】
ＣＣＤ１２の画素数は、希望する画質との関係で適正なものを選択する必要があるが、例えば本装置では２３０万画素程度の画素数を有するものとし、水平方向画素数が１９２０画素であるＧストライプ配列のＣＣＤ１２が用いられている。図示せぬ撮影レンズを介してＣＣＤ１２の受光面に結像された光学像は、ＣＣＤ１２の各感光画素において光の入射光量に応じた量の信号電荷に変換される。このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１８から加えられるリードゲートパルスによって並列的に垂直転送路に転送される。次に、垂直転送路の電極に１周期分のクロックパルスを印加することにより１行分の信号電荷が水平転送路に転送される（この動作をラインシフトという。）。次いで、水平転送路の電極に２相クロックパルス（駆動クロックに相当）を印加することで１水平ライン分の信号が出力部を介して出力される。以下、ラインシフトと水平転送路の水平転送とを繰り返すことによって、垂直転送路の信号電荷を全て読み出すことができる。こうしてＣＣＤ１２の出力部からは各感光画素の蓄積電荷に応じた電圧信号（アナログ画像信号）が順次出力される。
【００１３】
なお、ＣＣＤ１２にはシャッタゲートを介してシャッタドレインが設けられており、シャッタゲートをシャッタゲートパルスによって駆動することにより、蓄積した信号電荷をシャッタドレインに掃き出すことができる。すなわち、このＣＣＤ１２は、シャッタゲートパルスによって各感光画素に蓄積される電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。
【００１４】
ＣＣＤ１２から読み出された信号はアナログ処理部１４に加えられ、ＣＤＳ回路において各画素毎にサンプリングホールドされ、かつＲ，Ｇ，Ｂ信号に色分離されてゲインコントロールアンプに加えられる。ゲインコントロールアンプは入力するＲ，Ｇ，Ｂ信号を適宜のゲインで増幅しホワイトバランスを調整する。
ゲインコントロールアンプから出力されたＲ，Ｇ，Ｂ信号は点順次化されてＡ／Ｄコンバータ１６に供給される。Ａ／Ｄコンバータ１６は入力するＲ，Ｇ，Ｂ信号を順次デジタル信号に変換する。デジタル化されたＲ，Ｇ，Ｂ信号は信号処理部２６へと提供される。
【００１５】
ＣＣＤ駆動回路１８、アナログ処理部１４及びＡ／Ｄコンバータ１６にはＣＰＵ３８によって制御されるタイミングジェネレータ２０から出力されるクロックが加えられており、このクロックによって各回路の同期がとられている。また、タイミングジェネレータ２０から出力されるクロックは分周回路２２に加えられており、ここで１／３の周波数に分周される。分周回路２２の出力（分周クロックという）はセレクタ２４の一方の入力端子に供給されている。
【００１６】
セレクタ２４の他方の入力端子には前記タイミングジェネレータ２０の出力するクロックが加えられており、ＣＰＵ３８からの指令（選択信号）に従ってセレクタ２４の出力が切り替えられるようになっている。
信号処理部２６はＡ／Ｄコンバータ１６から出力される画像信号を前記セレクタ２４から受入するクロックに従って取り込み、所定の画像処理を行う。すなわち、セレクタ２４から出力されるクロックが前記分周回路２２を経由した分周クロックの場合には、Ａ／Ｄコンバータ１６の出力信号のうち分周クロックに同期する画素の信号のみが信号処理部２６に取り込まれる。一方、セレクタ２４から出力されるクロックが分周されていない駆動クロックの場合には、全画素分の信号が信号処理部２６に取り込まれることになる。
【００１７】
信号処理部２６は輝度・色差信号作成回路（ＹＣ処理回路）やガンマ補正回路、測光値演算回路、圧縮／伸張回路等のデジタル画像処理回路を含み、Ａ／Ｄコンバータ１６を介して入力されるＲ，Ｇ，Ｂのデジタル信号から輝度信号Ｙと、クロマ信号Ｃ（色差信号Ｂ−Ｙ，Ｒ−Ｙ）が作成される。信号処理部２６の処理により得られた画像データはフレームメモリ２８に記憶される。また、信号処理部２６から出力される画像データはＤ／Ａコンバータ３０を介してアナログ信号に変換された後、液晶モニタ３２に供給される。こうして、ＣＣＤ１２が捉えている映像がモニタ画面上に表示される。
【００１８】
ＣＰＵ３８は、本画像処理装置１０の各回路を統括・制御するもので、所定のアルゴリズムに従って露出値、フォーカス位置等の各種演算を行い、自動露光制御、オートフォーカス、オートストロボ、オートホワイトバランス等の制御を行うともに、操作部３６から入力信号に基づいてズーミング、フォーカシング等の撮影動作に必要な各機構部の制御、液晶モニタ３２の表示制御、記録装置３４の書き込み／読み出し制御等を行う。
【００１９】
すなわち、ＣＰＵ３８は、信号処理部２６に取り込まれた画像信号に基づいて算出した露出値に従ってＣＣＤ１２の電荷蓄積時間や図示せぬ絞りを制御するとともに、算出したＲＢゲイン値に従ってアナログ処理部１４のゲインコントロールアンプを制御し、ホワイトバランスを設定する。また、ＣＰＵ３８は画像信号から被写体像の鮮鋭度を示す焦点評価値を演算し、その焦点評価値に基づいてフォーカス位置を算出する。そして、算出したフォーカス位置に従って図示せぬフォーカス駆動回路を介してフォーカス光学系を制御し、フォーカス位置を設定する。なお、オートフォーカス手段は、上述の形態に限らず、ＡＦセンサなど公知の測距手段を用いてもよい。
【００２０】
更に、ＣＰＵ３８は、操作部３６に含まれるズームスイッチによって撮影者が設定した撮影レンズの焦点距離にしたがってズーム駆動制御回路を介してズーム光学系１１を制御し、撮影レンズの焦点距離を設定する。
操作部３６に含まれるレリーズボタンの押圧操作等によって発っせられる撮影開始指示信号がＣＰＵ３８に加えられると、該撮影開始指示信号の受入に呼応して、ＣＣＤ１２から読み出された画像信号は、分周しない駆動クロックに同期して信号処理部２６に入力され、所定の処理を経た後、必要に応じて圧縮処理され、記録装置３４に記録される。なお、記録装置３４における記録媒体の形態は、メモリカードなど着脱自在な外部記録媒体でもよいし、カメラ本体に内蔵した内部メモリでもよい。また、撮影開始指示信号はリモコンや外部接続機器などのように装置の外部から与えられる場合もある。
【００２１】
また、記録装置３４に保存した画像データはＣＰＵ３８の制御に基づいて読み出しが可能であり、読み出された画像データは伸張処理された後、液晶モニタ３２に出力される。このように、記録装置３４に保存されている画像データの再生表示も可能である。
次に、上記の如く構成された画像処理装置の作用について説明する。
【００２２】
ＣＣＤ１２から読み出される全画素分の画像データ、すなわち、Ａ／Ｄコンバータ１６から出力される画像データは水平方向の画素数が１９２０画素であるのに対し、液晶モニタ３２の解像度はＶＧＡの規格に従う場合、水平方向画素は６４０画素である。したがって、適当な間引き処理を行って水平を６４０画素にする必要があるが、本実施の形態に係る画像処理装置１０は、タイミングジェネレータ２０からのクロックを分周回路２２で３分周して、これを信号処理部２６に加えることにより、信号処理部２６への入力段階で画像データの画素数を６４０画素に間引いている。
【００２３】
この様子を図２に示す。ＣＣＤ１２からの撮像データはＡ／Ｄコンバータ１６によって駆動クロックと、これに同期したデジタル信号に変換される。動画表示モードのとき、ＣＰＵ３８はセレクタ２４に指示を与えて分周回路２２の出力信号（１／３分周クロック）を信号処理部２６に同期信号として供給させる。
Ａ／Ｄコンバータ１６からは一水平ライン出力についてＲＧＢＧＲＧＢＧ…という具合に「ＲＧＢＧ」を単位としてこれが繰り返される形で出力されている。信号処理部２６が１／３分周クロックに同期して画像データを取り込む場合、Ｒ−Ｇ−Ｂ−Ｇ−…という順に画像データを取り込むことになり、Ａ／Ｄコンバータ１６から出力されるデータの画素配列と同じ画素配列によって画像データを取り込むことができる。こうして、信号処理部２６には水平６４０画素のデータが入力される。かかる入力データに所定の処理を施した後、液晶モニタ３２に出力することにより、動画表示を行う。なお、ＣＣＤ１２の垂直方向画素の間引き処理については、信号処理部２６に取り込んだ後の処理工程において不要データをメモリに格納しない等の手法により行う。
【００２４】
その一方、レリーズボタン等から撮影開始指示信号が与えられた時には、ＣＰＵ３８はセレクタ２４に指示を与えて分周しないクロックを信号処理部２６に供給させる。これにより、間引きのない撮像データが取り込まれ、高画質の画像を記録装置３４に保存することができる。
本実施の形態に係る画像処理装置１０によれば、クロックを分周し、モニタの解像度に合わせて入力データを間引くようにしたので信号処理部２６における処理負担が軽減され、信号処理部２６の内蔵メモリや間引き機能に制限されない動画処理のためのシステムを構成できる。また、信号処理部２６に入力されるクロック周波数が小さくなるので、信号処理部２６での消費電力を低減できる。
【００２５】
上記説明ではＧストライプ配列のＣＣＤ１２を例に説明したが、これに限らず、ベイヤー配列などの画素配列を有するＣＣＤのデータについても、水平出力を奇数分の１に間引くことにより、画素配列を変えずに間引き処理することができる。
図３にはベイヤー配列のＣＣＤを用いた場合の撮像データの間引き処理の一例が示されている。ベイヤー配列のＣＣＤを用いる場合には、図１で説明した１／３分周の分周回路２２に代えて、ＣＣＤ１２の駆動パルスを１／５の周波数に分周する分周回路を採用することができる。
【００２６】
そして、動画表示モードのとき、ＣＰＵ３８はセレクタ２４に指示を与えて分周回路２２の出力信号（１／５分周クロック）を信号処理部２６に同期信号として供給させる。
ＲＧラインの読み出しの場合、図３に示すようにＡ／Ｄコンバータ１６からはＲＧＲＧＲＧ…という具合にＲとＧが交互に繰り返される形で出力されてている。信号処理部２６が１／５分周クロックに同期して画像データを取り込む場合、Ｒ−Ｇ−Ｒ−Ｇ−…という順に画像データを取り込むことになり、Ａ／Ｄコンバータ１６から出力されるデータの画素配列と同じ画素配列によって画像データを取り込むことができる。
【００２７】
また、図には示さないが、ＧＢラインの読み出しの場合も同様に、Ａ／Ｄコンバータ１６からの出力はＧＢＧＧＢ…という具合にＧとＢが交互に繰り返される形となっている。信号処理部２６が１／５分周クロックに同期して画像データを取り込むと、Ｇ−Ｂ−Ｇ−Ｂ−…という順に画像データを順次取り込むことになり、画素配列を変えることなく画素を間引くことができる。
【００２８】
上記説明ではＧストライプ又はベイヤー配列のＣＣＤを用いて、これら画素配列との関係でタイミングジェネレータ２０から出力されるクロックを１／３、１／５の周波数に分周して信号処理部２６に入力する例を説明したが、分周比は上記値に限定するものではない。Ｇストライプやベイヤー配列など現在広く用いられている配列形態の場合、奇数分の１に分周することにより、画素配列を変えることなくデータを間引くことができる。なお、「１」は奇数であるが、１／１は分周するという概念に含まれないため、当然に除かれる。
【００２９】
また、上記以外のカラーフィルター配列を有する撮像素子が用いられる場合には、その配列形態との関係を考慮して撮像素子から出力される画素配列を変えることなく、データを間引くことができるようにクロックの分周比を設定すればよく、奇数分の１に分周する場合のみならず、偶数分の１に分周する態様もありうる。
【００３０】
【発明の効果】
以上説明したように本発明に係る画像処理装置によれば、撮像素子の駆動クロックを分周してこれよりも周波数の低いクロックを生成し、この分周クロックを信号処理部に入力することにより、信号処理部への入力段階で画像データの画素を間引くようにしたので、信号処理部の内蔵メモリの容量を削減できるとともに、消費電力の低減を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図
【図２】Ｇストライプ配列のＣＣＤを用いた場合の撮像データの間引き処理の一例を示すタイミングチャート
【図３】ベイヤー配列のＣＣＤを用いた場合の撮像データの間引き処理の一例を示すタイミングチャート
【符号の説明】
１０…画像処理装置、１２…ＣＣＤ（撮像素子）、１６…Ａ／Ｄコンバータ（Ａ／Ｄ変換手段）、１８…ＣＣＤ駆動回路、２０…タイミングジェネレータ（タイミング発生手段）、２２…分周回路（分周手段）、２４…セレクタ（選択手段）、２６…信号処理部、３２…液晶モニタ（表示装置）、３４…記録装置（記録手段）、３８…ＣＰＵ

Claims

撮像素子と、
前記撮像素子を駆動するための駆動クロックを発生させるタイミング発生手段と、
前記駆動クロックを分周する分周手段と、
画像を表示する表示装置と、
撮影開始指示信号を入力するための撮影開始指示信号入力手段と、
前記撮影開始指示信号の受入に呼応して画像を記録する記録手段と、
前記駆動クロックに従って、前記撮像素子から出力されるアナログの画像信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力されるデジタル信号を取り込み、当該取り込んだデジタル信号を処理する信号処理部と、
前記信号処理部に同期信号を供給して前記信号処理部が前記デジタル信号を取り込むタイミングを制御するタイミング制御手段であって、前記表示装置に画像を出力する場合に、前記分周手段から出力される分周クロックを前記信号処理部にのみ同期信号として供給する一方、前記撮影開始指示信号が入力された場合に、前記駆動クロックを前記信号処理部に同期信号として供給するタイミング制御手段と、
を備えたことを特徴とする画像処理装置。
前記撮像素子としてＧストライプ又はベイヤー配列の画素配列を有するＣＣＤ固体撮像素子が用いられていることを特徴とする請求項１記載の画像処理装置。
前記分周手段は、前記駆動クロックの周波数を奇数分の１に分周するものであることを特徴とする請求項１又は２記載の画像処理装置。