JP3959741B2

JP3959741B2 - 撮像装置及び画像の輪郭強調方法

Info

Publication number: JP3959741B2
Application number: JP2003075978A
Authority: JP
Inventors: 洋人平社
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-19
Filing date: 2003-03-19
Publication date: 2007-08-15
Anticipated expiration: 2023-03-19
Also published as: KR101012172B1; JP2004289265A; US20040183927A1; KR20040083344A; US7468749B2

Description

【０００１】
【発明の属する技術分野】
本発明は、輪郭強調機能及び電子ズーム機能を有する撮像装置及び画像の輪郭強調度合いを電子ズーム倍率に連動して自動的に制御できるようにした画像の輪郭強調方法に関するものである。
【０００２】
【従来の技術】
ディジタルカメラや医療用カメラなどに用いられる撮像装置には、撮影画像の鮮明度を高めるため画像の輪郭を強調する輪郭強調機能、及び撮影画像の一部を切り出してディジタル処理により拡大する電子ズーム機能が付加されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−２７８５９２号公報
【０００４】
このような撮像装置における輪郭強調手段は、図６（Ａ）に示すような原信号を基にして図６（Ｂ）に示すような輪郭信号を生成し、この輪郭信号を原信号に加えることにより、図６（Ｃ）に示すような輪郭強調の付加された輪郭補正信号を出力する。このため、画像８２の周囲に位置するエッジ部分には、図８（Ａ）に示すように、輪郭強調信号８４が施された画像が生成される。これにより、画像全体の鮮明度を高めるようにしている。
また、電子ズーム手段は、撮影画像の一部、例えば、図７（Ａ）に示すように４画素の画像を切り出し、この画像をディジタル処理により一定の倍率（例えば、２倍）で上下左右に拡大する。これにより、図７（Ｂ）に示すように拡大された画像を得ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の撮像装置では、輪郭強調手段で図７に示すように輪郭強調した後の画像信号を電子ズーム手段により、例えば２倍に拡大処理した場合、図８（Ｂ）に示すように、画像８６の部分が上下左右に２倍に拡大されるとともに、輪郭強調信号８８も画像と同一の倍率に拡大されてしまう。このように輪郭強調信号が２倍に拡大されると、画像の鮮明度を高めるための輪郭が必要以上に拡大されてしまうため、希望する出力画像に対して幅広で不自然な輪郭を持った拡大画像となってしまうという問題があった。
【０００６】
本発明は、上記のような従来の問題を解決するためになされたもので、輪郭強調した後の画像信号をズーム処理しても、該画像信号に付加される輪郭信号の拡大を抑制して自然な輪郭を持った拡大画像を得ることができる撮像装置及び画像の輪郭強調方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明の撮像装置は、画像信号を処理して画像の輪郭を強調する輪郭強調手段と、画像信号を処理して画像のズーミングを行う電子ズーム手段とを備え、前記電子ズーム手段の電子ズーム倍率に応じて画像の輪郭強調度合いを変化させるようにした撮像装置において、前記輪郭強調手段が、画像信号に基づいて輪郭信号を生成する輪郭信号生成手段と、電子ズーム倍率の増大に従って減少するアパーチャコントロールゲイン値を生成するアパーチャコントロールゲイン値生成手段と、生成された前記アパーチャコントロールゲイン値を一時記憶するアパーチャコントロールゲイン制御レジスタと、前記輪郭信号に、前記アパーチャコントロールゲイン制御レジスタに一時記憶されたアパーチャコントロールゲイン値を乗算して、振幅レベル調整後輪郭信号を出力する乗算器と、前記画像信号に、前記振幅レベル調整後輪郭信号を加算して、輪郭強調後画像信号を出力する加算器とを備えており、前記電子ズーム手段が、前記輪郭強調後画像信号をディジタル処理して画像のズーミングを行うようにしたことを特徴とする。
【０００８】
また、本発明の画像の輪郭強調方法は、画像信号を処理して画像の輪郭を強調する輪郭強調手段と、画像信号を処理して画像のズーミングを行う電子ズーム手段とを備えた撮像装置における画像の輪郭強調方法において、画像信号に基づいて輪郭信号を生成し、電子ズーム倍率の増大に従って減少するアパーチャコントロールゲイン値を生成し、生成した前記アパーチャコントロールゲイン値を一時記憶し、前記輪郭信号に、一時記憶したアパーチャコントロールゲイン値を乗算して、振幅レベル調整後輪郭信号を出力し、前記画像信号に、前記振幅レベル調整後輪郭信号を加算して、輪郭強調後画像信号を出力し、前記輪郭強調後画像信号をディジタル処理して画像のズーミングを行うことを特徴とする。
【０００９】
本発明の撮像装置及び画像の輪郭強調方法では、画像の電子ズーム倍率が増大するにしたがい輪郭信号の振幅レベルが電子ズーム倍率の増大方向と逆の減少する方向に変更制御されて、画像の輪郭強調度合いが自動的に抑制される。そして、そのように輪郭強調度合いが抑制された画像信号がズーム処理されて拡大されるため、輪郭の過度の拡大を抑制して自然な輪郭を持った拡大画像を得ることができる。
【００１０】
【発明の実施の形態】
以下、本発明による撮像装置および画像の輪郭強調方法の具体的な実施の形態について説明する。
なお、以下に説明する実施の形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付加されているが、本発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。
【００１１】
図１は、本発明の実施の形態による撮像装置の全体構成を示すブロック図、図２は図１におけるＤＳＰ（ディジタル信号処理装置）及びマイクロコンピュータ部分の内部構成の概要を示す機能ブロック図、図３は本実施の形態における輪郭強調回路のブロック図、図４は本実施の形態における電子ズーム倍率とアパーチャコントロールゲインとの関係を示すグラフである。
【００１２】
本実施の形態による撮像装置１０は、固体撮像素子１２、ＣＤＳ／ＡＧＣ回路１３、Ａ／Ｄ変換器１４、ＤＳＰ１５、Ｄ／Ａ変換器１６、タイミングジェネレータ（ＴＧ）１７並びにマイクロコンピュータ１８等を含んで構成されている。
固体撮像素子１２は、例えばＣＣＤ構造を有し、半導体基板上にマトリクス状に配列した光センサにより被写体からの光を、マイクロコンピュータ１８で制御される電子アイリス１９及びレンズ２０を通して検出し、この光センサで生成された信号電荷を垂直電荷転送レジスタや水平電荷転送レジスタにより転送した上で被写体の画像信号を出力するように構成されている。
また、固体撮像素子１２はタイミングジェネレータ（ＴＧ）１７から供給されるクロック信号、垂直同期信号及び水平同期信号に基づいて動作し、そして、例えばインターレース方式により１フレーム分の画像信号を偶数フィールドと奇数フィールドとに分けて出力できるように構成されている。
【００１３】
ＣＤＳ／ＡＧＣ回路１３は、固体撮像素子１２からの画像信号に対し、ＣＤＳ（相関二重サンプリング）を行って画像信号に含まれるリセット雑音などの固定パターンノイズを除去するとともに、ＡＧＣ（自動利得制御）により信号レベルを安定化する。
Ａ／Ｄ変換器１４は、ＣＤＳ／ＡＧＣ回路１３からの出力信号をディジタル信号に変換し、このディジタル化された画像信号はＤＳＰ１５に取り込まれ、図示省略の画像メモリに格納される。
ＤＳＰ１５は、画像信号の輪郭を強調して画像全体の鮮明度を向上させる輪郭強調機能、及びこの輪郭強調後の画像の一部を切り出してディジタル処理により拡大する電子ズーム機能等を備えている。
【００１４】
Ｄ／Ａ変換器１６は、ＤＳＰ１５から出力される画像信号をアナログ信号に変換し、映像信号として出力する。
マイクロコンピュータ１８は、ＣＰＵ、ＲＯＭ及びＲＡＭを含み、ＣＰＵがＲＯＭに格納されたプログラムデータに基づき、適宜ＲＡＭを使用して動作することで各種の機能を果たす。
【００１５】
次に、図２の構成について説明する。
この図２において、ＤＳＰ１５は、画像信号を処理することにより画像の輪郭を強調して画像全体の鮮明度を向上させる輪郭強調回路１５１と、この輪郭強調回路１５１で輪郭強調した後の画像信号を処理することにより画像の一部を切り出してディジタル処理により拡大及び画素補間を行う電子ズーム回路１５２と、アパーチャコントロールゲイン制御レジスタ１５３及び電子ズーム倍率制御レジスタ１５４を含んで構成されている。
また、マイクロコンピュータ１８は、アパーチャコントロールゲイン値生成手段１８１及びズーム倍率設定手段１８２を含んで構成され、これらは、ＣＰＵがＲＯＭに格納されたアパーチャコントロールゲイン値生成用のプログラムデータ及びズーム倍率設定用のプログラムデータに基づき、適宜ＲＡＭを使用して動作することにより実現される。
【００１６】
前記アパーチャコントロールゲイン値生成手段１８１は、画像の電子ズーム倍率に応じて、輪郭強調回路１５１で画像信号に基づき生成された輪郭信号に乗じるためのアパーチャコントロールゲイン値を生成するものであり、その際に、電子ズーム倍率の増大に従い減少するようなアパーチャコントロールゲイン値を生成する。ズーム倍率設定手段１８２は画像の電子ズーム倍率を設定するものである。
また、前記アパーチャコントロールゲイン制御レジスタ１５３は、アパーチャコントロールゲイン値生成手段１８１で生成されたアパーチャコントロールゲイン値を一時記憶するものである。後述するように、このアパーチャコントロールゲイン制御レジスタ１５３に一時記憶されたアパーチャコントロールゲイン値を基に、輪郭強調回路１５１で生成された輪郭信号の振幅レベルが、電子ズーム倍率の増大に従い減少するように変更制御される。
また、電子ズーム倍率制御レジスタ１５４は、ズーム倍率設定手段１８２で設定された電子ズーム倍率データを一時記憶するとともに該電子ズーム倍率データに応じて電子ズーム回路１５２を制御する。
【００１７】
従って本発明においては、輪郭強調回路１５１に更にアパーチャコントロールゲイン制御レジスタ１５３及びアパーチャコントロールゲイン値生成手段１８１が加わって、画像信号を処理して画像の輪郭を強調する輪郭強調手段が構成されている。
【００１８】
次に、図３に示す輪郭強調回路１５１の構成について説明する。
この図３において、輪郭強調回路１５１は、入力される画像信号Ｓ１（原信号）に基づいて輪郭信号Ｓ２を生成する輪郭信号生成回路１５１Ａと、この輪郭信号生成回路１５１Ａから出力される輪郭信号Ｓ２にアパーチャコントロールゲイン制御レジスタ１５３にセットされたアパーチャコントロールゲイン値を乗算して電子ズーム倍率に応じた振幅レベルの振幅レベル調整後輪郭信号Ｓ３１〜Ｓ３ｎを出力する乗算器１５１Ｂと、画像信号Ｓ１（原信号）にこの振幅レベル調整後輪郭信号Ｓ３１〜Ｓ３ｎを加算して輪郭強調後画像信号Ｓ４１〜Ｓ４ｎを出力する加算器１５１Ｃとを含んで構成されている。
【００１９】
次に、このように構成された撮像装置１０の動作について説明する。
固体撮像素子１２をタイミングジェネレータ（ＴＧ）１７からのクロック信号、垂直同期信号及び水平同期信号に基づいて動作させることにより、この固体撮像素子１２から出力される画像信号はＣＤＳ／ＡＧＣ回路１３に供給され、その画像信号に含まれる固定パターンノイズを除去し、かつＡＧＣ（自動利得制御）により信号レベルを安定化する。
その後、ＣＤＳ／ＡＧＣ回路１３からの出力信号はＡ／Ｄ変換器１４でディジタル信号に変換され、このディジタル化された画像信号はＤＳＰ１５に取り込まれる。
【００２０】
ＤＳＰ１５に取り込まれた画像信号Ｓ１は、画像全体の鮮明度が高められるように、その輪郭を輪郭強調回路１５により強調する。すなわち、輪郭強調回路１５の輪郭信号生成回路１５１Ａでは、入力される画像信号Ｓ１（原信号）を基に輪郭信号Ｓ２を生成して乗算器１５１Ｂに出力する。この乗算器１５１Ｂでは、輪郭信号生成回路１５１Ａからの輪郭信号Ｓ２にアパーチャコントロールゲイン制御レジスタ１５３にセットされたアパーチャコントロールゲイン値を乗算することで、輪郭信号Ｓ２の振幅レベルを電子ズーム倍率に応じて調整する。これにより、乗算器１５１Ｂから図３に示すように振幅レベルの異なる振幅レベル調整後輪郭信号Ｓ３１〜Ｓ３ｎが出力される。そして、次の加算器１５１Ｃでは、画像信号Ｓ１（原信号）に振幅レベル調整後輪郭信号Ｓ３１〜Ｓ３ｎを加算することにより、図３に示すように振幅レベルの異なる振幅レベル調整後輪郭信号が付加された輪郭強調後画像信号Ｓ４１〜Ｓ４ｎが出力される。図中、輪郭強調後画像信号Ｓ４１は電子ズーム倍率が最大（×４以上）の場合に対応し、また輪郭強調後画像信号Ｓ４ｎは電子ズーム倍率が最小（×２以下）の場合に対応している。
【００２１】
ここで、輪郭信号Ｓ２の振幅レベルを調整するために乗じるアパーチャコントロールゲイン値は、ズーム倍率設定手段１８２で電子ズーム倍率が設定された段階で自動的に設定される。すなわち、ズーム倍率設定手段１８２で電子ズーム倍率が設定されると、アパーチャコントロールゲイン値生成手段１８１では、ズーム倍率設定手段１８２で設定された電子ズーム倍率値に基づいて、アパーチャコントロールゲイン値がＲＯＭに格納したゲイン生成用のプログラムデータとこれを実行するＣＰＵとの演算手段により算出され、このアパーチャコントロールゲイン値はアパーチャコントロールゲイン制御レジスタ１５３にセットされる。
【００２２】
この場合、アパーチャコントロールゲイン値と電子ズーム倍率値とは、図４のグラフ４１に示すような一次関数の関係となる。このグラフ４１から明らかなごとく、電子ズーム倍率値が×１、×２、×３、×４のように増大するに従い、アパーチャコントロールゲイン値は電子ズーム倍率値の増大方向と逆に減少する。
したがって、輪郭強調後画像信号がズーム処理されることにより、この輪郭強調後画像信号に付加されている振幅レベル調整後輪郭信号が拡大されても、その画像の輪郭は図８（Ｂ）に示す従来の拡大画像のように拡大されることがなく、図５に示すように画像５２の周囲を囲む輪郭５４を構成する画素は１〜２画素程度に収まる。その結果、自然な輪郭を持ったぎらつきのない拡大画像を得ることができる。
【００２３】
なお、上記実施の形態では、画像の電子ズーム倍率に対するアパーチャコントロールゲイン値が図４のグラフ４１に示すような一次関数的に変化するようにした場合について説明したが、本発明はこれに限らず、図４の１点鎖線に示すグラフ４２のような指数関数的に変化する関係にあってもよい。
また、画像信号の電子ズーム倍率に対するアパーチャコントロールゲイン値の特性は、図４の破線に示すグラフ４３のように、その傾斜角度をグラフ４１の場合よりも小さくしてもよい。
また、上記実施の形態では、アパーチャコントロールゲイン値生成手段１８１をＲＯＭに格納したゲイン生成用のプログラムデータとこれを実行するＣＰＵとで構成される演算手段で構成する場合について説明したが、本発明はこれに限らず、アパーチャコントロールゲイン値生成手段１８１を、画像の電子ズーム倍率データの各値と、それら電子ズーム倍率データの各値に対応して予め設定したアパーチャコントロールゲイン値とを検索テーブルとして構成し、この検索テーブルを検索することにより電子ズーム倍率データに応じたアパーチャコントロールゲイン値を出力できるように構成することも可能である。
【００２４】
【発明の効果】
以上説明したように本発明の撮像装置及び画像の輪郭強調方法によれば、画像の電子ズーム倍率が増大するにしたがい輪郭信号の振幅レベルが電子ズーム倍率の増大方向と逆の減少する方向に変更制御されて、画像の輪郭強調度合いが自動的に抑制される。そして、そのように輪郭強調度合いが抑制された画像信号がズーム処理されて拡大されるため、その画像の輪郭は従来の拡大画像の輪郭のように拡大されることはなく、画像の周囲を囲む輪郭の構成画素を１〜２画素程度に収めることが可能になる。その結果、自然な輪郭を持ったぎらつきのない拡大画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による撮像装置の全体構成を示すブロック図である。
【図２】図１におけるＤＳＰ（ディジタル信号処理装置）及びマイクロコンピュータ部分の内部構成の概要を示す機能ブロック図である。
【図３】本発明の実施の形態における輪郭強調回路のブロック図である。
【図４】本発明の実施の形態における電子ズーム倍率とアパーチャコントロールゲインとの関係を示すグラフである。
【図５】本発明の実施の形態における拡大画像の説明図である。
【図６】画像信号の輪郭強調の原理を示す波形説明図である。
【図７】画像信号の電子ズームの状態を示す説明図である。
【図８】従来における画像信号の輪郭強調及び輪郭強調された画像を拡大した場合の説明図である。
【符号の説明】
１０……撮像装置、１２……固体撮像素子、１３……ＣＤＳ／ＡＧＣ回路、１４……Ａ／Ｄ変換器、１５……ＤＳＰ、１８……マイクロコンピュータ、１５１……輪郭強調回路、１５１Ａ……輪郭信号生成回路、１５１Ｂ……乗算器、１５１Ｃ……加算器、１５２……電子ズーム回路、１５３……アパーチャコントロールゲイン制御レジスタ、１５４……電子ズーム倍率制御レジスタ、１８１……アパーチャコントロールゲイン値生成手段、１８２……ズーム倍率設定手段。

Claims

画像信号を処理して画像の輪郭を強調する輪郭強調手段と、画像信号を処理して画像のズーミングを行う電子ズーム手段とを備え、前記電子ズーム手段の電子ズーム倍率に応じて画像の輪郭強調度合いを変化させるようにした撮像装置において、
前記輪郭強調手段が、
画像信号に基づいて輪郭信号を生成する輪郭信号生成手段と、
電子ズーム倍率の増大に従って減少するアパーチャコントロールゲイン値を生成するアパーチャコントロールゲイン値生成手段と、
生成された前記アパーチャコントロールゲイン値を一時記憶するアパーチャコントロールゲイン制御レジスタと、
前記輪郭信号に、前記アパーチャコントロールゲイン制御レジスタに一時記憶されたアパーチャコントロールゲイン値を乗算して、振幅レベル調整後輪郭信号を出力する乗算器と、
前記画像信号に、前記振幅レベル調整後輪郭信号を加算して、輪郭強調後画像信号を出力する加算器とを備えており、
前記電子ズーム手段が、前記輪郭強調後画像信号をディジタル処理して画像のズーミングを行うようにした、
ことを特徴とする撮像装置。
前記アパーチャコントロールゲイン値生成手段は、前記画像信号の電子ズーム倍率に応じてアパーチャコントロール値を算出する演算手段から構成されていることを特徴とする請求項１記載の撮像装置。
前記アパーチャコントロールゲイン値生成手段は、画像の電子ズーム倍率データの各値とそれら電子ズーム倍率データの各値に対応して予め設定したアパーチャコントロールゲイン値とを検索テーブルとして構成し、この検索テーブルを検索することにより前記電子ズーム倍率データに応じたアパーチャコントロールゲイン値を出力できるように構成したことを特徴とする請求項１記載の撮像装置。
前記アパーチャコントロールゲイン値は電子ズーム倍率に対して一次関数的に変化する関係もしくは指数関数的に変化する関係にあることを特徴とする請求項２または３記載の撮像装置。
電子ズーム倍率を設定するズーム倍率設定手段と、前記ズーム倍率設定手段で設定された電子ズーム倍率データを一時記憶するとともに該電子ズーム倍率データを基に前記電子ズーム手段を制御する電子ズーム倍率制御レジスタとを備えることを特徴とする請求項１記載の撮像装置。
画像信号を処理して画像の輪郭を強調する輪郭強調手段と、画像信号を処理して画像のズーミングを行う電子ズーム手段とを備えた撮像装置における画像の輪郭強調方法において、
画像信号に基づいて輪郭信号を生成し、
電子ズーム倍率の増大に従って減少するアパーチャコントロールゲイン値を生成し、
生成した前記アパーチャコントロールゲイン値を一時記憶し、
前記輪郭信号に、一時記憶したアパーチャコントロールゲイン値を乗算して、振幅レベル調整後輪郭信号を出力し、
前記画像信号に、前記振幅レベル調整後輪郭信号を加算して、輪郭強調後画像信号を出力し、
前記輪郭強調後画像信号をディジタル処理して画像のズーミングを行う、
ことを特徴とする画像の輪郭強調方法。
前記画像信号の電子ズーム倍率に応じてアパーチャコントロール値を算出する演算を行うことにより、前記アパーチャコントロールゲイン値を生成することを特徴とする請求項６記載の画像信号の輪郭強調方法。
画像の電子ズーム倍率データの各値とそれら電子ズーム倍率データの各値に対応して予め設定したアパーチャコントロールゲイン値とを検索テーブルとして構成し、この検索テーブルを検索して前記電子ズーム倍率データに応じたアパーチャコントロールゲイン値を出力することにより、前記アパーチャコントロールゲイン値を生成することを特徴とする請求項６記載の画像の輪郭強調方法。
前記アパーチャコントロールゲイン値は電子ズーム倍率に対して一次関数的に変化する関係もしくは指数関数的に変化する関係にあることを特徴とする請求項７または８記載の画像の輪郭強調方法。
前記輪郭強調手段は、アパーチャコントロールゲイン制御レジスタと、乗算器と、加算器とを備えており、
生成した前記アパーチャコントロールゲイン値を、前記アパーチャコントロールゲイン制御レジスタに一時記憶し、
前記乗算器によって、前記輪郭信号に、前記アパーチャコントロールゲイン制御レジスタに一時記憶したアパーチャコントロールゲイン値を乗算して、前記振幅レベル調整後輪郭信号を出力し、
前記加算器によって、前記画像信号に、前記振幅レベル調整後輪郭信号を加算して、前記輪郭強調後画像信号を出力する、
ことを特徴とする請求項６記載の画像の輪郭強調方法。