JP3850793B2

JP3850793B2 - 補間装置と補間方法、及びこれを用いた撮像装置と撮像方法

Info

Publication number: JP3850793B2
Application number: JP2002374836A
Authority: JP
Inventors: 寛知齋; 明仁西澤; 順次上村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-12-25
Filing date: 2002-12-25
Publication date: 2006-11-29
Anticipated expiration: 2022-12-25
Also published as: JP2004208041A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の拡大などに用いるサンプル補間のための補間装置と補間方法、及びこれを用いた撮像装置と撮像方法補間装置に関する。
【０００２】
【従来の技術】
デジタル画像の一部を抽出し、これを拡大して表示などを行なう場合、サンプル（画素）の間隔（周期）も拡大する。そこで、元のサンプル周期とするために、サンプル間の補間を行なう。従来の画像のかかる補間方法としては、直線補間法が挙げられる（例えば、非特許文献１参照）。
【０００３】
図２を用いて従来の補間方法について説明する。
【０００４】
いま、画像をある方向（例えば、水平走査方向）に切り出し、縦軸を信号レベル、横軸をサンプル周期ｔを単位とする距離として、図２（ａ）に示すように、サンプルＡ，Ｂ間にエッジがある画像Ｐ₁を対象とする。
【０００５】
かかる画像Ｐ₁の一部のこのエッジを含む領域を抽出し、この領域を４倍に拡大すると、このエッジ部分は図２（ｂ）に示す画像Ｐ₂となる。ここで、この画像Ｐ₂では、サンプル周期Ｔ＝４ｔとなり、非常に粗い画像となる。ここで、サンプルＡ，Ｂは、図２（ａ）でのサンプルＡ，Ｂであり、上記エッジのために、サンプルＡに対してサンプルＢの信号レベルが大きく変化している。
【０００６】
なお、かかる画像Ｐ₂は、また、周期Ｔでサンプルがサンプリングされた画像にも相当する。
【０００７】
このような粗い画像Ｐ₂の画質を向上させるために、サンプルの補間が行なわれる。かかる補間方法としては、従来、直線補間が行なわれているが、図２（ｃ）はかかる直線補間が行なわれた画像Ｐ₃を示すものである。この直線補間法は、隣接するサンプル間を直線で結び、この直線上の信号レベルのサンプルを周期ｔで補間するものである。
【０００８】
かかる直線補間法では、隣接する２点のサンプルをフィルタ処理が行なわれるものであるが、また、無限に広がる時間軸上の無限のサンプルの情報を用いたフィルタによれば、図２（ｄ）に示すように、サンプリング定理により、サンプルＡ，Ｂを結ぶ周期２Ｔの正弦波上の点で補間できることになる。実際には、有限個のサンプルを用いた理想に近い特性を持つフィルタを用いることにより、図２（ｄ）に示す補間に近い補間データを得ることができる。このような有限個のサンプルを用いた理想に近い特性のフィルタを用いた方法としては、バイキュービック法がある（例えば、特許文献１参照）。
【０００９】
【非特許文献１】
貴塚仁志著「よくわかるディジタル画像処理」第９版ＣＱ出版 2002年8月1日ｐｐ．１６８−１７４
【００１０】
【特許文献１】
特開２００１−１５７２１７号公報
【００１１】
【発明が解決しようとする課題】
ところで、図２で示すようにした直線補間法では、エッジのボケ味が大きいという問題がある。
【００１２】
また、元のサンプル周期がｔの画像を周期Ｔ（＝４ｔ）でサンプリングした画像を作成し、これを上記の理想の特性のフィルタを用いて補間を行なっても、サンプリング前の画像に比べると、ボケ味は残る。従って、上記のように、画像の一部を抽出して拡大処理し、この拡大画像に理想の特性のフィルタを用いて補間を行なっても、充分に先鋭なエッジは得られないことになる。
【００１３】
また、バイキュービック法などの理想に近い特性のフィルタを用いた補間法では、計算が複雑になって乗算回路が増えるため、回路規模が大きくなるという問題もある。
【００１４】
本発明の目的は、かかる問題を解消し、回路規模を増大させることなく、エッジ部分の先鋭感を効果的に得ることができるようにした補間装置と補間方法、及びこれを用いた撮像装置と撮像方法補間装置を提供することである。
【００１５】
【課題を解決するための手段】
上記問題を解決するため、本発明では、補間方法を適応的に切替えることにより、エッジ部分の先鋭感が得られるようにしたものである。
【００１６】
即ち、本願発明は、入力されるデジタル画像信号を補間処理する第１，第２の補間手段と、第１，第２の補間手段のいずれかを選択する選択手段とを有する補間装置において、第１の補間手段は、該入力されるデジタル画像信号を補間処理し、第２の補間手段は、入力されるデジタル画像信号のエッジを検出するエッジ検出手段と、エッジ検出手段で検出されたエッジ期間に入力されるデジタル画像信号のサンプリング周波数の１／２倍の周波数以上の周波数成分を含むエッジ信号を生成し、このエッジ信号によって第１の補間手段の出力デジタル画像信号のエッジを強調するエッジ強調手段とで構成され、選択手段は、エッジ検出手段で検出されたエッジ期間、エッジ強調手段でエッジが強調されたデジタル画像信号を、第２の補間手段の出力信号として、選択するものである。
ことを特徴とする補間装置。
【００１７】
エッジ強調手段は、入力されたデジタル信号からエッジ信号を生成するエッジ生成手段と混合手段とから構成され、混合手段は、エッジ生成手段で生成されたエッジ信号と第１の補間手段の出力信号とを所望とする比率で混合する演算手段によって構成され、選択手段は、エッジ検出手段で検出されたエッジ期間、混合手段の出力信号を、第２の補間手段の出力信号として、選択する。
【００１８】
また、エッジ検出手段は、デジタル画像信号の変動が予め設定された閾値の範囲内であるとき平坦部とみなす第１の手段と、この第１の手段で検出された２つの平坦間のスロープが常に上昇もしくは下降し、かつスロープでの信号レベルの差の絶対値が予め設定された閾値より大きいとき、これら２つの平坦部との間をデジタル画像信号のエッジとみなす第２の手段とを有するものである。
【００１９】
また、エッジ検出手段は、デジタル画像信号の変動がある閾値の範囲内であるとき平坦とみなす第１の手段と、デジタル画像信号の変動が順次上昇もしくは下降するスロープから下降もしくは上昇するスロープに移る変異点を山の頂部もしくは谷部の底部とみなす第２の手段と、第１の手段で検出された平坦部と変異点検出手段で検出された変異点との間の信号レベルの差の絶対値が予め設定された閾値よりも大きいとき、平坦部と変異点との間をデジタル画像信号のエッジとみなす第３の手段とを有するものである。
【００２０】
また、エッジ検出手段は、デジタル画像信号の変動が順次上昇もしくは下降するスロープから下降もしくは上昇するスロープに移る第１の変異点を山の頂部もしくは谷部の底部とみなし、第１の変異点から順次下降もしくは上昇するスロープの後、上昇もしくは下降する第２の変異点を谷部の底部もしくは山の頂部とする第１の手段と、この第１の手段で検出された第１，第２の変異点間の信号レベルの差の絶対値が予め設定された閾値よりも大きいとき、第１，第２の変異点間をデジタル画像信号のエッジとみなす第２の手段とを有するものである。
【００２１】
また、本発明は、被写体を撮像して電気信号を出力する撮像手段と、撮像手段から出力される電気信号を処理して第１のデジタル画像信号を生成する信号処理手段と、第１のデジタル画像信号からサンプル周期が長い第２のデジタル画像信号を生成する手段と、第２のデジタル画像信号にサンプルを補間する補間手段とを備えた撮像装置であって、補間手段として、上記の補間装置のいずれを用いたものである。ことを特徴とする撮像装置。
【００２２】
また、本発明は、入力されるデジタル画像信号を第１，第２の補間手段で補間処理し、補間処理された第１，第２のデジタル画像信号のいずれか選択して出力する補間方法であって、第２の補間手段で、デジタル画像信号のエッジを検出して、第１の補間手段で補間処理された第１のデジタル画像信号のエッジを強調処理し、検出されたエッジの期間では、エッジ強調された該デジタル画像信号を選択するものである。
【００２３】
また、本発明は、撮影手段の撮影によって得られ、信号処理された第１のデジタル画像信号からサンプル周期が長い第２のデジタル画像信号を生成し、第２のデジタル画像信号のサンプル補間を行なう方法であって、第２のデジタル画像信号のサンプル補間に、上記の補間方法を用いたものである。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態を図面により説明する。
【００２５】
図１は本発明による補間装置と補間方法、及びこれを用いた撮像装置と撮像方法の一実施形態を示すブロック図であって、１は撮像手段、２は信号処理手段、３はメモリ手段、４はタイミングパルスおよび補間係数により補間を制御する補間制御手段、５，６は補間手段、７はエッジ検出手段、８はエッジ生成手段、９は混合手段、１０は選択手段、１１は出力端子である。
【００２６】
同図において、撮像手段１の撮像によって得られる電気信号は信号処理手段２に供給され、サンプル（画素）周期ｔのデジタル画像信号Ｓ₁が生成される。このデジタル画像信号Ｓ₁は、補間制御手段４で発生された書込タイミングパルスＰ_Wにより、サンプル周期ｔのタイミングでメモリ手段３にサンプル毎に書き込まれ、また、補間制御手段４で発生された読出タイミングパルスＰ_Rにより、サンプル周期ｔの４倍のタイミングでサンプルが順番に読み出される。また、垂直走査方向では、４Ｈ（Ｈは水平走査期間）毎に１Ｈずつ読み出される。これにより、メモリ手段３に入力されるデジタル画像信号Ｓ₁によるサンプルの１／４の部分が抽出され、これが水平・垂直走査方向に夫々４倍に拡大された画像（以下、拡大画像という）のデジタル画像信号Ｓ₂ が得られる。
【００２７】
補間手段５，６と選択手段１０と補間制御手段４とは、補間装置を構成している。デジタル画像信号Ｓ₂は、この補間装置の補間手段５，６に供給される。補間手段６は、エッジ検出手段７とエッジ生成手段８と混合手段９とで構成されている。補間手段５では、補間制御手段４で生成された補間係数Ｋ₁を用いて、サンプル周期Ｔのデジタル画像信号が線形補間され（垂直走査方向についても、水平走査線の線形補間が行なわれるが、以下では、垂直走査方向の線形補間については、記載を省略する）、サンプル周期ｔのデジタル画像信号Ｓ₃が得られる。このデジタル画像信号Ｓ₃は、選択手段１０と補間手段６の混合手段９とに供給される。
【００２８】
一方、補間手段６では、エッジ検出手段７が、後述する手法により、拡大画像のデジタル画像信号Ｓ₂のエッジを検出すると、エッジ生成手段８は、その検出結果に基づいて、デジタル画像信号Ｓ₂と補間制御手段４で生成される後述するエッジ係数Ｋ₂とにより、周期ｔのサンプルからなるエッジ信号Ｓ_Eを生成する。このエッジ信号Ｓ_Eは混合手段９に供給され、補間手段５から出力されるデジタル画像信号Ｓ₃ と混合される。このように、エッジ生成手段８と混合手段９とは、補間手段５からの補間処理されたデジタル画像信号Ｓ₃をエッジ強調するエッジ強調手段を形成している。
【００２９】
この混合手段９から出力されるエッジ信号Ｓ_Eが混合されたデジタル画像信号Ｓ₄は、補間手段６の出力信号として、選択手段１０に供給される。この選択手段１０は、エッジ検出手段７がデジタル画像信号Ｓ₂のエッジを検出したときに生成されるこのエッジの期間の選択制御信号Ｓ_Sによって制御され、エッジ期間では、補間手段６の出力デジタル画像信号Ｓ₄を選択し、エッジ期間以外の期間では、補間手段５の出力デジタル画像信号Ｓ₃を選択する。これにより、出力端子１１には、補間手段５の出力デジタル画像信号Ｓ₃が、そのエッジ期間、補間手段６の出力デジタル画像信号Ｓ₄が補間されて得られることになる。
【００３０】
補間手段５では、図２で説明した線形補間を用いてデジタル画像信号Ｓ₂の補間を行なうが、この線形補間について図２（ｂ），（ｃ）を用いて説明する。
【００３１】
いま、図２（ｂ）に示すサンプル周期Ｔの画像Ｐ₂をサンプル周期ｔ（＝Ｔ／４）の画像Ｐ₃とする場合、画像Ｐ₂の隣り合うサンプル間を３個のサンプルで補間する。直線補間では、隣り合うサンプル間を直線で結び、この直線上の信号レベルとなるように、補間サンプルの信号レベルを設定する。
【００３２】
そこで、図２（ｂ）において、隣り合う２つのサンプルＡ，Ｂの信号レベルを夫々Ａ，Ｂとすると、これらサンプルＡ，Ｂ間に補間される補間サンプルＱ_i（但し、ｉ＝１，２，３）の信号レベルＱ_iは、
【数１】

で表わされる。平坦部の場合には、Ａ≒Ｂであるから、Ｑ_i≒Ａとなる。また、エッジの場合には、Ｂ＝α×Ａ（但し、α＞１）であるから、
Ｑ₁＝Ａ×（３＋α）／４
Ｑ₂＝Ａ×（２＋２α）／４
Ｑ₃＝Ａ×（１＋３α）／４
となり、図２（ｃ）に示す画像Ｐ₃となる。
【００３３】
補間手段５は、補間制御手段４から上記式（１）での
（４−ｉ）／４及びｉ／４
が補間係数Ｋ₁として供給され、図２（ｂ）に示す画像Ｐ₂で隣り合う２つのサンプル毎に上記式（１）の演算を行なって補間サンプルＱ_iを生成し、これによって補間処理した図２（ｃ）に示す画像Ｐ₃を生成する。この画像Ｐ₃の信号が、図１においては、デジタル画像信号Ｓ₃である。
【００３４】
次に、エッジ検出手段７の動作を図３〜図６を用いて説明する。
【００３５】
図３はエッジ検出手段７のエッジ判定動作の一具体例を示すフローチャートである。このエッジ判定は、複数のサンプルの期間（以下、判定サンプル期間という）について、３個の閾値DELTA１，DELTA２，LEVELを用いて行なわれるものであり、DELTA１＜DELTA２、かつDELTA１＜LEVELである。この判定サンプル期間は、画像上で最小の周期で繰り返す縞模様のエッジを判定できる程度に設定される。ここで、閾値DELTA１は画像の平坦部を判定するためのものであり、閾値DELTA２は画像の山の頂部もしくは谷の底部を判定するためのものであり、閾値LEVELはエッジを判定するためのものである。
【００３６】
以下、画像のパターンの具体的な例を挙げてエッジ検出手段７のエッジ判定動作を説明する。
【００３７】
（１）エッジ検出手段７のエッジ判定の第１のエッジ判定基準としては、上記の判定サンプル期間に信号レベルが異なる２つの平坦部が検出され、これら平坦部間が平坦部でないとき、これら平坦部間をエッジとするものである。
【００３８】
図４はかかる第１のエッジ判定基準に基づいてエッジの判定が可能な判定サンプル期間の一具体例を示すものであって、図４（ｂ）がエッジ検出手段７に入力されるサンプル周期Ｔのデジタル画像信号Ｓ₂である。図４（ａ）はこのデジタル画像信号Ｓ₂の連続波形の一例を便宜的に示すものであって、このデジタル画像信号Ｓ₂はこの図４（ａ）に示す画像信号をサンプル周期Ｔでサンプリングしたものである。
【００３９】
図４（ｂ）において、ここでは、判定サンプル期間をサンプル周期Ｔの４倍、即ち、４Ｔとしており、判定対象となるサンプルをサンプルＡ〜Ｅとする。なお、各サンプルＡ，Ｂ，Ｃ，Ｄ，Ｅの信号レベルをＡ，Ｂ，Ｃ，Ｄ，Ｅとするが、後述の他のエッジ判定についても同様である。
【００４０】
かかる判定サンプル期間Ａ〜Ｅに対し、エッジ検出手段７は、まず、最初の２つのサンプルＡ，Ｂの信号レベルの差の絶対値｜Ａ−Ｂ｜を求め、これが閾値DELTA１より小さいときには（図３のステップ１００で「Yes」）、サンプルＡ，Ｂ間を平坦部とみなす。次に、サンプルＢ，Ｃの信号レベルの差の絶対値｜Ｂ−Ｃ｜を求め、これが閾値DELTA１より小さいときには（図３のステップ１０１で「Yes」）、２Ｔの期間平坦部となるから、エッジ未検出として（図３のステップ３０１）、この判定サンプル期間の処理を終了し、サンプル周期Ｔ分ずらしてサンプルＢから始まる次の判定サンプル期間で同様の判定処理を開始する。
【００４１】
しかし、図４（ｂ）では、絶対値｜Ｂ−Ｃ｜が閾値DELTA１以上であるため（図３のステップ１０１で「No」）、サンプルＢまでを平坦部とみなし、さらに、サンプルＣ，Ｄの信号レベルの差の絶対値｜Ｃ−Ｄ｜を求め、これが閾値DELTA１よりも小さいときには（図３のステップ１０２で「Yes」）、サンプルＣ，Ｄ間も平坦部とみなす。これにより、サンプルＢ，Ｃ間を挟んで２つの平坦部が存在することになり、これらサンプルＢ，Ｃの信号レベルの差の絶対値｜Ｂ−Ｃ｜が閾値LEVELより大きい場合には（図３のステップ１０９で「Yes」）、サンプルＢ，Ｃ間をエッジとみなし（図３のステップ２０１）、この判定サンプル期間Ａ〜Ｅの判定処理を終了し、サンプルＢで始まる次の判定サンプル期間の判定処理に移る。
【００４２】
これに対し、絶対値｜Ｃ−Ｄ｜が、閾値DELTA１よりも大きく（図３のステップ１０２で「No」）、閾値DELTA２よりも小さい（図３のステップ１０３で「No」）場合には、あるいはまた、絶対値｜Ｃ−Ｄ｜が、閾値DELTA１，２よりも大きいが（図３のステップ１０２で「No」、ステップ１０３で「Yes」）、信号レベルＣが信号レベルＢ，Ｄよりも大きくないか、小さくない場合には（図３のステップ１０６で「No」）、次に、サンプルＤ，Ｅの信号レベルの差の絶対値｜Ｄ−Ｅ｜を求め、これが閾値DELTA１よりも小さい場合には（図３のステップ１０４で「Yes」）、このサンプルＤ，Ｅ間を平坦部とみなす。従って、サンプルＡ，Ｂ間とサンプルＣ，Ｄ間とが平坦部ということになる。
【００４３】
そして、かかる判定結果のもとに、サンプルＢ，Ｄ間がエッジとみなせるか否かの判定を行なう。即ち、サンプルＢ，Ｃ，Ｄの順に信号レベルが上昇あるいは下降し続けており（図３のステップ１０７で「Yes」：図４（ｂ）では、順次上昇している）、かつ絶対値｜Ｂ−Ｄ｜が閾値LEVELより大きい場合（図３のステップ１１０で「Yes」）、サンプルＢ，Ｄ間をエッジとみなす（図３のステップ２０２）。
【００４４】
以上のようにして、２つの平坦部が存在する図４（ｂ）に示すデジタル画像信号Ｓ₂に対しては、これら平坦部間、即ち、サンプルＢ，Ｃ間（絶対値｜Ｃ−Ｄ｜が閾値DELTA１よりも小さい場合）あるいはサンプルＢ，Ｄ間（絶対値｜Ｃ−Ｄ｜が閾値DELTA１よりも大きく、かつ信号レベルＢ，Ｃ，Ｄが順次上昇または下降している場合）のエッジを検出することができる。
【００４５】
なお、判定サンプル期間Ａ〜Ｅの判定処理が終了し、次のサンプルＢから始まる判定サンプル期間（サンプルＢ→サンプルＡ，サンプルＣ→サンプルＢ，……となる）の判定処理では、図３のステップ１００，１１１，１１２，３０３、または、図３のステップ１００，１１１，１１２，１１３，１１７，３０３の処理が行なわれることにより、図４（ｂ）でのサンプルＢ，Ｃ間またはサンプルＢ，Ｄ間のエッジは検出されない。即ち、同じエッジが２回以上検出されることはない。
【００４６】
また、以上は信号レベルが上昇するエッジであったが、２つのサンプル間の信号レベル差の絶対値を用いてエッジ判定を行なっているので、信号レベルが下降するエッジであっても、同様である。従って、図４において、その後、立ち下がるエッジがあると、その直前の平坦部とこのエッジ後の平坦部とが検出されることにより、上記と同様にして、この立ち下がるエッジが検出される。
【００４７】
（２）エッジ検出手段７のエッジ判定の第２のエッジ判定基準としては、上記の判定サンプル期間に信号レベルの平坦部と信号レベル変動の山の頂部または谷の底部といった変異点が検出され、平坦部とかかる変異点との間（それらの前後関係は問わない）をエッジとするものである。以下では、図面との関係から、変異点を、具体的に、山の頂部または谷の底部として説明する。
【００４８】
図５はかかる第２のエッジ判定基準に基づいてエッジの判定が可能な判定サンプル期間の一具体例を示すものであって、この具体例では、平坦部と山の頂部とが検出されるものとしている。図５（ｂ）がエッジ検出手段７に入力されるサンプル周期Ｔのデジタル画像信号Ｓ₂である。図５（ａ）はこのデジタル画像信号Ｓ₂の連続波形の一例を便宜的に示すものであって、図示するように、２Ｔ以下の期間毎に濃淡が繰り返す縞模様を表わす画像の開始部分を示すものであり、デジタル画像信号Ｓ₂はこの図５（ａ）に示す画像信号をサンプル周期Ｔでサンプリングしたものである。この具体例においても、判定サンプル期間を４Ｔとしており、判定対象となるサンプルをサンプルＡ〜Ｅとする。
【００４９】
図５（ｂ）において、サンプルＡ，Ｂ間の判定、サンプルＢ，Ｃ間の判定，サンプルＣ，Ｄ間の判定は図４に示した具体例と同様であり、図３のステップ１００〜１０３（１０６）の判定処理により、サンプルＡ〜Ｄ間において、サンプルＡ，Ｂ間が平坦部と判定される。
【００５０】
次に、サンプルＤ，Ｅの信号レベルの差の絶対値｜Ｄ−Ｅ｜を求め、これが閾値よりも小さいか否か判定する。ここで、この絶対値｜Ｄ−Ｅ｜が閾値DELTA１よりも大きく（図３のステップ１０４で「No」）、さらに、閾値DELTA２よりも大きい場合には（図３のステップ１０５で「Yes」）、サンプルＤ，Ｅ間は平坦部でないから、上記の第１の判定基準では、２つの平坦部で挟まれないサンプルＢ，Ｄ間をエッジと判定することはできず、判定が保留された状態となる。
【００５１】
そこで、この具体例では、第２の判定基準を適用するものである。即ち、サンプルＤがサンプルＢ，Ｃ，Ｅよりも信号レベルが大きくて山の頂部をなし、あるいは小さくて谷の底部をなし（図３のステップ１０８で「Yes」）、かつサンプルＢ，Ｄの信号レベルの差の絶対値｜Ｂ−Ｄ｜が閾値LEVELよりも大きいとき（図３のステップ１１０で「Yes」）、サンプルＢ，Ｄ間をエッジと判定する（図３のステップ２０２）。それ以外（即ち、ステップ１０５，１０８，１１０で「No」の判定）では、サンプルＢ，Ｄ間をエッジとはみなさない（ステップ３０３）。
【００５２】
なお、図５（ｂ）において、サンプルＢ，Ｃ，Ｄのうち、サンプルＣが山の頂部または谷の底部となるときには（ステップ１０３，１０６，１０９）、サンプルＢ，Ｃ間がエッジとなる（図３のステップ２０１）。
【００５３】
このようにして、画像の細かい縞模様によってデジタル画像信号Ｓ₂が高い周波数の一連の矩形波からなるデジタル画像信号をサンプリングしたものであるとき、上記の第１の判定基準では検出できないその最初の矩形波の先頭のエッジを、この第２の判定基準により、検出することができる。
【００５４】
なお、この図５（ｂ）に示す具体例においても、サンプルＢから始まる次の判定サンプル期間（この場合、サンプルＢ→サンプルＡ，サンプルＣ→サンプルＢ，……とする）では、図３のステップ１００，１１１，１１２，１１３，１１４，１１８，１１５から１１９，３０４または１１６，（１２０），３０５の処理がなされて、先の判定サンプル期間Ａ〜Ｅの処理で一度エッジと判定された図示のサンプルＢ，Ｄ間はエッジと判定されない。従って、同じエッジは２度以上検出されることがない。
【００５５】
（３）エッジ検出手段７のエッジ判定の第３のエッジ判定基準としては、上記の判定サンプル期間に山の頂部と谷の底部とが検出されるとき、これら山の頂部と谷の底部との間をエッジとするものである。
【００５６】
図６はかかる第３のエッジ判定基準に基づいてエッジの判定が可能な判定サンプル期間の一具体例を示すものであって、この具体例では、山の頂部と谷の底部とが検出されるものとしている。図６（ｂ）がエッジ検出手段７に入力されるサンプル周期Ｔのデジタル画像信号Ｓ₂である。図６（ａ）はこのデジタル画像信号Ｓ₂の連続波形の一例の途中部分を便宜的に示すものであって、図示するように、２Ｔ以下の期間毎に濃淡が繰り返す縞模様を表わす画像を示すものであり、デジタル画像信号Ｓ₂はこの図６（ａ）に示す画像信号をサンプル周期Ｔでサンプリングしたものである。この具体例においても、判定サンプル期間を４Ｔとしており、判定対象となるサンプルをサンプルＡ〜Ｅとする。
【００５７】
図６（ｂ）において、かかる判定サンプル期間Ａ〜Ｅに対し、エッジ検出手段７は、まず、最初の２つのサンプルＡ，Ｂの信号レベルの差の絶対値｜Ａ−Ｂ｜を求め、これが閾値DELTA１よりも大きく（図３のステップ１００で「No」）、閾値DELTA２よりも大きいと判定する（図３のステップ１１１で「Yes」）。次に、サンプルＢ，Ｃの信号レベルの差の絶対値｜Ｂ−Ｃ｜を求め、これが閾値DELTA１よりも大きいと判定する（図３のステップ１１２で「No」）。なお、この絶対値｜Ｂ−Ｃ｜が閾値DELTA１よりも小さいときには（図３のステップ１１２で「Yes」）、サンプルＢ，Ｃ間が平坦部になるので、エッジ未検出とし（図３のステップ３０３）、次の判定サンプル期間の判定処理に移る。
【００５８】
次いで、サンプルＣ，Ｄの信号レベルの差の絶対値｜Ｃ−Ｄ｜を求め、これが閾値DELTA１よりも大きく（図３のステップ１１３で「No」）、閾値DELTA２よりも小さい場合（図３のステップ１１４で「No」）、もしくは閾値DELTA２よりも大きいが（図３のステップ１１４で「Yes」）、サンプルＡ，Ｂ，Ｃ，Ｄの信号レベルがＡ＞Ｂ＜Ｃ＜Ｄであるから（図３のステップ１１８で「No」）、サンプルＤ，Ｅの信号レベルの差の絶対値｜Ｄ−Ｅ｜を求め、これが閾値DELTA１よりも大きいか否か判定する（図３のステップ１１５）。この場合、絶対値｜Ｄ−Ｅ｜は閾値DELTA１よりも大きく（図３のステップ１１５で「No」）、さらに、閾値DELTA２よりも大きく（図３のステップ１１６で「Yes」）、しかも、サンプルＡ〜Ｅの信号レベルがＡ＞Ｂ＜Ｃ＜Ｄ＞Ｅであるから（図３のステップ１２０で「Yes」）、サンプルＢを谷の底部、サンプルＤを山の頂部と判定する。
【００５９】
そして、この谷の底部と山の頂部との間において、サンプルＢ，Ｄの信号レベルの差の絶対値｜Ｂ−Ｄ｜を求め、これが閾値LEVELよりも大きいとき（図３のステップ１２２で「Yes」）、このサンプルＢ，Ｄ間をエッジと判定する（ステップ２０４）。
【００６０】
なお、図６（ｂ）において、サンプルＤの代わりにサンプルＣが山の頂部であるときには、図３のステップ１１４からステップ１１８に進んで「Yes」の判定がなされてサンプルＢが谷の底部、サンプルＣが山の頂部との判定がなされ、さらに、サンプルＢ，Ｃ間の信号レベルの差の絶対値｜Ｂ−Ｃ｜が閾値LEVELよりも大きいとき（図３のステップ１２１で「Yes」）、谷の底部のサンプルＢと山の頂部のサンプルＣとの間がエッジと判定される（ステップ２０３）。
【００６１】
また、図６（ｂ）において、仮に、サンプルＣ，Ｄ間が平坦部であるとすると（図３のステップ１１３で「Yes」）、サンプルＡ，Ｂ，Ｃの信号レベルはＡ＞Ｂ＜Ｃであるから（図３のステップ１１７で「Yes」）、サンプルＢは谷の底部と判定され、上記第２の判定基準により、このサンプルＢと平坦部の先頭のサンプルＣとの信号レベルの差の絶対値｜Ｂ−Ｃ｜が閾値LEVELよりも大きいとき（図３のステップ１２１で「Yes」）、サンプルＢ，Ｃ間がエッジと判定される（図３のステップ２０３）。
【００６２】
さらに、図６（ｂ）において、仮に、サンプルＤ，Ｅ間が平坦部であるとすると（図３のステップ１１５で「Yes」）、サンプルＢ，Ｃ，Ｄの信号レベルはＢ＜Ｃ＜Ｄであるから（図３のステップ１１９で「Yes」）、サンプルＢは谷の底部と判定され、上記第２の判定基準により、このサンプルＢと平坦部の先頭のサンプルＤとの信号レベルの差の絶対値｜Ｂ−Ｄ｜が閾値LEVELよりも大きいとき（図３のステップ１２２で「Yes」）、サンプルＢ，Ｄ間がエッジと判定される（図３のステップ２０４）。
【００６３】
さらにまた、図６に示す具体例では、サンプルＢ，Ｃ間、または、サンプルＢ，Ｄ間の立上りのエッジを検出するものであったが、信号レベルの差の絶対値を用いて処理するものであるから、立下りのエッジの検出についても同様である。
【００６４】
以上の場合以外のときには、サンプルＢ，Ｃ間やサンプルＢ，Ｄ間はエッジと判定されない（図３のステップ３０４，３０５）。
【００６５】
図１に戻って、以上のようにして、エッジ検出手段７はメモリ手段３からのデジタル画像信号Ｓ₂のエッジを検出する。
【００６６】
補間手段６のエッジ生成手段８は、エッジ検出手段７で検出されたデジタル画像信号Ｓ2のエッジ期間、補間制御手段４からのエッジ係数Ｋ2を用いてエッジ信号ＳEを生成する。これについて、図７により、説明する。
【００６７】
図７（ａ）は連続した波形のエッジ部分をサンプル周期Ｔでサンプリングした図１におけるデジタル画像信号Ｓ₂を示すものであり、Ｂ，Ｃ，Ｄがこのデジタル画像信号Ｓ₂のサンプルである。
【００６８】
また、図７（ｂ）では、補間手段５で線形補間されたデジタル画像信号Ｓ₃ のエッジ部分と、これに対してエッジ生成手段８で生成されたエッジ信号Ｓ_E を示すものである。ここで、黒丸はサンプルＢ，Ｃ，Ｄであり、○は補間手段５でサンプルＢ，Ｃ間及びサンプルＣ，Ｄ間に線形補間された補間サンプルであり、□はエッジ生成手段８で生成されたエッジ期間をなすサンプルＢ，Ｃ間のエッジ信号Ｓ_E のサンプルである。
【００６９】
エッジ生成手段８は、エッジ検出手段７で検出されたエッジ期間、例えば、デジタル画像信号Ｓ₂のサンプルＢ，Ｄ間において、サンプル周期ｔ（＝Ｔ／４）で順次７個のエッジ補間サンプル（図７で□で示す）を生成するが、ｊ番目（但し、ｊ＝１，２，……，７）の信号レベルをＶ_jとすると、
Ｖ_j＝Ｂ＋β_j×（Ｄ−Ｂ） ……（２）
但し、Ｂ，Ｄ：サンプルＢ，Ｄの信号レベル
０≦β_j≦１
で表わされる。
【００７０】
エッジ生成手段８は、上記式（２）でβ_j＝１／２として、
Ｖ_k＝（Ｂ＋Ｄ）／２
なる信号レベルを求め、補間手段５からのデジタル画像信号Ｓ₃のエッジ期間内の補間サンプルのうち、この信号レベルＶ_kに最も近い信号レベルの補間サンプルのタイミングでこの信号レベルＶ_kのエッジ補間サンプルを生成し、このエッジ補間サンプルよりも先行する全てのエッジ補間サンプルの信号レベルＶ₁，Ｖ₂，……，Ｖ_k-1を上記式（２）でβ_j＝０として信号レベルＢとし、このエッジ補間サンプルに続く全てのエッジ補間サンプルの信号レベルＶ_k+1，Ｖ_k+2，……，Ｖ₇を上記式（２）でβ_j＝１として信号レベルＤとしたものである。
【００７１】
そこで、この信号レベルＶ_kのエッジ補間サンプルがデジタル画像信号Ｓ₂のサンプルＣの信号レベルに最も近いとすると、エッジ期間でのエッジ補間サンプルの上記式（２）で表わされる信号レベルＶ_jの係数β_jは、サンプルＢ側から、
０，０，０，1/2，１，１，１
となる。かかる係数β_jが補間制御手段４から、エッジ係数Ｋ₂として供給されるものである。
【００７２】
なお、かかるエッジ係数Ｋ₂としては、これのみに限られるものではなく、例えば、
０，０，０，１，１，１，１
あるいは、
０，０，1/3，2/3，１，１，１
または、
０，０，1/5，1/2，4/5，１，１
など、必要に応じて任意に設定することができる。
【００７３】
このようにエッジ生成手段８で生成されたエッジ信号Ｓ_Eが混合手段９に供給され、このエッジ信号Ｓ_Eと補間手段５からのデジタル画像信号Ｓ₃とが所望の比率で混合されて、デジタル画像信号Ｓ₄が生成される。
【００７４】
ここで、このようにして生成されたエッジ信号Ｓ_Eは、サンプリングの定理によると、デジタル画像信号Ｓ₂のサンプリング周波数１／Ｔの１／２以上のエッジ成分を再現できるものであるが、その再現はあくまで予測である。そこで、予測がはずれたときのエイリアシング現象によって発生する画質劣化を、サンプリング定理に則って補間した補間手段５の出力デジタル画像信号Ｓ₃とエッジ生成手段８から出力されるエッジ信号Ｓ_Eとを混合することにより、低減することができる。
【００７５】
選択手段１０では、エッジ検出手段７からの選択制御信号Ｓ_Sによって制御され、エッジ検出手段７で検出されたデジタル画像信号Ｓ₃のエッジ期間（例えば、図４〜図６でのサンプルＢ，Ｄ間の期間）では、デジタル画像信号Ｓ₄を選択し、それ以外の期間では、補間手段５からのデジタル画像信号Ｓ₃を選択する。
【００７６】
以上のように、この実施形態では、デジタル画像を拡大する場合、その拡大画像のサンプリング周波数の１／２以上の周波数成分があると予測される部分でのみ、サンプリング周波数の半分以上の周波数成分で表現されるエッジ信号で補間が行なわれるものであるから、鮮鋭度が高い画像を得ることができる。
【００７７】
また、エッジ検出手段７やエッジ生成手段８は、乗算手段を用いないで構成できるので、回路規模を小さく抑えることができる。
【００７８】
なお、以上の実施形態は、撮像装置に適用するものとして説明したが、本発明は、これのみに限るものではなく、送信側でサンプリングしてサンプル数を低減した画像として送信し、受信側で、本発明を適用し、補間するようにしたものなど、他のシステムなどに適用できることはいうまでもない。
【００７９】
【発明の効果】
以上説明したように、本発明によれば、サンプルの補間の対象となる画像のデジタル画像信号から、その画像のサンプリング周波数の１／２以上の周波数で表現されるエッジ信号を生成し、このエッジ信号を用いて画像の補間を行なうものであるから、エッジが良好に再現されて鮮鋭度の高い画像を得ることができる。
【００８０】
また、エッジ検出手段やエッジ生成手段は、乗算回路を必要としない構成をなすものであるから、回路規模の増大化を回避できて、鮮鋭度の高い画像を得ることができる。
【図面の簡単な説明】
【図１】本発明による補間装置と補間方法、及びこれを用いた撮像装置と撮像方法補間装置の一実施形態の構成を示すブロック図である。
【図２】図１における補間手段の補間方法の一例を示す図である。
【図３】図１におけるエッジ検出手段の動作の一具体例を示すフローチャートである。
【図４】図１におけるエッジ検出手段の処理対象となるデジタル画像信号の一具体例を示す図である。
【図５】図１におけるエッジ検出手段の処理対象となるデジタル画像信号の他の具体例を示す図である。
【図６】図１におけるエッジ検出手段の処理対象となるデジタル画像信号のさらに他の具体例を示す図である。
【図７】図１おけるエッジ生成手段の動作の一具体例を示す図である。
【符号の説明】
１撮像手段
２信号処理手段
３メモリ手段
４補間制御手段
５，６補間手段
７エッジ検出手段
８エッジ生成手段
９混合手段
１０選択手段
１１出力端子

Claims

入力されるデジタル画像信号を補間処理する第１，第２の補間手段と、該第１，第２の補間手段のいずれかを選択する選択手段とを有する補間装置において、
該第１の補間手段は、該入力されるデジタル画像信号を補間処理し、
該第２の補間手段は、該入力されるデジタル画像信号のエッジを検出するエッジ検出手段と、該エッジ検出手段で検出されたエッジ期間に該入力されるデジタル画像信号のサンプリング周波数の１／２倍の周波数以上の周波数成分を含むエッジ信号を生成し、該エッジ信号によって該第１の補間手段の出力デジタル画像信号のエッジを強調するエッジ強調手段とで構成され、
該選択手段は、該エッジ検出手段で検出されたエッジ期間、該エッジ強調手段でエッジが強調されたデジタル画像信号を、該第２の補間手段の出力信号として、選択することを特徴とする補間装置。
請求項１において、
前記エッジ強調手段は、前記入力されたデジタル画像信号から前記エッジ信号を生成するエッジ生成手段と混合手段とから構成され、
該混合手段は、該エッジ生成手段で生成された前記エッジ信号と前記第１の補間手段の出力信号とを所望とする比率で混合する演算手段によって構成され、
前記選択手段は、前記エッジ検出手段で検出されたエッジ期間、該混合手段の出力信号を、前記第２の補間手段の出力信号として、選択することを特徴とする補間装置。
請求項１または２において、
前記エッジ検出手段は、
前記デジタル画像信号の変動が予め設定された閾値の範囲内であるとき、平坦部とみなす第１の手段と、
該第１の手段で検出された２つの平坦間のスロープが常に上昇もしくは下降し、かつスロープでの信号レベルの差の絶対値が予め設定された閾値より大きいとき、該２つの平坦部との間を前記デジタル画像信号のエッジとみなす第２の手段と
を有することを特徴とする補間装置。
請求項１または２において、
前記エッジ検出手段は、
前記デジタル画像信号の変動が予め設定された閾値の範囲内であるとき、平坦とみなす第１の手段と、
前記デジタル画像信号の変動が順次上昇もしくは下降するスロープから下降もしくは上昇するスロープに移る変異点を山の頂部もしくは谷部の底部とみなす第２の手段と、
該第１の手段で検出された平坦部と該第２の手段で検出された変異点との間の信号レベルの差の絶対値が予め設定された閾値よりも大きいとき、該平坦部と該変異点との間を前記デジタル画像信号のエッジとみなす第３の手段とを有することを特徴とする補間装置。
請求項１または２において、
前記エッジ検出手段は、
前記デジタル画像信号の変動が順次上昇もしくは下降するスロープから下降もしくは上昇するスロープに移る第１の変異点を山の頂部もしくは谷部の底部とみなし、該第１の変異点から順次下降もしくは上昇するスロープの後、上昇もしくは下降する第２の変異点を谷部の底部もしくは山の頂部とする第１の手段と、
該第１の手段で検出された該第１，第２の変異点間の信号レベルの差の絶対値が予め設定された閾値よりも大きいとき、該第１，第２の変異点間を前記デジタル画像信号のエッジとみなす第３の手段と
を有することを特徴とする補間装置。
被写体を撮像して電気信号を出力する撮像手段と、
該撮像手段から出力される電気信号を処理して第１のデジタル画像信号を生成する信号処理手段と、該第１のデジタル画像信号からサンプル周期が長い第２のデジタル画像信号を生成する手段と、該第２のデジタル画像信号にサンプルを補間する補間手段とを備えた撮像装置において、
該補間手段として、請求項１〜５のいずれか１つに記載の補間装置を用いたことを特徴とする撮像装置。
請求項６において、
第２のデジタル画像信号を生成する手段は、メモリ手段であって、
該メモリ手段は、前記第１のデジタル画像信号を記憶し、該第１のデジタル画像信号の一部を読み出して、前記第１のデジタル画像信号による画像の一部を拡大した拡大画像の前記第２の画像信号を出力することを特徴とする撮像装置。
入力されるデジタル画像信号を第１，第２の補間手段で補間処理し、補間処理された第１，第２のデジタル画像信号のいずれか選択して出力する補間方法であって、
該第２の補間手段で、該入力されるデジタル画像信号のエッジを検出して、該入力されるデジタル映像信号からエッジ補正信号を生成して、該第１の補間手段で補間処理された該第１のデジタル画像信号のエッジを強調処理し、検出されたエッジの期間では、エッジ強調された該デジタル画像信号を、該第２のデジタル画像信号として、選択することを特徴とする補間方法。
撮影手段の撮影によって得られ、信号処理された第１のデジタル画像信号からサンプル周期が長い第２のデジタル画像信号を生成し、該第２のデジタル画像信号のサンプル補間を行なう方法であって、
該第２のデジタル画像信号のサンプル補間に、請求項８に記載の補間方法を用いたことを特徴とする撮像方法。