JP3407925B2 - 画像信号合成法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は撮像素子、または撮像素
子上に結像した光学像をフィールド（またはフレーム）
周期に同期させながら画像ピッチの整数分の１ずつシフ
トして撮像した複数のフィールド（またはフレーム）画
像を合成することにより入力画像を高精細化するイメー
ジシフト法による撮像技術に関するものである。

【０００２】

【従来の技術】イメージシフト法とは、上述のように撮
像素子、または撮像素子上に結像した光学像を画像ピッ
チの整数分の１ずつシフトして撮像した複数の画像を合
成することにより入力画像を高精細化する方法である。
この方法により入力画像が高精細化される原理を図９に
示す。固体撮像素子では、２次元の光学像情報をサンプ
リングし電気信号に変換する光電変換部（以下、開口部
とよぶ）が図９に示すように離散的に配置されており、
隣接する光電変換部の間には撮像に直接寄与しない非感
光領域が存在する。イメージシフト法は、この非感光領
域の存在を利用し、画像のサンプリング点を倍増するこ
とにより、入力画像の高精細化を図る方法である。すな
わち、あるフレームで入力した画像（図９（ａ））と、
次のフレームで被写体像と撮像素子の画素の相対的な位
置関係を、画素ピッチの１／２ずらして入力した画像
（図９（ｂ））を合成すれば、それぞれのフレーム画像
において撮像素子の非感光領域にある領域の光学像情報
がもう一方のフレーム画像ではサンプリングされている
ことになり、結局、図１（ｃ）に示すように実効的に２
倍の画素密度で画像を読み取ったことに相当し、撮像画
像の高精細化が可能になる。図９では簡単のため２枚の
画像を水平方向に補間する方法について説明したが、水
平方向、垂直方向ともに補間による高精細化が可能であ
り、さらに画素ピッチの１／３ずつずらして１方向につ
いて３倍の高密度化も可能である。

【０００３】上記イメージシフト法では、撮像素子また
は光学像を画素ピッチの整数分の１ずつシフトさせる手
段が必要である。従来のイメージシフト法では、撮像素
子の位置をシフトさせる場合には、圧電素子がその手段
として用いられている。また、光学像をシフトさせる場
合は、撮像素子の前面に透明板を配置し、この透明板を
傾けることにより光学像をシフトさせるが、透明板を傾
ける手段としてやはり圧電素子が用いられている。光学
像をシフトさせる方法としては、このほか液晶パネルと
複屈折を用いる方法も提案されている。

【０００４】

【発明が解決しようとする課題】上記従来のイメージシ
フト法では、いずれもイメージシフトを高速にできない
ため、１枚の合成画像を得るために長時間を要するとい
う問題点があった。例えば、圧電素子を用いる方法で
は、撮像素子または光学像を画素ピッチの１／２シフト
させるのに約１０ｍｓｅｃが必要である。ＮＴＳＣ等の
通常の撮像素子では１フレームの周期が約３０ｍｓｅｃ
であり、シフトに要する時間は１フレーム期間の１／３
程度の時間を要することになる。このことから生じる問
題を図１０により説明する。

【０００５】その問題とは、開口部によるある被サンプ
リング領域のサンプリング値に他の被サンプリング領域
のサンプリング値が混合して、期待する解像度が得られ
ないという問題である。図１０は２次元状に配列されて
いる画素の１つを表し、イメージシフト法により撮像素
子を水平、垂直に画素ピッチの１／２ずつシフトさせる
場合を示す。図１０において、Ａ（ｉ，ｊ）は撮像素子
の画素中の開口部であり、撮像素子上に結像された光学
像の明暗情報（以下、輝度値と呼ぶ）をサンプリングす
る領域である。また、Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，
ｊ）、Ｂ３（ｉ，ｊ）およびＢ４（ｉ，ｊ）は、開口部
Ａ（ｉ，ｊ）によりその領域の輝度値をサンプリングさ
れる被サンプリング領域である。

【０００６】いま、ｎ番目のフレーム終了時に開口部Ａ
（ｉ，ｊ）が被サンプリング領域Ｂ１（ｉ，ｊ）上にあ
り（図１０（ａ））、つぎのｎ＋１番目のフレームの始
めに位置を右にシフトさせ（図１０（ｂ））、シフト後
はｎ＋１番目のフレーム終了時までＢ２（ｉ，ｊ）上に
停止するとする（図１０（ｃ））。開口部Ａ（ｉ，ｊ）
は、ｎ番目のフレームではＢ１（ｉ，ｊ）で示す領域の
輝度値をサンプリングし、ｎ＋１番目のフレームではＢ
２（ｉ，ｊ）の領域の輝度値をサンプリングしなければ
ならない。しかし、従来の方法では、シフトに１フレー
ムの１／３程度の時間を要することから、ｎ＋１番目の
フレーム期間中の最初の数分の１の時間では開口部がＢ
１（ｉ，ｊ）とＢ２（ｉ，ｊ）の２つの領域にまたがる
ことになる。この結果、ｎ＋１番目のフレームで開口部
Ａ（ｉ，ｊ）がサンプリングする光学像の輝度値はＢ１
（ｉ，ｊ）とＢ２（ｉ，ｊ）の両領域の輝度値が混合し
たものとなり、期待する解像度が得られないことにな
る。

【０００７】上記複数位置の輝度値の混合を防ぐ方法と
して、図１１（ａ），（ｂ）に示す方法が用いられてい
る。図１１（ａ）に示す方法は光学像の輝度値をサンプ
リングするフレームと撮像素子をシフトさせるフレーム
を分離する方法である。すなわち、ｎ番目のフレームで
Ｂ１（ｉ，ｊ）で光学像の輝度値をサンプリングしたと
すると、次のｎ＋１番目のフレームではサンプリングは
行わず、撮像素子のシフトのみを実行する。そして、撮
像素子が完全にシフトした後のｎ＋２番目のフレームに
おいてＢ２（ｉ，ｊ）でのサンプリングを実行する。こ
の方法では、複数領域の輝度値の混合を防ぐことがで
き、高解像度での撮像が可能である。しかし、４つのフ
レーム画像を合成して１枚の高精細画像を得るのに８フ
レーム要し、撮像時間が２倍となる。このことは撮像時
間が長時間化するだけでなく、イメージシフト法による
高精細な動画入力法に適用できなくなり、応用範囲が静
止画入力に限定されてしまうことになる。

【０００８】一方、図１１（ｂ）に示す方法は、撮像素
子のシャッタ機能を用いる方法である。すなわち、シャ
ッタ機能を用いることにより、サンプリング期間を１フ
レーム内の一定期間に限定し、１フレームをサンプリン
グ期間と撮像素子のシフト期間に分離する方法である。
この方法でも、サンプリング期間には撮像素子は移動し
ないため、複数領域の輝度値の混合を防ぐことができ、
高解像度での撮像が可能である。しかし、サンプリング
期間が短くなることから、撮像感度が低下する問題が生
じる。特に、インタレース方式の撮像素子ではサンプリ
ング期間がフィールド（１６．７ｍｓｅｃ）期間内に限
られ、例えばシフト期間を１０ｍｓｅｃとした場合、サ
ンプリング期間は６．７ｍｓｅｃ以下となり感度が大幅
に低下する。

【０００９】本発明は以上に述べた問題点を解決するた
めになされたものであり、その目的は、イメージシフト
法を用いて撮像する場合等において、高解像度を実現す
る画像信号合成法を提供することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
め、本発明では、撮像素子、または撮像素子上に結像し
た光学像をフィールド周期またはフレーム周期に同期さ
せながら画素ピッチの整数分の１ずつシフトさせ、１つ
の画素開口部が異なるｎ個の被サンプリング領域をｎフ
ィールドまたはｎフレームかけてサンプリングして撮像
したｎ枚のフィールド画像またはフレーム画像を合成す
ることにより入力画像を高精細化する画像信号合成法に
おいて、各被サンプリング領域の輝度値を、該被サンプ
リング領域におけるサンプリング値と、該被サンプリン
グ領域をサンプリングする画素開口部がサンプリングす
る他の被サンプリング領域におけるサンプリング値の関
数として決定することを特徴とする。

【００１１】上記の画像信号合成法における、各被サン
プリング領域の輝度値を決定する関数は、各被サンプリ
ング領域の輝度値を、該被サンプリング領域におけるサ
ンプリング値と、該被サンプリング領域のサンプリング
する開口部がサンプリングする他の被サンプリング領域
におけるサンプリング値の線形結合として決定するもの
等で、容易に実現できる。

【００１２】

【作用】イメージシフト法においては、撮像素子または
光学像のシフトに時間がかかるためサンプリング値のな
かには他の被サンプリング領域の輝度値が含まれること
になり、解像度が低下することになるが、本発明の画像
信号合成法では、各領域でのサンプリング値が各領域の
輝度値の連立方程式で表すことができ、解くことが可能
であること、すなわち、各被サンプリング領域における
正確な輝度値はそれらの領域のサンプリング値の関数と
して与えられることに着目し、各被サンプリング領域の
輝度値を、該被サンプリング領域におけるサンプリング
値と、該被サンプリング領域をサンプリングする画素開
口部がサンプリングする他の被サンプリング領域におけ
るサンプリング値の関数として決定することで、複数領
域の輝度値の混合を防いで、高解像度での撮像を可能に
する。

【００１３】

【実施例】以下、本発明の実施例を、図面を用いて詳細
に説明する。

【００１４】まず始めに、本発明の原理を、従来の技術
と比較しながら図１を用いて説明する。

【００１５】図１において、Ａ（ｉ，ｊ）は撮像素子の
１つの画素開口部、Ｂ１（ｉ，ｊ），Ｂ２（ｉ，ｊ），
Ｂ３（ｉ，ｊ），Ｂ４（ｉ，ｊ）は開口部Ａ（ｉ，ｊ）
がサンプリングする４つの被サンプリング領域、×で示
すＰＯ（ｉ，ｊ）は撮像素子の（ｉ，ｊ）番地における
画素開口部Ａ（ｉ，ｊ）の中心、●で示すＸ１（ｉ，
ｊ）、Ｘ２（ｉ，ｊ）、Ｘ３（ｉ，ｊ）、Ｘ４（ｉ，
ｊ）は開口部Ａ（ｉ，ｊ）がサンプリングする上記４つ
の被サンプリング領域の中心位置を示す。

【００１６】従来の技術では、撮像素子のある開口部が
被サンプリング領域Ｂｍ（ｉ，ｊ）をサンプリングして
サンプリング値Ｓｍ（ｉ，ｊ）を得たとき、領域Ｂｍ
（ｉ，ｊ）の輝度値Ｉｍ（ｉ，ｊ）をＳｍ（ｉ，ｊ）、
または適当な係数を乗じるなどしたＳｍ（ｉ，ｊ）だけ
の関数とした。これに対し、本発明では、サンプリング
領域Ｂｍ（ｉ，ｊ）の輝度値Ｉｍ（ｉ，ｊ）を式（１）
で示すように、１つの開口部が複数のフレームでサンプ
リングした複数領域のサンプリング値（Ｓ１（ｉ，
ｊ）、Ｓ２（ｉ，ｊ）…Ｓｍ（ｉ，ｊ）…Ｓｎ（ｉ，
ｊ））の関数として決定する。

【００１７】 Ｉｍ（ｉ，ｊ）＝ｆ（Ｓ１（ｉ，ｊ）、Ｓ２（ｉ，ｊ）…Ｓｍ（ｉ，ｊ）…Ｓ ｎ（ｉ，ｊ）） …（１） 上記手段による作用を図１により説明すると、次のとお
りである。図１で、撮像素子がフレーム周期に同期して
右、下、左、上の順でシフトすると、開口部Ａ（ｉ，
ｊ）は被サンプリング領域Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，
ｊ）、Ｂ３（ｉ，ｊ）、Ｂ４（ｉ，ｊ）を順次サンプリ
ングすることになる。従来法では、例えば被サンプリン
グ領域Ｂ１（ｉ，ｊ）におけるサンプリング値Ｓｍ
（ｉ，ｊ）をこの領域の輝度値Ｉｍ（ｉ，ｊ）とした。
しかし、実際には上述のように撮像素子のシフトに時間
がかかるためＳｍ（ｉ，ｊ）のなかには他の領域の輝度
値が含まれることになる。すなわち、各領域でのサンプ
リング値Ｓｍ（ｉ，ｊ）は、各領域の輝度値Ｉｍ（ｉ，
ｊ）を用いて、一般的には以下の（２）〜（５）式で示
すことができる。ただし、Ａ₁₁〜Ａ₄₄は係数である。

【００１８】 Ｓ１（ｉ，ｊ）＝Ａ₁₁Ｉ１（ｉ，ｊ）＋Ａ₁₂Ｉ２（ｉ，ｊ）＋Ａ₁₃Ｉ３（ｉ， ｊ）＋Ａ₁₄Ｉ４（ｉ，ｊ） …（２） Ｓ２（ｉ，ｊ）＝Ａ₂₁Ｉ１（ｉ，ｊ）＋Ａ₂₂Ｉ２（ｉ，ｊ）＋Ａ₂₃Ｉ３（ｉ， ｊ）＋Ａ₂₄Ｉ４（ｉ，ｊ） …（３） Ｓ３（ｉ，ｊ）＝Ａ₃₁Ｉ１（ｉ，ｊ）＋Ａ₃₂Ｉ２（ｉ，ｊ）＋Ａ₃₃Ｉ３（ｉ， ｊ）＋Ａ₃₄Ｉ４（ｉ，ｊ） …（４） Ｓ４（ｉ，ｊ）＝Ａ₄₁Ｉ１（ｉ，ｊ）＋Ａ₄₂Ｉ２（ｉ，ｊ）＋Ａ₄₃Ｉ３（ｉ， ｊ）＋Ａ₄₄Ｉ４（ｉ，ｊ） …（５） 各被サンプリング領域における正確な輝度値Ｉｍ（ｉ，
ｊ）は未知数であるが、（２）〜（５）式は未知数が４
つの連立方程式であり、未知数Ｉｍ（ｉ，ｊ）について
解くことが可能である。Ｉｍ（ｉ，ｊ）について解いた
結果を式（６）〜（９）に示す。

【００１９】 Ｉ１（ｉ，ｊ）＝Ｃ₁₁Ｓ１（ｉ，ｊ）＋Ｃ₁₂Ｓ２（ｉ，ｊ）＋Ｃ₁₃Ｓ３（ｉ， ｊ）＋Ｃ₁₄Ｓ４（ｉ，ｊ） …（６） Ｉ２（ｉ，ｊ）＝Ｃ₂₁Ｓ１（ｉ，ｊ）＋Ｃ₂₂Ｓ２（ｉ，ｊ）＋Ｃ₂₃Ｓ３（ｉ， ｊ）＋Ｃ₂₄Ｓ４（ｉ，ｊ） …（７） Ｉ３（ｉ，ｊ）＝Ｃ₃₁Ｓ１（ｉ，ｊ）＋Ｃ₃₂Ｓ２（ｉ，ｊ）＋Ｃ₃₃Ｓ３（ｉ， ｊ）＋Ｃ₃₄Ｓ４（ｉ，ｊ） …（８） Ｉ４（ｉ，ｊ）＝Ｃ₄₁Ｓ１（ｉ，ｊ）＋Ｃ₄₂Ｓ２（ｉ，ｊ）＋Ｃ₄₃Ｓ３（ｉ， ｊ）＋Ｃ₄₄Ｓ４（ｉ，ｊ） …（９） ここで、Ｃ_qrは次式で与えられる。

【００２０】Ｃ_qr＝Ｄ_qr／Ｄ …（１０） ただし、

【００２１】

【数１】

【００２２】また、Ｄ_qrは行列式Ｄからｑ行、ｒ列を除
いた行列式を示す。

【００２３】上記（６）から（９）式で示すように各被
サンプリング領域における正確な輝度値はサンプリング
値Ｓ１（ｉ，ｊ）、Ｓ２（ｉ，ｊ）、Ｓ３（ｉ，ｊ）、
Ｓ４（ｉ，ｊ）の関数として与えられることがわかる。
したがって、上記本発明の手段によれば、複数領域の輝
度値の混合を防ぐことができ、高解像度での撮像が可能
である。

【００２４】［実施例１］本発明の第一の実施例を図１
および図２にて説明する。図１は前述の説明のとおりで
あり、図２は本実施例における画素開口部のサンプリン
グ期間、撮像素子がシフトする期間（開口部がシフトす
る期間）および開口部の位置のタイミングチャートを示
す。

【００２５】本実施例では、撮像素子として開口率が約
２５％のＣＣＤ撮像素子（以下、単にＣＣＤとよぶ）を
用い、これを右、下、左、上の順で繰り返しシフトさせ
る。ＣＣＤはノンインタレース方式で駆動するとする。
いま、ｎ−１番目のフレーム終了時に開口部の中心ＰＯ
（ｉ，ｊ）がＸ４（ｉ，ｊ）にあり、つぎのｎ番目のフ
レームＸ１（ｉ，ｊ）にシフトするとする。シフトはフ
レーム期間の初期の数ｍｓｅｃで行われ、残りのフレー
ム期間では開口部は中心をＸ１に置いたまま停止する。
このとき、ｎ番目のフレームで開口部Ａ（ｉ，ｊ）がサ
ンプリングする値Ｓ１（ｉ，ｊ）は、被サンプリング領
域Ｂ１（ｉ，ｊ）、Ｂ４（ｉ，ｊ）の輝度値をそれぞれ
Ｉ１（ｉ，ｊ）、Ｉ４（ｉ，ｊ）とすると次式で与えら
れる。

【００２６】 Ｓ１（ｉ，ｊ）＝Ａ₁₁Ｉ１（ｉ，ｊ）＋Ａ₁₄Ｉ４（ｉ，ｊ） …（１２） 同様にして、ｎ＋１〜ｎ＋３番目のフレームで開口部Ａ
（ｉ，ｊ）がサンプリングする値Ｓ２（ｉ，ｊ）、Ｓ３
（ｉ，ｊ）、Ｓ４（ｉ，ｊ）は（１３）〜（１５）式で
与えられる。

【００２７】 Ｓ２（ｉ，ｊ）＝Ａ₂₁Ｉ１（ｉ，ｊ）＋Ａ₂₂Ｉ２（ｉ，ｊ） …（１３） Ｓ３（ｉ，ｊ）＝Ａ₃₂Ｉ２（ｉ，ｊ）＋Ａ₃₃Ｉ３（ｉ，ｊ） …（１４） Ｓ４（ｉ，ｊ）＝Ａ₄₃Ｉ３（ｉ，ｊ）＋Ａ₄₄Ｉ４（ｉ，ｊ） …（１５） ここで、Ｉ２（ｉ，ｊ）、Ｉ３（ｉ，ｊ）はそれぞれ被
サンプリング領域Ｓ２（ｉ，ｊ）、Ｓ３（ｉ，ｊ）の輝
度値である。シフトに要する時間と停止時間を全フレー
ムで同一とすると、各係数は、 Ａ₁₄＝Ａ₂₁＝Ａ₃₂＝Ａ₄₃ …（１６） Ａ₁₁＝Ａ₂₂＝Ａ₃₃＝Ａ₄₄ …（１７） となる。そこで、（１６）式の係数をα、（１７）式の
係数をβと置き換えると、各被サンプリング領域の輝度
値は、 Ｉ１（ｉ，ｊ）＝Ｈ｛α³Ｓ１（ｉ，ｊ）−β³Ｓ２（ｉ，ｊ）＋αβ²Ｓ３（ ｉ，ｊ）−α²βＳ４（ｉ，ｊ）｝ …（１８） Ｉ２（ｉ，ｊ）＝Ｈ｛−α²βＳ１（ｉ，ｊ）＋α³Ｓ２（ｉ，ｊ）−β³Ｓ３ （ｉ，ｊ）＋αβ²Ｓ４（ｉ，ｊ）｝ …（１９） Ｉ３（ｉ，ｊ）＝Ｈ｛αβ²Ｓ１（ｉ，ｊ）−α²βＳ２（ｉ，ｊ）＋α³Ｓ３ （ｉ，ｊ）−β³Ｓ４（ｉ，ｊ）｝ …（２０） Ｉ４（ｉ，ｊ）＝Ｈ｛−β³Ｓ１（ｉ，ｊ）＋αβ²Ｓ２（ｉ，ｊ）−α²βＳ ３（ｉ，ｊ）＋α³Ｓ４（ｉ，ｊ）｝ …（２１） で与えられる。ただし、Ｈ＝α⁴−β⁴である。

【００２８】本実施例では上記（１８）〜（２１）式に
したがって出力画像の画素の信号値を算出し、各被サン
プリング領域の輝度値を出力画素の各画素に正確に対応
させて、ＣＣＤのシフトによる解像度低下を防ぐ。

【００２９】［実施例２］本発明の第二の実施例を図３
および図４にて説明する。図３において、Ａ（ｉ，ｊ）
は撮像素子の奇数ラインの（ｉ，ｊ）番地における画素
開口部、×で示すＰＯ（ｉ，ｊ）はその画素開口部Ａ
（ｉ，ｊ）の中心、Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，ｊ）、
Ｂ３（ｉ，ｊ）、Ｂ４（ｉ，ｊ）は開口部Ａ（ｉ，ｊ）
がサンプリングする被サンプリング領域、●で示すＸ１
（ｉ，ｊ）、Ｘ２（ｉ，ｊ）、Ｘ３（ｉ，ｊ）、Ｘ４
（ｉ，ｊ）はそれらの被サンプリング領域の中心位置を
示す。また、ＡＯ（ｉ，ｊ＋１）は撮像素子の偶数ライ
ンの（ｉ，ｊ＋１）番地における画素開口部、×で示す
ＰＯ（ｉ，ｊ＋１）はその画素開口部Ａ（ｉ，ｊ＋１）
の中心、Ｂ１（ｉ，ｊ＋１）、Ｂ２（ｉ，ｊ＋１）、Ｂ
３（ｉ，ｊ＋１）、Ｂ４（ｉ，ｊ＋１）は開口部Ａ
（ｉ，ｊ＋１）がサンプリングする被サンプリング領
域、●で示すＸ１（ｉ，ｊ＋１）、Ｘ２（ｉ，ｊ＋
１）、Ｘ３（ｉ，ｊ＋１）、Ｘ４（ｉ，ｊ＋１）はそれ
らの被サンプリング領域の中心位置を示す。また、図４
は、本実施例における画素開口部のサンプリング期間、
撮像素子がシフトする期間（開口部がシフトする期間）
および開口部の位置のタイミングチャートを示す。

【００３０】本実施例でも撮像素子としてＣＣＤを用
い、これを右、下、左、上の順で繰り返しシフトさせ
る。本実施例ではＣＣＤをフレーム蓄積モードのインタ
レース方式で駆動する。この場合のＣＣＤの奇数ライン
および偶数ラインの画素開口部のサンプリング期間を図
４に示す。フレーム蓄積モードではサンプリング期間が
１フレーム期間となるため、図４に示すように奇数ライ
ンの画素ではそのフレーム期間中サンプリングが実行さ
れる。したがって、上記実施例１と同様にｎ−１番目の
フレーム終了時に開口部の中心ＰＯ（ｉ，ｊ）がＸ４
（ｉ，ｊ）にあり、つぎのｎ番目のフレームでＸ１
（ｉ，ｊ）にシフトするとすれば、奇数ラインの画素の
開口部がサンプリングする領域の輝度値は（２２）〜
（２５）式に示すように上記実施例１と同様にして求め
ることができる。

【００３１】 Ｉ１（ｉ，ｊ）＝Ｈ｛α³Ｓ１（ｉ，ｊ）−β³Ｓ２（ｉ，ｊ）＋αβ²Ｓ３（ ｉ，ｊ）−α²βＳ４（ｉ，ｊ）｝ …（２２） Ｉ２（ｉ，ｊ）＝Ｈ｛−α²βＳ１（ｉ，ｊ）＋α³Ｓ２（ｉ，ｊ）−β³Ｓ３ （ｉ，ｊ）＋αβ²Ｓ４（ｉ，ｊ）｝ …（２３） Ｉ３（ｉ，ｊ）＝Ｈ｛αβ²Ｓ１（ｉ，ｊ）−α²βＳ２（ｉ，ｊ）＋α³Ｓ３ （ｉ，ｊ）−β³Ｓ４（ｉ，ｊ）｝ …（２４） Ｉ４（ｉ，ｊ）＝Ｈ｛−β³Ｓ１（ｉ，ｊ）＋αβ²Ｓ２（ｉ，ｊ）−α²βＳ ３（ｉ，ｊ）＋α³Ｓ４（ｉ，ｊ）｝ …（２５） ただし、Ｈ＝α⁴−β⁴である。

【００３２】一方、偶数ラインの画素ではそのフレーム
の偶数フィールドから次のフレームの奇数フィールドに
わたってサンプリングが実行される。このため、偶数ラ
インの画素の開口部がサンプリングする領域の輝度値の
求め方は上記奇数ラインの場合とは異なり次に述べる方
法により求める。

【００３３】偶数ラインの画素開口部の中心ＰＯ（ｉ，
ｊ＋１）はｎ−１番目のフレーム終了時にＸ４（ｉ，ｊ
＋１）にあり、つぎのｎ番目のフレームでＸ１（ｉ，ｊ
＋１）にシフトする。偶数ラインではサンプリングが偶
数フィールドから開始される。すなわち、フレーム開始
後１６．７ｍｓｅｃ後に開始されるため開口部Ａ（ｉ，
ｊ＋１）の中心がＸ１（ｉ，ｊ＋１）に停止している状
態からサンプリングが開始される。そして、サンプリン
グは次のフレームの奇数フィールドまで行われるため、
サンプリング開始後１６．７ｍｓｅｃから数ｍｓｅｃの
間にシフトが始まり、シフト終了後Ｘ２（ｉ，ｊ＋１）
に停止する。このとき、開口部Ａ（ｉ，ｊ＋１）がサン
プリングする値Ｓ１（ｉ，ｊ＋１）は次式で与えられ
る。

【００３４】 Ｓ１（ｉ，ｊ＋１）＝Ａｅ₁₁Ｉ１（ｉ，ｊ＋１）＋Ａｅ₁₂Ｉ２（ｉ，ｊ＋１） …（２６） 同様にして、ｎ＋１〜ｎ＋３番目のフレームで開口部Ａ
（ｉ，ｊ＋１）がサンプリングする値Ｓ２（ｉ，ｊ＋
１）、Ｓ３（ｉ，ｊ＋１）、Ｓ４（ｉ，ｊ＋１）は、
（２７）〜（２９）式で与えられる。

【００３５】 Ｓ２（ｉ，ｊ＋１）＝Ａｅ₂₂Ｉ２（ｉ，ｊ＋１）＋Ａｅ₂₃Ｉ３（ｉ，ｊ＋１） …（２７） Ｓ３（ｉ，ｊ＋１）＝Ａｅ₃₃Ｉ３（ｉ，ｊ＋１）＋Ａｅ₃₄Ｉ４（ｉ，ｊ＋１） …（２８） Ｓ４（ｉ，ｊ＋１）＝Ａｅ₄₁Ｉ１（ｉ，ｊ＋１）＋Ａｅ₄₄Ｉ４（ｉ，ｊ＋１） …（２９） ここで、シフトに要する時間と停止時間を全フレームで
同一であるから、各係数の関係は、 Ａｅ₁₂＝Ａｅ₂₃＝Ａｅ₃₄＝Ａｅ₄₁ …（３０） Ａｅ₁₁＝Ａｅ₂₂＝Ａｅ₃₃＝Ａｅ₄₄ …（３１） となる。そこで、（３０）式の係数をα′、（３１）式
の係数をβ′と置き換えると、各被サンプリング領域の
輝度値は、 Ｉ１（ｉ，ｊ＋１）＝Ｈ′｛α′³Ｓ１（ｉ，ｊ＋１）−α′²β′Ｓ２（ｉ， ｊ＋１）＋α′β′²Ｓ３（ｉ，ｊ＋１）−β′³Ｓ４（ｉ，ｊ＋１）｝ …（ ３２） Ｉ２（ｉ，ｊ＋１）＝Ｈ′｛−β′³Ｓ１（ｉ，ｊ＋１）＋α′³Ｓ２（ｉ，ｊ ＋１）−α′²β′Ｓ３（ｉ，ｊ＋１）＋α′β′²Ｓ４（ｉ，ｊ＋１）｝ … （３３） Ｉ３（ｉ，ｊ＋１）＝Ｈ′｛α′β′²Ｓ１（ｉ，ｊ＋１）−β′³Ｓ２（ｉ， ｊ＋１）＋α′³Ｓ３（ｉ，ｊ＋１）−α′²β′Ｓ４（ｉ，ｊ＋１）｝ …（ ３４） Ｉ４（ｉ，ｊ＋１）＝Ｈ′｛−α′²β′Ｓ１（ｉ，ｊ＋１）＋α′β′²Ｓ２ （ｉ，ｊ＋１）−β′³Ｓ３（ｉ，ｊ＋１）＋α′³Ｓ４（ｉ，ｊ＋１）｝ … （３５） で与えられる。ただし、Ｈ′＝α′⁴−β′⁴である。す
なわち、本実施例ではＣＣＤの奇数ラインの画素開口部
がサンプリングした値は上記（２２）〜（２５）式にし
たがって変換し、また偶数ラインの画素開口部がサンプ
リングした値は（３２）〜（３５）式にしたがって変換
して出力画像の画素の信号値とする。

【００３６】［実施例３］本発明の第三の実施例を図５
にて説明する。図５は、本実施例における画素開口部の
サンプリング期間、撮像素子がシフトする期間（開口部
がシフトする期間）および開口部の位置のタイミングチ
ャートを示す。

【００３７】本実施例でも撮像素子としてＣＣＤを用
い、これを右、下、左、上の順で繰り返しシフトさせ
る。さらに、本実施例でもＣＣＤをフレーム蓄積モード
のインタレース方式で駆動する。ただし、本実施例では
商用電源による照明のフリッカを防止するため、ＣＣＤ
に１／１００秒のシャッタ機能を備える。すなわち、サ
ンプリング期間を１０ｍｓｅｃとする。この場合のＣＣ
Ｄの奇数ラインおよび偶数ラインの画素開口部のサンプ
リング期間を図５に示す。本実施例ではＣＣＤのシフト
に要する時間１０ｍｓｅｃとする。図５に示すようにシ
ャッタ機能を備えた場合、奇数ラインの画素開口部はサ
ンプリング期間中にシフトしない。したがって、奇数ラ
インの画素開口部がサンプリングした値は従来の方法と
同様にそのまま出力画像の画素の信号値とする。一方、
偶数ラインの画素開口部はサンプリング期間中にシフト
する。この場合、各被サンプリング領域の輝度値は上記
実施例２の（３２）〜（３５）式と同様の変換により求
めることができる。

【００３８】［実施例４］図６に本発明の第四の実施例
の概略構成を示す。図６において、１はＡ／Ｄ変換器、
２は信号分配器、２ｏおよび２ｅは信号分配器２の出力
端、３１ｏ〜３３ｏおよび３１ｅ〜３３ｅはフィ−ルド
メモリ、４ｏおよび４ｅは加算器、４１ｏ〜４４ｏおよ
び４１ｅ〜４４ｅはそれぞれ加算器４ｏおよび４ｅの入
力端、５は信号選択器である。

【００３９】本実施例では、上記実施例２で述べた輝度
算出法を実行する回路構成の例を示す。Ａ／Ｄ変換器１
でディジタル化された信号を信号分配器２でフィ−ルド
毎に切り替え、奇数フィールドの画信号は出力端２ｏか
ら出力し、偶数フィールドの画信号は出力端２ｅから出
力する。出力端２ｏからの画信号は、加算器４ｏの入力
端４１ｏに入力するとともに、フィ−ルドメモリ３１ｏ
に書き込む。フィ−ルドメモリ３１ｏに書き込まれた画
信号は２フィールドごとに、すなわちフレーム毎に順次
フィ−ルドメモリ３２ｏ、３３ｏへと転送される。した
がって、フィ−ルドメモリ３１ｏ、３２ｏ、３３ｏから
はそれぞれ１フレーム前、２フレーム前、３フレーム前
の画信号が出力され、これらがそれぞれ加算器４ｏの入
力端４２ｏ、４３ｏおよび４４ｏに入力される。

【００４０】前述の実施例２では現フレームのフレーム
番号にかかわらず、現フレームでサンプリングされた画
信号にはα³、１フレーム前の画信号には−β³、２フレ
ーム前の画信号にはαβ²、３フレーム前の画信号には
−α²βなる係数を乗じており、そこで本実施例では入
力端４１ｏ、４２ｏ、４３ｏおよび４４ｏに入力される
画信号に上記係数をそれぞれ乗じる。これら係数を乗じ
られた４つの信号は加算され加算器４ｏから出力され
る。

【００４１】同様にして、出力端２ｅからの偶数フィー
ルドの画信号は、加算器４ｅの入力端４１ｅに入力する
とともに、フィ−ルドメモリ３１ｅに書き込む。フィ−
ルドメモリ３１ｅに書き込まれた画信号は、フレーム毎
に順次フィ−ルドメモリ３２ｅ、３３ｅへと転送する。
そして、フィ−ルドメモリ３１ｅ、３２ｅ、３３ｅの出
力を加算器４ｏの入力端４２ｏ、４３ｏおよび４４ｏに
入力する。そして、加算器４ｅで入力端４１ｏ、４２
ｏ、４３ｏおよび４４ｏに入力される画信号に、
α′³、−α′²β′、α′β′²、−β′³なる係数をそ
れぞれ乗じて加算する。

【００４２】信号選択器５では上記加算器４ｏおよび４
ｅの出力信号を入力し、フィ−ルドごとにこれらを切り
替えて出力する。

【００４３】［実施例５］図７に本発明の第五の実施例
の概略構成を示す。図７において、２１は信号分配器、
３１ｏ〜３４ｏおよび３１ｅ〜３４ｅはフィ−ルドメモ
リ、６１ｏ〜６４ｏおよび６１ｅ〜６４ｅは信号選択
器、７１ｏ〜７４ｏおよび７１ｅ〜７４ｅは係数乗算
器、８ｏおよび８ｅは加算器、５は信号選択器である。

【００４４】本実施例でも、前述の実施例２で述べた輝
度算出法を実行する回路構成の例を示す。本実施例で
は、信号分配器２１で撮像素子からの信号をフィ−ルド
毎に切り替え、フィ−ルドメモリ３１ｏから３４ｅに分
配しながら書き込む。フィールドメモリ３１ｏ、３２
ｏ、３３ｏ、３４ｏに書き込まれた画信号は各々信号選
択器６１ｏ、６２ｏ、６３ｏ、６４ｏに入力される。各
信号選択器では入力される４つの信号から１つの信号を
選択する。いま、あるフレーム（第ｎフレームとする）
で信号選択器６１ｏがフィ−ルドメモリ３１ｏからの信
号を選択するとすると、そのフレームでは信号選択器６
２ｏ、６３ｏ、６４ｏはそれぞれフィ−ルドメモリ３２
ｏ、３３ｏ、３４ｏからの信号を選択する。これら各信
号選択器で選択された信号はそれぞれ係数乗算器７１
ｏ、７２ｏ、７３ｏ、７４ｏで係数を乗じられた後、加
算器８ｏで加算される。係数乗算器７１ｏ、７２ｏ、７
３ｏ，７４ｏで乗じられる係数は上記（２２）〜（２
５）式にしたがい、それぞれα³、−β³、αβ²、−α²
βとなる。

【００４５】次に第ｎ＋１フレームでは信号選択器６１
ｏ、６２ｏ、６３ｏ、６４ｏでそれぞれフィ−ルドメモ
リ３２ｏ、３３ｏ、３４ｏ、３１ｏからの信号が選択さ
れ、係数乗算器７１ｏ、７２ｏ、７３ｏ、７４ｏで上記
係数を乗じられた後、加算器８ｏで加算される。同様に
第ｎ＋２フレームではそれぞれ信号選択器６１ｏ、６２
ｏ、６３ｏ、６４ｏで３３ｏ、３４ｏ、３１ｏ、３２ｏ
からの信号が選択され、また第ｎ＋３フレームでは３４
ｏ、３１ｏ、３２ｏ、３３ｏの信号が選択され、上記係
数を乗じられた後、加算器８ｏで加算される。第ｎ＋４
フレーム以降では上記第ｎフレームからｎ＋３フレーム
の選択が繰り返される。

【００４６】一方、フィ−ルドメモリ３１ｅ、３２ｅ、
３３ｅ、３４ｅに書き込まれた画信号は各々信号選択器
６１ｅ、６２ｅ、６３ｅ、６４ｅに入力され、同様に各
信号選択器では入力される４つの信号から１つの信号を
選択する。さらに、各信号選択器で選択された信号はそ
れぞれ係数乗算器７１ｅ、７２ｅ、７３ｅ、７４ｅで所
定の係数を乗じられた後、加算器８ｅで加算される。

【００４７】信号選択器５では上記加算器８ｏおよび８
ｅの出力信号を入力し、フィ−ルドごとにこれらを切り
替えて出力する。

【００４８】［実施例６］図８に本発明の第六の実施例
の概略構成を示す。図８において、２１は信号分配器、
３１ｏ〜３４ｏおよび３１ｅ〜３４ｅはフィ−ルドメモ
リ、６１ｏ〜６４ｏは信号選択器、７１ｏ〜７４ｏは係
数乗算器、８ｏは加算器、５は信号選択器、９はフィ−
ルドメモリ３１ｅ〜３４ｅの読み出し制御信号発生器で
ある。

【００４９】本実施例では、上記実施例３で述べた輝度
算出法を実行する回路構成の例を示す。本実施例でも信
号分配器２１で撮像素子からの信号をフィ−ルド毎に切
り替え、フィ−ルドメモリ３１ｏから３４ｅに分配しな
がら書き込む。そして、フィ−ルドメモリ３１ｏ、３２
ｏ、３３ｏ、３４ｏに書き込まれた画信号は上記実施例
５と同様にして、各信号選択器６１ｏ〜６４ｏに入力さ
れ、各信号選択器でそのうちの１つの信号が選択され
て、係数乗算器７１ｏ〜７４ｏで係数を乗じられた後、
加算器８ｏで加算される。各信号選択器での信号選択法
も上記実施例５と同様とする。

【００５０】一方、フィ−ルドメモリ３１ｅ、３２ｅ、
３３ｅ、３４ｅに書き込まれた画信号は、読み出し制御
信号発生器９からの制御信号にしたがって４フレームお
きに読み出される。例えば、第ｎフレームの偶数フィ−
ルドで３１ｅの画信号を読み出すとすると、第ｎ＋１、
ｎ＋２、ｎ＋３フレームの偶数フィ−ルドではそれぞれ
３２ｅ、３３ｅ、３４ｅの画信号を読み出し、第ｎ＋４
フレーム以降は上記順番で読み出しを繰り返す。すなわ
ち、本実施例では読み出し制御信号発生器９からの制御
信号により、４つのフィ−ルドメモリ３１ｅ、３２ｅ、
３３ｅ、３４ｅをフレームごとに順番に１つづつ選択
し、蓄積された画信号を読み出す。

【００５１】信号選択器５では上記加算器８ｏの出力信
号とフィ−ルドメモリ３１ｅ〜３４ｅからの選択された
１つの信号を入力し、フィ−ルドごとにこれらを切り替
えて出力する。

【００５２】本実施例では上記実施例３の算出法を実行
する回路を示すものであり、したがってシャッタ機能に
よるフリッカ防止が可能になる。さらに、シャッタ機構
の影響を受けない偶数フィ−ルドでは回路が簡略化でき
る。

【００５３】以上において述べた本発明の６つの実施例
は、全て各被サンプリング領域の輝度値を、該被サンプ
リング領域におけるサンプリング値と該被サンプリング
領域をサンプリングする開口部がサンプリングする他の
被サンプリング領域におけるサンプリング値の線形結合
として決定することにしたが、サンプリング値が被サン
プリング領域における照度に比例しない場合、あるいは
光電変換後にγ補正等で比例関係が失われている場合
は、サンプリング値のべき乗を用いるなど、サンプリン
グ値の適当な関数として出力する。

【００５４】

【発明の効果】以上説明したように本発明では、出力画
像の各画素と各被サンプリング領域を１対１で対応し
て、被サンプリング領域の輝度値を出力できるため、サ
ンプリング数に応じた高精細な画像を入力できる。ま
た、本発明によれば、撮像素子または光学像のシフト期
間とサンプリング期間を分離する必要がないため、撮像
時間の長時間化を防ぐことができ、さらに動画撮像への
応用も可能にする。さらに、サンプリング期間をフレー
ム期間いっぱいにとれるため、高感度な撮像も可能であ
り、さらにフレーム期間内で自由に設定できるため蛍光
灯による照明下ではフリッカの防止も可能である。

【図面の簡単な説明】

【図１】本発明の原理および第一の実施例の説明図

【図２】本発明の第一の実施例を説明するタイミングチ
ャート

【図３】本発明の第二の実施例の説明図

【図４】本発明の第二の実施例を説明するタイミングチ
ャート

【図５】本発明の第三の実施例を説明するタイミングチ
ャート

【図６】本発明の第四の実施例を示す概略構成図

【図７】本発明の第五の実施例を示す概略構成図

【図８】本発明の第六の実施例を示す概略構成図

【図９】イメージシフト法による高精細化の原理図

【図１０】（ａ），（ｂ），（ｃ）はイメージシフト法
における画素開口部の配置とシフト動作を説明する図

【図１１】（ａ），（ｂ）は従来のイメージシフト法に
よる撮像方法を示す説明図

【符号の説明】

１…Ａ／Ｄ変換器 ２、２１…信号分配器 ２ｏ、２ｅ…信号分配器の出力端 ３１ｏ〜３４ｏ、３１ｅ〜３４ｅ…フィールドメモリ ４ｏ、４ｅ…加算器 ４１ｏ〜４４ｏ、４１ｅ〜４４ｅ…加算器の入力端 ５…信号選択器 ６１ｏ〜６４ｏ、６１ｅ〜６４ｅ…信号選択器 ４１ｏ〜７４ｏ、７１ｅ〜７４ｅ…係数乗算器 ８ｏ、８ｅ…加算器 ９…フィールドメモリの読み出し制御信号発生器 Ａ（ｉ，ｊ）…画素開口部 ＰＯ（ｉ，ｊ）…画素開口部Ａ（ｉ，ｊ）の中心 Ｓ１（ｉ，ｊ）、Ｓ２（ｉ，ｊ）、Ｓ３（ｉ，ｊ）、Ｓ
４（ｉ，ｊ）…画素開口部Ａ（ｉ，ｊ）がサンプリング
する被サンプリング領域 Ｘ１（ｉ，ｊ）、Ｘ２（ｉ，ｊ）、Ｘ３（ｉ，ｊ）、Ｘ
４（ｉ，ｊ）…画素開口部Ａ（ｉ，ｊ）がサンプリング
する被サンプリング領域の中心

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/225 H04N 5/232

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 撮像素子、または撮像素子上に結像した
   光学像をフィールド周期またはフレーム周期に同期させ
   ながら画素ピッチの整数分の１ずつシフトさせ、１つの
   画素開口部が異なるｎ個の被サンプリング領域をｎフィ
   ールドまたはｎフレームかけてサンプリングして撮像し
   たｎ枚のフィールド画像またはフレーム画像を合成する
   ことにより入力画像を高精細化する画像信号合成法にお
   いて、 各被サンプリング領域の輝度値を、該被サンプリング領
   域におけるサンプリング値と、該被サンプリング領域を
   サンプリングする画素開口部がサンプリングする他の被
   サンプリング領域におけるサンプリング値の関数として
   決定することを特徴とする画像信号合成法。
2. 【請求項２】 請求項１記載の画像信号合成法におい
   て、 各被サンプリング領域の輝度値を決定する関数が、各被
   サンプリング領域の輝度値を、該被サンプリング領域に
   おけるサンプリング値と、該被サンプリング領域のサン
   プリングする開口部がサンプリングする他の被サンプリ
   ング領域におけるサンプリング値の線形結合として決定
   するものであることを特徴とする画像信号合成法。