JPH10304235A

JPH10304235A - 撮像装置

Info

Publication number: JPH10304235A
Application number: JP9112958A
Authority: JP
Inventors: Akira Suzuki; 明鈴木; Saburo Sasaki; 三郎佐々木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-04-30
Filing date: 1997-04-30
Publication date: 1998-11-13

Abstract

(57)【要約】【課題】水平及び垂直方向の解像度を向上させた撮像
装置を提供すること。【解決手段】撮像装置は、被写体像を結像する撮影光
学系１と、結像された被写体像を受光素子で空間的にサ
ンプリングして画像情報を出力する撮像素子２と、被写
体像と撮像素子２との相対的位置関係を変位させる変位
手段３と、変位の前後における画像情報に基づいて、被
写体像の合成画像情報を作成する画像作成手段４と、か
ら構成されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置に関し、
詳細には、デジタルスチルカメラやビデオカメラ等で使
用される撮像装置に関する。

【０００２】

【従来の技術】現在、撮像装置としては、撮像管と、Ｃ
ＣＤエリアセンサ等の固体撮像素子が使用されている
が、固体撮像素子は、撮像管に比して、コンパクトであ
り焼付に伴う残像が少ない等の利点がある。

【０００３】この固体撮像素子は、撮像面を光電変換を
行う受光素子にて構成しており、解像度は、この受光素
子の形成密度（受光素子の配列ピッチ）により上限が決
定される。具体的には、固体撮像素子では、被写体像を
入力信号として受光素子のピッチで空間的にサンプリン
グした場合を考えると、標本化定理によりサンプリング
周期の１／２のナイキスト周波数までの解像度しか得ら
れない。

【０００４】解像度を高くするために受光素子を高密度
化すれば良いが、高密度かには製造上の困難を伴うと共
に、製造コストが高くなるという問題がある。

【０００５】そこで、同じ画素数で高解像度化する方法
として、画素ずらしといわれる手法が用いられている。

【０００６】例えば、特開昭５９−１３４７６号公報で
は、光学的に結像面を受光素子に対して水平方向に、半
ピッチ分だけ変位させ、変位前後の被写体像を合成し
て、水平方向のサンプリング周波数を２倍にして、水平
解像度を２倍にする撮像機構が開示されている。

【０００７】また、特開昭５８−１５７２６３号公報で
は、信号電荷を発生する感光部と、信号電荷読取り部で
ある垂直ＣＣＤを水平方向に交互に配列した固体撮像チ
ップ基板を、感光部に蓄積された信号電荷を垂直ＣＣＤ
に移動させる期間の前後にかけて、斜め方向に入射像に
対して移動させて、水平及び垂直方向の解像度を向上さ
せた撮像装置が開示されている。

【０００８】

【発明が解決しようとする課題】しかしながら、特開昭
５９−１３４７６号公報の如き方法では、光学的に結像
面を受光素子に対して水平方向に、半ピッチ分だけ変位
させる構成であるため、水平方向の解像度の向上は得ら
れるが、垂直方向の解像度を向上させることができない
という問題がある。

【０００９】また、特開昭５８−１５７２６３号公報で
は、受光素子を斜め方向に変位させるとしか述べておら
ず、これでは、水平及び垂直方向に倍の解像度の画像を
得ることができないという問題がある。

【００１０】本発明は、上記課題に鑑みてなされたもの
であり、水平及び垂直方向の解像度を向上させた撮像装
置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するため
に、請求項１記載の発明は、被写体像を結像する撮影光
学系と、結像された前記被写体像を２次元に配列された
受光素子で空間的にサンプリングして画像情報を出力す
る撮像素子と、前記被写体像と前記撮像素子との相対的
位置関係を前記受光素子の配列方向に対して斜め方向に
変位せしめる変位手段と、前記撮像素子から出力される
相対的位置関係が異なる画像情報に基づいて、前記被写
体像の合成画像情報を作成する画像作成手段と、を備え
た構成とした。

【００１２】上記構成によれば、画像作成手段は、相対
的位置関係の変位した画像情報により合成画像情報を作
成する構成であるので、単に変位画像を並べて表示する
のに比して、原信号を標本化定理に基づいて再現してい
るため、忠実に原信号を再現でき、水平及び垂直方向の
解像度を向上させることが可能となる。

【００１３】また、この場合、請求項２記載の発明の如
く、請求項１記載の発明において、前記画像作成手段
は、前記相対的位置関係が異なる画像情報から被写体像
の合成画像情報を作成するに際して、画像情報の欠落し
た部分を、斜め方向の画像情報により算出した補間情報
で補間して、当該合成画像情報を作成する構成としても
良い。

【００１４】上記構成によれば、画像情報の欠落した部
分を、斜め方向の画像情報により作成する事で、より水
平及び垂直の解像度を向上させることができる。

【００１５】また、この場合、請求項３記載の発明の如
く、請求項１前記画像作成手段は、操作者の指示に応じ
て、斜め補間、水平補間、及び垂直補間のいずれかを選
択することで、水平方向及び垂直方向のサンプリング周
期を選択する構成としても良い。

【００１６】上記構成によれば、画像作成手段は、操作
者の指示に応じて、垂直補間、水平補間、斜め補間から
補間方式の選択する構成であるので、水平、垂直のサン
プリング周期が選択でき、被写体像撮影後、即ち、情報
取得後に画像のサンプリング周期を変更できるので、使
用者が画像表示を見ながらサンプリングを選択できる。

【００１７】また、この場合、請求項４記載の発明の如
く、請求項１記載の発明において、前記画像作成手段
は、斜め補間、水平補間、及び垂直補間のうち２つ以上
の補間方式の結果により、補間方式を、斜め補間、水平
補間、及び垂直補間のいずれかに決定する構成としても
良い。

【００１８】上記構成によれば、２つ以上の補間方式を
用いた補間結果により補間方式を決定する構成であるの
で、各補間方式でカバー出来ない領域を補い合うことで
広い範囲の領域の被写体情報まで再現でき、これを画像
の該当部分に適用することで画像全体に亘って高画質画
像を得ることが可能となる。

【００１９】また、この場合、請求項５記載の発明の如
く、請求項１〜請求項４のいずれか一つに記載の発明に
おいて、前記撮像素子をカラー市松配列の撮像素子とし
ても良い。

【００２０】上記構成によれば、カラー市松配列のカラ
ー撮像素子でＧ画像のかけた部分について、補間情報を
作成することにより、高いサンプリング周波数のＧ情報
が作成でき、そのために、高解像度で疑色の低減した画
像を得ることができる。

【００２１】また、この場合、請求項６記載の発明の如
く、請求項１記載の発明において、前記撮像素子は、カ
ラー撮像素子であり、前記変位手段は、前記カラー撮像
素子を、前記被写体像に対して、水平方向に１画素、上
斜め方向に半画素、及び下斜め方向に半画素それぞれ変
位せしめ、前記作成手段は、前記カラー撮像素子から
出力される元の位置での画像情報、水平方向に１画素変
位させた画像情報、上斜め方向に半画素変位させた画像
情報、及び下斜め方向に半画素変位させた画像情報のこ
れら４つの画像情報に基づいて、合成画像情報を作成す
ること構成としても良い。

【００２２】上記構成によれば、カラー撮像素子を３方
向に変位させ、得られる４つの画像情報に基づいて合成
画像情報を作成する構成であるので、少ない画像情報で
高解像度な画像を撮像可能となる。

【００２３】また、この場合、請求項７記載の発明の如
く、請求項６記載の発明において、前記変位手段は、前
記撮像素子の上斜め方向と下斜め方向にそれぞれ配置さ
れた同一量変位する第１及び第２アクチュエータからな
り、前記第２アクチュエータは、前記撮像素子を前記上
斜め方向に変位せしめる一方、前記第１アクチュエータ
は、前記撮像素子を前記下斜め方向に変位せしめ、当該
第１アクチュエータ及び第２アクチュエータの合成出力
により前記撮像素子を水平方向に変位せしめる構成とし
ても良い。

【００２４】上記構成によれば、撮像素子の３方向の変
位を２つのアクチュエータで変位させ、２つのアクチュ
エータの変位量を同一にして撮像素子を変位させる構成
であるので、同じアクチュエータを使用した場合、同一
の電力で良く、積層圧電素子等を使用した場合、同一の
電圧を印加するだけで良い。

【００２５】また、この場合、請求項８記載の発明の如
く、上記請求項１記載の発明において、前記撮像素子の
水平方向と垂直方向との画素ピッチの比を、２：√３と
しても良い。

【００２６】上記構成によれば、撮像素子の元の画像情
報と変位させた画像情報とを合成した情報が、６角配列
になり、正方配列に比べてサンプリングピッチを長くで
きるので、より効率的にサンプリングできる。

【００２７】

【発明の実施の形態】以下に添付図面を参照して、本発
明の好適な実施の形態を詳細に説明する。

【００２８】図１は、本発明に係る撮像装置の概略構成
を示す図である。図１に示す撮像装置は、被写体像を結
像する撮影光学系１と、結像された被写体像を受光素子
で空間的にサンプリングして画像情報を出力する撮像素
子２と、被写体像と撮像素子２との相対的位置関係を変
位させる変位手段３と、変位の前後における画像情報に
基づいて、被写体像の合成画像情報を作成する画像作成
手段４と、から構成されている。

【００２９】撮影光学系１は、対物レンズ等からなり、
被写体像を撮像素子２の受光面に結像する。

【００３０】撮像素子２は、例えば、図２の如く構成さ
れ、２次元的に配列された受光素子２１と、受光素子２
１で光電変換され蓄積された電荷を読み出して１列ずつ
縦に水平ＣＣＤ２３に転送する垂直ＣＣＤ２２と、垂直
ＣＣＤ２２から送られてきた１列分の信号を１走査線ご
とに出力アンプ２に出力する水平ＣＣＤ２３と、入力さ
れる電荷を電圧に変換して画像情報として出力する出力
アンプ２等により構成されている。

【００３１】また、撮像素子２は、変位手段３により斜
め方向に移動せしめられ、第１フィールドでは、元の位
置（変位前の位置）の画像情報を、第２フィールドで
は、変位手段により変位された後の画像情報を、画像作
成手段４に出力する。

【００３２】変位手段３は、例えば、アクチュエータか
らなり、第２フィールドでは、撮像素子２を斜め方向に
移動せしめ、第２フィールドが終了すると再び撮像素子
２を元の位置に戻す。

【００３３】画像作成手段５は、複数の相対的位置関係
が変位した画像情報（変位の前後における画像情報）、
及び、画像情報の欠落した部分を補間した補間情報に基
づいて被写体像の合成画像情報を作成する。この補間方
式としては、以下に詳細に説明する斜め補間、水平補
間、垂直補間等がある。

【００３４】以下、上記構成の撮像装置の動作原理を説
明する。

【００３５】図３は、上記撮像素子１の受光素子（以
下、「画素」ともいう）のみを模式的に示した図であ
る。

【００３６】図３に示すように、受光素子が水平及び垂
直方向にそれぞれ画素ピッチＰで正方配列されている。
図４に示す撮像素子を、上記変位手段２により、図２に
示す如く、斜め方向（矢印方向）に変位させる。図４に
おいては、変位させる前の画素と、斜線で示す変位後の
画素が示されている。

【００３７】この場合、図５に示すように、水平方向の
サンプリングピッチはＰのままで、水平ラインが１／Ｐ
ずれたにすぎず、厳密には水平方向のサンプリングピッ
チは（１／２）Ｐとなっていない。即ち、元の画素と、
斜めに変位させた画素とにより水平方向のサンプリング
ピッチを倍とすることはできない。

【００３８】具体例を示すと、例えば、図６（ａ）の如
き、ピッチＰ間隔で水平方向に配列し、画素と同一幅の
縞模様の被写体を、図６（ｂ）の如き配列の画素でサン
プリングした場合、図６（ｃ）の如く、水平ラインに交
互に電荷が蓄積されることになり、水平の縞なのか垂直
の縞なのか区別することができない。すなわち、斜めに
変位した画像情報と元の画像情報とを使用しても、水平
及び垂直方向とも２倍のサンプリングピッチとならな
い。

【００３９】そこで、本発明では、画像作成手段４によ
り、画像情報の欠落した部分（歯抜けとなる部分）を補
間して、水平及び垂直方向のサンプリングピッチを向上
させる。

【００４０】以下、補間方式として、斜め補間、水平補
間、及び垂直補間を順に説明する。

【００４１】先ず、図７〜図１０に基づいて、斜め補間
を説明する。

【００４２】図７に示すように、上記図３の画素配列を
斜め方向に着目した場合、図８のようにピッチ間隔（１
／√２）Ｐで配列した撮像素子となる（ただし、受光素
子形は、通常と異なり菱る）。

【００４３】すなわち、図４に示したように、斜め方向
に変位した画像情報と元の画像情報との合成は、水平・
垂直方向のサンプリングピッチは（１／２）Ｐではな
く、（１／√２）Ｐを回転させたものとなる。従って、
水平及び垂直方向のサンプリング周波数は√２倍とな
る。

【００４４】しかしながら、図３のような画像情報を並
べただけではサンプリング周波数は、√２倍にはならな
い。画像情報の欠落した部分（歯抜けの部分）を表示す
るためには、その部分を補間する必要がある。通常ディ
スプレー等で表示するためには、水平方向に走査して表
示をおこなっているので、サンプリングピッチはＰのま
まである。そこで、図３の歯抜けの部分を予め補間した
情報を作り出す必要がある。即ち、図９に示す如く、歯
抜けの部分に補間情報Ｈを作成すれば良い。

【００４５】図９は、画像情報Ｆと補間情報Ｈとを示す
模式図である。図９において、水平及び垂直方向の画素
ピッチをＰc とする。図９に示す画素を、｛Ｆnm｝の正
方配列の情報、Ｆ１１，Ｆ２１，・・・，ＦＮ１、Ｆ１
２，Ｆ２２，・・・，ＦＮ２、・・・、Ｆ１Ｍ, Ｆ２
Ｍ, ・・・，ＦＮＭとし、対応する補間情報を、Ｈ１
１，Ｈ２１，・・・，ＨＮ１、Ｈ１２，Ｈ２２，・・
・，ＨＮ２、・・・、Ｈ１Ｍ, Ｈ２Ｍ, ・・・，ＨＮＭ
とする。

【００４６】ここで、原信号の周波数帯域が、新たなサ
ンプリングピッチＰc ＝（１／√２）Ｐで再現可能な周
波数π／Ｐc より低い場合、標本化定理より原信号の周
波数ｆ（x,y ）は、下式（１）の如く表すことができ
る。

【００４７】

【数１】

【００４８】また、補間情報Ｈは、下式（２）の如く表
すことができるので、上記式（１）及び下式（２）によ
り、補間情報Ｈ（i,j ）は、下式（３）の如く表すこと
ができる。

【００４９】

【数２】

【００５０】上記式（３）において、標本化関数の部分
は、０に斬近していくので問題とならない誤差で計算を
終了して良い。また、上記式（３）で、例えば、Ｎ＝
４，Ｍ＝４のマトリックスで計算した場合、下式（４）
に示す如く、４×４のマトリックス係数に画像情報を乗
算することにより補正情報Ｈjiを得ることができる。

【００５１】

【数３】

【００５２】上記式（４）の例では、マトリックス係数
が４×４であるので、求まる数値に誤差が生じ、このま
までは、求まる情報｛Ｈnm｝と｛Ｆnm｝の間に輝度差が
生じてしまうので、上記式（４）に示すように、誤差
（輝度差）を補正するために正規化するための係数Ｋ＝
（９／６４）π²を乗ずる必要がある。この係数Ｋは、
４×４の画像情報をすべて１とし、Ｈij＝１として計算
すれば良い。

【００５３】このようにすれば、欠落した部分を標本化
定理に基づいて計算できるので、算出した補間情報｛Ｈ
nm｝と画素情報｛Ｆnm｝とを合成した画像情報は、水平
・垂直ピッチを（１／√２）倍した撮像素子を４５°回
転したと同等の画像情報が得られ、被写体の周波数成分
の分布が、水平・垂直方向に対して偏りがないとした場
合、原理上、√２倍×√２倍の画素を有する撮像素子で
撮影した場合と等価になる。

【００５４】ここまでは、図６に示したように、斜め方
向に配列されている点に着目して、斜め方向に関して標
本化定理に基づいて補間する方式について述べてきた
が、次に、水平方向及び垂直方向に補間する方式を述べ
る。

【００５５】図１１は、水平方向に補間する方式（水平
補間）を説明するための図である。

【００５６】図１１（ａ）は、元の画像情報と斜めに変
位させて作成された画像情報とを合成した情報を示して
いる。ここで、図１１（ａ）の情報を２次元的にとらえ
るのではなく、水平方向にサンプリングピッチＰでサン
プリングしたライン情報が、（１／２）Ｐごとに垂直に
並んでいるとすると、図１１（ｂ）に示すように、水平
方向の画像情報のみで欠落した画像情報を補間した補間
情報を｛ＨH ｝とすると、水平合成情報Ｆ、ＨH 、Ｆ、
ＨH ・・・は、水平方向の原信号の周波数成分が、（１
／２）ｆH ＝（１／２）・（２（π／Ｐ））＝π／Ｐよ
り低い場合に再現できる。

【００５７】また、図１１（ｃ）のように、垂直方向に
着目すると、（１／２）Ｐ毎に、サンプリングされるの
で、図１０（ｃ）の水平合成情報Ｆ、ＨH 、Ｆ、ＨH 、
Ｆ、・・・の周波数ｆv ＝（１／２）・（２π／（１／
２）Ｐ）＝２π／Ｐは、水平方向に対して倍の周波数成
分を含んだ原信号まで再現できる。つまり、水平方向に
補間した場合には、図１０（ｄ）のように、水平方向は
（１／２）ｆH まで、垂直方向はｆv まで原信号の周波
数成分を再現可能である。

【００５８】より具体的には、水平、垂直ともサンプリ
ングピッチＰでサンプリングした場合、標本化定理によ
りサンプリング周波数ｆH ＝２π／Ｐ、ｆv ＝２π／Ｐ
の１／２の周波数（１／２）ｆH 、（１／２）ｆv ま
で、原信号の周波数成分は再現可能である。ここで、水
平Ｐ、垂直（１／２）Ｐでサンプリングしているので、
水平方向に対して垂直方向は２倍の周波数成分を含んで
良いことになる。

【００５９】また、この場合、水平方向の補間情報ＨH
は、標本化関数を用いて下式（４）の如く表すことがで
きる。

【００６０】

【数４】

【００６１】図１２は、垂直方向に補間する方式（垂直
補間）を説明するための図である。

【００６２】図１２（ａ）は、元の情報と斜めに変位さ
せて作成された情報とを合成した情報を示している。図
１１（ａ）の情報を２次元的にとらえるのではなく、垂
直方向のサンプリングピッチＰでサンプルしたライン情
報が、（１／２）Ｐごとに水平に並んでいるとすると、
図１２（ｂ）に示すように、垂直方向の情報のみで欠落
した情報を補間した補間情報を｛ＨV ｝とすると、垂直
合成情報Ｆ、ＨV 、Ｆ、ＨV ・・・は、垂直方向の原信
号の周波数成分が、（１／２）ｆV ＝（１／２）・（２
（π／Ｐ））＝π／Ｐより低い場合に再現できる。

【００６３】また、図１２（ｃ）のように、水平方向に
着目すると、（１／２）Ｐ毎に、サンプリングされるの
で、図１２（ｃ）のＦ、ＨH 、Ｆ、ＨH 、Ｆ、・・・の
周波数ｆH ＝（１／２）・（２π／（１／２）Ｐ）＝２
π／Ｐは、垂直方向に対して倍の周波数成分を含んだ原
信号まで再現できる。つまり、垂直方向に補間した場合
には、図１２（ｄ）のように、水平方向に対してはｆH
まで、垂直方向に対しては（１／２）・ｆv まで原信号
の周波数成分を再現可能である。

【００６４】また、この場合、垂直方向の補間情報ＨH
は、標本化関数を用いて下式（４）の如く表すことがで
きる。

【００６５】

【数５】

【００６６】図１３は、上記した斜め補間、水平補間、
及び垂直補間の３方式で補間した場合の再現可能な原信
号の周波数範囲を模式的に示したものである。

【００６７】水平補間では、水平方向が１／２ｆH で垂
直方向がｆv までの原信号の周波数範囲を、垂直補間で
は、水平方向ｆH で垂直方向が１／２ｆv までの原信号
の周波数範囲を、斜め補間では、０、ｆv 、ｆH の三角
形で囲まれる原信号の周波数範囲をそれぞれ再現可能で
ある。この３つの補間方式を切り換えることで、広範囲
の周波数成分まで原信号を再現できる

【００６８】ユーザーによりスイッチ等で補間方式を切
り換える例を図１４及び図１５を参照して説明する。図
１４は、周波数帯域を各ブロックＡ〜Ｄに分割した図を
示す。図１５は、周波数帯域を各ブロックＡ’〜Ｃ’に
分割した図を示す。

【００６９】例えば、図１４において、Ｂのような周波
数帯域を有する原信号に対しては、垂直補間に、Ｃのよ
うな周波数帯域を有する原信号に対しては、スイッチ等
により水平補間に切り換えて使用する。

【００７０】また、図１５において、Ａ’のような周波
数帯域を有する原信号に対しては、斜め補間に、Ｂ’の
ような周波数帯域を有する原信号に対しては、垂直補間
に、Ｃ’のような周波数帯域を有する原信号に対しては
水平補間に、それぞれ切り換える。また、Ａ’、Ｂ’の
境目の信号の場合には、斜め補間及び垂直補間でそれな
りに再現できるが、水平補間では再現できない。

【００７１】このように、原信号が水平及び垂直方向で
周波数成分の偏りがある場合、撮像後、ユーザが３方式
の補間を切り替えることで、簡単に、垂直及び水平方向
のサンプリング周波数を変更でき、原信号の周波数帯域
に応じて高解像で撮像可能となる。

【００７２】すなわち、サンプリング周波数で再現可能
な原信号の周波数成分が含まれており、疑似信号が発生
してモアレ縞が発生する場合、ユーザーが３方式の補間
をスイッチで切り替えて選択することでモアレ縞を低減
できる。

【００７３】上記では、ユーザーが３方式の補間を選択
する方法を述べたが、次に、自動的に補間方式を切り替
える方式を図１６〜図１８を参照して説明する。

【００７４】図１６は、水平補間及び垂直補間による信
号の折り返しを説明するための図である。図１６におい
て、Ｂ’の部分の周波数成分を含む画像を、垂直補間方
式で補間すると、正常にＢ’の部分の周波数が再現でき
る。他方、Ｂ’の周波数成分の画像を、水平補間、若し
くは斜め補間で補間した場合には、低周波成分へ折り返
り偽信号が発生する。つまり、図１６に示すように、垂
直補間では、Ｂ’のように正常にサンプリングできるの
に、水平補間とすると、Ｂ’’の様な信号と誤ってサン
プリングされる。

【００７５】これにより補間方式を切り換えて低周波成
分に折り返される場合、つまり合成情報を比べて低周波
数の結果は誤っているので、高周波成分を再現できる補
間方式を使用することで、図１６のＢ’を再現できる。
また、Ｂ’’の情報の場合は、補間方式を切り換えても
折り返し現象は発生しないので、複数の補間方式を切り
換えて高周波成分が再現できる補間方式を使用すること
で、図１４のＡ，Ｂ，Ｃの領域の周波数まで再現可能で
ある。

【００７６】図１７は、水平補間及び垂直補間による信
号の折り返しを説明するための図である。また、図１７
に示すように、斜め補間、水平補間、及び垂直補間の３
方式では網羅されていない領域Ｄの周波数成分について
は、Ｄを垂直補間で補間した場合にはＤB に折り返さ
れ、また、水平補間で補間した場合にはＤC に折り返さ
れる。従って、水平補間及び垂直補間がともに折り返さ
れる場合は、周波数成分はＤC の領域にあることが解
る。また、信号がＤB の場合には、垂直補間では変化せ
ず、水平補間ではＤA に折り返されるため、ＤとＤB を
判別できる。信号ＤC についても同様で、水平補間では
変化せず、垂直補間では、ＤA に折り返されるため、Ｄ
とＤC を判別できる。

【００７７】従って、Ｄの領域にあることは上記方法で
判別出来るので、Ｄの情報を再現するためには、Ｄを垂
直補間して得られるＤB の水平周波数成分と、Ｄを水平
補間して得られるＤC の垂直周波数成分とを合成すれ良
い。

【００７８】図１８は、水平補間、垂直補間、及び斜め
補間による信号の折り返しを説明するための図である。
また、図１８に示すように、Ｄを斜め補間で補間した場
合には、ＤA に折り返される。この情報ＤA は折り返し
によって発生した疑似信号であるとわかるので（信号が
ＤA の時は、水平、垂直補間しても折り返しが生じない
ため）、疑似信号を正常な信号に戻す方法でもＤの情報
を再現できる。

【００７９】次に、疑似信号を正常な信号に戻す方法に
ついて図１９を参照して説明する。

【００８０】図１９（ａ）に示すのように、１ＫＨＺの
信号をサンプリング周期（３／４）ＫＨＺでサンプリン
グした場合、１ＫＨZ ＞１／２（４／３ＫＨＺ）となる
ため、折り返される。具体的には、図１９（ｂ）のよう
に、１ＫＨZ の原信号は（１／３）ＫＨZ の疑似信号に
折り返される。これは、原信号をｆ、サンプリング周波
数をｆS とした場合、ｆS ＞ｆ＞ｆS ／２となる場合に
は、ｆ’（ナイキスト周波数）＝ｆS ーｆとなる。これ
により。サンプリングした情報が疑似信号と分かってい
れば、ｆ＝ｆ−ｆ’で再現できる。

【００８１】つまり、図１８（ａ）の場合、疑似信号
（１／３）ＫＨＺ、サンプリング周波数４／３ＫＨZ よ
り、ｆ＝１ＫＨＺを再現でき、図１８（ｃ）に示すサン
プリングした情報に対して、信号が１ＫＨＺになるよう
に、情報を付加すれば良い。また、サンプリングした情
報をフーリエ変換して、周波数スペクトルで表し、上式
のｆ＝ｆS −ｆ’で周波数スペクトルを再現し直して再
び、逆フーリエ変換を行っても良い。

【００８２】これにより、図１４のＡ、Ｂ、Ｃ、及びＤ
の領域で、周波数成分を再現することが可能となり、こ
の方式を画像情報の部分的な所にそれぞれ適宜適用する
ことにより、図２に示すようなサンプリングで水平方向
及び垂直方向とも２倍のサンプリング周波数になる。こ
れは、複数の補間を行い、その情報に基づいて、補間方
式を決定して初めて得られる効果であり、単に、斜めに
変位させただけでは、何等効果はない。

【００８３】本発明は、カラー撮像素子にも適用可能で
ある。図２０は、市松配列の撮像素子の受光素子を模式
的に示した図である。図２０（ａ）に示す市松配列した
受光素子から、緑（Ｇ）の画素のみ抜き出すと、図２０
（ｂ）に示すように、上記図４と同様の配列となる。

【００８４】ｍ×ｎの画素の撮像素子の場合に、このま
までは、１／２（ｍ×ｎ）の情報しかないが、Ｇの情報
が欠けている部分について、上記した方法と同様にし
て、補間情報を作成することにより、見かけ上、ｎ×ｍ
のＧの情報があるのと等価となる。輝度信号は、主にＧ
情報を用いて作成されるので解像度が向上し、擬色の発
生を押さえることができる。

【００８５】また、図２１（ａ）に示すような、原色
Ｒ、Ｇ、Ｂの画素が市松配列されたカラー撮像素子を、
図２１（ｂ）に示すように、上斜めに半画素、下斜めに
半画素、水平に１画素それぞれ変位させるて得られる４
つの情報を同時に示すと、図２２に示す如くとなり、図
４に対応するすべての画素の部分に緑（Ｇ）の情報が存
在することになる。

【００８６】図２２に示す画素中で、図２３に示すよう
に一部分について着目すると、Ｇ、Ｒが存在する所と、
Ｇ、Ｂが存在する所がある。つまり、Ｇ、Ｂが存在する
画素でＢ情報を、Ｇ、Ｂが存在する画素でＲ情報を作成
すれば良い。

【００８７】この作成方法については、簡単に説明する
と、図２３のように、近傍の画素の色は同色で（ｒ、
ｇ、ｂ）とすると、Ｇ1 ＝Ｋ1 ・ｇ、Ｒ1 ＝Ｋ1 ・ｒ、
Ｂ2 ＝Ｋ2 ・ｂ、Ｇ2 ＝Ｋ2 ・ｇとすると、求めるべき
Ｂ1 （近似値）はＢ1 ＝Ｋ1 ｂとなるので、Ｂ1 ＝Ｋ1
・（Ｂ2 ／Ｋ2 ）となり、Ｋ1 ／Ｋ2 ＝Ｇ1 ／Ｇ2 よ
り、Ｂ1 ＝Ｂ2 ・（Ｇ1 ／Ｇ2 ）となる。同様に、Ｒ2
（近似値）＝Ｋ2 ・ｒより、Ｒ２＝Ｒ1 ・（Ｇ2/Ｇ1 ）
で求まる。これは、人間の視覚が、高い周波数の色相の
変化を認識できないことを利用している。

【００８８】このようにすれば、図２３の全ての画素に
ついて、Ｒ、Ｇ、Ｂの情報を求めることができる。そこ
で、求まった図４のような配列のＲ、Ｇ、Ｂのカラー情
報に、上記補間方式を適用することで、画像の欠落した
部分につていも補間することができる。しかも、この色
情報作成方式を使用することで、疑色が発生しないとい
う効果がある。

【００８９】つまり、これと同等の情報を単純に得よう
とすると、水平方向・垂直方向に半画素ずつずらした４
つの情報に、それぞれＲ、Ｇ、Ｂを重ねる必要があるの
で、計４×３＝１２の情報を取得して始めて、水平及び
垂直方向とも解像度が倍で、疑色の無い画像情報を得ら
れるが、本方式では、上記した如く、４つの情報で済
む。

【００９０】次に、図２１（ｂ）に示したように、撮像
素子を、上斜めに半画素、下斜めに半画素、水平に１画
素それぞれ変位させるための変位手段３の構成を、図２
４に示す図である。

【００９１】図２４に示す変位手段３は、撮像素子２の
上斜め方向に配置され、矢印方向に撮像素子２を変位せ
しめる第１アクチュエータ３１と、撮像素子２の下斜め
方向に配置され、矢印方向に撮像素子２を変位せしめる
第２アクチュエータ３１とからなる。撮像素子を変位さ
せる場合、図２４のように、第２アクチュエータ３２
は、撮像素子２を上斜めに半画素だけ変位させ、第１ア
クチュエータ３１は、撮像素子２を半画素だけ下斜めに
変位させ、水平方向に撮像素子２を１画素変位させる場
合には、第１アクチュエータ３１と第２アクチュエータ
３２を双方動かす。これにより、上斜め、下斜め、水平
ともアクチュエータの変位量が同一で良く、具体的に
は、第２アクチュエータで撮像素子２を上斜めにＡ変位
させて、上斜め情報を取得し、次に、第１アクチュエー
タ３１で下斜めにＡ変位させ下斜め情報を取得し、さら
に、第１アクチュエータ３１及び第２アクチュエータ３
２の双方をＡ変位させることで水平に変位させることが
可能である。

【００９２】上記した例では、正方配列の画素を変位さ
せる場合について説明してきたが、、本発明は、予め図
４の如く並列されている撮像素子についても適用可能で
あることはいうまでもない。また、図２５に示すよう
な、垂直方向と水平方向との画素ピッチの比が２：√３
であるような撮像素子を、斜め方向に、各画素間の対角
線上の等間隔となる位置まで変位させると、図２６に示
すように、各画素ピッチが等間隔に配置され、６角配列
になる。ここで、六角配列の再生関数を用いて原信号を
再生することで、正方配列に比して１５％程度サンプリ
ングピッチを長くでき効率的である。

【００９３】以上説明したように、本実施の形態におい
ては、被写体像と撮像素子２との相対的位置関係を変位
手段３により変位させ、画像作成手段は、変位の前後に
おける画素の画像情報において欠落している画像情報を
補間して被写体像の合成画像情報を生成する構成である
ので、水平及び垂直方向のサンプリング周波数を向上す
ることができる。

【００９４】尚、図１に示す撮像装置では、変位手段３
が撮像素子２を変位させて、被写体像に対して相対的位
置関係が異なる複数の画像情報を生成する構成である
が、本発明はこれに限られるものではなく、被写体像が
撮像素子に対して変位するように撮影光学系を変位させ
る構成としても良い。

【００９５】また、図２７のように、変位手段３にハー
フミラー等を使用して、複数の被写体像を形成して、複
数の撮像素子で変位画像を取得する構成としても良い。

【００９６】また、撮像素子の画素を図２８に示すよう
な配列として、最初から変位画像を取得可能な構成とし
ても良い。この場合、変位手段３は不要となり撮像装置
は、図２９に示すような構成となる。

【００９７】また、上記した実施の形態では、図１にお
いて、第１フィールドで元の画像情報を第２フィールド
で変位した画像情報を出力する静的撮像について説明し
たが、第１フィールドと第２フィールドを繰り返して撮
像するデジタルビデオカメラにも適用可能である。

【００９８】

【発明の効果】請求項１記載の発明によれば、画像作成
手段は、相対的位置関係の変位した画像情報により合成
画像情報を作成する構成であるので、単に変位画像を並
べて表示するのに比して、原信号を標本化定理に基づい
て再現しているため、忠実に原信号を再現でき、水平及
び垂直方向の解像度を向上させることが可能となる。

【００９９】請求項２記載の発明によれば、画像情報の
欠落した部分を、斜め方向の画像情報により作成する事
で、より水平及び垂直の解像度を向上させることができ
る。

【０１００】請求項３記載の発明によれば、画像作成手
段は、操作者の指示に応じて、垂直補間、水平補間、斜
め補間から補間方式の選択する構成であるので、請求項
１記載の発明の効果に加えて、水平、垂直のサンプリン
グ周期が選択でき、被写体像撮影後、即ち、情報取得後
に画像のサンプリング周期を変更できるので、使用者が
画像表示を見ながらサンプリングを選択できるという効
果を奏する。

【０１０１】請求項４記載の発明によれば、２つ以上の
補間方式を用いた補間結果により補間方式を決定する構
成であるので、請求項１記載の発明の効果に加えて、各
補間方式でカバー出来ない領域を補い合うことで広い範
囲の領域の被写体情報まで再現でき、これを画像の該当
部分に適用することで画像全体に亘って高画質画像を得
ることが可能となる。

【０１０２】請求項５記載の発明によれば、カラー市松
配列のカラー撮像素子でＧ画像のかけた部分について、
補間情報を作成することにより、高いサンプリング周波
数のＧ情報が作成でき、そのために、高解像度で疑色の
低減した画像を得ることができる。

【０１０３】請求項６記載の発明によれば、カラー撮像
素子を３方向に変位させ、得られる４つの画像情報に基
づいて合成画像情報を作成する構成であるので、請求項
１記載の発明の効果に加えて、少ない画像情報で高解像
度な画像を撮像可能となる。

【０１０４】請求項７記載の発明によれば、撮像素子の
３方向の変位を２つのアクチュエータで変位させ、２つ
のアクチュエータの変位量を同一にして撮像素子を変位
させる構成であるので、請求項６記載の発明の効果に加
えて、同じアクチュエータを使用した場合、同一の電力
で良く、積層圧電素子等を使用した場合、同一の電圧を
印加するだけで良いという効果を奏する。

【０１０５】請求項８記載の発明によれば、請求項１記
載の発明の効果に加えて、撮像素子の元の画像情報と変
位させた画像情報とを合成した情報が、６角配列にな
り、正方配列に比べてサンプリングピッチを長くできる
ので、より効率的にサンプリングできる。

【図面の簡単な説明】

【図１】本発明に係る撮像装置の概略構成を示す図であ
る。

【図２】図１の撮像素子の構成を示す図である。

【図３】図１の撮像素子の受光素子のみを模式的に示し
た図である。

【図４】図３の撮像素子を斜め方向に変位させた後の受
光素子の配列を示す図である。

【図５】図４の画素の画素ピッチを示す図である。

【図６】図４の撮像素子で、縦縞パターンをサンプリン
グした場合を説明するための図である。

【図７】斜め補間を説明するための図である。

【図８】斜め補間を説明するための図である。

【図９】斜め補間を説明するための図である。

【図１０】斜め補間を説明するための図である。

【図１１】水平補間を説明するための図である。

【図１２】垂直補間を説明するための図である。

【図１３】斜め補間、水平補間、及び垂直補間の３方式
で補間した場合の再現可能な原信号の周波数範囲を模式
的に示した図である。

【図１４】周波数帯域を各ブロックＡ〜Ｄに分割した図
である。

【図１５】周波数帯域を各ブロックＡ’〜Ｃ’に分割し
た図である。

【図１６】水平補間及び垂直補間による信号の折り返し
を説明するための図である。

【図１７】水平補間及び垂直補間による信号の折り返し
を説明するための図である。

【図１８】水平補間、垂直補間、及び斜め補間による信
号の折り返しを説明するための図である。

【図１９】疑似信号を正常な信号に戻す方法を説明する
ための図である。

【図２０】市松配列の撮像素子の受光素子を模式的に示
した図である。

【図２１】市松配列の撮像素子の受光素子を模式的に示
した図である。

【図２２】図２１の撮像素子を３方向に変位させた後の
画素を模式的に示す図である。

【図２３】図２２の画素の一部を抜粋した図である。

【図２４】撮像素子を３方向に変位させる変位手段の概
略構成を示す図である。

【図２５】垂直方向と水平方向との画素ピッチの比が
２：√３となる撮像素子を示す図である。

【図２６】図２５に示す撮像素子をな斜め方向に変位さ
せた画素を模式的に示す図である。

【図２７】変位手段にハーフミラーを使用して場合の撮
像装置の構成を示す図である。

【図２８】撮像素子の画素の配列の一例を示す図であ
る。

【図２９】変位手段のない撮像装置の構成を示す図であ
る。

【符号の説明】

１撮影光学系２撮像素子３変位手段４画像作成手段２１受光素子２２垂直ＣＣＤ２３水平ＣＣＤ２４出力アンプ

Claims

【特許請求の範囲】

【請求項１】被写体像を結像する撮影光学系と、結像された前記被写体像を２次元に配列された受光素子
で空間的にサンプリングして画像情報を出力する撮像素
子と、前記被写体像と前記撮像素子との相対的位置関係を前記
受光素子の配列方向に対して斜め方向に変位せしめる変
位手段と、前記撮像素子から出力される相対的位置関係が異なる画
像情報に基づいて、前記被写体像の合成画像情報を作成
する画像作成手段と、を備えたことを特徴とする撮像装置。
【請求項２】前記画像作成手段は、前記相対的位置関
係が異なる画像情報から被写体像の合成画像情報を作成
するに際して、画像情報の欠落した部分を、斜め方向の
画像情報により算出した補間情報で補間して、当該合成
画像情報を作成することを特徴とする請求項１記載の撮
像装置。
【請求項３】前記画像作成手段は、使用者の指示に応
じて、斜め補間、水平補間、及び垂直補間のいずれかを
選択することで、水平方向及び垂直方向のサンプリング
周期を選択することを特徴とする請求項１記載の撮像装
置。
【請求項４】前記画像作成手段は、斜め補間、水平補
間、及び垂直補間のうち２つ以上の補間方式の結果によ
り、補間方式を、斜め補間、水平補間、及び垂直補間の
いずれかに決定することを特徴とする請求項１記載の撮
像装置。
【請求項５】前記撮像素子は、カラー市松配列の撮像素
子であることを特徴とする請求項１〜４のいずれか１つ
に記載の撮像装置。
【請求項６】前記撮像素子は、カラー撮像素子であり、
前記変位手段は、前記カラー撮像素子を、前記被写体像
に対して、水平方向に１画素、上斜め方向に半画素、及
び下斜め方向に半画素それぞれ変位せしめ、前記作成手段は、前記カラー撮像素子から出力される元
の位置での画像情報、水平方向に１画素変位させた画像
情報、上斜め方向に半画素変位させた画像情報、及び下
斜め方向に半画素変位させた画像情報のこれら４つの画
像情報に基づいて、合成画像情報を作成することを特徴
とする請求項１記載の撮像装置。
【請求項７】前記変位手段は、前記撮像素子の上斜め
方向と下斜め方向にそれぞれ配置された同一量変位する
第１及び第２アクチュエータからなり、前記第２アクチュエータは、前記撮像素子を前記上斜め
方向に変位せしめる一方、前記第１アクチュエータは、
前記撮像素子を前記下斜め方向に変位せしめ、当該第１
アクチュエータ及び第２アクチュエータの合成出力によ
り前記撮像素子を水平方向に変位せしめることを特徴と
する請求項６記載の撮像装置。
【請求項８】前記撮像素子の水平方向と垂直方向との
画素ピッチの比は、２：√３であることを特徴とする請
求項１記載の撮像装置。