JP3024492B2 - 撮像装置及び画像信号処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばＮＴＳＣ方式や
ＰＡＬ方式などの通常解像度のイメージセンサを利用し
て、ハイビジョン方式などの高解像度の画像信号を得る
場合に好適な撮像装置及び画像信号処理装置に関する。

【０００２】

【背景技術】現在のＮＴＳＣ方式のテレビジョンでは、
画面表示は４：３のアスペクト比となっている。ところ
が最近では、映画などに代表されるような横長の画面、
例えばハイビジョンのような１６：９のアスペクト比の
画面が迫力などの観点から所望されるに至っている。こ
のハイビジョンの規格は、次の表１に示すようになって
おり、画面の精細度は従来のＮＴＳＣ方式よりも３〜５
倍必要とされる。

【０００３】

【表１】

【０００４】この表１に示すように、例えば、水平走査
線数はＮＴＳＣ方式が５２５本，ＰＡＬ方式が６２５本
であるのに対し、ハイビジョンではそれらの約２倍の１
１２５本となっている。

【０００５】ところで、このようなハイビジョン用のイ
メージセンサである高画素密度ＣＣＤは今日の技術によ
っても非常に高価である。すなわち、高解像度であるこ
とから高速の信号処理速度が要求され、消費電力も多
く、また周辺の使用デバイスも技術的に極めて高度なも
のが多く要求され、これらが価格面にも大きく影響して
いる。従って、ハイビジョン用の撮像手段として広く実
用化されるまでには、なお相当の時間を要するものと考
えられる。

【０００６】そこで、現在広く利用されているイメージ
センサを利用して、ハイビジョン用の高解像度の画像信
号を得る手法が、特願平６−１４１１８１号として出願
されている。この出願の方式によれば、図１０に示すよ
うにＰＡＬ方式のイメージセンサが４板用いられる。撮
像光学系（図示せず）から入射した入射光に含まれるＢ
（青）の光は、Ｂプリズム１０のダイクロイック膜１０
Ａ及び入射面１０Ｂで順に反射され、Ｂトリミングフィ
ルタ１０Ｃを介してＢのイメージセンサＤＢに入射結像
する。

【０００７】次に、入射光に含まれるＲの光は、Ｂプリ
ズム１０のダイクロイック膜１０Ａを透過してＲプリズ
ム１２に入射し、ダイクロイック膜１２Ａ及び入射面１
２Ｂで全反射され、Ｒトリミングフィルタ１２Ｃを介し
てＲのイメージセンサＤＲに入射結像する。

【０００８】更に、入射光に含まれるＧの光は、Ｒプリ
ズム１２のダイクロイック膜１２Ａを透過してＧプリズ
ム１４を構成するＧ第１プリズム１６Ａに入射し、更に
ハーフミラー１６で２分割される。ハーフミラー１６で
反射されたＧの光は、Ｇトリミングフィルタ１４Ａを介
してＧのイメージセンサＤＧ１に入射結像する。他方、
ハーフミラー１６を透過したＧの光は、Ｇトリミングフ
ィルタ１４Ｂを介して他のイメージセンサＤＧ２に入射
結像する。

【０００９】以上のような色分解光学系は、Ｂ及びＲに
ついては一般的なものと同様となっているが、Ｇについ
ては２分割されて２つのイメージセンサにそれぞれ入射
するようになっており、全体で４板の構成となってい
る。なお、イメージセンサＤＧ１の結像はハーフミラー
１６による反射像であるため、他のイメージセンサＤ
Ｂ，ＤＲ，ＤＧ２の結像に対して左右が反転している。
このため、イメージセンサＤＧ１については、ＣＣＤか
らの左右反転読出し，あるいはラインメモリやフレーム
メモリによる左右反転読出しを行って、正規画像を得る
ようにする。

【００１０】各イメージセンサＤＢ，ＤＲ，ＤＧ１，Ｄ
Ｇ２としては、一般に提供されている安価な１／３イン
チのイメージサイズをもつＰＡＬ方式用のＣＣＤ素子で
あって、手ぶれ補正されたものが用いられており、図１
１に示すように７２６×８５８画素となっている。これ
に、ハイビジョンのアスペクト比である１６：９の規定
領域ＷＷが設定されており、この領域の信号が読み出さ
れる。

【００１１】ここで、イメージセンサＤＧ１，ＤＧ２に
ついては、図１２に示すように垂直方向について一画素
ずらして配置する。同図中、実線の矢印で示す水平ライ
ンの画素の信号を奇数フィールドで、点線の矢印で示す
水平ラインの画素の信号を偶数をフィールドで、それぞ
れ読み出す。しかし、これではイメージセンサＤＧ１，
ＤＧ２の持つ画素相当の解像力しか得られないため、図
１３に示すようにイメージセンサＤＲ，ＤＢをイメージ
センサＤＧ２に対して半画素ずらして配置する。

【００１２】すると、イメージセンサＤＧ１，ＤＧ２，
ＤＢ，ＤＲの各画素のハイビジョン画面上から見た配列
は、図１４に示すようになる。同図中、四角印はイメー
ジセンサＤＧ２から読み出されたＧの画素であり、丸印
はイメージセンサＤＧ１から読み出されたＧの画素であ
り、三角印はイメージセンサＤＢ，ＤＲから読み出され
たＢ及びＲの画素である。また、白印は各イメージセン
サにおける偶数フィールドの信号を表わしており、黒印
は各イメージセンサにおける奇数フィールドの信号を表
わしている。また、数字は、ハイビジョン画像として見
た走査線番号である。

【００１３】各イメージセンサＤＧ１，ＤＧ２，ＤＢ，
ＤＲからの電荷信号読出処理は、図１５に示す装置によ
って行われる。イメージセンサＤＧ１，ＤＧ２，ＤＢ，
ＤＲは読出制御部５０によって同時駆動され、偶数フィ
ールド，奇数フィールドの信号が交互に出力される。こ
れらの信号は、プリアンプ５２〜５７による増幅の後Ａ
／Ｄ変換器５８〜６３に供給され、デジタル信号に変換
されて信号処理回路６５に供給される。信号処理回路６
５は図１６に示す構成となっており、フィールドメモリ
８４，８５及びフレーム合成回路８６，８７を用いたフ
レーム合成，垂直高域フィルタ８８，８９や加算器９０
〜９６などによる高域付加信号Ｇ１^*，Ｇ２^*を求める処
理が行われる。

【００１４】すなわち、垂直高域フィルタ８８，８９及
び加算器９０，９１では、信号Ｂ，ｂ及び信号Ｒ，ｒに
基づいて数式（1），数式（2）のような演算が行われ、
高域周波数成分ＶＨ１，ＶＨ２が生成される。なお、水
平ｍ画素，垂直ｎラインとし、奇数フィールドの画素を
大文字Ｇ，Ｂ，Ｒで、偶数フィールドの画素を小文字
ｇ，ｂ，ｒで表わしている。

【００１５】

【数１】

【数２】

【００１６】次に、これらの垂直高域周波数成分ＶＨ
１，ＶＨ２に対し、一方では加算器９２による加算，乗
算器９３による１／２，加算器９４による信号Ｇ１との
加算が行われる。すなわち、数式（3）の演算が行わ
れ、垂直高周波成分が付加された信号Ｇ１^*が得られ
る。他方、加算器９６による加算によって数式（4）の
演算が行われ、垂直高周波成分が付加された信号Ｇ２^*
が得られる。

【００１７】

【数３】

【数４】

【００１８】これら高域付加信号とイメージセンサ出力
は、切換スイッチ９５，９７により、フィールド毎に交
互に選択され、信号Ｇ３，Ｇ４がイメージセンサＤＢ，
ＤＲの電荷信号とともに出力される。各信号はラインメ
モリ６４〜６９にそれぞれ１ライン分格納された後、ラ
インメモリ７０〜７７にそれぞれ高速で出力される。そ
して、格納された各信号は、ハイビジョン方式の周波
数，すなわちイメージセンサから読み出すときの２倍の
速度で出力される。

【００１９】次に、切換スイッチ７８では、ラインメモ
リ７０，７２に格納されたＧ３，Ｇ４の信号が、交互に
選択的に出力されて走査変換が行われる。また、切換ス
イッチ８０，８１では、ラインメモリ７４，７６に格納
された信号が、交互に選択的に出力されて信号の補間処
理が行われる。このようにして得られたハイビジョン用
の信号ＧＨ，ＢＨ，ＲＨに対してマトリクス処理が行わ
れ、最終的なハイビジョン信号Ｙ，ＰＢ，ＰＲが得られ
る。

【００２０】以上のように、背景技術によれば、Ｇ用の
イメージセンサを２板用意するとともに、これらに対し
て垂直方向に１画素ずらしてＢ，Ｒ用のイメージセンサ
を配置している。そして、これらＢ，Ｒのイメージセン
サ出力からＧ画像の垂直方向高域成分を抽出し、これを
Ｇ画像に加えて高解像度のハイビジョン用画像信号を得
ている。

【００２１】

【発明が解決しようとする課題】しかしながら、この背
景技術では、次のような不都合がある。 （1）図１６に示したように、Ｂ，Ｒの信号からＧの高
域成分を抽出する際にフィールドメモリを使用してい
る。このため、コストの点で好ましくないという問題が
ある。

【００２２】（2）高域成分の抽出に当って１フィール
ド前の信号を使用するため、速い動きのある画像の場合
には偽の垂直高域信号が発生してしまう。例えば、図１
７に示すように、前フィールドで同図（A）に示す位置
にある黒色縦線が現フィールドで同図（B）に示すよう
に移動したとする。このような場合に、前記数式
（1），（2）に基づいて高域周波数成分ＶＨ１，ＶＨ２
を求めると、ＶＨ１＝０．５，ＶＨ２＝−０．５とな
る。

【００２３】同図（B）の現フィールドのみに着目する
と、縦線であるから垂直方向の高域成分は「0」であ
る。しかし、同図（A）に示す前フィールドから高域成
分を得ているため、偽の垂直高域信号が発生することに
なる。この発明は、それらの点に着目したもので、通常
解像度のイメージセンサを利用する際に、不要な垂直高
域周波数成分の発生を低減して、高解像度の画像信号を
高感度で得ることができるコスト的にも有利な手法を提
供することを、その目的とするものである。

【００２４】

【課題を解決するための手段と作用】前記目的を達成す
るため、この発明は、色分解光学系で分解されたＲ，
Ｇ，Ｂの各画像を撮像するイメージセンサのうち、Ｂ用
イメージセンサ及びＲ用イメージセンサの少なくとも一
方の画素位置を、Ｇ用イメージセンサの画素位置に対し
て１／２画素相当相対的に垂直方向にずらした配置とす
るとともに、Ｂ，Ｒ用イメージセンサを相対的に１画素
相当垂直方向にずらした配置としたものである。

【００２５】このような配置のＢ用及びＲ用イメージセ
ンサから得られた画像信号から垂直方向の高域成分が抽
出され、Ｇ用イメージセンサから得られた画像信号の一
方のフィールドの画像信号に付加される。このため、同
一フィールドの画像から高域成分が抽出されるようにな
り、フィールドメモリを使用することなく、不要な垂直
高域周波数成分の発生を低減して、高解像度の画像信号
が得られる。この発明の前記及び他の目的，特徴，利点
は、次の詳細な説明及び添付図面から明瞭になろう。

【００２６】

【好ましい実施例の説明】この発明の撮像装置及び画像
信号処理装置には数多くの実施例が有り得るが、ここで
は適切な数の実施例を示し、詳細に説明する。

【００２７】＜本実施例のイメージセンサ配置＞最初
に、本実施例におけるイメージセンサの配置について説
明する。なお、色分解光学系は前記背景技術と同様であ
る。また、各イメージセンサ上におけるハイビジョン規
定領域ＷＷの設定も、前記背景技術と同様である。ハイ
ビジョン方式の垂直方向の解像度は、上述したようにＮ
ＴＳＣ方式やＰＡＬ方式に対して約２倍となっている。
ところが、イメージセンサ上のハイビジョン規定領域Ｗ
Ｗは、水平有効走査線数がハイビジョンの規格の１／２
である。

【００２８】そこで、最も簡単にハイビジョンに相当す
る水平有効走査線数を得るための手法としては、規定領
域ＷＷのイメージエリア内で画素走査補間処理を行って
ハイビジョンの水平有効走査線数１０３５本を得るもの
が考えられる。しかし、この走査補間の手法では、垂直
方向に隣接する走査線の画像情報が同一であり、垂直方
向の画像解像力は、ハイビジョンの１／２の５１８画素
相当でしかない。

【００２９】そこで、この実施例では、Ｇのイメージセ
ンサに対してＲやＢのイメージセンサを垂直方向にずら
すことで、解像度の向上を図っている。よく知られてい
るように、画像の垂直解像力を決定するＹ信号は、ハイ
ビジョン方式では、 Ｙ＝0.212Ｒ＋0.701Ｇ＋0.087Ｂ であり、Ｂ成分やＲ成分にも依存している。このため、
イメージセンサＤＢ，ＤＲを有効利用してＹ信号を生成
すれば、垂直解像度の向上を図ることができる。

【００３０】具体的には、図１（Ａ）に示すように、イ
メージセンサＤＧ２に対してイメージセンサＤＲを光軸
上で垂直方向に１／２画素ピッチずらして配置する。そ
して更に、イメージセンサＤＲに対してイメージセンサ
ＤＢを光軸上で垂直方向に１画素ピッチずらして配置す
る。なお、イメージセンサＤＧ２からみると、ＤＲ，Ｄ
Ｂを、それぞれ逆の垂直方向に１／２画素ピッチずらし
た配置となる。

【００３１】図２には、このような配置のイメージセン
サＤＧ２，ＤＢ，ＤＲの画素配列の一部（図１（Ａ）の
一部）が拡大して示されている。図中、ｎ＋ｍはイメー
ジセンサＤＧ２，ＤＢ，ＤＲの水平ラインの順序を示し
ており、ｎ＋１からｎ＋５１８の部分が上述したハイビ
ジョンの規定領域ＷＷとなっている。また、このような
配置で得られるＢ，Ｒの画像信号からＧの画像信号の垂
直方向の高域成分が、後述するように生成されるように
なっている。

【００３２】次に、イメージセンサＤＧ１とＤＧ２につ
いては、前記背景技術と同様であり、図１（B）に示す
ように、垂直方向に１画素ピッチずらして配置するとと
もに、水平方向に１／２画素ピッチずらして配置してい
る。

【００３３】以上のような配置のイメージセンサＤＧ
１，ＤＧ２，ＤＢ，ＤＲは、いずれも同時駆動される。
すなわち、イメージセンサＤＧ１から偶数フィールドの
信号読出しが行われているときは、イメージセンサＤＧ
２，ＤＢ，ＤＲからも偶数フィールドの信号読出しが行
われることになる。奇数フィールドについても同様であ
る。図２，図１２で示すと、ＤＧ１から実線で示すライ
ンが読み出されるときは、ＤＧ２，ＤＲ，ＤＢでも実線
で示すラインが読み出される。また、ＤＧ１から点線で
示すラインが読み出されるときは、ＤＧ２，ＤＲ，ＤＢ
でも点線で示すラインが読み出される。

【００３４】＜画素配列＞次に、このような配置のイメ
ージセンサＤＧ１，ＤＧ２，ＤＢ，ＤＲの各画素のハイ
ビジョン画面上から見た配列について説明する。図３に
おいて、四角印はイメージセンサＤＧ２から読み出され
たＧの画素であり、丸印はイメージセンサＤＧ１から読
み出されたＧの画素である。これらの画素配列は、前記
背景技術と同様である。他方、上向き三角印はイメージ
センサＤＲから読み出されたＲの画素であり、下向き三
角印はイメージセンサＤＢから読み出されたＢの画素で
ある。なお、白印は各イメージセンサにおける偶数フィ
ールドの画素を表わしており、黒印は各イメージセンサ
における奇数フィールドの画素を表わしている。数字
は、ハイビジョン画像として見たときの走査線番号であ
る。

【００３５】最初に、四角及び丸印の画素に着目する。
イメージセンサＤＧ１，ＤＧ２は、水平方向に１／２画
素ピッチずれた配置となっているので、四角，丸が水平
方向に交互の配列となっている。また、イメージセンサ
ＤＧ１，ＤＧ２は、垂直方向に１画素ピッチずれた配置
となっているので、水平方向の隣接画素のフィールドは
異なるようになる。つまり、イメージセンサＤＧ１，Ｄ
Ｇ２の画素は、水平方向に白，黒が交互の配列となる。

【００３６】また、垂直方向については、もちろん偶数
フィールド，奇数フィールドが交互であるから、同様に
白，黒が交互の配列となる。これらの画素は、ハイビジ
ョン画像の偶数フィールドである６０３から１１２０ラ
イン上に位置しているが、イメージセンサからの読出し
は、あくまで白印画素がそのセンサにおける奇数フィー
ルド，黒印画素がそのセンサにおける偶数フィールドで
行われる。

【００３７】次に、三角印の画素に着目する。イメージ
センサＤＧ２に対してイメージセンサＤＲは垂直方向に
１／２画素ピッチずれた配置となっているので、ＤＧ２
の画素によるラインの間にＤＲの画素によるラインが位
置するようになる。つまり、上三角の画素のラインは、
四角及び丸の画素のラインの間に位置するようになる。
他方、イメージセンサＤＢは、イメージセンサＤＲに対
して１画素ピッチずれた配置となっているので、両者の
フィールドは異なるようになる。つまり、上三角と下三
角の画素は、同一ラインに重なって位置するものの、白
と黒とが逆の関係となる。

【００３８】これらイメージセンサＤＲ，ＤＢの画素
は、ハイビジョン画像の奇数フィールドである４１から
５５７ライン上に位置しているが、イメージセンサから
の読出しは、あくまで白印画素がそのセンサにおける奇
数フィールド，黒印画素がそのセンサにおける偶数フィ
ールドで行われる。この下三角で示すＢの画素配列が、
前記背景技術と異なる点である。

【００３９】＜電荷信号の読出しと変換処理＞ （1）回路構成 次に、以上のようなイメージセンサＤＢ，ＤＲ，ＤＧ
１，ＤＧ２からの電荷信号読出しと、それらのハイビジ
ョン画像信号への変換処理について説明する。信号読出
処理回路の全体構成は前記背景技術と同様であり、図１
５に示す構成となっている。詳述すると、上述したイメ
ージセンサＤＧ１，ＤＧ２，ＤＢ，ＤＲには、それらを
同時駆動して信号読出しの制御を行う読出制御部５０が
設けられている。また、イメージセンサＤＧ１，ＤＧ
２，ＤＢ，ＤＲの電荷信号出力側は、プリアンプ（ＰＡ
で図示）５２，５４，５６，５７がそれぞれ接続されて
おり、それらの出力側にはＡ／Ｄ変換器５８，６０，６
２，６３をそれぞれ介して信号処理回路６５が接続され
ている。

【００４０】信号処理回路６５の信号出力側は、ライン
メモリ６４，６６，６８，６９にそれぞれ接続されてい
る。これらのうちのラインメモリ６４，６６の出力側は
ラインメモリ７０，７２にそれぞれ接続されている。ラ
インメモリ６８の出力側はラインメモリ７４，７６にそ
れぞれ接続されている。また、ラインメモリ６９の出力
側は、ラインメモリ７５，７７にそれぞれ接続されてい
る。

【００４１】ラインメモリ７０，７２の出力側は、走査
ライン選択用の切換スイッチ７８の切換入力側にそれぞ
れ接続されている。ラインメモリ７４，７６の出力側
は、データ補間処理用の切換スイッチ８０の切換入力側
にそれぞれ接続されている。ラインメモリ７５，７７の
出力側は、データ補間処理用の切換スイッチ８１の切換
入力側にそれぞれ接続されている。これらラインメモリ
６４〜７７，切換スイッチ７８〜８１の動作制御は、出
力制御部８２によって行われるようになっている。

【００４２】次に、信号処理回路６５は、図４に示すよ
うな構成となっている。同図において、イメージセンサ
ＤＢ，ＤＲ側は、一方においてそのまま信号処理回路６
５のＲ，Ｂ出力となっており、他方においてフレーム合
成回路６５Ｂに接続されている。フレーム合成回路６５
Ｂの出力側は、垂直高域フィルタ６５Ｃ，６５Ｄにそれ
ぞれ接続されており、これら垂直高域フィルタ６５Ｃ，
６５Ｄの出力側は加算器６５Ｅ，６５Ｆの一方の加算入
力側にそれぞれ接続されている。

【００４３】これら加算器６５Ｅ，６５Ｆの他方の加算
入力側は、イメージセンサＤＧ１，ＤＧ２側がそれぞれ
接続されている。イメージセンサＤＧ１側及び加算器６
５Ｅの出力側は、切換器６５Ｇの切換入力側にそれぞれ
接続されている。イメージセンサＤＧ２側及び加算器６
５Ｆの出力側は、切換器６５Ｈの切換入力側にそれぞれ
接続されている。これら切換器６５Ｇ，６５Ｈの出力側
は、信号処理回路６５のＧＡ，ＧＢ出力となっている。

【００４４】（2）各部の作用 次に、各部の作用について詳述する。図５には、イメー
ジセンサＤＧ１，ＤＧ２，ＤＢ，ＤＲからの信号読出し
（１水平画素列読出法）の順序が示されている。同図中
の数字は、イメージセンサ上における走査線の順番を表
わすが、ＤＧ１，ＤＧ２についてはハイビジョンにおけ
る走査線の順番を表わしている。同図においてＢ及びＲ
に着目すると、垂直方向に１画素ピッチずれた配置のた
め、ＤＲで読み出されているラインとＤＢで読み出され
ているラインが交互の配置となっている。

【００４５】他方、読出制御部５０によるイメージセン
サＤＧ１，ＤＧ２からの信号読出しは、図１２に示した
通りである。そして、同図に実線で示す矢印のように読
み出した信号によってハイビジョン第１フィールドを構
成し、点線で示す矢印のように読み出した信号によって
ハイビジョン第２フィールドを構成する。

【００４６】図１５に示したように、イメージセンサＤ
Ｇ１，ＤＧ２，ＤＢ，ＤＲからの走査読出しからライン
メモリ６４，６６，６８，６９に対する信号格納までの
周波数は、ハイビジョン方式の場合の周波数ｆHの1/2
（16.875KHz）である。上述したように、ＰＡＬ方式の
ＣＣＤの電荷信号読出走査周波数は15.625KHzである
が、この値はｆH／２と概略同じであるので、格別な対
策を講ずることなく使用できる。しかし、ラインメモリ
７０〜７７からの信号読出し以降は、ハイビジョン方式
の場合の周波数ｆHで行われるようになっている。な
お、本例における電荷読出走査手法は、読出周波数の点
を除けば通常の手法と同様である。

【００４７】次に、ラインメモリ６４〜６９は、信号処
理回路６５から出力された信号を格納するためのもの
で、１ライン分の信号データが格納された時点で後段の
ラインメモリ７０〜７７にそれぞれ並列に高速で出力さ
れるようになっている。そして、ラインメモリ７０〜７
７に格納された信号は、ハイビジョン方式の周波数，す
なわちイメージセンサから読み出すときの２倍の速度で
出力されるようになっている。

【００４８】次に、切換スイッチ７８は、ラインメモリ
７０，７２に格納された信号を、ハイビジョンの走査の
順番となるように交互に１ライン毎に選択的に出力して
走査変換を行うためのものである。また、切換スイッチ
８０は、ラインメモリ７４，７６に格納された信号を交
互に１ラインずつ出力して信号データの補間を行うため
のものである。切換スイッチ８１も同様である。これら
ラインメモリ及び切換スイッチの動作は、出力制御部８
２によって動作制御が行われている。

【００４９】このようにして得られたＲ，Ｇ，Ｂ出力
は、図示せぬマトリクスによって、ハイビジョン信号
Ｙ，ＰＢ，ＰＲに変換される。その変換は、 Ｙ＝0.715Ｇ＋0.0721Ｂ＋0.2125Ｒ ＰＢ＝0.5389（−0.7154Ｇ＋0.9279Ｂ−0.2125Ｒ） ＰＲ＝0.6349（−0.7154Ｇ−0.0721Ｂ＋0.7875Ｒ） で行われる。

【００５０】（3）信号処理回路 次に、図４に示した信号処理回路６５について説明す
る。上述した図３中の任意の位置（水平ｍ画素，垂直ｎ
ライン）の画素をとり、その番号付けを行うと図６に示
すようになる。同図中、大文字Ｇ，Ｂ，Ｒは奇数フィー
ルド，小文字ｇ，ｂ，ｒは偶数フィールドでそれぞれ読
み出される画素を示している。なお、「Ｇ」及び「ｇ」
は緑信号，「Ｒ」及び「ｒ」は赤信号，「Ｂ」及び
「ｂ」は青信号をそれぞれ示している。また、大文字の
「１」，「２」は、イメージセンサＤＧ１，ＤＧ２から
それぞれ読み出された画素であることを示している。

【００５１】そして、４つのイメージセンサは同時駆動
されるから、（ｍ，ｎ）の同じ画素が同時に読み出され
る。例えば、Ｇ１m,n、Ｇ２m,n、Ｒm,n、Ｂm,nの４つは
奇数フィールドで同時に読み出され、ｇ１m,n、ｇ２m,
n、ｒm,n、ｂm,nの４つは偶数フィールドで同時にに読
み出される。

【００５２】ここでＲ，ｒ及びＢ，ｂの画素の位置に着
目すると、どの画素の位置でも「Ｒとｂ」又は「ｒと
Ｂ」の組み合わせになっており、偶数，奇数いずれのフ
ィールドにおいてもどちらかの画素が存在するようにな
っている。これは、イメージセンサＤＲに対してイメー
ジセンサＤＢが垂直方向に１画素ピッチずれた配置とし
たためで、図３でいえば、黒三角と白三角とが同一位置
となっていることに対応する。

【００５３】このような関係にあるため、イメージセン
サＤＢ，ＤＲからの信号を単純に加算すれば、フィール
ドメモリを用いることなくフレーム合成が可能となる。
フレーム合成回路６５Ｂは、このような処理を行うため
のものである。図６のように画素を表わしたとき、垂直
高域フィルタ６５Ｃ，６５Ｄでは、奇数フィールドで数
式（5），数式（6）のような演算が行われ、高域周波数
成分ＶＨＡ，ＶＨＢが生成される。

【００５４】

【数５】

【数６】

【００５５】この演算は、ある画素の信号からその垂直
方向に隣接する画素の信号を減算する演算であり、これ
は垂直方向の変化分を求める演算に相当する。これによ
って、垂直方向の高周波成分が得られる。このように、
同一フィールドの信号から高周波成分が求められるた
め、不要な垂直高域周波数成分の発生が低減される。次
に、加算器６５Ｅ，６５Ｆでは、数式（7），（8）の演
算が行われ、Ｂ，Ｒから得られた高域成分がＧの信号に
加算されて、広帯域のＧの信号ＧＡ，ＧＢが得られる。

【００５６】

【数７】

【数８】

【００５７】この演算は、前記背景技術と同様である
（数式（3），（4）参照）。このように、本実施例の信
号処理回路６５によれば、図１６に示した背景技術のよ
うなフィールドメモリを使用することなく、フレーム状
態の信号が得られる。

【００５８】次に、切換器６５Ｇ，６５Ｈは、フィール
ドパルスによって切り換えられるようになっており、奇
数フィールドでは加算器側に切り換えられ、偶数フィー
ルドではイメージセンサ側に切り換えられる。これによ
り、奇数フィールド（ハイビジョン第１フィールドに対
応）の画像には垂直高域付加信号ＧＡ，ＧＢが用いら
れ、偶数フィールド（ハイビジョン第２フィールドに対
応）の画像にはイメージセンサ出力の信号ｇ１，ｇ２が
用いられることになる。

【００５９】（4）全体動作 次に、以上のように構成された実施例の全体動作を説明
する。イメージセンサＤＧ１，ＤＧ２，ＤＢ，ＤＲは、
読出制御部５０によって同時駆動され、偶数フィール
ド，奇数フィールドの信号が交互に出力される。これら
の信号は、プリアンプ５２〜５７による増幅の後Ａ／Ｄ
変換器５８〜６３に供給され、デジタル信号に変換され
て信号処理回路６５に供給される。信号処理回路６５で
は、上述した数式（5）〜（8）の演算が行われて高域付
加信号ＧＡ，ＧＢが求められ、これとイメージセンサ出
力とがフィールド毎に交互に選択された信号Ｇ３，Ｇ４
が、信号Ｂ，ｂ，Ｒ，ｒとともに出力される。

【００６０】これらの信号は、倍速変換されて出力され
る。すなわち、ラインメモリ６４〜６９にそれぞれ１ラ
イン分格納された後、ラインメモリ７０〜７７にそれぞ
れ高速で出力される。そして、格納された各信号は、ハ
イビジョン方式の周波数，すなわちイメージセンサから
読み出すときの２倍の速度で出力される。

【００６１】次に、切換スイッチ７８では、ラインメモ
リ７０，７２に格納されたＧ３，Ｇ４の信号が、交互に
選択的に出力されて走査変換が行われる。また、切換ス
イッチ８０では、ラインメモリ７４，７６に格納された
信号が、交互に選択的に出力されて信号の補間処理が行
われる。図７にはそれらの様子が示されており、同図
（A），（B）に示す２つのラインメモリの信号Ａ，Ｂが
１ラインずつ交互に選択されて、同図（C）に示すよう
に高速で出力される。切換スイッチ８１についても同様
である。

【００６２】このようにして得られたハイビジョン用の
信号ＧＨ，ＢＨ，ＲＨに対して、前記マトリクス処理が
行われ、最終的なハイビジョン信号Ｙ，ＰＢ，ＰＲが得
られる。なお、上述したようにイメージセンサＤＧ１の
結像はハーフミラー１６による反射像であるため、他の
イメージセンサＤＢ，ＤＲ，ＤＧ２の結像に対して左右
反転している。このため、イメージセンサＤＧ１として
左右反転読出し可能なものを使用しているときは、読出
制御部５０によって左右反転読出しを行うようにする。
あるいは、信号処理回路６５の前段にラインメモリやフ
ィールドメモリなどのメモリ手段を設けて信号を格納
し、読出時に左右反転読出を行うようにしてもよい。

【００６３】＜画像信号の空間周波数＞ここで、図８を
参照して、この実施例における画像信号の空間周波数に
ついて説明する。同図のグラフの横軸は水平周波数，縦
軸は垂直周波数である。まず、同図（A）は、Ｇの信号
の空間間周波数を示しており、領域ＥＧ１の部分がＢ，
ｂ，Ｒ，ｒの信号による高域付加部分である。また、領
域ＥＧ２で示すように、水平周波数が高域まで伸びてい
るのは、イメージセンサＤＧ１，ＤＧ２を水平方向に半
画素ピッチずらして配置したためである。同図（B）
は、Ｂ，ｂの信号、又は、Ｒ，ｒの信号の空間周波数を
示している。同図（C）は、ハイビジョン画像の解像力
に寄与する輝度信号Ｙの空間周波数を示しており、同図
（A）と同図（B）を加算したものとなっている。

【００６４】＜実施例の効果＞以上のように、本実施例
によれば、Ｇ用のイメージセンサを２板用意するととも
に、これらに対して垂直方向に１／２画素ずらしてＲ用
のイメージセンサが配置される。また、Ｒ用のイメージ
センサに対して垂直方向に１画素ずらしてＢ用のイメー
ジセンサが配置される。そして、これらＢ，Ｒのイメー
ジセンサ出力からＧ画像の垂直方向高域成分を抽出して
ハイビジョン用の画像信号が得られる。これにより、次
のような効果がある。

【００６５】（1）イメージセンサとして、１／３イン
チのＰＡＬ用のものを使用しているので、非常に安価で
現実的なハイビジョン用のビデオカメラを提供すること
ができる。 （2）Ｂ及びＲについては、いずれも単板構成としてい
るので、解像度の点では劣るものの小型，軽量化，低コ
スト化に非常に有効である。なお、Ｂ，Ｒよりも多くの
情報を含んでいる高解像度のＧの画像信号を利用して信
号の修正，補間を行うようにすれば改善を図ることがで
きる。

【００６６】（3）Ｂ，Ｒ画像の垂直方向の高域成分を
抽出してＧ画像に加えているので、高解像度のハイビジ
ョン用画像信号を得ることができる。 （4）しかも、イメージセンサに対するマスク処理は必
要とされないので、開口率を高めることができ、結果的
に低照度においても良好なＳ／Ｎの鮮明な画像信号を得
ることができる。

【００６７】（5）ハイビジョン用の信号には一般に高
速処理が必要であるが、この実施例ではＰＡＬ用のイメ
ージセンサを使用しているため、格別な高速処理技術は
必要とされず、周辺のデバイスとして現在使用されてい
る一般的なものが使用できる。特に、マルチプレクスや
走査変換などの信号処理に現在普及しているＤＳＰが使
用可能であり、汎用部品を使用してコストの低減を図る
など非常に有利である。

【００６８】（6）Ｂ，Ｒのイメージセンサを１画素ず
らして配置しているので、フィールドメモリを使用する
ことなく垂直高域周波数成分を得ることができ、コスト
的に有利となる。また、同一フィールドの信号からフレ
ーム合成を行うことができるため、不要な垂直高域周波
数成分の発生を低減して、高解像度の画像信号を高感度
で得ることができる。

【００６９】＜他の実施例＞この発明は、以上の開示に
基づいて多様に改変することが可能であり、例えば次の
ようなものがある。 （1）図１０に示した撮像光学系について、例えば点線
で示すようにハーフミラー１６を設け、イメージセンサ
ＤＧ１をイメージセンサＤＲ側に配置するようにしても
よい。

【００７０】（2）前記実施例では、Ｇのみ２板とし、
Ｂ，Ｒは１板とした４板構成としたが、Ｒ，Ｇ，Ｂすべ
て１板としても、Ｂ，Ｒの少なくとも一方を垂直方向に
ずらして配置することで垂直方向の高域周波数成分を得
るようにすれば、同様の効果を得ることができる。ま
た、Ｒ，Ｇ，Ｂすべてを２板とし全体で６板構成として
もよい。また、イメージセンサＤＧ１，ＤＧ２を水平方
向に１／２画素ピッチずらして配置したが、これは水平
方向の解像度を高めるために行ったもので、必ずしもそ
のような水平方向配置としなくてもよい。つまり、イメ
ージセンサＤＧ１，ＤＧ２を同一位置としてよい。

【００７１】（3）また、前記実施例ではイメージセン
サを１画素分垂直方向にずらして配置したが、この配置
自体は入射光軸に対して垂直方向に同一位置とするとと
もに、信号読出しを１ラインずらして行うようにして
も、同様の効果が得られる。このようにして信号読出領
域を２つのイメージセンサ間でずらす場合も、本発明に
含まれる。この場合、２つのイメージセンサの一方は他
方に対して垂直方向に１ラインずれて駆動されることに
なる。しかし、一般的にはＲ，Ｇ，Ｂの各イメージセン
サは同時駆動を行うようにした方が都合がよいので、前
記実施例のように入射光軸に対してずらした配置とす
る。水平方向についても同様である。

【００７２】（4）前記実施例では、１６：９のハイビ
ジョンのアスペクト比の画像を得る場合を説明したが、
必ずしもそれに限定されるものではなく、比率は適宜設
定してよい。

【００７３】（5）更に、前記実施例では、必要とする
ハイビジョンの画像領域ＷＷをイメージセンサのほぼ中
央に設定したが、上下左右にずれた位置に設定するよう
にしてもよい。

【００７４】（6）上述したように、イメージセンサＤ
Ｇ１の結像が他のイメージセンサＤＢ，ＤＲ，ＤＧ２に
対して左右が反転するので、次の方法で正規の結像を得
ている。 左右反転した信号読出しを行うことができる性能を持
ったＣＣＤを用いる。 イメージセンサＤＧ１からは左右反転したまま信号読
出しを行うとともに、その信号をラインメモリやフレー
ムメモリなどのメモリ手段に格納し、読出時に左右反転
を行って正規の立像の画像信号を得るようにする。

【００７５】しかし、図９に示すように、光学的に左右
反転を行って正規の結像を得るようにしてもよい。ま
ず、同図（A）の例では、Ｒプリズム１２と微小の空気
層（図示せず）を介してＧ第１プリズム１００が設けら
れている。また、このＧ第１プリズム１００とＧ第２プ
リズム１０２との間には、ハーフミラー１０４が設けら
れている。

【００７６】入射光に含まれるＧの光は、Ｒプリズム１
２を透過してＧ第１プリズム１００に入射する。Ｇ第１
プリズム１００に入射したＧの光は更にハーフミラー１
０４に入射し、このハーフミラー１０４で反射分割され
たＧの光は、Ｒプリズム１２と空気層を介して接するＧ
第１プリズム１００の入射面１０６で全反射され、Ｇト
リミングフィルタ１４Ａを介してイメージセンサＤＧ１
の結像面に入射結像する。そして、ハーフミラー１０４
を透過したＧの光は、Ｇトリミングフィルタ１４Ｂを介
して他方のイメージセンサＤＧ２の結像面に入射結像す
る。

【００７７】次に、同図（B）の例では、Ｒプリズム１
２とダミープリズム１１０が接しており、このダミープ
リズム１１０と微小の空気層（図示せず）を介してＧ第
１プリズム１１２が設けられている。また、このＧ第１
プリズム１１２とＧ第２プリズム１１４との間には、ハ
ーフミラー１１６が設けられている。

【００７８】入射光に含まれるＧの光は、Ｒプリズム１
２，ダミープリズム１１０を透過してＧ第１プリズム１
１２に入射する。Ｇ第１プリズム１１２に入射したＧの
光は更にハーフミラー１１６に入射し、このハーフミラ
ー１１６で反射分割されたＧの光は、ダミープリズム１
１０と空気層を介して接するＧ第１プリズム１１２の入
射面１１８で全反射され、Ｇトリミングフィルタ１４Ａ
を介してイメージセンサＤＧ１の結像面に入射結像す
る。そして、ハーフミラー１１６を透過したＧの光は、
Ｇトリミングフィルタ１４Ｂを介して他方のイメージセ
ンサＤＧ２の結像面に入射結像する。

【００７９】以上、いずれにおいても、イメージセンサ
ＤＧ１に入射する光は、ＢやＲと同様に２回反射されて
いるため、同様の正立像が得られるようになる。従っ
て、左右反転の必要はなく、４つのイメージセンサＤ
Ｂ，ＤＲ，ＤＧ１，ＤＧ２は同じ性能のものを使用する
ことができる。

【００８０】（7）前記実施例では、ＰＡＬ方式に対応
したイメージセンサを用いたが、それに相当するもので
あれば他の方式のものを用いてもよい。 （8）前記実施例におけるイメージセンサＤＢ，ＤＲの
垂直方向の配置を逆にしても、同様の効果を得ることが
できる。また、イメージセンサＤＢ，ＤＲの出力の内の
奇数フィールドの信号から高帯域成分を得たが、偶数フ
ィールドの信号から高帯域成分を得るようにしてもよ
い。

【００８１】

【発明の効果】以上説明したように、本発明によれば、
次のような効果がある。 （1）ＰＡＬ方式などの比較的垂直解像度の低いイメー
ジセンサを利用してハイビジョンなどの解像度の高い画
像信号を得ることができるので、非常に安価で現実的な
高解像度のビデオカメラを得ることができる。 （2）また、周辺のデバイスも含めて一般的な汎用部品
を使用でき、技術的難易度も低い。

【００８２】（3）Ｂ，Ｒ画像の垂直方向の高域成分を
抽出してＧ画像に加えているので、高解像度の画像信号
を得ることができる。 （4）しかも、イメージセンサに対するマスク処理など
を必要としないので、開口率を高めることができ、結果
的に低照度においても良好なＳ／Ｎの鮮明な画像信号を
得ることができる。

【００８３】（5）Ｒ用のイメージセンサとＢ用のイメ
ージセンサを垂直方向に１画素ずらして配置することと
したので、不要な垂直高域周波数成分の発生を低減して
高解像度の画像信号を高感度で得ることができ、コスト
的にも有利となる。

【図面の簡単な説明】

【図１】実施例のイメージセンサの配置を示す図であ
る。

【図２】実施例のイメージセンサの配置を拡大して示す
図である。

【図３】実施例のイメージセンサの画素位置をハイビジ
ョン画面上で見た図である。

【図４】実施例の信号処理装置の主要部を示すブロック
図である。

【図５】実施例のイメージセンサの走査ラインの関係を
示す図である。

【図６】実施例の画素配置を符号で示す図である。

【図７】倍速変換の様子を示すタイムチャートである。

【図８】実施例における画像信号の周波数帯域を示す図
である。

【図９】色分解光学系の他の実施例を示す図である。

【図１０】実施例及び背景技術の色分解光学系を示す図
である。

【図１１】イメージセンサ上に設定されたハイビジョン
領域を示す図である。

【図１２】背景技術におけるイメージセンサの配置を示
す図である。

【図１３】背景技術におけるイメージセンサの配置を示
す図である。

【図１４】背景技術における画素配列を示す図である。

【図１５】実施例及び背景技術における信号処理装置を
示すブロック図である。

【図１６】背景技術における信号処理装置の一部を示す
ブロック図である。

【図１７】フィールド間で画像が移動する例を示す図で
ある。

【符号の説明】

１０…Ｂプリズム １２…Ｒプリズム １４，１００，１０２，１１２，１１４…Ｇプリズム １６，１０４，１１６…ハーフミラー ５０…読出制御部 ５２，５４，５６，５７…プリアンプ ５８，６０，６２，６３…Ａ／Ｄ変換器 ６４，６６，６８，６９，７０，７２，７４，７５，７
６，７７…ラインメモリ ６５…信号処理回路 ６５Ｂ…フレーム合成回路 ６５Ｃ，６５Ｄ…垂直高域フィルタ ６５Ｅ，６５Ｆ…加算器 ６５Ｇ，６５Ｈ…切換器 ７８，８０，８１…切換スイッチ ８２…出力制御部 ＤＢ，ＤＲ，ＤＧ１，ＤＧ２…イメージセンサ ＷＷ…ハイビジョンのイメージ領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者 諏訪 哲也 神奈川県横浜市神奈川区守屋町３丁目12 番地 日本ビクター株式会社内 (56)参考文献 特開 平６−217332（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/09 - 9/097

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 撮像光を色分解して、青，緑，赤の各画
   像を得る色分解光学系； 通常解像度のテレビジョン方式に対応し、青の画像を撮
   像するための青用イメージセンサ； 通常解像度のテレビジョン方式に対応し、緑の画像を撮
   像するための緑用イメージセンサ； 通常解像度のテレビジョン方式に対応し、赤の画像を撮
   像するための赤用イメージセンサ； を備え、 青用イメージセンサ及び赤用イメージセンサの少なくと
   も一方の画素位置を、緑用イメージセンサの画素位置に
   対して相対的に垂直方向に１／２画素相当ずらした配置
   とするとともに、青用イメージセンサ及び赤用イメージ
   センサを相対的に垂直方向に１画素相当ずらした配置と
   した撮像装置。
2. 【請求項２】 撮像光を色分解して、青，緑，赤の各画
   像を得る色分解光学系； 緑の画像を第１及び第２の緑の画像に分割する分割光学
   系； 通常解像度のテレビジョン方式に対応し、青の画像を撮
   像するための青用イメージセンサ； 通常解像度のテレビジョン方式に対応し、赤の画像を撮
   像するための赤用イメージセンサ； 通常解像度のテレビジョン方式に対応し、第１の緑の画
   像を撮像するための第１の緑用イメージセンサ； 通常解像度のテレビジョン方式に対応し、第２の緑の画
   像を撮像するための第２の緑用イメージセンサ； を備え、 青用イメージセンサ及び赤用イメージセンサの少なくと
   も一方の画素位置を、第２の緑用イメージセンサの画素
   位置に対して相対的に垂直方向に１／２画素相当ずらし
   た配置とするとともに、青用イメージセンサ及び赤用イ
   メージセンサを相対的に垂直方向に１画素相当ずらした
   配置とし、 第１の緑用イメージセンサの画素位置を、第２の緑用イ
   メージセンサの画素位置に対して水平，垂直の少なくと
   も一方向に相対的にずらした配置とした撮像装置。
3. 【請求項３】 請求項１又は２記載の撮像装置の青用及
   び赤用イメージセンサから得られた画像信号から垂直方
   向の高域成分を抽出する高域成分抽出手段； これによって得られた高域成分を、緑用イメージセンサ
   から得られた画像信号の一方のフィールドの画像信号に
   付加する高域成分付加手段； を備えた画像信号処理装置。