JP3259525B2 - 画像信号処理装置 - Google Patents
画像信号処理装置Info
- Publication number
- JP3259525B2 JP3259525B2 JP14118194A JP14118194A JP3259525B2 JP 3259525 B2 JP3259525 B2 JP 3259525B2 JP 14118194 A JP14118194 A JP 14118194A JP 14118194 A JP14118194 A JP 14118194A JP 3259525 B2 JP3259525 B2 JP 3259525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- green
- signal
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000000926 separation method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 16
- 238000009966 trimming Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Description
PAL方式などの通常解像度のイメージセンサを利用し
て、ハイビジョン方式などの高解像度の画像信号を得る
場合に好適な画像信号処理装置に関する。
画面表示は4:3のアスペクト比となっている。ところ
が最近では、映画などに代表されるような横長の画面、
例えばハイビジョンのような16:9のアスペクト比の
画面が迫力などの観点から所望されるに至っている。こ
のハイビジョンの規格は、次の表1に示すようになって
おり、画面の精細度は従来のNTSC方式よりも3〜5
倍必要とされる。
線数はNTSC方式が525本,PAL方式が625本
であるのに対し、ハイビジョンではそれらの約2倍の1
125本となっている。
メージセンサである高画素密度CCDは今日の技術によ
っても非常に高価である。すなわち、高解像度であるこ
とから高速の信号処理速度が要求され、消費電力も多
く、また周辺の使用デバイスも技術的に極めて高度なも
のが多く要求され、これらが価格面にも大きく影響して
いる。従って、ハイビジョン用の撮像手段として広く実
用化されるまでには、なお相当の時間を要するものと考
えられる。
センサを利用して、ハイビジョン用の高解像度の画像信
号を得る手法が、例えば特願平5−78730号として
提案されている。これによれば、色分解光学系によって
R(赤),G(緑),B(B)に分解された各分解画像
のうち、Gについて更に2分割し、PAL方式のイメー
ジセンサでそれぞれ受光する。このとき、Gのイメージ
センサを垂直方向に1画素ずつずらして配置するととも
に、各画素の受光部にマスキングを施すようにして、2
倍の垂直方向の解像度を得ている。
うな手法では、イメージセンサを構成する各画素の開口
部分の上下約半分を部分をマスキングしてしまうため、
受光量が半減して感度が低下してしまうことになる。こ
の発明は、このような点に着目したもので、現在広く利
用されている通常解像度のイメージセンサを利用すると
いう背景技術の利点を生かしつつ、ハイビジョンなどに
好適な高解像度の画像信号を高感度で得ることを、その
目的とするものである。
め、この発明は、撮像光を色分解して、青,緑,赤の各
画像を得る色分解光学系;通常解像度のテレビジョン方
式に対応し、青の画像を撮像するための青用イメージセ
ンサ;通常解像度のテレビジョン方式に対応し、緑の画
像を撮像するための緑用イメージセンサ;通常解像度の
テレビジョン方式に対応し、赤の画像を撮像するための
赤用イメージセンサ;を備え、前記青用イメージセンサ
及び前記赤用イメージセンサの少なくとも一方の画素位
置を、前記緑用イメージセンサの画素位置に対して相対
的に垂直方向にずらした配置とした撮像装置の前記青用
イメージセンサ及び/又は前記赤用イメージセンサから
得られた画像信号から垂直方向の高域成分を抽出する高
域成分抽出手段;これによって得られた高域成分を、前
記緑用イメージセンサから得られた画像信号の一方のフ
ィールドの画像信号に付加する高域成分付加手段;を備
えたことを特徴とする。他の発明は、撮像光を色分解し
て、青,緑,赤の各画像を得る色分解光学系;緑の画像
を第1及び第2の緑の画像に分割する分割光学系;通常
解像度のテレビジョン方式に対応し、青の画像を撮像す
るための青用イメージセンサ;通常解像度のテレビジョ
ン方式に対応し、赤の画像を撮像するための赤用イメー
ジセンサ;通常解像度のテレビジョン方式に対応し、第
1の緑の画像を撮像するための第1の緑用イメージセン
サ;通常解像度のテレビジョン方式に対応し、第2の緑
の画像を撮像するための第2の緑用イメージセンサ;を
備え、前記青用イメージセンサ及び前記赤用イメージセ
ンサの少なくとも一方の画素位置を、前記第2の緑用イ
メージセンサの画素位置に対して垂直方向に相対的にず
らした配置とするとともに、前記第1の緑用イメージセ
ンサの画素位置を、前記第2の緑用イメージセンサの画
素位置に対して水平,垂直の少なくとも一方向に相対的
にずらした配置とした撮像装置の前記青用イメージセン
サ及び/又は前記赤用イメージセンサから得られた画像
信号から垂直方向の高域成分を抽出する高域成分抽出手
段;これによって得られた高域成分を、前記第1の緑用
イメージセンサ及び前記第2の緑用イメージセンサから
得られた画像信号の一方のフィールドの画像信号に付加
する高域成分付加手段;を備えたことを特徴とする。
ンサから得られた画像信号から垂直方向の高域成分が抽
出され、G用イメージセンサから得られた画像信号の一
方のフィールドの画像信号に付加される。このため、格
別なマスク処理による開口率の低下を招くことなく、垂
直方向の解像度の向上を図ることができる。この発明の
前記及び他の目的,特徴,利点は、次の詳細な説明及び
添付図面から明瞭になろう。
には数多くの実施例が有り得るが、ここでは適切な数の
実施例を示し、詳細に説明する。
光学系の構成について説明する。図1には、本実施例に
おける色分解光学系の構成が示されている。同図におい
て、光入射側は、B(B)の光成分を取り出すためのB
プリズム10が配置されている。Bプリズム10の光出
力側には、R(赤)の光成分を取り出すためのRプリズ
ム12が配置されている。更に、Rプリズム12の光出
力側には、G(緑)の光成分を取り出すためのGプリズ
ム14が配置されている。Bプリズム10とRプリズム
12との間には、微小の空気層(図示せず)が設けられ
ている。これらのプリズム構成は、一般的な3板構成の
撮像装置と同様である。
ーフミラー16が設けられている。すなわち、Gプリズ
ム14は、G第1プリズム16AとG第2プリズム16
Bとによって構成されており、それらの接合面にハーフ
ミラー16が設けられている。また、ハーフミラー16
は、図1に示すように入射光軸に対して45゜の角度に
設けられているので、イメージセンサDG1,DG2の
結像面は90゜の角度となり、プリズム製作及びイメー
ジセンサの取付けを精度よく行うことができる。なお、
図1に点線で示すようにハーフミラー16を設け、イメ
ージセンサDG1をイメージセンサDR側に配置するよ
うにしてもよい。
いて、図2を参照しながら説明する。まず、撮像光学系
(図示せず)から入射した入射光に含まれるBの波長帯
の光は同図(A)に示すように、このBの光を選択的に
反射するBプリズム10のダイクロイック膜10Aによ
って反射される。反射されたBの光は、更にBプリズム
10の入射面10Bで全反射され、Bトリミングフィル
タ10Cを介してBのイメージセンサDBの結像面に入
射結像する。
(B)に示すように、Bプリスム10のダイクロイック
膜10Aを透過してRプリズム12に入射する。そし
て、Rの波長帯の光を選択的に反射するRプリズム12
のダイクロイック膜12Aによって反射される。反射さ
れたRの光は、Bプリズム10と空気層を介して接する
Rプリズム12の入射面12Bで全反射され、Rトリミ
ングフィルタ12Cを介してRのイメージセンサDRの
結像面に入射結像する。
(C)に表示するように、Rプリズム12のダイクロイ
ック膜12Aを透過してG第1プリズム14に入射す
る。以上の作用は、従来のR,G,Bの3色分解光学系
と同様である。G第1プリズム16Aに入射したGの光
は更にハーフミラー16に入射し、このハーフミラー1
6で反射されたGの光は、Gトリミングフィルタ14A
を介して2つあるGのイメージセンサDG1,DG2の
うちの一方の素子DG1の結像面に出射される。そし
て、ハーフミラー16を透過したGの光は、Gトリミン
グフィルタ14Bを介して他方のイメージセンサDG2
の結像面に入射結像する。
は、B及びRについては一般的なものと同様となってい
るが、Gについては2分割されて2つのイメージセンサ
にそれぞれ入射するようになっており、全体で4板の構
成となっている。なお、イメージセンサDG1の結像は
ハーフミラー16による反射像であるため、他のイメー
ジセンサDB,DR,DG2の結像に対して左右が反転
している。このため、イメージセンサDG1について
は、CCDからの左右反転読出し,あるいはラインメモ
リやフレームメモリによる左右反転読出しを行って、正
規画像を得るようにする。
に、各イメージセンサ上におけるハイビジョンのアスペ
クト比16:9に相当するイメージエリアの設定につい
て説明する。イメージセンサDB,DR,DG1,DG
2としては、一般に提供されている安価な1/3インチ
のイメージサイズをもつPAL方式用のCCD素子であ
って、手ぶれ補正されたものが用いられる。手ぶれ補正
されているため、イメージエリアの全領域で水平画素
(ピクセル)及び垂直画素が約25%多くなっている。
ジエリアの寸法は、垂直方向が3.6mm,水平方向が
4.9mmとなっている。そして画素は、垂直方向が7
26画素(従って726ラインとなる)、水平方向が8
58画素である。また、斜線で示すPAL方式の規定領
域WSは、垂直方向が575画素,水平方向が669画
素となっている。すなわち、手ぶれによってイメージセ
ンサ上における結像領域が上下左右に動いたとしても、
画像信号が取り出される前記規定領域WSもその動いた
方向に移転することで、手ぶれ補正が行われるようにな
っている。
式の市販のイメージセンサをハイビジョン用に利用する
が、ハイビジョンのフレーム当りの有効走査線数103
5本を確保することは不可能であるので、その1/2,
すなわち517.5本の水平有効走査線数を確保するこ
ととする。そして、この垂直方向518(517.5を
繰り上げて518とする)画素と、図3に示したイメー
ジセンサの寸法と、ハイビジョンのアスペクト比横:縦
=16:9から水平方向の画素数を求めると808画素
となる。
の垂直,水平方向の画素数及び寸法から各画素間の寸法
を求めると、図4に示すように垂直方向が5μm,水平
方向が5.7μmとなる。上述したように、垂直方向は
518画素であるからその全寸法は、518×5μm=
2.59mmとなる。従って、16:9のアスペクト比
となる水平方向寸法は2.59×(16/9)=4.6
mmとなり、この寸法内に含まれる画素数は4.6mm
/5.7μm=808となる。
ョンのアスペクト比16:9の規定領域WWが斜線で示
されている。なお、このハイビジョン規定領域WWのイ
メージエリア領域上における水平,垂直方向の位置は適
宜設定してよい。図示の例では、垂直方向はほぼイメー
ジエリア領域の中央,水平方向は左側に寄せてハイビジ
ョン規定領域WWが設定されている。
DG1,DG2には、以上のような16:9の規定領域
WWが設定される。そして、本実施例では、このハイビ
ジョン規定領域WWについて電荷信号読出しが行われ
る。なお、規定領域WW以外の不必要な部分の電荷信号
の掃捨てと規定領域WW内の信号読出し手法について
は、例えば特願平3−329942号として出願された
ものがある。
得るための手法>次に、垂直方向にハイビジョンに相当
する解像度を得るための手法について説明する。ハイビ
ジョン方式の垂直方向の解像度は、上述したようにNT
SC方式やPAL方式に対して約2倍となっている。と
ころが、図5に示したように、本実施例におけるイメー
ジセンサのハイビジョン規定領域WWは、水平有効走査
線数がハイビジョンの1/2である。
る水平有効走査線数を得るための手法としては、規定領
域WWのイメージエリア内で画素走査補間処理を行って
ハイビジョンの水平有効走査線数1035本を得るもの
が考えられる。しかし、この走査補間の手法では、垂直
方向に隣接する走査線の画像情報が同一であり、垂直方
向の画像解像力は、ハイビジョンの1/2の518画素
相当でしかない。
ンサに対して、B,Rのイメージセンサを垂直方向に1
/2画素ピッチずらすことで、解像度の向上を図ってい
る。よく知られているように、画像の垂直解像力を決定
するY信号は、ハイビジョン方式では、 Y=0.212R+0.701G+0.087B であり、B成分やR成分にも依存している。このため、
イメージセンサDB,DRを有効利用してY信号を生成
すれば、垂直解像度の向上を図ることができる。
メージセンサDG2に対してイメージセンサDB,DR
を光軸上で垂直方向に1/2画素ピッチずらして配置す
る。図7には、このような配置のイメージセンサDG
2,DB,DRの画素配列の一部(図6(A)の一部)
が拡大して示されている。図中、n+mはイメージセン
サDG2,DB,DRの水平ラインの順序を示してお
り、n+1からn+518の部分が図5に示したハイビ
ジョンの規定領域WWとなっている。また、このような
配置で得られるB,Rの画像信号からGの画像信号の垂
直方向の高域成分が、後述するように生成されるように
なっている。
いては、図6(B)に示すように垂直方向に1画素ピッ
チずらして配置する。図8には、このような配置のイメ
ージセンサDG1,DG2の画素配列の一部(図6
(B)の一部)が拡大して示されている。図中、n+m
はイメージセンサDG1,DG2の水平ラインの順序を
示しており、n+1からn+518の部分が図5に示し
たハイビジョンの規定領域WWとなっている。なお、図
示の例ではイメージセンサDG1がDG2よりも上方に
1画素ピッチずれているが、下方にずれていてもよい。
メージセンサDB,DRとともに同時駆動される。つま
り、イメージセンサDG1から偶数フィールドの信号読
出しが行われているときは、イメージセンサDG2から
も偶数フィールドの信号読出しが行われることになる。
奇数フィールドについても同様である。図8で示すと、
DG1から実線で示すラインが読み出されるときは、D
G2でも実線で示すラインが読み出される。また、DG
1から点線で示すラインが読み出されるときは、DG2
でも点線で示すラインが読み出される。
法>次に、水平方向の解像度の向上を図るための手法に
ついて説明する。ハイビジョンの規格では、表1に示す
ように水平方向の画素数は特に規定されていない。従っ
て、水平方向については、図5に示した規定領域WWに
含まれる水平方向画素数808のままとしても基本的に
は差し支えない。しかし、現行のNTSC方式などより
も高精細の画像を得ることを目的としてハイビジョン方
式があるのであるから、水平方向についてもより高い解
像度,すなわちより多くの画素数であることが好まし
い。そこで水平方向の解像度を上げるために、図6
(C)に図示する如く水平方向に1/2画素ピッチずら
してイメージセンサDG1,DG2を配置している。図
9には、このような配置のイメージセンサDG1,DG
2の画素配列の一部(図6(C)の一部)が拡大して示
されている。
して、イメージセンサDB,DRは垂直方向に1/2画
素ピッチずれた配置となっており、イメージセンサDG
1は垂直方向に1画素ピッチ,水平方向に1/2画素ピ
ッチそれぞれずれた配置となっている。
ージセンサDG1,DG2,DB,DRの各画素のハイ
ビジョン画面上から見た配列について説明する。図10
において、四角印はイメージセンサDG2から読み出さ
れたGの画素であり、丸印はイメージセンサDG1から
読み出されたGの画素であり、三角印はイメージセンサ
DB,DRから読み出されたB及びRの画素である。ま
た、白印は各イメージセンサにおける偶数フィールドの
信号を表わしており、黒印は各イメージセンサにおける
奇数フィールドの信号を表わしている。また、数字は、
ハイビジョン画像として見た走査線番号である。
イメージセンサDG1,DG2は、水平方向に1/2画
素ピッチずれた配置となっているので、画素G1,G2
は水平方向に交互の配列となっている。また、イメージ
センサDG1,DG2は、垂直方向に1画素ピッチずれ
た配置となっているので、水平方向の隣接画素のフィー
ルドは異なるようになる。つまり、 DG1,DG2の
画素は、水平方向に白,黒が交互の配列となる。また、
垂直方向については、もちろん偶数フィールド,奇数フ
ィールドが交互であるから、同様に白,黒が交互の配列
となる。これらの画素は、ハイビジョン画像の偶数フィ
ールドである603から1120ライン上に位置してい
るが、イメージセンサからの読出しは、あくまで白印画
素がそのセンサにおける奇数フィールド,黒印画素がそ
のセンサにおける偶数フィールドで行われる。
センサDG1に対してイメージセンサDB,DRは垂直
方向に1/2画素ピッチずれた配置となっているので、
DG1,DG2の画素によるラインの間にDB,DRの
画素によるラインが位置するようになる。イメージセン
サDB,DRの画素は重なっており、1つの三角印が両
者に対応している。これらの画素は、ハイビジョン画像
の奇数フィールドである41から558ライン上に位置
しているが、イメージセンサからの読出しは、あくまで
白印画素がそのセンサにおける奇数フィールド,黒印画
素がそのセンサにおける偶数フィールドで行われる。
1,DG2からの電荷信号読出しと、それらのハイビジ
ョン画像信号への変換処理について説明する。図11に
は、信号読出処理回路の一例が示されている。同図にお
いて、上述したイメージセンサDG1,DG2,DB,
DRには、それらを同時駆動して信号読出しの制御を行
う読出制御部50が設けられている。また、イメージセ
ンサDG1,DG2,DB,DRの電荷信号出力側は、
プリアンプ(PAで図示)52,54,56,57がそ
れぞれ接続されており、それらの出力側にはA/D変換
器58,60,62,63をそれぞれ介して信号処理回
路65が接続されている。
メモリ64,66,68,69にそれぞれ接続されてい
る。これらのうちのラインメモリ64,66の出力側は
ラインメモリ70,72にそれぞれ接続されている。ラ
インメモリ68の出力側はラインメモリ74,76にそ
れぞれ接続されている。また、ラインメモリ69の出力
側は、ラインメモリ75,77にそれぞれ接続されてい
る。
ライン選択用の切換スイッチ78の切換入力側にそれぞ
れ接続されている。ラインメモリ74,76の出力側
は、データ補間処理用の切換スイッチ80の切換入力側
にそれぞれ接続されている。ラインメモリ75,77の
出力側は、データ補間処理用の切換スイッチ81の切換
入力側にそれぞれ接続されている。これらラインメモリ
64〜77,切換スイッチ78〜81の動作制御は、出
力制御部82によって行われるようになっている。
ような構成となっている。同図において、イメージセン
サDB,DR側は、そのまま出力側となっているととも
に、一方においてフィールドメモリ84,85にそれぞ
れ接続されており、他方においてフレーム合成回路8
6,87にそれぞれ接続されている。また、フィールド
メモリ84,85の出力側も、フレーム合成回路86,
87にそれぞれ接続されている。フレーム合成回路8
6,87の出力側は垂直高域フィルタ88,89にそれ
ぞれ接続されており、これら垂直高域フィルタ88,8
9の出力側は加算器90,91の入力側の両方にそれぞ
れ接続されている。
れており、加算器91の出力側は加算器92に接続され
ている。また、加算器91の出力側は、1画素分の遅延
を行う遅延回路99(「Z-1」で表示)を介して加算器
92に接続されている。この加算器92の出力側は、1
/2倍の乗算器93を介して加算器94に接続されてい
る。
側は、一方において加算器94,96に接続されてお
り、他方において切換スイッチ95,97の切換入力側
に接続されている。切換スイッチ95,97の他の切換
入力側には、加算器94,96の出力側が接続されてお
り、切換スイッチ95,97の出力側が信号処理回路6
5のG3,G4出力となっている。
2,DB,DRからの信号読出し(1水平画素列読出
法)の順序が示されている。同図中の数字は、イメージ
センサ上における走査線の順番を表わすが、DG1,D
G2についてはハイビジョンにおける走査線の順番を表
わしている。同図のように、B及びRについては、偶数
フィールド,奇数フィールドが交互に、つまり1ライン
おきに信号読出しが行われる。
サDG1,DG2からの信号読出しは、図8に示した通
りである。そして、同図に実線で示す矢印のように読み
出した信号によってハイビジョン第1フィールドを構成
し、点線で示す矢印のように読み出した信号によってハ
イビジョン第2フィールドを構成する。
DG2,DB,DRからの走査読出しからラインメモリ
64,66,68,69に対する信号格納までの周波数
は、ハイビジョン方式の場合の周波数fHの1/2(16.875
KHz)である。上述したように、PAL方式のCCDの
電荷信号読出走査周波数は15.625KHzであるが、この値
はfH/2と概略同じであるので、格別な対策を講ずる
ことなく使用できる。しかし、ラインメモリ70〜77
からの信号読出し以降は、ハイビジョン方式の場合の周
波数fHで行われるようになっている。なお、本例にお
ける電荷読出走査手法は、読出周波数の点を除けば通常
の手法と同様である。
理回路65から出力された信号を格納するためのもの
で、1ライン分の信号データが格納された時点で後段の
ラインメモリ70〜77にそれぞれ並列に高速で出力さ
れるようになっている。そして、ラインメモリ70〜7
7に格納された信号は、ハイビジョン方式の周波数,す
なわちイメージセンサから読み出すときの2倍の速度で
出力されるようになっている。
70,72に格納された信号を、ハイビジョンの走査の
順番となるように交互に1ライン毎に選択的に出力して
走査変換を行うためのものである。また、切換スイッチ
80は、ラインメモリ74,76に格納された信号を交
互に1ラインずつ出力して信号データの補間を行うため
のものである。切換スイッチ81も同様である。これら
ラインメモリ及び切換スイッチの動作は、出力制御部8
2によって動作制御が行われている。
は、図示せぬマトリクスによって、ハイビジョン信号
Y,PB,PRに変換される。その変換は、 Y=0.715G+0.0721B+0.2125R PB=0.5389(−0.7154G+0.9279B−0.2125R) PR=0.6349(−0.7154G−0.0721B+0.7875R) で行われる。
る。A/D変換器62,63によってデジタルに変換さ
れた信号は、フィールドメモリ84,85にて1フィー
ルド遅延された後フレーム合成回路86,87に供給さ
れ、ここで遅延されていない信号と合成される。これに
より、B,Rについてフィールド画像からフレーム画像
が得られる。具体的には、図10に示した白及び黒の三
角印の画素による画像が得られる。
垂直高域フィルタ88,89にそれぞれ供給され、ここ
で垂直方向の高域成分が抽出されて加算器90,91の
双方にそれぞれ供給される。
m画素,垂直nライン)の画素をとり、その番号付けを
行うと図14に示すようになる。同図中、大文字G,
B,Rは奇数フィールド,小文字g,b,rは偶数フィ
ールドでそれぞれ読み出される画素を示している。な
お、「G」及び「g」は緑信号,「r」及び「R」は赤
信号,「b」及び「B」はB信号をそれぞれ示してい
る。また、大文字の「1」,「2」は、イメージセンサ
DG1,DG2からそれぞれ読み出された画素であるこ
とを示している。なお、図14は、例えば左上のG2m-
1,n-2が、図10の最上ラインの最左位置にある白四角
の画素に対応している。
フィルタ88,89及び加算器90,91では、信号
B,b及び信号R,rに基づいて数式(1),数式(2)
のような演算が行われ、高域周波数成分VH1,VH2
が生成される。
び信号R,rにのみ着目し、ある画素の信号からその垂
直方向に隣接する画素の信号を減算する演算であり、こ
れは垂直方向の変化分を求める演算に相当する。これに
よって、垂直方向の高周波成分が得られる。これによっ
て信号B,b及び信号R,rから求められた垂直高域周
波数成分VH1,VH2を信号G,gに対応して示す
と、図15のようになる。
1,VH2に対し、一方では加算器92による加算,乗
算器93による1/2,加算器94による信号G1との
加算が行われる。すなわち、数式(3)の演算が行わ
れ、垂直高周波成分が付加された信号G1*が得られ
る。他方、加算器96による加算によって数式(4)の
演算が行われ、垂直高周波成分が付加された信号G2*
が得られる。
付加信号G1*,G2*の相対的な画素位置は、図16に
示すようになる。これらのうち、ハイビジョン第1フィ
ールドの画像には、例えば垂直高域付加信号G1*,G
2*を用い、ハイビジョン第2フィールドの画像には、
イメージセンサ出力の信号g1,g2を用いるようにす
る。このようなフィールド毎の信号の選択が、フィール
ドパルスに基づく切換スイッチ95,97の入力切換え
によって行われ、ハイビジョンのフィールドに対応して
選択された信号G3,G4が出力される。
する。イメージセンサDG1,DG2,DB,DRは、
読出制御部50によって同時駆動され、偶数フィール
ド,奇数フィールドの信号が交互に出力される。これら
の信号は、プリアンプ52〜57による増幅の後A/D
変換器58〜63に供給され、デジタル信号に変換され
て信号処理回路65に供給される。信号処理回路65で
は、上述した数式(1)〜(4)の演算が行われて高域付
加信号G1*,G2*が求められ、これとイメージセンサ
出力とがフィールド毎に交互に選択された信号G3,G
4が、信号B,b,R,rとともに出力される。
それぞれ1ライン分格納された後、ラインメモリ70〜
77にそれぞれ高速で出力される。そして、格納された
各信号は、ハイビジョン方式の周波数,すなわちイメー
ジセンサから読み出すときの2倍の速度で出力される。
リ70,72に格納されたG3,G4の信号が、交互に
選択的に出力されて走査変換が行われる。また、切換ス
イッチ80では、ラインメモリ74,76に格納された
信号が、交互に選択的に出力されて信号の補間処理が行
われる。図17にはそれらの様子が示されており、同図
(A),(B)に示す2つのラインメモリの信号A,B
が1ラインずつ交互に選択されて、同図(C)に示すよ
うに高速で出力される。切換スイッチ81についても同
様である。
信号GH,BH,RHに対して、上述したマトリクス処
理が行われ、最終的なハイビジョン信号Y,PB,PR
が得られる。なお、上述したようにイメージセンサDG
1の結像はハーフミラー16による反射像であるため、
他のイメージセンサDB,DR,DG2の結像に対して
左右反転している。このため、イメージセンサDG1と
して左右反転読出し可能なものを使用しているときは、
読出制御部50によって左右反転読出しを行うようにす
る。あるいは、出力制御部82によるラインメモリ64
又は70からの信号出力時に、左右反転読出しを行うよ
うにしてもよい。
を参照して、この実施例における画像信号の空間周波数
について説明する。同図のグラフの横軸は水平周波数,
縦軸は垂直周波数である。まず、同図(A)は、Gの信
号の空間間周波数を示しており、領域EG1の部分が
B,b,R,rの信号による高域付加部分である。ま
た、領域EG2で示すように、水平周波数が高域まで伸
びているのは、イメージセンサDG1,DG2を水平方
向に半画素ピッチずらして配置したためである。同図
(B)は、B,bの信号、又は、R,rの信号の空間周
波数を示している。同図(C)は、ハイビジョン画像の
解像力に寄与する輝度(Y)信号の空間周波数を示して
おり、同図(A)と同図(B)を加算したものとなって
いる。
1によれば、G用のイメージセンサを2板用意するとと
もに、これらに対して垂直方向に1画素ずらしてB,R
用のイメージセンサが配置される。そして、これらB,
Rのイメージセンサ出力からG画像の垂直方向高域成分
を抽出してハイビジョン用の画像信号が得られる。これ
により、次のような効果がある。
チのPAL用のものを使用しているので、非常に安価で
現実的なハイビジョン用のビデオカメラを提供すること
ができる。 (2)B及びRについては、いずれも単板構成としてい
るので、解像度の点では劣るものの小型,軽量化,低コ
スト化に非常に有効である。なお、B,Rよりも多くの
情報を含んでいる高解像度のGの画像信号を利用して信
号の修正,補間を行うようにすれば改善を図ることがで
きる。
抽出してG画像に加えているので、高解像度のハイビジ
ョン用画像信号を得ることができる。 (4)しかも、イメージセンサに対するマスク処理は必
要とされないので、開口率を高めることができ、結果的
に低照度においても良好なS/Nの鮮明な画像信号を得
ることができる。
速処理が必要であるが、この実施例ではPAL用のイメ
ージセンサを使用しているため、格別な高速処理技術は
必要とされず、周辺のデバイスとして現在使用されてい
る一般的なものが使用できる。特に、マルチプレクスや
走査変換などの信号処理に現在普及しているDSPが使
用可能であり、汎用部品を使用してコストの低減を図る
など非常に有利である。
ら、実施例2について説明する。実施例1で説明した図
18(A),(C)中の領域EG1の部分は、イメージ
センサDR,DBから読み出された信号に基づいてフィ
ールドメモリ84,85を使用して生成されており、図
16中の高域付加信号G1*,G2*の本来の位置にある
画素信号と等価である。しかし、G1*,G2*の成分を
構成するG1m,n,G2m,nの成分は、単に垂直下方向に
1画素ずれたものを使用しているため、撮像する被写体
の像によっては不正確な値となる場合がある。
の成分についても、本来の位置にある画素と等価なもの
を使用して、正確な値を得るようにしている。具体的に
は、前記数式(3),(4)の代わりに、数式(5),
(6)を用いて高域付加信号G1*,G2*を得ている。
出力値の一例が示されている。同図の横軸は出力値,縦
軸はハイビジョン画像上における走査線番号に対応した
垂直位置である。このような被写体像の場合には、走査
線l−1の位置でのG2*の値は0.4が正しい値であ
る。ところが、数式(4)を用いてG2*を求めた場合は
0.1となり、数式(6)を用いてG2*を求めた場合は
0.5となる。このように、数式(6)を用いた方が、
より正確にG2*を求めることができる。数式(5)とG
1*の関係についても同様である。
付加回路の部分が、図19に示すような構成となってい
る。同図において、イメージセンサDG1側は遅延回路
200に接続されており、遅延回路200の出力側は2
倍の乗算器202,他の遅延回路204,切換スイッチ
206,加算器208にそれぞれ接続されている。他
方、イメージセンサDG2側はラインメモリ210,遅
延回路212に接続されており、ラインメモリ210の
出力側は加算器214,遅延回路216に接続されてい
る。加算器214の入力側には、乗算器202及び遅延
回路216の出力側も接続されている。
218を介して加算器220に接続されている。この加
算器220の入力側には、図12に示した乗算器93の
出力側が接続されており、加算器220の出力側が切換
スイッチ206の他の入力側に接続されている。
08に接続されており、遅延回路212の出力側は2倍
の乗算器224を介して加算器208に接続されてい
る。加算器208の出力側は1/4の乗算器222に接
続されており、この乗算器222の出力側は図12の加
算器90の出力側とともに加算器226に接続されてい
る。そして、この加算器226の出力側が切換スイッチ
228に接続されている。また、遅延回路212の出力
側が切換スイッチ228の他の入力側に接続されてい
る。なお、その他の構成部分は、実施例1と同様であ
る。
を説明する。全体の動作は実施例1と同様であるが、高
域付加信号を求める際に、前記数式(3),(4)の代わ
りに数式(5),(6)を用いている点が異なる。図19
に示す回路によってこれらの数式(5),(6)の演算が
行われる。すなわち、乗算器218の出力が数式(5)
の第1項に対応し、加算器220の出力が高域付加信号
G1*m,nとなる。また、乗算器222の出力が数式
(6)の第1項に対応し、加算器226の出力が高域付
加信号G2*m,nとなる。
の入力側には、遅延回路200,212で時間調整され
たイメージセンサDG1,DG2の出力信号が入力され
る。これらがフィールドパルスによってフィールド毎に
選択され、G3,G4として出力される。
数式(5)ではG1m,nに加えてG2m,n-1+G2m+1,n-1
も考慮されている。これを図14で見ると、G1m,nの
1ライン上の隣接画素に対応する。数式(4),(6)に
ついても同様である。このようにすることで、上述した
ようにより正確な値を得ることができる。
基づいて多様に改変することが可能であり、例えば次の
ようなものがある。 (1)前記実施例では、Gのみ2板とし、B,Rは1板
とした4板構成としたが、R,G,Bすべて1板として
も、B,Rの少なくとも一方を垂直方向にずらして配置
することで垂直方向の高域周波数成分を得るようにすれ
ば、同様の効果を得ることができる。また、R,G,B
すべてを2板とし全体で6板構成としてもよい。イメー
ジセンサDG1,DG2を水平方向に1/2画素ピッチ
ずらして配置したが、これは水平方向の解像度を高める
に行ったもので、必ずしもそのような水平方向配置とし
なくてもよい。つまり、イメージセンサDG1,DG2
を同一位置としてよい。
サを1画素分垂直方向にずらして配置したが、この配置
自体は入射光軸に対して垂直方向に同一位置とするとと
もに、信号読出しを1ラインずらして行うようにして
も、同様の効果が得られる。このようにして信号読出領
域を2つのイメージセンサ間でずらす場合も、本発明に
含まれる。この場合、2つのイメージセンサの一方は他
方に対して垂直方向に1ラインずれて駆動されることに
なる。しかし、一般的にはR,G,Bの各イメージセン
サは同時駆動を行うようにした方が都合がよいので、前
記実施例のように入射光軸に対してずらした配置とす
る。水平方向についても同様である。
号の処理には、DSPなどを利用するようにしてもよ
い。 (4)前記実施例では、16:9のハイビジョンのアス
ペクト比の画像を得る場合を説明したが、必ずしもそれ
に限定されるものではなく、比率は適宜設定してよい。
ハイビジョンの画像領域WWをイメージセンサのほぼ中
央に設定したが、上下左右にずれた位置に設定するよう
にしてもよい。 (6)上述したように、イメージセンサDG1の結像が
他のイメージセンサDB,DR,DG2に対して左右が
反転するので、次の方法で正規の結像を得ている。 左右反転した信号読出しを行うことができる性能を持
ったCCDを用いる。 イメージセンサDG1からは左右反転したまま信号読
出しを行うとともに、その信号をラインメモリやフレー
ムメモリなどのメモリ手段に格納し、読出時に左右反転
を行って正規の立像の画像信号を得るようにする。
右反転を行って正規の結像を得るようにしてもよい。ま
ず、同図(A)の例では、Rプリズム12と微小の空気
層(図示せず)を介してG第1プリズム100が設けら
れている。また、このG第1プリズム100とG第2プ
リズム102との間には、ハーフミラー104が設けら
れている。
2を透過してG第1プリズム100に入射する。G第1
プリズム100に入射したGの光は更にハーフミラー1
04に入射し、このハーフミラー104で反射分割され
たGの光は、Rプリズム12と空気層を介して接するG
第1プリズム100の入射面106で全反射され、Gト
リミングフィルタ14Aを介してイメージセンサDG1
の結像面に入射結像する。そして、ハーフミラー104
を透過したGの光は、Gトリミングフィルタ14Bを介
して他方のイメージセンサDG2の結像面に入射結像す
る。
2とダミープリズム110が接しており、このダミープ
リズム110と微小の空気層(図示せず)を介してG第
1プリズム112が設けられている。また、このG第1
プリズム112とG第2プリズム114との間には、ハ
ーフミラー116が設けられている。
2,ダミープリズム110を透過してG第1プリズム1
12に入射する。G第1プリズム112に入射したGの
光は更にハーフミラー116に入射し、このハーフミラ
ー116で反射分割されたGの光は、ダミープリズム1
10と空気層を介して接するG第1プリズム112の入
射面118で全反射され、Gトリミングフィルタ14A
を介してイメージセンサDG1の結像面に入射結像す
る。そして、ハーフミラー116を透過したGの光は、
Gトリミングフィルタ14Bを介して他方のイメージセ
ンサDG2の結像面に入射結像する。
DG1に入射する光は、BやRと同様に2回反射されて
いるため、同様の正立像が得られるようになる。従っ
て、左右反転の必要はなく、4つのイメージセンサD
B,DR,DG1,DG2は同じ性能のものを使用する
ことができる。 (7)前記実施例では、PAL方式に対応したイメージ
センサを用いたが、それに相当するものであれば他の方
式のものを用いてもよい。
次のような効果がある。 (1)PAL方式などの比較的垂直解像度の低いイメー
ジセンサを利用してハイビジョンなどの解像度の高い画
像信号を得ることができるので、非常に安価で現実的な
高解像度のビデオカメラを得ることができる。 (2)また、周辺のデバイスも含めて一般的な汎用部品
を使用でき、技術的難易度も低い。
抽出してG画像に加えているので、高解像度の画像信号
を得ることができる。 (4)しかも、イメージセンサに対するマスク処理など
を必要としないので、開口率を高めることができ、結果
的に低照度においても良好なS/Nの鮮明な画像信号を
得ることができる。
ージセンサのイメージ領域を示す図である。
る。
の規定領域を示す図である。
を示す図である。
置関係を示す図である。
置関係を示す図である。
画面上で見た図である。
ある。
図である。
す図である。
タイムチャートである。
す図である。
ック図である。
る。
す図である。
6,77…ラインメモリ 65…信号処理回路(高域成分抽出手段,高域成分付加
手段) 78,80,81…切換スイッチ 82…出力制御部 DB,DR,DG1,DG2…イメージセンサ WW…ハイビジョンのイメージ領域
Claims (2)
- 【請求項1】 撮像光を色分解して、青,緑,赤の各画
像を得る色分解光学系; 通常解像度のテレビジョン方式に対応し、青の画像を撮
像するための青用イメージセンサ; 通常解像度のテレビジョン方式に対応し、緑の画像を撮
像するための緑用イメージセンサ; 通常解像度のテレビジョン方式に対応し、赤の画像を撮
像するための赤用イメージセンサ; を備え、 前記青用イメージセンサ及び前記赤用イメージセンサの
少なくとも一方の画素位置を、前記緑用イメージセンサ
の画素位置に対して相対的に垂直方向にずらした配置と
した撮像装置の前記青用イメージセンサ及び/又は前記
赤用イメージセンサから得られた画像信号から垂直方向
の高域成分を抽出する高域成分抽出手段; これによって得られた高域成分を、前記緑用イメージセ
ンサから得られた画像信号の一方のフィールドの画像信
号に付加する高域成分付加手段; を備えた画像信号処理装置。 - 【請求項2】 撮像光を色分解して、青,緑,赤の各画
像を得る色分解光学系; 緑の画像を第1及び第2の緑の画像に分割する分割光学
系; 通常解像度のテレビジョン方式に対応し、青の画像を撮
像するための青用イメージセンサ; 通常解像度のテレビジョン方式に対応し、赤の画像を撮
像するための赤用イメージセンサ; 通常解像度のテレビジョン方式に対応し、第1の緑の画
像を撮像するための第1の緑用イメージセンサ; 通常解像度のテレビジョン方式に対応し、第2の緑の画
像を撮像するための第2の緑用イメージセンサ; を備え、 前記青用イメージセンサ及び前記赤用イメージセンサの
少なくとも一方の画素位置を、前記第2の緑用イメージ
センサの画素位置に対して垂直方向に相対的にずらした
配置とするとともに、前記第1の緑用イメージセンサの
画素位置を、前記第2の緑用イメージセンサの画素位置
に対して水平,垂直の少なくとも一方向に相対的にずら
した配置とした撮像装置の前記青用イメージセンサ及び
/又は前記赤用イメージセンサから得られた画像信号か
ら垂直方向の高域成分を抽出する高域成分抽出手段; これによって得られた高域成分を、前記第1の緑用イメ
ージセンサ及び前記第2の緑用イメージセンサから得ら
れた画像信号の一方のフィールドの画像信号に付加する
高域成分付加手段; を備えた画像信号処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14118194A JP3259525B2 (ja) | 1994-05-31 | 1994-05-31 | 画像信号処理装置 |
US08/452,816 US5640206A (en) | 1994-05-31 | 1995-05-30 | Imaging apparatus including offset pixels for generating vertical high frequency component |
US08/773,930 US5726709A (en) | 1994-05-31 | 1996-12-30 | Imaging apparatus including offset pixels for generating vertical high frequency component |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14118194A JP3259525B2 (ja) | 1994-05-31 | 1994-05-31 | 画像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07327233A JPH07327233A (ja) | 1995-12-12 |
JP3259525B2 true JP3259525B2 (ja) | 2002-02-25 |
Family
ID=15286039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14118194A Expired - Fee Related JP3259525B2 (ja) | 1994-05-31 | 1994-05-31 | 画像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3259525B2 (ja) |
-
1994
- 1994-05-31 JP JP14118194A patent/JP3259525B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07327233A (ja) | 1995-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5726709A (en) | Imaging apparatus including offset pixels for generating vertical high frequency component | |
JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
US6292218B1 (en) | Electronic camera for initiating capture of still images while previewing motion images | |
JP2003032695A (ja) | 画像信号処理装置 | |
EP1173029A2 (en) | Color image pickup device | |
JP3259525B2 (ja) | 画像信号処理装置 | |
JPH06269010A (ja) | 色分解光学系,撮像方法,及び撮像装置 | |
JP3024492B2 (ja) | 撮像装置及び画像信号処理装置 | |
JP3767367B2 (ja) | 撮像装置 | |
JPH06339146A (ja) | テレビジョンカメラ | |
JPH0795595A (ja) | カラー撮像装置 | |
JP3734104B2 (ja) | 画像信号処理装置 | |
JP2001231052A (ja) | 固体撮像素子出力信号処理方法およびそれを用いたカメラ | |
JPH0974571A (ja) | 撮像装置及び画像信号処理装置 | |
JP3651477B2 (ja) | 画像信号処理装置 | |
JP2529698B2 (ja) | 固体撮像システム | |
JP3397398B2 (ja) | 撮像装置 | |
JP3658049B2 (ja) | 映像入力装置 | |
JPH08256345A (ja) | 撮像装置及び画像信号処理装置 | |
JP3515585B2 (ja) | 2板式撮像装置 | |
JP3406674B2 (ja) | 2板式撮像装置 | |
JPH0888778A (ja) | 画像走査装置 | |
JPS5885690A (ja) | 固体カラ−撮像装置 | |
JPS6243398B2 (ja) | ||
JPH07107497A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071214 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081214 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091214 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 10 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 10 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |