JPH06141246A - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JPH06141246A JPH06141246A JP5042402A JP4240293A JPH06141246A JP H06141246 A JPH06141246 A JP H06141246A JP 5042402 A JP5042402 A JP 5042402A JP 4240293 A JP4240293 A JP 4240293A JP H06141246 A JPH06141246 A JP H06141246A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- circuit
- interpolation
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
要とせず、かつ、可動部を持たず低コストで高解像度を
持つ撮像装置を提供することを目的とする。 【構成】本発明は、光路分割部1により結像された被写
体像を複数に分割し、撮像部2の撮像素子が、互いにエ
リアの一部を重なるように、ある程度の精度で配置さ
れ、各画像信号が画像記憶部3に一時的に記憶される。
画像記憶部3から読出された重なり領域の画像信号に基
づいて、変位量検出部4で検出された変換係数(回転量
R,ずれ量S)により、撮像素子の画素位置が表示画面
の所定画素位置に特定される。補間部5は、他の所定画
素値を複数の固体撮像素子の画素値に補間演算を順次用
いて、画素値を補正し、補間画像信号が得る。この補間
画像信号と、撮像素子の画像信号を合成し、表示部31
で高解像度表示が実現される。
Description
用いて高い解像度を得るようにした撮像装置に関する。
た撮像装置は、電子スチルカメラやビデオカメラ等に広
く用いられており、それらの解像度の高性能化が望まれ
ている。このような高性能化を図る技術として、第1
に、固体撮像素子の解像度を上げる手法と、第2に複数
個の固体撮像素子を用い、各々の撮像画像を合成するこ
とにより等価的に解像度を上げる手法の2つがある。
の画素数を増加させ、撮像素子自体の解像度を高性能化
するものである。つまり、1つ当りの画素の小面積化を
図り、高密度化もしくは集積化することにより、従来の
素子チップ面積で、画素数を多くするものである。
8079号公報に提案されているものがある。この従来
例は、図45に示すように、1つの光学像をプリズムに
よって4個の方向に分配し、この分配された光学像の互
いに異なる部分をそれぞれ受像する4個の撮像素子を具
備させ、各撮像素子の出力を合成している。
ような予め決められた位置を撮像するように位置決めさ
れている。また、特開昭63−191483号公報に
も、同様な撮像素子を4個用いた撮像装置が提案されて
いる。これは図47に示すように、それぞれの撮像素子
をある一定距離だけ離して同一面上に近接配置し、視野
像(波線)を間欠的に移動させて全視野の撮像を行って
いる。この移動には集光光学系を上下左右に動かしてい
る。こちらは特開昭60−248079号公報のものと
は異なり、プリズム等の光路分配手段は不要である。
術には次のような欠点を有する。
りの画素数を増加させ、撮像素子自体の解像度を高性能
化することになり、これには製造技術や感度の点で限界
がある。また、素子チップのサイズを大きくして画素数
を増やすこともできるが、従来の製造技術では、素子チ
ップ内に欠陥画素が発生する割合も高くなり、歩留が著
しく低下し、撮像面積の大きな固体撮像素子が得られ難
かった。
48079号公報では、4つの撮像素子から出力される
映像信号を合成し、入力光学像と同じ像を現す映像信号
を形成すると、その実施例に記載されるように、4つの
撮像素子の位置決めの精度が大変に厳しく必要になる。
互いに、1画素だけ離れるような位置関係に配置しない
限り、画像の重なりや欠落が生じてしまう。また、互い
に回転して取り付けられているような時には、各領域が
完全に不連続となってしまい、大変に見ずらい合成画面
となってしまう。
めに非常に手間がかかり、生産性を低くし、コスト高に
も影響する。
号公報も同様に、各素子の位置決めは、非常に高精度が
要求される。さらに、この場合は、集光光学系をも駆動
させることから、その駆動精度も要求される。またこの
ような駆動装置を設けることは製品の小型化が難しく、
更なるコスト高を招いている。
めに用いる複数の撮像素子の位置決め精度がそのまま画
質に影響するため、この位置決めのために高価な位置決
め装置を導入し、時間をかけて精度出しを行う必要があ
った。これはそのままコスト高となり、電子スチルカメ
ラが普及しない原因ともなっている。また、光束を移動
するための部材を設けることは小型,軽量化には不利と
なっている。
めにより画素が形成でき、且つ、可動部を有せず低コス
トで高解像度を持つ撮像装置を提供することを目的とす
る。
するために、被写体像を複数に分割する光路分割手段
と、前記光路分割手段により分割された画像数に対応
し、該画像が互いにオーバーラップする領域を有するよ
うに配置され、各画像を光電変換する撮像素子からなる
撮像手段と、前記撮像手段からの画像信号を記憶する画
像記憶手段と、前記画像記憶手段から読出された前記オ
ーバーラップする領域の画像信号からオーバーラップし
ている撮像素子の画素位置と所定画素位置の関係を検出
し、前記位置関係を表す変位量係数に基づき、前記画像
記憶手段から読出された画像信号を補間して補間画像信
号を生成する補間手段と、前記補間手段からの補間画像
信号と前記画像記憶手段から読出された画像信号を合成
する画像合成手段とで構成される撮像装置を提供する。
子が出力する画像信号に、予め算出した換算係数に基づ
き、補間演算を施し、前記複数の撮像素子の画素が正確
に位置合わせされていない場合においても、表示する画
面の画素位置の画像信号を再生して高解像度の画像が再
生表示される。
に説明する。
的な構成を示し、概要を説明する。本発明の撮像装置に
おいて、光路分割部1により撮像レンズ6で結像された
被写体像を複数に分割する。
CMD8,9等の固体撮像素子からなる撮像部2は、図
1(b)の概念図に示すように互いにエリアの一部がオ
ーバーラップする(重なる)ように、ある程度の位置決
め精度で前記光路分割部1に配置される。これらの撮像
部2により光電変換された各画像信号はフレームメモリ
等の画像記憶部3に一時的に記憶される。
部3から読出されたオーバーラップ領域の画像信号に基
づいて、撮像素子の画素位置と所定画素位置(表示する
画面の画素位置)の位置関係を検出する。例えば、所定
位置の画素値は、撮像素子の画素値に相関演算を用い
て、“回転量R”と“ずれ量S”を変換係数として算出
する。この変換係数に基づき、撮像素子の画素位置が変
換され、所定画素位置が特定される。
き、前記所定画素に近傍する所定画素値を複数の固体撮
像素子の画素値に補間演算を順次用いて、その他の所定
画素の値の補正して、補間画像信号が得られる。このよ
うな補間画像信号と、前記画像記憶部からの画像信号を
画像合成部7により合成して、連続した画像信号として
表示部31により高解像度の画像表示が実現される。
リアa(M×N画素)と撮像素子9の撮像エリアb(M
×N画素)と被写体を画像として表示するエリア(被写
体撮像エリア)cとを模式的に表したものである。
丸で示している。よって、前記被写体撮像エリアa,b
は、2つの撮像素子の撮像エリアによって完全にカバー
され、この場合には、撮像エリアaの画素位置と被写体
撮像エリアcの画素位置とが一致している。
w画素を持ち、重なり部分としてオーバーラップエリア
(重なり部分)dが存在している。つまり、このオーバ
ーラップエリアdの画像信号から、各撮像素子8,9で
撮像されるエリアの位置関係(ずれ量と回転量)が導き
出される。
を導き出すために、白丸で示される位置(d11,d21〜
d(u+v)w)の画素値が必要になる。前記エリアc内の画
素dij(i=1〜u,j=1〜w)については、撮像素
子8から検出された画素値をそのまま用いられる。
u+v,j=1〜w)においては、撮像素子9の黒丸で
示される4つの画素の値から前記白丸の画素の値が補間
により求められ、補間係数が前述した位置関係(ずれ量
と回転量)から得られる。例えば、図2(a)の破線で
囲まれた領域(図2(b))に示すように、白丸画素A
の画素値は、前記撮像素子9で撮像される近傍の黒丸画
素B,C,D,Eの画素値から補間演算によって求めら
れる。
画素値を算出するため、前記撮像素子8,9の取り付け
精度は、撮像を所望するエリアをカバーして、適当なオ
ーバーラップを設ければよく、数画素ずれについても全
く問題ない。従来例のように1画素以下の精度を得る必
要がないため、製造が大変に容易になり、低コスト化が
実現できる。さらに、視野像を移動させるための光学部
材等も不要である。
しての撮像装置の具体的な構成を示し説明する。
像された被写体像の光束を2つに分けるように2個の直
角プリズムが接合されたハーフプリズム1aがもうけら
れている。前記ハーフプリズム1aの上面と背面には、
例えば、CMD(Charge Modulation Device)等の2次
元固体撮像素子8,9が、前述したように、撮像するエ
リアにオーバーラップ部分を持つように配置され、CM
Dドライバ32により制御されている。
号は、プリアンプ10,11により増幅され、ローパス
フィルタ(LPF)12,13によりノイズ成分を除去
し、A/D変換器14,15でディジタル信号に変換さ
れ、減算器16,17に入力される。
め記憶される前記CMD8,9の固定パターンノイズ
(Fixed Pattern Noise )を読出し、前記減算器16,
17にて、画像信号からFPNが減じられ、信号処理回
路(Signal Procesor ;SP)20,21により、γ補
正や輪郭強調が行われる。
2,23に記憶される。これらのフレームメモリ22,
23から読出された画像信号は、変位量検出回路24に
CMD8,9のオーバーラップエリアの変位量(変換係
数R,S)が検出される。ここで、変換係数Rは回転に
よる回転マトリクス、変換係数Sは平行移動によるずれ
ベクトルを表すものとする。
5により前記フレームメモリ23から読出された画素値
を補間し、さらに、パラレル−シリアル(Parallel-Ser
ial;PS)変換回路29で変換する。その出力信号
と、前記フレームメモリ22から読み出される出力信号
を連続した画像信号としてフレームメモリ30へ書き込
む。前記フレームメモリ30から読出された信号を表示
する表示部31が設けられている。また、CMDドライ
バ32、FPN記憶メモリ18,19、フレームメモリ
22,23、補間回路25及び、PS回路29は、シス
テムコントローラ33により制御される。
補間回路25の具体的な回路構成を示し説明する。
a,24b、及び係数算出器24cにより構成される。
フレームメモリ22,23から読出された画像信号は、
共に各相関器24a,24bに入力され、それぞれ相関
演算が行われた後、係数算出器24cにより、CMD
8,9(図示せず)のオーバーラップエリアの変位量
(変換係数R,S)が検出される。
された変換係数R,Sは、それぞれメモリ26,27に
記憶される。前記メモリ26,27から読出された変換
係数R,Sは、座標変換回路35に入力される。
れた位置の座標値X1 が、座標選択回路34を介して前
記座標変換回路35に入力し、前記変換係数R,Sと座
標値X1 が所定変換式(後述する(10)式)により、
CMD9上での対応する座標値X2 に変換される。この
座標値X2 はデータ読出回路36及び、補間係数算出器
37に出力される。
標値x2 に基づいて得られた座標値の画素値vb ,
vc ,vd ,ve を読み出し、補間係数算出器37から
出力される補間係数a,b,c,dを利用し、線型補間
演算回路38の乗算器39、及び加算器40により、線
型補間演算が行われ補間値va を出力する。
あたって、回転及び平行移動の基準点の設定が重要とな
る。
8のオーバーラップエリアの中心を回転および平行移動
の基準点としている。図示されるオーバーラップエリア
は、CMD8,CMD9が正確に位置決めされた時に、
ぴったりと重なるエリアに相当している。そして位置C
1 ,位置C2 は、それぞれ前記CMD8,9のオーバー
ラップの中心を示している。つまり、前記CMD8とC
MD9の位置ずれを位置C1 と位置C2 とのずれ量(変
換係数Sに相当)と、位置C1 まわりの回転量(変換係
数Rに相当)とによって表すことができる。
ップエリア内において、位置C1 を対称の中心とする位
置P1 ,P2 でのずれベクトルv1 ,v2 から求めるこ
とができる。つまり、前記ずれベクトルv1 ,v2 は、
回転によるずれベクトルrと平行移動によるずれベクト
ルsによって、図6を参照して、次式のように表すこと
ができる。
ら求められることから、θが求められ、回転マトリクス
Rも求められる。
トルv1 ,v2 から、回転マトリクスRと平行移動によ
る変位ベクトルSとが求められ、変換係数R,Sとし
て、それぞれメモリ26,27に記憶される。
案されているが、ここでは図7に示すようにCMD8の
参照エリアr1 ,r2 をCMD9のサーチエリアS1 ,
S2内でその絶対値和が最小となる位置を検出すること
によってなされる。こうして求められた位置x1 ,y1
がベクトルv1 をx2 ,y2 がベクトルv2 を与える。
このx1 ,y1 ,x2 ,y2 は、係数検出器24cに与
えられ(3),(4),(6),(5)式を順次用いる
ことにより、回転マトリクスRと変位ベクトルSが求め
られる。なお、ここで変位ベクトルS=(Sx ,Sy )
とする。
5の動作について説明する。
ントローラ33により与えられる位置の画素値を、フレ
ームメモリ23によって読み出された4つの画素値を用
いて、線型補間演算により求めている。
ついて図8を用いて説明する。同図において、画素Aの
値va を画素B,C,D,Eの画素値vb ,vc ,
vd ,ve を用いて求める。Aを通り垂直に伸ばした線
とBC,DEとの交点をそれぞれF,GとすればF,G
での画素値vf ,vg はBF=DG=m,FC=GE=
nとして、
を“1”とすれば、m+n=p+q=1となるから、
(7)a,(7)b,(8)式より、
り、画素値va は、m,pの値と4つの近傍画素値から
ただちに求められる。
この実施例では、CMD8のオーバーラップエリアの中
心C1 を座標の原点とし、画素の位置をx1 と表すもの
とする。また、CMD9のオーバーラップエリアの中心
C2 を座標の原点とし、図9に示すように画素位置をベ
クトルx2 で表すm,pを求めるためには、まずベクト
ルx1 で表わされる座標値をベクトルX2 で表す必要が
ある(座標変換)。ここで、ベクトルx1 =(i1 ,j
1 ),ベクトルx2 =(i2 ,j2 )とおき、ベクトル
x1 とベクトルx2 は、座標軸が異なるものとする。さ
て、ベクトルx1 ,x2 は、
で表すと、
れる座標はCMD9上では、
画素Aの座標を与えることに相当するため、m,pは、
画素B,C,D,Eの座標も同様にして、
において、変換係数R,Sの算出を撮像装置の製造時に
行い、補間回路25のメモリ26,27に一度記憶して
おけば、変位量検出回路24により再度検出する必要は
なく、記憶された変換係数R,Sをその都度読み出せば
よい。
4を利用することはなく、通常は工場で取り外しされ、
撮影に使用される。
たい被写体をファインダー内に置き、撮影を行うと、フ
レームメモリ22,23にその画像信号が記憶される。
れて、フレームメモリ30に図2に示したd11〜d
(u+v)wまでの(u+v)×w画素が出力する動作につい
て説明する。ここで、図2に示した(u+v)×w画素
の撮像素子4の撮像エリアが図3に示したCMD8の撮
像エリアに、同様に撮像素子5の撮像エリアがCMD9
の撮像エリアに相当するものとする。
〜u,j=1〜w)までは、前記CMD8上の画素と一
致しており、その対応画素を読み出す。残りのdij(i
=u+1〜u+v,j=1〜w)については、前記CM
D9の画素を補間して用いる。
u+v,j=1〜w)をシステムコントローラ33から
補間回路25内の座標選択回路34へ与える。この座標
選択回路34では、CMD8のオーバーラップエリアを
中心とした座標値x1 として座標変換回路35へ出力す
る。
1 と前記メモリ26,27にそれぞれ記憶されている変
換係数R,SからCMD9上での座標値x2 を(10)
式に基づいて算出する。前記データ読出回路36では、
座標値x2 から近傍4画素の座標を(12)式を用いて
算出し、対応する画素値vb ,vc ,vd ,ve をフレ
ームメモリ23から読み出す。
2 より(11)式により、m,pを求め補間係数a,
b,c,dを算出する。そして、線型補間演算回路38
ではこのvb ,vc ,vd ,ve とa,b,c,dより
(9)式に基づいた演算を行い、dijの画素値va を算
出しPS回路29を介し、フレームメモリ30の所定の
アドレスに書き込み、再生画像を表示部31で表示す
る。また常に補間演算しつつ出力する場合には、前記フ
レームメモリ30を省いてもよい。
算を用いることにより、複数の撮像素子が正確に位置合
わせされていない場合においても、高解像度の撮像を行
うことができる。そして、高精度な位置合わせが不要な
ため、低コストに製作することができ、特に機械的な可
動部を必要としないため、撮像装置の小型化,軽量化に
有益である。
を製造時に取付け、変換係数をメモリに記憶した後、そ
の位量検出回路24自体を取りはずしたが、コネクタ等
をカメラ本体に設けて、着脱自在としてもよい。さらに
補間演算としては、近傍4画素を用いた線型補間演算を
用いたが、これに制限されるわけでなく、スプライン補
間やSinc補間など、より高度の補間演算を用いても
よい。
としての撮像装置の構成を示し説明する。前述した第1
実施例においては、撮像時に(9−b),(10),
(11),(12)式に基づく演算を行うため、計算量
がかなり大きなものとなる。そこで第2実施例は、撮像
毎に実施される(9−b),(10),(11),(1
2)式の演算を省略するように構成される。
回路24と補間回路25の換わりに、第2実施例では補
間係数書き込み回路28と補間回路25aを用いてい
る。ここで、図10に示す第2実施例の構成部材で図3
の構成部材と同等の部材には、同じ参照符号を付してそ
の説明を省略する。
た変位量検出回路24と座標変換回路35と補間係数算
出器37と、さらにデータアドレス検出器41との機能
を有するように構成され、座標変換回路35では(1
0)式の演算が、前記補間係数算出器37では(1
1),(9−b)式の演算が、データアドレス検出器4
1では(12)式の演算が各々行われる。
た補間に用いる画素の座標値は、データアドレスメモリ
42に記憶され、補間係数算出器37で算出された補間
係数a,b,c,dは、各々係数aメモリ43、係数b
メモリ44、係数cメモリ45、係数dメモリ46に記
憶される。
34とデータ読出し回路36b、線型補間演算回路38
を有している。
ていた座標変換演算((10)式)、補間係数算出演算
((11)式,(9)b式)、座標計算((12)式)
を製造時に行い、それらの演算結果のデータをメモリ4
2〜46に記憶させている。
間演算回路38によって行われる(9−a)式の演算の
みになる。
にデータのアドレスメモリ、係数メモリを設けることに
より、演算量を飛躍的に少なくし、連続的な撮像による
画像信号の処理が十分に実施可能になる。
と同様に補間係数書き込み回路28を製造時のみ取り付
けて、データの算出,記録させた後、取り外しても、脱
着可能にしてもよい。
第3実施例としての撮像装置の構成を示し説明する。こ
こで、図14に示す第3実施例の構成部材で図3の構成
部材と同等の部材には、同じ参照符号を付してその説明
を省略する。
光像をハーフプリズム1により分割していたが、ハーフ
プリズムを用いると、その光量が半分無駄になるという
欠点を有している。
前記プリズムの一部にコーティングを施し、図11
(a),(b)に示すように透過率を変化させた半透過
形プリズムを用いる。
上の被写体を撮影する(撮像が光軸上にある)場合の光
束を示し、斜線部分がプリズムの反射領域で反射される
光束を表している。また、同図(b)は光軸上以外の被
写体を撮影する場合でCMD9の端に結像する光束を表
している。
に比例することから、図11(a)に示すように撮像エ
リアで一様な光束を撮像した場合は、CMD8,9の光
量分布が図12に示すようになる。つまり、撮像の位置
に応じて、前記CMD8,9が受光する光量の割合が異
なり、光軸位置を中心とした対称な形状になる。なお、
光軸位置ではハーフプリズムを用いた場合の光量と等し
くなる。
の撮影では必ずしも被写体が光軸上にあるわけでなく、
撮像エリア、特にオーバーラップエリアにおいて、光量
分布が異なっている。
検出できず、誤差を含み検出される。また、画像に明る
さのむらが生じる等の影響がでるため、その光量分布の
補正が必要となる。
うな光量補正回路47,48を設けている。この光量補
正回路47,48は、図13に示す図12の逆数の光量
分布に示すように、撮像エリアに応じて画像信号を増幅
し、光量分布が均等になるように光量の補正を行う。ま
た、プリズム1bは、図11に示した透過率の異なる半
透過形プリズムである。また前記光量補正回路47,4
8は、ルックアップテーブルで構成してもよい。
手段として透過率の異なるプリズムを用いて、光量の損
失が少なくしており、暗い被写体等の撮影に好適する。
としての撮像装置の構成を示し、図16には本実施例の
特徴部分になる光路分割部のプリズムのかわりにセパレ
ータレンズを用いた場合の構成を示し、説明する。ここ
で、図15に示す第4実施例の構成部材で図3の構成部
材と同等の部材には、同じ参照符号を付してその説明を
省略する。
各撮像素子CMD8,CMD9上に結像する光束を示し
ている。同図(a)は、光軸上に被写体(物点)がある
場合について示し、同図(b),(c)は、光軸上以外
に物点がある場合を、それぞれCMD8の上端及びCM
D8の下端に結像する光束を示してある。このように、
互いにオーバーラップ領域を持つように画像が結像する
ことがわかる。尚、セパレータレンズ1cとCMD8,
9との間には、遮光板50を設けて、分割された光束が
混入しないようにする。
の光量分布と同様に、物点が光軸上に位置しない場合に
は、光量の分布が変化してしまう。つまり前実施例と同
様に光量補正回路47,48が必要となる。また、図1
5には、図16に示したセパレータレンズ1c及び遮光
板50を用いている。
割にプリズムのかわりにセパレータレンズを用いるた
め、光路分割部の小形化が容易にできる。
ての撮像装置の構成を示し、説明する。ここで、図17
に示す第5実施例の構成部材で図3の構成部材と同等の
部材には、同じ参照符号を付してその説明を省略する。
すように、画素dij(i=(u+1)〜(u+v),j
=1〜w)が補間演算されて、それらの画素値が算出さ
れ、他の画素は、CMD8で受光した信号そのものを用
いていた。
める場合には、多少の画像劣化があり、画面の右半分と
左半分での解像度が異なることが生じる。そこで、第5
実施例は、画面全体を均等な解像度にするものである。
体撮像エリアをCMD8及びCMD9で撮像されるエリ
アに対し等しく傾かせる。つまりCMD8とCMD9
が、角度θだけ異っている場合、その撮像エリアはCM
D8,CMD9に各々θ/2だけ異なる位置に設定す
る。そして、図中の破線より左側の画素(dij;i=1
〜(u+v)/2,j=1〜w)についてはCMD8の
画素を用い、破線より右側の画素(dij;i=(u+
v)/2+1〜u+v,j=1〜w)については、CM
D9の画素を用いて補間演算により画素値を算出する。
の被写体撮像エリアが水平垂直に対して傾いている場合
の補正のために、撮像素子の回転機構部49を設けてあ
る。この回転機構部の回転量は変位量検出回路24の出
力R,Sに応じて決められている。また、本実施例では
CMD8の画像信号の出力に対しても補間処理を行うた
め、もう1つの補間回路25を有している。
2つの撮像素子の撮像されるエリアから均等に傾けるこ
とにより画面全体に同じ解像度の画像を得ることができ
る。なお、本実施例において用いた回転機構部49は前
述した第1乃至第4実施例において、それぞれ用いても
よい。
しての撮像装置の構成を示し、説明する。ここで、図1
9(a)に示す第6実施例の構成部材で図3の構成部材
と同等の部材には、同じ参照符号を付してその説明を省
略する。
て図19(b)に示すように、画素数が1000×40
0のCMD51,52,53,54を4個用いて構成し
ている。各撮像素子の画素数は、汎用タイプのNTSC
用の撮像素子と同程度になるため、HDTV用の撮像素
子(1920×1035)よりもはるかに歩留は良く製
造できる。そしてこのCMDを図19(b)に示すよう
に、CMD51を基準にして並設し、CMD51,5
2,53,54が互いにオーバーラップ領域a,b,c
を持つように、ハーフプリズム1dに配置してある。
オーバーラップ領域a,b,cの画像信号から各CND
の変位量(ずれ量S,回転量R)を検出し、変換係数を
各補間回路へ出力する。
ーフプリズム1dを用いたが、第3実施例と同様、透過
率の異なるプリズムを用いてもよい。また、第2実施例
同様に補間回路25内部に補間係数メモリを設けてもよ
い。
よる第7実施例としての撮像装置の光路分割部の構成を
示し説明する。この図20には、第7実施例の特徴部分
のみを示し、残りの構成は、第6実施例と同等である。
1dを用い、4つの撮像素子を利用したが、第7実施例
では、他の光路分割部について説明する。この光路分割
部によって撮像されるエリアについては、図23に示
す。
0,61とビームスプリッタ63の組み合わせにより、
撮像レンズの光路を4分岐し、CMD55〜58上に画
像を結像させる例である。また、図20(a)の光路分
割部を真横からみた状態を図21(a)に示し、真上か
ら観た状態を図21(b)に示す。
し、さらにこれを後続のプリズムで上下に2分岐して、
結果的に光路を4分岐している。プリズムは、直角プリ
ズムを接合して作られており、その接合面の上半分が全
反射ミラーのコートが施されている。
ム60,61を偏心した一対のレンズ64,65に置き
換えたものである。前記楔形プリズム60,61では、
光路を屈曲する働きのみであったが、偏心レンズ64,
65には、光路屈曲の作用に加え、結像作用が有り、撮
像レンズ6はアフォーカル光束を射出するタイプのもの
が利用できる(図22参照)。しかも、このような偏心
レンズ64,65を用いる場合には、撮像レンズ6と光
路分割部1との配置する位置、距離等が厳密でなくても
よく、装置組み立てが容易になる。なお、この第7実施
例では、偏心レンズ64,65に色消しのダブレットを
用いているが、レンズ構成としてはこれに限定されな
い。
ズム66,67,68,69で構成される光路を分岐す
る光路分割部1を示す。
7,68,69を中央が最も窪むように配列し、撮像レ
ンズ6の光路が、これらのプリズムにより、左上,左
下,右上,右下に4分割される。なお、楔形プリズムは
分岐の異なる硝子を接合して成る色消しプリズムを用い
ている。また撮像レンズ6に射出側テレセン光学系を用
いれば、楔形プリズムにて光路が屈曲しても像歪みが生
じないため、画像の合成に好適する。
ズムを4個の偏心したレンズ70,71,72,73に
置き換えた例を示す。図20(b)の光路分割部と同様
に、この例においても、撮像レンズ6はアフォーカル光
束を射出するタイプのものが好適する。
レンズを用いた場合には、前述した光量補正回路を設け
る必要がある。
撮像素子を用いた実施例について説明したが、固体撮像
素子としてはCMDに限らずCCDやAMI等を用いて
よいのは当然である。たとえば、一般に普及しているN
TSC用のCCD撮像素子(画素数768×480)を
用いれば、約1400×800画素の高解像度撮像を行
うことができる。また、PAL用の撮像素子(画素数8
20×640)を用いればより高解像度の撮像が可能で
ある。
しての構成を示し、説明する。ここで、図24の構成
は、第8実施例の特徴部分のみを示し、以外の構成は、
図3に示した第1実施例と同等である。
像素子を4個用いたが、その個数に制限があるわけでな
く、第8実施例として例えば、図24に示すように多数
個のレンズ(レンズアレイ)74と撮像素子アレイ75
を用いることもできる。この場合、各撮像素子1つ1つ
に対して1つのレンズを対応させ、それぞれオーバーラ
ップ領域を持つように撮像が行われる。また前記レンズ
アレイ74において、レンズ以外の領域は遮光されてい
る。
レス加工により低コストに作成することが可能である。
したが、CCDやMOS等のその他の撮像素子を採用し
てもよい。
までの撮像素子の位置合わせについて説明する。第4実
施例から第8実施例においては、複数の撮像素子が隣接
しており、パッケージに封止される通常の状態では、図
16に示すような位置にCMDを配置することはできな
い。
施例を示し説明する。
MD81,82をベアチップのまま実装した例であり、
図26は、そのA−A′断面図を示す。前記CMD8
1,CMD82は、前記セラミック基板80に形成され
た溝に嵌め込み、接着材83で固着する。前記溝の上部
には、接着材83を装着させるために、面取りされてお
り、下部には位置決めの凹部が形成されている。前記C
MD81,82の各電極は、配線84でセラミック基板
80上の電極にボンディングされ、撮像素子の外部部材
とは端子85を介して行なわれる。
パターンでもよいし、図27に示すように金属端子86
を設けてもよい。
ける理由は、溝に前記CMD81,82を嵌め込むだけ
で、ある程度の位置決めができ、図18に示した有効画
素エリアを広くすることができる。さらに前記CMD8
1,82の側面に接着材83を流した理由は、ベアチッ
プの裏面で光軸方向の位置調整を行うためであり、通常
のようにCMDの裏面に接着材をつけると、接着材によ
り傾きや光軸方向の位置がずれてしまうからである。
板80の裏面側より穴87をあけて接着材88で固着し
てもよい。この方法では接着材が受光部を覆う可能性が
なくなり、固着の作業が簡単に行うことができる。
又は水晶フィルタに取りつける場合には、図28に示す
ようにセラミック基板80の両端にスペーサ部90を設
けて固着すると、ワイヤーボンディングした時の配線9
1に負荷が掛からない。これは、ワイヤーボンディング
の高さをh、スペーサの高さをHとすると、H>hの関
係に設定すればよい。
として、図29に示すように、レール上の溝に斜線で示
すスペース部のあるベアチップを設け、複数個のベアチ
ップをあてつけ、水平方向の位置決めを行い、固着す
る。
例を第6実施例の撮像装置に適用した場合を示す。図3
0(a)は側面図、同図(b)はB方向からの矢視図、
同図(c)は、同図(a)のA方向から見た矢視図を示
す。図30(c)に示すように、スペーサ部90を設け
て、配線(ボンディングワイヤ)91を保護している。
図31は図29に示すマウント例の他の例であり、後
置の直角部材92によってセラミック基板80を固着
し、さらに該セラミック基板80にプリズム93を固着
している。その際プリズム93とセラミック基板80と
の距離は、図28のスペーサの高さ“H”である。
の撮像装置の具体的な構成を示し、説明する。本実施例
は、図14に示した構成に、さらに合成回路を加えたも
のであり、構成部材で図14に示す部材と同等の部材に
は同じ参照符号を付して、特徴部のみを説明する。
3に示すように、合成する対象画像の各画素値f,gを
画素値変換部122及び画素選定部123にそれぞれ入
力し、前記画素選定部123では、出力画像に対応する
画素位置を示すベクトル(座標値)X1 に基づき、つな
ぎ目の近傍の画素を選定し、前記画素値変換部122に
より該当する画素値の変換が行なわれる。
ないように行われる。たとてえば図34に示すように、
重なる領域内で位置に応じて画素値を変換する。また、
この合成回路は図35に示すように構成でき、入力画像
fとgに対して、係数設定部124で設定された重み係
数aとbを、乗算部125a,125bでそれぞれに掛
けて、加算部126で和を取り、この結果を出力画像と
する。
設定は、図36に示すように、重なる領域以外ならば、
“1”又は“0”で重なる領域以内ならば、線形的に変
化させる。X1 は画像の合成方向の座標である。また、
P2 −P1 は重なる領域の長さである。
の場合、入力画像f又はgの値をそのまま出力させて、
重なる領域以内であれば、画像fに対する係数aの値
が、“1”から“0”まで、画像gに対応する係数bの
値が“0”から“1”まで、それぞれ線形変換させ、こ
の2つの係数効果の足算を出力画像とすることにより、
繋ぎ目近傍の輝度を滑らかに変換でき、撮像センサ間で
の感度のばらつきが主たる原因になる輝度の不連続性が
解消される。さらに、相関検出、補間処理により、繋ぎ
目において幾何的な不連続性が起こされた場合でも、有
効である。
に対して、輝度差と幾何的な差をある程度解消すること
ができる。
にて、バイアスゲインの補正と併用する様にしてもよい
次に第10実施例として、補間回路の補間演算として線
形補間等を用いた場合に、生じる画像の劣化を防止すべ
く、構造強調回路を用いた例を以下に示す。
しての撮像装置の具体的な構成を示す。本実施例は、図
32に示した構造に、さらに補間により劣化した画像を
復元するために構造強調回路127を付加した回路であ
り、構成部材で図32と同等の部材には、同じ符号を付
して、特徴部分を説明する。
ディジタルフィルタ等の局所オペレータを用いて、ラプ
ラシアンを計算する。すなわち、第1の手法として、原
画像からそのラプラシアンを計算する。
シアンオペレータとする。ここで、重み係数としては、
例えば図39(a)〜(c)に示したオペレータが使用
される。
入力画像 ここで、h(x,y)は、例えば入力画像に対する線検
出オペレータなどが用いられる。
調フィルタを用いる。
成分の値を強調するフィルタを通して、逆フーリエ変換
を行う。
な強調効果をもたらすために、基準とする画像fの各画
素をシフトして(例えば、1/2ピクセル、または1/
3ピクセル程度)、補間を行い、合成回路121を通過
させた後、構造強調を行うようにしてもよい。
としての撮像装置の構成を示す。これらの実施例は、基
準画像を利用して、変異料の検出を行う。
作成し、各直線の交点[図42(a),(c)]、又は
点[図42(b)]の位置を正確に測る。
1つの基準画像に対して、撮影を行い、得られた左右の
画像から、基準パターン検出変位量計算回路130.1
31により、それぞれ基準パターンを検出し、前述した
予め計測された位置情報を用いて、左右の画像にそれぞ
れ該当する変位量(シフト値と回転角度)を計算する。
これらの変位量を変位量メモリ132,133に記憶さ
せる。以後、図41に示すように、変位量メモリ13
1,132に格納されているそれぞれの変位量情報を用
いて、第10実施例と同様に処理する。
線化(図42(a),(c))、線の近傍追跡、重心検
出(図42(b))などの特徴抽出手法を使える。ま
た、基準パターンの種類は、図42に示した以外にも、
多く存在し、基本としては、左右の画像に対して、それ
ぞれの変位量(シフト値と回転角度)が求められること
である。
る領域が小さく、相関演算による変位量の検出ができな
い場合にも、基準画像を用いることにより、変位量検出
が可能になる。
像装置の構成を示し説明する。
準パターンフィルタ135を付設することを特徴とす
る。前記基準パターンフィルタ135は、図43に示す
ように、重なる領域の上、下端線の近くに1個ずつパタ
ーンを設け、画像と共に読み込まれる。読み込まれた左
右の画像に対して、基準パターン検出変位量計算回路1
36により、それぞれの基準パターンを重なる領域の両
端線の近くの領域から検出し、左右画像の相対変位量が
求められる。以後の処理は、第10実施例と同じであ
る。この基準パターンフィルタは、例えば、銀塩フィル
ムを被写体にする場合等に有効であるなお、基準パター
ンの検出は、細線化(図43(a))、線の近傍追跡、
重心検出(図42(b))などの特徴抽出手法を用いる
ことができる。
右の画像の相関点をより早く検出することができる。ま
た、相関点を検出しにくい画像にも適用されることであ
る。また、この基準パターンフィルタを、出し入れ可能
にしておくことにより、システムの校正が簡単に行うこ
とができる。
例としての撮像装置の具体的な構成を示す。本実施例は
図37に示した構成に、更に回転量判定120と回路選
択回路121と、回転補間回路123を加え、同一方向
への3枚以上の画像の合成に適用する。
量Rは回転量判定回路120に送られ、合成処理の後の
選択が行なわれる。この選択は予め設定された閾値によ
って判定する。例えば、図48(a)に示すように検出
された回転量Rが閾値により大きければ、選択回路12
1が端子Aをオンさせ、合成された画像が回転補間回路
123を通り、図48(b)に示すように、−R回転し
て出力し、次の画像と合成処理を行う。しかし、検出さ
れた回転量Rは閾値により小さければ、選択回路121
が端子Bをオンさせ、そのままフレームメモリ30に出
力する。
は、図48(a)に示した様に、合成する画像の枚数が
多くなると、基準になる左側画像と、これから合成すべ
き右側画像との間の相対回転角度が増々大きくなり、相
関で誤検出する可能性がある。このミスマッチングを防
止するために、今回合成された画像に対して、相関の回
転量Rをチェックし、設定された閾値(例えば、5度)
と比較する。大きければ、合成された画像を−R回転
し、次の画像と合成処理を行う(図48(b))。 従
って、本実施例は、回転量判定回路120と、選択回路
121及び回転補間回路123を加えることによって、
3枚以上の画像を合成する場合に適用すると、回転量に
よる選択的な補正が行なわれ、相関検出の失敗やミスマ
ッチングが防止される。
しての撮像装置の具体的な構成を示す。本実施例は図3
7に示した構成に、更に境界線端点検出回路を加え、同
一方向への3枚以上の画像の合成に適用する。
左側画像データが境界線端点検出回路125に送られ、
そこで画像の右側の境界線の両端点A,Bを検出し、横
方向に小さい座標値を持つ端点が合成回路7に送られ
る。この合成回路7において、送られた端点の横方向の
座標値が図35,図36に示した繋ぎ目処理の右端点と
する。
ように、合成する画像の枚数が多くなり、合成された画
像の右側の境界線が斜めになる場合がある。引き続き次
の画像と合成する時には、図35,図36に示した繋ぎ
目処理の時に、不都合な部分が発生してしまうことを防
止する。この不都合な部分は、重なる領域の中心がその
まま繋ぎ目処理の中心として使うためである。
出回路を用いて、左画像の右側の境界線の両端点を検出
し、横方向に小さい座標値を持つ端点Aを合成回路7に
送る。図50(b)に示すように、この点を繋ぎ目処理
領域の右端点とし、繋ぎ目処理の中心線は重なる領域の
左端点からこの点までの中心とする。従って、繋ぎ目処
理で不都合な部分の発生を解消できる。
出回路125を用いて、基準となる左側画像の右境界線
の両端点を検出し、横方向に小さい座標値を持つ端点が
繋ぎ目処理領域の右端点とすることによって、繋ぎ目処
理の不都合な部分が解消される。
例としての撮像装置の構成を示す。本実施例は、16枚
の4000×500のCMDを用いて、お互いに約60
画素の重なる領域を設け、合成処理によって4000×
6000の銀塩フィルム並の解像度の画像が得られる装
置の一例である。
すように構成される。第2合成処理部は図54に示すよ
うに構成され、入力側の1つは第1合成処理部と同様な
CMD撮像素子からの画像信号で、もう一つは、前回合
成された画像データ(メモリに格納している)が直接、
変位量検出回路24に入力する。さらに実施例14と同
様に、繋ぎ目処理の不都合な部分を解消するため、境界
線端点検出回路125を加える。
素子から得られた各画像信号に対し、順次に15段階の
合成処理を行ない、4000×6000の銀塩フィルム
並の解像度画像が得られる。
子を用いて、多階段の合成処理によって超高解像度の画
像が得られる。
例としての撮像装置の構成を示す。この撮像装置におい
て、第1合成処理部は、前述した第15実施例と同等で
あり、第3合成処理部は図56に示すように構成され
る。
回の合成処理の結果で、それぞれ置いたメモリから直
接、変位量検出回路24に入力する。また、繋ぎ目処理
の不都合な部分を解消するため、境界線端点検出回路1
25を設ける。
ない、全体の処理時間を短縮させることを特徴とする。
この第16実施例によれば、前述した第15実施例の順
次15段階の合成処理と比べると、4段階で高速処理さ
れる。
×500画素の16個CMDを使ったが、これに限ら
ず、必要に応じて、撮像素子の大小や数を自由に選択す
ることができる。
ロジェクタに応用した一例を説明する。このプロジェク
タの外観図を図57に、そのプロジェクタの構成図を図
59に示す。また、ハーフプリズム近傍の構成図を図5
8に示す。
した複数の画像をプロジェクタ126で投射し、スクリ
ーン127上で合成することで、このLCDの取り付け
に誤差があってもこれを補正する機能を有する。
8には、LCD129,130.131がそのスクリー
ンへの投影像が重複領域を有するように配置されてい
る。また、光の射出側には水晶フィルタ132が配置さ
れている。この水晶フィルタ132は、スクリーン上で
各LCD129〜131の画素がはっきりと結像して見
にくくなることを防止するためのローパスフィルタの働
きをする。
する装置にて求められるLCD129とLCD130,
LCD130とLCD131の位置ずれ量(平行移動量
と、回転量)を記憶しているメモリである。
号は、まずフレームメモリ30に記憶され、LCD12
9,130,131に各々表示すべき分割画像信号がそ
れぞれ補間回路134,135,136に入力される。
S,Rメモリ133からの値に基づいて各分割画像がス
クリーン127上で位置ずれなく繋がるように、平行移
動及び回転のための補間演算を行う。
なる部分については、重み係数算出器140からの重み
係数を加算器137〜139により乗じ、出力した画像
の輝度を調節する。この重み係数については、図36と
同様に変化させる。そして、この重み係数が乗じられた
画像信号はメモリ141〜143に記憶され、D/A変
換部144〜146によりアナログ変換された後、LC
D129,130,131から投光され、スクリーン1
27上に画像が表示される。このようなLCDに隣接し
て光源147.148が設けられ、この光源の光により
LCDに表示されている画像がスクリーン127上に写
し出している。
用いることができるため、高精細なプロジェクタが実現
できる。
クリーン上で位置ずれなくつながるように構成している
ため、LCDの取り付けに高い精度を必要としない。
ついては、重み係数を乗じているので、繋ぎ目が目立た
ない。また、水晶フィルタを用いるため、スクリーン上
で、LCDの画素が写ることはなく、高画質の画像とな
る。
29,130,131の位置ずれの検出について説明す
る。
タ132の間に、位置ずれ検出用のミラー149を挿入
する。つまり、各LCDに表示された画像は、ミラー1
49とレンズ156の働きにより、スクリーンに結像す
るものと同じ画像がCCD撮像素子150に結像するよ
うに構成されている。
被写体が参照映像信号として入力される。また、補間回
路134〜136では位置ずれがない(S=R=0)と
して処理され、重み係数は“1”として乗じられる。
に相当する画像だけが表示され、CCD撮像素子150
で撮像され、A/D変換部151によりA/D変換され
た後、スイッチ152の働きでメモリ153に記憶され
る。次にLCD130の画像だけが表示され、スイッチ
152がb側となり、メモリ154に記憶される。そし
て、S,R検出器155ではメモリ153,154の画
像信号がLCD129とLCD130との位置ずれを検
出し、これをS,Rメモリ133に記憶する。
を表示し、メモリ153に記憶し、LCD130と13
1との位置ずれを検出し、S,Rメモリ133に記憶す
る。以上のことから、LCD129,130,131の
取り付け時の位置ずれ量を検出することができる。な
お、ここで用いた参照映像信号は、図42に示したパタ
ーンを用いてもよい。
れを検出するようにしたが、図61のように、LCDの
像を一度スクリーン127に投影し、その反射光をハー
フミラー156にてCCD上に再結像させるようにして
もよい。
用してもよい。
モニタへも応用できる。この例は複数の電子銃186〜
190を備え、各々蛍光面193上に部分画像を表示す
るものであり、これらの電子銃186〜190の位置ず
れを補正するように、各補間回路161〜165にて画
像の平行移動及び、回転を行う。ここで、空間フィルタ
194は、水晶フィルタ等で構成されたローパスフィル
タである。
り、1つだけ電子銃を用いる場合に比較して、蛍光面と
電子銃との距離を短くできる。これらの電子銃は、例え
ばレーザであってもよいし、レンズ付の発光ダイオード
アレイとマイクロマシンミラーを利用したものでもよ
い。
は、補間回路でこれを補正するようにしてもよい。この
歪みによる走査線の間隔に応じて空間フィルタのカット
オフ周波数を決めるようにしてもよい。JQ、空間フィ
ルタは各電子銃の直前に各々設けてもよいし、D/A変
換後に電気的LPFをかけるようにしてもよい。
例として、ラインセンサを用いたフィルム取り込み装置
への応用例の構成を示し説明する。
するフィルム301と、フィルム301を巻取り巻き戻
しを行うローディング機構302と、その駆動回路30
7、が設けられ、フィルム301の近傍には、照射する
ための光源303が設けられている。
03と対峙する位置にフィルム画像を撮像部305に結
像させるためのレンズ304が設けられている。
は、プリアンプ10a,10b,10cにより増幅さ
れ、A/D変換器14a,14b,14cでディジタル
信号に変換され、信号処理回路(SP)20a,20
b,20cにより、γ補正や輪郭強調が行われ、フレー
ムメモリ22a,22b,22cに記憶される。
た画像信号は、画像合成回路308によりR,G,B別
々に画像の合成を行なわれる。この画像合成回路308
は、図55に示すような合成処理部により構成されてい
る。そして、合成された画像は、CRT等の表示装置3
09、記憶装置310、プリンタ311にそれぞれ出力
される。
構成となっている。3本のランイセンサ306a,30
6b,306cが配置されている。そして、各ラインセ
ンサは図64(c)のように、RGBの光学フィルタが
配置されている。
ングさせて、得られた画像を合成することを特徴として
いる。
b,306cで撮像された画像は、図64(b)のA,
B,Cに配置され、この3画像A,B,Cを合成するこ
とによりフィルムの一コマが撮像される。前記撮像部3
05でラインセンサの取り付けた誤差があった場合、画
像A,B,Cの間に位置ずれが生じるが、重複領域にお
いては、前述した位置擦れ補正を利用して画像を生成す
る。
にラインセンサを用いることからたいへん安価に高解像
度撮影を実現できる。また、カラーフィルタを用いるこ
とにより、簡単にカラー信号を得ることができる。この
ラインセンサの配置はたとえば図63のように千鳥型の
配置にしてもよい。また本実施例ではフィルムを駆動し
て撮像のための走査を行ったが、撮像部自体を駆動する
ようにしてもよい。
ィルタを用いるかわりに、RGB専用のラインセンサを
利用してもよく、回転色フィルタを利用してもよい。
として、CMDを用いて、補間演算のためのフレームメ
モリを不要とした撮像装置の構成を示し説明する。この
撮像装置は、CMDを備え、ランダムアクセス機能と非
破壊読出し機能を有する。
の画素の信号値を読出す機能であり、非破壊読出し機能
は画素の信号をリセットするまで、信号電荷を失うこと
無く、幾度でも読み出せる機能である。つまり、非破壊
読出しが行えることから短時間であれば、CMDそのも
のをメモリのように扱うことができる。
壊読出し機能を利用してフレームメモリを用いずに、補
間演算を行うことができる。つまり、CMDをフレーム
メモリの代わりとして用いて、補間に必要な画素値をラ
ンダムアクセスにより読出す。このような撮像装置の構
成例を図65(a)に示す。ここでCMDドライバ32
a,32bは、同図(b)に示す用に読出す画素位置の
信号に従い、デコーダ用アドレス発生器312からxデ
コーダ313及びyデコーダ314へ読出しのためのア
ドレスを発生し、xデコーダ313及びyデコーダ31
4では、このアドレスに従い、指定された画素位置の信
号を読出す信号パルスをCMDに送る。このCMDドラ
イバ32a,32bは、各々独立に制御する。
補間部315は、係数発生回路316、乗算器317、
加算器318、サンプルホールド319及び、サンプル
ホールド側とアース側へ切換えを行うスイッチ320に
より、構成される。
て説明する。
演算を行う、すなわち、図2に示すように画素dij(i=
1〜u,j=1〜w)に相当する信号は、CMD8から読
出され、A/D変換され、信号処理が施された後、フレ
ームメモリ30の所定の位置に書き込まれる。一方、画
素dij(i=u+1〜u+v,j=1〜w)については、C
MD9からランダムアクセス機能を利用して、画素dij
の近傍の4点の画素が非破壊的に読出され、アナログ補
間部315にて、アナログ演算により、式(9−a),
(9−b)に相当する演算が行われ、算出された信号が
A/D変換される。そして、そのA/Dた変換され信号
は、信号処理された後、構造強調が行われて、フレーム
メモリ30の所定に位置に書き込まれる。このように非
破壊読出しされるため、同じ画素を幾度も読出すことが
できる。
が算出される毎にスイッチ320がb側に切替わり、サ
ンプルホールド回路(SH)319の値を“0”にリセ
ットする。
したフレームメモリ22,23を使用せずに、複数画像
の合成を行うことができ、撮像装置を安いココストで製
造することができる。
量の測定については、第1実施例と同様に行うことがで
きる。また、補間演算で利用される係数発生部316の
係数は、例えば、代表的な係数の組を用意しておき、そ
れらの中から該当する組を選択するように構成すれば、
小規模な回路で実施することができる。さらにPS回路
29の代わりに図35に示したような合成回路を利用す
ることもできる。
算を用いて各撮像素子の位置関係を検出し、これに基づ
いて補間演算を利用して画像の信号値を得るようにして
いるため、撮像素子の位置決め精度に影響されず、容易
に且つ、低コストに製造することができる。
るものではなく、他にも発明の要旨を逸脱しない範囲で
種々の変形や応用が可能であることは勿論である。
る程度の精密な位置決めにより画素が形成でき、且つ、
可動部を有せず低コストで高解像度を持つ撮像装置を提
供することができる。
めの概略的な構成を示す図である。
として表示するエリアとを模式的に表した図である。
装置の具体的な構成を示す図である。
の具体的な回路構成を示す図である。
リアを示す図である。
ルと平行移動によるずれベクトルを示す図である。
MD9のサーチエリア内で絶対値和が最小となる位置を
示す図である。
ける所定画素Aと撮像された画素との位置関係を示す図
である。
トルにより位置関係を示す図でる。
撮像装置の構成を示す図である。
撮像装置の光路分割部の構成を示す図である。
の光量分布を示す図である。
図である。
撮像装置の構成を示す図である。
撮像装置の構成を示す図である。
ータレンズを用いた場合の構成及び光束を示す図であ
る。
撮像装置の構成を示す図である。
アと被写体を画像として表示するエリアとを模式的に表
した図である。
撮像装置の構成を示す図である。
7実施例としての撮像装置の光路分割部の構成例を示す
図である。
真横及び真上から観た状態を示す図である。
真横及び真上から観た状態を示す図である。
よって撮像される撮像素子の撮像エリアと被写体を画像
として表示するエリアとを模式的に表した図である。
構成を示す図である。
自体を実装する実施例を示す図である。
−A′断面を示す断面図である。
からなるパッケージの構成を示すで図ある。
部を設けたパッケージの構成を示す図である。
である。
施例の撮像装置に適用した場合の構成を示す図である。
である。
撮像装置の構成を示す図である。
具体的な構成を示す図である。
る線形補間の状態を示す図である。
具体的な構成を示す図である。
る線形補間の状態を示す図である。
の撮像装置の構成を示す図である。
の構成を示す図である。
る。
の撮像装置に用いるメモリを作成するための構成を示す
図である。
の撮像装置の構成を示す図である。
設けられたパターン例を示す図である。
像装置の構成を示す図である。
示す図である。
られた位置を撮像するように位置決めされた撮像素子の
構成を示す図である。
を移動させて全視野の撮像を行う撮像系の構成を示す図
である。
回転状態を示す図である。
の撮像装置の具体的な構成を示す図である。
の不都合な部分の除去状態を示す図である。
の撮像装置の具体的な構成を示す図である。
の撮像装置の構成を示す図である。
構成を示す図である。
具体的な構成を示す図である。
の撮像装置の構成を示す図である。
的な構成を示す図である。
て、プロジェクタに応用した例を示す図である。
図である。
を行うための構成を示す図である。
をハーフミラーを用いて行う構成を示す図である。
に応用した構成例を示す図である。
て、ラインセンサを用いたフィルム取り込み装置に応用
した構成例を示す図である。
装置の撮像部のラインセンサの配置及び撮像した画像の
状態を示す図である。
の撮像装置の具体的な構成を示す図である。
3…画像記憶部、4…変位量検出部、5…補間部、6…
撮影光学系(撮像レンズ)、7…画像合成部(合成回
路)、8,9,51,52,53,54…CMD、1
0,11…プリアンプ、12,13…ローパスフィルタ
(LPF)、14,15…A/D変換器、16,17…
減算器、18,19…FPN記憶メモリ、20,21…
信号処理回路(Signal Procesor ;SP)、22,23
…フレームメモリ、24…変位量検出回路、24a,2
4b…相関器、24c…係数算出器、25…補間回路、
26,27…メモリ、28…補間係数書き込み回路、2
9…パラレル−シリアル(Parallel-Serial ;PS)変
換回路、30…フレームメモリ、31…表示部、32…
CMDドライバ、33…システムコントローラ、34…
座標選択回路、35…座標変換回路、36,36a…デ
ータ読出回路、37…補間係数算出器、38…線型補間
演算回路、39…乗算器、40…加算器、41…データ
アドレス検出器、42…データアドレスメモリ、43…
係数aメモリ、44…係数bメモリ、45…係数cメモ
リ、46…係数dメモリ、47,48…光量補正回路、
49…回転機構部、50…遮光板、61,62,66,
67,68,69…楔形プリズム、63…ビームスプリ
ッタ、64,65…偏心レンズ、70,71,72,7
3…偏心レンズ、74…レンズ(レンズアレイ)、75
…撮像素子アレイ、80…セラミック基板、81,82
…CMD、83,88…接着材、84,91…配線(ボ
ンディングワイヤ)、85…端子、86…金属端子、8
7…穴、90…スペーサ部、92…直角部材、93…プ
リズム。
Claims (1)
- 【請求項1】 被写体像を複数に分割する光路分割手段
と、 前記光路分割手段により分割された画像数に対応し、該
画像が互いにオーバーラップする領域を有するように配
置され、各画像を光電変換する撮像素子からなる撮像手
段と、 前記撮像手段からの画像信号を記憶する画像記憶手段
と、 前記画像記憶手段から読出された前記オーバーラップす
る領域の画像信号からオーバーラップしている撮像素子
の画素位置と所定画素位置の関係を検出し、前記位置関
係を表す変位量係数に基づき、前記画像記憶手段から読
出された画像信号を補間して補間画像信号を生成する補
間手段と、 前記補間手段からの補間画像信号と前記画像記憶手段か
ら読出された画像信号を合成する画像合成手段とを具備
することを特徴とする撮像装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04240293A JP3791696B2 (ja) | 1992-04-09 | 1993-03-03 | 画像表示装置 |
US08/969,937 US6205259B1 (en) | 1992-04-09 | 1997-11-28 | Image processing apparatus |
US09/740,492 US6744931B2 (en) | 1992-04-09 | 2000-12-19 | Image processing apparatus |
US09/740,764 US20010022858A1 (en) | 1992-04-09 | 2000-12-19 | Image displaying apparatus |
US10/677,072 US7142725B2 (en) | 1992-04-09 | 2003-10-01 | Image processing apparatus |
US11/584,951 US7415167B2 (en) | 1992-04-09 | 2006-10-23 | Image processing apparatus |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8909292 | 1992-04-09 | ||
JP4-89092 | 1992-04-09 | ||
JP4-239803 | 1992-09-08 | ||
JP23980392 | 1992-09-08 | ||
JP04240293A JP3791696B2 (ja) | 1992-04-09 | 1993-03-03 | 画像表示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003007214A Division JP2003234968A (ja) | 1992-04-09 | 2003-01-15 | 画像処理装置及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06141246A true JPH06141246A (ja) | 1994-05-20 |
JP3791696B2 JP3791696B2 (ja) | 2006-06-28 |
Family
ID=27291200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04240293A Expired - Lifetime JP3791696B2 (ja) | 1992-04-09 | 1993-03-03 | 画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3791696B2 (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
US6222593B1 (en) | 1996-06-06 | 2001-04-24 | Olympus Optical Co. Ltd. | Image projecting system |
JP2001249399A (ja) * | 1999-12-28 | 2001-09-14 | Sony Corp | 画像投射方法及び画像投射装置 |
JP2001525564A (ja) * | 1997-12-02 | 2001-12-11 | サーノフ コーポレイション | モジュール式表示システム |
JP2002247593A (ja) * | 2001-02-16 | 2002-08-30 | Olympus Optical Co Ltd | 画像処理装置 |
US6456339B1 (en) | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
JP2002290966A (ja) * | 2001-03-28 | 2002-10-04 | Victor Co Of Japan Ltd | 複合画像表示システム |
US6571022B2 (en) | 1997-08-06 | 2003-05-27 | Minolta Co., Ltd. | Image processing apparatus for generating a single image of an object using overlapping partial images |
US6720997B1 (en) | 1997-12-26 | 2004-04-13 | Minolta Co., Ltd. | Image generating apparatus |
US6727954B1 (en) | 1998-08-12 | 2004-04-27 | Minolta Co., Ltd. | Electronic camera and image processing system |
US6813040B1 (en) | 1998-09-10 | 2004-11-02 | Minolta Co., Ltd. | Image processor, image combining method, image pickup apparatus, and computer-readable storage medium storing image combination program |
US6891978B1 (en) | 1999-07-16 | 2005-05-10 | Minolta Co., Ltd. | Image processing device and method of processing picture data |
US6995790B2 (en) | 1996-11-08 | 2006-02-07 | Olympus Optical Co., Ltd. | Image processing apparatus for joining a plurality of images |
US7050098B2 (en) | 2001-03-29 | 2006-05-23 | Canon Kabushiki Kaisha | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame |
WO2006068129A1 (ja) * | 2004-12-22 | 2006-06-29 | Matsushita Electric Industrial Co., Ltd. | 撮像装置およびその製造方法 |
US7106370B2 (en) | 2000-10-12 | 2006-09-12 | Canon Kabushiki Kaisha | Signal difference correction of picture signals read from multiple readout type image sensing device |
WO2007013250A1 (ja) * | 2005-07-26 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 複眼方式の撮像装置 |
JP2009518668A (ja) * | 2005-12-06 | 2009-05-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | モジュール式電子ディスプレイ |
US8777418B2 (en) | 2006-01-26 | 2014-07-15 | Christie Digital Systems Usa, Inc. | Calibration of a super-resolution display |
US8866902B2 (en) | 2010-02-26 | 2014-10-21 | Seiko Epson Corporation | Correction information calculating device, image processing apparatus, image display system, and image correcting method |
FR3013135A1 (fr) * | 2013-11-14 | 2015-05-15 | Imao | Appareil photographique a tres haute resolution et a tres grande taille d'image |
CN108234958A (zh) * | 2018-02-06 | 2018-06-29 | 长沙学院 | 举高喷射消防车及其成像系统、成像方法 |
WO2019054304A1 (ja) * | 2017-09-15 | 2019-03-21 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置 |
JP2020195051A (ja) * | 2019-05-28 | 2020-12-03 | 池上通信機株式会社 | 撮像装置、及び撮像制御方法 |
-
1993
- 1993-03-03 JP JP04240293A patent/JP3791696B2/ja not_active Expired - Lifetime
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
US6222593B1 (en) | 1996-06-06 | 2001-04-24 | Olympus Optical Co. Ltd. | Image projecting system |
US6538705B1 (en) | 1996-06-06 | 2003-03-25 | Olympus Optical Co., Ltd. | Image projecting system |
US6995790B2 (en) | 1996-11-08 | 2006-02-07 | Olympus Optical Co., Ltd. | Image processing apparatus for joining a plurality of images |
US6571022B2 (en) | 1997-08-06 | 2003-05-27 | Minolta Co., Ltd. | Image processing apparatus for generating a single image of an object using overlapping partial images |
JP2001525564A (ja) * | 1997-12-02 | 2001-12-11 | サーノフ コーポレイション | モジュール式表示システム |
JP2011221540A (ja) * | 1997-12-02 | 2011-11-04 | Transpacific Infinity Llc | モジュール式表示システム |
US6720997B1 (en) | 1997-12-26 | 2004-04-13 | Minolta Co., Ltd. | Image generating apparatus |
US6456339B1 (en) | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
US6727954B1 (en) | 1998-08-12 | 2004-04-27 | Minolta Co., Ltd. | Electronic camera and image processing system |
US6813040B1 (en) | 1998-09-10 | 2004-11-02 | Minolta Co., Ltd. | Image processor, image combining method, image pickup apparatus, and computer-readable storage medium storing image combination program |
US6891978B1 (en) | 1999-07-16 | 2005-05-10 | Minolta Co., Ltd. | Image processing device and method of processing picture data |
EP1117080A3 (en) * | 1999-12-28 | 2003-06-25 | Sony Corporation | Laser image projection with infrared obstacle detection |
JP2001249399A (ja) * | 1999-12-28 | 2001-09-14 | Sony Corp | 画像投射方法及び画像投射装置 |
US7106370B2 (en) | 2000-10-12 | 2006-09-12 | Canon Kabushiki Kaisha | Signal difference correction of picture signals read from multiple readout type image sensing device |
JP2002247593A (ja) * | 2001-02-16 | 2002-08-30 | Olympus Optical Co Ltd | 画像処理装置 |
JP2002290966A (ja) * | 2001-03-28 | 2002-10-04 | Victor Co Of Japan Ltd | 複合画像表示システム |
US7050098B2 (en) | 2001-03-29 | 2006-05-23 | Canon Kabushiki Kaisha | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame |
WO2006068129A1 (ja) * | 2004-12-22 | 2006-06-29 | Matsushita Electric Industrial Co., Ltd. | 撮像装置およびその製造方法 |
US7718940B2 (en) | 2005-07-26 | 2010-05-18 | Panasonic Corporation | Compound-eye imaging apparatus |
WO2007013250A1 (ja) * | 2005-07-26 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd. | 複眼方式の撮像装置 |
JP4903705B2 (ja) * | 2005-07-26 | 2012-03-28 | パナソニック株式会社 | 複眼方式の撮像装置及びその製造方法 |
JP2009518668A (ja) * | 2005-12-06 | 2009-05-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | モジュール式電子ディスプレイ |
US9479769B2 (en) | 2006-01-26 | 2016-10-25 | Christie Digital Systems Usa, Inc. | Calibration of a super-resolution display |
US8777418B2 (en) | 2006-01-26 | 2014-07-15 | Christie Digital Systems Usa, Inc. | Calibration of a super-resolution display |
US8866902B2 (en) | 2010-02-26 | 2014-10-21 | Seiko Epson Corporation | Correction information calculating device, image processing apparatus, image display system, and image correcting method |
FR3013135A1 (fr) * | 2013-11-14 | 2015-05-15 | Imao | Appareil photographique a tres haute resolution et a tres grande taille d'image |
WO2015071588A1 (fr) * | 2013-11-14 | 2015-05-21 | Imao | Appareil photographique a tres haute resolution et a tres grande taille d'image |
WO2019054304A1 (ja) * | 2017-09-15 | 2019-03-21 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置 |
JP2019054463A (ja) * | 2017-09-15 | 2019-04-04 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像装置 |
US11064182B2 (en) | 2017-09-15 | 2021-07-13 | Sony Interactive Entertainment Inc. | Imaging apparatus |
US11438568B2 (en) | 2017-09-15 | 2022-09-06 | Sony Interactive Entertainment Inc. | Imaging apparatus |
CN108234958A (zh) * | 2018-02-06 | 2018-06-29 | 长沙学院 | 举高喷射消防车及其成像系统、成像方法 |
CN108234958B (zh) * | 2018-02-06 | 2024-04-05 | 长沙学院 | 举高喷射消防车及其成像系统、成像方法 |
JP2020195051A (ja) * | 2019-05-28 | 2020-12-03 | 池上通信機株式会社 | 撮像装置、及び撮像制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3791696B2 (ja) | 2006-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3791696B2 (ja) | 画像表示装置 | |
US7142725B2 (en) | Image processing apparatus | |
JP4790086B2 (ja) | 多眼撮像装置および多眼撮像方法 | |
US5646679A (en) | Image combining method and apparatus | |
EP2184915B1 (en) | Image processing device, image processing method, and image processing program | |
US20030234907A1 (en) | Compound eye image pickup apparatus and electronic apparatus equipped therewith | |
JPH08116490A (ja) | 画像処理装置 | |
US5325190A (en) | Color field sequential imaging apparatus having color-misregistration correction function based on correlations in units of colors | |
US5294976A (en) | Image pickup system for reproducing image data using sensitivity function | |
JP2003234968A (ja) | 画像処理装置及び撮像装置 | |
JP3503655B2 (ja) | 画像合成装置 | |
US20150097992A1 (en) | Image processing apparatus and image processing method | |
JPH1031730A (ja) | キャリブレーション方法 | |
JP2000081368A (ja) | Lcd パネル画質検査方法、lcd パネル画質検査装置及び画像取込方法 | |
JP3321941B2 (ja) | 画像合成装置 | |
JPH11196315A (ja) | 画像読み取り装置 | |
US6175381B1 (en) | Image processing method and image processing apparatus | |
JP3669045B2 (ja) | 液晶用カラーフィルタ色ムラ検査システム | |
JP2006262382A (ja) | 画像処理装置 | |
JPH0279685A (ja) | 撮像装置 | |
JPH0795595A (ja) | カラー撮像装置 | |
JPH05292514A (ja) | 撮像装置 | |
JP3699089B2 (ja) | 面順次撮像装置 | |
JPS6124876B2 (ja) | ||
JP3259525B2 (ja) | 画像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060330 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |