JP6751426B2

JP6751426B2 - 撮像装置

Info

Publication number: JP6751426B2
Application number: JP2018168254A
Authority: JP
Inventors: 山崎　順一; 順一山崎; 保明金次; 崇之伊藤
Original assignee: NHK Engineering System Inc
Current assignee: NHK Engineering System Inc
Priority date: 2018-09-07
Filing date: 2018-09-07
Publication date: 2020-09-02
Anticipated expiration: 2038-09-07
Also published as: JP2020043430A

Description

本発明は、撮像装置に関し、特に、複数の固体撮像素子を用いる撮像装置に関する。

近年、医療や天文等の様々な技術分野において、高精細な画像をカメラ映像として取得し、これを表示装置に表示して対象の観察等を行うことが行われている。

医療や研究等の用途において、顕微鏡や内視鏡を用いる場合に、光学系で得られた円形視野（イメージサークル）の全域を観察したいという要望がある。これは一般に鏡筒を含むレンズ部材が光軸を中心とした回転対称の形状をしており、レンズの中心が最も高性能で、中心から周辺に向けて同心円状に性能を発揮し、画像のケラレを含めて高画質の画像領域は円形となるが、観察者は広い視野と精細度を余すところなく利用したいと考えるからである。

一方で、一般にテレビカメラの映像は、横長の画角で撮影し、同じ横長の画角で表示する。放送用、家庭用を含めていわゆるハイビジョン（1920×1080画素）、４Ｋ（3840×2160画素）、８Ｋ（7680×4320画素）の撮像素子は、いずれも１６：９の横長である。一部で１：１のアスペクト比を有する撮像素子も存在するが、前述のテレビの市場に比べて市場規模が小さいため、撮像素子の動画性能等で十分なものが得られていない。

また、従来、複数の撮像素子を利用して１つの映像を生成することも行われている。複数の撮像素子で取得した画像を組み合わせることにより、撮像性能を向上させたり、画像を拡大したりすることができる。複数の撮像素子を組み合わせた従来の撮像装置の一例として、いわゆる３板式カラー撮像装置がある（特許文献１）。図５に、３板式カラー撮像装置の例を示す。

図５において、１台のカメラ（図示せず）で撮影した画像（可視光の入射光）の青成分１１と、緑成分１２と、赤成分１３が、ガラスプリズムと干渉薄膜より構成される色分解光学系２１によって３つの方向に分割される。色分解光学系２１の青色の出射側にはＢｃｈ（青チャンネル）用の固体撮像素子３１（Ｂ）を、色分解光学系２１の緑色の出射側にはＧｃｈ（緑チャンネル）用の固体撮像素子３２（Ｇ）を、色分解光学系２１の赤色の出射側にはＲｃｈ（赤チャンネル）用の固体撮像素子３３（Ｒ）を各々取り付ける。固体撮像素子３１，３２，３３はいずれもモノクロの同一画素数、同一寸法からなる素子であり、各々の固体撮像素子の撮像範囲が同一視野になるように固体撮像素子の光学的な中心軸および水平・垂直・回転、あおり等の画像の位置合わせを厳密に行った後、振動等で動かないように固定する。位置合わせの精度は通常１画素未満である。この３つの固体撮像素子で取得した３つのモノクロ画像から、カラー画像を得ることができる。

この３板式カラー撮像装置は、複数の固体撮像素子を用いているが、各々の固体撮像素子の撮像範囲はほぼ１００％の重なりを持っており、得られる画像サイズは個々の固体撮像素子と等しい。

複数の撮像素子を組み合わせた撮像装置の別の例として、それぞれ別のテレビカメラを用いて映像を取得し、これらを合成して１つの映像を得ることも試みられている（特許文献２）。２つのテレビカメラ（撮像素子）で一部が重複した２つの画像（映像）を取得し、２つの画像をつなぎ合わせることにより、１つの撮像素子では得られない大画面（広角）の画像を得ることができる。

特開平５−３０５１９号公報特開２０１７−２１５８６２号公報

しかしながら、従来の横長の撮像素子を用いて円形視野の画像を撮影する場合には、円形視野の縦方向の一部領域が撮影できない（撮像領域からはみ出る）欠点があった。また逆に、円形視野全域を１つの画像として撮像領域に収めると、撮像素子の画素を十分有効活用できない欠点があった。

３板式カラー撮像装置は、複数の撮像素子を用いることにより、モノクロの撮像素子と同じ画素密度の高精細のカラー映像を得ることができるものの、撮像領域は１つの固体撮像素子の撮像領域と同じであり、広い撮像領域は得られない。

それぞれ別のテレビカメラ（撮像素子）を用いて撮影した画像を合成する装置の場合は、大画面の画像が得られるが、異なる光学系で撮影した画像は、同一対象物の画像サイズや色合いが異なる場合があり、合成前に画像の圧縮・伸長処理や色情報変換処理が必要となるため、画像合成をする処理が複雑である。

従って、上記のような問題点に鑑みてなされた本発明の目的は、円形視野にも対応可能であり、撮像範囲が広い撮像装置を提供することにある。

上記課題を解決するために本発明に係る撮像装置は、１つの光学系からの入射光を２つに分割する分光器と、分光器の２つの出射側にそれぞれ配置された固体撮像素子と、前記固体撮像素子の各々の映像出力を合成して１つの映像を生成する映像合成変換器とを有する撮像装置において、前記１つの光学系から得られる画像の同一時刻における前記固体撮像素子の矩形の撮像領域の各々の長辺部分を重ね、各々の撮像領域の重なりが５０％以下であり、前記入射光は円形視野の画像であり、前記映像出力の一方の信号を電子的に鏡像反転させて他方の映像出力の信号と合成することを特徴とする。

本発明における撮像装置によれば、横長の固体撮像素子を用いて画角のアスペクト比が異なる（例えば１：１の）広いエリアを撮像することができる。また、１つの固体撮像素子の画素の１．５〜２倍の画素数を有する撮像装置を安価に作ることができる。

本発明の撮像装置とそのシステム全体の例を示す図である。分光器と固体撮像素子の配置の例を示す図である。本発明の撮像範囲を示す正面図の例である。従来の撮像範囲と本発明の撮像範囲を比較する図である。従来の３板式カラー撮像装置の例を示す図である。

以下、本発明の実施の形態について説明する。

（実施の形態）
図１に、本発明の撮像装置とそのシステム全体の例を示す。本発明の撮像装置は、分光器１０３と、２つの固体撮像素子１１０，１２０と、映像合成変換器１３０を有する。さらに、入射光１０１を導く光学系１０２と、ディスプレイ（表示装置）１４０とを加えて、撮像システム全体が構成されている。本発明の撮像装置は、単一の光学系を介して得られた入射光１０１を撮像に利用するものである。

光学系１０２は、例えば、内視鏡用光学系であり、円形視野の光学系とすることができる。円形視野が得られる光学系としては、内視鏡以外にも、例えば顕微鏡、望遠鏡や魚眼レンズ等がある。その他円形の光を導く一般の撮影用レンズであっても良い。本発明の光学系１０２は円形視野の光学系に限られないが、従来の撮像素子の撮像領域とは一致しない視野形状（例えば、楕円形状や多角形形状、縦横比が１６：９の矩形以外の形状等）の入射光１０１を想定している。光学系１０２を通過した入射光１０１は、分光器１０３に入射する。

分光器１０３は、入射光（可視光）１０１の光量を約５０％と約５０％に分割する。分光器１０３は、例えば、厚みが２ミクロンのペリクルミラーを用いることができる。なお、分光器１０３は、入射光１０１を２つに分割する機能があれば、他のハーフミラーやプリズムを用いてもよい。ただ、ペリクルミラーは薄膜であってミラー裏面での反射が実質的になく、ガラス部材等を含まないため、他の光学素子（レンズ等）と光学的調整を取る必要も無いため、分光器として望ましい。また、光量は５０％と５０％に分けることが望ましいが、正確でなくとも後の撮像素子出力の電気的処理で調整することができ、２つの撮像素子の出力を整合させることができる。分割された入射光１０１は、それぞれ固体撮像素子１１０，１２０に入射される。

固体撮像素子１１０，１２０は、分光器１０３の出射側にそれぞれ配置され、分割された入射光をそれぞれ光電変換し、電気信号である映像（画像）信号１１１，１２１を出力する。固体撮像素子１１０，１２０は、例えば、約８２９万画素（水平3840画素×垂直2160画素：４Ｋ）のカラー固体撮像素子を用いることができる。固体撮像素子１１０と１２０の取り付け位置は、光学系１０２の結像面の位置にあたり、かつ固体撮像素子１１０と１２０の撮像領域が互いに垂直方向に並ぶように配置し、その重なりが例えば約２２％（水平3840画素×垂直480画素）になるようにする。なお、固体撮像素子の配置については、後に詳述する。これにより固体撮像素子１１０と１２０を合わせた全体の撮像領域は水平３８４０画素×垂直３８４０画素となり、アスペクト比は１：１で、総画素数は約１４７４万画素となる。ここでは、４Ｋ対応の固体撮像素子を用いた例について説明したが、両撮像素子が同じものであれば、他の精細度（画素数）を有する固体撮像素子であってもよい。また、固体撮像素子は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等、任意の構造のものを採用することができる。なお、固体撮像素子１１０と１２０の各々の駆動信号は同期結合させ、１フレームの露光タイミングや露光量等は同一に設定することが望ましい。固体撮像素子１１０は、映像信号１１１を映像合成変換器１３０に出力し、固体撮像素子１２０は、映像信号１２１を映像合成変換器１３０に出力する。

映像合成変換器１３０は、撮像素子１１０と１２０の各々の映像出力１１１と１２１が入力され、これら２つの映像出力を合成して１つの映像信号（合成画像）１３１を生成する。例えば、両撮像素子１１０，１２０の重複した画像部分（約２２％）については、２つの映像出力信号に基づいて合成画像の画素値を導出し、重複していない画像部分は各撮像素子の映像出力信号をそれぞれ用いることにより、正方形の合成画像を生成する。さらに、生成した合成画像の両サイドに黒の画素を付加するなどして市販のディスプレイ１４０に表示できるフォーマットに変換する。上述のように、固体撮像素子１１０と１２０の駆動信号が同期し、且つ、露光量等が同一に設定されていれば、重複部分（約２２％）の画像信号は一致するから、重複部分の画像は、固体撮像素子１１０と１２０のどちらの映像信号を採用してもよい。また、映像の重複部分の２２％の領域の処理としては、例えば、重複領域において、両者の映像信号を合成して２で割る等の平均化を行うことができる。また、映像出力１１１と１２１の信号をオーバーラップさせることで、２つの撮像素子１１０と１２０のばらつきなどに起因するつなぎ目が見え難いようにしてもよい。オーバーラップ処理としては、２つの画像の重複部分（又はその内の一部）を一方の画像Ａから他方の画像Ｂへと変わる中間領域Ｃとし、この中間領域Ｃの画素値を、Ｃ＝ｋＡ＋（１−ｋ）Ｂ［ｋはＡ領域からＢ領域に向かって１から０に変化するパラメータ］のように画像Ａと画像Ｂの画素値から算出し、次第に画像を変化させてつなぎ合わせてもよい。

このような信号処理は、例えば、映像出力１１１，１２１をデジタル化し、一度メモリに格納し、メモリ上での書き込み・読み取り処理、画素値の演算処理等を適切に行うことにより、実現することができる。さらに２つの撮像素子１１０と１２０の取り付け位置が想定位置よりも少しずれた場合にも対応できるように、映像合成変換器１３０で映像信号を合成する際の書き込みアドレスを画素単位で変更できるようにしてもよい。例えば、取り付け位置が縦方向（画面垂直方向）にずれた場合は、行アドレスを変更・調整することにより、両画像の縦方向（走査線）のずれを修正する。また、取り付け位置が横方向（画面水平方向）にずれた場合は、列アドレスを変更・調整することにより、両画像の横方向（画素）のずれを修正する。このように、合成処理の際に書き込みアドレスを画素単位で変更することにより、２つの映像信号のメモリアドレスを画素単位で整合させる。なお、位置ずれは、テストパターン等を利用することにより検出できる。映像合成変換器１３０で生成された映像信号１３１は、例えば、ディスプレイ１４０に出力される。

ディスプレイ１４０は、映像合成変換器１３０でから入力された映像信号１３１を表示する。なお、ディスプレイ１４０は、通常の縦横比を有するディスプレイ（例えば、４Ｋ，８Ｋ用）であってよい。また、ディスプレイの縦横比が通常とは異なる場合に、ディスプレイ１４０の画面サイズ（縦横比）に対応した映像信号１３１を、映像合成変換器１３０で生成することもできる。

入射光と撮像素子の関係について、図２の拡大図を用いて詳しく説明する。図２に、分光器と固体撮像素子の配置の例を示す。

レンズ（光学系）を通して入ってきた入射光２０１は、ペリクル半透明ミラー（分光器）２０２で２つの光路２０３と２０４に分割される。図では光軸に平行な光のみを書いているが、焦点面に向かって収束する光を含んでいる。この２つの焦点面にそれぞれ固体撮像素子２１０，２２０を置く。ここで、上段用の固体撮像素子２１０は撮像領域２１１を有し、下段用の固体撮像素子２２０は撮像領域２２１を有している。２つの固体撮像素子２１０，２２０を配置する際に、入射光を基準として両撮像領域２１１と２２１の重なりが、撮像領域に対して所定の比率となるように設定する。図１の例では、画像の重なりを撮像領域の２２％としたが、本発明の目的は広い視野を得ることであるため、必ずしも２２％である必要はなく、画素の効率的な利用の観点から、所定の比率は５０％以下が望ましい。破線で記載した撮像素子２１０’は、固体撮像素子２１０の受光する入射光部分を明らかにするための仮想素子であり、撮像領域２２１と２１１’との位置関係を示している。

なお、図２から明らかなように、撮像素子２１０は、ペリクルミラー２０２で反射された入射光を撮像するため、撮像素子２２０が撮像する像とは、鏡像の関係となる。したがって、映像合成変換器１３０では、固体撮像素子１１０（２１０）の映像出力１１１を電気的処理で鏡のように反転（以下、「鏡像反転」という。）させた後に、固体撮像素子１２０の映像出力１２１と合成する。鏡像反転させる処理としては、例えば、映像信号の走査線を上下反対にして読み出す方法や、各走査線の画素情報を左右反対に読み出す方法等があり、合成処理に応じて適宜適切な方法を用いることができる。

このように、撮像領域２１１と２２１が所定の比率で重なるように、２つの固体撮像素子２１０，２２０を配置することにより、その結果、上段用の固体撮像素子２１０の鏡像と下段用の固体撮像素子２２０の映像とを合わせた広い範囲の撮像が可能になる。また、分光器と２つの固体撮像素子を一体化してコンパクトに構成することができ、小型軽量な撮像装置を実現することができる。

図３は、本発明による撮像範囲を示した正面図２３０の例である。横長の撮像領域を縦方向（画像の垂直方向）に重ねている。上段用の固体撮像素子２１０の画像２３１の下方に下段用の固体撮像素子２２０の画像２３２の幅が一致するように撮像素子の水平方向を位置合わせして配置した。また、垂直方向は、走査線（画素）が一致するように配置し、両者の画像の重なり部分２３３は、各々の撮像素子の撮像領域の５０％以下（図では２２％）となるように配置している。

画像の重なる部分２３３の領域を調整することにより、横：縦＝１６：９の撮像素子を２個用いて、最大、横：縦＝１６：１８までの任意の縦横比の撮像範囲を設定することができる。これにより、１つの固体撮像素子の画素の２倍の画素数を有する撮像装置を安価に作ることができる。

図４は、従来の撮像範囲と本発明の撮像範囲を比較する図である。図４（ａ）に、アスペクト比１６：９の一般的な４Ｋ（水平3840画素×垂直2160画素）の固体撮像素子の撮像範囲を示す長方形（従来の撮像範囲）２４０とその長方形２４０に内接する内接円２４１を示す。内接円２４１は顕微鏡や内視鏡の視野を示している。この長方形２４０の画素数は約８２９万画素であるが、内接円２４１の画素数は約３６６万画素である。したがって、内接円２４１の長方形２４０に対する画素数の比は、約４４％となる。

図４（ｂ）に、本発明によって得られる撮像範囲（水平3840画素×垂直3840画素）の正方形（本発明の撮像範囲）２５０とその正方形２５０に内接する内接円２５１を示す。内接円２５１は顕微鏡や内視鏡の視野を、撮像範囲内で最大に拡大した状態を示している。正方形２５０の画素数は約１４７５万画素であり、内接円２５１の画素数は約１１５８万画素である。したがって、内接円２５１の正方形２５０に対する画素数の比は約７９％となる。また固体撮像素子１１０と１２０を合計した画素数約１６５８万画素に対して約７０％となる。これらの値は図４（ａ）の４４％に比べて非常に大きく、撮像素子の画素数の利用効率が高いことを示している。

実施例の変形例について説明する。実施例では２つの撮像素子を垂直方向に並ぶように配置しているが、目的に応じて水平方向に並ぶようにしても良い。また、実施例では、固体撮像素子として約８２９万画素（水平3840画素×垂直2160画素）のいわゆる４Ｋセンサを用いて説明したが、更に画素数が４倍多い約３３００万画素（水平7680画素×垂直4320画素）のいわゆる８Ｋセンサを２枚用いて約５８９８万画素（水平7680画素×垂直7680画素）の正方形の撮像装置を製作することもできる。

また、映像合成変換器１３０の内部で、画像の合成後に電子ズーミングが可能な機能（画像領域の一部を電子的に拡大して表示する機能）を組み込むこともできる。

実施例では、重なり領域を固定の比率としたが、分光器に対する固体撮像素子の配置を可変にして、撮像領域の重なりを可変とすることができる。

実施例（図３）では、固体撮像素子の配置を撮像領域の重なり部分において、画素（走査線）が一致するように配置していたが、逆に、画素を上側の固体撮像素子と下側の固体撮像素子で垂直方向に画素の１／２だけずらすことにより、両撮像素子の画像を組み合わせて、重なり領域は２倍の精細度を実質的に有するようにし、例えば画像拡大処理に対応することができる。これにより、重なり領域の画像解像度を、個別の固体撮像素子の画像解像度よりも高くすることができる。なお、このとき、重なり領域以外の撮像領域は、例えば隣接する走査線の画像の補間処理等を行って画像を生成することができる。

さらに、この撮像装置と超広角レンズを組み合わせて広い視野の膨大な映像情報を記録し、あるいはこの装置と魚眼レンズとを組み合わせて３６０度の全周映像を記録し、それらの記録映像から電子ズームで視野を切り出して表示して詳細な評価をするなど、効率的で高度な観察や監視が可能になる。

また、上記の実施の形態では、撮像装置の構成と動作について説明したが、本発明はこれに限らず、複数の固体撮像装置による画像生成方法として構成されてもよい。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１０１入射光
１０２光学系
１０３分光器
１１０固体撮像素子
１１１映像信号
１２０固体撮像素子
１２１映像信号
１３０映像合成変換部
１３１映像信号
１４０ディスプレイ
２０１入射光
２０２分光器
２０３，２０４分割された入射光
２１０固体撮像素子
２１１撮像領域
２２０固体撮像素子
２２１撮像領域
２３０撮像範囲の正面図
２３１上段の撮像範囲
２３２下段の撮像範囲
２３３画像の重なり部分
２４０従来の撮像範囲
２４１内接円
２５０本発明の撮像範囲
２５１内接円

Claims

１つの光学系からの入射光を２つに分割する分光器と、分光器の２つの出射側にそれぞれ配置された固体撮像素子と、前記固体撮像素子の各々の映像出力を合成して１つの映像を生成する映像合成変換器とを有する撮像装置において、
前記１つの光学系から得られる画像の同一時刻における前記固体撮像素子の矩形の撮像領域の各々の長辺部分を重ね、各々の撮像領域の重なりが５０％以下であり、
前記入射光は円形視野の画像であり、
前記映像出力の一方の信号を電子的に鏡像反転させて他方の映像出力の信号と合成することを特徴とする、撮像装置。