JP7244661B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、撮像素子により撮像された画像内の指定領域を拡大して出力する機能を持つ撮像装置に関する。

近年、デジタルカメラやビデオカメラ等の撮像装置の高解像度化（例えば、４Ｋ、８Ｋ）が進んでいる。シネマや放送等の用途の撮像装置は、大画面のスクリーン又はテレビモニタに大きく映してもジャギーが目立たないような、高精細な画像を得ることができる。一方、産業や医療等の用途の撮像装置は、撮像した画像の表示装置に大画面のモニタが用いられるとは限らず、小画面・低解像度のモニタが用いられる場合がある。この小画面・低解像度のモニタに高解像度で撮像した画像を映す方法として、画像の一部領域を電気的に拡大して表示する方法（以下、デジタルズーム）が用いられることが多い（例えば、特許文献１参照）。

特開２０１０－１３０５４０号公報

デジタルズームは、撮像した画像を座標変換し、場合によっては超解像処理を施して出力するために、撮像した画像を一旦フレームメモリに記憶する必要がある。しかしながら、画像の高解像度化により、それを記録するフレームメモリの容量も画素数に比例して増大することになり、部品コストの増加や実装面積の不足といった問題が発生する。フレームメモリに記録する画像を拡大倍率に限定すればメモリ容量を低減することができるが、例えば１．１倍や１．２倍といった低倍率のデジタルズームでは、必要なメモリ容量は全領域記録の場合とさほど変わらないため、結局、全体として大容量のメモリが必要となる。また、デジタルズームの倍率を２倍以上等と限定すれば、全体のメモリ容量を低減することができるが、低倍率の画像を必要としている使用者にとっては好ましくない。

本発明は、上記のような従来の事情に鑑みて為されたものであり、デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能な撮像装置を提供することを目的とする。

本発明では、上記目的を達成するために、撮像装置を以下のように構成した。
すなわち、本発明に係る撮像装置は、撮像素子により撮像された画像内の選択領域を拡大して出力する撮像装置において、前記撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得するブロック別エッジ取得部と、各ブロックの画像をそのエッジ成分の量に応じた解像度でフレームメモリに書き込む解像度調整部と、前記選択領域に対応する１以上のブロックの画像を前記フレームメモリから読み出し、前記選択領域のサイズに応じた倍率に拡大する画像拡大部と、前記画像拡大部により得られた前記選択領域の拡大画像を出力する拡大出力部とを有することを特徴とする。

ここで、前記解像度調整部は、エッジ成分の量が多いブロックの画像を優先して第１の解像度で前記フレームメモリに書き込み、他のブロックの画像は前記第１の解像度より低い第２の解像度で前記フレームメモリに書き込むように構成としてもよい。

また、前記撮像装置は、前記撮像素子により撮像された画像の全体を等倍で出力する通常出力部を更に備えるように構成してもよい。

本発明によれば、デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能な撮像装置を提供することができる。

本発明の一実施形態に係る撮像装置の構成例を示す図である。 図１の撮像装置によるデジタルズームの処理フローを例示する図である。 撮像画像をブロック別に解像度調整してフレームメモリに書き込む様子を示す図である。 従来方式と本発明方式との相違について説明する図である。

本発明の一実施形態に係る撮像装置について、図面を参照して説明する。
図１には、本発明の一実施形態に係る撮像装置の構成例を示してある。本例の撮像装置は、被写体の光学像を電気信号（画像）に変換するＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子１０と、撮像素子１０により撮像された画像に対し、デジタルズームを含む各種の画像処理を施す画像処理部２０と、デジタルズームに使用されるフレームメモリ３０と、撮像画像の全体を等倍で出力する通常出力部４０と、撮像画像内の選択領域をデジタルズームにより拡大した拡大画像を出力する拡大出力部４５とを備える。

画像処理部２０は、各種の画像処理を実行する機能を有しており、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの種々のプロセッサを用いて実現することが可能である。本例の画像処理部２０は、デジタルズームに係る機能部として、画像分割部２１と、エッジ抽出部２２と、解像度調整部２３と、画像拡大部２４とを有している。

画像分割部２１は、撮像素子１０による撮像画像を複数のブロック画像に分割する。エッジ抽出部２２は、画像分割部２１により分割されたブロック画像毎にエッジ成分を抽出する。解像度調整部２３は、画像分割部２１により分割された各ブロック画像を、エッジ抽出部２２により抽出されたエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む。画像拡大部２４は、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大する。

図２には、本例の撮像装置によるデジタルズームの処理フローを例示してある。
まず、画像分割部２１が、撮像素子１０による撮像画像を１フレーム分取得し、予め設定された分割パターンに従って複数のブロック画像に分割する（ステップＳ１０）。
次いで、エッジ抽出部２２が、画像分割部２１により分割された複数のブロック画像のそれぞれからエッジ成分を抽出する（ステップＳ１２）。エッジ成分の抽出は、公知の種々の手法により抽出することが可能である。

次いで、解像度調整部２３が、画像分割部２１により分割された各ブロック画像を、エッジ抽出部２２により抽出されたエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む（ステップＳ１４）。具体的には、エッジ成分の量が多いブロック画像を優先して高解像度でフレームメモリ３０に書き込み、残りのブロック画像（つまり、エッジ成分の量が少ないブロック画像）を、エッジ成分の量が多いブロック画像よりも低解像度となるようフレームメモリ３０に書き込む。

本例では、エッジ成分の量が多い順に、所定の個数（又は割合）のブロック画像を高解像度でフレームメモリ３０に書き込み、残りのブロック画像は低解像度でフレームメモリ３０に書き込む方式を採用している。高解像度とするブロック画像の個数（又は割合）の上限は、フレームメモリ３０のメモリ容量に応じて決定される。

なお、全体的にエッジ成分が少ない撮像画像の場合には、エッジ成分があまり多くないブロック画像であっても、高解像度でフレームメモリ３０に書き込まれる可能性がある。そこで、エッジ成分の量について閾値を設けておき、閾値以上のエッジ成分を持つブロック画像のみを高解像度でフレームメモリ３０に書き込み、エッジ成分の量が上位であっても閾値未満のブロック画像については低解像度でフレームメモリ３０に書き込むようにしてもよい。

次いで、画像拡大部２４が、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大するデジタルズームを施して拡大出力部４５に供給する（ステップＳ１６）。これにより、拡大出力部４５から、選択領域の拡大画像が出力されることになる。撮像画像内における選択領域の位置やサイズは予め設定されているが、ユーザが撮像装置を直接操作して変更してもよいし、他の装置から遠隔的に変更してもよい。

図３には、撮像画像をブロック別に解像度調整してフレームメモリに記録する様子を示してある。図３（ａ）は分割前の撮像画像の例であり、（ｂ）は分割後の撮像画像の例であり、（ｃ）はブロック別に解像度を調整した例である。本例では、撮像画像を格子状の分割パターンで分割しているが、短冊状などの他の分割パターンで分割してもよい。また、本例では、全てのブロックが同じサイズ・形状となる均一な分割パターンを用いているが、これに限定されない。一例として、画像中心に近いほど小さいブロックに分割し、画像の周縁に近付くに連れて大きいブロックに分割する分割パターンを用いてもよい。また、本例では、各ブロックを高解像度／低解像度の２段階の解像度に調整しているが、３段階以上の解像度に調整してもよい。

従来方式と本発明方式との相違について、図４を参照して説明する。図４の（１）～（３）は従来方式であり、（４）が本発明方式である。
従来方式（１）は、撮像画像の全領域を低解像度でフレームメモリに記録する方式であり、低解像度カメラと同様のメモリ使用量となる。従来方式（１）では、メモリ使用量が少なく、低倍率でも影響が少ないが、拡大画像の解像度が低い（デジタルズームの意味があまりない）。

従来方式（２）は、撮像画像の全領域を高解像度（本例では、低解像度に比べて縦方向／横方向それぞれ２倍）でフレームメモリに記録する方式であり、従来方式（１）の４倍のメモリ使用量となる。従来方式（２）では、拡大画像の解像度が高く、低倍率でも影響が少ないが、メモリ使用量が非常に多くなる。

従来方式（３）は、撮像画像のうちの予め設定された拡大領域（例えば、中心領域）のみを高解像度でフレームメモリに記録する（他の領域は記録しない）方式であり、最低拡大倍率や拡大領域のサイズによるが、従来方式（１）の１～１．５倍程度のメモリ使用量となる。従来方式（３）では、拡大画像の解像度が高く、メモリ使用量が比較的少ないが、最低拡大倍率より低い倍率にはできない（または、最低拡大倍率より低い倍率にすると、拡大領域の周辺部は画像データがないので表示が欠落してしまう）。

本発明方式（４）は、撮像画像を分割した各ブロックをそのエッジ成分の量に応じた解像度で記録する方式であり、高解像度で記録するブロックの割合によるが、従来方式（１）の１．２～１．６倍程度のメモリ使用量となる。本発明方式（４）では、エッジ成分の多いブロックの拡大画像の解像度が高く、メモリ使用量が比較的少なく、低倍率でも周辺部まで表示することができる。すなわち、本発明方式（４）は、従来方式（１）～（３）のメリットを併せ持っている。なお、エッジ成分の少ないブロックでは拡大画像の解像度は低いものの、高倍率にしても画像の粗さが目立ちにくいので、比較的許容できるデメリットといえる。

以上のように、本例の撮像装置は、撮像素子１０により撮像された画像を区分けしたブロック別のエッジ成分を取得する画像分割部２１及びエッジ抽出部２２と、各ブロック画像をそのエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む解像度調整部２３と、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大する画像拡大部２４と、画像拡大部２４から供給される選択領域の拡大画像を出力する拡大出力部４５とを備えた構成となっている。

このように、各ブロック画像をそのエッジ成分の量に応じた解像度に調整することで、ユーザが注目するであろう領域（拡大して確認する可能性が高い領域）のみを高解像度化するなど、想定されるデジタルズームに適した態様でフレームメモリへの書き込みを実現することができる。したがって、本例の撮像装置によれば、デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能となる。

また、本例の撮像装置は、解像度調整部２３が、エッジ成分の量が多いブロック画像を優先して高解像度でフレームメモリ３０に書き込み、他のブロック画像（つまり、エッジ成分の量が少ないブロック画像）は低解像度でフレームメモリ３０に書き込む構成となっている。このように、各ブロック画像を少なくとも２段階の解像度に分けるだけで、フレームメモリの容量を効果的に低減することが可能である。もちろん、３段階以上の解像度を用いてもよいことは言うまでもない。

また、本例の撮像装置は、撮像画像内の選択領域を拡大した拡大画像を出力する拡大出力部４５とは別に、撮像画像の全体を等倍で出力（つまり、フレームメモリ３０を用いたデジタルズームを行わずに出力）する通常出力部４０を備えている。したがって、撮像画像の全体を第１の表示装置にて表示すると共に、その中の選択領域を拡大した拡大画像を第２の表示装置にて表示する等の運用が可能となる。なお、拡大出力部４５を複数備え、異なる選択領域の拡大画像を同時に出力できるように構成してもよい。

ここで、上記の説明では、撮像画像を複数のブロック画像に分割した後に、ブロック画像毎にエッジ成分を抽出することで、ブロック別のエッジ成分を取得しているが、他の手法を用いても構わない。例えば、撮像画像全体のエッジ画像を生成し、このエッジ画像を複数のブロックに分割して、ブロック別のエッジ成分を取得してもよい。
また、各ブロック画像の解像度をそのエッジ成分の量に応じて決定する処理は、１フレームの画像毎に行ってもよいし、複数であるＮフレームの画像毎に行ってもよい。
また、各ブロック画像を書き込む際の解像度は、複数段階の固定の解像度でもよいし、エッジ成分の量に応じて算出される可変の解像度でもよい。

以上、本発明について詳細に説明したが、本発明は上記のような構成に限定されるものではなく、上記以外の構成により実現してもよいことは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのようなプログラムを記憶する記憶媒体などとして提供することも可能である。

本発明は、撮像素子により撮像された画像内の指定領域を拡大して出力する機能を持つ撮像装置に利用することができる。

１０：撮像素子、 ２０：画像処理部、 ２１：画像分割部、 ２２：エッジ抽出部、
２３：解像度調整部、 ２４：画像拡大部、 ３０：フレームメモリ、 ４０：通常出力部、 ４５：拡大出力部

Claims (4)

1. 撮像素子により撮像された画像内の選択領域を拡大して出力する撮像装置において、
   前記撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得するブロック別エッジ取得部と、
   各ブロックの画像をそのエッジ成分の量に応じた解像度でフレームメモリに書き込む解像度調整部と、
   前記選択領域に対応する１以上のブロックの画像を前記フレームメモリから読み出し、前記選択領域のサイズに応じた倍率に拡大する画像拡大部と、
   前記画像拡大部により得られた前記選択領域の拡大画像を出力する拡大出力部とを有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記解像度調整部は、エッジ成分の量が多いブロックの画像を優先して第１の解像度で前記フレームメモリに書き込み、他のブロックの画像は前記第１の解像度より低い第２の解像度で前記フレームメモリに書き込むことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮像素子により撮像された画像の全体を等倍で出力する通常出力部を更に備えたことを特徴とする撮像装置。
4. 撮像素子により撮像された画像内の選択領域を拡大して出力する撮像装置により実行される画像処理方法において、
   前記撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得するステップと、
   各ブロックの画像をそのエッジ成分の量に応じた解像度でフレームメモリに書き込むステップと、
   前記選択領域に対応する１以上のブロックの画像を前記フレームメモリから読み出し、前記選択領域のサイズに応じた倍率に拡大して出力するステップとを有することを特徴とする画像処理方法。

Images