JP2024058817A - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 画素ずらし撮像による複数枚超解像において、所望の領域の解像度を限界まで向上した超解像画像を生成する画像処理装置を提供する。【解決手段】 本発明に係る撮像装置は、画素ずらしの方法で複数の画像を撮像する撮像手段と、前記複数の画像において第１の領域を決定する第１の決定手段と、前記第１の領域に基づいて撮像回数を決定する第２の決定手段と、前記撮像回数に基づいて前記画素ずらしの画素ずらし量を設定する設定手段と、前記複数の画像の前記第１の領域に対して合成を行う合成手段と、を有し、前記合成手段が前記合成を行った後の前記第１の領域の解像感が前記複数の画像の前記第１の領域よりも高いことを特徴とする。【選択図】 図２

Description

本発明は、複数枚の低解像度の画像から高解像度の画像を生成する撮像装置、撮像方法、プログラムおよび記録媒体に関する。

デジタルカメラにおいて被写体を撮像する際、ズームする方法は光学ズームと電子ズームとがある。電子ズームとは、レンズによる光学ズーム、撮像された画像を画像処理によって拡大する方法であり、光学ズームとは光学設計上、被写体像を拡大する方法である。光学ズームは限界がる一方、電子ズームでは理論上拡大できる限界は無いが解像感の低下を引き起こす。

このような課題を解決する技術として、近年は低解像度の画像から高解像度の画像を生成する超解像技術がある。例えば、複数枚の低解像度画像から１枚の高解像度画像を生成する技術、いわゆる複数枚超解像の技術がある。ベイヤー配列に対応した複数枚の低解像画像からは、Ｒ（赤），Ｇ（緑），Ｂ（青）のそれぞれ同一色成分別の画像が各々生成される。同一色成分別の各画像は、元の低解像度画像において同色成分の各画素に対応した座標にはその色成分の画素値が配され、他の色成分の画素に対応した座標にはゼロ値の画素が補間されて生成される。さらに、各色成分別の画像に対して拡大処理が行われることで、各色成分別の高解像度画像が生成される。その後、各色成分別の高解像度画像の中でゼロ値が補間されている座標に対して、他の画像において対応した座標の画素値が挿入される。そして、そのような画素の挿入がなされた後の各色成分別の高解像度画像から、１枚の超解像画像を作成する。以上に記載の方法は、画素挿入方式と呼ばれる。

なお、特許文献１には、補間画素挿入方式と呼ばれる技術が開示されている。特許文献１には、低解像度の入力画像に対して補間画素を生成し、補間画素を入力画像に対して挿入することで高解像度の拡大画像を生成する技術が開示されている。

特開２００８－５４２６７号公報

前述した複数枚超解像を行う場合、予め決められた撮像回数分センサシフトにおける画素ずらしと撮像とを繰り返し得られた複数枚の画像から超解像画像を生成する。デジタルカメラに搭載されているメモリの制約上、扱える画像の最大画素数には限界がある。図３は、デジタルカメラが撮像した画像のズームを説明するための図である。図３に示した画像において、光学ズームで最も拡大した時に得られる画角、つまり本来ユーザが得たい画角が画角３０１だったとすると、複数枚超解像を行ったとしてもメモリの制約上撮像回数が足りず画角３０１の解像度が所望のレベルに達しない場合がある。

本発明は、上述した課題を鑑みてなされたものであり、画素ずらし撮像による複数枚超解像において、センサから所望の領域を読み出すことで、所望の領域の解像度を限界まで向上した超解像画像を生成する画像処理装置を提供することを目的とする。

本発明は、画素ずらしの方法で複数の画像を撮像する撮像手段と、前記複数の画像において第１の領域を決定する第１の決定手段と、前記第１の領域に基づいて撮像回数を決定する第２の決定手段と、前記撮像回数に基づいて前記画素ずらしの画素ずらし量を設定する設定手段と、前記複数の画像の前記第１の領域に対して合成を行う合成手段と、を有し、前記合成手段が前記合成を行った後の前記第１の領域の解像感が前記複数の画像の前記第１の領域よりも高いことを特徴とする画像処理装置を提供する。

本発明の構成によれば、光学ズームを使わずに、任意の領域の解像度を上げた超解像画像を得ることができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における複数枚超解像理について説明するためのフローチャートである。 デジタルカメラが撮像した画像のズームを説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０７に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０５に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０９に対して、ＲＯＭ１０７に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１２によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

通信部１０４は、主に制御部１０１の指令の元で、カメラと光学系１０３間の情報伝達を行う。

撮像部１０５は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０５に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０５は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

振れ検出部１０６は、デジタルカメラ１００に加わる振れ、揺れを検出する。一般的に、振れ、揺れ等の振動を検出するセンサとしては、ジャイロセンサ（以下ジャイロと呼ぶ）が用いられ、振れ、揺れの角速度を検出する。

ＲＯＭ１０７は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０８は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０９は、撮像部１０５から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０５が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０９は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０７から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０９の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０９の全ての機能を兼用する場合には、画像処理部１０９をハードウェアとして有する必要はなくなる。

表示部１１０は、ＲＡＭ１０８に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１１１は、撮像部１０５が撮像した画像や画像処理部１０９の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリーカードなどを用いてもよい。

操作部１１２は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１１０に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１２を経由して、制御部１０１に達する。

図２は、本実施形態における超解像の処理について説明するためのフローチャートである。

まず、ステップＳ２０１では、制御部１０１が超解像処理を行う領域を決定する。決定方法は、たとえば、ユーザが表示部１１０に含まれるタッチパネルで指定してもよいし、ユーザが操作部１１２に含まれるキーなどを用いてもよい。領域のサイズについては、無断階に変更できてもよいし、後述する撮像回数の決定手段に合わせて段階数を設けて変更させるようにしてもよい。

ステップＳ２０２では、制御部１０１が画素ずらし撮像の撮像回数を決定する。

撮像回数の決定方法についていくつの例を挙げて説明する。１つの例として挙げられるのは、ステップＳ２０１で制御部１０１が決定した領域の画素数がユーザにより指定された画素数となるように撮像回数を決定する方法である。

２つ目の例として挙げられるのは、ステップＳ２０１で制御部１０１が決定した領域の解像感が光学系１０３の持つ解像力（レンズの解像限界）を超えないように撮像回数を決定する方法である。制御部１０１が、レンズから取得したレンズの解像限界を示す光学データや予め制御部１０１がＲＯＭ１０７に記憶してある光学データに基づいて、撮像回数を決定する方法である。

３つ目の例として挙げられるのは、まず、制御部１０１がデジタルカメラ１００の持つＲＡＭ１０８の容量から超解像処理が可能な最大画像サイズを算出する。その後、制御部１０１が算出した最大画像サイズとステップＳ２０１で制御部１０１が決定した領域の画素数に基づき撮像回数を決定する方法である。

４つ目の例として挙げられるのは、デジタルカメラ１００に予め定められた記録サイズとなるように、ステップＳ２０１で制御部１０１が決定した領域に基づき撮像回数を決定する方法である。たとえば、デジタルカメラ１００に予め設定とされる画像の記録サイズＳ，Ｍ，Ｌを、ユーザがいずれを選択すると、制御部１０１はユーザが選択した記録サイズに基づいて撮像回数を決定する。

ステップＳ２０３では、制御部１０１がＳ２０２で決定した撮像回数に基づき、撮像間で撮像部１０５を動かす画素ずらし量を決定する。撮像部１０５がベイヤー配列の色フィルタを有する撮像素子で構成されている場合、各画素間の距離（画素ピッチ）をＤとし、撮像回数をｎ、求めたい画素ずらし量をｄとすると下記の（式１）のように表すことができる。

ステップＳ２０４では、制御部１０１がＳ２０３で決定した画素ずらし量に基づき、撮像部１０５を動かす。ここで、撮像部１０５が完全に静止したらフローがステップＳ２０５に進む。

ステップＳ２０５では、撮像部１０５が露光を行う。

ステップＳ２０６では、制御部１０１が撮像部１０５からステップＳ２０１で決定した領域の画像信号を読み出し、読み出した画像信号をＲＡＭ１０８に記憶させる。

ステップＳ２０７では、ステップＳ２０２で制御部１０１が決定した撮像回数に達したかどうかを判定し、達していない場合はフローがステップＳ２０４に戻り、達した場合はフローがステップＳ２０８に進む。

ステップＳ２０８では、画像処理部１０９は、ステップＳ２０６で制御部１０１が読み出した、超解像領域の複数枚の画像に対して超解像処理を行い、超解像画像を生成する。この時の超解像処理の方法については、前述した複数枚超解像の画素挿入方式や、特許文献１に示すような補間画素挿入方式でもよく、処理手段は問わない。

ステップＳ２０９では、制御部１０１は、画像処理部１０９がステップＳ２０８で生成した超解像画像を保存する。保存先として、内蔵メモリやメモリーカード、クラウドなどがあげられる。

以上で、図２に示す本実施形態における超解像の処理についてのフローチャートの説明を終了する。

本実施形態によれば、超解像の合成のための撮像を行うとき、合成の対象となる領域に応じて、撮像回数を決めることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 通信部
１０５ 撮像部
１０６ 振れ検出部
１０７ ＲＯＭ
１０８ ＲＡＭ
１０９ 画像処理部
１１０ 表示部
１１１ 内蔵メモリ
１１２ 操作部

Claims (10)

1. 画素ずらしの方法で複数の画像を撮像する撮像手段と、
   前記複数の画像において第１の領域を決定する第１の決定手段と、
   前記第１の領域に基づいて撮像回数を決定する第２の決定手段と、
   前記撮像回数に基づいて前記画素ずらしの画素ずらし量を設定する設定手段と、
   前記複数の画像の前記第１の領域に対して合成を行う合成手段と、を有し、
   前記合成手段が前記合成を行った後の前記第１の領域の解像感が前記複数の画像の前記第１の領域よりも高いことを特徴とする撮像装置。
2. 前記第２の決定手段は、前記合成手段が前記合成を行った後の前記第１の領域の画素数に基づいて前記撮像回数を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の決定手段は、前記合成手段が前記合成を行った後の前記第１の領域の解像感が、レンズの解像限界を超えないように前記撮像回数を決定することを特徴とする請求項１または２に記載の撮像装置。
4. さらに、記憶手段を有し、
   前記第２の決定手段は、前記記録手段の容量に基づいて、前記撮像回数を決定することを特徴とする請求項１または２に記載の撮像装置。
5. 前記第２の決定手段は、前記合成手段が前記合成を行う前の第１の領域の画素数に基づいて、前記撮像回数を決定することを特徴とする請求項４に記載の撮像装置。
6. 前記第２の決定手段は、設定されている記録サイズに基づいて、前記撮像回数を決定することを特徴とする請求項１または２に記載の撮像装置。
7. 前記第２の決定手段は、前記合成手段が前記合成を行う前の第１の領域の画素数に基づいて、前記撮像回数を決定することを特徴とする請求項６に記載の撮像装置。
8. 画素ずらしの方法で複数の画像を撮像する撮像ステップと、
   前記複数の画像において第１の領域を決定する第１の決定ステップと、
   前記第１の領域に基づいて撮像回数を決定する第２の決定ステップと、
   前記撮像回数に基づいて前記画素ずらしの画素ずらし量を設定する設定ステップと、
   前記複数の画像の前記第１の領域に対して合成を行う合成ステップと、を有し、
   前記合成ステップにおいて前記合成を行った後の前記第１の領域の解像感が前記複数の画像の前記第１の領域よりも高いことを特徴とする撮像方法。
9. 撮像装置をコンピュータに作動させるプログラムであって、
   画素ずらしの方法で複数の画像を撮像する撮像ステップと、
   前記複数の画像において第１の領域を決定する第１の決定ステップと、
   前記第１の領域に基づいて撮像回数を決定する第２の決定ステップと、
   前記撮像回数に基づいて前記画素ずらしの画素ずらし量を設定する設定ステップと、
   前記複数の画像の前記第１の領域に対して合成を行う合成ステップと、を行わせ、
   前記合成ステップにおいて前記合成を行った後の前記第１の領域の解像感が前記複数の画像の前記第１の領域よりも高いことを特徴とするプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータが読み出し可能な記録媒体。

Images