WO2014051059A1

WO2014051059A1 - 絞り装置、集光装置、及び撮像装置

Info

Publication number: WO2014051059A1
Application number: PCT/JP2013/076280
Authority: WO
Inventors: 清晴相澤; ヘネ・マルセリノ・アブリッタ・テイシェイラ
Original assignee: 国立大学法人東京大学
Priority date: 2012-09-28
Filing date: 2013-09-27
Publication date: 2014-04-03
Also published as: JP2014071375A

Abstract

【課題】一回の露光で、露光条件が互いに異なる複数枚の画像を合成した結果を生成できる絞り装置、集光装置、及び撮像装置を提供する。【解決手段】絞り装置が、入射光の一部を透過させる絞り装置であって、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有する。

Description

絞り装置、集光装置、及び撮像装置

　本発明は、絞り装置、集光装置、及び撮像装置に関する。

　写真撮影の対象となる風景画は、現実には暗部と明部とのコントラスト比が８桁にも及ぶ。それに対して近年、多くのディジタルカメラで撮像素子として使用されているＣＣＤ（Charge Coupled Device）や、ＣＭＯＳセンサでは、撮像可能なコントラスト比は高々３～４桁ほどでしかない。

　従って、コントラスト比の高い像をカメラで撮影すると、暗部がつぶれたり、明部が表現できなかったりすることが知られている。

　従来、こうした画像に対処するため、互いに異なる露光条件で撮像した複数枚の減画像を合成して、実質的なコントラスト比を向上させる技術（いわゆるＨＤＲ（High Dynamic Range）技術）が知られている。

特開２０１２－１７５２７７号公報

　従来のＨＤＲ技術では、露光条件を異ならせながら、複数枚の画像を連続的に撮像し、これらの画像を合成することでコントラスト比の向上を図っている。

　しかしながら、こうした従来の技術では、複数枚の画像を撮像している間、被写体が静止していないと合成結果に不具合が生じてしまう。

　本発明は上記実情に鑑みて為されたもので、一回の露光で、露光条件が互いに異なる複数枚の画像を合成した結果を生成できる絞り装置、集光装置、及び撮像装置を提供することを、その目的の一つとする。

　上記従来例の問題点を解決するための本発明は、絞り装置であって、入射光の一部を透過させる絞り装置であって、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有することとしたものである。

　本発明によると、一回の露光で、露光条件が互いに異なる複数枚の画像を合成した結果を生成できる。

本発明の実施の形態に係る撮像装置の例を表す構成ブロック図である。本発明の実施の形態に係る撮像装置で用いられるマスクの例を表す説明図である。本発明の実施の形態に係る撮像装置で用いられるマスクの構成例を表す説明図である。本発明の実施の形態に係る撮像装置の例を表す機能ブロック図である。

　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る撮像装置１は、図１に例示するように、集光装置１０と撮像部２０とを含んで構成される。またこの集光装置１０は、少なくとも一つの集光光学系１１と、絞り装置１２とを含む。さらに撮像装置２０は、撮像素子２１と、演算部２２と、記憶部２３と、操作部２４と、インタフェース部２５とを含んで構成される。

　集光装置１０の集光光学系１１は、例えばズームレンズ等のレンズを含む。なお、図１では図示を簡略にするため、レンズを２つ含む例を示しているが、本実施の形態はこれに限られるものではない。

　絞り装置１２は、入射光の一部を透過させる。本実施の形態においてこの絞り装置１２は、図２に例示するように、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有する。このマスクｈは（ｘ，ｙ）の位置での透過率ｈxyを要素として有している。図２において領域Ａ，Ｂ，Ｃは、それぞれ透過率が互いに異なり、領域Ａは１００％に近い透過率であり、領域Ｂは所定の減衰率による減衰（例えば５０％の減衰等）が加えられた透過率であり、領域Ｃは透過率が０％に近いものとなっている。減衰率は、所望するダイナミックレンジに応じて定めればよい。

　本実施の形態の一例において、このマスクｈは、複数の互いに異なるマスクｈ1，ｈ2…を合成して得られたものである。これらのマスクｈの元となるマスクｈ1，ｈ2…は、それぞれに透過率が互いに異なる複数の領域が形成されており、またマスクｈpには、ｈq（p≠ｑとする）に含まれない透過率の領域が形成されているものとする。具体的には図３（ａ）に例示するように、マスクｈ1は、例えば領域Ａと領域Ｃとが形成されたマスクであり、マスクｈ2は、図３（ｂ）に例示するように、領域Ｂと領域Ｃとが形成されたマスクであるものとすることができる。これらのマスクｈi（ｉ＝１，２…）はそれぞれ、完全系列、ＭＵＲＡ（Modified Uniformity Redundant Array）、Ｍ系列、ランダム、Ｚ相補（Z complementary）コード等を用いてつくることができる。

　そしてこれらｈ1，ｈ2を、それぞれ対応する位置においていずれか透過率の高い方を選択して合成してマスクｈが生成される。つまり、

　このマスクｈを透過した像は、元の像Ｉとマスクｈとの相関演算の結果に相当する、符号化された像Ｉcodedとなる。なお、マスクｈは、像Ｉを覆う大きさがあり，相関演算では、像Ｉとマスクｈの対応点同士の積が演算される（一般に、像Ｉの画素数とマスクｈの要素数は一致しなくともよいが、対応はとれているとする）。
なお、復号するときには、符号化されたものに、巡回相関演算を行えばよい。

を相関演算を表す記号とすると、符号化された像Ｉcodedは、

と書き表すことができる。

　このマスクｈの生成方法をここで簡易的に１次元の例で説明する。
　まず第一に、（１）直交する系列として次のｈ^cを用意する。ここでは長さを１３とした例を示す。
ｈ^c＝｛１，０，１，０，０，１，－１，１，０，－１，－１，１，１｝
次に（２）チャネル１としてこのうち符号が正のものを選ぶ。すなわち、
ｈ^c１＝｛１，０，１，０，０，１，０，１，０，０，０，１，１｝
として、符号が負である要素を「０」で置き換える。
また、（３）チャネル２として，符号が負である要素を選択する。すなわち、
ｈ^c２＝｛０，０，０，０，０，０，１，０，０，１，１，０，０｝
として、符号が正である要素を「０」で置き換え、符号が負である要素を「１」で置き換える。
　そして、これら二つのマスクｈ1=ｈ^c１及び、ｈ2=αｈ^c２、ただしαは減衰率で０＜α＜１を用い、
ｈ＝ｈ1＋ｈ2
として、マスクを生成する。

　仮に、３チャネル以上のマスクを生成する場合は、
ｈ^cの０の要素を「１」とし、その他の要素を「０」として、
ｈ^c３＝｛０，１，０，１，１，０，０，０，１，０，０，０，０｝
を生成し、別の減衰率βを乗じて、ｈ1，ｈ2とともに累算し、マスクｈを生成することとすればよい。

　本実施の形態のマスクは、この一次元の例を二次元に拡張し、完全系列を用いてｈ^cを生成し、これから２つのマスクｈ1=ｈ^c１及び、ｈ2=αｈ^c２（ただしαは減衰率）を得て、
ｈ＝ｈ1＋ｈ2
として、マスクを生成すればよい。
　またマスクｈを生成する別の方法として、クロストークのなるべく小さいマスクｈを構成するｈ1，ｈ2…を最適化の方法により求めることとしてもよい。

　撮像装置２０の撮像素子２１は、この符号化された像Ｉcodedを撮像し、この撮像した像を表す画像データを演算部２２に出力する。

　演算部２２は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部２３に格納されたプログラムに従って動作する。本実施の形態の演算部２２は、操作部２４により利用者が行った撮像指示操作に応じて、撮像素子２１が出力する画像データを取り込む。そして当該画像データについて撮像された像に対して、各マスクｈ1，ｈ2…を透過した像を抽出する処理を行う。そして演算部２２は、当該抽出された像を合成した合成像を生成して出力する。この演算部２２の動作については後に詳しく述べる。

　記憶部２３は、メモリデバイス等であり、演算部２２が実行するプログラムを保持している。このプログラムは、カード型の可搬型メモリデバイス（例えばＳＤカード等）のコンピュータ可読な記録媒体に格納されて提供され、この記憶部２３に格納されたものであってもよいし、ＵＳＢ（Universal Serial Bus）等のインタフェースを介して受信され、この記憶部２３に格納されたものであってもよい。この記憶部２３は、また演算部２２から入力される画像データを格納して保持する。さらに本実施の形態の記憶部２３は、演算部２２のワークメモリとして動作してもよい。

　操作部２４は、シャッターボタン等を含み、利用者の操作を受け入れて、当該操作の内容を表す情報を演算部２２に出力する。例えばこの操作部２４は、シャッターボタンが押下されると、撮像指示操作がなされたことを表す情報を、演算部２２に出力する。インタフェース部２５は、例えばＵＳＢインタフェース等であり、演算部２２が出力する指示に従って、画像データを外部に出力する。

　次に、演算部２２の動作について述べる。本実施の形態では、この演算部２２は、機能的には図４に示すように、受入部３１と、複数の抽出部３２ａ，ｂ…と、合成部３３とを含んで構成されている。受入部３１は、撮像された像（符号化された像Ｉcodedに対応する）を表す画像データを、撮像素子２１から受け入れる。

　抽出部３２は、マスクｈ1，ｈ2…のそれぞれに対応して設けられる。ここでマスクｈiに対応する抽出部３２ｉは、Ｈｉ,Ｇｉを、hi, giの周波数領域での表現であるものとして、例えば近似的にＧi＝Ｈi^-1（Ｈiの逆フィルタ）とおき、このＧiを用いて受入部３１が受け入れた画像データ（Ｉcodedに対応する）を循環相関演算した結果、つまり、

を演算して出力する。なお、Ｆ^-1はフーリエ逆変換の意味であり、ここでの

は、巡回相関を演算することを意味する。またここでチャネルＨi（ｉ＝１，２…）に対応する抽出部３２ｉ（ｉ＝１，２…）により出力される結果には、各チャネルＨi（ｉ＝１，２…）のそれぞれについて、チャネルＨiにしか含まれない透過率で撮像された像、つまり当該透過率で減光された露出で撮像された像が含まれる。例えば図３に例示したマスクｈ1，ｈ2であれば、マスクｈ1に対応する抽出部３２ａの出力する像には１００％の透過率で透過した像が含まれるが、この透過率で透過した像はマスクｈ2に対応する抽出部３２ｂの出力にはほとんど含まれない。一方、マスクｈ2に対応する抽出部３２ｂの出力する像には５０％(制御するパラメータ)の透過率で透過した像が含まれるが、この透過率で透過した像はマスクｈ1に対応する抽出部３２ａの出力にはほとんど含まれない。つまり、一回の露光で得た画像Ｉから、露光条件が互いに異なる複数枚の画像Ｉdecoded_i（ｉ＝１，２…）が近似的に得られる。

　合成部３３は、各抽出部３２が出力する演算結果を互いに加算した演算結果を出力する。一例としてこの合成部３３による演算は、

とすればよい。ここでｗiは、重みの値であり、利用者が適宜、実験的に設定できるものとする。また、この重みｗiは、局所的に（画像内の場所ごとに）異なる値（つまりｗi（ｘ，ｙ）のような関数）となっていてもよい。または、この合成部３３における演算は、いわゆるトーンマッピング等、露出条件が互いに異なる複数の画像を合成する、広く知られた方法を用いてもよい。トーンマッピングについては、種々の方法が広く知られているので、ここでの詳細な説明を省略する。

　これにより、互いに異なる露光条件で露光して得られた像が合成されて、コントラスト比を向上した像が得られる。演算部２２は、合成部３３としての処理により得られた像を、記憶部２３に記録する。そして利用者の指示により、演算部２２は、この記憶部２３に記録した像を、インタフェース部２５を介して外部に出力する。

　また、ここでは，チャネルｈi（ｉ＝１，２…）間のクロストーク（干渉）はないものとしていた。つまり、例えばｈ＝ｈ1＋ｈ2であるとすると、原画像Ｉを、このｈで相関演算した結果に対して、そのフーリエ変換がＧ1＝Ｈ1^-1（Ｈ1の逆フィルタ）で与えられるｇ１で巡回相関演算を行い、チャネルＨ１の像を得ている。しかし、現実にはＨ１，Ｈ２の分離が完全でないために、チャネルＨ2の像がチャネルＨ1を通じて得られた像に残存してしまうが、この残存の影響は無視できるものとしていた。しかしながら、クロストークが大きいと考えられる場合は、その低減を図るべく、抽出部３２ｉが、Ｇi＝Ｈi^-1（Ｈiの逆フィルタ）を演算した後、このＧiを用いて、Ｇi（ＨＧi）^-1（Ｇiと、ＨＧiの逆フィルタとの積，周波数領域なので成分ごとの積）をオペレータＥiを得て、受入部３１が受け入れた画像データ（Ｉcodedに対応する）を用いて

を演算して出力することとしてもよい。このようなクロストークの低減は、合成するチャネルＨi（ｉ＝１，２…）の数が３以上（マスクｈに含まれる互いに異なる階調の部分の数が４以上）となる場合に用いることとしてもよい。

　本発明の実施の形態の撮像装置によると、集光装置１０を通じて入射する被写体からの入射光が、集光装置１０内の絞り装置１２を通過する。このとき被写体の像Ｉがこの絞り装置１２の備えるマスクｈにより（２）式に示したように符号化され、像Ｉcodedが生成される。この像Ｉcodedには、互いに透過率の異なる少なくとも３つの領域を通過して得られた像が含まれている。

　撮像装置２０の撮像素子２１は、この符号化された像Ｉcodedを撮像し、この撮像した像を表す画像データを演算部２２に出力する。演算部２２は、マスクｈを、それぞれ互いに異なる透過率の部分ごとに分離したマスクｈ1，ｈ2…を用い、各チャネルＨiに対応して、Ｇi＝Ｈi^-1（Ｈiの逆フィルタ）を得る。そしてこのＧiを用いて受入部３１が受け入れた画像データ（Ｉcodedに対応する）を循環畳み込みした（３）式または（５）式の演算結果を生成する。

　ここでマスクｈi（ｉ＝１，２…）に対応するチャネルには、各マスクｈi（ｉ＝１，２…）のそれぞれについて、マスクｈiに含まれる透過率で撮像された像、つまり当該透過率で減光された露出で撮像された像が含まれる。すなわち一回の露光で得た画像Ｉから、露光条件が互いに異なる複数枚の画像Ｉdecoded_i（ｉ＝１，２…）が近似的に得られたこととなる。

　演算部２２は、この演算結果Ｉdecoded_i（ｉ＝１，２…）を互いに加算（重みづけ加算してもよい）した演算結果を生成し、この結果を記憶部２３に記録する。これにより露光条件が互いに異なる複数枚の画像を合成して得られる、コントラスト比を向上させた画像が記録される。

　なお、本実施の形態において、撮像装置２０の演算部２２は、合成処理後の像（（４）式の演算結果）を記録するのではなく、撮像素子２１が出力する像Ｉcodedをそのまま記録しておいてもよい。演算部２２は、この記録された像Ｉcodedに基づいて得られる合成処理後の像を、後の指示により生成して出力する。あるいは、この記録された像Ｉcodedは、外部のコンピュータにそのまま出力されて、外部のコンピュータにおいて、この像Ｉcodedに基づいた合成処理後の像を得てもよい。

　さらに、図２に例示したマスクｈのパターンを繰り返し配置したものを用いてもよい。また絞り装置１２の配置位置も、集光装置の絞りを配する位置ではなく、フィルタの位置や、撮像素子２１の直前等に配されてもよい。いずれの場合も、マスクＨを通じた光が撮像素子２１の全体に到達するようになっていればよい。

　１　撮像装置、１０　集光装置、１１　集光光学系、１２　絞り装置、２０　撮像部、２１　撮像素子、２２　演算部、２３　記憶部、２４　操作部、２５　インタフェース部、３１　受入部、３２　抽出部、３３　合成部。

Claims

　入射光の一部を透過させる絞り装置であって、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有する絞り装置。
　入射光の一部を透過させる絞り装置であって、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有する絞り装置を備えた集光装置。
　入射光の一部を透過させる絞り装置であって、透過率が互いに異なる複数の領域が形成された、複数の互いに異なるマスクｈ1，ｈ2…を合成して得られた、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有する絞り装置、を透過した像を受けて、当該像を撮像する撮像部と、
　前記撮像された像に対して、前記各マスクｈ1，ｈ2…を透過した像を抽出し、前記抽出された像を合成した合成像を生成して出力する演算部と、
　を含む撮像装置。
　演算部を備え、入射光の一部を透過させる絞り装置であって、
　前記演算部が、
　透過率が互いに異なる複数の領域が形成された、複数の互いに異なるマスクｈ1，ｈ2…を合成して得られた、透過率が互いに異なる少なくとも３つの領域が形成されたマスクを有する絞り装置を透過した像を受け入れ、
　前記受け入れた像に対して、前記各マスクｈ1，ｈ2…を透過した像を抽出し、
　前記抽出された像を合成した合成像を生成して出力する。