JP4657365B2 - 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法 - Google Patents

空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法 Download PDF

Info

Publication number
JP4657365B2
JP4657365B2 JP2009297250A JP2009297250A JP4657365B2 JP 4657365 B2 JP4657365 B2 JP 4657365B2 JP 2009297250 A JP2009297250 A JP 2009297250A JP 2009297250 A JP2009297250 A JP 2009297250A JP 4657365 B2 JP4657365 B2 JP 4657365B2
Authority
JP
Japan
Prior art keywords
dynamic range
high dynamic
image
range imaging
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009297250A
Other languages
English (en)
Other versions
JP2010110004A (ja
Inventor
ナヤル シュリー
知生 光永
Original Assignee
ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク filed Critical ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Publication of JP2010110004A publication Critical patent/JP2010110004A/ja
Application granted granted Critical
Publication of JP4657365B2 publication Critical patent/JP4657365B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Description

本発明は、あるシーン（場面）の画像を捕捉する装置及び方法に関し、より詳細には、低ダイナミックレンジの画像センサを使って高ダイナミックレンジの画像を捕捉する装置及び方法に関する。
あらゆる現実世界のシーンが、仮想的には極めて広いレンジの輝度値を生成する。それとは対照的に既知の画像センシング（検出）デバイスは極めて限定されたダイナミックレンジを持つ。例えば、典型的には、ビデオセンサは８ビット又はそれ以下のグレイレベル又は色情報を生成する。グレイスケール画像の場合には８ビットは僅か２５６個の離散的なグレイレベルを供給するに過ぎず、それは現実の日常シーンの大部分の精密な詳細を捕捉するのには十分でない。
低ダイナミックレンジの画像センサによって高ダイナミックレンジの画像を捕捉するという問題の既知の解決策は、シーンからの光の露出（露光）を変動させながら、各局所的なシーン領域に対し複数の画像測定を行う、というものである。そのような露出変動は、異なる露出で複数の場面の画像を継続的にとって、次いでそれら複数の画像を結合して単一の高ダイナミックレンジの画像にすることにより、典型的に達成される。或る場面を画像化するときにダイナミックレンジを拡大するために、一時的に露出を変動させる技術については、例えば1995年05月30日付のM.Konishi他による米国特許第5,420,635号、1995年10月03日付のA.Morimuraによる米国特許第5,455,621号、1998年09月01日付のE.Ikedaによる米国特許第5,801,773号、1997年06月10日付のK.Takahashi他による米国特許第5,638,118号、1994年05月03日付のY.T.Tsaiによる米国特許第5,309,243号、1995年05月刊行Proceedingsof IST´s 48th Annual Conference, pp. 422-428所載のMann及びPicardによる”Being ‘Undigital’ with Digital Cameras:Extending Dynamic Range by Combining Differently Exposed Pictures”という文献、1997年08月刊行Proceedings of ACMSIGGRAPH, 1997, pp. 369-378所載のDebevec及びMalikによる”Recording High Dynamic Range Radiance Maps from Photographs”という文献、1999年06月刊行IEEE Conferenceon Computer Visionand Pattern Recognition (CVPR99)所載のT. Misunaga及びS. Nayerによる”Radiometric Self Calibration”という文献に記載がある。しかし露出の一時的な変化の間に複数の画像を取得することに要する技術は、基本的な問題点として、露出の変化の間にシーンの変動が起こり得る。換言すればこれらの技術は、シーンの輝度値が一定の静止場面に対してのみ有用である。更にまた、露出の変化の間には、画像化デバイス及びそのコンポネントの位置及び方向が一定のままでなければならない。最後に、すべての所要の画像を継続的に捕捉するためにはかなり長時間が必要であるから、一時的に露出を変動させる技術は実時間への応用には不適当である。
低ダイナミックレンジの画像センサによって高ダイナミックレンジの画像を捕捉するという問題のもう１つの既知の解決策は、種々の異なる露出を使って複数のシーンの画像を同時に捕捉することである。そのような技術については例えばProceeding softhe IEEE Conference on Intelligent Transportation Systems, 1997所載のYamada他による“Effectiveness of Video Camera Dynamic Range Expansion for Lame Detection”という文献に開示されている。典型的には２個の光学的に整列したＣＣＤ光感知アレイが使われて１つのシーンの同じ画像が異なる露出で同時に捕捉される。シーンからの光はビームスプリッタにより分割されて、両方のＣＣＤ光感知アレイに向けられる。捕捉された２個の画像はポストプロセッサにより結合されて、１個の高ダイナミックレンジ画像となる。この技術は複雑で高価な光学技術を必要とするので不利であり、２つより多い異なる露出で画像を捕捉することは困難である。
電荷結合画像化デバイスのダイナミックレンジを増す努力が続けられて来た。M.Murakoshiによる特開昭59-217,358号には画像化デバイスの各画素に対し２個以上の電荷結合デバイス（ＣＣＤ）光検出セルの使用が記載されている。１つの画素の各光検出セルはそれぞれ異なる感光度を持つので、シーンからの光に露出されたときに、幾つかのセルは、他のセルに比して飽和に達する時間が長くなる。このやり方で１つの画素のすべての光検出セル内の記憶光生成電荷が結合されると、該画素のダイナミックレンジは効果的に増大する。しかしこのMurakoshi文献は低ダイナミックレンジの画像センサを用いて高ダイナミックレンジの画像を捕捉するという問題の解決を目指すものではない。
J.Ross他による米国特許第4,590,367号は、光学デバイスの感光領域に隣接し、電気的に制御される光変調器を使って、光学デバイスのダイナミックレンジを拡大し、画像化された光学的なシーンから入射する光の明るさを減らして、ダイナミックレンジ又は感光領域を越えないようにする装置を開示する。J.Ross他の文献に記載の光変調器は、個別の制御信号に応じて光の増幅又は減衰の制御をする個別の画素を有する。従って、変調器の各画素から出る光の強さを検出した検出レベルは、輝度レベルを検出器の定格のダイナミックレンジにするために、変調器の各画素の増幅又は減衰を調節するための、制御信号の生成に用いられる。こうして、幅の広い入力光の強さのダイナミックレンジは、１画素ごとに、狭いダイナミックレンジに縮小される。しかしJ.Ross他の文献の装置及び方法は投影された光を使う３次元測定を簡単化するのが目的であって、該文献は高ダイナミックレンジ画像をどのようにして捕捉するかには触れていない。
高ダイナミックレンジ画像を捕捉する既知のシステムのもう１つの問題点は、低ダイナミックレンジのディスプレイを使ってこのような画像を表示することである。ビデオモニター、テレビジョン、コンピュータのディスプレイ等のような市販のディスプレイの大半は低ダイナミックレンジを持つ。それ故に、高ダイナミックレンジ画像が得られた後では、適切な可視情報を保存しながら、低ダイナミックレンジのディスプレイ上に画像を表示するのにマッピングを行う方法を使う必要がある。換言すれば、場面の詳細を保存しながら、捕捉された画像のダイナミックレンジを圧縮しなければならない。
捕捉した画像のダイナミックレンジを圧縮する既知の技法は、トーンカーブ（またはレスポンス曲線）の再生であり、そこでは、適切なトーンカーブを用いて、高いダイナミックレンジのカラースケールを、低いダイナミックレンジのカラースケールへとマッピングする。この種の圧縮の例には、対数スケール変換およびガンマ補正がある。しかしながら、トーンカーブ再生圧縮は、シーンの視覚的な詳細を維持するものではない。
更に技巧的なトーンカーブ再生技術は、画像の色ヒストグラムを積分することによりトーンカーブを生成するヒストグラム等化である。ヒストグラム等化の結果は色空間の画像中の色の更に一様な再分配をもたらすが、しかしこの技術は、極めて明るい（又は極めて暗い）画素のような幾つかの局所領域を持つ画像の詳細を保存することはできず、そのような局所領域は共に、グレイレベルの全レンジに跨がり得る。それ故に、ヒストグラム等化の過程によって、個々の領域の内部の詳細の質が向上することはない。
捕捉された画像のダイナミックレンジを圧縮するもう１つの技術は、1998年のSIGGRAPH 98 Proceedings, pp. 287-298所載のPattanaik他による”A Multiscale Model of Adaptationand Spatial Vision for Realistic Image Display”という文献に開示されている。この技術は画像データを数個の周波数成分画像、例えばラプラスのピラミッド、に分割する。それから各周波数成分が異なるやり方で変調された後に画像が組み立て直される。
この技術の利点は、ヒストグラム等化とは異なり、絶対画素値がさほど寄与しない、という点である。しかしこの技術は周波数成分画像を得るために大量のメモリ及び膨大な計算を必要とする、という不都合がある。
従って、相対的に低いダイナミックレンジの画像センサを使って高ダイナミックレンジの画像を捕捉し、また、捕捉した高ダイナミックレンジの画像を、相対的に低いダイナミックレンジのディスプレイ・デバイスによって表示するために、詳細を保存して圧縮する装置及び方法を必要とし、それは上述の従来技術の問題点を克服するものである。
本発明によれば、光検出素子のアレイを持つ画像センサを含む高ダイナミックレンジの画像化システムが提供される。この画像センサはシーンの画像を検出して、その光検出素子の各々に当たる光の強さを表す、対応する画素値を供給する。画像センサは、対応する光検出素子に当たる光の強さが第１のしきい値レベルより大きい場合には、飽和した画素値を供給し、さらに、画像センサは、対応する光検出素子に当たる光の強さが第２のしきい値レベルより小さい場合には、黒の画素値を供給する。この画像センサは、シーンの画像における光の強さのレンジと比べて、相対的に低いダイナミックレンジを有する。
このシステムは、シーンと画像センサとの間に配置したマスクを具える。このマスクは、複数の光を伝達するセルを持ち、その各々が、画像センサの１つ以上の光検出素子の各々の、シーンからの光の露出を制御する。光検出素子の各々は、光検出素子に当たる光が通過するセルの透明度によって定まる対応する露出値を有する。
このシステムは更に、光検出素子に対応する露出値を格納する第１のメモリと画像プロセッサとを有し、この画像プロセッサは、画像センサに結合して、それにより供給される画素値を受信し、さらに、第１のメモリにも結合して、光検出素子に対応する露出値を受信する。画像プロセッサは、画素値を露出値の関数によりマッピングして対応する正規化された画素値を導くための正規化器を持つ。そのようなマッピングの一例としては、各画素値をそれぞれの露出値で除算するものがある。
本発明の第１の典型的実施例によれば、光検出素子に対応する露出値を固定し、画像プロセッサは、正規化された画素値を補間して、光検出素子のアレイと一部分重なり合う第２のアレイのそれぞれの位置における補間された画素値を得るための補間器を更に有する。この補間処理は、飽和した画素値又は黒の画素値に対応する正規化された画素値については省略することができる。画像センサの応答関数が線型でない場合には、システムは画像センサの応答関数を格納するための第２のメモリを有することもでき、画像プロセッサは、第２のメモリに結合して応答関数を受信し、さらに、較正手段を更に有して、応答関数に従って画像センサにより供給される画素値を、該画素値を正規化器が正規化する前に線型化する。
本発明の第２の典型的実施例によれば、マスクの各セルの露出値はそれぞれの露出制御信号をマスクに与えることにより変更することができる。このシステムはマスクコントローラを有し、このマスクコントローラは、画像センサに結合して、画像センサにより供給される画素値を受信し、画像センサの対応する領域からの飽和した画素値及び黒の画素値の数を最少にする露出制御信号を計算してマスクに与え、さらに与えられた露出制御信号に対応する露出値を供給する。次いで正規化器は画像センサからの各画素値を正規化して、シーンの輝度画像を表す正規化された画素値を導き出す。
露出パターンメモリに結合して、その中に格納された露出値を受信する平滑器を備え、さらに、平滑化フィルタを露出値に適用して、正規化された画素値に対応する滑らかな露出値を得ることによって、捕捉された高ダイナミックレンジの画像のダイナミックレンジは圧縮されて、相対的に低ダイナミックレンジのディスプレイ上で表示することができるようになる。更には、画像プロセッサの正規化器に結合する露出再アプリケーターを設けて、正規化された画素値を受信して、それら正規化された画素値の各々に対応する平滑化された露出値を乗算し、それにより、圧縮されたダイナミックレンジを持つが画像の詳細には殆ど喪失のないモニター画像の画素値を導く。
本発明の第１の典型的実施例の１つの代案によれば、マスクは使わずに、画像センサの光検出素子のアレイが、入射光に対する感光度の空間的に変動するパターンと、それぞれの感光度を表す対応する感光度値とを持つようにする。この感光度値は第１のメモリに格納され、画像センサからのそれぞれの画素値と共に正規化器によって使われて、対応する正規化された画素値を導き、また正規化された画素値を補間する補間器を設けて、光検出素子のアレイと一部分重なり合う第２のアレイの位置に補間された画素値を導く。
本発明のもう１つ別の態様によれば高ダイナミックレンジの画像化方法が提供され、該方法は、空間的に変動する露出を用いて、光検出素子のアレイを持つ画像センサにシーンの画像を露出するステップを含む。画像センサは、画像をセンシングして、それぞれの光検出素子に当たる光の強さを表す対応する画素値を供給する。画像センサは、それぞれの光検出素子に当たる光の強さが第１のしきい値レベルより大きい場合には飽和した画素値を供給し、また、画像センサは、それぞれの光検出素子に当たる光の強さが第２のしきい値レベルより小さい場合には、黒の画素値を供給する。この画像センサは、シーンの光学画像における光の強さのレンジと比べて相対的に低いダイナミックレンジを有する。該方法は更に、それぞれの露出値を使って、画像センサにより供給される画素値を正規化するステップも含む。
該方法の１つの態様によれば、空間的に変動する露出を用いて画像センサに露出するステップは、その各々が、それぞれ１個又はそれ以上の光検出素子が場面からの光に露出するのを制御する、複数の光を伝達するセルを持つマスクを使うステップを含む。光検出素子の各々は、光検出素子に当たる光が通過するセルの透明度を表す対応する露出値を持ち、また画像センサの供給する画素値を正規化するステップは、露出値の関数により画素値をマッピングするステップを含む。
該方法のもう１つ別の態様では、光検出素子に対応する露出値は固定され、該方法は更に、正規化された画素値を補間して光検出素子のアレイと一部分重なり合う第２のアレイにおけるそれぞれの位置に補間された画素値を導くことを含む。
更に別の態様では、該方法は、画像センサの応答関数に従って画像センサにより供給される画素値を較正して、該画素値が正規化されるステップの前に該画素値を線型化するステップを含む。
該方法の更にもう１つ別の態様では、光検出素子の各々に対応する露出値を、それぞれの露出制御信号をマスクに与えることにより変更することができる。該方法は、画像センサからの飽和した画素値及び黒の画素値の数を最少にするために、画像センサの供給する画素値から露出制御信号を計算して、その計算された露出制御信号をマスクに与えると同時に与えられた露出制御信号に対応する露出値を、正規化ステップで用いるために供給するステップを更に含む。
さらなる好適例では、この方法は、供給される露出制御信号に対応する露出値に平滑化フィルタを適用して、正規化した画素値に対応する平滑化した露出値を導出するステップを含む。そして、各正規化した画素値に、これに対応する平滑な露出値を乗算することによって、平滑化した露出値を正規化した画素値に再適用して、圧縮したダイナミックレンジを有するが、画像の視覚的細部情報は保持する画像を表現するモニタ画像の画素値を導出する。
本発明のさらに他の要点によれば、フィルムカメラ内の写真フィルムのフレームを、カメラのシャッタと焦平面との間に配置した平面状のマスクを通したシーンの画像に露出させるステップを具えた、高ダイナミックレンジの画像化方法が提供される。このマスクは、各々がフィルムのそれぞれの領域の露出を制御する多数の光透過セルを有する。マスクの各セルが、このセルの透過率を示す関連の露出値を有する。この露出値は露出パターンメモリに記憶する。そして露出したフィルムを処理して、シーンのマスク画像が含まれるようにする。フィルムまたはそのプリント上に含まれるマスク画像を走査して、マスクのセルを通してフィルム上に露出したマスク画像の異なる領域を表現する画素値を得る。画素値で表現されるマスク画像を、露出値で表現されるマスクに合わせて整列して、各画素値がマスクのセルに関連する露出値に対応するようにして、この画素値で表現される領域は、このマスクのセルを通して露出したものである。そしてこれらの画素値を、対応する露出値を用いて正規化して、第１アレイのそれぞれの位置にある正規化した画素値を導出する。
この方法の一つの好適例は、正規化した画素値を補間して、第１アレイに重なった第２アレイの各位置の補間画素値を導出するさらなるステップを含む。この方法の他の好適例はさらに、フィルムの応答関数と、フィルム上に含まれるマスク画像を走査するのに用いた画像センサの応答関数とを組合わせた応答関数に従って、画素値を較正するステップを含む。本発明の特徴及び効果は、以下の図面を参照した実施例の詳細な説明より明らかになる。
本発明の第１の好適実施例による画像システムの機能図である。 図１の画像システムを実現したビデオカメラのハードウエア構成要素のブロック図である。 図１のシステムの画像プロセッサのデータフロー図である。 図１のシステムで用いるパターン化したマスクの平面図である。 図４Ａのマスクパターンを形成ために繰返し配置する、隣接する４つのセルのグループを表わす図である。 図１のシステムの結像光学器、マスク及び画像センサ、及び画像を捕捉すべきシーン内の物体を表わす図である。 図４Ａのマスクを通して見た、シーンの物体の像を表わす図である。 マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して図１のシステムが実行する較正及び正規化を示す図である。 マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して図１のシステムが実行する較正及び正規化を示す図であり、ここでは画素値のうちの１つがブラック化画素値である。 マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して図１のシステムが実行する較正及び正規化を示す図であり、ここでは画素値のうちの２つが飽和画素値である。 図１のシステムが実行する補間を示す図であり、特に、２×２の補間フィルタを、マスク画像の２×２画素の局所領域のすべてに適用して、補間画素値を導出することを示す。 格子の交点に配置した画像センサの感光素子を有し、補間格子に重なった元の画像格子を表わす図である。 元の画像格子の異なる２画素×２画素領域の各々に適用して、補間格子の各交点における補間画素を導出する補間フィルタを示す図である。 図１のシステムの画像プロセッサの動作のフロー図である。 図１１のフロー図の較正ステップ２０８をより詳細に示すフロー図である。 本発明の第２の好適実施例による画像システムの機能ブロック図である。 図１２の画像システムを実現したビデオカメラのハードウエア構成要素を表わすブロック図である。 図１２のシステムの光学要素、マスク、光拡散器、及び感光アレイの配置を表わす図である。 図１２のシステムの画像センサの、マスクセルと画素位置との対応を示す図である。 図１２のシステムのマスクコントローラの動作を示す図であり、マスクの露出値を適応的に制御する。 図１２のシステムのマスクコントローラの動作のフロー図である。 図１２のシステムの画像プロセッサのデータフロー図である。 図１２のシステムにおける、露出値の平滑化動作、及び平滑化した露出値を捕捉した高ダイナミックレンジの画素値に適用することを示す図である。 図１２のシステムが実行する露出値の平滑化動作のフロー図である。 図２０の平滑化動作で使用可能な平滑化フィルタの例を表わす図である。 本発明の第３の好適実施例による画像システムの機能図である。 図２２の画像システムのアライナーの詳細構造を表わす図である。 図２２の画像システムのアライナーの動作のフロー図である。
（実施例の詳細な説明）
以下、本発明の実施例について図面を参照して説明する。図１に、本発明の第１好適例による画像化システム１００の機能図を示す。画像化システム１００はマスク１０１を具え、シーン（図示せず）からの入射光が、画像センサ３に当たる前にこのマスクを通過する。画像センサ３は、マスク１０１を透過したシーンの画像をセンシングして、これに対応する画素値を画像プロセッサ４に供給し、画像プロセッサ４は、応答関数メモリ６及び露出パターンメモリ５に結合され、そして高ダイナミックレンジのデータを出力画像メモリ７に供給する。マスク１０１は透明な材料の平板であり、これは入射光の波長に対して無色の特性を有し、かつ入射光２が通過する領域では、固定の透明度の空間的パターンを有する。本明細書で用いる「光」とは、ミリメートル波長領域からガンマ線領域までに広がるスペクトルを有する電磁放射のことを称する。画像センサ３は、光センサ素子（図示せず）のアレイを有する電荷結合素子（ＣＣＤ）画像検出器を具えていることが好ましいが、写真フィルムを含めた他のいずれの種類の画像センサとすることもできる。一般に画像センサ３は、シーンから発する入射光２のレンジに比べて低いダイナミックレンジを有する。応答関数メモリ６に記憶した応答関数データは画像センサ３の入力／出力特性であり、これは前以て測定して、パラメータ形式または他の適切なデータ形式の早見表として応答関数メモリ６に記憶したものである。メモリ５に記憶した露出値は、各画素位置におけるマスクの透明度を示すものであり、画像センサ３が供給する画素毎に対応する露出値が存在する。これらの露出値は前以て測定して、生データまたは符号化データとして露出パターンメモリ５に記憶したものである。画像プロセッサ４は、画像センサ３が供給する画像値、応答関数メモリ６に記憶している応答関数、及び露出パターンメモリ５に記憶している露出値から、高ダイナミックレンジの画像データを導出する。出力画像メモリ７に記憶している高ダイナミックレンジの画像データは、これに対応するシーンの放射輝度（ラジアンス）値に比例する放射輝度値を有する。
図２に、図１のシステムを実現したビデオカメラ２００のハードウエア構成要素を示す。図２のカメラは、画像センシング部４０１を有し、これはシーンの画像をＣＣＤ光センサアレイ１６５の感光面に結像させるレンズ４０２と、画像の全体的な露出を制御する開口部４０３と、前記ＣＣＤ光センサアレイ１６５の近傍に位置するマスク１０１と、ＣＣ
Ｄ出力を調整してノイズを低減する前段増幅器４０４を具えている。前段増幅器４０４は、相関倍化回路、自動利得制御回路、ガンマ補正回路、及びニー（折点）回路のような、通常ビデオカメラに用いるいくつかのアナログ回路を具えている。図２の実施例のカメラは、画像センシング部４０１からの捕捉した画像に対応する信号をディジタル化するアナログ−ディジタル変換器４０６を有する画像処理部４０５も具えている。このディジタル化した画像をフレームメモリ４０７に記憶し、このメモリは図１の出力画像メモリに相当する。高ダイナミックレンジの画像データの演算は処理装置４１１で実行し、この処理装置はフレームメモリ４０７、ＲＯＭ４０９、及びＲＡＭ４１０のデータにアクセスする。ＲＯＭ４０９は、露出値及び応答関数データ、並びに処理装置４１１用の命令を記憶するために用いる。フレームメモリ４０７の高ダイナミックレンジの画像データを演算したものを、ディジタル−アナログ変換器４０８によってアナログ信号に変換し、ディジタル−アナログ変換器４０８はアナログ信号をビデオ出力部４１２に供給する。ビデオ出力部４１２はビデオカメラのみに必要なものであり、これに相当するものは図１にはなく、前記変換したアナログ信号をビデオ信号に変換するビデオエンコーダ４１３を具えている。そしてこのビデオ信号を出力装置４１４に通し、出力装置４１４はビデオ出力４１５を供給する。
図３に、図１の画像プロセッサ４のデータフロー図３０００を示す。この画像プロセッサは、較正器９、正規化器１０、及び補間器１１を具えている。較正器９は応答関数メモリ６に記憶している応答関数データを用いて、画像センサ３によって捕捉した画像データ８を線形応答画像マッピングする。そして正規化器がこの線形応答画像を、シーンの放射強度に比例する画像に変換する。最後に補間器１１が、飽和またはブラック化により演算不能な画素値を補間して、補正した画像データを出力画像メモリに供給する。補間は、飽和あるいはブラック化した画素がなくても、ノイズを低減する方法として用いることができる。図４Ａに、図１のシステムに用いるマスク１０１用のマスクパターンの例を示す。
このマスクの例では、マスク１０１は、異なる透明度（減衰率）を有するセルの２次元アレイである。マスク１０１は、異なる透明度を有する４つのセルの同じグループを反復的に配置したものから構成される。図４Ｂに、４つのセルのグループ１０２、１０３、１０４及び１０５を示し、これらの各々を、図４Ａのパターンのマスク１０１を形成するように配置する。このグループは、最明セル１０２、明セル１０３、暗セル１０４、及び最暗セル１０５を有し、最明セル１０２が４つのセルのうち最も透明度が高く、最暗セル１０５が最も透明度が低い。図４Ａ及び図４Ｂの例では、４つのセルのグループの各々を、マスク１０１の露出パターンを形成するように配置しているが、異なる透明度を有するセルをより少数あるいはより多数有するグループを同様に反復させて、同じ露出パターンあるいは異なる露出パターンを形成することができる。マスクの露出パターンは周期的である必要はなく、透明度の分布がランダムであってもよい。さらにマスク１０１を、非線形の光学応答特性を有する材料から構成することができる。こうした材料は、入射光の強度に対して非線形に変化する透過率（または減衰率）を有する。こうしたマスクは、視覚的細部情報を保存しつつ画像システムの有効ダイナミックレンジを拡大する細部保存性の光学フィルタを提供することができる。
ＣＣＤまたはＣＭＯＳ光センサアレイのような半導体素子の画像センシングデバイスを使用する場合には、フォトリソグラフィー及び薄膜フィルム堆積を用いて、マスクパターンを画像センシングデバイスと同じ基板上に製造することができ、あるいはフォトリソグラフィー及びデバイスそのもののエッチングによってマスクパターンを形成することができる。フィルム式カメラの場合には、シャッタとフィルム板の間にマスクを配置するか、あるいはフィルムそのものにマスクを取り付けることができる。マスクの代わりに、フィルムそのものが空間的に可変の光感度を有するようにすることもできる。チェッカー（碁盤模様）型のマスク１０１は、あらゆる局所領域に４つの異なる露出が生じるようにするものである。これにより、４つの異なる露出によって生成される大きなダイナミックレンジを用いて、あらゆる局所領域を捕捉する。チェッカー型のマスク１０１内のセルの露出値を露出値メモリ５に記憶して、これらの値を画像プロセッサ４が用いる。
図５Ａ及び図５Ｂに、チェッカーパターンのマスク１０１でのシーンの画像の捕捉を示す。図５Ａに示すように、マスク板１０１を画像センシングデバイス１６５の前に置いて、各マスクセルが、画像センシングデバイス１６５のそれぞれの画素（即ち感光素子）の前に位置するように、マスク板１０１を合わせる。シーンからの入射光が画像光学器１４７を通過して、画像センサ３の画像平面上に結像するが、各画素位置ではマスク板１０１によって減衰した光強度を記録する。また図５に、明るい物体１０６及び暗い物体１０７のあるシーンを示す。このため、マスク板１０１を通して画像センシングデバイス１６５によってシーンを捕捉すると、図５Ｂに示すような画像が得られる。なお、明るい物体１０６の領域で、より明るい露出の画素が飽和する場合には、同じ領域で、より暗い露出の画素はまだ、画像センサ３のダイナミックレンジ内の値を有する。同様に、暗い物体１０７の領域で、より暗い露出の画素が暗すぎる場合には、同じ領域では、より明るい露出の画素はまだ、画像センサ３のダイナミックレンジ内の値を有する。
図６に、画像プロセッサ４の較正器９及び正規化器１０で実行する処理の例を示す。この例では、シーンの背景中の領域１１１から、隣接する４つの画素の局所領域１１２を取り出す。シーンの背景が一定の明るさなので、４つの画素１１２の放射輝度値は同一になる。しかし、画像センサ３の応答関数の非線形性、及びマスクの透明度パターンの結果としての、４つの画素位置に対応する露出値の差により、４つの画素の測定値が異なる。図７の中央にある図は、測定した各画素値を、シーンの放射輝度に対して線形の画素値に変換して、この線形化した画素値を正規化するプロセスを示すものである。最初に較正器９が、実線の応答曲線１１３で表わす画像センサ３の応答関数を各測定画素値に適用して、点線１１４で表わす画像センサ３の非線形性を除去する。そして点線１１５で示すように、較正した各画素値を、これに対応する露出値で除算する。その結果を図の１１６で表現し、これは、同じ放射輝度を有する隣接した画素位置の４つの画素値を較正して正規化したものを示す。図６の例で用いた正規化は、対応する露出値で画素値を除算することを含むが、正規化は、露出値の関数による画素値のマッピングのいずれをも含むということに留意すべきである。
図７に、画像プロセッサ４の較正器９及び正規化器１０による処理の他の例を示し、今回は、シーンの暗い領域１１７から取り出した隣接する画素位置１１８についての処理である。図７の例では、これらの画素位置のうちの３つが画像センサ３のダイナミックレンジ内の画素値を有するが、画素位置のうちの１つがブラック化した画素値を有する。これら４つの画素値の較正及び正規化を、図７の中央の図に示す。図の画素値軸では、画素のブラック化しきい値及び画素の飽和しきい値をそれぞれＴｂ及びＴｓで示す。図に示すように、較正及び正規化プロセスは破線１１９で示すように、ブラック化した画素値には正しく適用することができない。こうして較正及び正規化した結果を図の１２０で表わし、これは同じ放射輝度を有する３つの画素値を較正及び正規化したもの、及びブラック化した１つの画素値（文字“ｂ”を付けたもの）を表わし、この画素値には較正及び正規化を正しく適用することができない。
図８に、画像プロセッサ４の較正器９及び正規化器１０による処理の他の例を示し、今回は、シーンの明るい領域１２１から取り出した隣接する画素位置１２２についての処理である。４つの画素位置１２２のうちの２つが、画像センサ３のダイナミックレンジ内の画素値を有するが、他の２つは飽和した画素値を有する。これら４つの画素値の較正及び正規化を、図８の中央の図で示す。ここでも図の画素値軸上に、画素のブラック化しきい値及び画素の飽和しきい値をそれぞれＴｂ及びＴｓで示す。これら２つの飽和した画素値は、破線１２３で示すように正しく較正及び正規化することができない。処理の結果を図の１２４で表わし、この図は、２つの画素位置の同じ放射輝度の画素値を較正及び正規化したもの、及び他の２つの画素位置の飽和した画素値（文字“ｓ”を付けたもの）を示す。
この好適実施例によれば、飽和及びブラック化した画素値を較正器９によってマークして、これにより補間器１１がこうした例外を扱うことができるようにする。
図９に、プロセッサ４の補間器１１が実行する補間プロセスを示す。図の右上には、シーンの領域１２５を表現する１０×１０個の画素のグループ１２６を示し、これはシーンの暗部及び明部の境界を含む。各画素位置１２６の画素値は、図６、７及び８に関連して説明した較正及び正規化プロセスを行ったものであり、飽和した画素はすべて黒色の“×”を付けてあり、ブラック化した画素はすべて白色の“×”を付けてある。補間器は、画像の画素アレイの、すべての異なる２画素×２画素の領域に、２画素×２画素の補間フィルタを適用する。補間フィルタは、領域内の非飽和かつ非ブラック化の画素値の平均を取ることによって、各２画素×２画素領域の中心の補間画素値を計算する。すべての異なる２画素×２画素領域を、４つの異なる透明度のマスクを通して露出するので、一般に、各領域内に少なくとも１つの非飽和かつ非ブラック化の画素値が存在する。図９に示す補間フィルタ１２７の位置では、補間フィルタが包含する２画素×２画素の領域が２つの飽和画素値を含み、これらの画素値は補間プロセスが考慮に入れない。結果として、この領域内の２つの非飽和かつ非ブラック化の画素値の平均値を有する補間画素１２９が、２画素×２画素領域の中心に得られる。あるいはまた、飽和画素及びブラック化画素にそれぞれ所定値を割り当てて、これらを補間演算に含めることができる。
各画素値に、補間結果の品質向上への寄与分に従って重み付けすることが有利である。隣接する４つの画素を異なる露出値によって正規化するので、４つの画素の各々の信号対ノイズ比（ＳＮＲ）は相互に異なる。各画素値にＳＮＲで重み付けすることによって、よりノイズ耐性のある補間を行うことができる。画素値Ｍの応答関数ｆ（Ｍ）が与えられれば、この画素値のＳＮＲはＳＮＲ（Ｍ）＝ｆ（Ｍ）／ｆ´（Ｍ）として計算することができ、ここでｆ´（Ｍ）はｆ（Ｍ）の１次導関数である。
図１０Ａ及び図１０Ｂにさらに、画像プロセッサ４の補間器１１が実行する補間プロセスを示す。図１０Ａに、垂直方向（ｙ方向）及び水平方向（ｘ方向）に伸びる、直交する離間した直線によって規定される元の画像格子１５０を示す。画像センサ３は、元の画像格子１５０の各交点（画素位置）に配置した感光素子１５１のアレイで構成される。画像センサ３は、入射光に露出すると、各感光素子に対応するそれぞれの画素値を供給する。
元の画像格子１５０には補間格子１５２が重なり、これも垂直方向及び水平方向に伸びる直交する離間直線によって規定される。ここで図１０Ｂに示すように、補間フィルタ１５３が、元の画像格子１５０の異なる４つの交差領域の各々を包含して、この補間格子のそれぞれの交点における補間値１５４を導出する。この好適実施例では、補間格子が元の画像格子と同一であり、これらの格子は互いに、水平方向に半グリッド位置分だけ変位し、かつ垂直方向に半グリッド位置分だけ変位している。補間格子が元の画像格子と同一である必要がなく、そして、双線形補間フィルタ、補間フィルタ、双立方補間フィルタ、Ｂ−スプライン補間フィルタ、ガウス補間フィルタ、または当業者に既知の他のいずれの補間フィルタのような、２画素×２画素以外の補間フィルタを用いることができることは当業者にとって明らかである。さらに、感光素子の配置は格子の交点である必要がなく、いずれの形態のアレイとすることもできる。
図１１に、画像プロセッサ４が実行する処理を表わすフロー図３００を示す。まず、ループ２０１のプロセスを画素位置毎に繰り返し、ここでｘ及びｙは画素位置のｘ、ｙ座標であり、ｘＳｉｚｅ及びｙＳｉｚｅは画素アレイのｘ次元及びｙ次元である。ループ２０１は、ステップ２０２、２０３、２０４、２０５、２０６、２０７、２０８及び２０９を含む。ステップ２０２では、画素位置（ｘ，ｙ）の画素値Ｍ（ｘ，ｙ）を評価する。Ｍ（ｘ，ｙ）が小さい所定画素値であるノイズレベルよりも小さければ、ステップ２０３を実行する。Ｍ（ｘ，ｙ）がノイズレベルよりも小さくなければステップ２０５を実行する。
ステップ２０３では、画素位置に対応する露出値Ｅ（ｘ，ｙ）を露出パターンメモリ５から読み込む。Ｅ（ｘ，ｙ）が最高露出値であれば、ステップ２０５を実行する。さもなければステップ２０４を実行する。ステップ２０４では、画素を“ブラック化”画素値を有するものとしてマークして、現在行っているループの反復を終了する。一時メモリの当該画素位置に特定値を書き込むことによって、このマーク付けを行う。ステップ２０５では画素値Ｍ（ｘ，ｙ）を評価する。Ｍ（ｘ，ｙ）が非常に大きい所定画素値である飽和レベルよりも大きければ、ステップ２０６を実行する。Ｍ（ｘ，ｙ）が飽和レベルよりも大きくなければステップ２０８及び２０９を実行する。ステップ２０６では、露出値Ｅ（ｘ，ｙ）をメモリ５から読み込む。Ｅ（ｘ，ｙ）が最低露出値であれば、ステップ２０８及び２０９を実行する。さもなければステップ２０７を実行する。ステップ２０７では、画素を一時メモリ内の“飽和”画素値としてマークして、現在行っているループ２０１の反復を終了する。ステップ２０８では、図６、７及び８に関連して説明した方法でＭ（ｘ，ｙ）を較正する。ステップ２０９では、図６、７及び８に関連して説明したようにＭ（ｘ，ｙ）を正規化して、現在行っているループ２０１の反復を終了する。
図１１Ａに、図１１のフロー図の較正ステップ２０８の詳細フロー図を示す。ステップ３１１では、各画素位置（ｘ，ｙ）における画素値Ｍ（ｘ，ｙ）を、入力Ｍとして供給する。ステップ３１２では、応答関数ｆをＭに適用してｍを得る。上述したように、この応答関数は早見表形式、パラメータ形式、あるいは他の適切な形式とすることができる。応答関数のデータが２５６レベルの早見表形式であるものとすれば、Ｍを正規化して、これら２５６レベルのうちの１つを指示する指標値にディジタル化することができる。そしてこの早見表を用いて、指標値Ｍに対応するｆ（Ｍ）を見つける。ステップ３１３では、Ｍを出力として供給し、これは図１１のフロー図では、ステップ２０９に供給する画素値Ｍ（ｘ，ｙ）である。
図１１に戻って説明すると、すべての画素位置についてループ２０１を完了した後に、ループ２１０の処理を行う。位置（１，１）から位置（ｘＳｉｚｅ−１，ｙＳｉｚｅ−１）までの画素位置毎にループ２１０を繰り返す。ループ２１０では、ステップ２１１、ループ２１２、ステップ２１３、２１４及び２１５を実行する。ステップ２１１では、Ｌ（ｘ，ｙ）及びＮを共に０に初期化する。ここではＬ（ｘ，ｙ）が、出力画像メモリ７内の位置（ｘ，ｙ）における放射輝度値を示し、Ｎが処理した画素数を示す。そして、ループ２１２の処理を（ｉ，ｊ）について繰り返す。ｉ及びｊ共に０から１まで変化する。ループ２１２では、ステップ２１３及び２１４を実行する。ステップ２１３では、画素（ｘ＋ｉ，ｙ＋ｊ）のマーク付けを決定する。画素がマーク付けしてなければ、ステップ２１４を実行する。さもなければ、現在行っているループの反復を終了する。ステップ２１４では、重み値Ｗを、画素値Ｍ（ｘ＋ｉ，ｙ＋ｊ）のＳＮＲとして計算する。そして画素値Ｍ（ｘ＋ｉ，ｙ＋ｊ）にＷを乗じて、この積をＬ（ｘ，ｙ）に加算し、ＷをＮに加算する。
ループ２１２を終了した後に、ステップ２１５を実行する。ステップ２１５では、Ｌ（ｘ，ｙ）をＮで除算し、その後にループを終了する。すべての画素位置についてループ２１０を完了した後に、画像プロセッサ４による処理を完了する。
再び図１に戻って説明すると、本発明の第１の好適実施例による画像システムは、マスク１０１を除去して、空間的に可変のパターンの感光性を有する感光素子（画素）のアレイで構成される画像センサ３を用いることによって変形することができる。これらの感光素子の感光性のパターンを各感度値として、露出パターンの代わりにメモリ５に記憶する。再び図３に戻って説明すると、較正器９が捕捉した画像８の画素値を受けて、応答関数メモリ６内の各応答関数を用いて、これらの画素値を線形化する。そしてこれらの線形化した値を正規化器１０によって、メモリ５に記憶している感光性の値を用いて正規化する。そしてこれらの正規化した画素値を上述した方法で補間して、高ダイナミックレンジの画像画素値を導出する。
図１２に、本発明の第２の好適実施例による画像システムの機能ブロック図４００を示す。第２の好適実施例によるシステムは、可変マスク１２と、マスクコントローラ１３と、画像センサ３と、露出パターンメモリ５と、応答関数メモリ６と、出力画像メモリ７と、画像プロセッサ１４と、モニタ画像メモリ１５とを具えている。図１のシステムと同様に、シーンからの入射光が、画像センサ３の感光面に当たる前に、空間的に可変の透明度パターンを有するマスク１２を通過し、画像センサ３は対応する画素値を画像プロセッサ１４に供給する。また画像プロセッサ１４も、応答関数メモリ６からの関数データ及び露出パターンメモリ５からの露出値を受けて、高ダイナミックレンジの画像データを出力画像メモリ７に供給する。しかし図１のシステムとは異なり、図１２のシステム４００は、露出制御信号を供給することによって変化しうる透明度パターンを有するマスク１２、及び画像センサ３が供給する画素値に応答して露出制御信号を発生してマスク１２に供給するマスクコントローラ１３を採用し、マスクコントローラ１３は露出制御信号に対応する露出値を露出パターンメモリに供給する。これに加えて、画像プロセッサ１４はモニタ画像データを供給して、これをモニタ画像メモリ１５に記憶する。このモニタ画像データは、画像の細部情報を保存しつつ、テレビジョン、ビデオモニタ、あるいはコンピュータディスプレイのような低ダイナミックレンジの装置による表示用に圧縮したダイナミックレンジを有する。マスクコントローラ１３は画像センサ３の出力を受けて、飽和及びブラック化した画素値が最小数になるように、マスク１２の空間的に可変の透明度を調整する。
次に、図１３に、図１２のシステムを実現したビデオカメラのハードウェア構成５００のブロック図を示す。ビデオカメラは、光学式アタッチメント１６１を有し、これは、シーンを可変マスク１２上に結像させる第１のレンズ素子１６２と、可変マスク１２と光拡散器１３１を通過したシーンの画像をＣＣＤ光検出アレイ１６５の感光面上に結像させる第２のレンズ素子１６３とを具えている。光拡散器また、光学式アタッチメント１６１は、透明度パターンが可変の液晶マスク１２にマスク制御信号を供給する、液晶マスクコントローラ１８３を備える。図１３のブロック図５００は、画像処理部１６４を含み、これは、ＣＣＤ光検出アレイ１６５と、ＣＣＤ出力の振幅を調整してノイズを減らす、前段増幅器１６６とを具えている。前段増幅器１６６は、通常ビデオカメラにおいて実現される、例えば相関倍化回路（ノイズ低減回路）、自動利得制御回路、ガンマ補正回路、ニー（折点）回路などのいくつかのアナログ回路を備える。前段増幅器１６６の出力は、画像処理部１６７にあるアナログ・デジタル変換器１６９に供給される。アナログ・デジタル変換器１６９は、取り込んだ画像をデジタル化する。図１２中の画像プロセッサ１４の計算は実際には、ＲＡＭ１７０、ＲＯＭ１７１、フレームメモリ１ １７２、フレームメモリ２ １７３、および、フレームメモリ３ １７４にアクセスする処理ユニット１６８が実行する。図１３のビデオカメラ５００において、液晶マスクコントローラ１８３は、液晶マスク１２に制御電圧を送る。処理ユニット１６８は、液晶マスク１２に供給された制御電圧を計算する。ＲＯＭ１７１は、制御パラメータと共に、処理ユニット１６８の命令を記憶する。ＲＡＭ１７０は、処理中のデータを一時的に記憶する。フレームメモリ１ １７２は、図１２の出力画像メモリ７に相当し、フレームメモリ２ １７３は、図１２の露出パターンメモリ５に相当し、さらにフレームメモリ３ １７４は、図１２のモニタ画像メモリ１５に相当する。デジタル・アナログ変換器１７５は、フレームメモリ１ １７２に格納された高ダイナミックレンジの画像データを、それがビデオ出力部１ １７７に供給される前にアナログ信号に変換し、ビデオ出力部１ １７７では、ビデオ信号プロセッサ１７８が、そのアナログ信号を処理して、その出力を出力ユニット１７９に送り、出力ユニット１７９が、高ダイナミックレンジの画像であるビデオ出力１８１を供給する。
フレームメモリ３ １７４中のモニタ画像データは、デジタル・アナログ変換器１７６によって、アナログ信号に変換される。モニタ画像のアナログ信号は、ビデオ出力部２ １８０に供給されて、ビデオ出力部２ １８０では、ビデオ出力プロセッサ１８１が、そのアナログ信号を処理して、その出力を、出力ユニット１８２に送り、出力ユニット１８２が、モニタ画像であるビデオ出力１８３を供給する。因みに、ビデオ出力部１ １７７とビデオ出力部２ １８０は、ビデオカメラ構成の一部をなしているが、図１２の基本的な画像システム図において、対応する構成要素は存在しない。
図１４は、画像捕捉部６００の模範的な構成図を示しており、これは、本発明の第１実施例および第２実施例において用いることができる。固定パターンまたは液晶マスク１３０および光拡散器１３１を、ＣＣＤ光検出アレイ１６５の画像面に並行するように配置しており、ＣＣＤ光検出アレイ１６５は、カメラ本体１３４に埋め込まれている。マスク１３０および光拡散器１３１は、２つの光学素子１３２と１３３との間に配置している。シーンからの入射光は、第１の光学素子１３２によって、マスク１３０上に合焦される。光は、マスク１３０によって減衰されて、光拡散器１３１を通過し、第２の光学素子１３３によって、ＣＣＤ光検出アレイ１６５の画像面に合焦される。このように、ＣＣＤ光検出アレイ１６５によって測定された光は、マスク１３０とシーンにおいて合焦される。因みに、ＣＣＤ光検出アレイ１６５の画素位置Ｒに入射する光は、その光が通過したマスク１３０の狭い領域Ｑからのみ出射される。マスク１３０の直後に位置する光拡散器１３１は、合焦した光の方向性を取り除いてしまう。あるいは、光拡散器１３１は、マスク１３０の直前に配置してもよいし、また、２つの別個の光拡散器を、ひとつはマスク１３０の直前に、ひとつはマスク１３０の直後に配置してもよい。狭い領域Ｑは、順次、画像形成されているシーンのひとつのポイントＰからのみの光を受光する。本発明の第２実施例において、液晶アレイは、可変性の露出マスクが好適であるが、光電変調器のアレイなど、適当な信号を使って露出パターンを制御する他の装置を利用してもよい。
前述したように、可変マスク１２としては、各露出制御電圧信号を使って個々に制御可能な透明度を有する、液晶セルの２次元アレイが好ましい。図１５に示すように、可変マスク１２の各セルを制御して、イメージセンサ３の光検出素子アレイ１６５の少なくとも１個の画素に光を送るようにする。光検出素子アレイ１６５の各光検出素子は、各画素に対応している。例えば、光検出素子アレイ１６５中の破線の正方形１８３で示す（４×４）の画素領域は、可変マスク１２のマスクセル１８４を通過した光のみを受光する。露出制御信号は、可変マスク１２の各セルにおける透明度（減衰率）を制御するものであり、マスクコントローラ１３が、イメージセンサ３の出力（画素値）を受け、この画素値に従ってマスクのセルに対する露出制御信号を計算して供給する。各セルに対する露出制御信号は、以下の３点、即ち、（１）光検出素子アレイ１６５への対応領域１８３内における飽和画素数あるいはブラック化画素数の最小化、（２）イメージセンサ３の供給する平均画素値における信号とノイズの比率の最大化、（３）マスクセルアレイ１２の露出値の空間における平滑さの度合いの最大化、を満たすように計算される。
次に、図１６に、マスクコントローラ１３の制御下にある、可変マスク１２の露出パターンの展開例を示す。同図において、時間は左から右にシフトするものとする。図１６の最上行の図解１３７は、シーンからの放射輝度を表しており、本例では時間を経ても変化しない。図１６の中央行の図解１３８から１４０は、マスク１２の露出パターンの一時的な変化を示している。図１６の最下行の図解１４１から１４３は、キャプチャーした画像の一時的な変化を表すもので、イメージセンサ３の出力が表わす。初期状態（左列）では、露出パターン１３８が、可変マスク１２の全てのセルに対して同じ透明度（減衰率）で現れる。従って、非常に明るい物体１８５と非常に暗い物体１８６を有するシーン１３７の放射輝度を均一に減衰して、キャプチャーした（非正規化の）初期画像１４１を形成する。しかし、イメージセンサ３のダイナミックレンジは、シーンの輝度範囲に対して狭いので、キャプチャーした初期画像１４１は、放射輝度画像１３７の視覚的な詳細全てを有していない。キャプチャーした初期画像１４１において、暗い物体１８７は、ほぼ完全に黒くなっており、明るい物体１８８は、ほぼ完全に飽和状態となっている。上述した３つの基準を満たすために、マスクコントローラ１３が可変マスク１２の各セルの露出値を調整した後、マスクコントローラ１３が新たに露出制御信号を可変マスク１２に供給することによって、第２の露出パターン１３９が生じる。第２の露出パターン１３９において、明るい物体の領域の露出値は減少し、暗い物体の領域の露出値は増加し、背景領域の露出値はわずかに増加する。露出パターン１３９を使って取り込んだ画像１４２には飽和画素もしくは黒い画素が存在しないが、画像の詳細部分は拡張されている。この様に、マスクコントローラ１３は、継続的に露出値を調整して、平滑さを改善した露出パターン１４０を得る。露出。露出パターン１４０によって得た画像１４３は、露出パターンの平滑さの改善結果として、詳細な改良画像となっている。因みに、露出コントローラ１３による露出パターンを用いるプロセスは、動く物体を伴うシーンなど、一時的にシーンが変化するものに、特に適している。
図１７に、マスクコントローラ１３が実行する処理１７０のフローチャートを示す。処理１７０のフローチャートでは、可変マスク１２のひとつのセルに対する露出制御信号を計算する処理を表しており、この処理は、マスクの各セルに対して繰返し行わねばならない。ステップ２１６において、Ｓ１とＳ２は共に、ゼロに初期設定される。ここで、Ｓ１は、マスクセルからの光を受光する光検出素子アレイの領域内における飽和画素数もしくは黒い画素数を最小化させるという、第１の基準を満たす露出制御値を示している。Ｓ２は、イメージセンサ３の供給する平均画素値の信号とノイズの比率を最大化させるという、第２の基準を満たす露出制御値を示している。ループ２１７の処理は、可変マスク１２のセルを通過した光を受光する光検出素子アレイ１６５の領域内の各画素に対して、繰返し行われる。ここで、Ｑはその領域内の画素数である。ループ２１７は、ステップ２１８からステップ２２２までを含んでいる。ステップ２１８において、画素値Ｍｑを見積もる。画素値Ｍｑが、極めて小さい画素値である所定のノイズレベルよりも小さい場合には、ステップ２１９を実行する。ステップ２１８で画素値Ｍｑがノイズレベルよりも大きい場合には、ステップ２２２を実行する。ステップ２１９において、Ｓ１を１増加し、ループ２１７の現在繰返し行われている処理はここで終了する。ステップ２２０において、Ｍｑを見積もる。画素値Ｍｑが、極めて大きい画素値とである所定の飽和レベルよりも大きい場合には、ステップ２２１を実行する。ステップ２２０で画素値Ｍｑが、飽和レベルよりも小さい場合には、ステップ２２２を実行する。ステップ２２１において、Ｓ１を１減少させ、ループの現在繰返し行われている処理を終了する。ステップ２２２において、量（Ｍｂｅｓｔ−Ｍｑ）を加えて、Ｓ２を更新する。ここで、Ｍｂｅｓｔは、使用しているイメージセンサ３の最適な信号とノイズの比率を有する、所定の画素値である。ループ２１７を終了すると、ステップ２２３と２２４を実行する。ステップ２２３において、ブロック２２３中に示される式を使って、Ｓ３を計算する。この式において、ｇｋはローパスカーネルの重み付け値、Ｅｋは近傍セルの露出値、Ｅは現在処理されているセルの露出値である。この計算によって、ローパスフィルタのタイプが決まるが、通常、これは「アンシャープマスキング」と呼ばれている。ステップ２２４において、現在処理しているセルの露出値Ｅを、Ｓ１、Ｓ２、Ｓ３の重み付け加重により更新する。ここで、重み付けｗ１、ｗ２、ｗ３は画像品質を最適化するために経験的に決められた、所定のバランス要因である。ステップ２２４を終了した後には、現在処理しているセルの処理を完了させる。
次に、図１８に、図１２のシステムにおける画像プロセッサ１４のデータフロー８００を示す。画像プロセッサ１４は、較正器９、正規化器１０、スムーザ１６、および露出再アプリケータ１７を具えている。 図１において既に説明した本発明の第１実施例の画像プロセッサ４のように、較正器９は、応答関数メモリ６に格納されている応答関数データを使用して、イメージセンサ３がキャプチャーした画像の画素値を、線形応答画像に較正する。続いて、正規化器１０は、線形応答画像を、シーンの放射輝度に比例する画像に変換する。因みに、マスクコントローラ１３が可変マスク１２の露出を調整して、飽和画素の画素値と黒い画素の画素値を最小化するため、本発明の第２実施例における画像プロセッサ１４は、正規化器１０の出力の補間を必要としない。
更に、画像プロセッサ１４が、モニタ画像メモリ１５に書き込まれたモニタ画像の画素値を算出する。スムーザ１６が、露出パターンメモリ５からの露出値を平滑化して、モニタ画像の画素値を算出する。続いて、露出再アプリケータ１７が、平滑化した露出値を、正規化器１０が供給する高ダイナミックレンジの画像の画素値に加える。図２０に、モニタ画像の画素値を得るための処理を示す。図１９の左側の列は、図１６の右側の列と同一である。露出制御後にも、キャプチャーした画像１４３には、まだマスクセルの境界によって生じるわずかな非連続性が存在するので、理想的には、表示目的に適さない。故に、スムーザ１６が、露出パターン１４０を平滑化して、可視的な非連続性が存在しない平滑化された露出パターン１４５を得る。この場合は、平滑化された露出パターン１４５を、露出パターン１４０およびキャプチャーした（正規化されていない）画像１４３から既に得ている高ダイナミックレンジ画像１４４に再び加えることによって、モニタ画像１４６を得る。モニタ画像１４６は、キャプチャーした画像１４３あるいは高ダイナミックレンジ画像１４４よりも、表示するのにより適している。これは、モニタ画像１４６には非連続性が存在せず、イメージセンサ３と同じダイナミックレンジを有するためである。
なお、モニタ画像は、連続的処理に対するビデオ出力であってもよい。
図２０は、スムーザ１６と露出再アプリケータ１７の実行する処理９００のフローチャートを示している。平滑化に関し、ループ３０１をＮ回実行する。ここで、Ｎは所定の数を表し、通常、１から５の範囲にある。ループ３０１では、ステップ３０２、ループ３０３、ステップ３０４とステップ３０５が実行される。ステップ３０２では、露出パターンメモリ５における露出パターンデータＥを、同じサイズの別のメモリスペースに複写し、Ｅｓとして参照される。図２０の例では、画像の各画素が対応する露出値と同じ座標となるように、露出パターンは画像と同じ寸法とする。ループ３０３は、ＥとＥｓと同サイズの一時的な露出パターンデータ記憶であるＥｔｅｍｐの各画素位置に対して繰返し行われる。ループ３０３では、ステップ３０４を実行する。ステップ３０４においては、平滑化フィルタｇを、Ｅｓの現在位置（ｘ、ｙ）に適用する。フィルタによる計算は、図２０中のステップ３０４の囲み中に表す。平滑化フィルタｇ（ｕ、ｖ）は、図２１に示すものでもよい。図２１においては、（５×５）（ｋ＝５）のガウスぼかしフィルタが示す。格子５０１中の各数字は、フィルタ位置におけるフィルタ係数を表す。例えば、ｇ（３，３）＝０．１６などがある。図２０に戻ると、ステップ３０４の計算値は、Ｅｔｅｍｐと同位置（ｘ、ｙ）に格納される。ループ３０３の終了後、ステップ３０５が実行される。ステップ３０５において、Ｅｔｅｍｐの平滑化された露出値をＥｓに複写する。ループ３０１をＮ回繰返した後、露出を再び行うために、ループ３０６を実行する。ループ３０６はＥｓの各画素位置に対して繰返し行われる。ループ３０６では、ステップ３０７が行われる。ステップ３０７において、出力画像メモリ７の画素値Ｌ（ｘ、ｙ）と露出値Ｅｓ（ｘ、ｙ）を乗算し、その積を、Ｌｍｏｎｉｔｏｒ（ｘ、ｙ）として、モニタ画像メモリ１５内の同じ画素位置に格納する。ループ３０６が完了すると、露出パターンの平滑化と高ダイナミックレンジ画像に対する平滑化パターンの再露出の処理が終了する。
図２２は、本発明における第３実施例に従って、シーンの高ダイナミックレンジ画像の捕捉を行うシステム１０００の機能図を示している。このシステムは、シーンのマスク化された画像を撮影フィルム上に露出する、撮影フィルムカメラ５０９を備える。前述のとおり、図４に示すような、空間において変化する透明度パターンを有するマスク１０１を、カメラのシャッタ５０４とフィルム５０５の面との間に設けることによって、マスク化された画像を獲得してもよい。あるいは、マスクをフィルムの各フレームに貼りつけてもよいし、あるいはフィルム・エマルジョンが空間的に変化する露出感度パターンを有してもよい。各ケースにおいて、フィルムの各領域に対する露出値は、予め定められており、露出パターンメモリ５に格納されている。マスク化された画像に露出した後、フィルムを処理して、透明度もしくはマスク化された画像を含むプリントを形成する。そして、スキャナ５０７は、マスク化された画像を表す画素値を供給し、マスク化された画像を含むフィルムあるいはプリントを走査する。図１のシステムにおける画像プロセッサと同様に、図３に示すものと同じデータフローを有する画像プロセッサ４に、画素値を供給する。
較正を行う画像プロセッサ４が使用できるように、フィルムまたはスキャナの合成された応答関数は、応答関数メモリ６に格納される。露出パターンメモリ５から直接に露出値を受ける代わりに、図２２のシステム１０００は、露出装置を備える。この露出装置は、スキャナ５０７の出力と露出パターンメモリ５に格納された露出値とを受け、位置合わせ修正の行われた露出における露出値を、正規化を行う画像プロセッサに供給する。画像プロセッサ４は、高ダイナミックレンジ出力画像を、出力画像メモリ７に供給する。通常のフィルムカメラでは、フィルムは、各フレームをシャッター５０４の後ろに位置させて、フレーム毎に移動させていく。このフィルムの動きによって、フィルム５０５の現在露出されているフレームとマスク１０１の間に配置誤差が生じる。このような配置誤差を修正するために、露出装置５０８を使用する。
図２３は、図２２の露出装置５０８のデータフロー１１００を示している。露出装置１１００は、３つの高速フーリエ交換プロセッサ５１２、５１３、５１４、回転検知器５１５、移動検知器５１６、ロータ５１７、およびシフタ５１８を具えている。露出装置５０８によって実行される処理を、図２４のフローチャートに示す。図２４において、ステップ５１９では、画像Ｉ（ｘ、ｙ）のフーリエ交換Ｉ（ｕ、ｖ）が、ＦＦＴ１ ５１２によって計算される。ステップ５２０では、露出パターンＥ（ｘ、ｙ）のフーリエ交換Ｅ（ｕ、ｖ）が、ＦＦＴ２ ５１３によって計算される。ステップ５２１では、Ｉ（ｕ、ｖ）の大きさにおける最高点の位置を検知する。ステップ５２２では、Ｅ（ｕ、ｖ）の大きさにおける最高点の位置を検知する。ステップ５２３では、ブロック５２３に示す誤差関数を利用して、最小二乗法による最適化によって、（２ｘ２）回転マトリックスＭを見積もる。ステップ５２１、５２２、５２３は全て、図２３の回転検知器５１５によって実行する。ステップ５２４では、回転マトリックスＭを利用しながら露出パターンＥ（ｘ、ｙ）を回転することによって、回転された露出パターンＥｒｏｔａｔｅｄ（ｘ、ｙ）を計算する。ステップ５２４は、図２３のロータ５１７が実行する。ステップ５２５では、囲み５２５に示される誤差関数を最小化する移動ベクトルを検索することによって、移動ベクトル（ｓ、ｔ）を見積もる。最後に、ステップ５２６では、移動ベクトル（ｓ、ｔ）を利用しながらＥｒｏｔａｔｅｄ（ｘ，ｙ）を移動して、修正された露出パターンＥｃｏｒｒｅｃｔｅｄ（ｘ，ｙ）を計算する。修正された露出パターンＥｃｏｒｒｅｃｔｅｄ（ｘ，ｙ）は、正規化を行うイメージセンサ４に使用させるために、修正露出パターンメモリ５１９に供給される。
本発明を、特に本発明の具体的な実施例を参照して説明してきたが、本発明の原理と範囲から逸脱することなく、多様な変形と変更が行われてもよいことは、当業者に明らかである。また、本発明の開示された実施例は、単に説明のためのものであって、また、本発明は、特許請求の請求項において述べられた範囲のものである。

Claims (25)

  1. 高ダイナミックレンジ画像化システムにおいて、
    シーンの画像を検出するために、前記光検出素子の各々に入射する光の強度を表す対応する画素値をもたらす光検出素子のアレイを具える画像センサを備え、
    各光検出素子は、それぞれ第１しきい値を有し、前記光検出素子に入射する光の強度が前記第１しきい値より大きい場合には前記画像センサに飽和画素値をもたらし、各光検出素子は、それぞれ第２しきい値を有し、前記光検出素子において入射する光の強度が前記第２しきい値より小さい場合には前記画像センサに黒画素値をもたらし、
    前記画像センサが、前記シーンの画像の光強度の範囲に比べて低いダイナミックレンジを有し、
    複数の前記光検出素子が、入射光に対してそれぞれ空間的に変化する感光度と、それぞれ該感光度を示す対応する感光度値とを有し、
    当該高ダイナミックレンジ画像化システムは、さらに、
    前記光検出素子の各々に対応する感高度値を格納する第１メモリと、
    前記光検出素子のアレイに結合されて前記画像センサによって供給される前記画素値を受け、前記第１メモリに結合されて前記光検出素子に対応する前記感光度値を受け、前記画素値を前記感光度値の関数によってマッピングして対応する正規化画素値を得る正規化器と、
    前記正規化画素値を補間して前記光検出素子のアレイと重なる、前記光検出素子のアレイとは別の第２の光検出素子のアレイの個々の位置における補間画素値を得る補間器とを具える画像プロセッサとを具える、
    ことを特徴とする高ダイナミックレンジ画像化システム。
  2. 請求項１に記載の高ダイナミックレンジ画像化システムにおいて、
    前記画像プロセッサの正規化器が、前記画素値を、前記感光度値の関数によって、前記画素値の各々を前記画素値によって表される光の強度を受ける前記光検出素子に対応する感光度値で割ることによってマッピングすることを特徴とする高ダイナミックレンジ画像化システム。
  3. 請求項１に記載の高ダイナミックレンジ画像化システムにおいて、前記画像センサの光検出素子を、垂直方向及び水平方向において延在する、間隔を置いて直交するラインによって規定される第１格子の個々の交点において配置し、前記補間画素値の位置を、垂直方向及び水平方向において延在する、間隔を置いて直交するラインによって規定される第２格子の個々の交点としたことを特徴とする高ダイナミックレンジ画像化システム。
  4. 請求項３に記載の高ダイナミックレンジ画像化システムにおいて、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域における正規化画素値を別々に補間し、各々の領域が、隣接する領域と重なると共に、前記第１格子の予め決められた数の交点を包含することを特徴とする高ダイナミックレンジ画像化システム。
  5. 請求項３に記載の高ダイナミックレンジ画像化システムにおいて、前記画像センサの光検出素子のアレイが、異なった感光度を有する光検出素子が繰り返し配置された同一のグループを具えることを特徴とする高ダイナミックレンジ画像化システム。
  6. 請求項５に記載の高ダイナミックレンジ画像化システムにおいて、前記光検出素子の繰り返し配置された同一のグループの各々が、異なった感光度を有する４つの隣接する光検出素子から成り、前記第１及び第２格子が同一の寸法を有し、これらの格子を、水平方向において２分の１の格子位置、垂直方向において２分の１の格子位置だけ互いに移動させたことを特徴とする高ダイナミックレンジ画像化システム。
  7. 請求項４に記載の高ダイナミックレンジ画像化システムにおいて、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域における個々の補間画素値を、飽和画素値又は黒画素値に対応しない前記領域におけるすべての正規化画素値の平均をとることによって得ることを特徴とする高ダイナミックレンジ画像化システム。
  8. 請求項１に記載の高ダイナミックレンジ画像化システムにおいて、前記画像センサが、前記光検出素子の各々において入射する光に対する個々の応答関数を有し、該システムが、さらに、前記画像センサの個々の応答関数を格納する第２メモリを具え、前記画像プロセッサが、前記第２メモリに結合して前記応答関数を受け、前記画像センサによって供給された画素値を、前記画素値が前記正規化器によって正規化される前に前記個々の応答関数に従って線形応答画素値に変換する較正器をさらに具えることを特徴とする高ダイナミックレンジ画像化システム。
  9. 請求項１に記載の高ダイナミックレンジ画像化システムにおいて、前記画像プロセッサに結合され、前記補間画素値を受けると共に格納する出力画像メモリをさらに具えることを特徴とする高ダイナミックレンジ画像化システム。
  10. 高ダイナミックレンジ画像化方法において、光検出素子のアレイを具える画像センサを、シーンの画像に、空間的に変化する露出を使用して露出するステップであって、前記画像センサが、前記空間的に変化する露出画像を検出し、前記光検出素子の各々において入射する光の強度を表す対応する画素値を供給し、前記画像センサが、前記光検出素子のうちの対応する光検出素子に入射する光の強度が第１しきい値レベルより大きい場合、飽和画素値を供給し、前記光検出素子のうちの対応する光検出素子に入射する光の強度が第２しきい値レベルより小さい場合、黒画素値を供給し、前記画像センサが、前記場面の画像の光強度の範囲に比べて低ダイナミックレンジを有する、ステップと、前記画像センサによって供給された画素値を、前記光検出素子の空間的に変化する露出に関して正規化し、対応する正規化画素値を得るステップとを含むことを特徴とする、高ダイナミックレンジの画像化方法。
  11. 請求項１０に記載の高ダイナミックレンジの画像化方法において、前記画像センサを、空間的に変化する露出を使用して露出するステップが、前記画像センサの個々の１つ以上の光検出素子の前記シーンからの光に対する露出を各々が制御する複数の光透過セルを有するマスクを使用するステップであって、前記光検出素子の各々が、該光検出素子に入射する光が通過する前記マスクセルの透明度を示す対応する露出値を有する、ステップを含み、前記画像センサによって供給された画素値を正規化するステップが、前記画素値を前記露出値の関数によってマップし、対応する正規化画素値を得るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
  12. 請求項１１に記載の高ダイナミックレンジの画像化方法において、前記画素値を前記露出値の関数によってマッピングするステップが、前記画素値の各々を、前記画素値によって表される光の強度を受ける前記光検出素子に対応する前記露出値で割るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
  13. 請求項１０に記載の高ダイナミックレンジの画像化方法において、前記光検出素子に対応する前記露出値を固定し、さらに、前記正規化画素値を補間し、前記光検出素子のアレイに重なる第２アレイの個々の位置における補間画素値を得るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
  14. 請求項１０に記載の高ダイナミックレンジの画像化方法において、前記補間画素値を補間するステップが、補間フィルタを前記正規化画素値に用いるステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
  15. 請求項１３に記載の高ダイナミックレンジの画像化方法において、前記正規化画素値を補間するステップが、前記光検出素子のアレイの各々の異なった領域における正規化画素値を別々に保管するステップを含み、各領域が、隣接する領域と重なると共に予め決められた数の前記光検出素子位置を包含することを特徴とする高ダイナミックレンジの画像化方法。
  16. 請求項１５に記載の高ダイナミックレンジの画像化方法において、前記光検出素子のアレイの各々の異なった領域における正規化画素値を別々に補間するステップが、各々、飽和画素値又は黒画素値に対応するものを除く前記領域におけるすべての正規化画素値の平均をとり、前記補間画素値の各々を得るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
  17. 請求項１０に記載の高ダイナミックレンジの画像化方法において、前記画像センサによって供給された画素値を、前記画素値を正規化するステップの前に、前記画像センサの応答関数に従って較正し、線形応答画素値を得るステップをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
  18. 請求項１３に記載の高ダイナミックレンジの画像化方法において、前記補間画素値を出力画像メモリに格納するステップをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
  19. 請求項１１に記載の高ダイナミックレンジの画像化方法において、前記シーンの画像を前記マスクにおいて投影するステップと、前記マスクを透過した前記シーンの画像を前記光検出素子のアレイにおいて投影するステップとをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
  20. 請求項１９に記載の高ダイナミックレンジの画像化方法において、前記マスクを透過した前記シーンの画像を前記光検出素子のアレイにおいて投影するステップが、前記マスクと光拡散器とを透過した前記シーンの画像を前記光検出素子のアレイにおいて投影するステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
  21. 請求項１１に記載の高ダイナミックレンジの画像化方法において、各々の光検出素子に対応する前記露出値を、個々の露出制御信号を前記マスクに用いることによって変更可能とし、前記画像センサによって得られた前記画素値から、前記画像センサからの飽和画素値及び黒画素値の数を最小にする露出制御信号を計算するステップと、前記計算された露出制御信号を前記マスクに用いるステップと、前記正規化ステップにおいて使用する、前記用いられた露出制御信号に対応する露出値を供給するステップとをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
  22. 請求項２１に記載の高ダイナミックレンジの画像化方法において、前記正規化画素値を出力画像メモリに格納するステップをさらに含むことを特徴とする高ダイナミックレンジ画像化方法。
  23. 請求項２１に記載の高ダイナミックレンジの画像化方法において、前記用いられた露出制御信号に対応する前記露出値を、平滑化フィルタを前記露出値に用いることによって平滑化し、前記正規化画素値に対応する平滑化露出値を得るステップと、
    前記平滑化露出値を前記正規化画素値に、各々の正規化画素値に対応する平滑化露出値を掛けることによって再適用し、モニタ画像画素値を得るステップと、
    前記モニタ画像画素値をモニタ画像メモリに格納するステップとをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
  24. 請求項２１に記載の高ダイナミックレンジの画像化方法において、前記露出制御信号を計算するステップが、露出制御信号を計算し、前記画像センサによって供給された平均画素値の信号対雑音比を最大にするステップを含むことを特徴とする高ダイナミックレンジ画像化方法。
  25. 請求項２１に記載の高ダイナミックレンジの画像化方法において、前記露出制御信号を計算するステップが、露出制御信号を計算し、前記対応する露出値の空間的平滑さを最大にするステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
JP2009297250A 1999-06-04 2009-12-28 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法 Expired - Fee Related JP4657365B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/326,422 US6864916B1 (en) 1999-06-04 1999-06-04 Apparatus and method for high dynamic range imaging using spatially varying exposures

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001504676A Division JP4494690B2 (ja) 1999-06-04 2000-05-26 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010219490A Division JP5519460B2 (ja) 1999-06-04 2010-09-29 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Publications (2)

Publication Number Publication Date
JP2010110004A JP2010110004A (ja) 2010-05-13
JP4657365B2 true JP4657365B2 (ja) 2011-03-23

Family

ID=23272130

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2001504676A Expired - Fee Related JP4494690B2 (ja) 1999-06-04 2000-05-26 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法
JP2009297250A Expired - Fee Related JP4657365B2 (ja) 1999-06-04 2009-12-28 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法
JP2010219490A Expired - Fee Related JP5519460B2 (ja) 1999-06-04 2010-09-29 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001504676A Expired - Fee Related JP4494690B2 (ja) 1999-06-04 2000-05-26 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010219490A Expired - Fee Related JP5519460B2 (ja) 1999-06-04 2010-09-29 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Country Status (4)

Country Link
US (4) US6864916B1 (ja)
EP (1) EP1186163B1 (ja)
JP (3) JP4494690B2 (ja)
WO (1) WO2000079784A1 (ja)

Families Citing this family (206)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885968B2 (en) 2000-05-08 2005-04-26 Automotive Technologies International, Inc. Vehicular exterior identification and monitoring system-agricultural product distribution
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7391929B2 (en) 2000-02-11 2008-06-24 Sony Corporation Masking tool
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US7623168B2 (en) 2000-07-13 2009-11-24 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
US6909461B1 (en) 2000-07-13 2005-06-21 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
US7058316B2 (en) * 2000-11-28 2006-06-06 California Institute Of Technology Adaptive detector arrays for optical communications receivers
JP4088959B2 (ja) * 2001-01-09 2008-05-21 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6943831B2 (en) * 2001-01-24 2005-09-13 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images
US6924841B2 (en) 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
EP1271935A1 (de) * 2001-06-29 2003-01-02 Kappa opto-electronics GmbH Vorrichtung zum Aufnehmen von digitalen Bildern mit zwei gleichzeitig angesteuerten elektronischen Bildsensoren
US7064740B2 (en) * 2001-11-09 2006-06-20 Sharp Laboratories Of America, Inc. Backlit display with improved dynamic range
US6707054B2 (en) * 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
JP4097980B2 (ja) * 2002-04-23 2008-06-11 オリンパス株式会社 画像合成装置
US20040008267A1 (en) * 2002-07-11 2004-01-15 Eastman Kodak Company Method and apparatus for generating images used in extended range image composition
US20040100565A1 (en) * 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
US7327504B2 (en) 2002-12-06 2008-02-05 Eastman Kodak Company Method of detecting clipped image pixels
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7623105B2 (en) * 2003-11-21 2009-11-24 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive color
JP4111926B2 (ja) * 2004-03-09 2008-07-02 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像送信方法
US8705151B2 (en) * 2004-04-05 2014-04-22 Hewlett-Packard Development Company, L.P. Imaging device calibration methods, imaging device calibration instruments, imaging devices, and articles of manufacture
US8587849B2 (en) * 2004-04-05 2013-11-19 Hewlett-Packard Development Company, L.P. Imaging systems, imaging device analysis systems, imaging device analysis methods, and light beam emission methods
US8634014B2 (en) * 2004-04-05 2014-01-21 Hewlett-Packard Development Company, L.P. Imaging device analysis systems and imaging device analysis methods
US7532192B2 (en) * 2004-05-04 2009-05-12 Sharp Laboratories Of America, Inc. Liquid crystal display with filtered black point
US7602369B2 (en) * 2004-05-04 2009-10-13 Sharp Laboratories Of America, Inc. Liquid crystal display with colored backlight
US7872631B2 (en) * 2004-05-04 2011-01-18 Sharp Laboratories Of America, Inc. Liquid crystal display with temporal black point
US7612757B2 (en) * 2004-05-04 2009-11-03 Sharp Laboratories Of America, Inc. Liquid crystal display with modulated black point
US8395577B2 (en) * 2004-05-04 2013-03-12 Sharp Laboratories Of America, Inc. Liquid crystal display with illumination control
US7505018B2 (en) * 2004-05-04 2009-03-17 Sharp Laboratories Of America, Inc. Liquid crystal display with reduced black level insertion
US7777714B2 (en) * 2004-05-04 2010-08-17 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive width
US20050248553A1 (en) * 2004-05-04 2005-11-10 Sharp Laboratories Of America, Inc. Adaptive flicker and motion blur control
FR2870422B1 (fr) * 2004-05-13 2006-12-08 Airbus France Sas Dispositif d'acquisition d'image pourvu de moyens de masquage et aeronef equipe d'un tel dispositif
KR20050109223A (ko) * 2004-05-14 2005-11-17 삼성전자주식회사 영상 신호 보정용 기준 데이터 생성 장치 및 방법
GB2414881A (en) 2004-06-01 2005-12-07 Imp College Innovations Ltd Imaging system capable of reproducing a wide range of intensities
US7023451B2 (en) * 2004-06-14 2006-04-04 Sharp Laboratories Of America, Inc. System for reducing crosstalk
US7556836B2 (en) * 2004-09-03 2009-07-07 Solae, Llc High protein snack product
US7898519B2 (en) * 2005-02-17 2011-03-01 Sharp Laboratories Of America, Inc. Method for overdriving a backlit display
US7525528B2 (en) * 2004-11-16 2009-04-28 Sharp Laboratories Of America, Inc. Technique that preserves specular highlights
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US8050512B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US20060109365A1 (en) * 2004-11-24 2006-05-25 Pen-Jung Lee Optical image reading device having adjustable amplification rate and method for adjusting the same
KR100646867B1 (ko) * 2004-12-21 2006-11-23 삼성전자주식회사 비선형 영상을 보정하는 촬상장치 및 그 방법
DE102004061507B4 (de) * 2004-12-21 2007-04-12 Siemens Ag Verfahren zur Korrektur von Inhomogenitäten in einem Bild sowie bildgebende Vorrichtung dazu
US8081234B2 (en) * 2004-12-29 2011-12-20 Intel Corporation Technique for increased exposure range in image sensors
US7760253B2 (en) * 2005-02-08 2010-07-20 Hewlett-Packard Development Company, L.P. Imaging device analysis methods, imaging device analysis systems, and articles of manufacture
US7612804B1 (en) * 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
US7473745B2 (en) * 2005-09-02 2009-01-06 Equistar Chemicals, Lp Preparation of multimodal polyethylene
US20070068978A1 (en) * 2005-09-23 2007-03-29 Matthew Jackson Dual dispensing packaging
US7729535B2 (en) 2005-09-23 2010-06-01 Canon Kabushiki Kaisha Color characterization of high dynamic range image capture devices
US9143657B2 (en) * 2006-01-24 2015-09-22 Sharp Laboratories Of America, Inc. Color enhancement technique using skin color detection
US8121401B2 (en) * 2006-01-24 2012-02-21 Sharp Labortories of America, Inc. Method for reducing enhancement of artifacts and noise in image color enhancement
US20070242141A1 (en) * 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
US7558436B2 (en) * 2006-07-20 2009-07-07 Max-Viz, Inc. Image dynamic range control for visual display
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US8941580B2 (en) * 2006-11-30 2015-01-27 Sharp Laboratories Of America, Inc. Liquid crystal display with area adaptive backlight
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US7825969B2 (en) 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US7904092B2 (en) * 2007-01-04 2011-03-08 Cisco Technology, Inc. Locally adjusted radio frequency coverage maps in wireless networks
US8026926B2 (en) * 2007-02-17 2011-09-27 Seiko Instruments, Inc. Image display device and image display method
JP4984981B2 (ja) * 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8233738B2 (en) 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
FR2920590B1 (fr) 2007-08-28 2009-11-20 New Imaging Technologies Sas Pixel actif cmos a tres grande dynamique de fonctionnement
US8102435B2 (en) 2007-09-18 2012-01-24 Stmicroelectronics S.R.L. Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US20090102939A1 (en) * 2007-10-18 2009-04-23 Narendra Ahuja Apparatus and method for simultaneously acquiring multiple images with a given camera
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
CN101197942B (zh) * 2007-12-27 2010-07-28 华为技术有限公司 多曝光控制方法及多曝光控制装置
SE532553C2 (sv) * 2008-01-24 2010-02-23 Mikael Lindstrand Metod och anordning för erhållande av högdynamisk, spektral-, spatial- och vinkelupplöst radiansinformation
US8144927B2 (en) * 2008-01-31 2012-03-27 Max-Viz, Inc. Video image processing and fusion
KR101475464B1 (ko) 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2192546A1 (en) 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
FR2941067B1 (fr) * 2009-01-14 2011-10-28 Dxo Labs Controle de defauts optiques dans un systeme de capture d'images
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
TWI393992B (zh) * 2009-02-05 2013-04-21 Nat Univ Chung Cheng High dynamic range image synthesis method
AU2010221241A1 (en) * 2009-03-04 2011-10-27 Paul A. Wagner Temporally aligned exposure bracketing for high dynamic range imaging
US9020257B2 (en) 2009-10-08 2015-04-28 International Business Machines Corporation Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US9100514B2 (en) 2009-10-28 2015-08-04 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
EP2628046B1 (en) 2010-09-09 2019-05-01 Red.Com, Llc Apparatus and method for reducing or preventing temporal aliasing in motion picture cameras
WO2012050974A2 (en) * 2010-09-29 2012-04-19 Booz, Allen & Hamilton Mobile phone hyperspectral imager with single-frame spatial, spectral and polarization information
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9210322B2 (en) 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
US8780241B2 (en) 2011-01-25 2014-07-15 Aptina Imaging Corporation Digitally graded neutral density filter
US8456557B2 (en) 2011-01-31 2013-06-04 SK Hynix Inc. Dynamic range extension for CMOS image sensors for mobile applications
US8749665B2 (en) 2011-01-31 2014-06-10 SK Hynix Inc. Dynamic range extension for CMOS image sensors for mobile applications
US8559074B2 (en) * 2011-04-06 2013-10-15 Lexmark International, Inc. Illumination device for an image capture system
JP2012235332A (ja) 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
US8530815B2 (en) 2011-05-31 2013-09-10 Hewlett-Packard Development Company, L.P. Imaging device with varying optical signal at a location of a multi-dimensional array of light sensitive elements
US8653429B2 (en) 2011-05-31 2014-02-18 Hewlett-Packard Development Company, L.P. Apparatus for controlling exposure of light sensitive elements
US10356336B2 (en) 2011-08-10 2019-07-16 National Ict Australia Limited Automatic exposure control for cameras
US9049380B2 (en) * 2011-09-26 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
CN102547179B (zh) * 2011-12-29 2014-06-25 惠州Tcl移动通信有限公司 一种手持设备及与电视同步显示的方法
JP5995140B2 (ja) * 2012-01-19 2016-09-21 株式会社リコー 撮像装置及びこれを備えた車両システム並びに画像処理方法
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
JP5349635B2 (ja) * 2012-03-29 2013-11-20 株式会社東芝 映像処理装置及び映像処理方法
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
EP2739049A1 (en) * 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
CA3053060C (en) 2013-01-31 2022-04-19 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
JP6309978B2 (ja) * 2013-02-21 2018-04-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 改善されたｈｄｒイメージ符号化及び復号化方法、装置
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9380220B2 (en) * 2013-04-05 2016-06-28 Red.Com, Inc. Optical filtering for cameras
US9565377B2 (en) 2013-04-30 2017-02-07 International Business Machines Corporation Multifunctional sky camera system for total sky imaging and spectral radiance measurement
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
DE102013109005A1 (de) 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und Verfahren zur Identifikation von Codierungen unter Folie
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9300865B2 (en) * 2014-01-24 2016-03-29 Goodrich Corporation Random imaging
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
EP2950058B1 (en) 2014-05-28 2018-03-28 Axis AB Calibration data in a sensor system
ES2694858T3 (es) 2014-05-28 2018-12-27 Koninklijke Philips N.V. Métodos y aparatos para codificar imágenes de HDR, y métodos y aparatos para el uso de tales imágenes codificadas
US9313375B1 (en) * 2014-06-03 2016-04-12 Amazon Technologies, Inc. Software-implemented graduated neutral density filter for balancing exposure of a photograph
EP2963557B1 (en) 2014-07-01 2017-06-21 Axis AB Methods and devices for finding settings to be used in relation to a sensor unit connected to a processing unit
US9467628B2 (en) 2014-08-26 2016-10-11 Sensors Unlimited, Inc. High dynamic range image sensor
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9975196B2 (en) 2015-01-05 2018-05-22 University Of Kentucky Research Foundation Measurement of three-dimensional welding torch orientation for manual arc welding process
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
CN113192374B (zh) 2015-03-06 2023-09-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
CN107980153B (zh) 2015-03-09 2021-10-22 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和装置
US9977242B2 (en) 2015-03-26 2018-05-22 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US10362237B2 (en) * 2015-05-26 2019-07-23 Carnegie Mellon University Structured illumination system for increased dynamic range in quantitative imaging
US10363632B2 (en) 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
TWI551844B (zh) * 2015-06-26 2016-10-01 創意電子股份有限公司 亮度校正方法及光學檢測系統
US9819889B2 (en) * 2015-08-07 2017-11-14 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
CA2999700C (en) 2015-09-25 2022-06-21 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
KR102142938B1 (ko) 2015-09-25 2020-08-10 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
AU2015410096B2 (en) 2015-09-25 2019-09-26 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
AU2015410097B2 (en) * 2015-09-25 2020-01-23 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
JP6678735B2 (ja) 2015-09-25 2020-04-08 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 予測符号化のための適応シャープニングフィルタ
WO2017065053A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
WO2017065057A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
WO2017073045A1 (ja) * 2015-10-28 2017-05-04 京セラ株式会社 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
IL242790B (en) * 2015-11-26 2018-11-29 Israel Aerospace Ind Ltd Aerial photography system
GB2545492B (en) * 2015-12-18 2020-07-01 Imagination Tech Ltd Capturing an image of a scene from a captured sequence of scene portions
WO2017107075A1 (en) * 2015-12-22 2017-06-29 SZ DJI Technology Co., Ltd. System, method, and mobile platform for supporting bracketing imaging
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
CA3017935C (en) * 2016-03-16 2020-04-21 BAE Systems Imaging Solutions Inc. High dynamic range imaging sensor array
WO2018034209A1 (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
CN107786785B (zh) * 2016-08-29 2020-05-08 华为技术有限公司 光照处理方法及装置
US10270958B2 (en) 2016-09-01 2019-04-23 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10277842B1 (en) * 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
KR102169308B1 (ko) * 2016-12-16 2020-10-23 주식회사 디비하이텍 이미지 센서 및 이미지 센서의 센싱 방법
US20230242876A1 (en) 2016-12-30 2023-08-03 Shanghai Sinobio Biotech Co., Ltd. Bifunctional molecule and use thereof
US10212356B1 (en) * 2017-05-31 2019-02-19 Snap Inc. Parallel high dynamic exposure range sensor
US10789450B2 (en) 2017-10-20 2020-09-29 Synaptics Incorporated Optical biometric sensor with automatic gain and exposure control
CN109194953B (zh) * 2018-08-15 2021-03-02 瑞声光学解决方案私人有限公司 空间颜色和分辨率测量装置及测量方法
US11451735B2 (en) 2018-11-20 2022-09-20 Teledyne Flir, Llc High dynamic range micromirror imaging array systems and methods
US10939054B2 (en) * 2018-11-28 2021-03-02 International Business Machines Corporation Eliminating digital image artifacts caused by backlighting
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11450233B2 (en) 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11064134B2 (en) * 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11252326B2 (en) * 2019-06-20 2022-02-15 Cilag Gmbh International Pulsed illumination in a laser mapping imaging system
KR20210015376A (ko) 2019-08-02 2021-02-10 한화테크윈 주식회사 움직임 벡터 산출 장치 및 방법
US11650438B2 (en) 2019-08-02 2023-05-16 Raytheon Company Superlattice electro-optic device including reconfigurable optical elements
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
WO2021051354A1 (zh) * 2019-09-19 2021-03-25 深圳市大疆创新科技有限公司 Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
US11721231B2 (en) 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11490027B2 (en) * 2020-10-23 2022-11-01 Black Sesame Technologies Inc. Extended dynamic range image capture device based on a coded spatial light transmittance modulator
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113516193B (zh) * 2021-07-19 2024-03-01 中国农业大学 基于图像处理的红枣缺陷识别分类方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07115643A (ja) * 1993-10-19 1995-05-02 Toyota Motor Corp 車載用撮像装置
JPH10270673A (ja) * 1997-03-27 1998-10-09 Asahi Optical Co Ltd 撮像素子

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59217358A (ja) 1983-05-25 1984-12-07 Fuji Photo Film Co Ltd 電荷結合撮像デバイス
US4590367A (en) 1983-10-06 1986-05-20 Robotic Vision Systems, Inc. Arrangement for the expansion of the dynamic range of optical devices
JPS6081979A (ja) * 1983-10-12 1985-05-10 Omron Tateisi Electronics Co 撮像装置
US4623928A (en) * 1984-11-23 1986-11-18 Xerox Corporation High dynamic range CCD detector/imager
US4652918A (en) 1985-03-04 1987-03-24 General Electric Company Compensating circuit
JPS61247176A (ja) * 1985-04-25 1986-11-04 Toshiba Corp エリアイメ−ジセンサ
FR2615966B1 (fr) * 1987-06-01 1992-02-14 Framatome Sa Dispositif de surveillance televisuelle d'une operation de soudage a l'arc
US5638118A (en) 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
US4873561A (en) * 1988-04-19 1989-10-10 Wen David D High dynamic range charge-coupled device
US4918534A (en) * 1988-04-22 1990-04-17 The University Of Chicago Optical image processing method and system to perform unsharp masking on images detected by an I.I./TV system
WO1990001844A1 (en) * 1988-08-02 1990-02-22 Sorex Corporation Wide dynamic range image sensor
US5193016A (en) * 1989-03-28 1993-03-09 Scanera S.G. Non-linear device for amplifying the intensities of light rays that produce an image
EP0404396B1 (en) * 1989-06-19 1994-10-05 International Business Machines Corporation Image capture system and method
JPH0342959A (ja) * 1989-07-10 1991-02-25 Nippon Telegr & Teleph Corp <Ntt> 高品質画像入力装置
US5138458A (en) 1989-12-22 1992-08-11 Olympus Optical Co., Ltd. Electronic camera apparatus capable of providing wide dynamic range image signal
JPH05506971A (ja) 1990-02-16 1993-10-07 スキャネラ　ソシエテ　シビル カメラのダイナミックレンジを増加するための装置
US5030985A (en) * 1990-08-17 1991-07-09 Eastman Kodak Company Exposure balance arrangement for an image fixing device
GB2255465B (en) * 1991-04-30 1995-02-01 Sony Broadcast & Communication Image capture apparatus
US5185671A (en) * 1991-06-21 1993-02-09 Westinghouse Electric Corp. Adaptive control of an electronic imaging camera
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
IL100620A (en) * 1992-01-09 1994-11-11 Orly Yadid Pecht Method and apparatus for increasing the dynamic range of optical sensors
US5309243A (en) 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
JPH0670225A (ja) * 1992-08-21 1994-03-11 Sony Corp 電子スチルカメラ装置
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JPH06153089A (ja) * 1992-10-30 1994-05-31 Olympus Optical Co Ltd 固体撮像装置
DE4305807A1 (de) * 1993-02-25 1994-10-13 Thomson Brandt Gmbh Kamera mit einer steuerbaren Blende
JPH06261246A (ja) * 1993-03-08 1994-09-16 Hitachi Medical Corp Ｃｃｄテレビカメラ
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
JPH0777700A (ja) 1993-06-30 1995-03-20 Dainippon Printing Co Ltd ダイナミックレンジ拡大機能を有する情報記録再生方法及び装置
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
DE4420637A1 (de) * 1994-06-14 1995-12-21 Bertram Dr Rapp Optische Abbildungsvorrichtung
US5767987A (en) * 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
JP2970440B2 (ja) 1994-11-29 1999-11-02 松下電器産業株式会社 画像合成方法と画像合成装置
JPH08223491A (ja) 1995-02-10 1996-08-30 Hitachi Ltd イメージセンサ
JPH07254965A (ja) 1995-02-15 1995-10-03 Olympus Optical Co Ltd 電子的撮像装置
JPH07254966A (ja) 1995-02-15 1995-10-03 Olympus Optical Co Ltd 電子的撮像装置
JPH07264488A (ja) 1995-02-15 1995-10-13 Olympus Optical Co Ltd 電子的撮像装置
JPH08331461A (ja) * 1995-06-02 1996-12-13 Sony Corp 固体撮像装置の駆動方法
JP3979682B2 (ja) 1995-06-13 2007-09-19 オリンパス株式会社 電子的撮像装置
GB2303988A (en) * 1995-07-31 1997-03-05 Secr Defence Thermal imaging system with detector array calibration mode
US5703677A (en) * 1995-11-14 1997-12-30 The Trustees Of The University Of Pennsylvania Single lens range imaging method and apparatus
US6124974A (en) * 1996-01-26 2000-09-26 Proxemics Lenslet array systems and methods
JPH09252107A (ja) * 1996-03-15 1997-09-22 Sony Corp 固体撮像装置
US6122408A (en) * 1996-04-30 2000-09-19 Siemens Corporate Research, Inc. Light normalization method for machine vision
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
DE19618476C2 (de) * 1996-05-08 1999-11-18 Agfa Gevaert Ag Verfahren zum Kopieren von transparenten Bildvorlagen und fotografisches Kopiergerät
US5670280A (en) * 1996-05-30 1997-09-23 Brown University Research Foundation Optically controlled imaging phase mask element
JP3904635B2 (ja) 1996-08-29 2007-04-11 富士フイルム株式会社 撮像装置
US5789737A (en) * 1997-01-22 1998-08-04 Xerox Corporation High dynamic range segmented pixel sensor array
US6501504B1 (en) * 1997-11-12 2002-12-31 Lockheed Martin Corporation Dynamic range enhancement for imaging sensors
US20020050518A1 (en) * 1997-12-08 2002-05-02 Roustaei Alexander R. Sensor array
JP2000092383A (ja) * 1998-09-16 2000-03-31 Konica Corp 画像入力装置、画像入力方法、透過フィルタ調整方法、透過フィルタ測定方法及び画像出力方法
US6753909B1 (en) * 1999-04-20 2004-06-22 Sharp Laboratories Of America, Inc. Camera with spatially adjustable variable density optical filter and method for controlling the same
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP7077700B2 (ja) 2018-03-22 2022-05-31 富士フイルムビジネスイノベーション株式会社 画像形成システム
JP7272216B2 (ja) 2019-07-26 2023-05-12 株式会社デンソー クラッチ装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07115643A (ja) * 1993-10-19 1995-05-02 Toyota Motor Corp 車載用撮像装置
JPH10270673A (ja) * 1997-03-27 1998-10-09 Asahi Optical Co Ltd 撮像素子

Also Published As

Publication number Publication date
US9363447B2 (en) 2016-06-07
JP2003524316A (ja) 2003-08-12
JP2011030261A (ja) 2011-02-10
US6864916B1 (en) 2005-03-08
US8934029B2 (en) 2015-01-13
WO2000079784A1 (en) 2000-12-28
US20040239798A1 (en) 2004-12-02
EP1186163B1 (en) 2014-06-25
US7924321B2 (en) 2011-04-12
EP1186163A1 (en) 2002-03-13
JP2010110004A (ja) 2010-05-13
US20150116539A1 (en) 2015-04-30
JP5519460B2 (ja) 2014-06-11
JP4494690B2 (ja) 2010-06-30
US20110157419A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
JP4657365B2 (ja) 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法
US7149262B1 (en) Method and apparatus for enhancing data resolution
KR100850729B1 (ko) 데이터 해상도를 향상시키는 방법 및 장치
US7428019B2 (en) System and method for increasing space or time resolution in video
KR101194481B1 (ko) 디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및톤 스케일 조정 방법 및 필터링 방법
US7038185B1 (en) Camera for directly generating a gradient image
JP4773369B2 (ja) 画像フィールドデータを修正するための技術
Nayar et al. Adaptive dynamic range imaging: Optical control of pixel exposures over space and time
US7495699B2 (en) Imaging method and system
JP4161295B2 (ja) 画像センサのダイナミックレンジを拡大するカラー画像撮像システム
US8805103B2 (en) Device and method for processing digital images captured by a binary image sensor
US20090040371A1 (en) Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
JP2004159292A (ja) ダイナミックレンジ拡張画像合成に用いる画像を生成するための方法
US6670988B1 (en) Method for compensating digital images for light falloff and an apparatus therefor
JP4176369B2 (ja) 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法
US8687911B2 (en) Adaptive method for processing digital images, and an image processing device
CN112866596B (zh) 基于cmos传感器的抗强光三维捕捉方法及系统
Xian et al. Camera calibration and performance evaluation of depth from defocus (DFD)
JP2003069896A (ja) フレア補正方法とこの方法を用いるカメラ並びに前記フレア補正方法のプログラムおよびこれを記録した媒体
JP2001350086A (ja) 尖鋭度検出装置及び尖鋭度検出装置を用いた焦点検出装置、尖鋭度検出方法及び焦点検出に用いられるチャート

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4657365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees