WO2007129549A1

WO2007129549A1 - カメラ装置および画像処理方法

Info

Publication number: WO2007129549A1
Application number: PCT/JP2007/058609
Authority: WO
Inventors: Tatsuro Ogawa
Original assignee: Opt Corporation
Priority date: 2006-05-01
Filing date: 2007-04-20
Publication date: 2007-11-15
Also published as: EP2018050A4; EP2018050A1; JP2007300463A; US20100007766A1

Abstract

　被写体の部分により明るさに大きな差があっても、被写体の全体の内容を確認できる撮像画像を得ることができるカメラ装置を提供すること。　１つの被写体を異なる露光時間または異なる絞りで撮像した複数の撮像画像を得る。そして、ある撮像画像に、所定の受光レベル外となる部分を所定の受光レベル内の部分として撮影されている他の撮像画像の部分と置換をし、この置換によって合成され撮像画像をモニタ映像として表示する。

Description

明細書

カメラ装置および画像処理方法

技術分野

[0001] 本発明は、カメラ装置に関するものである。

背景技術

[0002] CCDあるいは CMOS等の撮像素子を用いるカメラ装置として、例えば、特開 2004 — 271902号が開示されている。このようなカメラ装置は、被写体の輝度に応じて絞り径を変化させたり、あるいは、フレームレートを変化させることにより、撮像画像による電荷蓄積量が、撮像素子のダイナミックレンジ内に納まるように制御される。

[0003] 例えば、室内を撮影する場合には、一般に被写体の輝度が低いことから、絞り径を大きくして撮像画像の輝度を高くしたり、あるいはフレームレートを小さくして撮像素子の電荷蓄積時間を長くすることにより、撮像素子の電荷蓄積量が充分多くなるようにする。

[0004] 逆に、晴れた日中の屋外を撮影する場合には、被写体の輝度は充分に高いため、撮像素子の電荷蓄積量が飽和しないように、絞り径を小さくして撮像画像の輝度を低くしたり、あるいはフレームレートを大きくして撮像素子の電荷蓄積時間を短くする。

[0005] 特許文献 1 :特開 2003— 247902号公報（要約書の記載等を参照）

発明の開示

発明が解決しょうとする課題

[0006] し力ながら、このような従来のカメラ装置においては、例えば、薄暗い室内と、その中にある明るい電灯を一緒に撮影する場合に、室内の全体の明るさに合わせて絞り径ゃフレームレートを設定すると、電灯とその周辺部分の被写体の撮像画像は露出オーバーとなる。すなわち、電灯とその周辺部分の撮像画像の結像位置にある撮像素子は、電荷の蓄積量が飽和状態となる。そして、この部分の撮像画像は、白っぽくなってしまったり、あるいは白くつぶれてしまういわゆる白とびの状態となる。

[0007] 逆に、電灯の明るさに合わせて絞り径ゃフレームレートを設定すると、電灯とその周辺以外の部分の被写体の撮像画像は露出アンダーとなる。すなわち、この部分の撮像画像の結像位置にある撮像素子は、電荷の蓄積量が不足する。そして、この部分の撮像画像は、黒っぽくなつてしまったり、あるいは黒くつぶれてしまういわゆる黒つぶれの状態となる。

[0008] 晴れた日中の屋外を撮影する場合も同様の問題があり、明るい屋外の明るさに合わせて絞り径ゃフレームレートを設定すると、日陰の部分の撮像画像は露出がアンダ一となり、黒つぶれの撮像画像になってしまう。逆に、日陰部分の明るさに合わせて絞り径ゃフレームレートを設定すると、日陰部分を除いた部分の撮像画像は露出ォ一バーとなり、白とびが生じることになる。

[0009] このように、被写体の各部分によって明るさに大きな差がある場合には、撮像画像の中に、露出オーバーの部分あるいは露出アンダーの部分ができる。そのため、この露出オーバーの部分では白とびが生じ、また、露出アンダーの部分では、黒つぶれが生じ、白とびや黒つぶれの部分では、撮像画像の内容が見え難いものとなってしまう問題がある。

[0010] 力かる問題は、撮影レンズの画角が広くなると特に顕在化する傾向にある。すなわち、撮影レンズにレ、わゆる広角レンズを用いて広レ、範囲の被写体を撮像する場合には、色々な輝度の被写体が撮像される可能性が高くなる。そのため、被写体の明るさに大きな差が生じて、一部の被写体の明るさを基準にして絞り径ゃ露光時間を設定すると、他の部分の撮像画像が露出オーバーや露出アンダーとなり、この他の部分に白とびや黒つぶれが生じ撮像画像の内容が見え難いものとなってしまうという問題が起こり易い。

[0011] そこで、本発明は、被写体の部分により明るさに大きな差があっても、被写体の全体の内容を確認できる撮像画像を得ることができるカメラ装置を提供することを課題とする。

課題を解決するための手段

[0012] 上述の課題を解決するため、本発明のカメラ装置は、撮影レンズと、撮影レンズを透過した被写体光が結像する撮像手段と、撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、被写体を連続して撮影するカメラ装置であって、撮像手段の露光時間を少なくとも 2段階に所定のタイミングで変化させる露光時間変化手段と、撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定手段と、撮像手段の部分単位の受光レベルが所定の受光レベル内か否かを判断する受光レベル判定手段と、受光レベル判定手段により受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換手段とを備えることとする。

[0013] カメラ装置をこのような構成とすることにより、 1つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、 1つの撮像画像には、所定の受光レベル外となる部分があっても、他の撮像画像には、この部分が所定の受光レベル内の部分として撮影されている場合がある。そして、所定の受光レベル外となつている部分を、他の撮像画像のこの部分に対応する部分であって所定の受光レベル内となっている部分の撮像画像に置換することにより、所定の受光レベル外となってレ、る部分を所定の輝度レベル内とした撮像画像を得ることができる。

[0014] また、他の発明は、上述の発明に加え、受光レベル不適正部分と置換される受光レベル適正部分を有する撮像画像が複数あるときは、受光レベル不適正部分を有する撮像画像を撮像した時期に一番近い撮像画像の受光レベル適正部分と置換することとする。

[0015] カメラ装置をこのような構成とすることにより、置換される部分の撮像画像と置換する部分の撮像画像の変化を少なレ、ものとすることができ、撮像画像の置換部分と置換されていない部分とのつながりの違和感を少なくすることができる。

[0016] また、他の発明は、上述の発明にカ卩え、露光時間変化手段は、撮像手段の撮像フレーム毎に露光時間を変化させることとする。

[0017] カメラ装置をこのような構成とすることにより、置換される部分の撮像画像と置換する部分の撮像画像に変化が少なレ、ため、撮像画像の置換部分と置換されてレ、なレ、部分とのつながりの違和感を少なくすることができる。

[0018] また、他の発明は、上述の発明にカ卩え、露光時間変化手段は、フレームレート変更手段であることとする。 [0019] カメラ装置をこのような構成とすることにより、露光時間の変更を容易に、かつ、早いタイミングで変えることができる。

[0020] また、他の発明は、上述の発明に加え、露光時間変化手段は、シャツタ速度変更手段であることとする。

[0021] カメラ装置をこのような構成とすることにより、露光時間の変更を容易に、かつ、早いタイミングで変えることができる。

[0022] また、他の発明は、上述の発明に加え、少なくとも 2段階の露光時間の 1の露光時間は、受光レベル不適正部分の受光レベルを所定の受光レベル内にする露光時間であることとする。

[0023] カメラ装置をこのような構成とすることにより、受光レベル不適正部分の受光レベルを効果的に所定の受光レベル内で撮像することができる。すなわち、受光レベル不適正部分に置換するための受光レベル適正部分を確実に得ることができる。

[0024] また、他の発明は、上述の発明にカ卩え、撮像レンズは、広角レンズであることとする

[0025] カメラ装置をこのような構成とすることにより、上述の発明の効果に加え、広い範囲の被写体を撮影することができる。

[0026] 上述の課題を解決するため、本発明の画像処理方法は、撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、撮像手段の露光時間を少なくとも 2段階に所定のタイミングで変化させる露光時間変化ステップと、撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定ステップと、撮像手段の部分単位の受光レベルが所定の受光レベル内か否かを判断する受光レベル判定ステップと、受光レベル判定ステップにより受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換ステップとを備えることとした。

[0027] 画像処理方法をこのような方法とすることにより、 1つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、 1つの撮像画像には、所定の受光レベル外となる部分があっても、他の撮像画像には、この部分が所定の受光レベル内の部分として撮影されている場合がある。そして、所定の受光レベル外となっている部分を、他の撮像画像のこの部分に対応する部分であって所定の受光レベル内となっている部分の撮像画像に置換することにより、所定の受光レベル外となつている部分を所定の輝度レベル内とした撮像画像を得ることができる。

[0028] 上述の課題を解決するため、本発明のカメラ装置は、撮影レンズと、撮影レンズを透過した被写体光が結像する撮像手段と、撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、被写体を連続して撮影するカメラ装置であって、撮像手段の露光時間を少なくとも 2段階に変化させて撮影した露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することとした。

[0029] カメラ装置をこのような構成とすることにより、 1つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、複数の撮像画像にはそれぞれ、明瞭な撮像画像の部分ができる。この明瞭な部分同士を合成することにより、全体が明瞭ななる撮像画像を記録または表示することができる。

[0030] 上述の課題を解決するため、本発明の画像処理方法は、撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、撮像手段の露光時間を少なくとも 2段階に変化させて露光時間が異なる複数の撮像画像を撮影し、これらの露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することとした。

[0031] 画像処理方法をこのような方法とすることにより、 1つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、複数の撮像画像にはそれぞれ、明瞭な撮像画像の部分ができる。この明瞭な部分同士を合成することにより、全体が明瞭ななる撮像画像を記録または表示することができる。

発明の効果

[0032] 本発明のカメラ装置および画像処理方法によれば、被写体の部分により明るさに大きな差があっても、被写体の全体の内容を確認できる撮像画像を得ることができる。図面の簡単な説明 [0033] [図 1]本発明の実施の形態に係るカメラ装置の構成を示す斜視図である。

[図 2]図 1のカメラ装置の構成を示すブロック図である。

[図 3]図 1のカメラ装置の動作を示すフローチャートである。

[図 4]図 1のカメラ装置で、高輝度部分を有する被写体を撮影する場合の図で、 (A) は、高輝度部分を有する被写体を示す図で、（B)は、（A)に示す被写体を撮影した撮像画像を示す図で、（C)は、（B)に示す撮像画像の画像データに対して置換処理を行った画像データに基づくモニタ映像を示す図で、（D)は、メモリに記憶された画像データの置換処理用の画像データの内容を示す図である。

[図 5]図 1のカメラ装置で、低輝度部分を有する被写体を撮影する場合の図で、 (A) は、低輝度部分を有する被写体を示す図で、（B)は、（A)に示す被写体を撮影した撮像画像を示す図で、（C)は、（B)に示す撮像画像の画像データに対して置換処理を行った画像データに基づくモニタ映像を示す図で、（D)は、メモリに記憶された画像データの置換処理用の画像データの内容を示す図である。

[図 6]図 1のカメラ装置で、高輝度部分と低輝度部分を有する被写体を撮影する場合の図で、（A)は、高輝度部分と低輝度部分を有する被写体を示す図で、（B)は、（A) に示す被写体を撮影した撮像画像を示す図で、 (C)は、（B)に示す撮像画像の画像データに対して置換処理を行った画像データに基づくモニタ映像を示す図で、（D) は、メモリに記憶された画像データの置換処理用の画像データの内容を示す図である。

符号の説明

[0034] 100 ·■· カメラ装置

121 ·■· 撮影レンズ

130 … 撮像素子 (撮像手段）

140 … 回路装置 (画像処理制御手段）

143a · · · フレームレート設定部（露光時間変化手段）

143b … 受光レベル測定部（受光レベル測定手段）

143c … 受光レベル判定部（受光レベル判定手段）

143e … 画像置換部（画像置換手段）発明を実施するための最良の形態

[0035] 本発明の実施の形態に係るカメラ装置 100について、図 1から図 6を参照しながら説明する。なお、このカメラ装置 100は、家庭用や事務所用の監視カメラとして使用できる他、会議の風景の撮影、製品検査のための撮影を行うカメラ装置として使用すること力 Sできる。なお、画像処理方法については、カメラ装置 100の動作に併せて説明する。

[0036] 図 1に、本発明の実施の形態に係るカメラ装置 100の外観の構成を示す。カメラ部

100は、図面中点線にて図示をする外装筐体 110、光学系 120、撮像手段としての撮像素子 130および回路装置 140を備えている。外装筐体 110は、例えば、 3cm四方の略直方体を呈する小型の形態となっている。光学系 120は、撮影レンズ 121およびレンズ鏡筒 122を有してレ、る。

[0037] 光学系 120は、そのレンズ鏡筒 122が外装筐体 110内に収容され、撮影レンズ 12 1を外装筐体 110の外部に露出させている。撮影レンズ 121は、 180度の広い画角の光学特性を有するいわゆる広角レンズである。この撮影レンズ 121は、被写体光の入射側となる前面が通常の凸レンズ程度の膨らみとなっており、平面に近いものとなつている。し力、し、レンズ内部のガラスの処理に工夫を施し、 180度の画角を有し、かつ光軸周りの全周囲、すなわち 360度の全周囲に亘つて撮影可能となっている。

[0038] 撮影レンズ 121の結像位置には、撮像手段としての撮像素子 130が配設されている。撮像素子 130としては、例えば、 CMOS (Complementary Metal OxideSe miconductor)を使用する。 CMOSの代ゎりにCCD (Charge Coupled Device) やその他の光電変換素子を使用してもよい。

[0039] レンズ鏡筒 122には、ピント調整ノブ 123が設けられている。レンズ鏡筒 122は、ピント調整ノブ 123を手指で摘んで光軸の周りに回転させると、撮像素子 130に対して、光軸方向に沿って進退するように構成されている。したがって、ピント調整ノブ 123 により、撮影レンズ 121の結像位置が撮像素子 130の撮像面になるように、撮影レンズ 121の光軸方向の位置を調整することができる。

[0040] この実施の形態においては、撮影レンズ 121による結像画像は、撮像素子 130の撮像面内に全て収まるように撮像素子 130の撮像面の大きさ、および撮影レンズ 12 1と撮像素子 130との配置が構成されている。したがって、撮像素子 130の撮像面には、撮影レンズ 121の形状に対応して円形の画像が結像することになる。

[0041] また、カメラ装置 100は、マイク 101、通信手段としての USB (Univereal Serial

Bus)ケーブルが接続する USB接続部 102、およびオーディオやビデオの信号を出力する AV信号出力部 103とを有している。マイク 101は、撮影を行う範囲の場所の音を取り込むものである。

[0042] 図 2に、本発明の実施の形態に係るカメラ装置 100の構成を示すブロック図を示す

。撮影レンズ 121で撮影し回路装置 140において画像処理された撮像画像は、液晶テレビ等から構成されるモニタ 150に表示される。

[0043] モニタ 150は、カメラ装置 100の USB接続部 102に接続される USBケーブル（図示省略）を介してネットワークを通じて、あるいは直接的にカメラ装置 100に接続されている。

[0044] 撮影レンズ 121を透過した被写体光は、撮像素子 130の撮像面に結像し、この結像画像に基づく画像信号が撮像素子 130から出力される。撮像素子 130から出力された画像信号は、回路装置 140に入力する。この回路装置 140は、画像処理制御手段として構成される、画像信号処理部 141、画像圧縮処理部 142、制御部 143、この制御部 143について備えられるメモリ 144、座標変換部 145、およびこの座標変換部 145について備えられるメモリ 146を備えている。

[0045] 撮像素子 130から出力された画像信号は、画像信号処理部 141に入力する。この画像信号処理部 141において、撮像素子 130からの画像信号に対して、カラー処理等の所定の画像処理を施す。

[0046] 画像圧縮処理手段 142においては、画像信号処理部 141で画像処理を施された画像信号の画像データを圧縮処理し、画像データのデータ量が減らされた圧縮画像データを生成する。画像データの圧縮処理は、例えば、 JPEG ioint Photograph! c Experts Group)を用レヽて打つ。

[0047] 制御部 143は、例えば CPU (Central Processing Unit)により構成され、モニタ 150に表示される撮影レンズ 121の映像の生成処理を含めてカメラ装置 100の動作の制御を司る。制御部 143は、フレームレート設定部 143a、受光レベル測定部 14 3b、受光レベル判定部 143c、置換可能判定部 143dおよび画像置換部 143e等を有している。

[0048] メモリ 144は、モニタ 150に表示される撮影レンズ 121による撮像画像の生成処理のためのプログラムやカメラ装置 100の各部を動作させるためのプログラムの他、このプログラムを実行するためのワークメモリを備えている。画像信号処理部 141や画像圧縮処理部 142における処理においてもこのメモリ 144が活用される。

[0049] 座標変換部 145は、制御部 143とともに、画像圧縮処理部 142からの画像データに基づいて、各表示態様に応じた映像を生成する画像処理を行う。この座標変換部 145は、撮像素子 130の撮像面上の撮像画像を、各表示態様において表示される映像になるように画像処理してモニタ 150表示する際に、撮像面における撮像画像の座標位置をモニタ 150における映像の座標位置に変換する機能を有する。メモリ 1 46は、座標変換部 145を用いて画像処理を行う際のワークメモリとなっている。

[0050] 本実施の形態に示すカメラ装置 100は、被写体を連続して撮影し、撮影した撮像画像をモニタ 150に出力する。したがって、モニタ 150の映像により被写体の様子を観察すること力できる。なお、連続の撮影は、ここでは、いわゆるビデオ撮影のように、 1秒間に数フレームから数十フレームの撮影を行うものの他、数秒に 1フレームあるいは十数秒に 1フレームの撮影を行うものまでを含む。すなわち、数フレームだけの撮影をして、その後は撮影をしなレ、撮影状態を含まなレ、撮影をレ、う。

[0051] そして、このカメラ装置 100は、以下に説明するように、連続して撮影する際のフレームレートを所定のタイミングで変化させるように構成している。これらの連続して撮影した複数の撮像画像の中に、白とびや黒つぶれの部分がある撮像画像がある場合には、この撮像画像の白とびや黒つぶれの部分を、他の撮像画像の白とびや黒つぶれの部分と対応する部分であって白とびや黒つぶれの生じてレ、なレ、部分の画像と置き換える。これにより、撮像画像に白とびや黒つぶれの部分が生じても、この部分（白とび部分や黒つぶれ部分）の内容を確認することができる。

[0052] 図 2のブロック図、図 3のフローチャート、および図 4を参照しながら、カメラ装置 100 の動作を説明する。図 4 (A)は、カメラ装置 100の撮影対象となる被写体を示す図である。（1)から（6)の順で左力、ら右に向かって時間が経過し、各時刻の被写体をそれぞれ 1H, 2H, 3H, 4H, 5H, 6Hとする。ここでは、カメラ装置 100は、室内を撮影するものとし、各被写体 1H, 2H,…には、室内にある電灯等による輝度の高い高輝度部分 IHa, 2Ha, 3Ha, 4Ha, 5Ha, 6Haとこの部分以外の室内部分 lHb, 2Hb , 3Hb, 4Hb, 5Hb, 6iib力 S含まれてレヽる。

[0053] 図 4 (B)は、（A)に示す被写体 1H, 2H,…を連続して撮影した各撮像画像を、時系列に左から右に並べて示している。被写体 1H 2H, 3H, 4H 5H, 6Hは、それぞれ、撮像画像 1H' 2H 3H^; 4H^r , 5H^r , 6H^r として撮像されている。

[0054] 図 4 (C)は、（B)に示す撮像画像の画像データに対して画像データの置換処理が行われた画像データに基づいてモニタ 150に表示されたとモニタ映像の表示内容を示す図である。モニタ 150には、撮像画像 1H' , 2H^r , 3H^r , 4Η^; 5Η^; 6Η ' にそれぞれ対応して、モニタ映像 1H" 2H^/r , 3H^/r , 4Η" 5Η" 6Η" が表示される。

[0055] 図 4 (D)は、上述の画像データの置換処理のためにメモリ 144に記録された撮像画像の画像データの内容を示す図である。モニタ 150に表示されたモニタ映像の基になっている画像データ力画像データの置換処理のための画像データとしてメモリ 14 4に記録される。

[0056] モニタ映像 1H 2Η 3Η" , 4Η" , 5Η" , 6Η の基になっている画像データカそれぞれ、画像データ 1MH, 2ΜΗ, 3ΜΗ, 4ΜΗ, 5ΜΗ, 6ΜΗとしてメモリ 144に記録されている。

[0057] 先ず、撮影の開始に先立ち、露光時間変化手段としてのフレームレート設定部 143 aにより、フレームレートを標準のフレームレートに設定する（ステップ S l)。この標準フレームレートは、撮影する被写体に応じて、予め決められたフレームレートである。一般に、被写体の輝度が高い（明るい）と予想される場合には、 1フレームあたりの撮像素子 130の画素の露光時間が短くなるように、フレームレートを大きく設定し、画素の電荷蓄積量が飽和してしまわないようにする。逆に、被写体の輝度が低レ、（喑レ、）と予想される場合には、 1フレームあたりの撮像素子 130の画素の露光時間が長くなるように、フレームレートを小さく設定し、画素の電荷蓄積量を多くする。このフレームレートは、被写体の明るさおよび光学系 120の絞り径に対して相対的に決定される。 [0058] ここでは、被写体 1H〜6Hとなる室内の明るさに時間経過による大きな変化がないことを前提として、室内部分 lHb〜6Hbの撮像画像が適正な受光量となるように、標準フレームレートを、例えば、 20フレーム/秒に設定する。なお、適正な受光量とは、撮像画像が白とびしたり、あるいは黒つぶれしない受光量である。

[0059] 上記の標準フレームレートで、図 4 (A)の（1)に示す被写体 1Hを撮影すると（ステツプ S2)、撮像素子 130の撮像面には、図 4 (B)の（1)に示す撮像画像 1 が形成される。撮像画像 1H' は、高輝度部分 lHaの撮像画像 aおよび室内部分 lHb の撮像画像 ΙΗ' bを有する。

[0060] 撮像画像 1H' aについては、フレームレートが室内部分 lHbの輝度に合わせて設定されているため、露出オーバーとなり白とびの状態で撮像されている。すなわち、撮像素子 130の画素の内、撮像画像 1H' aに対応する部分の画素については、電荷蓄積量が飽和状態になってしまっている。これに対し、撮像画像 1H' bは、フレームレートが室内部分 lHbの輝度に合わせて設定されているため、撮像素子 130の電荷蓄積量が適正な撮像画像となり、室内部分 lHbの様子が判る状態で撮像される。

[0061] 次いで、この撮像画像 1H' について、受光レベル測定手段としての受光レベル測定 1143bにより、撮像素子 130の画素単位で、画素の受光レベルを測定する（ステツプ S3)。そして、受光レベル判定手段としての受光レベル判定部 143cにより撮像画像 1H' の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。

[0062] 所定の受光レベルの上限は、撮像画像 1H' に白とびが生じる程度に、撮像素子 1 30の画素の電荷蓄積量が飽和しているかどうかを基準に判断をする。下限については、撮像画像 1H' に黒つぶれが生じる程度に、撮像素子 130の画素の電荷蓄積量が低レ、かどうかを基準に判断をする。

[0063] 撮像画像 1H' については、撮像画像 1H' bの部分については、適正な受光レベルと判断される力 S、撮像画像 1H' aの部分について、画素の電荷蓄積量は飽和状態となつていると判断される。すなわち、受光レベルの判定 (ステップ S4)において、撮像画像 1H' aの画素が所定の受光レベル外の画素として判断される（ステップ S4 において No)。

[0064] 受光レベルが所定の受光レベル内にない画素が撮像画像 1H' の中に存在する場合には、置換可能判定部 143dにより、撮像画像 1H' より前に撮像した撮像画像の画素における当該受光レベルが所定の受光レベルでない画素と対応する位置の画素であって所定の受光レベル内の画素があるかどうかを判定する（ステップ S5) すなわち、撮像画像 1H' より前に撮影した撮像画像における撮像画像 1H' aに対応する位置の画素であって、所定の受光レベル内の画素があるかどうかを判定する（ステップ S 5)。

[0065] ここでは、撮像画像 1H' は最初に撮像された撮像画像であるので、このような画素はないと判断され (ステップ S5において No)、図 4 (C)の（1)に示すように、撮像画像 lH^r の画像データに基づくモニタ映像 1H" をモニタ 150に表示する（ステップ S6) 。モニタ映像 1H〃は、撮像画像 1H' aの部分については、白とびした白とび映像 1H^7/ aとして表示される。したがって、被写体 1Hの高輝度部分 lHaの様子は、モニタ映像 1H〃によっては見ることができない。

[0066] 撮像画像 1H' bの部分については、室内部分 lHbの明るさに適したフレームレートで撮像が行われているため、適正映像 1H" bとして表示される。したがって、室内部分 lHbの様子は、適正映像 1H bにより見ること力 Sできる。

[0067] モニタ 150に上記のようにモニタ映像 1H が表示された後、モニタ映像 1H の基になっている画像データを、図 4 (D)の（1)に示すように画像データ 1MHとしてメモリ 144に記憶する（ステップ S7)。ここでは、モニタ映像 1H" は、撮像画像 1H' 、すなわち撮像画像 1H' a, ΙΗ' bの画像データに基づくものである。したがって、画像データ 1MHの内容は、撮像画像 1H' aの画像データである画像データ 1 amと、撮像画像 1H' bの画像データである画像データ bmになっている。

[0068] 次いで、図 4 (A)の（2)に示す被写体 2Hを撮影する 2フレーム目の撮影に移行する。この撮影では、フレームレートを 40フレーム/秒に設定する（ステップ 1)。このフレームレートの設定は、前回（1フレーム目）撮像された撮像画像 1H' の受光レベルの測定結果 (ステップ S3)に基づいて行い、前回の撮影のときに白とびした撮像画像 lH^r aとして撮像された高輝度部分 2Haが白とびしないように、露光時間を短く設定する。

[0069] 40フレーム/秒のフレームレートで被写体 2Hを撮影すると（ステップ S2)、撮像素子 130の撮像面には、図 4 (B)の（2)に示す撮像画像 2H' が形成される。この撮影 (2フレーム目 )のフレームレートは、高輝度部分 2Haの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像の撮像画像 2Ha' は、撮像画像 1H' の撮像画像 1H' aに対応する部分に当るが、この 2フレーム目の撮影においては、撮像素子 130の電荷蓄積量が適正な撮像画像となる。すなわち、前回 (1フレーム目）撮像された撮像画像 1H' におレ、ては白とびしてレ、た撮像画像 1H' aは、適正な撮像画像 2H' aとして撮像される。

[0070] 一方、撮像画像 2H' の撮像画像 2H' bは、撮像画像 1H' の撮像画像 1H' bに対応する部分にあたる力この 2フレーム目の撮影においては、撮像素子 130の電荷蓄積量が不足し、黒つぶれの撮像画像として撮像される。つまり、フレームレートが 40フレーム/秒のため、撮像画像 2H' bの部分は露出アンダーとなり、電荷蓄積量が少ない黒つぶれの撮像画像となる。この撮像画像 2H' について、受光レベルを測定し (ステップ S3)、撮像画像 2 の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。

[0071] 撮像画像 2H' については、上述したように、撮像画像 2 bの部分が黒つぶれの撮像画像となっている。したがって、この受光レベルの判断 (ステップ S4)において、撮像画像 2H' bの画素が所定の受光レベル外の画素として判断される（ステップ S 4において No)。

[0072] そして、この撮像画像 2H' より前に撮像した撮像画像における撮像画像 2H' に対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ 144に記憶された画像データを参照しながら判定する（ステップ S5)。

[0073] ここでは、メモリ 144に記憶されている撮像画像 1H' bの画像データ 1H' bmが、条件に合うデータとして判断される (スッテプ S5におおいて Yes)。この判断に従い、画像置換手段としての画像置換部 143eにより撮像画像の画像データのうち、撮像画像 2H' bに対応する画像データを画像データ 1H' bmに置き換える（ステツプ S8)。

[0074] そして、図 4 (C)の（2)に示すように、撮像画像 2H' bの画像データが画像データ lH^r bmに置き換えられた撮像画像 2Η' の画像データに基づくモニタ映像 2Η" を、モニタ 150に表示する（ステップ S6)。すなわち、モニタ映像 2H" の撮像画像 2H ' bに対応する部分については、画像データ 1 bmに基づく適正映像 1H〃 bが表示される。

[0075] モニタ映像 2H〃の撮像画像 aに対応する部分については、この撮像画像 2 H^r aの画像データに基づく映像である適正映像 2H〃 aが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像 2H〃がモニタ 150に表示される。なお、図 4では、（1)と（2)の間で人物が動き、人物が異なる位置となっている、実際は、（1)と（2)との間では、 0. 1秒に満たないような短時間である。したがつて、人物等の動く物の位置は、（1)と（2)の間ではほとんど同じである。そのため、メモリ 144の画像データ bmを利用してもモニタ映像 2H〃には違和感は発生しなレ、。なお、他のフレーム間や後述する図 5、図 6におけるフレーム間においても、その時間間隔は、 0. 1秒に満たないような短時間であり、図中に描かれる人物等の動きの位置のずれはごく僅かである。

[0076] 前回（1フレーム目）の撮影におけるモニタ映像 1H" においては、高輝度部分 1H aの映像は白とび映像 1H〃 aとなってしまレ、、高輝度部分 lHaの様子をモニタ 150 上で見ることができなかったのに対し、今回（2フレーム目）の撮影におけるモニタ映像 2H" においては、適正映像 2H" aとして見ることができる。また、今回（2フレーム目）の撮影においては、高輝度部分 2Ha以外の室内部分 2Hbの撮像映像 2H' bは黒つぶれした撮像画像であるが、前回（1フレーム目）の撮影にぉレ、て適正な受光量で撮像された撮像画像 1H' bの画像データ 1 bmに基づく適正映像 1H〃 bが表示されるため、モニタ映像 2H〃は、適正な映像として見ることができる。

[0077] モニタ映像 2H" の適正映像 1H" bについては、今回の撮影によるリアルタイムの映像ではないが、 1フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像 2H〃の表示内容には、大きな差はない。

[0078] そして、メモリ 144に、モニタ映像 2H " の基になっている撮像画像 1 bと撮像画像 2H' aの画像データが画像データ 2MHとして記憶される（ステップ S7)。この画像データ 2MHの内容は、撮像画像 1H' bの画像データである画像データ bmと、撮影画像 2H' aの画像データである画像データ 2 amになっている。 [0079] 続いて、図 4 (A)の（3)に示す被写体 3Hを撮影する 3フレーム目の撮影に移行する。この撮影では、フレームレートを再び 20フレーム/秒に設定する。このフレームレートの設定は、前回（2フレーム目）撮像された撮像画像 2H' の受光レベルの測定結果 (ステップ S3)に基づいて行い、前回の撮影のときに黒つぶれした撮像画像 2H ' bとして撮像された室内部分 3Hbが黒つぶれしないように設定される。

[0080] 20フレーム/秒のフレームレートで被写体 3Hを撮影を行うと（ステップ S2)、撮像素子 130の撮像面には、図 4 (B)の（3)に示す撮像画像 3 が形成される。この撮影（3フレーム目）のフレームレートは、低輝度部分 3Hbの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像 3 の撮像画像 3HI は、撮像画像 2H' の撮像画像 2H' bに対応する部分に当るが、この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が適正な撮像画像となる。すなわち、前回撮像された撮像画像 2H' においては黒つぶれしていた撮像画像 bは、適正な撮像画像 3H' bとして撮像される。

[0081] 一方、撮像画像 3H' の撮像画像 3H' aは、撮像画像 2H' の撮像画像 2H' aに対応する部分に当る力この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が飽和し、白とびした撮像画像として撮像される。つまり、フレームレートが 20 フレーム/秒のため、撮像画像 3H' aの部分は露出オーバーとなり、電荷蓄積量が飽和し白とびした撮像画像となる。この撮像画像 3H' について、輝度レベルを測定し (ステップ S3)、撮像画像 3H' の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。

[0082] 撮像画像 3H' については、上述したように、撮像画像 3 aの部分が白とびした撮像画像となっている。したがって、この受光レベルの判断 (ステップ S4)において、撮像画像 3H' aの画素が所定の受光レベル外の画素として判断される（ステップ S4 において No)。

[0083] そして、この撮像画像 3Η' より前に撮像した撮像画像における撮像画像 3H' aに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ 144に記憶された画像データを参照しながら判定する（ステップ S5)。

[0084] ここでは、メモリ 144に記憶されている撮像画像 2H' aの画像データ 2H^ amが、条件に合うデータとして判断される (スッテプ S5におおいて Yes)。この判断に従い、撮像画像 3H' の画像データのうち、撮像画像 3H' aに対応する画像データを画像データ 2H' amに置き換える（ステップ S8)。

[0085] そして、図 4 (C)の（3)に示すように、撮像画像 3 aの画像データが画像データ 2 H^r amに置き換えられた撮像画像 3Η' の画像データに基づくモニタ映像 3Η" を、モニタ 150に表示する (ステップ S6)。すなわち、モニタ映像 3H" の撮像画像 3H' aに対応する部分については、画像データ amに基づく適正映像 2H" aが表示される。

[0086] モニタ映像 3H〃の撮像画像 bに対応する部分については、この撮像画像 3 H^r bの画像データに基づく映像である適正映像 3H〃 bが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像 3H〃がモニタ 150に表示される。

[0087] 今回（3フレーム目）の撮影においては、高輝度部分 3Haの撮像映像 3H' aは白とびした撮像画像であるが、前回（2フレーム目）の撮影において適正な受光量で撮像された撮像画像 2H' aの画像データ amに基づく適正映像 2H〃 aが表示されるため、モニタ映像 3H〃は、適正は映像として見ることができる。

[0088] モニタ映像 3H" の適正映像 2H" aについては、今回（3フレーム目）の撮影によるリアルタイムの映像ではなレ、が、 1フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像 3H〃の表示内容には、大きな差はない。

[0089] そして、メモリ 144に、モニタ映像 3H" の基になっている撮像画像 2H' aと撮像画像 bの画像データが画像データ 3MHとして記憶される（ステップ S7)。この画像データ 3MHの内容は、撮像画像 2H' aの画像データである画像データ am と、撮影画像 3H' bの画像データである画像データ 3 bmになっている。

[0090] 以降の撮影、すなわち、 4フレーム目、 5フレーム目、 6フレーム目…の撮影を行つた場合のモニタ 150におけるモニタ映像についても、上述した 1フレーム目力も 3フレーム目で行ったのと同様の画像の置換処理が行われた映像が表示される。したがつて、モニタ 150において、被写体 4H， 5H, 6H, …の撮影映像を白とびや黒つぶれのなレ、状態で見ることができる。 [0091] 上述したカメラ装置 100の動作の説明は、室内に電灯等による輝度の高い高輝度部分 lHa, 2Ha,…を有する被写体 1H, 2H,…を撮影するときのものである。これに対し、図 5 (A)の（1)から（6)に示すように、室内に置かれた家具等の陰になった影部分等の低輝度部分 lLa， 2La,…を有する被写体 1L， 2L,…を撮影したときのカメラ装置 100の動作を、図 2のブロック図、図 3のフローチャート、および図 5を参照しながら説明する。

[0092] 図 5 (A)は、カメラ装置 100の撮影対象となる被写体を示す図である。図 4と同様に、（1)から（6)の順で左から右に向かって時間が経過し、各時刻の被写体をそれぞれ 1L, 2L, 3L, 4L, 5L, 6Lとする。ここでは、カメラ装置 100は、室内を撮影するものであり、各被写体 1L, 2L,…には、低輝度き分 lLa， 2La, 3La, 4La, 5La, 6Laとこの部分以外の室内部分 lLb, 2Lb, 3Lb， 4Lb, 5Lb， 6Lbが含まれている。

[0093] 図 5 (B)は、（A)に示す被写体 1L, 2L,…を連続して撮影した各撮像画像を、時系列に左力も右に並べて示している。被写体 1L, 2L, 3L, 4L, 5L, 6Lは、それぞれ、撮像画像 1L' , 21/ , 31/ , 4V , 5V , 6 として撮像されている。

[0094] 図 5 (C)は、（B)に示す撮像画像の画像データに対して画像データの置換処理が行われた画像データに基づいてモニタ 150に表示されたモニタ映像の表示内容を示す図である。モニタ 150に ίま、撮像画像 1L' , 2V , 3L' , 4V , 5L' , 6L' にそれぞれ対応して、モニタ映像 11/ , 21/ , 31/ , 41/ , 51/ , 61/ 力 S表示される。

[0095] 図 5 (D)は、上述の画像データの置換処理のためにメモリ 144に記録された撮像画像の画像データの内容を示す図である。モニタ 150に表示されたモニタ映像の基になっている画像データ力画像データの置換処理のための画像データとしてメモリ 14 4に記録される。

[0096] モニタ映像 11/ ， 21/ ， 31/ ， 4L" ， 5L" ， 6L" の基になっている画像データが、それぞれ、画像データ 1ML, 2ML, 3 ML, 4ML, 5ML, 6MLとしてメモリ 144 に記録されている。

[0097] 先ず、撮影の開始に先立ち、フレームレート設定部 143aにより、フレームレートを標準のフレームレートに設定する（ステップ Sl)。ここでは、被写体 1L〜6Lとなる室内の明るさに時間経過による大きな変化がないことを前提として、室内部分 lLb〜6 Lbの撮像画像が適正な受光量となるように、標準フレームレートを、例えば、 20フレーム/秒に設定する。

[0098] 上記の標準フレームレートで、図 5 (A)の（1)に示す被写体 1Lを撮影すると (ステツプ S2)、撮像素子 130の撮像面には、図 5 (B)の（1)に示す撮像画像 11/ が形成される。撮像画像 11/ は、低輝度部分 lLaの撮像画像 11/ aおよび室内部分 lLbの撮像画像 11/ bを有する。

[0099] 撮像画像 11/ aについては、フレームレートが室内部分 lLbの輝度に合わせて設定されているため、露出アンダーとなり黒つぶれの状態で撮像されている。すなわち、撮像素子 130の画素の内、撮像画像 11/ aに対応する部分の画素については、電荷蓄積量が不足した状態になってしまっている。これに対し、撮像画像 11/ bは、フレームレートが室内部分 lLbの輝度に合わせて設定されているため、撮像素子 13 0の電荷蓄積量が適正な撮像画像となり、室内部分 lLbの様子が判る状態で撮像される。

[0100] 次いで、この撮像画像 11/ について、受光レベル測定部 143bにより受光レベルを測定し (ステップ S3)、受光レベル判定部 143cにより撮像画像 1L' の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。

[0101] 所定の受光レベルの上限は、撮像画像 11/ に白とびが生じる程度に、撮像素子 1 30の画素の電荷蓄積量が飽和しているかどうかを基準に判断をする。下限については、撮像画像 11/ に黒つぶれが生じる程度に、撮像素子 130の画素の電荷蓄積量が低レ、かどうかを基準に判断をする。

[0102] 撮像画像 11/ については、撮像画像 11/ bの部分については、適正な受光レベルと判断されるが、撮像画像 11/ aの部分について、画素の電荷蓄積量が不足してレ、ると判断される。すなわち、受光レベルの判定 (ステップ S4)において、撮像画像 1 U aの画素が所定の受光レベル外の画素として判断される（ステップ S4において N o) ₀

[0103] そして、撮像画像 11/ より前に撮影した撮像画像における撮像画像 11/ aに対応する位置の画素であって、所定の受光レベル内の画素があるかどうかを判定する（ステツプ S5)。ここでは、撮像画像 11/ は最初に撮像された撮像画像であるので、このような画素はないと判断され (ステップ S5において No)、図 5 (C)の（1)に示すように、撮像画像 11 の画像データに基づくモニタ映像 1 をモニタ 150に表示する（ステツプ S6)。モニタ映像 11/ は、撮像画像 11/ aの部分については、黒つぶれした黒つぶれ映像 1L〃 aとして表示される。したがって、被写体 1Lの低輝度部分 lLaの様子は、モニタ映像 1L〃によっては見ることができない。

[0104] 撮像画像 11/ bの部分については、室内部分 lLbの明るさに適したフレームレートで撮像が行われているため、適正映像 1L〃 bとして表示される。したがって、室内部分 lLbの様子は、適正映像 1L〃 bにより見ることができる。

[0105] モニタ 150に上記のようにモニタ映像 11/ が表示された後、モニタ映像 11/ の基になっている画像データを、図 5 (D)の（1)に示すように画像データ 1MLとしてメモリ 144に記憶する (ステップ S7)。ここでは、モニタ映像 11/ は、撮像画像 11/ 、すなわち撮像画像 11/ a, IV bの画像データに基づくものである。したがって、画像データ 1MLの内容は、撮像画像 11/ aの画像データである画像データ 11/ amと、撮像画像 11/ bの画像データである画像データ 11/ bmになっている。

[0106] 次いで、図 5 (A)の（2)に示す被写体 2Lを撮影する 2フレーム目の撮影に移行する。この撮影では、フレームレートを 10フレーム/秒に設定する（ステップ 1)。このフレームレートの設定は、前回（1フレーム目）撮像された撮像画像 1L' の受光レベルの測定結果 (ステップ S3)に基づいて行い、前回の撮影のときに黒つぶれした撮像画像 1L' aとして撮像された低輝度部分 2Laが黒つぶれしないように、露光時間を長く

HX/L る。

[0107] 10フレーム/秒のフレームレートで被写体 2Lを撮影すると（ステップ S2)、撮像素子 130の撮像面には、図 5 (B)の（2)に示す撮像画像 21/ が形成される。この撮影（ 2フレーム目）のフレームレートは、低輝度部分 2Laの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像 2L' の撮像画像は、撮像画像 11/ の撮像画像 11/ aに対応する部分に当る力 S、この 2フレーム目の撮影においては、撮像素子 130の電荷蓄積量が適正な撮像画像となる。すなわち、前回（1フレーム目）撮像された撮像画像 11 においては黒つぶれしていた撮像画像 11/ a は、適正な撮像画像 21/ aとして撮像される。

[0108] 一方、撮像画像 21/ の撮像画像 21/ bは、撮像画像 11/ の撮像画像 11/ bに対応する部分に当る力この 2フレーム目の撮影においては、撮像素子 130の電荷蓄積量が飽和状態となり、白とびした撮像画像として撮像される。つまり、フレームレートが 10フレーム/秒のため、撮像画像 21/ bの部分は露出オーバーとなり、電荷蓄積量が飽和状態の白とびした撮像画像となる。

[0109] この撮像画像 21/ について、受光レベルを測定し (ステップ S3)、撮像画像 21/ の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。撮像画像 2 については、上述したように、撮像画像 21/ bの部分が白とびした撮像画像となっている。したがって、この受光レベルの判断 (ステップ S4)において、撮像画像 2 U bの画素が所定の受光レベル外の画素として判断される（ステップ S4において N o) ₀

[0110] そして、この撮像画像 21/ より前に撮像した撮像画像における撮像画像 21/ bに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ 144に記憶された画像データを参照しながら判定する（ステップ S5)。

[0111] ここでは、撮像画像 11/ の撮像画像 11/ bの画像データ 11/ bmが、条件に合うデータとして判断される（スッテプ S5において Yes)。この判断に従い、画像置換部 1 43eにより撮像画像 2L' の画像データのうち、撮像画像 21/ bに対応する画像データを画像データ 11 bmに置き換える（ステップ S8)。

[0112] そして、図 5 (C)の（2)に示すように、撮像画像 21/ bの画像データが画像データ 1 bmに置き換えられた撮像画像 21/ の画像データに基づくモニタ映像 2L〃を、モニタ 150に表示する（ステップ S6)。すなわち、モニタ映像 21/ の撮像画像 21/ b に対応する部分については、画像データ 1L' bmに基づく適正映像 1L〃 bが表示される。

[0113] モニタ映像 2 の撮像画像 21/ aに対応する部分については、この撮像画像 2L ' aの画像データに基づく映像である適正映像 21/ aが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像 2L〃がモニタ 150に表示される。 [0114] 前回（1フレーム目）の撮影におけるモニタ映像 11/ においては、低輝度部分 lLa の映像は黒つぶれ映像 1L〃 aとなってしまい、低輝度部分 lLaの様子をモニタ 150 上で見ることができなかったのに対し、今回（2フレーム目）の撮影におけるモニタ映像 21/ においては、適正映像 21/ aとして見ることができる。また、今回（2フレーム目）の撮影においては、低輝度部分 2La以外の室内部分 2Lbの撮像映像 2L' bは白とびした撮像画像である力前回（1フレーム目）の撮影において適正な受光量で撮像された撮像画像 11/ bの画像データ 11/ bmに基づく適正映像 1L〃 bが表示されるため、モニタ映像 2L〃は、適正な映像として見ることができる。

[0115] モニタ映像 21/ の適正映像 11/ bについては、今回の撮影によるリアルタイムの映像ではないが、 1フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像 21/ の表示内容には、大きな差はない。

[0116] そして、メモリ 144に、モニタ映像 21/ の基になっている撮像画像 1L' bと撮像画像 21/ aの画像データが画像データ 2MLとして記憶される（ステップ S7)。この画像データ 2MLの内容は、撮像画像 11/ bの画像データである画像データ 11/ bmと、撮影画像 21/ aの画像データである画像データ 21/ amになっている。

[0117] 続いて、図 5 (A)の（3)に示す被写体 3Lを撮影する 3フレーム目の撮影に移行する。この撮影では、フレームレートを再び 20フレーム/秒に設定する。このフレームレートの設定は、前回（2フレーム目）撮像された撮像画像 21/ の受光レベルの測定結果 (ステップ S3)に基づいて行い、前回の撮影のときに白とびした撮像画像 21/ b として撮像された室内部分 3Lbが白とびしなレ、ように設定される。

[0118] 20フレーム/秒のフレームレートで被写体 3Lを撮影を行うと（ステップ S2)、撮像素子 130の撮像面には、図 5 (B)の（3)に示す撮像画像 31/ が形成される。この撮影（3フレーム目）のフレームレートは、室内部分 3Lbの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像 3L' の撮像画像 3L1 は、撮像画像 21/ の撮像画像 21/ bに対応する部分に当るが、この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が適正な撮像画像となる。すなわち、前回 (2フレーム目）撮像された撮像画像 21/ においては白とびしていた撮像画像 21/ bは、適正な撮像画像 31/ bとして撮像される。 [0119] 一方、撮像画像 31/ の撮像画像 31/ aは、撮像画像 21/ の撮像画像 21/ aに対応する部分にあたる力この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が不足し、黒つぶれした撮像画像として撮像される。つまり、フレームレートが 20フレーム Z秒のため、撮像画像 31/ aの部分は露出アンダーとなり、電荷蓄積量が不足し黒つぶれした撮像画像となる。この撮像画像 31/ について、輝度レベルを測定し (ステップ S3)、撮像画像 31/ の各画素が所定の受光レベル内であるかどう力、を判断する（ステップ S4)。

[0120] 撮像画像 31/ については、上述したように、撮像画像 31/ aの部分が黒つぶれした撮像画像となっている。したがって、この受光レベルの判断 (ステップ S4)において、撮像画像 31/ aの画素が所定の受光レベル外の画素として判断される（ステップ S 4において No)。

[0121] そして、この撮像画像 31/ より前に撮像した撮像画像における撮像画像 31/ aに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ 144に記憶された画像データを参照しながら判定する（ステップ S5)。

[0122] ここでは、撮像画像 21/ の撮像画像 21/ aの画像データ 21/ amが、条件に合うデータとして判断される（スッテプ S5におおいて Yes)。この判断に従い、撮像画像 3 の画像データのうち、撮像画像 31/ aに対応する画像データを画像データ 21/ amに置き換える（ステップ S8)。

[0123] そして、図 5 (C)の（3)に示すように、撮像画像 31/ aの画像データが画像データ 2 V amに置き換えられた撮像画像 31/ の画像データに基づくモニタ映像 31/ を、モニタ 150に表示する（ステップ S6)。すなわち、モニタ映像 31/ の撮像画像 31/ a に対応する部分については、画像データ 2L' amに基づく適正映像 2L〃 aが表示される。

[0124] モニタ映像 3 の撮像画像 31/ bに対応する部分については、この撮像画像 3L ' bの画像データに基づく映像である適正映像 31/ bが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像 3L〃がモニタ 150に表示される。

[0125] 今回（3フレーム目）の撮影においては、低輝度部分 3Laの撮像映像 31/ aは黒つぶれした撮像画像であるが、前回（2フレーム目）の撮影において適正な受光量で撮像された撮像画像 21/ aの画像データ 21/ amに基づく適正映像 21/ aが表示されるため、モニタ映像 31/ は、適正は映像として見ることができる。

[0126] モニタ映像 3 の適正映像 21/ aについては、今回（3フレーム目）の撮影によるリアルタイムの映像ではなレ、が、 1フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像 3L〃の表示内容には、大きな差はない。

[0127] そして、メモリ 144に、モニタ映像 31/ の基になっている撮像画像 2L' aと撮像画像 31/ bの画像データが画像データ 3MLとして記憶される（ステップ S7)。この画像データ 3MLの内容は、撮像画像 21/ aの画像データである画像データ 21/ amと、撮影画像 31/ bの画像データである画像データ 31/ bmになっている。

[0128] 以降の撮影、すなわち、 4フレーム目、 5フレーム目、 6フレーム目…の撮影を行つた場合のモニタ 150におけるモニタ映像についても、上述した 1フレーム目力も 3フレーム目で行ったのと同様の画像の置換処理が行われた映像が表示される。したがつて、モニタ 150において、被写体 4L, 5L, 6L,…の撮影映像を白とびや黒つぶれのない状態で見ることができる。

[0129] 次に、室内に電灯等による輝度の高い高輝度部分と家具等の陰になった影部分等の低輝度部分を含む被写体を撮影したときのカメラ装置 100の動作を、図 2のブロック図、図 3のフローチャート、および図 6を参照しながら説明する。

[0130] 図 6 (A)は、カメラ装置 100の撮影対象となる被写体を示す図である。図 4と同様に、（1 )から（6)の順で左から右に向かって時間が経過し、各時刻の被写体をそれぞれ IK, 2K, 3K, 4K, 5K, 6Kとする。ここでは、カメラ装置 100は、室内を撮影するものであり、各被写体 IK, 2K, ·■· (こ fま、高輝度咅分 lKa， 2Ka, 3Ka, 4Ka, 5Ka, 6 Ka、低輝度部分 1Kb, 2Kb, 3Kb, 4Kb, 5Kb, 6Kbおよびこれらの部分以外の室内部分 lKc， 2Kc, 3Kc， 4Kc, 5Kc， 6Kcが含まれている。

[0131] 図 6 (B)は、（A)に示す被写体 1K， 2Κ,…を連続して撮影した各撮像画像を、時系列に左から右に並べて示している。被写体 1K, 2Κ, 3Κ, 4Κ, 5Κ, 6Κは、それぞれ、撮像画像 1K' ， 2K^r , 3K ， 4K^r , 5Κ^; ， 6Κ^; として撮像されている。

[0132] 図 6 (C)は、（Β)に示す撮像画像の画像データに対して画像データの置換処理が行われた画像データに基づいてモニタ 150に表示されたとモニタ映像の表示内容を示す図である。モニタ 150には、撮像画像 IK' , 2K^; , 3K' , 4K^; , 5K , 6Κ ' にそれぞれ対応して、モニタ映像 1Κ 2K" , 3K 4K" , 5K" , 6K が表示される。

[0133] 図 6 (D)は、上述の画像データの置換処理のためにメモリ 144に記録された撮像画像の画像データの内容を示す図である。モニタ 150に表示されたモニタ映像の基になっている画像データ力画像データの置換処理のための画像データとしてメモリ 14 4に記録される。

[0134] モニタ映像 IK" , 2K" 3Κ" , 4K" 5K^/r , 6K" の基になっている画像データカそれぞれ、画像データ lMk, 2Mk, 3Mk 4Mk 5Mk, 6Mkとしてメモリ 144 に記録されている。

[0135] 先ず、撮影の開始に先立ち、フレームレート設定部 143aにより、フレームレートを標準のフレームレートに設定する（ステップ S l)。ここでは、被写体 1K 6Kとなる室内の明るさに時間経過による大きな変化がないことを前提として、室内部分 lKc 6 Kcの撮像画像が適正な受光量となるように、標準フレームレートを、例えば、 20フレーム/秒に設定する。

[0136] 上述の標準フレームレートで、図 6 (A)の（1)に示す被写体 1Kを撮影すると（ステツプ S2)、撮像素子 130の撮像面には、図 6 (B)の（1)に示す撮像画像 1K' が形成される。撮像画像 1K' は、高輝度部分 lKaの撮像画像 lKa、低輝度部分 1Kbの撮像画像 IK' bおよび室内部分 lKcの撮像画像 IK' cを有する。撮像画像 IK' aについては、フレームレートが室内部分 lKcの輝度に合わせて設定されているため、露出オーバーとなり白とびの状態で撮像されている。すなわち、撮像素子 130の画素の内、撮像画像 IK' aに対応する部分の画素については、電荷蓄積量が飽和状態となつてしまっている。

[0137] 逆に、撮像画像 IK' bについては、露出アンダーとなり黒つぶれの状態で撮像されている。すなわち、撮像素子 130の画素の内、撮像画像 IK' bに対応する部分の画素については、電荷蓄積量が不足した状態となってしまっている。これに対し、撮像画像 IK' cは、フレームレートが室内部分 lKcの輝度に合わせて設定されているため、撮像素子 130の電荷蓄積量が適正な撮像画像となり、室内部分 lKcの様子が判る状態で撮像される。

[0138] 次いで、この撮像画像 1K' について、受光レベル測定部 143bにより受光レベルを測定し (ステップ S3)、受光レベル判定部 143cにより撮像画像 1IT の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。所定の受光レベルの上限は、撮像画像に白とびが生じる程度に、撮像素子 130の画素の電荷蓄積量が飽和しているかどうかで判断をする。下限については、撮像画像 11^ に黒つぶれが生じる程度に、撮像素子 130の画素の電荷蓄積量が低レ、かどうかで判断する。撮像画像 1K' については、撮像画像 1IT cの部分については、適正な受光レベルと判断される。

[0139] これに対し、撮像画像 IK' aの部分については画素の電荷蓄積量が飽和状態であると判断され、また、撮像画像 IK' bの部分については画素の電荷蓄積量が不足していると判断される。すなわち、受光レベルの判定 (ステップ S4)において、撮像画像に所定の受光レベル外の画素が含まれていると判断される（ステップ S4において No)。

[0140] そして、撮像画像 1K' より前に撮影した撮像画像における撮像画像 IK' aまたは撮像画像 IK' bに対応する位置の画素であって、所定の受光レベル内の画素があるかどうかを判定する（ステップ S5)。ここでは、撮像画像 1K' は最初に撮像された撮像画像であるので、このような画素はないと判断され (ステップ S5において No)、図 6 (C)の（1)に示すように、撮像画像 1K' の画像データに基づくモニタ映像 1K" をモニタ 150に表示する（ステップ S6)。モニタ映像 1K" は、撮像画像 IK' aの部分については、白とびした白とび映像 1K〃 aとして表示される。したがって、被写体 1 Kの高輝度部分 lKaの様子は、モニタ映像 1K" によっては見ることができない。

[0141] また、撮像画像 IK' bの部分については、黒つぶれした黒つぶれ映像 IK" bとして表示される。したがって、被写体 1Kの低輝度部分 1Kbの様子は、モニタ映像 1K " によっては見ることができない。

[0142] 撮像画像 IK' cの部分については、室内部分 lKcの明るさに適したフレームレートで撮像が行われているため、適正映像 1K〃 cとして表示される。この適正映像 1K " cにより、室内部分 lKcの様子をモニタ 150により見ることができる。

[0143] モニタ 150に上記のようにモニタ映像 1K" が表示された後、モニタ映像 1K" の基になっている画像データを、図 6 (D)の（1)に示すように画像データ lMkとしてメモリ 144に記憶する (ステップ S7)。ここでは、モニタ映像 1K" は、撮像画像 1K' 、すなわち撮像画像 IK' a, lK^r bおよび IK' cの画像データに基づくものである。した力 Sつて、画像データ lMkの内容は、撮像画像 IK' aの画像データである IK' am、撮像画像 IK' bの画像データである IK' bmおよび撮像画像 IK' cの画像データである IK' cmになっている。

[0144] 次いで、図 6 (A)の（2)に示す被写体 2Kを撮影する 2フレーム目の撮影に移行する。この撮影では、先ず、フレームレートを 40フレーム/秒に設定する（ステップ 1)。このフレームレートの設定は、前回（1フレーム目）撮像された撮像画像 1K' の受光レベルの測定結果 (ステップ S3)に基づいて行い、前回の撮影のときに白とびした撮像画像 IK' aとして撮像された高輝度部分 2Kaが白とびしないように、露光時間を短く設定する。

[0145] 40フレーム/秒のフレームレートで被写体 2Kを撮影すると（ステップ S2)、撮像素子 130の撮像面には、図 6 (B)の（2)に示す撮像画像 2IT が形成される。この撮影（2フレーム目）のフレームレートは、高輝度部分 lKaの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像 2K' の撮像画像 2Ka' は、撮像画像 1K' の撮像画像 IK' aに対応する部分に当る力 S、この 2フレーム目の撮影においては、撮像素子 130の電荷蓄積量が適正な撮像画像となる。すなわち、前回（1フレーム目 )撮像された撮像画像 1K' におレ、ては白とびしてレ、た撮像画像 1K ' aは、適正な撮像画像 2K' aとして撮像される。

[0146] 一方、撮像画像 2K' の撮像画像 2K' bは、撮像画像 1K' の撮像画像 IK' bに対応する部分に当る力この 2フレーム目の撮影においても、撮像素子 130の電荷蓄積量が不足した状態となり、黒つぶれした撮像画像として撮像される。つまり、フレームレートが 40フレーム Z秒のため、撮像画像 2K' bの部分はさらに露出アンダーとなり、電荷蓄積量が不足した状態の黒つぶれの撮像画像となる。また、撮像画像 2 K^r cの部分についても露出アンダーとなり、電荷蓄積量が不足した状態の黒つぶれの撮像画像となる。

[0147] この撮像画像 2K' について、受光レベルを測定し (ステップ S3)、撮像画像 2K' の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。撮像画像 2K^r については、上述したように、撮像画像 bと撮像画像 2K' cの部分が黒つぶれの撮像画像となっている。したがって、この受光レベルの判断 (ステップ S4)において、撮像画像 bと撮像画像 2K' cの画素が所定の受光レベル外の画素として判断される（ステップ S4において No)。

[0148] そして、この撮像画像 2Κ' より前に撮像した撮像画像において、撮像画像 2K' b または撮像画像 2K' cの画素に対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ 144に記憶された画像データを参照しながら判定する（ステップ S 5)。

[0149] ここでは、撮像画像 2K' cについて、撮像画像 1K' の撮像画像 IK' cの画像データ IK' cmが、条件に合うデータとして判断される（スッテプ S5におおいて Yes)。この判断に従い、画像置換部 143eにより撮像画像 2K' の画像データのうち、撮像画像 2K' cに対応する画像データを画像データ IK' cmに置き換える（ステップ S8)

[0150] そして、図 6 (C)の（2)に示すように、撮像画像 2IT cの画像データが画像データ 1 K' cmに置き換えられた撮像画像 2IT の画像データに基づくモニタ映像 2K" をモニタ 150に表示する（ステップ S6)。すなわち、モニタ映像 2K" の撮像画像 2K' c に対応する部分については、画像データ IK' cmに基づく適正映像 IK" cが表示される。

[0151] モニタ映像 2K〃の撮像画像 aに対応する部分については、この撮像画像 2K ' aの画像データに基づく映像である適正映像 2K〃 aが表示される。さらに、モニタ映像 2K" の撮像画像 2K' bに対応する部分については、この撮像画像 bの画像データに基づく映像である黒つぶれした黒つぶれ映像 2K〃 bが表示されることになる。

[0152] このように、前回の撮影におけるモニタ映像 1K" においては、高輝度部分 lKaの映像は白とび映像 IK" aとなってしまい、この部分の被写体の様子をモニタ 150上で見ることができなかった力今回の撮影におけるモニタ映像 2K〃においては、適正映像 2Κ" aとして見ることができる。適正映像 2K" cについては、今回の撮影によるリアルタイムの映像ではないが、 1フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像 2K〃の表示内容には、大きな差はない。

[0153] そして、メモリ 144に、モニタ映像 2Κ" の基になっている撮像画像 a、撮像画像 bおよび撮像画像 IK' cの画像データが画像データ 2Mkとして記憶される（ステップ S 7)。

[0154] この画像データ 2Mkの内容は、撮像画像 2K' aの画像である画像データ am と撮像画像 2Κ' bの画像データである画像データ bm、および撮像画像 IK' c の画像データである画像データ IK' cmになっている。

[0155] なお、 2フレーム目に低輝度部分 2Kbを撮影した撮像画像 bよりも、 1フレーム目に低輝度部分 1Kbを撮影した撮像画像 IK' bの方が、小さいフレームレートで撮像されている。低輝度部分については、フレームレートを小さくして長い露光時間で撮影した方が、黒つぶれの程度を抑えることができる。したがって、撮像画像 2K' b に比べて撮像画像 ll^ bの方が黒つぶれの程度が少ない場合がある。そこで、モニタ映像 2K" のモニタ映像 2K bの替わりに、画像データ lMkの画像データ IK' b mに基づく映像を表示することにしてもよい。

[0156] すなわち、上述のステップ S5において、撮像画像 lK^ bの画素が所定の受光レベノレ内の画素でないと判断されても、撮像画像 2K' bに比べて所定レベル内により収まっている場合には、撮像画像 bの画像データを撮像画像 IK' bの画像データである IK' bmと置き換えるようにしてもよい。

[0157] 続いて、図 6 (A)の（3)に示す被写体 3Kを撮影する 3フレーム目の撮影に移行する。この撮影では、先ず、フレームレートを 10フレーム/秒に設定する（ステップ 1)。

[0158] このフレームレートの設定は、前回（2フレーム目の撮影）または前々回（1フレーム目の撮影）撮像された撮像画像 2K' または撮像画像 1K' の受光レベルの測定結果 (ステップ S3)に基づいて行い、前回または前々回の撮影のときに黒つぶれした撮像画像 2K' bまたは撮像画像 IK' bとして撮像された低輝度部分 3Kbが黒つぶれしないように設定される。そして、 10フレーム/秒のフレームレートで被写体 3Kの撮影を行うと (ステップ S2)、撮像素子 130の撮像面には、図 6 (B)の（2)に示す撮像画像 3K' が形成される。

[0159] この撮影（3フレーム目 )のフレームレートは、低輝度部分 3Kbの撮像画像が適正の露出で撮像されるように設定されている。そのため、撮像画像 3K' の撮像画像 3Kb ' は、撮像画像 ΙΚ' の撮像画像 ΙΚ' bおよび撮像画像 2Κ' の撮像画像 2K' b に対応する部分に当る力この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が適正な撮像画像となる。すなわち、 1フレーム目および 2フレーム目に撮像された撮像画像 1K' ， 2K においては黒つぶれしていた撮像画像 IK' b， 2K ' bは、適正な撮像画像 3Κ' bとして撮像される。

[0160] 一方、撮像画像 3K' の撮像画像 3K' aは、撮像画像 2K' の撮像画像 2K' aに対応する部分に当る力この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が飽和状態となり、白とびした撮像画像として撮像される。つまり、フレームレートが 10フレーム/秒のため、撮像画像 3K' aの部分は露出オーバーとなり、電荷蓄積量が飽和状態となり白とびした撮像画像となる。

[0161] また、撮像画像 3K' の撮像画像 3K' cは、撮像画像 2K' の撮像画像 2K' cに対応する部分に当る力この 3フレーム目の撮影においては、撮像素子 130の電荷蓄積量が飽和状態となり、白とびした撮像画像として撮像される。つまり、フレームレートが 10フレーム/秒のため、撮像画像 3K' cの部分は露出オーバーとなり、電荷蓄積量が飽和状態となり白とびした撮像画像となる。

[0162] この撮像画像 3K' について、輝度レベルを測定し (ステップ S3)、撮像画像 3K' の各画素が所定の受光レベル内であるかどうかを判断する（ステップ S4)。

[0163] 撮像画像 3K' については、上述したように、撮像画像 aと撮像画像 3K' cの部分が白とびした撮像画像となっている。そのため、この輝度レベルの判断 (ステップ S4)において、撮像画像 aと撮像画像 3K' cの画素が、所定の受光レベル外の画素として判断される（ステップ S4におレ、て No)。

[0164] そして、この撮像画像 3Κ' より前に撮像した撮像画像において、撮像画像 3K' a または撮像画像 3K' cの画素に対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ 144に記憶された画像データを参照しながら判定する（ステップ S5)。ここでは、撮像画像 IK' の撮像画像 IK' cの画像データ 1K' cmと撮像画像 2K' の撮像画像 2K' aの画像データ 2K' amとが条件に合うデータとして判断される（スッテプ S5におおいて Yes)。この判断に従レ、、撮像画像 3K' の画像データのうち、撮像画像 3K' aに対応する画像データを画像データ 2K' amに置き換える、また、撮像画像 3K' cに対応する画像データを画像データ IK' cmに置き換える（ステップ S8)。

[0165] そして、撮像画像 3Κ' aと撮像画像 3Κ' cの画像データがそれぞれ画像データ 2 K^r amと画像データ IK' cmに置き換えられた撮像画像 3K' の画像データに基づくモニタ映像 3K" をモニタ 150に表示する（ステップ S6)。すなわち、モニタ映像 3K の撮像画像 3K' aに対応する部分については、画像データ amに基づく適正映像 2K" aが表示される。また、モニタ映像 3K" の撮像画像 3K' cに対応する部分については、画像データ 1IT cmに基づく適正映像 1K〃 cが表示される。

[0166] モニタ映像 3Κ" の撮像画像 3Κ" bに対応する部分については、この撮像画像 3 K' bの画像データに基づく映像である適正映像 3K〃 bが表示される。今回（3フレーム目）の撮影においては、高輝度部分 3Kaの撮像映像 aと室内部分 3Kcの撮像映像 3K' cは白とびた撮像画像である力 S、モニタ 150には、適正映像 2K" aと適正映像 IK" cが表示される。すなわち、モニタ映像 3K" は、適正な映像としてモニタ 150に表示される。

[0167] モニタ映像 3K" の適正映像 2K" aについては、今回（3フレーム目）の撮影によるリアルタイムの映像ではなレ、が、 1フレーム分だけ前の極めて直前の映像である。また、モニタ映像 3K" の適正映像 IK" cについても、今回の撮影によるリアルタイムの映像ではないが、 2フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像 3K〃の表示内容には、大きな差はない。

[0168] そして、メモリ 144に、モニタ映像 3Κ" の基になっている撮像画像 a、撮像画像 3IT bおよび撮像画像 IK' cの画像データが画像データ 3Mkとして記憶される（ステップ S 7)。

[0169] この画像データ 3Mkの内容は、撮像画像 2K' aの画像である画像データ am と撮像画像 3Κ' bの画像データである画像データ bm、および撮像画像 c の画像データである画像データ IK' cmになっている。

[0170] 以降の撮影、すなわち、 4フレーム目、 5フレーム目、 6フレーム目…の撮影を行つた場合のモニタ 150におけるモニタ映像についても、上述した 1フレーム目力も 3フレーム目で行ったのと同様の画像の置換処理が行われた映像が表示される。したがつて、モニタ 150において、被写体の撮影映像を白とびや黒つぶれのない状態で見ること力 Sできる。

[0171] 上述のカメラ装置 100においては、撮像素子 130の受光レベルが所定のレベル内でるかどうかの判断を画素毎に行なう例を示した。このように画素毎に判断をする代わりに、撮像素子 130の撮像エリアを、例えば、マトリクス状に分けたエリア毎に受光レベルが所定レベル内かどうかを判断し、このエリア単位で、画像データの置換を行うようにしてもよレ、。例えば、エリア内の画素の受光レベルの平均力所定の受光レベル内かどうかを判断し、所定のレベル内にないときは、他の撮像画像の対応するエリァ位置にある所定の受光レベル内の画像データと置換をする。

[0172] エリア単位で画像の置換を行う場合には、エリア内の画素間の受光レベルの差が小さくなるように、エリアはできるだけ小さい方が好ましい。すなわち、例えば、エリアの半分に高輝度の被写体があり、残りの半分に低輝度の被写体がある場合には、フレームレートを変えて撮影を行っても、両方の被写体の撮像画像の受光レベルを同時に所定の受光レベルにすることができないことがある。したがって、撮影する被写体の内容に応じてエリアの大きさ、すなわち、エリア内の画素数やエリアの形状等を決定する。

[0173] 例えば、本実施の形態のように画角の広い撮影レンズ 121により、沢山の被写体を撮影する場合には、被写体の 1つ 1つが狭い結像範囲で撮像面に結像し、しかも、被写体毎に輝度が大きく相違する傾向が強いことがある。このような場合には、エリアの大きさを小さくすることが好ましレ、。

[0174] 逆に、撮影レンズ 121の画角を狭くすることにより、被写体の数が少なくなり、被写体の輝度差があまりないことが予想される場合には、エリアの大きさを大きくすることにより、画像処理のスピードを速くすることができる。

[0175] また、上述のカメラ装置 100においては、被写体の映像をモニタ 150を介してリアルタイムで見る例を示した力フレームレートを変えて撮影した撮像画像をメモリ 144に記憶しておき、置換する画像データを、置換される画像データを有する撮像画像の撮影時点よりも後に撮影された撮像画像のものを用いても良い。

[0176] また、上述のカメラ装置 100においては、フレームレートを 1フレーム毎に変化させて、 1フレーム毎に露光時間を変える構成とした力フレームレートは数フレーム毎等、被写体の変化や被写体の輝度の変化等に応じて適宜のタイミングで変化させるようにしてもよい。

[0177] なお、フレームレートの設定は、被写体の明るい部分と暗い部分に合わせた後は、被写体の明るさに大きな変化がない限りは、被写体の明るい部分に合わせた大きなフレームレートと、被写体の喑レ、部分に合わせた小さなフレームレートを交互に使用するようにしてもよレ、。すなわち、撮像画像の受光レベル判断（上述のステップ S4)を、フレーム毎に行なわず、最初の 2回のみ行い、その後は、このフレームレートを使用するとうにしてもよレ、。あるいは、受光レベル判断（上述のステップ S4)は、数回に 1回、または数秒に 1回等、間欠的に行なうようにしてもよい。

[0178] また、上述のカメラ装置 100においては、フレームレートを変えることにより、撮像素子 130の露光時間を変えたが、撮像素子 130の蓄積時間を電子的に可変することにより、露光時間を変えるようにしてもよい。すなわち、撮像素子 130をいわゆる電子シャッタとして動作させてもよい。このように、撮像素子 130を電子シャツタとして動作させる場合には、上述したフレームレートを変える代わりに、各フレームにおける撮像素子 130のシャツタ速度を変えることになる。

[0179] つまり、図 2におけるフレームレート設定部 143aは、シャツタ速度設定部として構成し、また、図 3におけるフレームレートの設定 (ステップ S1)は、シャツタ速度を設定する処理を行うことになる。

[0180] 具体的には、例えば、撮影の開始に先立ち、ステップ S1におけるフレームレートの設定の代わりに、シャツタ速度を標準のシャツタ速度として 1/60秒に設定する。そして、このシャツタ速度で 1フレーム目を撮影する。

[0181] この標準のシャツタ速度で撮影した撮像画像にっレ、て、受光レベルを測定し (ステップ S3)、撮像画像の各画素が所定の受光レベル内であるかどうかを判断する (ステップ S4)。そして、 2フレーム目においては、ステップ S3の受光レベルの測定結果に基づいて、 1フレーム目の撮影で、白とびしたり黒つぶれした画素が適正な露出で露光されるように、シャツタ速度が設定される。

[0182] 白とびしている高輝度部分を白とびしないようにするには、シャツタ速度を、例えば、 1/90秒にして露光時間を短くする。また、黒つぶれしている低輝度部分を黒つぶれしないようにするには、シャツタ速度を、例えば、 1Z30秒にして露光時間を長くする。以降の撮影におけるフレームにおいても、フレームレートを設定する代わりにシャッタ速度の設定が行われる点を除いて、上述した図 3から図 6を参照しながら説明したカメラ装置 100の動作と同様の動作が行われる。

[0183] なお、撮像素子 130を電子シャツタとして動作する代わりに、撮像素子 130の前 (被写体側）にいわゆる機械シャツタを配置し、この機械シャツタにより露光時間を制御するようにしてもよい。

[0184] また、上述のカメラ装置 100においては、フレームレートを変えることにより、撮像素子 130の露光時間を変えたが、露光量の総量を変えることが重要であるため、光学系 120に、可変アイリスを設け、この可変アイリスの開口量を制御することにより、単位時間あたりの露光量を所定のタイミングで変えるようにしてもよい。し力ながら、フレームレートを変えることにより、撮像素子 130の露光時間を変える方が、露光時間の変更を容易に、かつ、早いタイミングで変えることができる。

[0185] また、フレームレートの設定 (ステップ S1)に当っては、撮影開始前の被写体の明るい所、暗い所の各輝度レベルを測定し、その各輝度レベルに合った 2つまたは 3っ以上のフレームレートを予め設定しておいてもよい。そして、これらのフレームレートを適宜の順で使用して撮影を行うようにしてもよい。設定するフレームレートの数を増やし、フレームレートが異なる撮影画像の数を多くして、この中から適切な露光部分を選択して合成すことにより、モニタ映像の画質の向上を図ることができる。

[0186] 上述の実施の形態では、白とびや黒つぶれの部分が生じた部分を例として説明した力そのような白とびや黒つぶれが発生しない場合でも、フレームレートが大きい撮像画像とフレームレートが小さい撮像画像を得て、これらの撮像画像を合成するようにしてもよい。撮像画像を合成する場合には、フレームレートの大きい撮像画像の中の明るい部分と、フレームレートの小さい撮像画像の中の暗い部分とを合成する。

[0187] この場合、フレームレートが大きい撮像画像とこれに隣接するフレームレートが小さい撮像画像について、上述のステップ S5における受光レベルの判断を行なうことなく、 2つの撮像画像を合成して、モニタ 150に表示するようにしてもよい。

[0188] 明るい部分と暗い部分以外は、フレームレートの大きい撮像画像のものを採用したり、フレームレートの小さい撮像画像の中のものを採用して、白とびや黒つぶれの部分を含めて全体が明瞭となる撮像画像を生成する。明るい部分と暗い部分以外は、フレームレートの大きい撮像画像とフレームレートの小さい撮像画像の両者の輝度の中間的な値を用いるようにしてもよい。

[0189] 上述の実施の形態では、カメラ装置 100は、モニタ 150を備える例を示した力カメラ装置 100にモニタ 150を有しない構成としてもよい。この場合には、映像は、ネットワークを介して接続されるパソコン等のモニタに表示することができる。この場合、ステツプ S4からステップ S8の画像処理をパソコン等において実施することとし、ネットヮークを介してのパソコン等を含めてカメラ装置 100としてもよい。

Claims

請求の範囲

[1] 撮影レンズと、

撮影レンズを透過した被写体光が結像する撮像手段と、

上記撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、上記被写体を連続して撮影するカメラ装置にぉレ、て、

上記撮像手段の露光時間を少なくとも 2段階に所定のタイミングで変化させる露光時間変化手段と、

上記撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定手段と、

上記撮像手段の上記部分単位の受光レベルが所定の受光レベル内か否力を判断する受光レベル判定手段と、

上記受光レベル判定手段により受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の上記受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換手段と、

を備えることを特徴とするカメラ装置。

[2] 前記受光レベル不適正部分と置換される前記受光レベル適正部分を有する撮像画像が複数あるときは、前記受光レベル不適正部分を有する撮像画像を撮像した時期に一番近い撮像画像の前記受光レベル適正部分と置換することを特徴する請求項 1に記載のカメラ装置。

[3] 前記露光時間変化手段は、前記撮像手段の撮像フレーム毎に前記露光時間を変化させることを特徴とする請求項 1または請求項 2のいずれ力 4項に記載のカメラ装置

[4] 前記露光時間変化手段は、フレームレート変更手段であることを特長とする請求項

1から請求項 3のいずれ力 1項に記載のカメラ装置。

[5] 前記露光時間変化手段は、シャツタ速度変更手段であることを特長とする請求項 1 力請求項 3のいずれか 1項に記載のカメラ装置。

[6] 前記少なくとも 2段階の露光時間の 1の露光時間は、前記受光レベル不適正部分の受光レベルを所定の受光レベル内にする露光時間であることを特徴とする請求項

1から請求項 5のいずれ力 1項に記載のカメラ装置。

[7] 前記撮像レンズは、広角レンズであることを特徴とする請求項 1から請求項 6のいずれか 1項に記載するカメラ装置。

[8] 撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、

上記撮像手段の露光時間を少なくとも 2段階に所定のタイミングで変化させる露光時間変化ステップと、

上記撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定ステツプと、

上記撮像手段の上記部分単位の受光レベルが所定の受光レベル内か否力、を判断する受光レベル判定ステップと、

上記受光レベル判定ステップにより受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の上記受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換ステップと、

を備えることを特徴とする画像処理方法。

[9] 撮影レンズと、

撮影レンズを透過した被写体光が結像する撮像手段と、

上記撮像手段の露光時間を少なくとも 2段階に変化させて撮影した露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することを特徴とするカメラ装置

[10] 撮影レンズにより撮像手段に結像した被写体の撮像画像にっレ、て画像処理を行う画像処理方法において、上記撮像手段の露光時間を少なくとも 2段階に変化させて露光時間が異なる複数の撮像画像を撮影し、これらの露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することを特徴とする画像処理方法。