JP4844780B2 - 撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体 - Google Patents
撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体 Download PDFInfo
- Publication number
- JP4844780B2 JP4844780B2 JP2001105852A JP2001105852A JP4844780B2 JP 4844780 B2 JP4844780 B2 JP 4844780B2 JP 2001105852 A JP2001105852 A JP 2001105852A JP 2001105852 A JP2001105852 A JP 2001105852A JP 4844780 B2 JP4844780 B2 JP 4844780B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- pixel
- unit
- exposure time
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 110
- 238000000034 method Methods 0.000 title claims description 52
- 238000011156 evaluation Methods 0.000 claims description 97
- 230000033001 locomotion Effects 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 19
- 239000004973 liquid crystal related substance Substances 0.000 claims description 18
- 230000015654 memory Effects 0.000 description 118
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 37
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 208000003443 Unconsciousness Diseases 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Cameras In General (AREA)
- Exposure Control For Cameras (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体に関し、特に、例えば、ディジタルビデオカメラ等において、コントラストの強い被写体の画像を、その詳細を失わずに得ることができるようにする撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタルビデオカメラでは、被写体からの光が、レンズによって、ＣＣＤ(Charge Coupled Device)等の光電変換素子の受光面上に集光され、そこで光電変換されることにより電気信号である画像データとされる。
【０００３】
ディジタルビデオカメラにおいて、レンズからの光は、露出を制御するシャッタを介して、ＣＣＤに入射される。従って、シャッタスピード、即ち、露出時間が長いと、ＣＣＤにチャージされる電荷が多くなり、その結果、いわゆる露出オーバーとなる。そして、露出オーバーのときに得られる画像は、いわば白つぶれしたものとなる。一方、露出時間が短いと、ＣＣＤにチャージされる電荷は少なくなり、その結果、いわゆる露出アンダーとなって、得られる画像は、いわば黒つぶれしたものとなる。
【０００４】
このような白つぶれや黒つぶれを防止するには、画像の最も明るい部分から最も暗い部分までが、適度な明度をもつように、露出時間を設定する必要がある。
【０００５】
【発明が解決しようとする課題】
ところで、従来のディジタルビデオカメラにおいては、ＣＣＤの受光面全体に対して、同一の露出時間で撮影が行われる。
【０００６】
従って、コントラストの強い被写体を撮影（撮像）する場合には、明るい部分が白つぶれしたものとなったり、暗い部分が黒つぶれしたものとなり、得られた画像において、被写体のディテール(detail)（詳細）が失われる課題があった。
【０００７】
なお、例えば、特願平６−２８７９６号においては、液晶シャッタ付きカメラが開示されているが、このカメラは、ＣＣＤの画素単位で露出を制御することができるものではなく、ＣＣＤの受光面全体に対して、同一の露出時間を設定できるにすぎないものであった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、コントラストの強い被写体についても、そのディテールを損なわずに撮影することができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の撮像制御装置は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を評価する評価手段と、評価手段による評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御手段とを備え、評価手段は、撮像手段が出力する画素値を記憶する第１記憶手段と、撮像手段が出力する画素値のうちの注目しているものである注目画素値と、第１記憶手段に記憶された画素値のうちの注目画素値に対応する画素値とを比較することにより、注目画素値に対応する画素である注目画素の動きを判定する動き判定手段と、注目画素値が所定の範囲の値であるかどうかを判定する画素値判定手段とを有し、制御手段は、注目画素値が所定の範囲内の値でないときに、注目画素値が所定の範囲内の値になるように、受光面の、注目画素に対する露出時間を制御するとともに、注目画素値の動きの判定結果に基づいて、受光面の、注目画素に対する露出時間を制御することを特徴とする。
【００１０】
本発明の第１の撮像制御方法、プログラムおよびプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御ステップとを備え、評価ステップの処理は、撮像手段が出力する画素値を記憶手段に記憶する記憶ステップと、撮像手段が出力する画素値のうちの注目しているものである注目画素値と、記憶手段に記憶された画素値のうちの注目画素値に対応する画素値とを比較することにより、注目画素値に対応する画素である注目画素の動きを判定する動き判定ステップと、注目画素値が所定の範囲の値であるかどうかを判定する画素値判定ステップとを有し、制御ステップの処理では、注目画素値が所定の範囲内の値でないときに、注目画素値が所定の範囲内の値になるように、受光面の、注目画素に対する露出時間が制御されるとともに、注目画素値の動きの判定結果に基づいて、受光面の、注目画素に対する露出時間が制御されることを特徴とする。
【００１１】
本発明の第１のプログラムは、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御ステップとを備えることを特徴とする。
【００１２】
本発明の第１のプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御ステップとを備えるプログラムが記録されていることを特徴とする。
【００１６】
本発明の第２の撮像制御装置は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御する制御手段と、撮像手段において、制御手段の制御に基づき、被写体を、複数の露出時間で撮像することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択手段と、撮像手段が出力する各画素位置の画素値を、その画素値に対応する露出時間に基づいて補正する補正手段とを備えることを特徴とする。
【００１７】
本発明の第２の撮像制御方法、プログラムおよびプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御する制御ステップと、撮像手段において、制御ステップにおける制御に基づき、被写体を、複数の露出時間で撮像することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップと、撮像手段が出力する各画素位置の画素値を、その画素値に対応する露出時間に基づいて補正する補正ステップとを備えることを特徴とする。
【００１８】
本発明の第２のプログラムは、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップとを備えることを特徴とする。
【００１９】
本発明の第２のプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップとを備えるプログラムが記録されていることを特徴とする。
【００２０】
本発明の第１の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体においては、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値が評価され、その評価結果に基づいて、受光面に対する露出時間が、画素単位で制御される。画素値の評価においては、撮像手段が出力する画素値が記憶され、撮像手段が出力する画素値のうちの注目しているものである注目画素値と、記憶された画素値のうちの注目画素値に対応する画素値とを比較することにより、注目画素値に対応する画素である注目画素の動きが判定され、注目画素値が所定の範囲の値であるかどうかが判定される。そして注目画素値が所定の範囲内の値でないときに、注目画素値が所定の範囲内の値になるように、受光面の、注目画素に対する露出時間を制御されるとともに、注目画素値の動きの判定結果に基づいて、受光面の、注目画素に対する露出時間が制御される。
【００２３】
本発明の第２の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体においては、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間が制御され、その制御に基づき、被写体を、複数の露出時間で撮像することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値から、１つの画素値が選択され、撮像手段が出力する各画素位置の画素値が、その画素値に対応する露出時間に基づいて補正される。
【００２４】
本発明の第２のプログラムおよびプログラム記録媒体においては、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値が評価され、その評価結果に基づいて、複数の露出時間それぞれに対応する画素値から、１つの画素値が選択される。
【００２５】
【発明の実施の形態】
図１は、本発明を適用したディジタルビデオカメラシステムの一実施の形態の構成例を示している。
【００２６】
ディジタルビデオカメラ１０１は、所定の被写体を撮像し、画像データを含む画像情報を出力する。この画像情報は、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体１０３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線、バスなどでなる伝送媒体１０４を介して伝送され、表示装置１０２に提供される。
【００２７】
表示装置１０２は、記録媒体１０３または伝送媒体１０４を介して提供される画像情報を受信し、その画像情報に基づいて、対応する画像を表示する。
【００２８】
なお、ディジタルビデオカメラ１０１、表示装置１０２、および記録媒体１０３または伝送媒体１０４は、１つの装置として構成することが可能である。
【００２９】
図２は、図１のディジタルビデオカメラ１０１の第１実施の形態の構成例を示している。
【００３０】
レンズ１には、被写体からの光が入射し、レンズ１は、その光をシャッタ２を介して、ＣＣＤ３の受光面上に集光する。
【００３１】
シャッタ２は、コントローラ５により制御され、レンズ１からの光を、例えば、ＣＣＤ３の受光面を構成する画素単位で反射することにより、ＣＣＤ３の各画素に対する露出を制御する。
【００３２】
即ち、図２では、シャッタ２は、例えば、半導体基板上に多数の超小型反射ミラーが形成されたＤＭＤ(Digital Micromirror Device)で構成されており、各ミラーが、コントローラ５からの制御にしたがって回動することにより、そこに入射する光の反射方向を、そのミラー単位で変えることができるようになっている。
【００３３】
ここでは、ＤＭＤを構成する各ミラーが、ＣＣＤ３を構成する各画素に対応している。従って、各ミラーを回動することにより、各ミラーからＣＣＤ３の各画素への光の反射方向を変えることで、対応する画素への光の入射をオン／オフさせることができるようになっている。
【００３４】
なお、ＤＭＤについては、例えば、特願平７−７３９５２号（優先権主張番号ＵＳ２２１７３９、優先日１９９４年３月３１日）に開示されている。
【００３５】
ＣＣＤ３は、その受光面を構成する各画素において、シャッタ２からの光を受光し、これにより、その光量に対応する電荷をチャージする。そして、ＣＣＤ３は、各画素においてチャージした電荷（積分効果により積分された電荷）を、いわゆるバケツリレー(bucket brigade)することで、対応する電圧レベルの電気信号を、Ａ／Ｄ(Analog/Digital)変換器４に出力する。
【００３６】
なお、ここでは、シャッタ２からの光を受光して光電変換する光電変換素子として、ＣＣＤを用いているが、その他、ＢＢＤ(Bucket Brigede Device)等を用いることが可能である。
【００３７】
Ａ／Ｄ変換器４は、ＣＣＤ３からの電気信号を、画素に対応するタイミングでサンプリングし、さらに量子化することで、ディジタル画像データを構成する各画素の画素値を、コントローラ５に供給する。なお、ここでは、Ａ／Ｄ変換器４は、例えば、８ビットの画素値を出力するものとする。
【００３８】
コントローラ５は、ＣＣＤ３からＡ／Ｄ変換器４を介して供給される各画素の画素値を評価する。さらに、コントローラ５は、その評価結果に基づき、シャッタ２による露光時間を、各画素単位で設定し、シャッタ２を制御する。
【００３９】
また、コントローラ５は、ＣＣＤ３からＡ／Ｄ変換器４を介して供給される各画素の画素値を、その画素値を得るときに設定された露出時間に基づき、必要に応じて補正し、その補正後の画素値でなる、例えば、１フレーム（または１フィールド）単位の画像データを、画像情報として出力する。あるいは、また、コントローラ１０５は、画素値と、その画素値を得るときに設定された露出時間とを、画像情報として出力する。コントローラ５が出力する画像情報は、Ｉ／Ｆ(Interface)７で受信される。
【００４０】
メモリ６は、コントローラ５の処理上必要なデータを一時記憶する。
【００４１】
Ｉ／Ｆ７は、コントローラ１０５からの画像情報を、例えば、ユーザからの指示等に応じて、記録部８または通信部９に供給する。記録部８は、Ｉ／Ｆ７からの画像情報を、記録媒体１０３に記録する。通信部９は、Ｉ／Ｆ７からの画像情報を、伝送媒体１０４を介して送信する。
【００４２】
次に、図３は、図１のディジタルビデオカメラ１０１の第２実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００４３】
即ち、図３のディジタルビデオカメラ１０１は、基本的には、図２のディジタルビデオカメラ１０１と同様に構成されている。但し、図３においては、シャッタ２が、液晶パネル（液晶シャッタ）で構成されている。
【００４４】
液晶パネルで構成されるシャッタ２は、コントローラ５により制御され、レンズ１からの光を、例えば、ＣＣＤ３の受光面を構成する画素単位で透過させることにより、ＣＣＤ３の各画素に対する露出を制御する。
【００４５】
即ち、図３では、シャッタ２としての液晶パネルを構成する液晶分子の方向が、コントローラ５の制御にしたがって、画素に相当する単位で変化することにより、その単位における光の透過が制限され、これにより、ＣＣＤ３の、対応する画素への光の入射をオン／オフさせることができるようになっている。
【００４６】
なお、ここでは、シャッタ２として、透過型の液晶パネルを用いることとしたが、その他、反射型の液晶パネルを用いることも可能である。
【００４７】
次に、図４は、図２および図３のコントローラ５の構成例を示している。
【００４８】
コントローラ５は、画像評価部１１およびシャッタ制御部１２で構成されている。
【００４９】
ＣＣＤ３からＡ／Ｄ変換器４を介してコントローラ５に供給される画素値は、画像評価部１１で受信される。画像評価部１１は、そこに供給される画素値に必要な処理を施し、１フレームの画像データを構成して出力する。さらに、画像評価部１１は、そこに供給される画素値を評価して、その評価結果に基づいて、シャッタ２による露出時間を、画素単位で設定する。
【００５０】
シャッタ制御部１２は、画像評価部１１において設定された、画素ごとの露出時間にしたがって、シャッタ２を制御する。
【００５１】
次に、図５は、図４の画像評価部１１の構成例を示している。
【００５２】
ＣＣＤ３からＡ／Ｄ変換器４を介してコントローラ５に供給される画素値は、バッファ２１で受信され、バッファ２１は、その画素値を一時記憶する。
【００５３】
画素値補正部２２は、バッファ２１に記憶された画素値を読み出すとともに、その画素値を得たときの画素に対する露出時間を、メモリ２５から読み出し、それらを対応付けて、メモリ６に供給して記憶させる。さらに画素値補正部２２は、メモリ６に、例えば、１フレーム分の画素値と露出時間との組が記憶されると、その画素値と露出時間との組を読み出し、画素値を、露出時間に基づいて補正し、その補正後の画素値で構成される１フレームの画像データを出力する。
【００５４】
評価部２３は、バッファ２１に記憶された画素値を評価し、その評価結果を、露出時間決定部２４に供給する。露出時間決定部２４は、評価部２３からの評価結果に基づき、バッファ２１に記憶された画素値の画素に対する露出時間を設定する。
【００５５】
即ち、評価部２３は、バッファ２１に記憶された画素値を評価することで、画素値が、所定の上限値以上または下限値以下であるかどうかや、被写体の動き量等の評価結果を得て、その評価結果を、露出時間決定部２４に供給する。露出時間決定部２４は、例えば、画素値が、所定の上限値以上の値であり、白つぶれの状態になっているときは、対応する画素についての露出時間を短く設定する。また、露出時間決定部２４は、例えば、画素値が、所定の下限値以下の値であり、黒つぶれの状態になっているときは、対応する画素についての露出時間を長く設定する。さらに、露出時間決定部２４は、例えば、被写体の動き量が大であり、動きぶれ（動きぼけ）が生じているときには、対応する画素についての露出時間を短く設定する。また、露出時間決定部２４は、例えば、被写体の動き量が小であり（なく）、動きぶれ（ぼけ）がないときは、対応する画素についての露出時間を、現状の値のままとする。
【００５６】
そして、露出時間決定部２４は、画素について設定した露出時間を、メモリ２５に供給する。
【００５７】
ここで、本実施の形態では、説明を簡単にするために、被写体自体の動きは、ほとんどないものとする。従って、ここでいう動きぶれ（動きぼけ）は、主として、撮影を行うユーザの、いわゆる手ぶれに起因するものであるとする。但し、本発明は、大きな動きのある被写体を撮影するときにも適用可能である。
【００５８】
メモリ２５は、露出時間決定部２４からの、各画素についての露出時間を、対応する位置のアドレスに記憶（上書き）する。メモリ２５に記憶された各画素についての露出時間は、シャッタ制御部１２に供給されるようになっており、シャッタ制御部１２は、この各画素ごとの露出時間にしたがって、シャッタ２を制御する。これにより、シャッタ２を介しての、ＣＣＤ３への光の入射時間が、画素ごとに制御される。
【００５９】
ここで、露出時間と、シャッタスピードとは同義語である。但し、露出時間が長いということは、シャッタスピードが遅いことに相当し、露出時間が短いということは、シャッタスピードが速いことに相当する。以下においては、露出時間を用いて説明を行うが、シャッタスピードを用いて説明することも勿論可能である。
【００６０】
次に、図６は、図５の評価部２３の構成例を示している。
【００６１】
読み出し部５１は、バッファ２１（図５）に記憶された画素の画素値を読み出し、バッファ５２に供給して記憶させる。さらに、読み出し部５１は、バッファ２１から画素値を読み出した画素を、順次、注目画素とし、その注目画素の画素値（注目画素値）を、動き判定部５３および画素値判定部５４に供給する。
【００６２】
バッファ５２は、例えば、複数フレーム分の画素値を記憶することのできる記憶容量を有しており、読み出し部５１から供給される画素値を順次記憶する。なお、バッファ５２は、その記憶容量分だけ画素値を記憶した後は、新たな画素値を、例えば、最も古い画素値に上書きする形で記憶するようになっている。
【００６３】
動き判定部５３は、読み出し部５１からの注目画素の画素値を受信し、例えば、その注目画素のフレーム（以下、適宜、注目フレームという）における、注目画素を中心とする３×３画素に対応する、注目フレームの１フレーム前のフレーム（以下、適宜、前フレームという）における３×３画素を、バッファ５２から読み出す。さらに、動き判定部５３は、注目フレームの３×３画素それぞれの画素値と、前フレームにおける、対応する３×３画素それぞれの画素値との差分絶対値を計算し、さらに、その総和（以下、適宜、差分絶対値和という）を演算する。そして、動き判定部５３は、その差分絶対値和に基づいて、注目画素の動きの大小を判定し、その判定結果を、注目画素の評価結果として、露出時間決定部２４（図５）に供給する。
【００６４】
即ち、動き判定部５３は、差分絶対値が大の時は、動きが大きい旨を、また、差分絶対値が小の時は、動きが小さい旨を、それぞれ評価結果として、露出時間決定部２４に供給する。
【００６５】
なお、動き判定部５３では、その他、例えば、上述の注目フレームの３×３画素を用いて、前フレームとのブロックマッチングを行い、その結果得られる動きベクトルに基づいて、注目画素の動きの大小を判定することも可能である。
【００６６】
画素値判定部５４は、注目画素の画素値が、所定の下限値と上限値とで規定される所定の範囲内の値であるかどうかを判定し、その判定結果を、注目画素の評価結果として、露出時間決定部２４に供給する。
【００６７】
即ち、Ａ／Ｄ変換器４（図２乃至図４）が出力する画素値が、例えば、０乃至２５５の範囲に対応する８ビットで表される場合には、画素値判定部５４は、例えば、黒つぶれとなる値（例えば、１０以下など）を下限値とするとともに、白つぶれとなる値（例えば、２５０など）を上限値とし、注目画素の画素値が、その下限値から上限値の範囲内にあるかどうかを判定する。そして、画素値判定部５４は、注目画素の画素値が、上限値以上の値（もしくは上限値より大きい値）である場合、下限値以下の値（もしくは下限値未満の値）である場合、または下限値より大きく上限値より小さい場合は、それぞれ、その旨を、注目画素の評価結果として、露出時間決定部２４に供給する。
【００６８】
図５の露出時間決定部２４は、以上のような注目画素の評価結果を、動き判定部５３と画素値判定部５４から受信し、その評価結果に基づいて、上述したように、露出時間を設定する。
【００６９】
次に、図７のフローチャートを参照して、図４（図２および図３）のディジタルビデオカメラの動作について説明する。
【００７０】
まず最初に、ステップＳ１において、コントローラ５（図５）の露出時間決定部２４は、各画素に対して、デフォルトの露出時間を設定し、メモリ２５に送信して、対応するアドレスに記憶させる。
【００７１】
なお、ここでは、例えば、デフォルトの露出時間として、すべての画素に対して、同一の露出時間が設定されるものとする。但し、デフォルトの露出時間としては、例えば、前回の撮影の終了時における各画素の露出時間を設定すること等も可能である。また、デフォルトの露出時間は、例えば、ユーザに設定してもらうようにすることも可能である。
【００７２】
ここで、図８（Ａ）は、メモリ２５の記憶内容を示している。上述したように、メモリ２５では、各画素の画素位置に対応したアドレスに、その画素に対する露出時間が記憶される。
【００７３】
シャッタ制御部１２は、メモリ２５に記憶された画素ごとの露出時間にしたがって、シャッタ２を制御し、これにより、シャッタ２を介しての、ＣＣＤ３への光の入射時間が、画素ごとに制御されながら、ＣＣＤ３の各画素に電荷がチャージされる。
【００７４】
そして、１フレームを構成する画素値の読み出し開始タイミングとなると、ステップＳ２において、ＣＣＤ３からその読み出しが開始される。ＣＣＤ３から読み出された画素値は、Ａ／Ｄ変換器４を介して、コントローラ５（図５）のバッファ２１に供給されて記憶される。
【００７５】
バッファ２１に記憶された画素値は、ステップＳ３において、画素値補正部２２によって読み出される。さらに、ステップＳ３では、画素値補正部２２は、バッファ２１から読み出された画素値の画素を、順次、注目画素として、注目画素に対応する、メモリ２５のアドレスに記憶された露出時間、即ち、注目画素の画素値を得るのに用いた露出時間を読み出し、注目画素の画素値と対応付けて、メモリ６に供給して記憶させる。即ち、これにより、メモリ２５において、例えば、図８（Ａ）に示すような露出時間が記憶されている場合、メモリ６には、図８（Ｂ）に示すように、図８（Ａ）の露出時間と、その露出時間によって得られた画素値とが対応付けられて記憶される。
【００７６】
そして、ステップＳ４に進み、評価部２３（図６）は、その動き判定部５３および画素値判定部５４において、バッファ２１に記憶された注目画素の画素値を、上述したように評価し、その評価結果を、露出時間決定部２４に供給する。露出時間決定部２４は、ステップＳ５において、評価部２３からの評価結果に基づき、注目画素の露出時間を、上述したような適正な値に設定し直す。さらに、露出時間決定部２４は、その設定し直した露出時間を、メモリ２５に供給し、注目画素に対応するアドレスに記憶させる（上書きする）。
【００７７】
即ち、例えば、図８（Ｂ）において、画素値「２５０」は、上述した上限値「２５０」以上の値であり、従って、白つぶれの状態になっていると考えられるため、露出時間決定部２４は、画素値「２５０」の画素の露出時間（メモリ２５のアドレスｎ＋１の露出時間）「１／１００秒」を、より短い「１／１２０秒」に設定し直し、図８（Ｃ）に示すように、メモリ２５に記憶させる。
【００７８】
その後、ステップＳ６に進み、バッファ２１からの、１フレームを構成するすべての画素値の読み出しが終了したかどうかが、例えば、図示せぬ制御部等により判定され、まだ、終了していないと判定された場合、ステップＳ７に進み、次の画素の画素値が、バッファ２１から取得され、ステップＳ３に戻る。そして、その画素値の画素を、新たに注目画素として、ステップＳ３以降の処理が繰り返される。
【００７９】
一方、ステップＳ６において、１フレームを構成するすべての画素値の読み出しが終了したと判定された場合、即ち、メモリ６に、１フレームを構成するすべての画素の画素値と、それらに対応付けられた露出時間が記憶された場合、ステップＳ８に進み、画素値補正部２２（図５）は、メモリ６から各画素値を読み出し、各画素値を、その画素値に対応付けられた露出時間に基づいて補正し、その補正後の画素値で構成される１フレームの画像データを出力する。
【００８０】
即ち、ここでは、１フレームを構成する各画素値は、同一の露出時間で得られたものでないから、そのような画素値をそのまま用いて、１フレームの画像を構成すると、明るさが疎らな画像となる。そこで、画素値補正部２２は、露出時間に基づいて、各画素値を補正し、これにより、明るさの統一感がある、すべての画素が同一の露出時間で撮影されたような画像を構成するようになっている。
【００８１】
具体的には、例えば、いま、説明を簡単にするために、露出時間と画素値とが比例関係にあるものとすると、画素値補正部２２は、例えば、メモリ６に記憶された露出時間のうち、最も短い露出時間（以下、最短露出時間という）１／ＳBASE［秒］を基準として、各露出時間１／Ｓ［秒］が対応付けられている画素値を、Ｓ／ＳBASE倍に補正する。
【００８２】
従って、いま、画素値ｐと露出時間１／Ｓ［秒］との組み合わせを、（ｐ，１／Ｓ）と表すこととすると、メモリ６に記憶された画素値と露出時間の組が、例えば、（２５５，１／１０），（２００，１／５），（１５０，１／２０），（１００，１／１００）である場合には、最短露出時間１／ＳBASEが、１／１００秒であるから、露出時間が１／１０秒の画素値「２５５」は「２５．５」（＝２５５×１０／１００）に、露出時間が１／５秒の画素値「２００」は「１０」（＝２００×５／１００）に、露出時間が１／２０秒の画素値「１５０」は「３０」（＝１５０×２０／１００）に、露出時間が１／１００秒の画素値「１００」は「１００」（＝１００×１００／１００）に、それぞれ補正される。但し、基準となる最短露出時間「１／１００秒」の画素値「１００」については、補正前後で、値は変わらないから、必ずしも補正を行う必要はない。
【００８３】
なお、上述の場合においては、最短露出時間１／ＳBASEを基準として、各露出時間１／Ｓが対応付けられている画素値を、Ｓ／ＳBASE倍に補正するようにしたが、その他、例えば、メモリ６に記憶された露出時間のうち、最も長い露出時間（以下、最長露出時間という）１／ＳBASE’［秒］を基準として、各露出時間１／Ｓ［秒］が対応付けられている画素値を、Ｓ／ＳBASE’倍に補正することも可能である。
【００８４】
この場合、上述の画素値と露出時間のセット（２５５，１／１０），（２００，１／５），（１５０，１／２０），（１００，１／１００）については、最長露出時間１／ＳBASE’が、１／５秒であるから、露出時間が１／１０秒の画素値「２５５」は「５１０」（＝２５５×１０／５）に、露出時間が１／５秒の画素値「２００」は「２００」（＝２００×５／５）に、露出時間が１／２０秒の画素値「１５０」は「６００」（＝１５０×２０／５）に、露出時間が１／１００秒の画素値「１００」は「２０００」（＝１００×１００／５）に、それぞれ補正される。
【００８５】
なお、画素値補正部２２では、その他、最短露出時間および最長露出時間以外の露出時間を基準として、画素値の補正を行うことが可能である。
【００８６】
以上から、Ａ／Ｄ変換器４が出力する画素値が、Ｍビットであるとすると、画素値補正部２２が出力する補正後の画像を構成する画素値は、Ｍビットを越えるビット数となる場合がある。即ち、ここでは、Ａ／Ｄ変換器４が出力する画素値を８ビットとしているが、画素値補正部２２が出力する補正後の画像を構成する画素値は、８ビットを越えるビット数となる。
【００８７】
その結果、画素値補正部２２からは、被写体がコントラストの強いものであっても、そのコントラストが十分に表現された画像、即ち、ダイナミックレンジが、Ａ／Ｄ変換器４の出力ビット数よりも大にされた画像が出力されることになる。
【００８８】
なお、ここでは、最短露出時間を基準とするようにしたが、基準とする露出時間は、任意の値とすることができる。即ち、基準とする露出時間は、メモリ６に記憶された最短露出時間以外の露出時間であっても良いし、メモリ６に記憶されていない露出時間であっても良い。
【００８９】
従って、画素値の補正は、例えば、１／１秒を基準として行うことでき、この場合は、画素値ｐに対して、対応付けられている露出時間１／Ｓの逆数Ｓを乗算して得られる画素値が、補正後の画素値ということになる。
【００９０】
なお、画像のダイナミックレンジは、いずれの露出時間を基準値として補正を行っても、同様に大きくなる。
【００９１】
ステップＳ８において、以上のように、補正された画素値でなる画像データが出力されると、ステップＳ９に進み、ステップＳ４乃至Ｓ７の処理が繰り返されることにより、メモリ２５に記憶された各画素ごとの露出時間が、シャッタ制御部１２に送信され、ステップＳ２に戻り、以下、次のフレームについて、同様の処理が繰り返される。従って、次のフレームについては、メモリ２５に記憶された各画素ごとの露出時間で画像の撮影が行われる。
【００９２】
以上のように、ＣＣＤ３が出力する画素値を評価し、その評価結果に基づき、シャッタ２による、ＣＣＤ３の受光面に対する露出時間を、画素単位で設定して、被写体の撮像を行うようにしたので、コントラストの強い被写体であっても、そのディテールを損なわない画像を得ることができる。
【００９３】
また、一般に、ＣＣＤのダイナミックレンジは、それほど広くはないが、上述のように、画素ごとに露出時間を制御することで、ＣＣＤ３（あるいはＡ／Ｄ変換器４）のダイナミックレンジを広げた場合と同様の効果を得ることができる。
【００９４】
なお、上述の場合においては、メモリ６に記憶された各画素値を、その画素値に対応付けられた露出時間に基づいて補正して出力するようにしたが、メモリ６に記憶された各画素値は、そのまま、その画素値に対応付けられた露出時間とともに出力し、記録媒体１０２に記録、または伝送媒体１０４を介して伝送することが可能である。
【００９５】
次に、図９は、図１の表示装置１０２の構成例を示している。
【００９６】
読み出し部６１は、記録媒体１０３から、そこに記録された画像情報（補正された画素値、または画素値と露出時間）を読み出し（再生し）、Ｉ／Ｆ６３に供給する。通信部６２は、伝送路１０４を介して送信されてくる画像情報を受信し、Ｉ／Ｆ６３に供給する。Ｉ／Ｆ６３は、読み出し部６１または通信部６２から供給される画像情報を受信し、表示制御部６４に供給する。
【００９７】
表示制御部６４は、バッファ６５、画素値正規化部６６、ドライバ６７で構成される。
【００９８】
バッファ６５は、Ｉ／Ｆ６５から供給される画像情報を受信し、例えば、１フレーム単位で一時記憶する。
【００９９】
画素値正規化部６６は、バッファ６５に記憶された画像情報を読み出し、その画像情報を、表示部６８の表示精度に基づいて正規化する。
【０１００】
即ち、画素値正規化部６６は、ドライバ６７を介して、表示部６８の表示精度、即ち、表示部６８が、何ビットの画素値を表示可能であるかを認識する。なお、ここでは、表示部６８の表示精度が、Ｋビットであるとする。
【０１０１】
さらに、画素値正規化部６６は、バッファ６５に記憶された１フレーム分の画像情報が、補正後の画素値（以下、適宜、補正画素値という）である場合には、そのうちの最大値を検出する。いま、この最大の画素値がＫ’（＞Ｋ）ビットで表される場合には、画素値正規化部６６は、バッファ６５に記憶された各補正画素値の下位Ｋ’−Ｋビットを切り捨て、Ｋビットに正規化する。
【０１０２】
また、画素値正規化部６６は、バッファ６５に記憶された画像情報が、画素値ｐと露出時間１／Ｓである場合には、図５の画素値補正部２２における場合と同様に、例えば、画素値ｐに、露出時間１／Ｓの逆数Ｓを乗算することにより、画素値ｐを補正し、補正画素値ｐ×Ｓを求める。そして、画素値正規化部６６は、上述した場合と同様に、各補正画素値の下位Ｋ’−Ｋビットを切り捨て、Ｋビットに正規化する。
【０１０３】
画素値正規化部６６は、以上のようにして画素値を正規化し、その正規化後の画素値（以下、適宜、正規化画素値という）を、ドライバ６７に供給する。
【０１０４】
ドライバ６７は、表示部６８と通信することにより、その表示精度を認識する。あるいは、また、ドライバ６７は、表示部６８の表示精度をあらかじめ認識している。そして、ドライバ６７は、画素値正規化部６６の要求に応じて、表示部６８の表示精度を、画素値正規化部６６に供給する。さらに、ドライバ６７は、画素値正規化部６６から供給される正規化画素値に応じて、表示部６８を駆動することにより、表示部６８に、画像を表示させる。
【０１０５】
表示部６８は、例えば、ＣＲＴや液晶ディスプレイ等で構成され、ドライバ６７からの制御にしたがって、画像を表示する。
【０１０６】
次に、図１０のフローチャートを参照して、図９の表示装置１０２の動作について説明する。
【０１０７】
Ｉ／Ｆ６３は、読み出し部６１または通信部６２から供給される画像情報を受信し、表示制御部６４のバッファ６５に、１フレームずつ、順次供給して記憶させる。
【０１０８】
そして、ステップＳ１１では、画素値正規化部６６が、ドライバ６７を介して、表示部６８の表示精度を認識する。なお、表示精度は、上述したように、表示部６８が、何ビットの画素値を表示可能であるかを表すから、表示部６８が表示可能な画素値の最大値と最小値の差であるダイナミックレンジということもできるし、表示部６８が識別可能な画素値どうしの差の最小値である分解能ということもできる。
【０１０９】
その後、ステップＳ１２に進み、画素値正規化部６６は、バッファ６５に、画像情報が記憶されているかどうかを判定する。
【０１１０】
ステップＳ１２において、バッファ６５に、画像情報が記憶されていると判定された場合、ステップＳ１３に進み、画素値補正部６６は、バッファ６５から１フレームの画像情報を読み出し、ステップＳ１４に進む。
【０１１１】
ステップＳ１４では、画素値補正部６６は、バッファ６５から読み出した画像情報が、補正画素値である場合には、その補正画素値を、上述したように正規化することにより、正規化画素値とし、ドライバ６７に供給して、ステップＳ１２に戻る。また、画素値補正部６６は、バッファ６５から読み出した画像情報が、画素値と露出時間である場合には、画素値を露出時間で補正することにより、補正画素値とする。さらに、画素値補正部６６は、その補正画素値を、上述したように正規化することにより、正規化画素値とし、ドライバ６７に供給して、ステップＳ１２に戻る。これにより、ドライバ６７では、画素値正規化部６６からの正規化画素値にしたがって、表示部６８が駆動され、対応する画像、即ち、表示部６８のダイナミックレンジ（分解能）を有効に利用した画像が表示される。
【０１１２】
なお、ここでは、表示部６８の表示精度としての、表示部６８が表示可能なビット数Ｋが、補正後画素値のビット数Ｋ’よりも小さいものとしたが、表示部６８の表示精度であるビット数Ｋが、補正後画素値のビット数Ｋ’以上である場合には、画素値正規化部６６では、上述したような正規化を行う必要はなく、従って、画素値正規化部６６は、補正画素値を、そのままドライバ６７に供給する。
【０１１３】
一方、ステップＳ１２において、バッファ６５に、画像情報が記憶されていないと判定された場合、処理を終了する。
【０１１４】
次に、図１１は、図１のディジタルビデオカメラ１０１の第３実施の形態の構成例を示している。なお、図中、図２または図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１のディジタルビデオカメラ１０１は、メモリコントローラ３１およびメモリ３２1，３２2，・・・，３２Nが新たに設けられるとともに、コントローラ５に替えて、コントローラ３３が設けられている他は、図２または図３における場合と基本的に同様に構成されている。
【０１１５】
なお、図１１の実施の形態において、シャッタ２は、図２における場合と同様に、ＤＭＤで構成しているが、図３における場合のように、液晶シャッタで構成することも可能である。但し、図１１では、シャッタ２は、ＣＣＤ３への光の入射を、ＣＣＤ３を構成する画素すべてについて同一にオン／オフさせることができるものであれば良く、従って、ＣＣＤ３への光の入射を画素単位で制御するＤＭＤや液晶シャッタ等で構成する必要はない。
【０１１６】
メモリコントローラ３１は、コントローラ３３からの制御にしたがって、ＣＣＤ３からＡ／Ｄ変換器４を介して供給される画素値を、フレームメモリ３２1乃至３２Nのうちのいずれかに供給して記憶させる。
【０１１７】
メモリ３２1乃至３２Nは、メモリコントローラ３１から供給される画素値を記憶するようになっている。
【０１１８】
コントローラ３３は、シャッタ２における露出時間を複数設定し、その複数の露出時間それぞれで、被写体からの光が、ＣＣＤ３に入射するように、シャッタ２を制御する。従って、この場合、ＣＣＤ３においては、コントローラ３３において設定される複数の露出時間それぞれに対して、１フレームを構成する画素値が出力される。即ち、ＣＣＤ３には、フレーム周期内で、コントローラ３３が設定した複数の露出時間それぞれによる光が入射し、これにより、ＣＣＤ３では、各フレームについて、複数の露出時間それぞれに対応する複数の画像の画素値が出力される。
【０１１９】
さらに、コントローラ３３は、上述のようにして、複数の露出時間それぞれに対応する複数の画像を構成する画素が、各露出時間ごとに同一のメモリ３２n（ｎ＝１，２，・・・，Ｎ）に記憶されるように、コントローラ３１を制御する。即ち、例えば、いま、コントローラ３３において、Ｎ個の露出時間が設定されるとして、ｎ番目に短い露出時間を、第ｎ露出時間というものとすると、コントローラ３３は、ＣＣＤ３からＡ／Ｄ変換器４を介して出力される第ｎ露出時間に対応する画像の画素値が、メモリ３２nに記憶されるように、メモリコントローラ３１を制御する。
【０１２０】
また、コントローラ３３は、メモリ３２1乃至３２Nそれぞれに記憶された複数の露出時間に対応する画像を構成する同一位置の画素の複数の画素値から、その位置の画素について１つの画素値を選択し、その選択した画素値によって、１フレームの画像を構成する。
【０１２１】
さらに、コントローラ３３は、コントローラ５と同様に、上述したようにして構成した１フレームの画像を構成する画素値を、その画素値を得たときの露出時間に基づき、必要に応じて補正し、その補正後の画素値でなる画像データを、例えば、１フレーム単位で、出力する。
【０１２２】
なお、以下においては、コントローラ３３において、複数としてのＮ（Ｎは２以上の整数値）個の露出時間が設定されるものとする。
【０１２３】
次に、図１２は、図１１のコントローラ３３の構成例を示している。なお、図中、図５のコントローラ５と同様に構成される部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１２４】
読み出し部４１は、制御部４２の制御にしたがって、メモリ３２1乃至３２Nのうちのいずれかから、注目している画素の画素値を読み出し、バッファ２１に供給する。
【０１２５】
制御部４２は、評価部２３による、バッファ２１に記憶された画素値の評価結果、さらには、メモリ４４に記憶されたＮ個の露出時間を必要に応じて参照しながら、画素値補正部２２、読み出し部４１、および基準パラメータ決定部４３を制御する。
【０１２６】
基準パラメータ決定部４３は、制御部４２からの制御に基づき、Ｎ個の露出時間を決める際の基準となる基準パラメータを決定する。
【０１２７】
即ち、基準パラメータ決定部４３は、例えば、基準となる１つの露出時間と、その露出時間を基準として、残りのＮ−１個の露出時間を決めるためのパラメータを、基準パラメータとして決定する。
【０１２８】
ここで、基準となる露出時間の他のＮ−１個の露出時間を決めるためのパラメータとしては、例えば、次のようなものがある。即ち、ディジタルビデオカメラにおいては、一般に、使用することのできる複数の露出時間が、あらかじめ設定されている。従って、ある露出時間を基準とした場合には、それより１段階短い露出時間や、１段階長い露出時間は、一意に決まる。従って、そのような段階数を、基準パラメータとして用いることができる。
【０１２９】
基準パラメータ決定部４３は、基準パラメータを決定すると、その基準パラメータに基づいて、Ｎ個の露出時間を設定する。即ち、基準パラメータは決定部４３は、例えば、基準パラメータとして決定された露出時間を、Ｎ個の露出時間のうちの最短値である第１露出時間とし、以下、基準パラメータとして決定された段階数ごとに長い露出時間を、順次、第２露出時間、第３露出時間、・・・、第Ｎ露出時間に設定する。
【０１３０】
従って、例えば、いま、ディジタルビデオカメラに、あらかじめ設定されている複数の露出時間を、その短い順に、Ｓ1，Ｓ2，・・・，ＳMと表すと（但し、Ｍは、Ｎより大きい整数値）、基準の露出時間がＳk（ｋは、１以上Ｍ以下の整数値）で、段階数が１である基準パラメータについては、Ｓk，Ｓk-1，・・・，Ｓk-N+1のＮ個の露出時間が設定される。また、例えば、基準の露出時間がＳkで、段階数が２である基準パラメータについては、Ｓk，Ｓk-2，Ｓk-4，・・・，Ｓk-2(N-1)のＮ個の露出時間が設定される。
【０１３１】
なお、基準パラメータ決定部４３において、基準パラメータに基づいて、Ｎ個の露出時間を設定する際には、そのＮ個の露出時間の隣接するものどうしの段階数を線形または非線形に変化させることも可能である。即ち、基準パラメータ決定部４３においては、例えば、Ｓk，Ｓk-1，Ｓk-3，Ｓk-6，Ｓk-10，・・・といったように、Ｎ個の露出時間を設定することが可能である。
【０１３２】
メモリ４４は、基準パラメータ決定部４３において設定されるＮ個の露出時間を記憶（上書き）する。
【０１３３】
メモリ４４に記憶されたＮ個の露出時間は、シャッタ制御部１２、メモリコントローラ３１（図１１）、制御部４２に供給されるようになっている。これにより、シャッタ制御部１２は、そのＮ個の露出時間それぞれで、被写体からの光が、ＣＣＤ３に入射するように、シャッタ２を制御し、また、メモリコントローラ３１は、Ｎ個の露出時間それぞれについて得られる、Ａ／Ｄ変換器４からの画素値を、各露出時間ごとに、メモリ３２1乃至３２Nのうちの対応するものに記憶させる。
【０１３４】
次に、図１３のフローチャートを参照して、図１１のディジタルビデオカメラ１０１の動作について説明する。
【０１３５】
まず最初に、ステップＳ２１において、コントローラ３３（図１２）の基準パラメータ決定部４３は、デフォルトの基準パラメータに基づいて、Ｎ個の露出時間を設定し、メモリ４４に送信して記憶させる。
【０１３６】
シャッタ制御部１２は、メモリ４４に記憶されたＮ個の露出時間それぞれにしたがって、シャッタ２を制御し、即ち、フレーム周期内において、時分割で、Ｎ個の露出時間それぞれにしたがって、シャッタ２を制御し、これにより、ＣＣＤ３からは、Ｎ個の露出時間それぞれに対応する画像を構成する画素値が、時分割で出力される。
【０１３７】
ＣＣＤ３が時分割で出力する、Ｎ個の露出時間それぞれに対応する画像を構成する画素値は、メモリコントローラ３１に供給される。
【０１３８】
メモリコントローラ３１は、メモリ４４を参照することで、Ｎ個の露出時間それぞれを認識し、そのＮ個の露出時間のうちの、第１露出時間（１番短い露出時間）に対応する画像を構成する画素値を、メモリ３２1に供給して、その画素値の画素に対応するアドレスに記憶させる。同様に、メモリコントローラ３２は、第２露出時間乃至第Ｎ露出時間に対応する画像を構成する画素値も、メモリ３２2乃至３２Nにそれぞれ供給して記憶させる。
【０１３９】
これにより、メモリ３２1乃至３２Nそれぞれには、同一内容の画像を構成する画素について、異なる露出時間で得られた画素値が記憶される。
【０１４０】
その後、ステップＳ２２に進み、制御部４２は、例えば、ラスタスキャン順で、画像を構成する画素を注目画素とし、読み出し部４１を制御することにより、メモリ３２1乃至３２Nのうちの、デフォルトに設定されているメモリ（デフォルトメモリ）を対象として、そこに記憶されている注目画素の画素値を読み出させる。
【０１４１】
なお、デフォルトメモリとするメモリは、特に限定されるものではなく、メモリ３２1乃至３２Nのうちの、例えば、メモリ３２N/2または３２(N-1)/2等の任意のメモリを、デフォルトメモリとすることが可能である。
【０１４２】
ここで、メモリ３２1乃至３２Nのうち、読み出し部４１が画素値を読み出す対象としているものを、以下、適宜、注目メモリという。
【０１４３】
読み出し部４１は、制御部４２の制御にしたがって、注目メモリから、注目画素の画素値を読み出すと、その画素値をバッファ２１に供給して記憶させ、ステップＳ２３に進む。
【０１４４】
ステップＳ２３では、評価部２３は、バッファ２１に記憶された注目画素の画素値を評価し、その評価結果を、制御部４２に出力して、ステップＳ２４に進む。
【０１４５】
ステップＳ２４では、制御部４２は、評価部２３からの評価結果に基づき、注目画素の画素値が、白つぶれの状態であるかどうか（さらには、必要に応じて注目画素の動きが大であるかどうか）を判定する。ステップＳ２４において、注目画素の画素値が、白つぶれの状態であると判定された場合（あるいは、動きが大であると判定された場合）、即ち、注目メモリから読み出した画素値を得るときに用いた露出時間が長すぎる場合、ステップＳ２５に進み、制御部４２は、注目メモリが、最も短い露出時間（第１露出時間）に対応する画像の画素値が記憶されているもの（以下、適宜、最短メモリという）（本実施の形態では、メモリ３２1）であるかどうかを判定する。
【０１４６】
ステップＳ２５において、注目メモリが最短メモリでないと判定された場合、ステップＳ２６に進み、制御部４２は、読み出し部４１を制御することにより、注目メモリを、次に短い露出時間に対応する画像の画素値が記憶されているものに変更させる。即ち、本実施の形態では、注目メモリが、メモリ３２nであるとすると、制御部４２は、注目メモリを、メモリ３２nから、メモリ３２n-1に変更させる。そして、制御部４２は、変更後の注目メモリから、注目画素の画素値を読み出すように、読み出し部４１を制御して、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１４７】
また、ステップＳ２５において、注目メモリが最短メモリであると判定された場合、即ち、いま設定されているＮ個の露出時間のうち、最も短い露出時間を用いて得た画素値であっても、白つぶれの状態となっており、従って、白つぶれの状態を回避するには、露出時間をより短時間化する必要がある場合、ステップＳ２７に進み、制御部４２は、Ｎ個の露出時間の全体または一部（例えば、Ｎ個の露出時間のうちの短いものの幾つか）をより短時間化する要求を、基準パラメータ決定部４３に供給し、ステップＳ２８に進む。
【０１４８】
一方、ステップＳ２４において、注目画素の画素値が、白つぶれの状態でないと判定された場合、ステップＳ２９に進み、制御部４２は、評価部２３からの評価結果に基づき、注目画素の画素値が、黒つぶれの状態であるかどうかを判定する。ステップＳ２９において、注目画素の画素値が、黒つぶれの状態であると判定された場合、即ち、注目メモリから読み出した画素値を得るときに用いた露出時間が短すぎる場合、ステップＳ３０に進み、制御部４２は、注目メモリが、最も長い露出時間（本実施の形態では、第Ｎ露出時間）に対応する画像の画素値が記憶されているもの（以下、適宜、最長メモリという）（本実施の形態では、メモリ３２N）であるかどうかを判定する。
【０１４９】
ステップＳ３０において、注目メモリが最長メモリでないと判定された場合、ステップＳ３１に進み、制御部４２は、読み出し部４１を制御することにより、注目メモリを、次に長い露出時間に対応する画像の画素値が記憶されているものに変更させる。即ち、本実施の形態では、注目メモリが、メモリ３２nであるとすると、制御部４２は、注目メモリを、メモリ３２nから、メモリ３２n+1に変更させる。そして、制御部４２は、変更後の注目メモリから、注目画素の画素値を読み出すように、読み出し部４１を制御し、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１５０】
また、ステップＳ３０において、注目メモリが最長メモリであると判定された場合、即ち、いま設定されているＮ個の露出時間のうち、最も長い露出時間を用いて得た画素値であっても、黒つぶれの状態となっており、従って、黒つぶれの状態を回避するには、露出時間をより長時間化する必要がある場合、ステップＳ３２に進み、制御部４２は、Ｎ個の露出時間の全体または一部（例えば、Ｎ個の露出時間のうちの長いものの幾つか）をより長時間化する要求を、基準パラメータ決定部４３に供給し、ステップＳ２８に進む。
【０１５１】
一方、ステップＳ２９において、注目画素の画素値が、黒つぶれの状態でないと判定された場合、即ち、注目画素の画素値が、白つぶれおよび黒つぶれのいずれの状態でもない場合、ステップＳ２８に進み、バッファ２１に記憶されている注目画素の画素値が、画素値補正部２２に供給される。また、ステップＳ２８では、制御部４２は、バッファ２１に記憶されている画素値を得たときの露出時間を、メモリ４４を参照することで認識し、その露出時間を、画素値補正部２２に供給する。さらに、ステップＳ２８では、画素値補正部２２は、バッファ２１からの注目画素の画素値と、制御部４２からの、その画素値を得るのに用いた露出時間とを対応付けて、メモリ６に供給して記憶させる。
【０１５２】
従って、ステップＳ２８では、画素値補正部２２において、原則として、注目画素について、メモリ３２1乃至３２Nに記憶されている複数の画素値のうち、白つぶれおよび黒つぶれのいずれの状態になっていないものが選択されて、メモリ６に記憶されることになる。
【０１５３】
但し、注目画素について、メモリ３２1乃至３２Nに記憶されている複数の画素値のうち、白つぶれまたは黒つぶれの状態になっていないものが存在しない場合には、白つぶれまたは黒つぶれの状態の程度が最も低い画素値が選択され、メモリ６に記憶されるとともに、その白つぶれまたは黒つぶれの状態を解消するために、露出時間の変更が、制御部４２から基準パラメータ決定部４３に対して要求される。
【０１５４】
メモリ６に、注目画素の画素値と露出時間を記憶させた後は、ステップＳ３３に進み、１フレームの画像を構成する画素値すべてを、メモリ６に書き込んだかどうかが判定される。ステップＳ３３において、１フレームの画像を構成する画素値すべてを、まだ、メモリ６に書き込んでいないと判定された場合、ステップＳ３４に進み、ラスタスキャン順で、いま注目画素となっている次の画素が、新たに注目画素とされ、読み出し部４１において、その注目画素の画素値が、注目メモリから読み出される。そして、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１５５】
また、ステップＳ３３において、１フレームを構成する画素値すべてを、メモリ６に書き込んだと判定された場合、即ち、メモリ６に、１フレームを構成するすべての画素の画素値と、それらに対応付けられた露出時間が記憶された場合、ステップＳ３５に進み、画素値補正部２２は、図７のステップＳ８における場合と同様に、メモリ６から各画素値を読み出し、各画素値を、その画素値に対応付けられた露出時間に基づいて補正し、その補正後の画素値で構成される１フレームの画像データを出力する。
【０１５６】
そして、ステップＳ３６に進み、基準パラメータ決定部４３は、ステップＳ２７またはＳ３２において、露出時間の短時間化または長時間化の要求があった場合には、その要求にしたがった露出時間が設定されるように、基準パラメータを決定し直す。さらに、基準パラメータ決定部４３は、その決定し直した基準パラメータに基づいて、Ｎ個の露出時間を設定し直し、ステップＳ３７に進む。
【０１５７】
なお、露出時間の短時間化または長時間化の要求がなかった場合には、基準パラメータ決定部４３は、前回決定した基準パラメータをそのまま用いて、前回と同一のＮ個の露出時間を設定する。
【０１５８】
ステップＳ３７では、基準パラメータ決定部４３は、ステップＳ３６で設定したＮ個の露出時間を、メモリ４４に供給して記憶させ、ステップＳ２２に戻り、以下、次のフレームについて、同様の処理が繰り返される。
【０１５９】
以上のように、複数の露出時間を設定し、その複数の露出時間それぞれに対応する画像を得て、白つぶれおよび黒つぶれのいずれの状態になっていない画素値を選択することにより、各フレームの画像を構成するようにしたので、コントラストの強い被写体であっても、そのディテールを損なわない画像を得ることができる。そして、この場合も、図および図３における場合と同様に、ＣＣＤ３（あるいはＡ／Ｄ変換器４）のダイナミックレンジを広げた場合と同様の効果を得ることができる。
【０１６０】
なお、図１１の実施の形態においても、メモリ６に記憶された各画素値は、そのまま、その画素値に対応付けられた露出時間とともに出力し、記録媒体１０３に記録、または伝送媒体１０４を介して伝送することが可能である。
【０１６１】
次に、上述の場合には、画素値補正部２２において、露出時間による画素値の補正を、露出時間と画素値とが比例関係にあることを前提として行ったが、露出時間と画素値とが比例関係にない場合には、比例関係を前提とする画素値の補正の結果得られる補正画素値が誤差を含むものとなる。
【０１６２】
そこで、画素値補正部２２では、露出時間と画素値との関係を推定し、その推定結果に基づいて、露出時間による画素値の補正を行うようにすることが可能である。
【０１６３】
即ち、例えば、Ａ／Ｄ変換器４の出力が８ビットである場合には、画素値補正部２２は、幾つかの明るさについて、図１４に示すように、露出時間を変えて、０乃至２５５（＝２8−１）の範囲の画素値を得る。なお、図１４においては、×印が、各露出時間に対して得られた画素値を表している。
【０１６４】
さらに、画素値補正部２２は、各明るさについて得られた、各露出時間による画素値を用いて、各明るさごとの露出時間と画素値との関係を近似する近似曲線を求める。なお、図１４の実施の形態においては、３つの明るさについての露出時間と画素値との関係を表す近似曲線Ｌ１１，Ｌ１２，Ｌ１３が得られている。
【０１６５】
そして、画素値補正部２２は、このようにして得られた近似曲線に基づいて、露出時間による画素値の補正を行う。
【０１６６】
即ち、画素値補正部２２は、図１５に示すように、補正しようとする画素値ｐ0と、その画素値に対する露出時間ｔ0とで規定される点（ｐ0，ｔ0）（図１５において×印で表す）に最も近い近似曲線を求める。図１５の実施の形態では、近似曲線Ｌ２１が、点（ｐ0，ｔ0）に最も近いものとなっている。
【０１６７】
そして、露出時間ｔ0に対する画素値ｐ0を、露出時間ｔ1に対する画素値に補正する場合には、画素値補正部２２は、近似曲線Ｌ２１上の、露出時間ｔ1に対応する点（図１５において○印で示す）を求め、その点によって表される画素値ｐ1を補正画素値とする。
【０１６８】
この場合、精度の良い補正画素値を得ることが可能となる。
【０１６９】
即ち、露出時間と画素値とが、比例関係になく、例えば、図１５の近似曲線Ｌ２１で示すような非線形の関係にある場合には、露出時間と画素値との比例関係を前提として、画素値ｐ0の補正を行うと、画素値ｐ0は、原点を通る直線Ｌ２２上の、露出時間ｔ1に対応する点（図１５において□印で示す）によって表される画素値ｐ3に補正されることになり、誤差ε（＝ｐ3−ｐ1）が生じる。これに対して、近似曲線を用いて、画素値の補正を行う場合には、そのような誤差は生じないことになる。
【０１７０】
ところで、図１３のフローチャートによる処理によれば、Ｎ個のメモリ３２1乃至３２Nに記憶された、Ｎ個の露出時間それぞれについて得られた注目画素の複数の画素値のうち、白つぶれおよび黒つぶれのいずれの状態でもないものが最初に見つかると、画素値補正部２２は、その最初に見つかった画素値を、注目画素の画素値として選択し、メモリ６に記憶させる。
【０１７１】
しかしながら、画素値補正部２２には、例えば、ある画素値を基準画素値として、その基準画素値に近い画素値を、注目画素の画素値として選択させるようにすることが可能である。
【０１７２】
即ち、一般には、Ａ／Ｄ変換器４が出力する画素値の範囲のうちの中間程度の値において、ＣＣＤ３の感度は、最も高くなると考えられる。そこで、基準画素値を、Ａ／Ｄ変換器４が出力する画素値の範囲の中間程度の値とし、画素値補正部２２には、メモリ３２1乃至３２Nそれぞれに記憶された、注目画素のＮ個の画素値のうちの、基準画素値に最も近い画素値を、注目画素の画素値として選択させるようにすることが可能である。
【０１７３】
このようにして選択された画素値によれば、次のような画像が構成されることになる。
【０１７４】
即ち、図１６は、ある被写体について、複数の露出時間を用いて得られた画像の、ある水平ライン上の画素値を示している。なお、図１６の実施の形態では、複数の露出時間として、１／５，１／１０，１／２０，１／３０，１／６０，１／１２０，１／１８０秒の７つの露出時間を用いている。また、図１６において、曲線Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４，Ｌ３５，Ｌ３６，Ｌ３７が、１／５，１／１０，１／２０，１／３０，１／６０，１／１２０，１／１８０秒の露出時間それぞれによって得られた画素値（Ａ／Ｄ変換器４の出力）を示している。
【０１７５】
図１７は、図１６の画素値を、露出時間によって補正した補正画素値を示している。なお、図１７の実施の形態では、画素値と露出時間とが比例関係にあるものとし、１／１０秒を基準の露出時間として、露出時間が１／Ｓ［秒］の画素値を、Ｓ／１０倍することにより、補正画素値を求めている。また、図１７の実施の形態では、露出時間が、１／１０，１／２０，１／３０，１／６０，１／１２０秒の５つの露出時間についての補正画素値を示しており、曲線Ｌ４１，Ｌ４２Ｌ４３，Ｌ４４，Ｌ４５が、１／１０，１／２０，１／３０，１／６０，１／１２０秒の露出時間それぞれによって得られた画素値の補正画素値を示している。
【０１７６】
図１６の画素値は、Ａ／Ｄ変換器の出力であるから、８ビットであるのに対して、図１７の画素値は補正画素値であるから、８ビットより大きいダイナミックレンジが得られている。
【０１７７】
図１８は、基準画素値に最も近い画素値の補正画素値を選択して構成した画像を示している。なお、図１８の実施の形態では、基準画素値として１００を用いている。従って、露出時間Ｔによって得られた画素値をＰTとするとともに、画素値ＰTを補正した補正画素値をｆ（ＰT）とすると、図１８の画像は、例えば、式Ｐ＝ｆ（ｍｉｎ（ＰT−ＰB）2）で得られる補正画素値Ｐによって構成される。但し、ｍｉｎ（ＰT−ＰB）2は、（ＰT−ＰB）2を最小にするＰTを表す。また、ＰBは、基準画素値を表し、ここでは、上述したように１００である。
【０１７８】
図１６と図１８とを比較することにより、Ａ／Ｄ変換器４の出力をそのまま用いる場合には、画素値が０乃至２５５の範囲の画像（図１６）しか得ることができないが、補正画素値による場合には、より広い範囲の画素値（図１８では、０乃至７００程度）による画像、つまり、ダイナミックレンジの広い画像を得ることができる。
【０１７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８０】
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０１８２】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１８５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８７】
なお、図２乃至図４の実施の形態では、シャッタ２として、ＣＣＤ３の各画素ごとに、露出を制御することができるものを用いるようにしたが、シャッタ２としては、その他、例えば、ＣＣＤ３の２画素等の複数画素ごとに、露出を制御することができるものを用いるようにすることが可能である。
【０１８８】
また、本発明は、動画および静止画のいずれにも適用可能である。
【０１８９】
さらに、本実施の形態では、絞りについては、特に言及しなかったが、画素値の評価結果に基づいて、絞りの制御を行うようにすることも可能である。即ち、画素値の評価結果から、黒つぶれまたは白つぶれの状態となっている場合には、それぞれ、絞りを開放し、または絞るように制御することが可能である。なお、絞りは、ユーザが手動で調整するようにしても良い。
【０１９０】
【発明の効果】
本発明の第１の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体によれば、コントラストの強い被写体についても、そのディテールを損なわない画像を得ることが可能となる。
【０１９３】
本発明の第２の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体によれば、コントラストの強い被写体についても、そのディテールを損なわない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルビデオカメラシステムの構成例を示すブロック図である。
【図２】本発明を適用したディジタルビデオカメラ１０１の第１実施の形態の構成例を示す図である。
【図３】本発明を適用したディジタルビデオカメラ１０１の第２実施の形態の構成例を示すブロック図である。
【図４】図２および図３のコントローラ５の構成例を示すブロック図である。
【図５】図４の画像評価部１１の構成例を示すブロック図である。
【図６】図５の評価部２３の構成例を示すブロック図である。
【図７】図４（図２および図３）のディジタルビデオカメラ１０１の動作を説明するためのフローチャートである。
【図８】メモリ６と２５の記憶内容を示す図である。
【図９】図１の表示装置１０２の構成例を示すブロック図である。
【図１０】図９の表示装置１０２の処理を説明するフローチャートである。
【図１１】本発明を適用したディジタルビデオカメラ１０１の第３実施の形態の構成例を示すブロック図である。
【図１２】図１１のコントローラ３３の構成例を示すブロック図である。
【図１３】図１１のディジタルビデオカメラ１０１の動作を説明するためのフローチャートである。
【図１４】画素値と露出時間との関係を示す図である。
【図１５】画素値と露出時間との関係を近似する近似曲線を用いた画素値の補正を説明する図である。
【図１６】複数の露出時間によって得られた画素値を示す図である。
【図１７】補正画素値を示す図である。
【図１８】基準画素値に最も近い画素値を補正した補正画素値で構成される画像を示す図である。
【図１９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ レンズ， ２ シャッタ， ３ ＣＣＤ， ４ Ａ／Ｄ変換器， ５ コントローラ， ６ メモリ， ７ Ｉ／Ｆ， ８ 記録部， ９ 通信部， １１ 画像評価部， １２ シャッタ制御部， ２１ バッファ， ２２ 画素値補正部， ２３ 評価部， ２４ 露出時間決定部， ２５ メモリ， ３１ メモリコントローラ， ３２1乃至３２N メモリ， ３３ コントローラ， ４１ 読み出し部， ４２ 制御部， ４３ 基準パラメータ決定部， ４４ メモリ， ５１ 読み出し部， ５２ バッファ， ５３ 動き判定部， ５４ 画素値判定部， ６１ 読み出し部， ６２ 通信部， ６３ Ｉ／Ｆ， ６４表示制御部， ６５ バッファ， ６６ 画素値正規化部， ６７ ドライバ， ６８ 表示部， １０１ ディジタルビデオカメラ， １０２ 表示装置， １０３ 記録媒体， １０４ 伝送媒体， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体に関し、特に、例えば、ディジタルビデオカメラ等において、コントラストの強い被写体の画像を、その詳細を失わずに得ることができるようにする撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタルビデオカメラでは、被写体からの光が、レンズによって、ＣＣＤ(Charge Coupled Device)等の光電変換素子の受光面上に集光され、そこで光電変換されることにより電気信号である画像データとされる。
【０００３】
ディジタルビデオカメラにおいて、レンズからの光は、露出を制御するシャッタを介して、ＣＣＤに入射される。従って、シャッタスピード、即ち、露出時間が長いと、ＣＣＤにチャージされる電荷が多くなり、その結果、いわゆる露出オーバーとなる。そして、露出オーバーのときに得られる画像は、いわば白つぶれしたものとなる。一方、露出時間が短いと、ＣＣＤにチャージされる電荷は少なくなり、その結果、いわゆる露出アンダーとなって、得られる画像は、いわば黒つぶれしたものとなる。
【０００４】
このような白つぶれや黒つぶれを防止するには、画像の最も明るい部分から最も暗い部分までが、適度な明度をもつように、露出時間を設定する必要がある。
【０００５】
【発明が解決しようとする課題】
ところで、従来のディジタルビデオカメラにおいては、ＣＣＤの受光面全体に対して、同一の露出時間で撮影が行われる。
【０００６】
従って、コントラストの強い被写体を撮影（撮像）する場合には、明るい部分が白つぶれしたものとなったり、暗い部分が黒つぶれしたものとなり、得られた画像において、被写体のディテール(detail)（詳細）が失われる課題があった。
【０００７】
なお、例えば、特願平６−２８７９６号においては、液晶シャッタ付きカメラが開示されているが、このカメラは、ＣＣＤの画素単位で露出を制御することができるものではなく、ＣＣＤの受光面全体に対して、同一の露出時間を設定できるにすぎないものであった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、コントラストの強い被写体についても、そのディテールを損なわずに撮影することができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の撮像制御装置は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を評価する評価手段と、評価手段による評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御手段とを備え、評価手段は、撮像手段が出力する画素値を記憶する第１記憶手段と、撮像手段が出力する画素値のうちの注目しているものである注目画素値と、第１記憶手段に記憶された画素値のうちの注目画素値に対応する画素値とを比較することにより、注目画素値に対応する画素である注目画素の動きを判定する動き判定手段と、注目画素値が所定の範囲の値であるかどうかを判定する画素値判定手段とを有し、制御手段は、注目画素値が所定の範囲内の値でないときに、注目画素値が所定の範囲内の値になるように、受光面の、注目画素に対する露出時間を制御するとともに、注目画素値の動きの判定結果に基づいて、受光面の、注目画素に対する露出時間を制御することを特徴とする。
【００１０】
本発明の第１の撮像制御方法、プログラムおよびプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御ステップとを備え、評価ステップの処理は、撮像手段が出力する画素値を記憶手段に記憶する記憶ステップと、撮像手段が出力する画素値のうちの注目しているものである注目画素値と、記憶手段に記憶された画素値のうちの注目画素値に対応する画素値とを比較することにより、注目画素値に対応する画素である注目画素の動きを判定する動き判定ステップと、注目画素値が所定の範囲の値であるかどうかを判定する画素値判定ステップとを有し、制御ステップの処理では、注目画素値が所定の範囲内の値でないときに、注目画素値が所定の範囲内の値になるように、受光面の、注目画素に対する露出時間が制御されるとともに、注目画素値の動きの判定結果に基づいて、受光面の、注目画素に対する露出時間が制御されることを特徴とする。
【００１１】
本発明の第１のプログラムは、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御ステップとを備えることを特徴とする。
【００１２】
本発明の第１のプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、受光面に対する露出時間を、画素単位で制御する制御ステップとを備えるプログラムが記録されていることを特徴とする。
【００１６】
本発明の第２の撮像制御装置は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御する制御手段と、撮像手段において、制御手段の制御に基づき、被写体を、複数の露出時間で撮像することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択手段と、撮像手段が出力する各画素位置の画素値を、その画素値に対応する露出時間に基づいて補正する補正手段とを備えることを特徴とする。
【００１７】
本発明の第２の撮像制御方法、プログラムおよびプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御する制御ステップと、撮像手段において、制御ステップにおける制御に基づき、被写体を、複数の露出時間で撮像することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップと、撮像手段が出力する各画素位置の画素値を、その画素値に対応する露出時間に基づいて補正する補正ステップとを備えることを特徴とする。
【００１８】
本発明の第２のプログラムは、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップとを備えることを特徴とする。
【００１９】
本発明の第２のプログラム記録媒体は、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値を評価する評価ステップと、評価ステップによる評価結果に基づいて、複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップとを備えるプログラムが記録されていることを特徴とする。
【００２０】
本発明の第１の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体においては、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段から取得した画素値が評価され、その評価結果に基づいて、受光面に対する露出時間が、画素単位で制御される。画素値の評価においては、撮像手段が出力する画素値が記憶され、撮像手段が出力する画素値のうちの注目しているものである注目画素値と、記憶された画素値のうちの注目画素値に対応する画素値とを比較することにより、注目画素値に対応する画素である注目画素の動きが判定され、注目画素値が所定の範囲の値であるかどうかが判定される。そして注目画素値が所定の範囲内の値でないときに、注目画素値が所定の範囲内の値になるように、受光面の、注目画素に対する露出時間を制御されるとともに、注目画素値の動きの判定結果に基づいて、受光面の、注目画素に対する露出時間が制御される。
【００２３】
本発明の第２の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体においては、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間が制御され、その制御に基づき、被写体を、複数の露出時間で撮像することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値から、１つの画素値が選択され、撮像手段が出力する各画素位置の画素値が、その画素値に対応する露出時間に基づいて補正される。
【００２４】
本発明の第２のプログラムおよびプログラム記録媒体においては、被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段における受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、複数の露出時間それぞれに対応する画素値が評価され、その評価結果に基づいて、複数の露出時間それぞれに対応する画素値から、１つの画素値が選択される。
【００２５】
【発明の実施の形態】
図１は、本発明を適用したディジタルビデオカメラシステムの一実施の形態の構成例を示している。
【００２６】
ディジタルビデオカメラ１０１は、所定の被写体を撮像し、画像データを含む画像情報を出力する。この画像情報は、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体１０３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線、バスなどでなる伝送媒体１０４を介して伝送され、表示装置１０２に提供される。
【００２７】
表示装置１０２は、記録媒体１０３または伝送媒体１０４を介して提供される画像情報を受信し、その画像情報に基づいて、対応する画像を表示する。
【００２８】
なお、ディジタルビデオカメラ１０１、表示装置１０２、および記録媒体１０３または伝送媒体１０４は、１つの装置として構成することが可能である。
【００２９】
図２は、図１のディジタルビデオカメラ１０１の第１実施の形態の構成例を示している。
【００３０】
レンズ１には、被写体からの光が入射し、レンズ１は、その光をシャッタ２を介して、ＣＣＤ３の受光面上に集光する。
【００３１】
シャッタ２は、コントローラ５により制御され、レンズ１からの光を、例えば、ＣＣＤ３の受光面を構成する画素単位で反射することにより、ＣＣＤ３の各画素に対する露出を制御する。
【００３２】
即ち、図２では、シャッタ２は、例えば、半導体基板上に多数の超小型反射ミラーが形成されたＤＭＤ(Digital Micromirror Device)で構成されており、各ミラーが、コントローラ５からの制御にしたがって回動することにより、そこに入射する光の反射方向を、そのミラー単位で変えることができるようになっている。
【００３３】
ここでは、ＤＭＤを構成する各ミラーが、ＣＣＤ３を構成する各画素に対応している。従って、各ミラーを回動することにより、各ミラーからＣＣＤ３の各画素への光の反射方向を変えることで、対応する画素への光の入射をオン／オフさせることができるようになっている。
【００３４】
なお、ＤＭＤについては、例えば、特願平７−７３９５２号（優先権主張番号ＵＳ２２１７３９、優先日１９９４年３月３１日）に開示されている。
【００３５】
ＣＣＤ３は、その受光面を構成する各画素において、シャッタ２からの光を受光し、これにより、その光量に対応する電荷をチャージする。そして、ＣＣＤ３は、各画素においてチャージした電荷（積分効果により積分された電荷）を、いわゆるバケツリレー(bucket brigade)することで、対応する電圧レベルの電気信号を、Ａ／Ｄ(Analog/Digital)変換器４に出力する。
【００３６】
なお、ここでは、シャッタ２からの光を受光して光電変換する光電変換素子として、ＣＣＤを用いているが、その他、ＢＢＤ(Bucket Brigede Device)等を用いることが可能である。
【００３７】
Ａ／Ｄ変換器４は、ＣＣＤ３からの電気信号を、画素に対応するタイミングでサンプリングし、さらに量子化することで、ディジタル画像データを構成する各画素の画素値を、コントローラ５に供給する。なお、ここでは、Ａ／Ｄ変換器４は、例えば、８ビットの画素値を出力するものとする。
【００３８】
コントローラ５は、ＣＣＤ３からＡ／Ｄ変換器４を介して供給される各画素の画素値を評価する。さらに、コントローラ５は、その評価結果に基づき、シャッタ２による露光時間を、各画素単位で設定し、シャッタ２を制御する。
【００３９】
また、コントローラ５は、ＣＣＤ３からＡ／Ｄ変換器４を介して供給される各画素の画素値を、その画素値を得るときに設定された露出時間に基づき、必要に応じて補正し、その補正後の画素値でなる、例えば、１フレーム（または１フィールド）単位の画像データを、画像情報として出力する。あるいは、また、コントローラ１０５は、画素値と、その画素値を得るときに設定された露出時間とを、画像情報として出力する。コントローラ５が出力する画像情報は、Ｉ／Ｆ(Interface)７で受信される。
【００４０】
メモリ６は、コントローラ５の処理上必要なデータを一時記憶する。
【００４１】
Ｉ／Ｆ７は、コントローラ１０５からの画像情報を、例えば、ユーザからの指示等に応じて、記録部８または通信部９に供給する。記録部８は、Ｉ／Ｆ７からの画像情報を、記録媒体１０３に記録する。通信部９は、Ｉ／Ｆ７からの画像情報を、伝送媒体１０４を介して送信する。
【００４２】
次に、図３は、図１のディジタルビデオカメラ１０１の第２実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００４３】
即ち、図３のディジタルビデオカメラ１０１は、基本的には、図２のディジタルビデオカメラ１０１と同様に構成されている。但し、図３においては、シャッタ２が、液晶パネル（液晶シャッタ）で構成されている。
【００４４】
液晶パネルで構成されるシャッタ２は、コントローラ５により制御され、レンズ１からの光を、例えば、ＣＣＤ３の受光面を構成する画素単位で透過させることにより、ＣＣＤ３の各画素に対する露出を制御する。
【００４５】
即ち、図３では、シャッタ２としての液晶パネルを構成する液晶分子の方向が、コントローラ５の制御にしたがって、画素に相当する単位で変化することにより、その単位における光の透過が制限され、これにより、ＣＣＤ３の、対応する画素への光の入射をオン／オフさせることができるようになっている。
【００４６】
なお、ここでは、シャッタ２として、透過型の液晶パネルを用いることとしたが、その他、反射型の液晶パネルを用いることも可能である。
【００４７】
次に、図４は、図２および図３のコントローラ５の構成例を示している。
【００４８】
コントローラ５は、画像評価部１１およびシャッタ制御部１２で構成されている。
【００４９】
ＣＣＤ３からＡ／Ｄ変換器４を介してコントローラ５に供給される画素値は、画像評価部１１で受信される。画像評価部１１は、そこに供給される画素値に必要な処理を施し、１フレームの画像データを構成して出力する。さらに、画像評価部１１は、そこに供給される画素値を評価して、その評価結果に基づいて、シャッタ２による露出時間を、画素単位で設定する。
【００５０】
シャッタ制御部１２は、画像評価部１１において設定された、画素ごとの露出時間にしたがって、シャッタ２を制御する。
【００５１】
次に、図５は、図４の画像評価部１１の構成例を示している。
【００５２】
ＣＣＤ３からＡ／Ｄ変換器４を介してコントローラ５に供給される画素値は、バッファ２１で受信され、バッファ２１は、その画素値を一時記憶する。
【００５３】
画素値補正部２２は、バッファ２１に記憶された画素値を読み出すとともに、その画素値を得たときの画素に対する露出時間を、メモリ２５から読み出し、それらを対応付けて、メモリ６に供給して記憶させる。さらに画素値補正部２２は、メモリ６に、例えば、１フレーム分の画素値と露出時間との組が記憶されると、その画素値と露出時間との組を読み出し、画素値を、露出時間に基づいて補正し、その補正後の画素値で構成される１フレームの画像データを出力する。
【００５４】
評価部２３は、バッファ２１に記憶された画素値を評価し、その評価結果を、露出時間決定部２４に供給する。露出時間決定部２４は、評価部２３からの評価結果に基づき、バッファ２１に記憶された画素値の画素に対する露出時間を設定する。
【００５５】
即ち、評価部２３は、バッファ２１に記憶された画素値を評価することで、画素値が、所定の上限値以上または下限値以下であるかどうかや、被写体の動き量等の評価結果を得て、その評価結果を、露出時間決定部２４に供給する。露出時間決定部２４は、例えば、画素値が、所定の上限値以上の値であり、白つぶれの状態になっているときは、対応する画素についての露出時間を短く設定する。また、露出時間決定部２４は、例えば、画素値が、所定の下限値以下の値であり、黒つぶれの状態になっているときは、対応する画素についての露出時間を長く設定する。さらに、露出時間決定部２４は、例えば、被写体の動き量が大であり、動きぶれ（動きぼけ）が生じているときには、対応する画素についての露出時間を短く設定する。また、露出時間決定部２４は、例えば、被写体の動き量が小であり（なく）、動きぶれ（ぼけ）がないときは、対応する画素についての露出時間を、現状の値のままとする。
【００５６】
そして、露出時間決定部２４は、画素について設定した露出時間を、メモリ２５に供給する。
【００５７】
ここで、本実施の形態では、説明を簡単にするために、被写体自体の動きは、ほとんどないものとする。従って、ここでいう動きぶれ（動きぼけ）は、主として、撮影を行うユーザの、いわゆる手ぶれに起因するものであるとする。但し、本発明は、大きな動きのある被写体を撮影するときにも適用可能である。
【００５８】
メモリ２５は、露出時間決定部２４からの、各画素についての露出時間を、対応する位置のアドレスに記憶（上書き）する。メモリ２５に記憶された各画素についての露出時間は、シャッタ制御部１２に供給されるようになっており、シャッタ制御部１２は、この各画素ごとの露出時間にしたがって、シャッタ２を制御する。これにより、シャッタ２を介しての、ＣＣＤ３への光の入射時間が、画素ごとに制御される。
【００５９】
ここで、露出時間と、シャッタスピードとは同義語である。但し、露出時間が長いということは、シャッタスピードが遅いことに相当し、露出時間が短いということは、シャッタスピードが速いことに相当する。以下においては、露出時間を用いて説明を行うが、シャッタスピードを用いて説明することも勿論可能である。
【００６０】
次に、図６は、図５の評価部２３の構成例を示している。
【００６１】
読み出し部５１は、バッファ２１（図５）に記憶された画素の画素値を読み出し、バッファ５２に供給して記憶させる。さらに、読み出し部５１は、バッファ２１から画素値を読み出した画素を、順次、注目画素とし、その注目画素の画素値（注目画素値）を、動き判定部５３および画素値判定部５４に供給する。
【００６２】
バッファ５２は、例えば、複数フレーム分の画素値を記憶することのできる記憶容量を有しており、読み出し部５１から供給される画素値を順次記憶する。なお、バッファ５２は、その記憶容量分だけ画素値を記憶した後は、新たな画素値を、例えば、最も古い画素値に上書きする形で記憶するようになっている。
【００６３】
動き判定部５３は、読み出し部５１からの注目画素の画素値を受信し、例えば、その注目画素のフレーム（以下、適宜、注目フレームという）における、注目画素を中心とする３×３画素に対応する、注目フレームの１フレーム前のフレーム（以下、適宜、前フレームという）における３×３画素を、バッファ５２から読み出す。さらに、動き判定部５３は、注目フレームの３×３画素それぞれの画素値と、前フレームにおける、対応する３×３画素それぞれの画素値との差分絶対値を計算し、さらに、その総和（以下、適宜、差分絶対値和という）を演算する。そして、動き判定部５３は、その差分絶対値和に基づいて、注目画素の動きの大小を判定し、その判定結果を、注目画素の評価結果として、露出時間決定部２４（図５）に供給する。
【００６４】
即ち、動き判定部５３は、差分絶対値が大の時は、動きが大きい旨を、また、差分絶対値が小の時は、動きが小さい旨を、それぞれ評価結果として、露出時間決定部２４に供給する。
【００６５】
なお、動き判定部５３では、その他、例えば、上述の注目フレームの３×３画素を用いて、前フレームとのブロックマッチングを行い、その結果得られる動きベクトルに基づいて、注目画素の動きの大小を判定することも可能である。
【００６６】
画素値判定部５４は、注目画素の画素値が、所定の下限値と上限値とで規定される所定の範囲内の値であるかどうかを判定し、その判定結果を、注目画素の評価結果として、露出時間決定部２４に供給する。
【００６７】
即ち、Ａ／Ｄ変換器４（図２乃至図４）が出力する画素値が、例えば、０乃至２５５の範囲に対応する８ビットで表される場合には、画素値判定部５４は、例えば、黒つぶれとなる値（例えば、１０以下など）を下限値とするとともに、白つぶれとなる値（例えば、２５０など）を上限値とし、注目画素の画素値が、その下限値から上限値の範囲内にあるかどうかを判定する。そして、画素値判定部５４は、注目画素の画素値が、上限値以上の値（もしくは上限値より大きい値）である場合、下限値以下の値（もしくは下限値未満の値）である場合、または下限値より大きく上限値より小さい場合は、それぞれ、その旨を、注目画素の評価結果として、露出時間決定部２４に供給する。
【００６８】
図５の露出時間決定部２４は、以上のような注目画素の評価結果を、動き判定部５３と画素値判定部５４から受信し、その評価結果に基づいて、上述したように、露出時間を設定する。
【００６９】
次に、図７のフローチャートを参照して、図４（図２および図３）のディジタルビデオカメラの動作について説明する。
【００７０】
まず最初に、ステップＳ１において、コントローラ５（図５）の露出時間決定部２４は、各画素に対して、デフォルトの露出時間を設定し、メモリ２５に送信して、対応するアドレスに記憶させる。
【００７１】
なお、ここでは、例えば、デフォルトの露出時間として、すべての画素に対して、同一の露出時間が設定されるものとする。但し、デフォルトの露出時間としては、例えば、前回の撮影の終了時における各画素の露出時間を設定すること等も可能である。また、デフォルトの露出時間は、例えば、ユーザに設定してもらうようにすることも可能である。
【００７２】
ここで、図８（Ａ）は、メモリ２５の記憶内容を示している。上述したように、メモリ２５では、各画素の画素位置に対応したアドレスに、その画素に対する露出時間が記憶される。
【００７３】
シャッタ制御部１２は、メモリ２５に記憶された画素ごとの露出時間にしたがって、シャッタ２を制御し、これにより、シャッタ２を介しての、ＣＣＤ３への光の入射時間が、画素ごとに制御されながら、ＣＣＤ３の各画素に電荷がチャージされる。
【００７４】
そして、１フレームを構成する画素値の読み出し開始タイミングとなると、ステップＳ２において、ＣＣＤ３からその読み出しが開始される。ＣＣＤ３から読み出された画素値は、Ａ／Ｄ変換器４を介して、コントローラ５（図５）のバッファ２１に供給されて記憶される。
【００７５】
バッファ２１に記憶された画素値は、ステップＳ３において、画素値補正部２２によって読み出される。さらに、ステップＳ３では、画素値補正部２２は、バッファ２１から読み出された画素値の画素を、順次、注目画素として、注目画素に対応する、メモリ２５のアドレスに記憶された露出時間、即ち、注目画素の画素値を得るのに用いた露出時間を読み出し、注目画素の画素値と対応付けて、メモリ６に供給して記憶させる。即ち、これにより、メモリ２５において、例えば、図８（Ａ）に示すような露出時間が記憶されている場合、メモリ６には、図８（Ｂ）に示すように、図８（Ａ）の露出時間と、その露出時間によって得られた画素値とが対応付けられて記憶される。
【００７６】
そして、ステップＳ４に進み、評価部２３（図６）は、その動き判定部５３および画素値判定部５４において、バッファ２１に記憶された注目画素の画素値を、上述したように評価し、その評価結果を、露出時間決定部２４に供給する。露出時間決定部２４は、ステップＳ５において、評価部２３からの評価結果に基づき、注目画素の露出時間を、上述したような適正な値に設定し直す。さらに、露出時間決定部２４は、その設定し直した露出時間を、メモリ２５に供給し、注目画素に対応するアドレスに記憶させる（上書きする）。
【００７７】
即ち、例えば、図８（Ｂ）において、画素値「２５０」は、上述した上限値「２５０」以上の値であり、従って、白つぶれの状態になっていると考えられるため、露出時間決定部２４は、画素値「２５０」の画素の露出時間（メモリ２５のアドレスｎ＋１の露出時間）「１／１００秒」を、より短い「１／１２０秒」に設定し直し、図８（Ｃ）に示すように、メモリ２５に記憶させる。
【００７８】
その後、ステップＳ６に進み、バッファ２１からの、１フレームを構成するすべての画素値の読み出しが終了したかどうかが、例えば、図示せぬ制御部等により判定され、まだ、終了していないと判定された場合、ステップＳ７に進み、次の画素の画素値が、バッファ２１から取得され、ステップＳ３に戻る。そして、その画素値の画素を、新たに注目画素として、ステップＳ３以降の処理が繰り返される。
【００７９】
一方、ステップＳ６において、１フレームを構成するすべての画素値の読み出しが終了したと判定された場合、即ち、メモリ６に、１フレームを構成するすべての画素の画素値と、それらに対応付けられた露出時間が記憶された場合、ステップＳ８に進み、画素値補正部２２（図５）は、メモリ６から各画素値を読み出し、各画素値を、その画素値に対応付けられた露出時間に基づいて補正し、その補正後の画素値で構成される１フレームの画像データを出力する。
【００８０】
即ち、ここでは、１フレームを構成する各画素値は、同一の露出時間で得られたものでないから、そのような画素値をそのまま用いて、１フレームの画像を構成すると、明るさが疎らな画像となる。そこで、画素値補正部２２は、露出時間に基づいて、各画素値を補正し、これにより、明るさの統一感がある、すべての画素が同一の露出時間で撮影されたような画像を構成するようになっている。
【００８１】
具体的には、例えば、いま、説明を簡単にするために、露出時間と画素値とが比例関係にあるものとすると、画素値補正部２２は、例えば、メモリ６に記憶された露出時間のうち、最も短い露出時間（以下、最短露出時間という）１／ＳBASE［秒］を基準として、各露出時間１／Ｓ［秒］が対応付けられている画素値を、Ｓ／ＳBASE倍に補正する。
【００８２】
従って、いま、画素値ｐと露出時間１／Ｓ［秒］との組み合わせを、（ｐ，１／Ｓ）と表すこととすると、メモリ６に記憶された画素値と露出時間の組が、例えば、（２５５，１／１０），（２００，１／５），（１５０，１／２０），（１００，１／１００）である場合には、最短露出時間１／ＳBASEが、１／１００秒であるから、露出時間が１／１０秒の画素値「２５５」は「２５．５」（＝２５５×１０／１００）に、露出時間が１／５秒の画素値「２００」は「１０」（＝２００×５／１００）に、露出時間が１／２０秒の画素値「１５０」は「３０」（＝１５０×２０／１００）に、露出時間が１／１００秒の画素値「１００」は「１００」（＝１００×１００／１００）に、それぞれ補正される。但し、基準となる最短露出時間「１／１００秒」の画素値「１００」については、補正前後で、値は変わらないから、必ずしも補正を行う必要はない。
【００８３】
なお、上述の場合においては、最短露出時間１／ＳBASEを基準として、各露出時間１／Ｓが対応付けられている画素値を、Ｓ／ＳBASE倍に補正するようにしたが、その他、例えば、メモリ６に記憶された露出時間のうち、最も長い露出時間（以下、最長露出時間という）１／ＳBASE’［秒］を基準として、各露出時間１／Ｓ［秒］が対応付けられている画素値を、Ｓ／ＳBASE’倍に補正することも可能である。
【００８４】
この場合、上述の画素値と露出時間のセット（２５５，１／１０），（２００，１／５），（１５０，１／２０），（１００，１／１００）については、最長露出時間１／ＳBASE’が、１／５秒であるから、露出時間が１／１０秒の画素値「２５５」は「５１０」（＝２５５×１０／５）に、露出時間が１／５秒の画素値「２００」は「２００」（＝２００×５／５）に、露出時間が１／２０秒の画素値「１５０」は「６００」（＝１５０×２０／５）に、露出時間が１／１００秒の画素値「１００」は「２０００」（＝１００×１００／５）に、それぞれ補正される。
【００８５】
なお、画素値補正部２２では、その他、最短露出時間および最長露出時間以外の露出時間を基準として、画素値の補正を行うことが可能である。
【００８６】
以上から、Ａ／Ｄ変換器４が出力する画素値が、Ｍビットであるとすると、画素値補正部２２が出力する補正後の画像を構成する画素値は、Ｍビットを越えるビット数となる場合がある。即ち、ここでは、Ａ／Ｄ変換器４が出力する画素値を８ビットとしているが、画素値補正部２２が出力する補正後の画像を構成する画素値は、８ビットを越えるビット数となる。
【００８７】
その結果、画素値補正部２２からは、被写体がコントラストの強いものであっても、そのコントラストが十分に表現された画像、即ち、ダイナミックレンジが、Ａ／Ｄ変換器４の出力ビット数よりも大にされた画像が出力されることになる。
【００８８】
なお、ここでは、最短露出時間を基準とするようにしたが、基準とする露出時間は、任意の値とすることができる。即ち、基準とする露出時間は、メモリ６に記憶された最短露出時間以外の露出時間であっても良いし、メモリ６に記憶されていない露出時間であっても良い。
【００８９】
従って、画素値の補正は、例えば、１／１秒を基準として行うことでき、この場合は、画素値ｐに対して、対応付けられている露出時間１／Ｓの逆数Ｓを乗算して得られる画素値が、補正後の画素値ということになる。
【００９０】
なお、画像のダイナミックレンジは、いずれの露出時間を基準値として補正を行っても、同様に大きくなる。
【００９１】
ステップＳ８において、以上のように、補正された画素値でなる画像データが出力されると、ステップＳ９に進み、ステップＳ４乃至Ｓ７の処理が繰り返されることにより、メモリ２５に記憶された各画素ごとの露出時間が、シャッタ制御部１２に送信され、ステップＳ２に戻り、以下、次のフレームについて、同様の処理が繰り返される。従って、次のフレームについては、メモリ２５に記憶された各画素ごとの露出時間で画像の撮影が行われる。
【００９２】
以上のように、ＣＣＤ３が出力する画素値を評価し、その評価結果に基づき、シャッタ２による、ＣＣＤ３の受光面に対する露出時間を、画素単位で設定して、被写体の撮像を行うようにしたので、コントラストの強い被写体であっても、そのディテールを損なわない画像を得ることができる。
【００９３】
また、一般に、ＣＣＤのダイナミックレンジは、それほど広くはないが、上述のように、画素ごとに露出時間を制御することで、ＣＣＤ３（あるいはＡ／Ｄ変換器４）のダイナミックレンジを広げた場合と同様の効果を得ることができる。
【００９４】
なお、上述の場合においては、メモリ６に記憶された各画素値を、その画素値に対応付けられた露出時間に基づいて補正して出力するようにしたが、メモリ６に記憶された各画素値は、そのまま、その画素値に対応付けられた露出時間とともに出力し、記録媒体１０２に記録、または伝送媒体１０４を介して伝送することが可能である。
【００９５】
次に、図９は、図１の表示装置１０２の構成例を示している。
【００９６】
読み出し部６１は、記録媒体１０３から、そこに記録された画像情報（補正された画素値、または画素値と露出時間）を読み出し（再生し）、Ｉ／Ｆ６３に供給する。通信部６２は、伝送路１０４を介して送信されてくる画像情報を受信し、Ｉ／Ｆ６３に供給する。Ｉ／Ｆ６３は、読み出し部６１または通信部６２から供給される画像情報を受信し、表示制御部６４に供給する。
【００９７】
表示制御部６４は、バッファ６５、画素値正規化部６６、ドライバ６７で構成される。
【００９８】
バッファ６５は、Ｉ／Ｆ６５から供給される画像情報を受信し、例えば、１フレーム単位で一時記憶する。
【００９９】
画素値正規化部６６は、バッファ６５に記憶された画像情報を読み出し、その画像情報を、表示部６８の表示精度に基づいて正規化する。
【０１００】
即ち、画素値正規化部６６は、ドライバ６７を介して、表示部６８の表示精度、即ち、表示部６８が、何ビットの画素値を表示可能であるかを認識する。なお、ここでは、表示部６８の表示精度が、Ｋビットであるとする。
【０１０１】
さらに、画素値正規化部６６は、バッファ６５に記憶された１フレーム分の画像情報が、補正後の画素値（以下、適宜、補正画素値という）である場合には、そのうちの最大値を検出する。いま、この最大の画素値がＫ’（＞Ｋ）ビットで表される場合には、画素値正規化部６６は、バッファ６５に記憶された各補正画素値の下位Ｋ’−Ｋビットを切り捨て、Ｋビットに正規化する。
【０１０２】
また、画素値正規化部６６は、バッファ６５に記憶された画像情報が、画素値ｐと露出時間１／Ｓである場合には、図５の画素値補正部２２における場合と同様に、例えば、画素値ｐに、露出時間１／Ｓの逆数Ｓを乗算することにより、画素値ｐを補正し、補正画素値ｐ×Ｓを求める。そして、画素値正規化部６６は、上述した場合と同様に、各補正画素値の下位Ｋ’−Ｋビットを切り捨て、Ｋビットに正規化する。
【０１０３】
画素値正規化部６６は、以上のようにして画素値を正規化し、その正規化後の画素値（以下、適宜、正規化画素値という）を、ドライバ６７に供給する。
【０１０４】
ドライバ６７は、表示部６８と通信することにより、その表示精度を認識する。あるいは、また、ドライバ６７は、表示部６８の表示精度をあらかじめ認識している。そして、ドライバ６７は、画素値正規化部６６の要求に応じて、表示部６８の表示精度を、画素値正規化部６６に供給する。さらに、ドライバ６７は、画素値正規化部６６から供給される正規化画素値に応じて、表示部６８を駆動することにより、表示部６８に、画像を表示させる。
【０１０５】
表示部６８は、例えば、ＣＲＴや液晶ディスプレイ等で構成され、ドライバ６７からの制御にしたがって、画像を表示する。
【０１０６】
次に、図１０のフローチャートを参照して、図９の表示装置１０２の動作について説明する。
【０１０７】
Ｉ／Ｆ６３は、読み出し部６１または通信部６２から供給される画像情報を受信し、表示制御部６４のバッファ６５に、１フレームずつ、順次供給して記憶させる。
【０１０８】
そして、ステップＳ１１では、画素値正規化部６６が、ドライバ６７を介して、表示部６８の表示精度を認識する。なお、表示精度は、上述したように、表示部６８が、何ビットの画素値を表示可能であるかを表すから、表示部６８が表示可能な画素値の最大値と最小値の差であるダイナミックレンジということもできるし、表示部６８が識別可能な画素値どうしの差の最小値である分解能ということもできる。
【０１０９】
その後、ステップＳ１２に進み、画素値正規化部６６は、バッファ６５に、画像情報が記憶されているかどうかを判定する。
【０１１０】
ステップＳ１２において、バッファ６５に、画像情報が記憶されていると判定された場合、ステップＳ１３に進み、画素値補正部６６は、バッファ６５から１フレームの画像情報を読み出し、ステップＳ１４に進む。
【０１１１】
ステップＳ１４では、画素値補正部６６は、バッファ６５から読み出した画像情報が、補正画素値である場合には、その補正画素値を、上述したように正規化することにより、正規化画素値とし、ドライバ６７に供給して、ステップＳ１２に戻る。また、画素値補正部６６は、バッファ６５から読み出した画像情報が、画素値と露出時間である場合には、画素値を露出時間で補正することにより、補正画素値とする。さらに、画素値補正部６６は、その補正画素値を、上述したように正規化することにより、正規化画素値とし、ドライバ６７に供給して、ステップＳ１２に戻る。これにより、ドライバ６７では、画素値正規化部６６からの正規化画素値にしたがって、表示部６８が駆動され、対応する画像、即ち、表示部６８のダイナミックレンジ（分解能）を有効に利用した画像が表示される。
【０１１２】
なお、ここでは、表示部６８の表示精度としての、表示部６８が表示可能なビット数Ｋが、補正後画素値のビット数Ｋ’よりも小さいものとしたが、表示部６８の表示精度であるビット数Ｋが、補正後画素値のビット数Ｋ’以上である場合には、画素値正規化部６６では、上述したような正規化を行う必要はなく、従って、画素値正規化部６６は、補正画素値を、そのままドライバ６７に供給する。
【０１１３】
一方、ステップＳ１２において、バッファ６５に、画像情報が記憶されていないと判定された場合、処理を終了する。
【０１１４】
次に、図１１は、図１のディジタルビデオカメラ１０１の第３実施の形態の構成例を示している。なお、図中、図２または図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１のディジタルビデオカメラ１０１は、メモリコントローラ３１およびメモリ３２1，３２2，・・・，３２Nが新たに設けられるとともに、コントローラ５に替えて、コントローラ３３が設けられている他は、図２または図３における場合と基本的に同様に構成されている。
【０１１５】
なお、図１１の実施の形態において、シャッタ２は、図２における場合と同様に、ＤＭＤで構成しているが、図３における場合のように、液晶シャッタで構成することも可能である。但し、図１１では、シャッタ２は、ＣＣＤ３への光の入射を、ＣＣＤ３を構成する画素すべてについて同一にオン／オフさせることができるものであれば良く、従って、ＣＣＤ３への光の入射を画素単位で制御するＤＭＤや液晶シャッタ等で構成する必要はない。
【０１１６】
メモリコントローラ３１は、コントローラ３３からの制御にしたがって、ＣＣＤ３からＡ／Ｄ変換器４を介して供給される画素値を、フレームメモリ３２1乃至３２Nのうちのいずれかに供給して記憶させる。
【０１１７】
メモリ３２1乃至３２Nは、メモリコントローラ３１から供給される画素値を記憶するようになっている。
【０１１８】
コントローラ３３は、シャッタ２における露出時間を複数設定し、その複数の露出時間それぞれで、被写体からの光が、ＣＣＤ３に入射するように、シャッタ２を制御する。従って、この場合、ＣＣＤ３においては、コントローラ３３において設定される複数の露出時間それぞれに対して、１フレームを構成する画素値が出力される。即ち、ＣＣＤ３には、フレーム周期内で、コントローラ３３が設定した複数の露出時間それぞれによる光が入射し、これにより、ＣＣＤ３では、各フレームについて、複数の露出時間それぞれに対応する複数の画像の画素値が出力される。
【０１１９】
さらに、コントローラ３３は、上述のようにして、複数の露出時間それぞれに対応する複数の画像を構成する画素が、各露出時間ごとに同一のメモリ３２n（ｎ＝１，２，・・・，Ｎ）に記憶されるように、コントローラ３１を制御する。即ち、例えば、いま、コントローラ３３において、Ｎ個の露出時間が設定されるとして、ｎ番目に短い露出時間を、第ｎ露出時間というものとすると、コントローラ３３は、ＣＣＤ３からＡ／Ｄ変換器４を介して出力される第ｎ露出時間に対応する画像の画素値が、メモリ３２nに記憶されるように、メモリコントローラ３１を制御する。
【０１２０】
また、コントローラ３３は、メモリ３２1乃至３２Nそれぞれに記憶された複数の露出時間に対応する画像を構成する同一位置の画素の複数の画素値から、その位置の画素について１つの画素値を選択し、その選択した画素値によって、１フレームの画像を構成する。
【０１２１】
さらに、コントローラ３３は、コントローラ５と同様に、上述したようにして構成した１フレームの画像を構成する画素値を、その画素値を得たときの露出時間に基づき、必要に応じて補正し、その補正後の画素値でなる画像データを、例えば、１フレーム単位で、出力する。
【０１２２】
なお、以下においては、コントローラ３３において、複数としてのＮ（Ｎは２以上の整数値）個の露出時間が設定されるものとする。
【０１２３】
次に、図１２は、図１１のコントローラ３３の構成例を示している。なお、図中、図５のコントローラ５と同様に構成される部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１２４】
読み出し部４１は、制御部４２の制御にしたがって、メモリ３２1乃至３２Nのうちのいずれかから、注目している画素の画素値を読み出し、バッファ２１に供給する。
【０１２５】
制御部４２は、評価部２３による、バッファ２１に記憶された画素値の評価結果、さらには、メモリ４４に記憶されたＮ個の露出時間を必要に応じて参照しながら、画素値補正部２２、読み出し部４１、および基準パラメータ決定部４３を制御する。
【０１２６】
基準パラメータ決定部４３は、制御部４２からの制御に基づき、Ｎ個の露出時間を決める際の基準となる基準パラメータを決定する。
【０１２７】
即ち、基準パラメータ決定部４３は、例えば、基準となる１つの露出時間と、その露出時間を基準として、残りのＮ−１個の露出時間を決めるためのパラメータを、基準パラメータとして決定する。
【０１２８】
ここで、基準となる露出時間の他のＮ−１個の露出時間を決めるためのパラメータとしては、例えば、次のようなものがある。即ち、ディジタルビデオカメラにおいては、一般に、使用することのできる複数の露出時間が、あらかじめ設定されている。従って、ある露出時間を基準とした場合には、それより１段階短い露出時間や、１段階長い露出時間は、一意に決まる。従って、そのような段階数を、基準パラメータとして用いることができる。
【０１２９】
基準パラメータ決定部４３は、基準パラメータを決定すると、その基準パラメータに基づいて、Ｎ個の露出時間を設定する。即ち、基準パラメータは決定部４３は、例えば、基準パラメータとして決定された露出時間を、Ｎ個の露出時間のうちの最短値である第１露出時間とし、以下、基準パラメータとして決定された段階数ごとに長い露出時間を、順次、第２露出時間、第３露出時間、・・・、第Ｎ露出時間に設定する。
【０１３０】
従って、例えば、いま、ディジタルビデオカメラに、あらかじめ設定されている複数の露出時間を、その短い順に、Ｓ1，Ｓ2，・・・，ＳMと表すと（但し、Ｍは、Ｎより大きい整数値）、基準の露出時間がＳk（ｋは、１以上Ｍ以下の整数値）で、段階数が１である基準パラメータについては、Ｓk，Ｓk-1，・・・，Ｓk-N+1のＮ個の露出時間が設定される。また、例えば、基準の露出時間がＳkで、段階数が２である基準パラメータについては、Ｓk，Ｓk-2，Ｓk-4，・・・，Ｓk-2(N-1)のＮ個の露出時間が設定される。
【０１３１】
なお、基準パラメータ決定部４３において、基準パラメータに基づいて、Ｎ個の露出時間を設定する際には、そのＮ個の露出時間の隣接するものどうしの段階数を線形または非線形に変化させることも可能である。即ち、基準パラメータ決定部４３においては、例えば、Ｓk，Ｓk-1，Ｓk-3，Ｓk-6，Ｓk-10，・・・といったように、Ｎ個の露出時間を設定することが可能である。
【０１３２】
メモリ４４は、基準パラメータ決定部４３において設定されるＮ個の露出時間を記憶（上書き）する。
【０１３３】
メモリ４４に記憶されたＮ個の露出時間は、シャッタ制御部１２、メモリコントローラ３１（図１１）、制御部４２に供給されるようになっている。これにより、シャッタ制御部１２は、そのＮ個の露出時間それぞれで、被写体からの光が、ＣＣＤ３に入射するように、シャッタ２を制御し、また、メモリコントローラ３１は、Ｎ個の露出時間それぞれについて得られる、Ａ／Ｄ変換器４からの画素値を、各露出時間ごとに、メモリ３２1乃至３２Nのうちの対応するものに記憶させる。
【０１３４】
次に、図１３のフローチャートを参照して、図１１のディジタルビデオカメラ１０１の動作について説明する。
【０１３５】
まず最初に、ステップＳ２１において、コントローラ３３（図１２）の基準パラメータ決定部４３は、デフォルトの基準パラメータに基づいて、Ｎ個の露出時間を設定し、メモリ４４に送信して記憶させる。
【０１３６】
シャッタ制御部１２は、メモリ４４に記憶されたＮ個の露出時間それぞれにしたがって、シャッタ２を制御し、即ち、フレーム周期内において、時分割で、Ｎ個の露出時間それぞれにしたがって、シャッタ２を制御し、これにより、ＣＣＤ３からは、Ｎ個の露出時間それぞれに対応する画像を構成する画素値が、時分割で出力される。
【０１３７】
ＣＣＤ３が時分割で出力する、Ｎ個の露出時間それぞれに対応する画像を構成する画素値は、メモリコントローラ３１に供給される。
【０１３８】
メモリコントローラ３１は、メモリ４４を参照することで、Ｎ個の露出時間それぞれを認識し、そのＮ個の露出時間のうちの、第１露出時間（１番短い露出時間）に対応する画像を構成する画素値を、メモリ３２1に供給して、その画素値の画素に対応するアドレスに記憶させる。同様に、メモリコントローラ３２は、第２露出時間乃至第Ｎ露出時間に対応する画像を構成する画素値も、メモリ３２2乃至３２Nにそれぞれ供給して記憶させる。
【０１３９】
これにより、メモリ３２1乃至３２Nそれぞれには、同一内容の画像を構成する画素について、異なる露出時間で得られた画素値が記憶される。
【０１４０】
その後、ステップＳ２２に進み、制御部４２は、例えば、ラスタスキャン順で、画像を構成する画素を注目画素とし、読み出し部４１を制御することにより、メモリ３２1乃至３２Nのうちの、デフォルトに設定されているメモリ（デフォルトメモリ）を対象として、そこに記憶されている注目画素の画素値を読み出させる。
【０１４１】
なお、デフォルトメモリとするメモリは、特に限定されるものではなく、メモリ３２1乃至３２Nのうちの、例えば、メモリ３２N/2または３２(N-1)/2等の任意のメモリを、デフォルトメモリとすることが可能である。
【０１４２】
ここで、メモリ３２1乃至３２Nのうち、読み出し部４１が画素値を読み出す対象としているものを、以下、適宜、注目メモリという。
【０１４３】
読み出し部４１は、制御部４２の制御にしたがって、注目メモリから、注目画素の画素値を読み出すと、その画素値をバッファ２１に供給して記憶させ、ステップＳ２３に進む。
【０１４４】
ステップＳ２３では、評価部２３は、バッファ２１に記憶された注目画素の画素値を評価し、その評価結果を、制御部４２に出力して、ステップＳ２４に進む。
【０１４５】
ステップＳ２４では、制御部４２は、評価部２３からの評価結果に基づき、注目画素の画素値が、白つぶれの状態であるかどうか（さらには、必要に応じて注目画素の動きが大であるかどうか）を判定する。ステップＳ２４において、注目画素の画素値が、白つぶれの状態であると判定された場合（あるいは、動きが大であると判定された場合）、即ち、注目メモリから読み出した画素値を得るときに用いた露出時間が長すぎる場合、ステップＳ２５に進み、制御部４２は、注目メモリが、最も短い露出時間（第１露出時間）に対応する画像の画素値が記憶されているもの（以下、適宜、最短メモリという）（本実施の形態では、メモリ３２1）であるかどうかを判定する。
【０１４６】
ステップＳ２５において、注目メモリが最短メモリでないと判定された場合、ステップＳ２６に進み、制御部４２は、読み出し部４１を制御することにより、注目メモリを、次に短い露出時間に対応する画像の画素値が記憶されているものに変更させる。即ち、本実施の形態では、注目メモリが、メモリ３２nであるとすると、制御部４２は、注目メモリを、メモリ３２nから、メモリ３２n-1に変更させる。そして、制御部４２は、変更後の注目メモリから、注目画素の画素値を読み出すように、読み出し部４１を制御して、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１４７】
また、ステップＳ２５において、注目メモリが最短メモリであると判定された場合、即ち、いま設定されているＮ個の露出時間のうち、最も短い露出時間を用いて得た画素値であっても、白つぶれの状態となっており、従って、白つぶれの状態を回避するには、露出時間をより短時間化する必要がある場合、ステップＳ２７に進み、制御部４２は、Ｎ個の露出時間の全体または一部（例えば、Ｎ個の露出時間のうちの短いものの幾つか）をより短時間化する要求を、基準パラメータ決定部４３に供給し、ステップＳ２８に進む。
【０１４８】
一方、ステップＳ２４において、注目画素の画素値が、白つぶれの状態でないと判定された場合、ステップＳ２９に進み、制御部４２は、評価部２３からの評価結果に基づき、注目画素の画素値が、黒つぶれの状態であるかどうかを判定する。ステップＳ２９において、注目画素の画素値が、黒つぶれの状態であると判定された場合、即ち、注目メモリから読み出した画素値を得るときに用いた露出時間が短すぎる場合、ステップＳ３０に進み、制御部４２は、注目メモリが、最も長い露出時間（本実施の形態では、第Ｎ露出時間）に対応する画像の画素値が記憶されているもの（以下、適宜、最長メモリという）（本実施の形態では、メモリ３２N）であるかどうかを判定する。
【０１４９】
ステップＳ３０において、注目メモリが最長メモリでないと判定された場合、ステップＳ３１に進み、制御部４２は、読み出し部４１を制御することにより、注目メモリを、次に長い露出時間に対応する画像の画素値が記憶されているものに変更させる。即ち、本実施の形態では、注目メモリが、メモリ３２nであるとすると、制御部４２は、注目メモリを、メモリ３２nから、メモリ３２n+1に変更させる。そして、制御部４２は、変更後の注目メモリから、注目画素の画素値を読み出すように、読み出し部４１を制御し、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１５０】
また、ステップＳ３０において、注目メモリが最長メモリであると判定された場合、即ち、いま設定されているＮ個の露出時間のうち、最も長い露出時間を用いて得た画素値であっても、黒つぶれの状態となっており、従って、黒つぶれの状態を回避するには、露出時間をより長時間化する必要がある場合、ステップＳ３２に進み、制御部４２は、Ｎ個の露出時間の全体または一部（例えば、Ｎ個の露出時間のうちの長いものの幾つか）をより長時間化する要求を、基準パラメータ決定部４３に供給し、ステップＳ２８に進む。
【０１５１】
一方、ステップＳ２９において、注目画素の画素値が、黒つぶれの状態でないと判定された場合、即ち、注目画素の画素値が、白つぶれおよび黒つぶれのいずれの状態でもない場合、ステップＳ２８に進み、バッファ２１に記憶されている注目画素の画素値が、画素値補正部２２に供給される。また、ステップＳ２８では、制御部４２は、バッファ２１に記憶されている画素値を得たときの露出時間を、メモリ４４を参照することで認識し、その露出時間を、画素値補正部２２に供給する。さらに、ステップＳ２８では、画素値補正部２２は、バッファ２１からの注目画素の画素値と、制御部４２からの、その画素値を得るのに用いた露出時間とを対応付けて、メモリ６に供給して記憶させる。
【０１５２】
従って、ステップＳ２８では、画素値補正部２２において、原則として、注目画素について、メモリ３２1乃至３２Nに記憶されている複数の画素値のうち、白つぶれおよび黒つぶれのいずれの状態になっていないものが選択されて、メモリ６に記憶されることになる。
【０１５３】
但し、注目画素について、メモリ３２1乃至３２Nに記憶されている複数の画素値のうち、白つぶれまたは黒つぶれの状態になっていないものが存在しない場合には、白つぶれまたは黒つぶれの状態の程度が最も低い画素値が選択され、メモリ６に記憶されるとともに、その白つぶれまたは黒つぶれの状態を解消するために、露出時間の変更が、制御部４２から基準パラメータ決定部４３に対して要求される。
【０１５４】
メモリ６に、注目画素の画素値と露出時間を記憶させた後は、ステップＳ３３に進み、１フレームの画像を構成する画素値すべてを、メモリ６に書き込んだかどうかが判定される。ステップＳ３３において、１フレームの画像を構成する画素値すべてを、まだ、メモリ６に書き込んでいないと判定された場合、ステップＳ３４に進み、ラスタスキャン順で、いま注目画素となっている次の画素が、新たに注目画素とされ、読み出し部４１において、その注目画素の画素値が、注目メモリから読み出される。そして、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１５５】
また、ステップＳ３３において、１フレームを構成する画素値すべてを、メモリ６に書き込んだと判定された場合、即ち、メモリ６に、１フレームを構成するすべての画素の画素値と、それらに対応付けられた露出時間が記憶された場合、ステップＳ３５に進み、画素値補正部２２は、図７のステップＳ８における場合と同様に、メモリ６から各画素値を読み出し、各画素値を、その画素値に対応付けられた露出時間に基づいて補正し、その補正後の画素値で構成される１フレームの画像データを出力する。
【０１５６】
そして、ステップＳ３６に進み、基準パラメータ決定部４３は、ステップＳ２７またはＳ３２において、露出時間の短時間化または長時間化の要求があった場合には、その要求にしたがった露出時間が設定されるように、基準パラメータを決定し直す。さらに、基準パラメータ決定部４３は、その決定し直した基準パラメータに基づいて、Ｎ個の露出時間を設定し直し、ステップＳ３７に進む。
【０１５７】
なお、露出時間の短時間化または長時間化の要求がなかった場合には、基準パラメータ決定部４３は、前回決定した基準パラメータをそのまま用いて、前回と同一のＮ個の露出時間を設定する。
【０１５８】
ステップＳ３７では、基準パラメータ決定部４３は、ステップＳ３６で設定したＮ個の露出時間を、メモリ４４に供給して記憶させ、ステップＳ２２に戻り、以下、次のフレームについて、同様の処理が繰り返される。
【０１５９】
以上のように、複数の露出時間を設定し、その複数の露出時間それぞれに対応する画像を得て、白つぶれおよび黒つぶれのいずれの状態になっていない画素値を選択することにより、各フレームの画像を構成するようにしたので、コントラストの強い被写体であっても、そのディテールを損なわない画像を得ることができる。そして、この場合も、図および図３における場合と同様に、ＣＣＤ３（あるいはＡ／Ｄ変換器４）のダイナミックレンジを広げた場合と同様の効果を得ることができる。
【０１６０】
なお、図１１の実施の形態においても、メモリ６に記憶された各画素値は、そのまま、その画素値に対応付けられた露出時間とともに出力し、記録媒体１０３に記録、または伝送媒体１０４を介して伝送することが可能である。
【０１６１】
次に、上述の場合には、画素値補正部２２において、露出時間による画素値の補正を、露出時間と画素値とが比例関係にあることを前提として行ったが、露出時間と画素値とが比例関係にない場合には、比例関係を前提とする画素値の補正の結果得られる補正画素値が誤差を含むものとなる。
【０１６２】
そこで、画素値補正部２２では、露出時間と画素値との関係を推定し、その推定結果に基づいて、露出時間による画素値の補正を行うようにすることが可能である。
【０１６３】
即ち、例えば、Ａ／Ｄ変換器４の出力が８ビットである場合には、画素値補正部２２は、幾つかの明るさについて、図１４に示すように、露出時間を変えて、０乃至２５５（＝２8−１）の範囲の画素値を得る。なお、図１４においては、×印が、各露出時間に対して得られた画素値を表している。
【０１６４】
さらに、画素値補正部２２は、各明るさについて得られた、各露出時間による画素値を用いて、各明るさごとの露出時間と画素値との関係を近似する近似曲線を求める。なお、図１４の実施の形態においては、３つの明るさについての露出時間と画素値との関係を表す近似曲線Ｌ１１，Ｌ１２，Ｌ１３が得られている。
【０１６５】
そして、画素値補正部２２は、このようにして得られた近似曲線に基づいて、露出時間による画素値の補正を行う。
【０１６６】
即ち、画素値補正部２２は、図１５に示すように、補正しようとする画素値ｐ0と、その画素値に対する露出時間ｔ0とで規定される点（ｐ0，ｔ0）（図１５において×印で表す）に最も近い近似曲線を求める。図１５の実施の形態では、近似曲線Ｌ２１が、点（ｐ0，ｔ0）に最も近いものとなっている。
【０１６７】
そして、露出時間ｔ0に対する画素値ｐ0を、露出時間ｔ1に対する画素値に補正する場合には、画素値補正部２２は、近似曲線Ｌ２１上の、露出時間ｔ1に対応する点（図１５において○印で示す）を求め、その点によって表される画素値ｐ1を補正画素値とする。
【０１６８】
この場合、精度の良い補正画素値を得ることが可能となる。
【０１６９】
即ち、露出時間と画素値とが、比例関係になく、例えば、図１５の近似曲線Ｌ２１で示すような非線形の関係にある場合には、露出時間と画素値との比例関係を前提として、画素値ｐ0の補正を行うと、画素値ｐ0は、原点を通る直線Ｌ２２上の、露出時間ｔ1に対応する点（図１５において□印で示す）によって表される画素値ｐ3に補正されることになり、誤差ε（＝ｐ3−ｐ1）が生じる。これに対して、近似曲線を用いて、画素値の補正を行う場合には、そのような誤差は生じないことになる。
【０１７０】
ところで、図１３のフローチャートによる処理によれば、Ｎ個のメモリ３２1乃至３２Nに記憶された、Ｎ個の露出時間それぞれについて得られた注目画素の複数の画素値のうち、白つぶれおよび黒つぶれのいずれの状態でもないものが最初に見つかると、画素値補正部２２は、その最初に見つかった画素値を、注目画素の画素値として選択し、メモリ６に記憶させる。
【０１７１】
しかしながら、画素値補正部２２には、例えば、ある画素値を基準画素値として、その基準画素値に近い画素値を、注目画素の画素値として選択させるようにすることが可能である。
【０１７２】
即ち、一般には、Ａ／Ｄ変換器４が出力する画素値の範囲のうちの中間程度の値において、ＣＣＤ３の感度は、最も高くなると考えられる。そこで、基準画素値を、Ａ／Ｄ変換器４が出力する画素値の範囲の中間程度の値とし、画素値補正部２２には、メモリ３２1乃至３２Nそれぞれに記憶された、注目画素のＮ個の画素値のうちの、基準画素値に最も近い画素値を、注目画素の画素値として選択させるようにすることが可能である。
【０１７３】
このようにして選択された画素値によれば、次のような画像が構成されることになる。
【０１７４】
即ち、図１６は、ある被写体について、複数の露出時間を用いて得られた画像の、ある水平ライン上の画素値を示している。なお、図１６の実施の形態では、複数の露出時間として、１／５，１／１０，１／２０，１／３０，１／６０，１／１２０，１／１８０秒の７つの露出時間を用いている。また、図１６において、曲線Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４，Ｌ３５，Ｌ３６，Ｌ３７が、１／５，１／１０，１／２０，１／３０，１／６０，１／１２０，１／１８０秒の露出時間それぞれによって得られた画素値（Ａ／Ｄ変換器４の出力）を示している。
【０１７５】
図１７は、図１６の画素値を、露出時間によって補正した補正画素値を示している。なお、図１７の実施の形態では、画素値と露出時間とが比例関係にあるものとし、１／１０秒を基準の露出時間として、露出時間が１／Ｓ［秒］の画素値を、Ｓ／１０倍することにより、補正画素値を求めている。また、図１７の実施の形態では、露出時間が、１／１０，１／２０，１／３０，１／６０，１／１２０秒の５つの露出時間についての補正画素値を示しており、曲線Ｌ４１，Ｌ４２Ｌ４３，Ｌ４４，Ｌ４５が、１／１０，１／２０，１／３０，１／６０，１／１２０秒の露出時間それぞれによって得られた画素値の補正画素値を示している。
【０１７６】
図１６の画素値は、Ａ／Ｄ変換器の出力であるから、８ビットであるのに対して、図１７の画素値は補正画素値であるから、８ビットより大きいダイナミックレンジが得られている。
【０１７７】
図１８は、基準画素値に最も近い画素値の補正画素値を選択して構成した画像を示している。なお、図１８の実施の形態では、基準画素値として１００を用いている。従って、露出時間Ｔによって得られた画素値をＰTとするとともに、画素値ＰTを補正した補正画素値をｆ（ＰT）とすると、図１８の画像は、例えば、式Ｐ＝ｆ（ｍｉｎ（ＰT−ＰB）2）で得られる補正画素値Ｐによって構成される。但し、ｍｉｎ（ＰT−ＰB）2は、（ＰT−ＰB）2を最小にするＰTを表す。また、ＰBは、基準画素値を表し、ここでは、上述したように１００である。
【０１７８】
図１６と図１８とを比較することにより、Ａ／Ｄ変換器４の出力をそのまま用いる場合には、画素値が０乃至２５５の範囲の画像（図１６）しか得ることができないが、補正画素値による場合には、より広い範囲の画素値（図１８では、０乃至７００程度）による画像、つまり、ダイナミックレンジの広い画像を得ることができる。
【０１７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８０】
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０１８２】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１８５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８７】
なお、図２乃至図４の実施の形態では、シャッタ２として、ＣＣＤ３の各画素ごとに、露出を制御することができるものを用いるようにしたが、シャッタ２としては、その他、例えば、ＣＣＤ３の２画素等の複数画素ごとに、露出を制御することができるものを用いるようにすることが可能である。
【０１８８】
また、本発明は、動画および静止画のいずれにも適用可能である。
【０１８９】
さらに、本実施の形態では、絞りについては、特に言及しなかったが、画素値の評価結果に基づいて、絞りの制御を行うようにすることも可能である。即ち、画素値の評価結果から、黒つぶれまたは白つぶれの状態となっている場合には、それぞれ、絞りを開放し、または絞るように制御することが可能である。なお、絞りは、ユーザが手動で調整するようにしても良い。
【０１９０】
【発明の効果】
本発明の第１の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体によれば、コントラストの強い被写体についても、そのディテールを損なわない画像を得ることが可能となる。
【０１９３】
本発明の第２の撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体によれば、コントラストの強い被写体についても、そのディテールを損なわない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルビデオカメラシステムの構成例を示すブロック図である。
【図２】本発明を適用したディジタルビデオカメラ１０１の第１実施の形態の構成例を示す図である。
【図３】本発明を適用したディジタルビデオカメラ１０１の第２実施の形態の構成例を示すブロック図である。
【図４】図２および図３のコントローラ５の構成例を示すブロック図である。
【図５】図４の画像評価部１１の構成例を示すブロック図である。
【図６】図５の評価部２３の構成例を示すブロック図である。
【図７】図４（図２および図３）のディジタルビデオカメラ１０１の動作を説明するためのフローチャートである。
【図８】メモリ６と２５の記憶内容を示す図である。
【図９】図１の表示装置１０２の構成例を示すブロック図である。
【図１０】図９の表示装置１０２の処理を説明するフローチャートである。
【図１１】本発明を適用したディジタルビデオカメラ１０１の第３実施の形態の構成例を示すブロック図である。
【図１２】図１１のコントローラ３３の構成例を示すブロック図である。
【図１３】図１１のディジタルビデオカメラ１０１の動作を説明するためのフローチャートである。
【図１４】画素値と露出時間との関係を示す図である。
【図１５】画素値と露出時間との関係を近似する近似曲線を用いた画素値の補正を説明する図である。
【図１６】複数の露出時間によって得られた画素値を示す図である。
【図１７】補正画素値を示す図である。
【図１８】基準画素値に最も近い画素値を補正した補正画素値で構成される画像を示す図である。
【図１９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ レンズ， ２ シャッタ， ３ ＣＣＤ， ４ Ａ／Ｄ変換器， ５ コントローラ， ６ メモリ， ７ Ｉ／Ｆ， ８ 記録部， ９ 通信部， １１ 画像評価部， １２ シャッタ制御部， ２１ バッファ， ２２ 画素値補正部， ２３ 評価部， ２４ 露出時間決定部， ２５ メモリ， ３１ メモリコントローラ， ３２1乃至３２N メモリ， ３３ コントローラ， ４１ 読み出し部， ４２ 制御部， ４３ 基準パラメータ決定部， ４４ メモリ， ５１ 読み出し部， ５２ バッファ， ５３ 動き判定部， ５４ 画素値判定部， ６１ 読み出し部， ６２ 通信部， ６３ Ｉ／Ｆ， ６４表示制御部， ６５ バッファ， ６６ 画素値正規化部， ６７ ドライバ， ６８ 表示部， １０１ ディジタルビデオカメラ， １０２ 表示装置， １０３ 記録媒体， １０４ 伝送媒体， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
Claims (32)
- 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御装置であって、
前記画素値を評価する評価手段と、
前記評価手段による評価結果に基づいて、前記受光面に対する露出時間を、画素単位で制御する制御手段と
を備え、
前記評価手段は、
前記撮像手段が出力する前記画素値を記憶する第１記憶手段と、
前記撮像手段が出力する前記画素値のうちの注目しているものである注目画素値と、前記第１記憶手段に記憶された画素値のうちの前記注目画素値に対応する画素値とを比較することにより、前記注目画素値に対応する画素である注目画素の動きを判定する動き判定手段と、
前記注目画素値が所定の範囲の値であるかどうかを判定する画素値判定手段と
を有し、
前記制御手段は、前記注目画素値が所定の範囲内の値でないときに、前記注目画素値が所定の範囲内の値になるように、前記受光面の、前記注目画素に対する露出時間を制御するとともに、前記注目画素値の動きの判定結果に基づいて、前記受光面の、前記注目画素に対する露出時間を制御する
ことを特徴とする撮像制御装置。 - 前記制御手段は、前記注目画素値が所定の値以上であるときに、その画素値に対応する前記受光面の画素に対する露出時間を短くする
ことを特徴とする請求項１に記載の撮像制御装置。 - 前記制御手段は、前記注目画素値が所定の値以下であるときに、その画素値に対応する前記受光面の画素に対する露出時間を長くする
ことを特徴とする請求項１に記載の撮像制御装置。 - 前記制御手段は、
前記光を、前記受光面に反射する、回動自在に設けられた複数の反射ミラーと、
前記評価手段による評価結果に基づいて、前記複数の反射ミラーそれぞれの回動を制御することにより、前記受光面に対する露出時間を、画素単位で制御する回動制御部と
を有する
ことを特徴とする請求項１に記載の撮像制御装置。 - 前記制御手段は、
前記光を透過または反射し、前記受光部に入射させる液晶シャッタを有し、
前記評価手段による評価結果に基づいて、前記液晶シャッタにおける光の通過または反射を画素単位で制御することにより、前記受光面に対する露出時間を、画素単位で制御する液晶制御部と
を有する
ことを特徴とする請求項１に記載の撮像制御装置。 - 前記撮像手段が出力する前記画素値を、その画素値に対応する画素の露出時間に基づいて補正する補正手段をさらに備える
ことを特徴とする請求項１に記載の撮像制御装置。 - 前記撮像手段が出力する複数の画素値と、その複数の画素値に対応する画素それぞれの露出時間とを記憶する第２記憶手段をさらに備え、
前記補正手段は、前記第２記憶手段に記憶された複数の露出時間のうちの最長の露出時間を１／ＳBASEとするとともに、前記第２記憶手段に記憶された画素値の露出時間を１／Ｓとするとき、前記第２記憶手段に記憶された画素値をＳ／ＳBASE倍することにより、前記画素値を補正する
ことを特徴とする請求項６に記載の撮像制御装置。 - 前記補正手段において補正された画素値に応じて、画像を表示する表示部に、画像を表示する表示制御部をさらに備える
ことを特徴とする請求項６に記載の撮像制御装置。 - 前記撮像手段が出力する画素値と、その画素値に対応する画素の露出時間とに応じて、画像を表示する表示部に、画像を表示する表示制御部をさらに備える
ことを特徴とする請求項１に記載の撮像制御装置。 - 前記表示制御部は、
前記撮像手段が出力する複数の画素値と、各画素値に対応する画素の露出時間とを記憶する第２記憶手段と、
前記第２記憶手段に記憶された複数の画素値それぞれを、対応する露出時間により補正する補正部と、
前記表示部の表示精度に応じて、補正後の前記画素値を正規化する正規化部と
を有する
ことを特徴とする請求項９に記載の撮像制御装置。 - 前記撮像手段が出力する複数の画素値と、各画素値に対応する画素の露出時間と対応付けて記憶する第２記憶手段をさらに備える
ことを特徴とする請求項１に記載の撮像制御装置。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像方法であって、
前記撮像手段から取得した前記画素値を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記受光面に対する露出時間を、画素単位で制御する制御ステップと
を備え、
前記評価ステップの処理は、
前記撮像手段が出力する前記画素値を記憶手段に記憶する記憶ステップと、
前記撮像手段が出力する前記画素値のうちの注目しているものである注目画素値と、前記記憶手段に記憶された画素値のうちの前記注目画素値に対応する画素値とを比較することにより、前記注目画素値に対応する画素である注目画素の動きを判定する動き判定ステップと、
前記注目画素値が所定の範囲の値であるかどうかを判定する画素値判定ステップと
を有し、
前記制御ステップの処理では、前記注目画素値が所定の範囲内の値でないときに、前記注目画素値が所定の範囲内の値になるように、前記受光面の、前記注目画素に対する露出時間が制御されるとともに、前記注目画素値の動きの判定結果に基づいて、前記受光面の、前記注目画素に対する露出時間が制御される
ことを特徴とする撮像制御方法。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御処理を、コンピュータに行わせるプログラムであって、
前記撮像手段から取得した前記画素値を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記受光面に対する露出時間を、画素単位で制御する制御ステップと
を備え、
前記評価ステップの処理は、
前記撮像手段が出力する前記画素値を記憶手段に記憶する記憶ステップと、
前記撮像手段が出力する前記画素値のうちの注目しているものである注目画素値と、前記記憶手段に記憶された画素値のうちの前記注目画素値に対応する画素値とを比較することにより、前記注目画素値に対応する画素である注目画素の動きを判定する動き判定ステップと、
前記注目画素値が所定の範囲の値であるかどうかを判定する画素値判定ステップと
を有し、
前記制御ステップの処理では、前記注目画素値が所定の範囲内の値でないときに、前記注目画素値が所定の範囲内の値になるように、前記受光面の、前記注目画素に対する露出時間が制御されるとともに、前記注目画素値の動きの判定結果に基づいて、前記受光面の、前記注目画素に対する露出時間が制御される
ことを特徴とするプログラム。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、
前記撮像手段から取得した前記画素値を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記受光面に対する露出時間を、画素単位で制御する制御ステップと
を備え、
前記評価ステップの処理は、
前記撮像手段が出力する前記画素値を記憶手段に記憶する記憶ステップと、
前記撮像手段が出力する前記画素値のうちの注目しているものである注目画素値と、前記記憶手段に記憶された画素値のうちの前記注目画素値に対応する画素値とを比較することにより、前記注目画素値に対応する画素である注目画素の動きを判定する動き判定ステップと、
前記注目画素値が所定の範囲の値であるかどうかを判定する画素値判定ステップと
を有し、
前記制御ステップの処理では、前記注目画素値が所定の範囲内の値でないときに、前記注目画素値が所定の範囲内の値になるように、前記受光面の、前記注目画素に対する露出時間が制御されるとともに、前記注目画素値の動きの判定結果に基づいて、前記受光面の、前記注目画素に対する露出時間が制御される
プログラムが記録されているコンピュータ読み取り可能なプログラム記録媒体。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御装置であって、
前記受光面に対する複数の露出時間を制御する制御手段と、
前記撮像手段において、前記制御手段の制御に基づき、前記被写体を、前記複数の露出時間で撮像することにより得られる、各画素位置の、前記複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択手段と、
前記撮像手段が出力する各画素位置の前記画素値を、その画素値に対応する露出時間に基づいて補正する補正手段と
を備えることを特徴とする撮像制御装置。 - 前記選択手段は、前記複数の露出時間それぞれに対応する画素値から、所定の値に最も近い１つの画素値を選択する
ことを特徴とする請求項１５に記載の撮像制御装置。 - 前記複数の露出時間それぞれに対応する画素値のうちの、少なくとも１つの画素値を評価する評価手段をさらに備え、
前記制御手段は、前記評価手段による評価結果に基づいて、前記複数の露出時間のうちの、少なくとも１つを変更する
ことを特徴とする請求項１５に記載の撮像制御装置。 - 前記評価手段は、前記複数の露出時間それぞれに対応する画素値のうちの、少なくとも１つの画素値が所定の範囲の値であるかどうかを評価し、
前記選択手段は、前記少なくとも１つの画素値が所定の範囲内の値でないときに、前記複数の露出時間のうちの、前記少なくとも１つの画素値に対応する露出時間以外の露出時間に対応する画素値を選択する
ことを特徴とする請求項１７に記載の撮像制御装置。 - 前記選択手段は、前記少なくとも１つの画素値が所定の値以上であるときに、前記複数の露出時間のうちの、前記少なくとも１つの画素値に対応する露出時間よりも短い露出時間に対応する画素値を選択する
ことを特徴とする請求項１８に記載の撮像制御装置。 - 前記選択手段は、前記少なくとも１つの画素値が所定の値以下であるときに、前記複数の露出時間のうちの、前記少なくとも１つの画素値に対応する露出時間よりも長い露出時間に対応する画素値を選択する
ことを特徴とする請求項１８に記載の撮像制御装置。 - 前記制御手段は、
前記光を、前記受光面に反射する、回動自在に設けられた複数の反射ミラーと、
前記評価手段による評価結果に基づいて、前記複数の反射ミラーそれぞれの回動を制御することにより、前記受光面に対する露出時間を制御する回動制御部と
を有する
ことを特徴とする請求項１７に記載の撮像制御装置。 - 前記制御手段は、
前記光を透過または反射し、前記受光面に入射させる液晶シャッタを有し、
前記評価手段による評価結果に基づいて、前記液晶シャッタにおける光の通過または反射を受光面単位で制御することにより、前記受光面に対する露出時間を制御する液晶制御部と
を有する
ことを特徴とする請求項１７に記載の撮像制御装置。 - 前記選択手段において選択された画素値を記憶する記憶手段をさらに備える
ことを特徴とする請求項１５に記載の撮像制御装置。 - 前記評価手段は、前記撮像手段が出力する画素値のうちの注目しているものである注目画素値と、前記記憶手段に記憶された画素値のうちの前記注目画素値に対応する画素値とを比較することにより、前記注目画素値に対する画素である注目画素の動きを判定する動き判定部を有し、
前記制御手段は、前記注目画素の動きの判定結果に基づいて、前記露出時間を制御する
ことを特徴とする請求項２３に記載の撮像制御装置。 - 前記記憶手段は、前記選択手段において選択された各画素位置の画素値を記憶するとともに、その画素値の露出時間を記憶する
ことを特徴とする請求項２３に記載の撮像制御装置。 - 前記補正手段は、前記記憶手段に記憶された複数の露出時間のうちの最長の露出時間を１／ＳBASEとするとともに、前記記憶手段に記憶された画素値の露出時間を１／Ｓとするとき、前記記憶手段に記憶された画素値をＳ／ＳBASE倍することにより、前記画素値を補正する
ことを特徴とする請求項２５に記載の撮像制御装置。 - 前記補正手段において補正された画素値に応じて、画像を表示する表示部に、画像を表示する表示制御部をさらに備える
ことを特徴とする請求項２３に記載の撮像制御装置。 - 前記選択手段において選択された画素値と、その画素値に対応する露出時間とに応じて、画像を表示する表示部に、画像を表示する表示制御部をさらに備える
ことを特徴とする請求項１５に記載の撮像制御装置。 - 前記表示制御部は、
前記記憶手段に記憶された複数の画素値それぞれを、対応する露出時間により補正する補正部と、
前記表示部の表示精度に応じて、補正後の前記画素値を正規化する正規化部と
を有する
ことを特徴とする請求項２５に記載の撮像制御装置。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御方法であって、
前記撮像手段における前記受光面に対する複数の露出時間を制御する制御ステップと、
前記撮像手段において、前記制御ステップにおける制御に基づき、前記被写体を、前記複数の露出時間で撮像することにより得られる、各画素位置の、前記複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップと、
前記撮像手段が出力する各画素位置の前記画素値を、その画素値に対応する露出時間に基づいて補正する補正ステップと
を備えることを特徴とする撮像制御方法。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御処理を、コンピュータに行わせるプログラムであって、
前記撮像手段における前記受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、前記複数の露出時間それぞれに対応する画素値を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップと、
前記撮像手段が出力する各画素位置の前記画素値を、その画素値に対応する露出時間に基づいて補正する補正ステップと
を備えることを特徴とするプログラム。 - 被写体からの光を受光して光電変換する受光面を有し、その光電変換の結果得られる画素値を出力する撮像手段を制御する撮像制御処理を、コンピュータに行わせるプログラムが記録されているプログラム記録媒体であって、
前記撮像手段における前記受光面に対する複数の露出時間を制御することにより得られる、各画素位置の、前記複数の露出時間それぞれに対応する画素値を評価する評価ステップと、
前記評価ステップによる評価結果に基づいて、前記複数の露出時間それぞれに対応する画素値から、１つの画素値を選択する選択ステップと、
前記撮像手段が出力する各画素位置の前記画素値を、その画素値に対応する露出時間に基づいて補正する補正ステップと
を備えるプログラムが記録されているコンピュータ読み取り可能なプログラム記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001105852A JP4844780B2 (ja) | 2000-04-13 | 2001-04-04 | 撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体 |
| US10/009,760 US7477305B2 (en) | 2000-04-13 | 2001-04-13 | Imaging device and imaging method |
| PCT/JP2001/003203 WO2001080551A1 (fr) | 2000-04-13 | 2001-04-13 | Dispositif d'imagerie et procede d'imagerie |
| KR1020017015996A KR100860154B1 (ko) | 2000-04-13 | 2001-04-13 | 촬상 장치 및 촬상 방법 |
| US11/731,548 US7602428B2 (en) | 2000-04-13 | 2007-03-30 | Image pick-up apparatus and image pick-up method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000112345 | 2000-04-13 | ||
| JP2000-112345 | 2000-04-13 | ||
| JP2000112345 | 2000-04-13 | ||
| JP2001105852A JP4844780B2 (ja) | 2000-04-13 | 2001-04-04 | 撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001358989A JP2001358989A (ja) | 2001-12-26 |
| JP2001358989A5 JP2001358989A5 (ja) | 2008-04-24 |
| JP4844780B2 true JP4844780B2 (ja) | 2011-12-28 |
Family
ID=26590061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001105852A Expired - Fee Related JP4844780B2 (ja) | 2000-04-13 | 2001-04-04 | 撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7477305B2 (ja) |
| JP (1) | JP4844780B2 (ja) |
| KR (1) | KR100860154B1 (ja) |
| WO (1) | WO2001080551A1 (ja) |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7158180B2 (en) * | 2001-12-31 | 2007-01-02 | Texas Instruments Incorporated | System and method for varying exposure time for different parts of a field of view while acquiring an image |
| US20040130649A1 (en) * | 2003-01-03 | 2004-07-08 | Chulhee Lee | Cameras |
| SE0301137D0 (sv) * | 2003-04-16 | 2003-04-16 | Saab Ab | Optiskt system samt ett målsökande system innefattande ett optiskt system |
| JP4281453B2 (ja) * | 2003-07-31 | 2009-06-17 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| US7595819B2 (en) | 2003-07-31 | 2009-09-29 | Sony Corporation | Signal processing device and signal processing method, program, and recording medium |
| JP4298457B2 (ja) * | 2003-10-01 | 2009-07-22 | キヤノン株式会社 | 走査型画像表示装置およびそれを有する映像撮影装置 |
| WO2005043227A2 (en) * | 2003-10-31 | 2005-05-12 | Drexel University | Devices and methods for imaging with continuous tilt micromirror arrays |
| US7236150B2 (en) * | 2003-12-19 | 2007-06-26 | Texas Instruments Incorporated | Transferring data directly between a processor and a spatial light modulator |
| US7382516B2 (en) * | 2004-06-18 | 2008-06-03 | Angstrom, Inc. | Discretely controlled micromirror with multi-level positions |
| US7751694B2 (en) * | 2004-02-13 | 2010-07-06 | Angstrom, Inc. | Three-dimensional endoscope imaging and display system |
| US7330297B2 (en) * | 2005-03-04 | 2008-02-12 | Angstrom, Inc | Fine control of rotation and translation of discretely controlled micromirror |
| US7898144B2 (en) * | 2006-02-04 | 2011-03-01 | Angstrom, Inc. | Multi-step microactuator providing multi-step displacement to a controlled object |
| US7474454B2 (en) * | 2004-06-18 | 2009-01-06 | Angstrom, Inc. | Programmable micromirror motion control system |
| US8537204B2 (en) * | 2004-07-08 | 2013-09-17 | Gyoung Il Cho | 3D television broadcasting system |
| US7580178B2 (en) * | 2004-02-13 | 2009-08-25 | Angstrom, Inc. | Image-guided microsurgery system and method |
| US7350922B2 (en) * | 2004-02-13 | 2008-04-01 | Angstrom, Inc. | Three-dimensional display using variable focal length micromirror array lens |
| US7173653B2 (en) * | 2004-03-22 | 2007-02-06 | Angstrom, Inc. | Imaging stabilizer using micromirror array lens |
| US7410266B2 (en) * | 2004-03-22 | 2008-08-12 | Angstrom, Inc. | Three-dimensional imaging system for robot vision |
| US7339746B2 (en) | 2004-03-22 | 2008-03-04 | Angstrom, Inc. | Small and fast zoom system using micromirror array lens |
| US7768571B2 (en) * | 2004-03-22 | 2010-08-03 | Angstrom, Inc. | Optical tracking system using variable focal length lens |
| US7742232B2 (en) * | 2004-04-12 | 2010-06-22 | Angstrom, Inc. | Three-dimensional imaging system |
| US20070040924A1 (en) * | 2005-08-19 | 2007-02-22 | Stereo Display, Inc. | Cellular phone camera with three-dimensional imaging function |
| US8049776B2 (en) * | 2004-04-12 | 2011-11-01 | Angstrom, Inc. | Three-dimensional camcorder |
| US7619614B2 (en) * | 2004-04-12 | 2009-11-17 | Angstrom, Inc. | Three-dimensional optical mouse system |
| US20070115261A1 (en) * | 2005-11-23 | 2007-05-24 | Stereo Display, Inc. | Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens |
| US7777959B2 (en) * | 2004-05-27 | 2010-08-17 | Angstrom, Inc. | Micromirror array lens with fixed focal length |
| US7354167B2 (en) | 2004-05-27 | 2008-04-08 | Angstrom, Inc. | Beam focusing and scanning system using micromirror array lens |
| US7667896B2 (en) | 2004-05-27 | 2010-02-23 | Angstrom, Inc. | DVD recording and reproducing system |
| JP4250583B2 (ja) * | 2004-09-30 | 2009-04-08 | 三菱電機株式会社 | 画像撮像装置及び画像復元方法 |
| US7619807B2 (en) * | 2004-11-08 | 2009-11-17 | Angstrom, Inc. | Micromirror array lens with optical surface profiles |
| US20060198011A1 (en) * | 2005-03-04 | 2006-09-07 | Stereo Display, Inc. | Volumetric three-dimensional device using two-dimensional scanning device |
| US20060203117A1 (en) * | 2005-03-10 | 2006-09-14 | Stereo Display, Inc. | Video monitoring system using variable focal length lens |
| US20070041077A1 (en) * | 2005-08-19 | 2007-02-22 | Stereo Display, Inc. | Pocket-sized two-dimensional image projection system |
| US9736346B2 (en) | 2006-05-09 | 2017-08-15 | Stereo Display, Inc | Imaging system improving image resolution of the system with low resolution image sensor |
| JP4684173B2 (ja) * | 2006-06-06 | 2011-05-18 | シーケーディ株式会社 | 外観検査装置及びｐｔｐシートの製造装置 |
| US7365899B2 (en) * | 2006-08-10 | 2008-04-29 | Angstrom, Inc. | Micromirror with multi-axis rotation and translation |
| JP4293210B2 (ja) * | 2006-08-18 | 2009-07-08 | ソニー株式会社 | 物理量検出装置、物理量検出装置の駆動方法、固体撮像装置、固体撮像装置の駆動方法、及び撮像装置 |
| US7589884B2 (en) * | 2006-09-22 | 2009-09-15 | Angstrom, Inc. | Micromirror array lens with encapsulation of reflective metal layer and method of making the same |
| US7589885B2 (en) * | 2006-09-22 | 2009-09-15 | Angstrom, Inc. | Micromirror array device comprising encapsulated reflective metal layer and method of making the same |
| US7488082B2 (en) | 2006-12-12 | 2009-02-10 | Angstrom, Inc. | Discretely controlled micromirror array device with segmented electrodes |
| US20080174691A1 (en) * | 2007-01-19 | 2008-07-24 | Quality Vision International Inc. | Strobed image acquisition guided by range sensor |
| US7535618B2 (en) * | 2007-03-12 | 2009-05-19 | Angstrom, Inc. | Discretely controlled micromirror device having multiple motions |
| US9505606B2 (en) * | 2007-06-13 | 2016-11-29 | Angstrom, Inc. | MEMS actuator with discretely controlled multiple motions |
| KR101380615B1 (ko) * | 2007-06-28 | 2014-04-14 | 삼성전자주식회사 | 영상 동적 범위 향상 방법 및 장치 |
| US7605988B2 (en) * | 2007-07-23 | 2009-10-20 | Angstrom, Inc. | Compact image taking lens system with a lens-surfaced prism |
| US7589916B2 (en) * | 2007-08-10 | 2009-09-15 | Angstrom, Inc. | Micromirror array with iris function |
| US20090185067A1 (en) * | 2007-12-21 | 2009-07-23 | Stereo Display, Inc. | Compact automatic focusing camera |
| US8810908B2 (en) * | 2008-03-18 | 2014-08-19 | Stereo Display, Inc. | Binoculars with micromirror array lenses |
| US20090303569A1 (en) * | 2008-05-20 | 2009-12-10 | Stereo Didplay, Inc. | Self-tilted micromirror device |
| US8622557B2 (en) * | 2008-05-20 | 2014-01-07 | Stereo Display, Inc. | Micromirror array lens with self-tilted micromirrors |
| CN101651785B (zh) * | 2008-08-15 | 2012-11-21 | 鸿富锦精密工业（深圳）有限公司 | 成像装置及其成像方法 |
| TWI386047B (zh) * | 2008-08-29 | 2013-02-11 | Hon Hai Prec Ind Co Ltd | 成像裝置及其成像方法 |
| TWI419146B (zh) * | 2009-07-23 | 2013-12-11 | Novatek Microelectronics Corp | 畫面翻轉方法及裝置 |
| JP2012235332A (ja) | 2011-05-02 | 2012-11-29 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
| US8964088B2 (en) * | 2011-09-28 | 2015-02-24 | Semiconductor Components Industries, Llc | Time-delay-and-integrate image sensors having variable intergration times |
| WO2016062785A2 (en) * | 2014-10-21 | 2016-04-28 | University College Cork - National University Of Ireland, Cork | Smart photonic imaging method and apparatus |
| KR101673701B1 (ko) | 2014-11-24 | 2016-11-07 | 현대자동차주식회사 | 눈 검출장치 및 방법 |
| JP6818461B2 (ja) * | 2016-08-01 | 2021-01-20 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
| US10789913B2 (en) * | 2018-01-04 | 2020-09-29 | Qualcomm Incorporated | Arbitrary block rendering and display frame reconstruction |
| JP7260966B2 (ja) * | 2018-02-19 | 2023-04-19 | 京セラ株式会社 | 電磁波検出装置 |
| CN114255177B (zh) * | 2021-11-25 | 2022-09-23 | 北京百度网讯科技有限公司 | 成像中的曝光控制方法、装置、设备及存储介质 |
| CN117714891A (zh) * | 2023-11-14 | 2024-03-15 | 四川新视创伟超高清科技有限公司 | 一种应用于相机的曝光系统、方法及相机 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0817455B2 (ja) * | 1987-06-09 | 1996-02-21 | キヤノン株式会社 | 撮像装置 |
| JP2830482B2 (ja) * | 1991-01-11 | 1998-12-02 | 株式会社ニコン | 高ダイナミックレンジ撮像装置 |
| US5418546A (en) * | 1991-08-20 | 1995-05-23 | Mitsubishi Denki Kabushiki Kaisha | Visual display system and exposure control apparatus |
| US5517242A (en) * | 1993-06-29 | 1996-05-14 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Image sensing device having expanded dynamic range |
| JP3397469B2 (ja) * | 1994-10-20 | 2003-04-14 | キヤノン株式会社 | 固体撮像装置 |
| KR100227485B1 (ko) * | 1997-06-24 | 1999-11-01 | 김영환 | 영상프레임의 시분할방식을 이용한 광셔터 방식의 1패널 lcd 프로젝터 |
| JPH1198409A (ja) * | 1997-09-24 | 1999-04-09 | Honda Motor Co Ltd | イメージ検出装置 |
| JP4003151B2 (ja) * | 1998-07-09 | 2007-11-07 | 富士フイルム株式会社 | 撮像装置 |
| JP2000141761A (ja) * | 1998-11-17 | 2000-05-23 | Minolta Co Ltd | 固体走査型光書込み装置 |
| JP3615454B2 (ja) * | 2000-03-27 | 2005-02-02 | 三洋電機株式会社 | ディジタルカメラ |
| JP3697256B2 (ja) * | 2003-02-12 | 2005-09-21 | キヤノン株式会社 | 撮像装置およびレンズ装置 |
-
2001
- 2001-04-04 JP JP2001105852A patent/JP4844780B2/ja not_active Expired - Fee Related
- 2001-04-13 KR KR1020017015996A patent/KR100860154B1/ko not_active IP Right Cessation
- 2001-04-13 WO PCT/JP2001/003203 patent/WO2001080551A1/ja active Application Filing
- 2001-04-13 US US10/009,760 patent/US7477305B2/en not_active Expired - Fee Related
-
2007
- 2007-03-30 US US11/731,548 patent/US7602428B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2001080551A1 (fr) | 2001-10-25 |
| JP2001358989A (ja) | 2001-12-26 |
| US20070171292A1 (en) | 2007-07-26 |
| KR100860154B1 (ko) | 2008-09-24 |
| US7602428B2 (en) | 2009-10-13 |
| KR20020023954A (ko) | 2002-03-29 |
| US20030174234A1 (en) | 2003-09-18 |
| US7477305B2 (en) | 2009-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4844780B2 (ja) | 撮像制御装置、撮像制御方法、プログラム、およびプログラム記録媒体 | |
| JP4544332B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| US7379094B2 (en) | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range | |
| JP4424402B2 (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
| KR100868595B1 (ko) | 촬상 장치, 노출 제어 방법, 및 촬상 장치에 저장된 컴퓨터 판독가능한 매체 | |
| CN101635797B (zh) | 摄像装置 | |
| JP6278713B2 (ja) | 撮像装置および撮像方法 | |
| KR20050022748A (ko) | 조도차가 큰 사진의 화질 개선 장치 및 방법 | |
| JP2010068386A (ja) | 撮像装置、撮像方法及びプログラム | |
| KR20090033082A (ko) | 촬상 장치, 촬상 방법, 및 촬상 프로그램 | |
| US7256832B2 (en) | CCD camera forming a still image by adding offset values to the odd and even fields and method for controlling the same | |
| JP2003158669A (ja) | 撮像装置 | |
| CN105430254A (zh) | 图像处理装置、摄像装置、图像处理方法 | |
| JP2009200743A (ja) | 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置 | |
| KR101544741B1 (ko) | 촬상 장치, 이의 제어 방법 및 상기 제어 방법을 기록한기록 매체 | |
| JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
| JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
| JP3822486B2 (ja) | 電子カメラおよび信号処理方法 | |
| JP3853891B2 (ja) | 電子スチルカメラ | |
| JP2000050160A (ja) | 画像合成装置，画像合成方法及び画像合成方法を記憶した記憶媒体 | |
| JP6990988B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
| JP2005204196A (ja) | 撮像装置および方法、記録媒体、並びにプログラム | |
| JP2003189126A (ja) | 撮像装置 | |
| JP2014027460A (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
| JPH06343159A (ja) | ブレ補正機能を有する画像記録・再生システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |