JPWO2019021626A1 - 撮像装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

記録用画像の露光期間内においても表示用画像を出力し、かつ高画質の記録用画像を生成可能とした装置、方法を提供する。撮像素子は、高画素数の記録用画像の露光期間中、撮像素子の構成画素を間引きした低画素数の表示用画像の出力を実行する。記録用画像補正部は、フレームメモリから露光期間経過後の記録用画像を入力し、記録用画像の構成画素中、撮像素子からの表示用画像出力に起因して発生する欠陥画素の画素値を、記録用画像の露光期間内に出力された表示用画像の画素値の加算値を利用して補正することで、記録用画像の露光期間の露光処理を行ったと同様の画素値に補正する。

Description

本開示は、撮像装置、および画像処理方法、並びにプログラムに関する。特に、撮像装置の表示部に対する画像表示を継続させながら高画質の撮影画像を取得可能とした撮像装置、および画像処理方法、並びにプログラムに関する。

カメラ（撮像装置）を用いて画像撮影を行う場合、多くのユーザ（撮影者）はカメラのＬＣＤ表示部やＥＶＦ（ｅｌｅｃｔｒｉｃ ｖｉｅｗｆｉｎｄｅｒ）等の表示部に表示された画像を確認する。
例えば、ユーザ（撮影者）は、この表示部に表示される画像を観察して、撮影タイミングを決定して、レリーズボタン（シャッターボタン）を押下することができる。
また、ユーザ（撮影者）は、撮影した画像を表示部に表示して、撮影画像の確認を行うことができる。

撮影を行っていない場合、撮像装置の表示部には、撮像装置の撮像素子に入射している現在の画像、すなわちライブビュー画像（ＬＶ画像）が表示される。ライブビュー画像（ＬＶ画像）はスルー画とも呼ばれ、ユーザ（撮影者）は、この表示部に表示されるライブビュー画像（ＬＶ画像）を確認して、撮影タイミングを決定することができる。

ユーザ（撮影者）が撮影処理を行う場合、レリーズボタン（シャッターボタン）を押下する。このレリーズボタン操作処理に伴い、撮像素子では、記録用画像の露光処理が開始される。

しかし、多くの撮像装置では、この記録用画像の露光処理の開始により、撮像素子からのライブビュー画像（ＬＶ画像）の読み出しが停止され、この結果、表示部に何も表示されない期間が発生する。いわゆる表示部のブラックアウトが発生する。なお、表示部のブラックアウトについては、例えば、特許文献１（特開２０１５−１８６２３４号公報）等に記載がある。

ブラックアウトが発生すると、ユーザ（撮影者）は表示画像の確認ができなくなる。
また、レリーズボタンの押下に伴い発生する表示部のブラックアウトが影響して、ユーザは、違和感や、操作ミスを行ったと勘違いする等の問題が発生する恐れがある。

特開２００８−１８６２３４号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、撮像装置の表示部に対する画像表示を継続させながら高画質の撮影画像を取得可能とした撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力する撮像素子と、
前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正する画像補正部と、
を備える撮像装置にある。

さらに、本開示の第２の側面は、
撮像装置において実行する画像処理方法であり、
撮像素子が、第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力し、
画像補正部が、前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正する、
画像処理方法にある。

さらに、本開示の第３の側面は、
撮像装置において画像処理を実行させるプログラムであり、
撮像素子に、第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力させ、
画像補正部に、前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正させる、
プログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、記録用画像の露光期間内においても表示用画像を出力し、かつ高画質の記録用画像を生成可能とした装置、方法が実現される。
具体的には、例えば、撮像素子は、高画素数の記録用画像の露光期間中、撮像素子の構成画素を間引きした低画素数の表示用画像の出力を実行する。記録用画像補正部は、フレームメモリから露光期間経過後の記録用画像を入力し、記録用画像の構成画素中、撮像素子からの表示用画像出力に起因して発生する欠陥画素の画素値を、記録用画像の露光期間内に出力された表示用画像の画素値の加算値を利用して補正することで、記録用画像の露光期間の露光処理を行ったと同様の画素値に補正する。
これらの処理により、記録用画像の露光期間内においても表示用画像を出力し、かつ高画質の記録用画像を生成可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像装置における画像の撮影、および表示処理におけるデータ処理シーケンスについて説明する図である。 撮像装置の表示部に表示用画像（ＬＶ画像）を表示する場合の処理シーケンスを説明するタイミングチャートを示す図である。 撮像装置の表示部に表示用画像（ＬＶ画像）を表示し、その間に、撮影処理を行い、記録用画像（ＣＡＰ画像）の記録処理を行った場合の処理シーケンスを説明するタイミングチャートを示す図である。 本開示の撮像装置の実行する処理の概要について説明する図である。 撮像装置の表示部に表示用画像（ＬＶ画像）を表示しながら、撮影処理を行い、記録用画像（ＣＡＰ画像）の記録処理を行った場合の問題点について説明する図である。 本開示の撮像装置の構成例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 本開示の撮像装置の信号処理部の構成と処理例について説明する図である。 記録用画像（ＣＡＰ画像）の露光開始タイミングが、規定の表示用画像（ＬＶ）の露光処理期間の途中に設定される例について説明する図である。 記録用画像（ＣＡＰ画像）の露光開始タイミングが、規定の表示用画像（ＬＶ）の露光処理期間の途中に設定される場合の信号処理部の処理例について説明する図である。 撮像装置の実行する処理シーケンスを説明するフローチャートを示す図である。 メカシャッターを有する撮像装置の処理について説明する図である。 記録用画像の欠陥画素を周囲画素の画素値に基づいて補正する構成例について説明する図である。 記録用画像の欠陥画素を周囲画素の画素値に基づいて補正する処理例について説明する図である。 撮像装置の構成例について説明する図である。

以下、図面を参照しながら本開示の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像装置における画像の撮影、および表示処理の概要について
２．本開示の撮像装置の実行する処理の概要について
３．本開示の撮像装置の構成例について
４．信号処理部の構成と処理について
５．メカシャッターを有する撮像装置の場合の処理例について
６．記録用画像の欠陥画素を周囲画素の画素値に基づいて補正する実施例について
７．その他の実施例について
８．本開示の構成のまとめ

［１．撮像装置における画像の撮影、および表示処理の概要について］
まず、図１以下を参照して、一般的な撮像装置（カメラ）における画像の撮影、および表示処理の概要について説明する。
図１には、一般的な撮像装置における以下の処理例を示している。
（１）撮影処理非実行時（ライブビュー画像（ＬＶ）表示処理実行時）のデータ処理例
（２）撮影処理実行時（キャプチャ画像（ＣＡＰ）記録処理実行時）のデータ処理例

なお、ライブビュー画像（ＬＶ）とは、撮像装置の表示部、例えばＬＣＤや、ＥＶＦ等、ユーザ（撮影者）が確認可能な表示部に表示される画像である。スルー画とも呼ばれ、撮影処理の実行、非実行に関わらず、継続的に表示部に表示される画像である。
一方、キャプチャ画像（ＣＡＰ）とは、ユーザ（撮影者）が、撮像装置のレリーズボタン（シャッターボタン）を操作することで撮影される画像である。キャプチャ画像（ＣＡＰ）は、撮像措置の記録部（メディア）に記録される。

なお、一般的に、キャプチャ画像（ＣＡＰ）は、撮像素子の画素数を反映した高画素数の高解像度画像として取得され、記録されるが、ライブビュー画像（ＬＶ）は、表示部の表示可能な画素数に合わせた低画素の画像として取得されて表示される。
ライブビュー画像（ＬＶ）は、撮像素子の構成画素を間引いた一部画素のみからなる画像（間引き画像）が利用される。
すなわち、ライブビュー画像（ＬＶ）は、キャプチャ画像（ＣＡＰ）より低画素の画像となる。

図１に示す（１）撮影処理非実行時（ライブビュー画像（ＬＶ）表示処理実行時）のデータ処理例について説明する。
光学レンズ１１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１２に入射し、光電変換による画像データを出力する。なお、この場合の出力画像は、表示部２１に表示するための表示用画像（ＬＶ画像）である。

以下において、表示部に表示するための画像を、表示用画像、またはＬＶ画像と呼ぶ。一方、撮影記録用の画像を記録用画像、またはキャプチャ画像、またはＣＡＰ画像と呼ぶ。

撮像素子１２は、表示部に表示するための表示用画像（ＬＶ画像）を出力する際は、撮像素子の全画素データの出力を行うことなく、一部を間引いた低画素数の画像出力を行う。
撮影処理が実行された場合には、高画素数の記録用画像を生成する必要があるため、撮像素子のほぼ全画素データの出力を行う。

図１に示す（１）撮影処理非実行時（ライブビュー画像（ＬＶ）表示処理実行時）には、撮像素子１２は、低画素数の出力画像（ＬＶ画像）をＡＤ変換部１３に入力する。
ＡＤ変換部１３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、フレームメモリ１４に格納する。

フレームメモリ１４に格納された画像は、信号処理部（信号処理ＬＳＩ）１５に出力される。
なお、表示部に表示するための表示用画像（ＬＶ画像）は、フレームメモリ１４に格納することなく、ＡＤ変換部１３から直接、信号処理部１５に入力する構成としてもよい。

信号処理部１５は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像、すなわち、表示部２１に表示するための画像（ＬＶ画像）を生成してメモリ１６に格納する。

表示部２１は、メモリ１６に格納されたＬＶ画像を表示する。
表示部２１は、例えばＬＣＤやＥＶＦ等によって構成され、撮影者が確認することができる。

次に、図１に示す（２）撮影処理実行時（キャプチャ画像（ＣＡＰ）記録処理実行時）のデータ処理例について説明する。
撮影者が、レリーズボタン（シャッターボタン）を操作（押下）すると、この（２）の処理が行われることになる。

撮影者が、レリーズボタン（シャッターボタン）を操作（押下）すると、光学レンズ１１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１２に入射し露光処理が開始される。

撮像素子１２における露光処理が終了すると、撮像素子１２は、光電変換による画像データをＡＤ変換部１３に出力する。なお、この場合の出力画像は、記録部２２に記録、保存するための記録用画像（ＣＡＰ画像）である。

記録用画像（ＣＡＰ画像）は、撮像素子１２の画素数を反映した高画素の画像である。（１）を参照して説明した表示用画像（ＬＶ画像）より画素数の多い高画素画像となる。
図１では、（１）に示すＬＶ画像の矢印を細く、（２）に示すＣＡＰ画像の矢印を太く示し、画素数の高低を矢印の太さで示している。

ＡＤ変換部１３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、フレームメモリ１４に格納する。
フレームメモリ１４に格納された画像は、信号処理部（信号処理ＬＳＩ）１５に出力される。

信号処理部１５は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像を生成する。
この場合、信号処理部１５は、記録部２２に格納するための高画素の記録用画像（ＣＡＰ画像）を生成してメモリ１６に格納する。

記録部２２には、メモリ１６に格納された高画素の記録用画像（ＣＡＰ画像）を格納する。
以上が、撮像装置における撮影実行時と非実行時の処理の概要である。

次に、これらの処理の時間的な流れについて、図２以下に示すタイミングチャートを参照して説明する。
図２は、ユーザ（撮影者）による撮影処理、すなわちレリーズボタン（シャッターボタン）の押下処理が行われていない期間における処理、すなわち、撮像装置の表示部に表示用画像（ＬＶ画像）が表示される場合の処理シーケンスを説明するタイミングチャートである。
左から右に時間が経過する。

図２には、以下の（ａ）〜（ｇ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）撮像素子の露光処理とフレームメモリに対する出力
（ｃ）フレームメモリ（ＦＭ）の格納画像
（ｄ）撮影操作（レリーズ（シャッター）操作）
（ｅ）制御部の処理
（ｆ）表示部入力同期信号
（ｇ）表示部表示画像

（ａ）撮像素子入力同期信号は、撮像装置の制御部の制御によって撮像素子１２に入力される同期信号である。本例では１６．７ｍｓｅｃごとの同期信号が、撮像素子１２に入力される設定である。
撮像素子１２は、この同期信号の入力に応じて、様々な処理の開始や、処理の切り換え等の実行する処理の更新を行う。

（ｂ）撮像素子の露光処理とフレームメモリに対する出力は、撮像素子１２における露光処理と、露光結果に対するＡＤ変換後の画像のフレームメモリ１４に対する格納処理を示す。
図に示すＬＶ１、ＬＶ２、ＬＶ３・・は、表示部２１に表示する表示用画像（ＬＶ画像）の露光処理を示している。
これらの各画像の露光処理は、１６．７ｍｓｅｃごとの同期信号ごとに実行される。

（ｃ）フレームメモリ（ＦＭ）の格納画像は、フレームメモリ１４の格納画像のシーケンスを示している。

（ｄ）撮影操作（レリーズ（シャッター）操作）は、ユーザ（撮影者）による撮影操作、すなわちレリーズボタン（シャッターボタン）の押下処理を示す。
図２は、ユーザ（撮影者）による撮影操作が行われていない場合の処理シーケンスであるので、撮影操作タイミングは図示していない。
なお、撮影処理が実行された場合の処理については、図３を参照して後段で説明する。

（ｅ）制御部の処理は、撮像装置の制御部において実行する制御処理のシーケンスを説明している。なお、先に説明した図１には制御部を示していないが、撮像装置は、例えば記憶部に格納されたプログラムに従って撮像装置の実行する処理の制御を行う制御部を有している。制御部は、図１に示す各構成部の実行する処理の制御を行う。

図２の（ｅ）制御部の処理には、制御部が実行する様々な処理の一部の処理を示している。図２には、主として表示部に表示する画像の制御に関する処理のシーケンスを示している。
図２では、（ｅ）制御部の処理のシーケンスとしてＦＭの矩形ボックスを示している。

ＦＭは、フレームメモリ（ＦＭ）に格納される最新画像の表示予約処理と、フレームメモリ（ＦＭ）に格納された最新画像を表示部２１に表示する表示処理の制御を意味する。
この制御処理により、表示部２１には、フレームメモリ１４の格納画像が、順次、表示されることになる。

（ｆ）表示部入力同期信号は、撮像装置の制御部の制御によって表示部２１に入力される同期信号である。表示部２１は、この同期信号の入力に応じて、表示画像の切り換え等の処理を行う。
（ｇ）表示部表示画像は、表示部２１に表示される画像を示したものである。

ＬＶ１，ＬＶ２・・は、表示画像の画像フレーム１，２に対応し、表示部入力同期信号の信号間隔で表示フレームが切り換えられることを意味する。すなわち、表示部２１には、ライブビュー画像（スルー画像）による動画像の表示がなされる。

次に、図３を参照して、ユーザ（撮影者）による撮影処理、すなわちレリーズボタン（シャッターボタン）の押下処理が行われた場合の処理、すなわち、撮像装置の表示部に表示用画像（ＬＶ画像）が表示されている期間に、ユーザ（撮影者）による撮影処理が実行された場合の処理シーケンスについて説明する。
左から右に時間が経過する。

図３には、図２と同様、以下の（ａ）〜（ｇ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）撮像素子の露光処理とフレームメモリに対する出力
（ｃ）フレームメモリ（ＦＭ）の格納画像
（ｄ）撮影操作（レリーズ（シャッター）操作）
（ｅ）制御部の処理
（ｆ）表示部入力同期信号
（ｇ）表示部表示画像

図３の（ｄ）撮影操作（レリーズ（シャッター）操作）のライン上の中央付近に示すように、ステップＳ０１においてユーザによる撮影操作、すなわち、レリーズボタン（シャッターボタン）の押下処理が行われたものとする。

このユーザによる撮影操作、すなわち、レリーズボタン（シャッターボタン）の押下処理が行われると、制御部は、ステップＳ０２において、撮像素子１２における表示用画像（ＬＶ画像）の露光処理の停止と、モード切り換えの開始を要求し、さらに、ステップＳ０３において、撮像素子側で、記録用画像（ＣＡＰ）画像の露光処理を開始する。
これらの処理において、制御部は、撮像素子や信号処理部に対する制御信号の出力処理や、撮像素子や信号処理部における制御信号に基づく設定処理等の処理を行う。

この処理には、例えば撮像素子（イメージセンサ）１２のモード切り換え処理が含まれる。
前述したように、撮像素子１２は、表示部２１に表示するための表示用画像（ＬＶ画像）を出力する際は、撮像素子の全画素データの出力を行うことなく、一部を間引いた低画素数の画像出力を行う。
しかし、撮影処理が実行された場合には、高画素数の記録用画像を生成する必要があるため、撮像素子のほぼ全画素データの出力を行う。

記録用画像の露光を開始する際には、この撮像素子１２の出力データを変更するためのモード切り換え処理等を行うことになる。
撮像素子１２は、出力データを変更するためのモード切り換え処理を開始すると、表示用画像（ＬＶ画像）の露光処理、メモリ出力処理を停止せざる得なくなる。

図に示すように、制御部は、ステップＳ０４において、表示部２１に対する表示画像の供給を停止する。すなわち、表示部２１に何も表示されないブラックアウトが発生する。
このように、撮像素子１２における記録用画像（ＣＡＰ画像）の露光期間は、撮像素子１２からの表示用画像（ＬＶ画像）の取得ができなくなり、表示部２１に何も表示されないブラックアウト（黒画出力）が発生する。

なお、ステップＳ０３における撮像素子１２による記録用画像（ＣＡＰ画像）の露光処理の露光期間は、例えばユーザの設定した期間、すなわちシャッタースピードに対応して設定される。

ステップＳ０３における撮像素子１２による記録用画像（ＣＡＰ画像）の露光処理によって得られた記録用画像（ＣＡＰ画像）は、ステップＳ０５においてフレームメモリ（ＦＭ）に格納される。

制御部は、ステップＳ０６において、フレームメモリ（ＦＭ）から記録用画像（ＣＡＰ画像）を読み取り、表示部２１に記録用画像（ＣＡＰ画像）を表示する処理を実行する。

図３に示すシーケンス図から理解されるように、ユーザ（撮影者）による撮影処理、すなわちレリーズボタン（シャッターボタン）の押下がなされると、撮像素子１２による記録用画像（ＣＡＰ画像）の露光処理が開始され、この露光期間においては、撮像素子１２から、表示用画像（ＬＶ画像）をフレームメモリ１４に格納することができず、これに伴い、表示部２１への表示用画像（ＬＶ画像）の表示処理ができなくなる。
すなわち、表示部２１に何も表示されないブラックアウトが発生する。
以下、このような表示部のブラックアウトの発生を防止した構成を有する本開示の実施例について説明する。

［２．本開示の撮像装置の実行する処理の概要について］
まず、図４、図５を参照して、本開示の撮像装置の実行する処理の概要について説明する。
本開示の撮像装置は、撮像素子による記録用画像（ＣＡＰ画像）の露光処理が実行されている間も、表示部に対する表示用画像（ＬＶ画像）の表示を継続して実行する。さらに、記録用画像（ＣＡＰ画像）についても、撮像素子の全画素を利用した高画素の記録画像を生成して記録することを可能としている。
すなわち、本開示の撮像装置の撮像素子は、高画素（第１画素数）の記録用画像（第１画像）を取得するための露光期間中、第１画素数よりも少ない低画素（第２画素数）の表示用画像（第２画像）を出力する。

図４は、本開示の撮像装置の実行する処理の概要について説明する図である。
図４には、先に図３を参照して説明したと同様、ユーザ（撮影者）による撮影処理、すなわちレリーズボタン（シャッターボタン）の押下処理が行われた場合の処理、すなわち、撮像装置の表示部に表示用画像（ＬＶ画像）が表示されている期間に、ユーザ（撮影者）による撮影処理が実行された場合の処理シーケンスについて説明する図である。
左から右に時間が経過する。

図４には、以下の（ａ）〜（ｇ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）撮像素子の露光処理とフレームメモリに対する出力
（ｃ）フレームメモリ（ＦＭ）の格納画像
（ｄ）撮影操作（レリーズ（シャッター）操作）
（ｇ）表示部表示画像

図４の（ｄ）撮影操作（レリーズ（シャッター）操作）のライン上に示すように、ステップＳ１１においてユーザによる撮影操作、すなわち、レリーズボタン（シャッターボタン）の押下処理が行われたものとする。

このユーザによる撮影操作、すなわち、レリーズボタン（シャッターボタン）の押下処理が行われると、
図４の「（ｂ）撮像素子の露光処理とフレームメモリに対する出力」に示すように、ステップＳ１２において、撮像素子における記録用画像（ＣＡＰ）画像の露光処理が開始される。

本開示の撮像装置では、この撮像素子における記録用画像（ＣＡＰ）画像の露光処理を行っている期間においても、撮像素子からフレームメモリに対する表示用画像（ＬＶ画像）の供給、格納処理を継続する。
図４の「（ｂ）撮像素子の露光処理とフレームメモリに対する出力」に示すように、記録用画像（ＣＡＰ画像）は、同期信号ｔａ２〜ｔａ６の間の露光処理として実行されるが、この期間内において、規定の露光期間（例えば１６．７ｍｓ）の露光期間単位で、表示用画像（ＬＶ画像）を撮像素子からフレームメモリに出力する。

図４に示すステップＳ１３の「ＬＶ画像（間引き画像）のメモリ出力」がこの処理に相当する。
前述したように、表示用画像（ＬＶ画像）は、撮像素子の全画素の画素値出力ではなく、一部の画素のみからなる低画素の画像である。
本開示の撮像装置は、記録用画像（ＣＡＰ）画像の露光処理を行っている期間においても、表示用画像（ＬＶ画像）を構成する画素の画素値を、ＬＶ画像規定の露光期間（例えば１６．７ｍｓ）の露光期間単位で、撮像素子からフレームメモリに出力する。

図４の「（ｃ）フレームメモリ」には、同期信号ｔａ２〜ｔａ６の間の記録用画像（ＣＡＰ画像）の露光期間内に撮像素子から出力された複数の表示用画像（ＬＶ画像）（ＬＶ１〜ＬＶ４）を示している。

図４のステップＳ１４「ＬＶ画像（間引き画像）の表示部出力」に示すように、これら、（ｃ）フレームメモリに格納された複数の表示用画像（ＬＶ画像）（ＬＶ１〜ＬＶ４）は、順次、「（ｇ）表示部表示画像」として、表示部に出力される。
このように、本開示の撮像装置は、撮像素子における記録用画像（ＣＡＰ画像）の露光期間においても、撮像素子からの表示用画像（ＬＶ画像）の取得を行い、表示部に対する表示処理を継続する構成であり、ブラックアウト（黒画出力）が発生しない。

なお、図４に示すステップＳ１２の記録用画像（ＣＡＰ画像）の露光期間が終了すると、ステップＳ１５に示すように、記録用画像（ＣＡＰ画像）は、フレームメモリに格納される。

しかし、このような処理を行うと、フレームメモリに格納される記録用画像（ＣＡＰ画像）の画素値は、記録用画像の露光期間内における表示用画像（ＬＶ画像）の画素値出力により、露光期間の異なる画素が混在してしまうことになる。
図５を参照して、この問題について説明する。

図５には、フレームメモリに格納される以下の２つの画像を示している。
表示用画像（ＬＶ画像）、
記録用画像（ＣＡＰ画像）、
図５は、これら２つの画像の構成について説明する図である。

先に説明したように、記録用画像（ＣＡＰ画像）は、撮像素子の構成画素のほぼ全画素の画素値を出力した高画素の画像、すなわち高画質画像である。
これに対して、表示用画像（ＬＶ画像）は、撮像素子の構成画素の一部の画素のみを間引いて出力した低画素の画像、すなわち低画質画像である。

図５に示す例において、ＬＶ画像構成画素５１は、撮像素子を構成する全画素から選択される表示用画像（ＬＶ画像）の構成画素である。
フレームメモリ５０に格納される表示用画像（ＬＶ画像）であるＬＶ１〜ＬＶ４は、これらＬＶ画像構成画素５１のみによって構成された低画素の画像である。

これらＬＶ画像構成画素５１のみによって構成された低画素の表示用画像（ＬＶ画像）ＬＶ１〜ＬＶ４が、撮像素子における表示用画像の露光期間単位（例えば１６．７ｍｓｅｃ単位）で、撮像素子から順次、読み出されて、フレームメモリ５０に格納され、表示部に表示される。

なお、この低画素の表示用画像（ＬＶ画像）ＬＶ１〜ＬＶ４の出力期間は、記録用画像（ＣＡＰ画像）の露光期間でもある。
従って、撮像素子のＬＶ画像構成画素５１以外の構成画素は、記録用画像（ＣＡＰ画像）の露光期間中、継続して露光処理が実行される。

記録用画像（ＣＡＰ画像）の露光期間が終了すると、記録用画像（ＣＡＰ画像）がフレームメモリ５０に格納される。
フレームメモリ５０に格納される記録用画像（ＣＡＰ画像）は、撮像素子のほぼ全画素の画素値から構成されるが、その一部は、表示用画像（ＬＶ画像）の出力に利用されており、これらの画素には、記録用画像（ＣＡＰ画像）の露光期間中、継続した露光処理による画素値が設定されていない。

すなわち、図に示す記録用画像（ＣＡＰ画像）６０の一部を構成するＬＶ画像構成画素５１は、記録用画像（ＣＡＰ画像）の露光期間中、表示用画像（ＬＶ画像）の出力に利用されており、記録用画像（ＣＡＰ画像）の露光期間中、継続して露光された画素値に設定されていない。
なお、記録用画像（ＣＡＰ画像）６０のＬＶ画像構成画素５１以外の画素は、表示用画像（ＬＶ画像）の出力に利用されておらず、記録用画像（ＣＡＰ画像）の露光期間中、継続して露光された画素値に設定されている。

このように、フレームメモリ５０に格納される記録用画像（ＣＡＰ画像）は、
（ａ）正常露光画素（ＬＶ画像構成画素５１以外の画素）＝記録用画像の露光期間の露光処理による画素値の設定された画素、
（ｂ）欠陥画素（ＬＶ画像構成画素５１）＝記録用画像の露光期間の露光処理による画素値ではない誤った画素値の設定された画素、
これら、２種類の露光期間対応の画素値が設定された欠陥画素を含む画像となる。

本開示の撮像装置は、このような欠陥画素を含む記録用画像を補正して、欠陥画素に、正常な画素値、すなわち、記録用画像の露光期間の露光処理による画素値を設定する補正処理を行い、補正を行った記録用画像を生成して記録する処理を行う。
以下、本開示の撮像装置の具体的構成と処理の詳細について説明する。

［３．本開示の撮像装置の構成例について］
まず、図６を参照して本開示の撮像装置１００の構成例について説明する。
図６に示す撮像装置１００は、光学レンズ１０１、撮像素子１０２、ＡＤ変換部１０３、フレームメモリ１０４、信号処理部（信号処理ＬＳＩ）１０５、メモリ１０６、表示部（ＬＣＤ／ＥＶＦ）１０７、記録部１０８、操作部１０９、制御部１１０を有する。

操作部１０９は、例えばレリーズボタン（シャッターボタン）や、撮影態様、撮影モードの設定、表示部１０７の表示画像の設定などのユーザ入力を行うための操作部である。
なお、表示部１０７をタッチパネル形式としてユーザ操作部として利用することも可能である。

制御部１１０は、撮像素子１０２〜記録部１０８に対する制御信号や同期信号を入力し、各構成部の処理の実行タイミングの制御等、様々な処理制御を実行する。
例えば、撮像素子１０２の処理タイミングを規定する同期信号の出力制御や、表示部１０７の表示画像の切り換えタイミングを規定する同期信号の出力制御等を実行する。
制御部１１０は、具体的には、図示しない記憶部に格納されたプログラムに従った処理を実行するＣＰＵ等によって構成される。
プログラムは、例えば、画像撮影、画像記録、画像表示処理の制御プログラム、同期信号出力制御プログラム等によって構成される。

光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。なお、撮像素子１０２の出力画像は、撮影処理が実行されていない場合は、表示部１０７に表示するための低画素の表示用画像（ＬＶ画像）であり、撮影処理が実行された場合は、記録部１０８に格納するための高画素の記録用画像（ＣＡＰ画像）となる。
なお、前述したように、本開示の撮像装置１００においては、撮像素子１０２において記録用画像（ＣＡＰ画像）の露光処理が実行されている間も、表示部に対する表示用画像（ＬＶ画像）の表示を継続して実行する。すなわち、撮像素子１０２は、高画素（第１画素数）の記録用画像（第１画像）を取得するための露光期間中、第１画素数よりも少ない低画素（第２画素数）の表示用画像（第２画像）を出力する。

撮像素子１０２からの出力画像はＡＤ変換部１０３に入力される。
ＡＤ変換部１０３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、フレームメモリ１０４に格納する。

フレームメモリ１０４に格納された画像は、順次、信号処理部（信号処理ＬＳＩ）１０５に出力される。

信号処理部１０５は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行するとともに、先に図５を参照して説明した記録用画像の欠陥画素の補正処理を実行する。
すなわち、高画素（第１画素数）の記録用画像（第１画像）を構成する画素中、第１画素数よりも少ない低画素（第２画素数）の表示用画像（第２画像）を構成する画素に対応する画素の画素値を補正する処理を行う。
なお、本開示の撮像装置においては、様々な異なる態様の補正処理が行われる。例えば、補正対象画素に設定済みの画素値を利用した補正処理や、補正対象画素に設定済みの画素値を一旦キャンセルして、新たに画素値を設定する処理等が行われる。これらの補正処理の具体例については、後述する。

信号処理部１０５は、表示部１０７に表示するための表示用画像（ＬＶ画像）、または、記録部１０８に格納するための記録用画像（ＣＡＰ画像）の少なくともいずれかを生成してメモリ１０６に格納する。

表示部１０７は、メモリ１０６に格納された表示用画像（ＬＶ画像）を表示する。
表示部１０７は、例えばＬＣＤやＥＶＦ等によって構成され、撮影者が確認することができる。
また、記録部１０８は、メモリ１０６に格納された記録用画像（ＣＡＰ画像）を格納する。

［４．信号処理部の構成と処理について］
次に、図６に示す撮像装置１００の信号処理部１０５の具体的構成と処理について説明する。

図７は、図６に示す撮像装置１００の信号処理部１０５の具体的構成例を示す図である。
図７に示すように、信号処理部１０５は、記録用画像補正部１２１と、画像補正部１２２を有する。
記録用画像補正部１２１は、先に図５を参照して説明した記録用画像の欠陥画素の補正処理を実行する。
画像補正部１２２は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行する。

図７に示すように、信号処理部１０５の記録用画像補正部１２１には、
欠陥画素を含む記録用画像（ＣＡＰ画像）２１１、または、
表示用間引き画像（ＬＶ画像）２２１、
これらのいずれかの画像がフレームメモリ１０４から入力される。

記録用画像補正部１２１は、欠陥画素を含む記録用画像（ＣＡＰ画像）２１１に対する補正処理を実行し、欠陥画素に正常画素値を設定する処理を実行して、欠陥画素補正済み記録用画像（ＣＡＰ画像）２１２を生成する。
すなわち、先に図５を参照して説明した記録用画像の欠陥画素の補正処理を実行する。
記録用画像補正部１２１は、欠陥画素に正常画素値を設定する処理を実行して、欠陥画素補正済み記録用画像（ＣＡＰ画像）２１２を生成して、画像補正部１２２に出力する。
なお、記録用画像補正部１２１は、表示用間引き画像（ＬＶ画像）２２１に対する処理は実行せず、表示用間引き画像（ＬＶ画像）２２１は、そのまま画像補正部１２２に出力する。

画像補正部１２２は、欠陥画素補正済み記録用画像（ＣＡＰ画像）２１２、および、表示用間引き画像（ＬＶ画像）２２１に対して、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して、補正後記録用画像（ＣＡＰ画像）２１３、および、補正後表示用画像（ＬＶ画像）２２２を生成して、図６に示す撮像装置１００のメモリ１０６に格納する。

図７に示す信号処理部１０５の記録用画像補正部１２１の具体的構成と処理例について、図８以下を参照して説明する。
図８に示すように、記録用画像補正部１２１は、加算器３０１、メモリ３０２、セレクタ３０３、加算器３０４、欠陥補正部３０５、セレクタ３０６を有する。

図９以下を参照して、この図８に示す記録用画像補正部１２１を用いた具体的な処理例について説明する。
まず、図９を参照して、記録用画像（ＣＡＰ画像）の撮影、すなわち露光処理が行われていない期間における表示用画像（ＬＶ画像）の処理について説明する。

図９は、記録用画像（ＣＡＰ画像）の撮影、すなわち露光処理が行われていない期間における表示用画像（ＬＶ画像）の入出力経路を示す図である。
図９に示すＬＶ０，２３０ｉｎは、フレームメモリ１０４から入力する表示用画像（ＬＶ）である。
なお、表示用画像（ＬＶ画像）は、図５を参照して説明したように、撮像素子の一部の画素のみを選択抽出する間引き処理後の低画素の画像である。

記録用画像（ＣＡＰ画像）の露光処理が行われていない場合、フレームメモリ１０４から入力する表示用画像（ＬＶ０）２３０ｉｎは、セレクタ３０３を介して、そのまま出力される。記録用画像補正部１２１は、図に示す表示用画像（ＬＶ０）２３０ｏｕｔを信号処理部１０５内の画像補正部１２２に出力する。
画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、表示部１０７に表示される。

次に、図１０以下を参照して、記録用画像（ＣＡＰ画像）の撮影、すなわち露光処理が実行されている期間における表示用画像（ＬＶ画像）の処理について説明する。

図１０は、記録用画像（ＣＡＰ画像）の露光開始時点と同一タイミングで、所定期間の露光が開始された表示用画像（ＬＶ画像）の入出力経路を示す図である。
図１０に示すＬＶ１，２３１ｉｎは、フレームメモリ１０４から入力する表示用画像（ＬＶ）である。

記録用画像（ＣＡＰ画像）の露光処理が開始された場合においても、フレームメモリ１０４から入力する表示用画像（ＬＶ１）２３１ｉｎは、セレクタ３０３を介して、そのまま出力される。記録用画像補正部１２１は、図に示す表示用画像（ＬＶ１）２３１ｏｕｔを信号処理部１０５内の画像補正部１２２に出力する。
画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、表示部１０７に表示される。

記録用画像（ＣＡＰ画像）の露光処理が開始された場合は、上記の処理に加え、さらに、フレームメモリ１０４から入力する表示用画像（ＬＶ１）２３１ｉｎは、加算器３０１において、メモリ３０２に先行して格納された表示用画像（ＬＶ）と画素値加算処理を行い、その加算結果をメモリ３０２に格納する。
なお、この時点で、メモリ３０２に先行して格納された表示用画像（ＬＶ）はなく、メモリ３０２には、入力する表示用画像（ＬＶ１）２３１ｉｎと同じ表示用画像（ＬＶ１）２３１ｍが格納される。

なお、メモリ３０２に格納される表示用画像（ＬＶ画像）は、図５を参照して説明したように、撮像素子の一部の画素のみを選択抽出する間引き処理後の低画素の画像である。

さらに、記録用画像（ＣＡＰ画像）の露光開始後の最初の表示用画像（ＬＶ１）２３１の次の表示用画像（ＬＶ２）の処理について、図１１を参照して説明する。
この表示用画像（ＬＶ２）の露光期間も記録用画像（ＣＡＰ画像）の露光期間内の期間である。

フレームメモリ１０４から入力する表示用画像（ＬＶ２）２３２ｉｎは、セレクタ３０３を介して、そのまま出力される。記録用画像補正部１２１は、図に示す表示用画像（ＬＶ２）２３２ｏｕｔを信号処理部１０５内の画像補正部１２２に出力する。
画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、表示部１０７に表示される。

さらに、上記処理に加え、フレームメモリ１０４から入力する表示用画像（ＬＶ２）２３２ｉｎは、加算器３０１において、メモリ３０２に先行して格納された表示用画像（ＬＶ１）と画素値加算処理を行い、その加算結果をメモリ３０２に格納する。
なお、この時点で、メモリ３０２に先行して格納された表示用画像（ＬＶ）は、ＬＶ１である。
加算器３０１では、メモリ３０２に先行して格納された表示用画像（ＬＶ１）２３１ｍと、新たにフレームメモリ１０４から入力した表示用画像（ＬＶ２）２３２ｉｎとの対応画素の画素値加算を実行した画像（ＬＶ１＋ＬＶ２）２３２ｍを生成してメモリに格納する。

次にフレームメモリ１０４から入力する表示用画像（ＬＶ３）についても、図１１を参照して説明した処理と同様の処理が行われる。
表示用画像（ＬＶ３）に対する処理の結果として、メモリ３０２には、画素値加算を実行した画像（ＬＶ１＋ＬＶ２＋ＬＶ３）が格納される。

次に、記録用画像（ＣＡＰ画像）の露光期間内に含まれる最後の表示用画像（ＬＶ４）に対する処理について、図１２を参照して説明する。

フレームメモリ１０４から入力する表示用画像（ＬＶ４）２３４ｉｎは、セレクタ３０３を介して、そのまま出力される。記録用画像補正部１２１は、図に示す表示用画像（ＬＶ４）２３４ｏｕｔを信号処理部１０５内の画像補正部１２２に出力する。
画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、表示部１０７に表示される。

さらに、上記処理に加え、フレームメモリ１０４から入力する表示用画像（ＬＶ４）２３４ｉｎは、加算器３０１において、メモリ３０２に先行して格納された表示用画像（ＬＶ１＋ＬＶ２＋ＬＶ３）２３３ｍと画素値加算処理を行い、その加算結果をメモリ３０２に格納する。
この結果、画素値加算画像（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）２３４ｍがメモリ３０２に格納される。

図４を参照して説明した設定では、この表示用画像（ＬＶ４）の露光終了タイミングと同じタイミングで記録用画像（ＣＡＰ画像）の露光が終了する。
記録用画像（ＣＡＰ画像）の露光が終了すると、記録用画像（ＣＡＰ画像）がフレームメモリ１０４に格納される。

ただし、フレームメモリ１０４に格納される記録用画像（ＣＡＰ画像）は、先に図５を参照して説明したように、表示用画像（ＬＶ画像）として利用された画素の画素値が記録用画像（ＣＡＰ画像）の露光期間に対応した画素値を有していない欠陥画素を含む画像である。
信号処理部１０５の記録用画像補正部１２１が、この欠陥画素を補正する。すなわち、欠陥画素の画素値を、記録用画像（ＣＡＰ画像）の露光期間に対応した画素値に設定する処理を行う。

図１３を参照して、フレームメモリ１０４に格納された欠陥画素を含む記録用画像（ＣＡＰ画像）を入力して、欠陥画素の補正を行う信号処理部１０５の記録用画像補正部１２１の処理について説明する。

図１３に示すように、シャッタースピードに応じた露光期間が終了し、フレームメモリ１０４に格納された欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎが信号処理部１０５の記録用画像補正部１２１に入力される。

欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎは、加算器３０４において、メモリ３０２に格納された表示用画像加算画像（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）２３４ｍと加算される。

表示用画像加算画像（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）２３４ｍは、欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎの露光期間内の露光処理によって生成された表示用画像の画素値の総和であり、図５を参照して説明したＬＶ画素出力画素５１のみによって構成された画像である。

すなわち、この表示用画像加算画像（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）２３４ｍの構成画素値は、欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎの露光期間と同じ露光期間の露光処理によって生成された画素値を持つ。
ただし、この表示用画像加算画像（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）２３４ｍは、図５を参照して説明したＬＶ画素出力画素５１のみを構成画素としている。

一方、欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎは、図５を参照して説明したＬＶ画素出力画素５１以外の画素は、シャッタースピードに応じた記録画像（ＣＡＰ画像）の露光期間に応じた画素値が設定されているが、ＬＶ画素出力画素５１の画素値は、シャッタースピードに応じた記録画像（ＣＡＰ画像）の露光期間に応じた画素値が設定されていない。

加算器３０４は、欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎのＬＶ画素出力画素５１位置の画素値に、メモリ３０２から読み出した表示用画像加算画像（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）２３４ｍの画素値を加算する処理を行う。
この処理により、欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎのＬＶ画素出力画素５１位置の画素値は、シャッタースピードに応じた記録画像（ＣＡＰ画像）の露光期間に応じた画素値に補正される。

この加算処理によって補正処理が行われた記録用画像（ＣＡＰ画像）がセレクタ３０６を介して出力される。
図１３に示す欠陥なし記録用画像（ＣＡＰ１）２４１ｏｕｔである。

図１３に示す欠陥なし記録用画像（ＣＡＰ１）２４１ｏｕｔは、信号処理部１０５内の画像補正部１２２に出力され、画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、その後、記録部１０８に格納される。

本開示の撮像装置は、このように、記録用画像（ＣＡＰ画像）の露光期間においても、表示部に対する表示用画像（ＬＶ画像）を生成して表示するとともに、記録用画像（ＣＡＰ画像）の露光期間内の表示用画像（ＬＶ画像）の加算画素値をメモリに格納する。
記録用画像（ＣＡＰ画像）の露光期間が終了すると、メモリに格納した表示用画像（ＬＶ画像）の加算画素値を利用して、記録用画像（ＣＡＰ画像）の補正を行う。

これらの一連の処理により、記録用画像（ＣＡＰ画像）の露光期間内に表示部に表示用画像（ＬＶ画像）を継続して表示し、さらに、記録用画像（ＣＡＰ画像）の画素値もすべて、シャッタースピードに応じた露光期間の露光処理が実行されたと同様の画素値に設定した高品質な記録用画像を生成して記録することが可能となる。

図１０〜図１２を参照して表示用画像（ＬＶ１〜ＬＶ４）のメモリ３０２への格納処理と、表示部１０７への表示処理例を説明した。上記処理例において、表示部１０７に対する表示用画像（ＬＶｎ）は、記録用画像補正部１２１に対する入力画像を、セレクタ３０３を介してそのまま出力するものとして説明した。

上記処理とは異なる画像表示を行う処理例について説明する。
以下に説明する処理例は、メモリ３０２に格納した加算画像を表示部１０７に表示するものである。この処理例について、図１４以下を参照して説明する。
図１４は、先に図１１を参照して説明した表示用画像（ＬＶ２）の処理タイミングと同様の処理タイミングの加算画像表示例である。

先に図１１を参照して説明した例では、フレームメモリ１０４から入力する表示用画像（ＬＶ２）２３２ｉｎが、セレクタ３０３を介して、そのまま出力され、表示部１０７に表示される。
一方、図１４に示す処理例では、フレームメモリ１０４から入力する表示用画像（ＬＶ２）２３２ｉｎは、加算器３０１において、メモリ３０２に先行して格納された表示用画像（ＬＶ１）と画素値加算処理が行われ、この加算結果（ＬＶ１＋ＬＶ２）を、表示用画像として、セレクタ３０３を介して出力する。

記録用画像補正部１２１は、図に示す表示用画像（ＬＶ１＋ＬＶ２）２３２ｏｕｔ'を信号処理部１０５内の画像補正部１２２に出力する。
画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、表示部１０７に表示される。

このように、本処理例では、フレームメモリ１０４から入力する表示用画像（ＬＶ２）２３２ｉｎを表示部１０７に表示する構成ではなく、メモリ３０２に先行して格納された表示用画像（ＬＶ１）２３１ｍとの画素値加算を行って生成した加算結果を表示用画像（ＬＶ１＋ＬＶ２）２３２ｏｕｔ'として出力し、表示部１０７に表示する。

後続して、記録用画像補正部１２１に入力する表示用画像（ＬＶ３，ＬＶ４）に対しても同様の処理を行う。
例えば、先に説明した図１２の設定では、フレームメモリ１０４から入力する表示用画像（ＬＶ４）２３４ｉｎが、セレクタ３０３を介して、そのまま出力され、表示部１０７に表示される。
図１５は、先に図１２を参照して説明した表示用画像（ＬＶ４）の処理タイミングと同様の処理タイミングの加算画像表示処理例である。

図１５に示す処理例では、フレームメモリ１０４から入力する表示用画像（ＬＶ４）２３４ｉｎは、加算器３０１において、メモリ３０２に先行して格納された表示用画像（ＬＶ１＋ＬＶ２＋ＬＶ３）２３３ｍと画素値加算処理が行われ、この加算結果（ＬＶ１＋ＬＶ２＋ＬＶ３＋ＬＶ４）を、表示用画像として、セレクタ３０３を介して出力する。

このように、加算結果を表示部に出力する表示用画像として利用する構成としてもよい。
なお、先に図１０〜図１２を参照して説明したように、表示用画像（ＬＶ１〜ＬＶ４）を個別に表示部１０７に出力する設定と、図１４〜図１５を参照して説明したように、表示用画像（ＬＶ１〜ＬＶ４）の加算結果を表示部１０７に出力する設定とをユーザの入力により切り替え可能な構成としてもよい。

いずれの処理を選択した場合でも、記録用画像（ＣＡＰ画像）の露光期間内に表示部に表示用画像（ＬＶ画像）を継続して表示し、さらに、記録用画像（ＣＡＰ画像）の画素値もすべて、シャッタースピードに応じた露光期間の露光処理が実行されたと同様の画素値に設定した高品質な記録用画像を生成して記録することが可能となる。

なお、図４や、図９〜図１５を参照して説明した記録用画像補正部１２１の処理例は、記録用画像（ＣＡＰ画像）の露光開始タイミングと露光終了タイミングが、表示用画像（ＬＶ画像）の露光開始タイミングと露光終了タイミングに一致する例として説明したが、必ずしもこれらのタイミングが一致するとは限らない。

例えば、図１６に示すように、記録用画像（ＣＡＰ画像）の露光開始タイミングが、規定の表示用画像（ＬＶ１）の露光処理期間の途中に設定されることもある。
同様に、記録用画像（ＣＡＰ画像）の露光終了タイミングが、規定の表示用画像（ＬＶ１）の露光処理期間の途中に設定されることもある。

このような場合は、図１０〜図１３を参照して説明した処理では、正しい画素値設定ができなくなる。
この問題を解決する構成例について、図１７を参照して説明する。

図１７は、図１６に示す表示用画像（ＬＶ１）に対する記録用画像補正部１２１の処理を説明する図である。
図１６に示すように、記録用画像（ＣＡＰ画像）の露光開始タイミングは、規定の表示用画像（ＬＶ１）の露光処理期間の途中に設定されている。

この場合、表示用画像（ＬＶ１）の画素値をメモリ３０２に格納し、その後の表示用画像（ＬＶ２，３・・）の画素値と加算してしまうと、図１６に示す記録用画像（ＣＡＰ画像）の露光期間より長い露光処理の結果としての画素値がメモリ３０２に格納されてしまう。

このような状況を防止するため、図１７に示す制御部１１０は、フレームメモリ１０４から入力する表示用画像（ＬＶ１）２３１ｉｎの露光期間と、記録用画像（ＣＡＰ画像）の露光期間の重複率に相当する乗算パラメータα（α＝０〜１）を算出し、乗算器３１１において、フレームメモリ１０４から入力する表示用画像（ＬＶ１）２３１ｉｎの画素値に乗算パラメータα（α＝０〜１）を乗算して、加算器３０１〜メモリ３０２に出力する。

乗算パラメータαは、０〜１の範囲の値に設定される。
表示用画像（ＬＶ）の露光期間と、記録用画像（ＣＡＰ画像）の露光期間の重複率が１００％の場合は、α＝１、０％の場合は、α＝０となる。
このような乗算処理を行うことで、メモリ３０２に格納される表示用画像の加算値の画素値を記録用画像（ＣＡＰ画像）の露光期間に一致した露光処理の結果として得られる画素値に調整することができる。

次に、上述した記録用画像（ＣＡＰ画像）の欠陥画素の補正処理を、メモリに格納した表示用画像（ＬＶ画像）の加算画素値にを利用して実行する処理のシーケンスについて、図１８に示すフローチャートを参照して説明する。

なお、図１８に示すフローチャートに従った処理は、例えば撮像装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するＣＰＵ等を有する制御部の制御の下で実行される。
以下、図１８に示すフローチャートの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、撮像装置の制御部は、ステップＳ１０１において、撮影が実行された（レリーズボタンが押下された）か否かを判定する。
撮影が実行された（レリーズボタンが押下された）と判定した場合は、ステップＳ１０２に進む。
一方、撮影が実行されていないと判定した場合は、ステップＳ１１１に進む。

（ステップＳ１０２）
ステップＳ１０１で、撮影が実行された（レリーズボタンが押下された）と判定した場合は、ステップＳ１０２に進む。
ステップＳ１０２では、表示部に出力する表示用画像（ＬＶ画像）を規定出力間隔で表示部に表示し、さらに、表示用画像（ＬＶ画像）の加算画像をメモリに格納する処理を実行する。

この処理は、先に図８〜図１７を参照して説明した記録用画像補正部１２１の構成を利用した処理である。

（ステップＳ１０３）
次に、ステップＳ１０３において、制御部は、記録用画像（ＣＡＰ画像）の露光期間が終了したか否かを判定する。
記録用画像（ＣＡＰ画像）の露光期間が終了していないと判定した場合は、ステップＳ１０２の処理を継続する。
一方、記録用画像（ＣＡＰ画像）の露光期間が終了したと判定した場合は、ステップＳ１０４に進む。

（ステップＳ１０４）
ステップＳ１０３で、記録用画像（ＣＡＰ画像）の露光期間が終了したと判定した場合は、ステップＳ１０４に進む。ステップＳ１０４では、血管画素を含む記録用画像（ＣＡＰ画像）と、メモリに格納された表示用画像（ＬＶ画像）の加算画像との合成処理を実行して、欠陥画素の画素値を補正した欠陥なし記録用画像（ＣＡＰ画像）を生成して、画像記録処理を実行する。

この処理は、先に図８〜図１７を参照して説明した記録用画像補正部１２１の構成を利用した処理である。

（ステップＳ１１１）
ステップＳ１０１において、撮影が実行されていない（レリーズボタンが押下されていない）と判定した場合は、ステップＳ１１１に進む。
ステップＳ１１１では、表示部に対する表示用画像（ＬＶ画像）の表示処理を実行する。

この処理は、先に図９を参照して説明した記録用画像補正部１２１の構成を利用した処理である。

［５．メカシャッターを有する撮像装置の場合の処理例について］
次に、メカシャッターを有する撮像装置の場合の処理例について説明する。
撮像装置には、撮像実行時のシャッター動作を電子的に行う電子シャッター方式の撮像装置と、シャッター動作をメカニカル動作として実行するメカシャッター方式の撮像装置がある。

電子シャッター方式、メカシャッター方式、いずれの撮像装置も、撮像素子の露光処理と、露光済み画素の読み出し処理は、撮像素子の上部ラインから下部ラインに向かって順次、実行する。

電子シャッター方式の場合は、撮像素子の露光処理開始前のリセット処理（撮像素子の電荷掃出し処理）後の電子シャッター駆動による撮像素子上部ラインから下部ラインまでの露光開始（または終了）速度と、露光済み画素の読み出し（リード）処理の速度を一致させることが可能となる。
すなわち、先に説明した図４や図１６の（ｂ）撮像素子露光＆メモリ出力処理の欄に示す記録用画像（ＣＡＰ）の露光処理の上部ラインから下部ラインの傾斜と、各表示用画像（ＬＶｎ）の読み出し処理に相当する上部ラインから下部ラインの傾斜を一致させることが可能となる。

しかし、メカシャッター方式の場合は、撮像素子の露光処理開始前のリセット処理（撮像素子の電荷掃出し処理）後の電子シャッター駆動による撮像素子上部ラインから下部ラインまでの露光開始（または終了）速度と、露光済み画素の読み出し（リード）処理の速度を一致させることは困難である。
図１９を参照して、メカシャッター方式の撮像装置における記録用画像（ＣＡＰ）の露光処理例について説明する。

図１９は、先に説明した電子シャッター方式の撮像装置の記録用画像（ＣＡＰ）の露光処理、すなわち、図４や図１６の（ｂ）撮像素子露光＆メモリ出力処理の欄に示す記録用画像（ＣＡＰ）の露光処理と同様の処理を、メカシャッター方式の撮像装置で実行した場合の処理例を示す図である。

記録用画像（ＣＡＰ）の露光処理は、時間Ｔｃｓに開始し、Ｔｃｅに終了する。
ただし、これらの時間Ｔｃｓ、Ｔｃｅは、撮像素子の最上部の画素ラインの露光開始時間と、露光終了時間である。図に示すメカ先幕の処理である。
撮像素子の最下部の画素ラインの露光開始時間と、露光終了時間は、それぞれメカシャッターの駆動時間によって、時間（ｔｍ）だけ遅延し、露光開始時間＝Ｔｃｓ＋ｔｍ、露光終了時間＝Ｔｃｅ＋ｔｍとなる。図に示すメカ後幕の処理である。

さらに、この記録用画像（ＣＡＰ）の露光期間内に、複数の表示用画像（ＬＶ１〜ＬＶ４）を順次、読み出す処理を行うと仮定する。
撮像素子から露光済み画素を読み出す（リード）処理は、図１９に示す［読み出し処理］の点線ラインに従って、撮像素子の最上部の画素ラインから最下部の画素ラインに向かった順次行われる。

この図１９から理解されるように、［読み出し処理］の点線ラインの傾斜は、記録用画像（ＣＡＰ）の［露光開始］時、および［露光終了］時の実線で示す傾斜（Ｔｃｓ〜Ｔｃｓ＋ｍ、およびＴｃｅ〜Ｔｃｅ＋ｍ）より、緩やかな傾斜となっている。
すなわち、撮像素子上部ラインから下部ラインまでの露光開始（終了）速度と、露光済み画素の読み出し（リード）処理の速度が一致していない。

このような状況において、記録用画像（ＣＡＰ）の露光処理の開始直後の表示用画像（ＬＶ１）を読み出すと、図１９に示すように、表示用画像（ＬＶ１）の最上部画素ラインの露光時間はｔｐであるが、最下部画素ラインの露光時間はｔｐより長いｔｑとなる。このように画素位置によって露光時間が異なる画像となってしまう。
さらに、記録用画像（ＣＡＰ）の露光処理の終了直前の表示用画像（ＬＶ４）も同様の問題、すなわち、画素位置によって露光時間が異なる画像となってしまう。
メカシャッターの場合、このような問題が生じる。

従って、メカシャッターを用いた撮像装置では、記録用画像（ＣＡＰ）の露光処理の開始直後の表示用画像（ＬＶ１）と、終了直前の表示用画像（ＬＶ４）の表示処理は行わず、これら両サイド以外の表示用画像を選択して表示処理を行う。
図１９から理解されるように、記録用画像（ＣＡＰ）の露光処理の開始後の２番目以降の表示用画像（ＬＶ２）は、すべての画素位置において同じ露光時間ｔｒとなり、正常な画像となる。

なお、メカシャッターを用いた撮像装置においても、上記の記録用画像（ＣＡＰ）の露光処理の開始直後の表示用画像（ＬＶ１）と、終了直前の表示用画像（ＬＶ４）の表示処理を行わないことを除いては、先に図９〜図１８を参照して説明した電子シャッターを用いた撮像装置の処理と同様の処理を行う。
すなわち、メモリ３０２に対して、記録用画像（ＣＡＰ）の露光処理期間の全ての表示用画像（ＬＶ１〜ＬＶ４）の画素値加算結果をメモリ３０２に格納し、メモリ３０２に格納された画素値加算結果を用いて、記録用画像（ＣＡＰ）の補正処理を行って記録用画像（ＣＡＰ）を出力する。

［６．記録用画像の欠陥画素を周囲画素の画素値に基づいて補正する実施例について］
上述した実施例は、記録用画像の露光期間における表示用画像の画素値を蓄積加算して、記録用画像の欠陥画素の画素値補正を実行する処理を行う実施例である。
次に、記録用画像の露光期間における表示用画像の画素値の蓄積加算結果を用いることなく、記録用画像の欠陥画素の補正処理を行う実施例について説明する。
具体的には、記録用画像の欠陥画素を周囲画素の画素値に基づいて補正する十例である。

なお、本実施例においても、撮像装置の構成は、図６を参照して説明した構成を有し、信号処理部１０５の構成も、先に図７を参照して説明したと同様、記録用画像補正部１２１と、画像補正部１２２を有する。
記録用画像補正部１２１の構成は、図８を参照して説明した構成と同様の構成である。

図２０を参照して、本実施例における記録用画像補正部１２１を適用した処理、すなわち、記録用画像の欠陥画素を周囲画素の画素値に基づいて補正する処理について説明する。
記録用画像（ＣＡＰ画像）の露光が終了すると、記録用画像（ＣＡＰ画像）がフレームメモリ１０４に格納される。

ただし、フレームメモリ１０４に格納される記録用画像（ＣＡＰ画像）は、先に図５を参照して説明したように、表示用画像（ＬＶ画像）として利用された画素の画素値が記録用画像（ＣＡＰ画像）の露光期間に対応した画素値を有していない欠陥画素を含む画像である。
本実施例では、記録用画像補正部１２１の欠陥補正部３０５が、この欠陥画素を補正する。すなわち、欠陥画素の画素値を、記録用画像（ＣＡＰ画像）の露光期間に対応した画素値に設定する処理を行う。

図２０に示すように、シャッタースピードに応じた露光期間が終了し、フレームメモリ１０４に格納された欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎが信号処理部１０５の記録用画像補正部１２１に入力される。

欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎは、欠陥補正部３０５に入力される。
欠陥補正部３０５は、欠陥画素を周囲画素の画素値に基づいて補正する処理を実行する。
この補正処理の具体例について、図２１を参照して説明する。

図２１には、欠陥あり記録用画像３５０を示している。
欠陥あり記録用画像３５０には、表示用画像（ＬＶ画像）の出力に利用された欠陥画素、すなわち記録用画像の露光期間に応じた画素値に設定されていない欠陥画素３５１が含まれる。

欠陥補正部３０５は、この欠陥画素の画素値を欠陥画素３５１の周囲の画素の画素値に基づいて推定して補正する。具体的には、図２１の下部の図に示すように、欠陥画素３５１の周囲の８画素を参照画素３５２とし、参照画素３５２の画素値に基づいて、欠陥画素３５１の画素値を推定して、推定値を欠陥画素３５１の画素値として設定する。
例えば、欠陥画素３５１の周囲の８画素の平均値を欠陥画素３５１の画素値として設定する。
なお、図２１に示す例では、欠陥画素の周囲８画素を参照画素とした例であるが、これは一例であり、参照画素の範囲は、様々な設定が可能である。

図２０に示す欠陥補正部３０５は、欠陥あり記録用画像（ＣＡＰ１）２４１ｉｎの欠陥画素の画素値を全て補正して、欠陥なし記録用画像（ＣＡＰ１）２４１ｏｕｔを生成して、セレクタ３０６を介して出力する。

セレクタ３０６を介して出力された欠陥なし記録用画像（ＣＡＰ１）２４１ｏｕｔは、信号処理部１０５内の画像補正部１２２に出力され、画像補正部１２２において、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理が実行され、その後、記録部１０８に格納される。

このように、本実施例では、記録用画像（ＣＡＰ画像）の露光期間においても、表示部に対する表示用画像（ＬＶ画像）を生成して表示するとともに、記録用画像（ＣＡＰ画像）の露光期間後、記録用画像（ＣＡＰ画像）の欠陥画素を、周囲の正常画素を利用して補正する処理を行う。

これらの一連の処理により、記録用画像（ＣＡＰ画像）の露光期間内に表示部に表示用画像（ＬＶ画像）を継続して表示し、さらに、記録用画像（ＣＡＰ画像）の画素値もすべて、シャッタースピードに応じた露光期間の露光処理が実行されたと同様の画素値に設定した高品質な記録用画像を生成して記録することが可能となる。

［７．その他の実施例について］
次に、その他の実施例について説明する。
先に図６を参照して本開示の処理を実行する撮像装置の一例について説明した。
本開示の処理は、図６に示す撮像装置１００の構成と異なる構成を有する撮像装置においても適用可能である。

図２２に本開示の処理を実行可能な図６に示す構成とは異なる構成を有する撮像装置４００の構成例を示す。
図２２に示す撮像装置４００は、光学レンズ１０１、撮像素子デバイス４１０、信号処理部（信号処理ＬＳＩ）１０５、メモリ１０６、表示部（ＬＣＤ／ＥＶＦ）１０７、記録部１０８、操作部１０９、制御部１１０を有する。
撮像素子デバイス４１０以外の構成は、先に図６を参照して説明した構成と同様である。

図２２に示す撮像装置４００の撮像素子デバイス４１０は、撮像素子４１１、ＡＤ変換部４１２、フレームメモリ４１３、記録用画像補正部４１４を有する。
光学レンズ１０１を介して入射される光は撮像素子デバイス４１０の撮像素子４１１、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子４１１に入射し、撮像素子４１１は、光電変換による画像データを同じ撮像デバイス４１０内に構成されたＡＤ変換部４１２に出力する。

撮像デバイス４１０内のＡＤ変換部４１２は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、同じ撮像デバイス４１０内に構成されたフレームメモリ４１３に格納する。

フレームメモリ４１３に格納された画像フレームは、同じ撮像デバイス４１０内に構成された記録用画像補正部４１４に入力される。

記録用画像補正部４１４は、先に図８を参照して説明した記録用画像補正部１２１と同様の構成を有し、同様の処理を実行する。
すなわち、図２２に示す撮像装置４００は、撮像デバイス４１０の内部で、記録用画像（ＣＡＰ画像）の欠陥画素の補正処理を実行する。

信号処理部（信号処理ＬＳＩ）１０５は、撮像デバイス４１０の記録用画像補正部４１４から画像データを入力して信号処理を行う。
記録用画像補正部４１４は、先に図７を参照して説明した信号処理部１０５の画像補正部１２２の機能のみを有する。
すなわち、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像を生成する。
以下の処理は、先に図６を参照して説明した撮像装置１００の処理と同様の処理となる。

図２２に示す撮像装置４００は、撮像デバイス４１０内に、撮像素子４１１、ＡＤ変換部４１２、フレームメモリ４１３、記録用画像補正部４１４を有する点が特徴である。
この撮像デバイス４１０には、制御部１１０から制御信号、同期信号が入力され、同期信号に基づいて処理の開始、変更、終了等、更新処理が行われる。

この図２２に示す撮像装置４００の構成においても、先に説明した図６の撮像装置１００と同様、記録用画像（ＣＡＰ画像）の露光期間内に表示部に表示用画像（ＬＶ画像）を継続して表示し、さらに、記録用画像（ＣＡＰ画像）の画素値もすべて、シャッタースピードに応じた露光期間の露光処理が実行されたと同様の画素値に設定した高品質な記録用画像を生成して記録することが可能となる。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力する撮像素子と、
前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正する画像補正部と、
を備える撮像装置。

（２） 前記画像補正部は、前記第１画像を構成する画素の画素値を、前記第１画像を取得する露光期間の露光処理を行ったと同様の画素値に補正する、
（１）に記載の撮像装置。

（３） 前記画像補正部は、前記第２画像を構成する画素の画素値に基づいて、前記第１画像を構成する画素の画素値を補正する、
（１）または（２）に記載の撮像装置。

（４） 前記撮像装置は、
前記撮像素子による撮影画像を格納するフレームメモリを有し、
前記画像補正部は、前記フレームメモリの格納画像を入力して画素値を補正する、
（１）〜（３）いずれかに記載の撮像装置。

（５） 前記第１画像は、記録用画像であり、前記第２画像は、表示用画像である、
（１）〜（４）いずれかに記載の撮像装置。

（６） 前記画像補正部は、
前記第１画像を構成する画素中、前記第２画像の出力に起因して発生する欠陥画素の画素値を、前記第１画像の露光期間の露光処理を行ったと同様の画素値に補正する、
（１）〜（５）いずれかに記載の撮像装置。

（７） 前記画像補正部は、
前記前記第１画像の露光期間中に、前記撮像素子から出力された前記第２画像の画素値の加算値を、前記第１画像の補正対象画素の画素値に加算する処理を行う、
（１）〜（６）いずれかに記載の撮像装置。

（８） 前記画像補正部は、
前記第１画像の露光期間中に、前記撮像素子から出力された前記第２画像の画素値の加算値を格納するメモリを有し、
前記メモリに格納された値を、前記第１画像の補正対象画素の画素値に加算する処理を行う、
（１）〜（７）いずれかに記載の撮像装置。

（９） 前記画像補正部は、
前記第２画像が、前記第１画像の露光期間内に撮影された画像である場合、前記第２画像像の画素値を前記メモリに格納する処理を行う、
（８）に記載の撮像装置。

（１０） 前記画像補正部は、
前記第２画像が、前記第１画像の露光期間内に撮影された画像である場合、前記第２画像の画素値を前記メモリに格納するとともに、表示部に対する表示用画像として出力する処理を行う、
（８）に記載の撮像装置。

（１１） 前記画像補正部は、
前記第２画像の露光期間が、前記第１画像の露光期間の一部に重複する場合、前記第２画像の画素値に対して、前記第２画像の露光期間と、前記第１画像の露光期間の重複率を乗算した値を前記メモリに格納する処理を行う、
（８）に記載の撮像装置。

（１２） 前記画像補正部は、
前記第１画像の補正対象画素に対して、該補正対象画素の周囲画素を参照画素とし、参照画素の画素値に基づく画素値補正を実行する、
（１）〜（１１）いずれかに記載の撮像装置。

（１３） 前記参照画素は、前記補正対象画素の周囲の８画素である、
（１２）に記載の撮像装置。

（１４） 前記画像補正部は、
前記第１画像、および前記第２画像を生成する信号処理部内に構成されている、
（１）〜（１３）ていずれかに記載の撮像装置。

（１５） 前記画像補正部は、
前記撮像素子と、前記撮像素子の出力信号に対するＡＤ変換処理を実行するＡＤ変換部と、前記ＡＤ変換部の生成したデジタル信号を格納するフレームメモリを構成要素とする撮像デバイス内に構成されている（１）〜（１３）いずれかに記載の撮像装置。

（１６） 撮像装置において実行する画像処理方法であり、
撮像素子が、第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力し、
画像補正部が、前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正する、
画像処理方法。

（１７） 撮像装置において画像処理を実行させるプログラムであり、
撮像素子に、第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力させ、
画像補正部に、前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正させる、
プログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、記録用画像の露光期間内においても表示用画像を出力し、かつ高画質の記録用画像を生成可能とした装置、方法が実現される。
具体的には、例えば、撮像素子は、高画素数の記録用画像の露光期間中、撮像素子の構成画素を間引きした低画素数の表示用画像の出力を実行する。記録用画像補正部は、フレームメモリから露光期間経過後の記録用画像を入力し、記録用画像の構成画素中、撮像素子からの表示用画像出力に起因して発生する欠陥画素の画素値を、記録用画像の露光期間内に出力された表示用画像の画素値の加算値を利用して補正することで、記録用画像の露光期間の露光処理を行ったと同様の画素値に補正する。
これらの処理により、記録用画像の露光期間内においても表示用画像を出力し、かつ高画質の記録用画像を生成可能とした装置、方法が実現される。

１１ 光学レンズ
１２ 撮像素子
１３ ＡＤ変換部
１４ フレームメモリ
１５ 信号処理部
１６ メモリ
２１ 表示部
２２ 記録部
５０ フレームメモリ
５１ ＬＶ画像出力画素
６０ 記録用画像（ＣＡＰ画像）
１０１ 光学レンズ
１０２ 撮像素子
１０３ ＡＤ変換部
１０４ フレームメモリ
１０５ 信号処理部
１０６ メモリ
１０７ 表示部
１０８ 記録部
１０９ 操作部
１１０ 制御部
１２１ 記録用画像補正部
１２２ 画像補正部
３０１，３０４ 加算器
３０２ メモリ
３０３，３０６ セレクタ
３０５ 欠陥補正部
３５０ 欠陥あり記録用画像
３５１ 欠陥画素（ＬＶ画像出力画素）
４００ 撮像装置
４１０ 撮像デバイス
４１１ 撮像素子
４１２ ＡＤ変換部
４１３ フレームメモリ
４１４ 記録用画像補正部

Claims (17)

1. 第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力する撮像素子と、
   前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正する画像補正部と、
   を備える撮像装置。
2. 前記画像補正部は、前記第１画像を構成する画素の画素値を、前記第１画像を取得する露光期間の露光処理を行ったと同様の画素値に補正する、
   請求項１に記載の撮像装置。
3. 前記画像補正部は、前記第２画像を構成する画素の画素値に基づいて、前記第１画像を構成する画素の画素値を補正する、
   請求項１に記載の撮像装置。
4. 前記撮像装置は、
   前記撮像素子による撮影画像を格納するフレームメモリを有し、
   前記画像補正部は、前記フレームメモリの格納画像を入力して画素値を補正する、
   請求項１に記載の撮像装置。
5. 前記第１画像は、記録用画像であり、前記第２画像は、表示用画像である、
   請求項１に記載の撮像装置。
6. 前記画像補正部は、
   前記第１画像を構成する画素中、前記第２画像の出力に起因して発生する欠陥画素の画素値を、前記第１画像の露光期間の露光処理を行ったと同様の画素値に補正する、
   請求項１に記載の撮像装置。
7. 前記画像補正部は、
   前記前記第１画像の露光期間中に、前記撮像素子から出力された前記第２画像の画素値の加算値を、前記第１画像の補正対象画素の画素値に加算する処理を行う、
   請求項１に記載の撮像装置。
8. 前記画像補正部は、
   前記第１画像の露光期間中に、前記撮像素子から出力された前記第２画像の画素値の加算値を格納するメモリを有し、
   前記メモリに格納された値を、前記第１画像の補正対象画素の画素値に加算する処理を行う、
   請求項１に記載の撮像装置。
9. 前記画像補正部は、
   前記第２画像が、前記第１画像の露光期間内に撮影された画像である場合、前記第２画像像の画素値を前記メモリに格納する処理を行う、
   請求項８に記載の撮像装置。
10. 前記画像補正部は、
    前記第２画像が、前記第１画像の露光期間内に撮影された画像である場合、前記第２画像の画素値を前記メモリに格納するとともに、表示部に対する表示用画像として出力する処理を行う、
    請求項８に記載の撮像装置。
11. 前記画像補正部は、
    前記第２画像の露光期間が、前記第１画像の露光期間の一部に重複する場合、前記第２画像の画素値に対して、前記第２画像の露光期間と、前記第１画像の露光期間の重複率を乗算した値を前記メモリに格納する処理を行う、
    請求項８に記載の撮像装置。
12. 前記画像補正部は、
    前記第１画像の補正対象画素に対して、該補正対象画素の周囲画素を参照画素とし、参照画素の画素値に基づく画素値補正を実行する請求項１に記載の撮像装置。
13. 前記参照画素は、前記補正対象画素の周囲の８画素である、
    請求項１２に記載の撮像装置。
14. 前記画像補正部は、
    前記第１画像、および前記第２画像を生成する信号処理部内に構成されている、
    請求項１に記載の撮像装置。
15. 前記画像補正部は、
    前記撮像素子と、前記撮像素子の出力信号に対するＡＤ変換処理を実行するＡＤ変換部と、前記ＡＤ変換部の生成したデジタル信号を格納するフレームメモリを構成要素とする撮像デバイス内に構成されている、
    請求項１に記載の撮像装置。
16. 撮像装置において実行する画像処理方法であり、
    撮像素子が、第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力し、
    画像補正部が、前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正する、
    画像処理方法。
17. 撮像装置において画像処理を実行させるプログラムであり、
    撮像素子に、第１画素数の第１画像を取得するための露光期間中、前記第１画素数よりも少ない第２画素数の第２画像を出力させ、
    画像補正部に、前記第１画像を構成する画素中、前記第２画像を構成する画素に対応する画素の画素値を補正させる、
    プログラム。

Images