WO2011090107A1 - 画像処理装置、撮像装置、プログラム及び画像処理方法 - Google Patents

Abstract

簡素な処理で低解像動画から高解像画像を取得できる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供すること。 【解決手段】受光単位が複数の画素毎に設定される。受光単位に含まれる複数の画素の画素値が加算されて受光値ａ_００～ａ_１１として読み出され、低解像フレーム画像が取得される。画像処理装置は、複数の低解像フレーム画像に基づいて、受光単位に含まれる各画素の画素値ｖ_００～ｖ_１１を推定する推定演算部と、推定された画素値に基づいて高解像フレーム画像を出力する画像出力部と、を含む。そして、受光単位を重畳しながら順次画素シフトさせつつ受光値ａ_００～ａ_１１が読み出される。推定演算部は、画素シフトされることで得られた複数の受光値ａ_００～ａ_１１に基づいて、受光単位に含まれる各画素の画素値ｖ_００～ｖ_１１を推定する。

Description

画像処理装置、撮像装置、プログラム及び画像処理方法

　本発明は、画像処理装置、撮像装置、プログラム及び画像処理方法等に関する。

　昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。

特開２００９－１２４６２１号公報 特開２００８－２４３０３７号公報

　しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。

　この決定的瞬間の撮影を実現するために、本発明者は、画素シフトの手法を利用して動画から任意タイミングの高解像静止画を生成することを考えている。画素シフトの手法として、例えば特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、特許文献１、２の手法では、処理負荷の増大や、画素値の推定が困難な場合があるという課題がある。

　本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供できる。

　本発明の一態様は、受光値を取得する単位である受光単位が撮像素子の複数の画素毎に設定され、前記受光単位に含まれる複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含み、前記受光単位を重畳しながら順次画素シフトさせつつ前記受光単位の受光値が読み出されて、前記低解像フレーム画像が取得され、前記推定演算部は、前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する画像処理装置に関係する。

　本発明の一態様によれば、受光単位に含まれる複数の画素の画素値が加算されて受光値が読み出され、低解像フレーム画像が取得される。この受光値は、受光単位を重畳しながら順次画素シフトさせつつ読み出される。受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、受光単位に含まれる各画素の画素値が推定され、推定された画素値に基づいて高解像フレーム画像が出力される。これにより、簡素な処理で低解像動画から高解像画像を取得すること等が可能になる。

　また、本発明の一態様では、前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、前記推定演算部は、前記第１、第２のポジションの受光単位の受光値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めてもよい。

　このようにすれば、受光単位が重畳しながら順次画素シフトさせつつ読み出された受光値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、高解像フレーム画像の画素値推定を簡素化できる。

　また、本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定してもよい。

　このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。

　また、本発明の一態様では、前記推定演算部は、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定してもよい。

　このようにすれば、評価関数の値が最小となるように中間画素値の値を決定することで、中間画素値パターンと受光値の類似性が最も高くなるように中間画素値の値を決定できる。

　また、本発明の一態様では、前記受光単位の受光値に対する前記中間画素値パターンの対応関係が、既知の高解像フレーム画像に基づいて、前記受光単位の受光値と前記中間画素値パターンの類似性をあらかじめ定める先見情報として取得され、前記推定演算部は、前記先見情報に基づいて、中間画素値間の関係式で表された前記中間画素値パターンと取得された前記受光単位の受光値との類似性を評価してもよい。

　このようにすれば、既知の高解像フレーム画像に基づいて取得された先見情報に基づいて類似性を評価し、その評価結果に基づいて中間画素値を決定できる。

　また、本発明の一態様では、前記推定演算部は、ノードの重み係数として、前記既知の高解像フレーム画像に基づく学習によって前記先見情報として得られた係数を用いるニューラルネットワークを有し、前記ニューラルネットワークは、中間画素値パターンと前記受光単位の受光値を受けて、前記類似性の評価結果を出力し、前記推定演算部は、前記ニューラルネットワークからの前記類似性の評価結果に基づいて前記中間画素値パターンの中間画素値の値を決定してもよい。

　このようにすれば、ノードの重み係数を先見情報とするニューラルネットワークを用いることで、先見情報に基づく類似性評価を実現できる。

　また、本発明の一態様では、前記受光単位の各画素値が重み付け加算されて前記受光単位の受光値として読み出され、前記推定演算部は、重み付け加算により得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定してもよい。

　このようにすれば、受光単位の各画素値を重み付け加算して低解像フレーム画像を取得し、取得した低解像フレーム画像から高解像フレーム画像の画素値を推定できる。

　また、本発明の一態様では、前記画素シフトが各フレームで行われ、前記画素シフトにより前記受光単位が複数のポジションに順次設定され、複数のフレーム毎に前記受光単位が同じポジションに設定され、前記低解像フレーム画像は、時系列に各ポジションに対応して取得された連続低解像フレーム画像である場合に、前記各フレームでの前記複数のポジションの受光単位の受光値を補間する処理を行う補間処理部を含み、前記補間処理部は、補間対象のフレームの前記連続低解像フレーム画像での欠落したポジションの受光単位の受光値を、前記補間対象のフレームの前後のフレームの前記連続低解像フレーム画像での、前記欠落したポジションと同じポジションの受光単位の受光値を用いて時間軸補間し、前記推定演算部は、前記時間軸補間により補間された前記連続低解像フレーム画像に基づいて、前記各フレームでの前記受光単位の各画素の画素値を推定してもよい。

　このようにすれば、画素シフトにより受光値が取得され、取得された受光値を用いて欠落したポジションの受光値を補間し、補間後の受光値から受光単位の各画素の画素値を求めることができる。

　また、本発明の一態様では、前記画像出力部は、前記推定演算部により推定された前記各フレームでの前記受光単位の各画素の画素値に基づく各フレームでの前記高解像フレーム画像を、静止画または動画として出力してもよい。

　このようにすれば、各フレームでの高解像フレーム画像を、静止画または動画として出力できる。

　また、本発明の一態様では、前記補間処理部は、前記時間軸補間を時間軸補間フィルタにより行ってもよい。

　このようにすれば、時間軸補間フィルタにより時間軸補間を行うことができる。

　また、本発明の一態様では、前記補間処理部は、前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より小さい場合には、前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記前後のフレームでの、前記欠落したポジションと同じポジションの受光単位の受光値を用いて補間し、前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より大きい場合には、前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記補間対象のフレームで取得された受光値を用いて補間してもよい。

　このようにすれば、補間対象のフレームの前後のフレームでの受光単位の受光値の差分値に応じて、補間対象のフレームでの受光値の時間軸補間を行うことができる。

　また、本発明の一態様では、第１の受光単位と第２の受光単位が隣接する受光単位であり、画素シフトにより前記第１、第２の受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１、第２のポジションの前記第１の受光単位が第１の重畳領域で重畳し、前記第１、第２のポジションの前記第２の受光単位が第２の重畳領域で重畳する場合に、前記推定演算部は、前記第１のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第２の受光領域の受光値である第２の中間画素値とを推定し、前記第１のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第３の受光領域の受光値である第３の中間画素値を未知数とし、前記第２のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第４の受光領域の受光値である第４の中間画素値を前記未知数を用いた関係式で表し、前記第３の受光領域と同じ領域である前記第２の受光領域の中間画素値として求めた前記第２の中間画素値に基づいて前記未知数の探索範囲を設定し、設定した前記探索範囲において前記未知数を探索的に求めて前記第３の中間画素値を推定してもよい。

　このようにすれば、先に求めた第２の中間画素値に基づいて、次に推定する未知数の探索範囲を設定できる。

　また、本発明の一態様では、第１の受光単位と第２の受光単位が隣接する受光単位であり、画素シフトにより前記第１、第２の受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１、第２のポジションの前記第１の受光単位が第１の重畳領域で重畳し、前記第１、第２のポジションの前記第２の受光単位が第２の重畳領域で重畳する場合に、前記推定演算部は、前記第１のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第２の受光領域の受光値である第２の中間画素値とを含む連続する中間画素値である第１の中間画素値パターンを推定し、前記第１のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第３の受光領域の受光値である第３の中間画素値と、前記第２のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第４の受光領域の受光値である第４の中間画素値とを含む連続する中間画素値である第２の中間画素値パターンを推定し、前記第２のポジションの前記第１の受光単位と前記第１のポジションの前記第２の受光単位との重畳領域である第５の受光領域の受光値である第５の中間画素値を含み、前記第１、第４の中間画素値を含まない連続する中間画素値である第３の中間画素値パターンを推定し、前記第３、第５の受光領域が前記第２の受光領域と同一の受光領域である場合に、前記同一の受光領域の中間画素値を、前記第１～第３の中間画素値パターンの推定により得られた前記第２、第３、第５の中間画素値に基づいて最終的に決定してもよい。

　このようにすれば、同一の受光領域の中間画素値を３回推定することで求めた３つの推定値に基づいて、その受光領域の最終的な中間画素値を決定できる。

　また、本発明の一態様では、前記推定演算部は、推定により得られた画素値に対して、前記受光単位内での画素位置に応じて異なるフィルタ係数のフィルタ処理を行ってもよい。

　このようにすれば、推定により得られた画素値に対して、受光単位内での画素位置に応じたフィルタ処理を行うことができる。

　また、本発明の一態様では、前記受光単位に含まれる画素数が、被写体の明るさが暗いほど多い画素数に設定され、前記画像出力部は、前記被写体の明るさが暗いほど高感度の前記高解像フレーム画像を出力してもよい。

　このようにすれば、被写体の明るさに応じて受光単位に含まれる画素数が設定され、被写体の明るさに応じた感度の高解像フレーム画像を出力できる。

　また、本発明の一態様では、前記撮像素子がカラー撮像素子であり、隣接する複数の画素が、画素の色に依らず前記受光単位に設定され、前記受光単位に設定された前記隣接する複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、前記推定演算部は、取得された前記低解像度フレーム画像に基づいて前記受光単位の各画素の画素値を推定し、前記画像出力部は、前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力してもよい。

　また、本発明の一態様では、前記撮像素子がカラー撮像素子であり、同じ色の複数の画素が前記受光単位に設定され、前記受光単位に設定された前記同じ色の複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、前記推定演算部は、取得された前記低解像度フレーム画像に基づいて前記受光単位の各画素の画素値を推定し、前記画像出力部は、前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力してもよい。

　これらの本発明の一態様によれば、カラー撮像素子を用いた場合にも、低解像フレーム画像を取得し、その低解像フレーム画像から画素値の推定を行って、カラーの高解像フレーム画像を取得できる。

　また、本発明の他の態様は、撮像素子と、前記撮像素子の複数の画素毎に受光単位を設定し、前記受光単位の複数の画素の画素値を加算して前記受光単位の受光値として読み出し、低解像度フレーム画像を取得する読出制御部と、前記読出制御部により取得された前記低解像フレーム画像を記憶する記憶部と、前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含み、前記読出制御部は、前記受光単位を重畳しながら順次画素シフトさせつつ前記受光単位の受光値を読み出して前記低解像フレーム画像を取得し、前記推定演算部は、前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位の各画素の画素値を推定する撮像装置に関係する。

　また、本発明の他の態様は、受光値を取得する単位である受光単位が撮像素子の複数の画素毎に設定され、前記受光単位に含まれる複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像度フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部として、コンピュータを機能させ、前記受光単位を重畳しながら順次画素シフトさせつつ前記受光単位の受光値が読み出されて、前記低解像フレーム画像が取得され、前記推定演算部は、前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定するプログラムに関係する。

　また、本発明の他の態様は、撮像素子の複数の画素毎に受光単位が設定され、前記受光単位を重畳しながら順次画素シフトされつつ前記受光単位の複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶し、記憶された複数の低解像フレーム画像を構成する受光値である、前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位の各画素の画素値を推定し、推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像処理方法に関係する。

図１（Ａ）は、推定処理ブロックの説明図であり、図１（Ｂ）は、受光単位の説明図。 図２（Ａ）は、推定画素値の説明図であり、図２（Ｂ）は、中間画素値の説明図。 図３は、第１の推定手法における中間画素値の推定手法の説明図。 図４は、第１の推定手法における中間画素値の推定手法の説明図。 図５は、第１の推定手法における中間画素値の推定手法の説明図。 図６（Ａ）、図６（Ｂ）は、第１の推定手法における推定画素値の推定手法の説明図。 図７は、第１の推定手法における推定画素値の推定手法の説明図。 図８は、第１の推定手法における推定画素値の推定手法の説明図。 図９は、第１の推定手法における推定画素値の推定手法の説明図。 図１０は、第２の推定手法の説明図。 図１１は、第２の推定手法の説明図。 図１２は、第２の推定手法の説明図。 図１３は、第２の推定手法の説明図。 図１４は、第２の推定手法における探索範囲設定の説明図。 図１５は、第２の推定手法の概要説明図。 図１６は、第３の推定手法の説明図。 図１７は、第３の推定手法の概要説明図。 図１８は、第４の推定処理の説明図。 図１９は、ノイズフィルタの構成例。 図２０は、第５の推定処理における重み係数の説明図。 図２１（Ａ）、図２１（Ｂ）は、第５の推定処理における中間画素値の推定手法の説明図。 図２２は、第５の推定処理における中間画素値の推定手法の説明図。 図２３は、第５の推定処理における中間画素値の推定手法の説明図。 図２４は、第５の推定処理における中間画素値の推定手法の説明図。 図２５（Ａ）、図２５（Ｂ）は、第５の推定処理における推定画素値の推定手法の説明図。 図２６は、第５の推定処理における推定画素値の推定手法の説明図。 図２７は、第５の推定処理における推定画素値の推定手法の説明図。 図２８は、第５の推定処理における推定画素値の推定手法の説明図。 図２９は、受光値の第１の補間手法の説明図。 図３０は、補間処理のタイミングチャート例。 図３１は、撮像装置と画像処理装置の第１の詳細な構成例。 図３２は、フュージョンフレームに対する動き補償の説明図。 図３３は、受光値の第２の補間手法の説明図。 図３４は、受光値の第２の補間手法の説明図。 図３５は、カラー画像の第１の推定手法の説明図。 図３６は、カラー画像の第２の推定手法の説明図。 図３７は、カラー画像の第２の推定手法の説明図。 図３８は、カラー画像の第２の推定手法の説明図。 図３９は、カラー画像の第２の推定手法の説明図。 図４０は、明るさに適応した加算画素数の設定手法。 図４１は、撮像装置と画像処理装置の第２の詳細な構成例。

　以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

　１．比較例
　まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。

　しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。

　このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。

　しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリー、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。

　また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。

　この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素ずらしにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。

　例えば、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、
ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などが知られている。

　また、超解像処理を用いた手法として、上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。

　しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。

　また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。

　しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。

　２．第１の推定手法
　そこで、本実施形態では、画素ずらしにより高フレームレートの低解像動画を撮影し、その低解像動画から簡素な画素推定手法で高解像画像を生成する。そして、生成した高解像画像を用いて、動画の中の任意タイミングの高解像静止画を取得したり、高フレームレートの高解像動画を取得する。

　以下では図面を用いて、このような本実施形態の手法について詳細に説明する。図１（Ａ）、図１（Ｂ）に、画素推定に用いられる推定処理ブロックと受光単位の模式的な説明図を示す。図１（Ａ）、図１（Ｂ）では、撮像素子上の画素を実線の四角で示し、水平方向（水平走査方向）の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは自然数）。

　図１（Ａ）に示すように、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ_００、Ｂｋ_１０、・・・を設定する。本実施形態では、この推定処理ブロック毎に、高解像画像の画素値の推定処理を行う。

　図１（Ｂ）には、上記の推定処理ブロックのうちの１つを模式的に示す。図１（Ｂ）に示すように、４画素（広義には複数の画素）を１つの受光単位に設定し、その受光単位内の４画素の画素値を加算読み出し（混合読み出し）して、受光単位の受光値ａ_００～ａ_{（ｍ－１）（ｎ－１）}（加算画素値、４画素加算値）を取得する。この受光単位は４画素毎に設定され、受光値ａ_００～ａ_{（ｍ－１）（ｎ－１）}は、フレーム毎に受光単位を１画素ずつずらして設定することで順次取得される。例えば、第１フレームでａ_００、ａ_２０、・・・が取得され、第２フレームでａ_１０、ａ_３０、・・・が取得され、第３フレームでａ_１１、ａ_３１、・・・が取得され、第４フレームでａ_０１、ａ_２１、・・・が取得される。

　図２（Ａ）～図９を用いて、本実施形態の画素推定手法について説明する。以下では、説明を簡単にするために、２×２画素毎に推定処理ブロックが設定される場合を例に説明する。なお、画素推定に用いられる受光値ａ_００～ａ_１１は、加算読み出しにより取得された受光値そのものであってもよく、後述する時間軸補間により補間された受光値であってもよい。

　図２（Ａ）、図２（Ｂ）に、推定画素値と中間画素値の説明図を示す。図２（Ａ）に示すように、受光値ａ_００～ａ_１１を用いて、最終的に画素値ｖ_００～ｖ_２２（推定画素値）を推定する。すなわち、撮像素子の画素ピッチをｐとすると、画素ピッチ２ｐの受光単位により取得された低解像画像から、画素ピッチｐの撮像素子と同じ解像度（画素数）の高解像画像を推定する。

　このとき、図２（Ｂ）に示すように、受光値ａ_００～ａ_１１から中間画素値ｂ_００～ｂ_２１（中間推定画素値、２画素加算値）を推定し、その中間画素値ｂ_００～ｂ_２１から画素値ｖ_００～ｖ_２２を推定する。この中間画素値の推定手法について、図３に示す水平方向の最初の行の中間画素値ｂ_００～ｂ_２０を例に説明する。

　受光値と中間画素値の間には、下式（１）の関係が成り立つ。
　　ａ_００＝ｂ_００＋ｂ_１０，
　　ａ_１０＝ｂ_１０＋ｂ_２０　　　・・・　（１）

　ｂ_００を未知数（初期変数、初期値）として上式（１）を変形すると、下式（２）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として表すことができる。
　　ｂ_００＝（未知数），
　　ｂ_１０＝ａ_００－ｂ_００，
　　ｂ_２０＝ｂ_００＋δｉ_０＝ｂ_００＋（ａ_１０－ａ_００）　　　・・・　（２）

　ここで、下式（３）に示すように、δｉ_０は１シフト離れた受光値の差分値であり、中間画素値ｂ_２０、ｂ_００の差分値に対応する。
　　δｉ_０＝ａ_１０－ａ_００
　　　　　＝（ｂ_１０＋ｂ_２０）－（ｂ_００＋ｂ_１０）
　　　　　＝ｂ_２０－ｂ_００　　　　　　　　　　　　　　・・・　（３）

　このようにして、ｂ_００を未知数とする高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。このｂ_００の関数として表わされた中間画素値の絶対値（値、数値）を決定するためには、未知数ｂ_００を求める必要がある。

　図４に示すように、本実施形態では、重畳シフトサンプリングにより検出される画素値によるパターン｛ａ_００，ａ_１０｝と中間画素値によるパターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。そして、その誤差が最小になる未知数ｂ_００を導出し、導出した未知数ｂ_００を最終的な中間画素値ｂ_００として設定する。

　具体的には、下式（４）に示すように、誤差の評価関数Ｅｊを未知数ｂ_００の関数で表す。そして、図５に示すように、評価関数Ｅｊを最小（極小値）にする未知数ｂ_００＝α（初期値）を探索的に求める（最小二乗法）。

　上式（４）に示すように、本実施形態では、中間画素値の平均値と、低域周波数成分をもつパターン｛ａ_００，ａ_１０｝の誤差評価を行う。これにより、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の推定解として高域周波数成分を多く含むパターンが導出されることを抑止できる。すなわち、仮に未知数の推定が不正確となったとしても、低域周波数成分を多く含む画像を生成することになる。そのため、低域周波数成分よりも不自然さが強調され易い高域周波数成分に誤りを含むパターンを生成することを抑止でき、画像としては見た目の自然さを失うことがない。これにより、低域周波数成分に比べて高域周波数成分が小さい自然画像に対して、合理的な画素推定が可能になる。

　このようにして、中間画素値ｂ_００の値を推定し、推定したｂ_００の値を上式（２）に代入して中間画素値ｂ_１０、ｂ_２０の値を決定する。そして、同様にｂ_０１を未知数として２行目の中間画素値ｂ_０１～ｂ_２１を推定する。

　次に、推定した中間画素値ｂ_ｉｊを用いて最終的な推定画素値ｖ_ｉｊを求める手法について説明する。図６（Ａ）、図６（Ｂ）に、中間画素値と推定画素値の説明図を模式的に示す。図６（Ａ）に示すように、上述の手法で推定した３列の中間画素値ｂ_００～ｂ_２１のうち、２列の中間画素値ｂ_００～ｂ_１１を用いて推定を行う。図６（Ｂ）に示すように、中間画素値ｂ_００～ｂ_１１から画素値ｖ_００～ｖ_１２が推定される。以下では、説明を簡単にするために、図７に示す１列目の画素値ｖ_００～ｖ_０２を例に説明する。

　画素値ｖ_００～ｖ_０２の推定は、上述の中間画素値の推定手法と同様の手法で行う。具体的には、中間画素値ｂ_００、ｂ_０１は、画素値ｖ_００～ｖ_０２を垂直方向に２画素単位で１画素ずつシフトさせながら重畳サンプリングした値と等価である。そのため、中間画素値と推定画素値の間には、下式（５）の関係が成り立つ。
　　ｂ_００＝ｖ_００＋ｖ_０１，
　　ｂ_０１＝ｖ_０１＋ｖ_０２　　　・・・　（５）

　下式（６）に示すように、画素値ｖ_０１、ｖ_０２を未知数ｖ_００の関数として表すことができる。
　　ｖ_００＝（未知数），
　　ｖ_０１＝ｂ_００－ｖ_００，
　　ｖ_０２＝ｖ_００＋δｊ_０＝ｖ_００＋（ｂ_０１－ｂ_００）　　　・・・　（６）

　ここで、下式（７）に示すように、δｊ_０は１シフト離れた中間画素値の差分値であり、画素値ｖ_０２、ｖ_００の差分値に対応する。
　　δｉ_０＝ｂ_０１－ｂ_００
　　　　　＝（ｖ_０１＋ｖ_０２）－（ｖ_００＋ｖ_０１）
　　　　　＝ｖ_０２－ｖ_００　　　　　　　　　　　　　　・・・　（７）

　図８に示すように、中間画素値によるパターン｛ｂ_００，ｂ_１０｝と、推定画素値によるパターン｛ｖ_００，ｖ_０１、ｖ_０２｝の誤差が最小になる未知数ｖ_００を導出する。すなわち、下式（８）に示すように、誤差を評価関数Ｅｉで表し、図９に示すように、その評価関数Ｅｉを最小にする未知数ｖ_００＝βを探索的に求める。

　そして、同様の処理により２列目の画素値ｖ_１０～ｖ_１２を求め、最終的な推定画素値ｖ_００、ｖ_０１、ｖ_１０、ｖ_１１を決定する。なお、本実施形態では、最終推定画素値により構成される画像データに適当なノイズ低減処理を施して表示画像としてもよい。

　ここで、上述の実施形態では、未知数ｂ_００、ｖ_００を探索的に求める場合について説明したが、本実施形態では、未知数ｂ_００、ｖ_００を直接的に求めてもよい。すなわち、上式（４）に示す誤差Ｅｊの式はｂ_００の２次関数式であるので、下式（９）の形に式変形が可能である。そのため、Ｅｊを最小にするｂ_００の最小値αを直接的に求められる。ｖ_００の最小値βについても同様に求められる。
　　Ｅｊ＝（ｂ_００－α）^２＋ξ　　　・・・　（９）

　さて、上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。また、超解像処理により低解像動画から高解像静止画を合成する手法では、超解像処理が大負荷の処理であることから、処理回路の規模が増大してしまう等の課題がある。

　この点、本実施形態によれば、受光値（加算画素値、４画素加算値）を取得する単位である受光単位（受光値取得単位）が撮像素子の複数の画素毎に設定され、その受光単位に含まれる複数の画素の画素値が加算されて受光単位の受光値として読み出され、低解像フレーム画像が取得される。そして、取得された低解像フレーム画像が記憶され、記憶された複数の低解像フレーム画像に基づいて、受光単位に含まれる各画素の画素値が推定される。推定された画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像が出力される。このとき、低解像フレーム画像は、受光単位を重畳しながら順次画素シフトさせつつ受光単位の受光値が読み出されて取得される。そして、受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、受光単位に含まれる各画素の画素値が推定される。

　例えば、図１（Ｂ）で上述のように、受光単位が４画素毎に設定される。第１フレームで受光値ａ_００、ａ_２０、・・・が加算読み出しされ、ａ_００、ａ_２０、・・・で構成される低解像フレーム画像が取得される。そして、ａ_１０、ａ_３０、・・・で構成される低解像フレーム画像、ａ_１１、ａ_３１、・・・で構成される低解像フレーム画像、ａ_０１、ａ_２１、・・・で構成される低解像フレーム画像が順次取得される。例えば、受光値ａ_００、ａ_１０、ａ_１１、ａ_０１を取得する受光単位は、１画素分ずつ水平方向または垂直方向にシフトされ、２画素ずつ重畳しながら画素ずらしされている。これらの低解像フレーム画像は、例えば図３１等で後述する撮像装置により取得される。取得された低解像フレーム画像は、例えば図３１等で後述する画像処理装置に入力され、図示しないメモリー等の記憶部に記憶される。そして、画素値推定演算部（推定演算部）により、画素シフトで取得された複数の受光値ａ_００～ａ_{（ｍ－１）（ｎ－１）}に基づいて、受光単位に含まれる各画素値（推定処理ブロック内の各画素値）が推定される。推定された画素値から、撮像素子の解像度相当の高解像画像が出力される。

　これにより、簡素な処理で動画から高解像画像を取得することが可能になる。例えば、上述の中間画素値の推定を用いて推定処理を簡素化できる。また、高解像静止画は、低解像動画の任意タイミングのものを生成できるため、ユーザは、決定的瞬間の高解像静止画を容易に得ることができる。また、撮影時には低解像動画（例えば３メガピクセル）を取得することで高フレームレート（例えば６０フレーム）で撮影し、必要に応じて高解像静止画（１２メガピクセル）やハイビジョン動画を表示できる。

　より具体的には、本実施形態では、画素シフトにより受光単位が、第１のポジションと第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの受光単位は重畳する。そして、第１、第２のポジションの受光単位の受光値の差分値が求められる。第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、第２のポジションの受光単位から重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式が、差分値を用いて表される。その関係式を用いて第１、第２の中間画素値が推定され、推定された第１の中間画素値を用いて受光単位の各画素の画素値が求められる。

　例えば、図２（Ａ）で上述のように、第１フレームでは、受光値ａ_００を取得する第１のポジションに受光単位が設定され、第２フレームでは、受光値ａ_１０を取得する第２のポジションに受光単位が設定される。これらの受光単位は、推定画素ｖ_１０、ｖ_１１を含む領域において重畳する。図２（Ａ）、図２（Ｂ）で上述のように、推定画素ｖ_００、ｖ_０１を含む領域が第１の受光領域に対応し、その領域の中間画素値ｂ_００が第１の中間画素値に対応する。また、推定画素ｖ_２０、ｖ_２１を含む領域が第２の受光領域に対応し、その領域の中間画素値ｂ_２０が第２の中間画素値に対応する。そして、図３で上述のように、受光値ａ_００、ａ_１０の差分値δｉ_０が求められ、関係式ｂ_２０＝ｂ_００＋δｉ_０が求められる。図４等で上述のように、未知数ｂ_００が推定され、関係式を用いてｂ_２０が推定される。図６（Ａ）等で上述のように、ｂ_００を用いて、推定画素値ｖ_００、ｖ_０１が求められる。

　このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。

　また、本実施形態では、第１、第２の中間画素値を含む連続する（連続する順番の）中間画素値を中間画素値パターンとする場合に、中間画素値パターンの中間画素値間の関係式が受光単位の受光値を用いて表される。そして、中間画素値パターンと受光値パターン（受光単位の受光値）とを比較して類似性が評価され、その評価結果に基づいて、類似性が最も高くなるように中間画素値パターンの中間画素値の値が決定される。

　例えば、図４で上述したように、連続する中間画素値｛ｂ_００、ｂ_１０、ｂ_２０｝が中間画素値パターンに対応し、上式（２）で上述のように、｛ｂ_００、ｂ_１０、ｂ_２０｝間の関係式が受光値ａ_００、ａ_１０を用いて表される。そして、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝と受光値パターン｛ａ_００、ａ_１０｝を比較し、評価関数Ｅｊで表される類似性が最も高くなるように｛ｂ_００、ｂ_１０、ｂ_２０｝の値が決定される。ここで、受光値パターン｛ａ_００、ａ_１０｝は、水平方向に連続する（連続する順番の）受光値である。

　このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の受光値に基づいて、中間画素値を推定できる。

　より具体的には、本実施形態では、中間画素値間の関係式で表された中間画素値パターンと受光値パターン（受光単位の受光値）との誤差を表す評価関数が求められる。そして、その評価関数の値が最小となるように中間画素値パターンの中間画素値の値が決定される。

　例えば、上式（４）等で上述のように、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝が未知数ｂ_００の関数として表され、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝と受光値パターン｛ａ_００、ａ_１０｝との誤差が評価関数Ｅｊで表される。図５で上述のように、評価関数Ｅｊの値が最小となる未知数ｂ_００＝α（初期値）が求められ、求められたｂ_００によりｂ_００～ｂ_２０の値が決定される。

　このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索が不要である。

　３．第２の推定手法
　図２（Ｂ）等で上述のように、中間画素値ｂ_００、ｂ_１０に設定された推定処理ブロックでは、中間画素値ｂ_２０まで推定される。このｂ_２０は、中間画素値ｂ_２０、ｂ_３０に設定された次の推定処理ブロックでの未知数（初期変数）に当たる。本実施形態では、既に推定された中間画素値ｂ_２０を利用して、次に推定する未知数ｂ_２０の推定を高速化することができる。

　図１０～図１５を用いて、未知数の推定を高速化できる第２の推定手法について説明する。以下では、中間画素値（ｂ_２０等）の推定を例に説明するが、推定画素（ｖ_０２等）についても同様に推定できる。

　図１０に示すように、重畳シフトサンプリングにより検出される水平方向の最初の行において、受光値ａ_００、ａ_１０に注目すると下式（１０）が成り立つ。
　　ａ_００＝ｂ_００＋ｂ_１０，
　　ａ_１０＝ｂ_１０＋ｂ_２０　　　・・・　（１０）

　ｂ_００を未知数として下式（１１）が成り立つ。
　　ｂ_００＝（未知数），
　　ｂ_１０＝ａ_００－ｂ_００，
　　ｂ_２０＝ｂ_００＋δｉ_０＝ｂ_００＋（ａ_１０－ａ_００）　　　・・・　（１１）

　ここで、δｉ_０は、下式（１２）で表される。
　　δｉ_０＝ａ_１０－ａ_００
　　　　　＝（ｂ_１０＋ｂ_２０）－（ｂ_００＋ｂ_１０）
　　　　　＝ｂ_２０－ｂ_００　　　　　　　　　　　　　　・・・　（１２）

　図１１に示すように、受光値パターン｛ａ_００，ａ_１０｝と中間画素値パターンφ_０＝｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。具体的には、下式（１３）に示すように、誤差の評価関数Ｅｊを未知数ｂ_００の関数で表す。そして、図１２に示すように、評価関数Ｅｊを最小にする未知数ｂ_００＝α１を探索的に求め、上式（１１）により中間画素値ｂ_１０、ｂ_２０の値を決定する。

　同様に、水平方向における次の未知数ｂ_２０（初期変数）を求め、中間画素値パターンφ２＝｛ｂ_２０，ｂ_３０，ｂ_４０｝を求める。すなわち、図１３に示すように、受光値ａ_２０、ａ_３０に注目すると下式（１４）が成り立つ。
　　ａ_２０＝ｂ_２０＋ｂ_３０，
　　ａ_３０＝ｂ_３０＋ｂ_４０　　　・・・　（１４）

　ｂ_２０を未知数として下式（１５）が成り立つ。
　　ｂ_２０＝（未知数），
　　ｂ_３０＝ａ_２０－ｂ_２０，
　　ｂ_４０＝ｂ_２０＋δｉ_２＝ｂ_２０＋（ａ_３０－ａ_２０）　　　・・・　（１５）

　ここで、δｉ_２は１シフト離れた受光値の差分値であり、下式（１６）で表される。
　　δｉ_２＝ａ_３０－ａ_２０
　　　　　＝（ｂ_３０＋ｂ_４０）－（ｂ_２０＋ｂ_３０）
　　　　　＝ｂ_４０－ｂ_２０　　　　　　　　　　　　　　・・・　（１６）

　図１３に示すように、受光値パターン｛ａ_２０，ａ_３０｝と中間画素値パターンφ_２＝｛ｂ_２０，ｂ_３０，ｂ_４０｝を比較する。具体的には、下式（１７）に示すように、誤差の評価関数Ｅｊを未知数ｂ_２０の関数で表す。

　上述のように、中間画素値ｂ_００～ｂ_２０の推定によりｂ_２０の値が既に求められている。図１４に示すように、この既に求められたｂ_２０（＝α１＋δｉ_０）の近傍値の範囲を探索範囲に設定する。そして、その探索範囲内で未知数ｂ_２０を変化させ、評価関数Ｅｊが最小となるｂ_００＝α２を求める。このようにすれば、上式（１７）の演算回数を格段に低減し、推定処理の高速化を図ることができる。

　上記の本実施形態によれば、図１５に示すように、第１の受光単位と第２の受光単位が隣接する受光単位である。そして、画素シフトにより第１、第２の受光単位が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの第１の受光単位が第１の重畳領域で重畳し、第１、第２のポジションの第２の受光単位が第２の重畳領域で重畳する。

　このとき、第１のポジションの第１の受光単位から第１の重畳領域を除いた領域が、第１の受光領域である。また、第２のポジションの第１の受光単位から第１の重畳領域を除いた領域が、第２の受光領域である。そして、この第１、第２の受光領域の受光値である第１、第２の中間画素値（例えば、ｂ_００、ｂ_２０）が推定される（ｂ_００＝α１、ｂ_２０＝α１＋δｉ_０）。

　また、第１のポジションの第２の受光単位から第２の重畳領域を除いた領域が、第３の受光領域である。また、第２のポジションの第２の受光単位から第２の重畳領域を除いた領域が、第４の受光領域である。そして、この第３の受光領域の受光値である第３の中間画素値（ｂ_２０）が未知数とされ、第４の受光値である第４の中間画素値（ｂ_４０）が未知数（ｂ_２０）を用いた関係式（ｂ_４０＝ｂ_２０＋δｉ_２）で表される。

　そして、第３の受光領域と第２の受光領域は同じ領域であり、第２の受光領域の中間画素値として先に求めた第２の中間画素値（ｂ_２０＝α１＋δｉ_０）に基づいて、第３の中間画素値である未知数（ｂ_２０）の探索範囲が設定される。設定された探索範囲において未知数（ｂ_２０）が探索的に求められ、第３の中間画素値（ｂ_２０＝α２）が推定される。

　このようにすれば、中間画素値の高速推定が可能になる。すなわち、先に求めた第２の中間画素値（ｂ_２０＝α１＋δｉ_０）に基づいて、次の推定処理ブロックで推定する未知数（ｂ_２０）の探索範囲を設定できる。これにより、未知数（ｂ_２０）を探索する範囲を限定し、探索回数を削減できる。

　４．第３の推定手法
　上述の実施形態では、未知数（ｂ_００、ｂ_２０等）を１回だけ推定するが、本実施形態では、未知数を複数回推定し、その複数の推定値に基づいて未知数の値を高精度に決定してもよい。図１６、図１７を用いて、複数の推定値から未知数の値を決定する第３の推定手法について説明する。以下では、中間画素値（ｂ_２０）を例に説明するが、推定画素値（ｖ_０２等）も同様に推定できる。

　図１６に示すように、重畳シフトサンプリングにより検出される水平方向の受光値において、まず｛ａ_００，ａ_１０｝から高精細な中間画素値φ_０＝｛ｂ_００，ｂ_１０，ｂ_２０｝を求める。この中間画素値φ_０＝｛ｂ_００，ｂ_１０，ｂ_２０｝は、上式（１０）～（１３）の手法と同様の手法により求める。

　上式（１４）～（１７）の手法と同様の手法により、｛ａ_１０，ａ_２０｝から高精細な中間画素値φ_１＝｛ｂ_１０，ｂ_２０，ｂ_３０｝を求める。上式（１４）～（１７）の手法と同様の手法により、｛ａ_２０，ａ_３０｝から高精細な中間画素値φ_２＝｛ｂ_２０，ｂ_３０，ｂ_４０｝を求める。

　これら３回の推定において、中間画素値ｂ_２０は、集合φ_０，φ_１，φ_２のそれぞれに表れる。そのため、３回の推定により中間画素値ｂ_２０の３つの推定値が得られることになる。本実施形態では、これら３つの推定値から最終的な中間画素値ｂ_２０の値を決定（判定）する。例えば、以下の第１～第４の決定手法により決定できる。

　第１の決定手法では、３つのｂ_２０の候補値の平均値をｂ_２０の最終決定値とする。

　第２の決定手法では、３つのｂ_２０の候補値の内、差分が最も小さい２つの値を特定し、特定された２つの値の平均値をｂ_２０の最終決定値とする。この手法によれば、値の近い２つの推定値を確からしい推定値とし、未知数の推定精度を向上できる。

　第３の決定手法では、既知の多数の高解像画像サンプルの画素値を加算し、受光値と中間画素値を求める。求めた受光値と中間画素値から、受光値パターンに対して発生確率が高い中間画素値パターンを予め特定しておく。そして、その予め特定した対応関係を参照して、撮影により取得された受光値パターンに対して発生確率が高い中間画素値パターンを求める。３つの中間画素値パターンφ_０，φ_１，φ_２のうち、求めた中間画素値パターンに最も近いものを判定し、判定した中間画素値パターンの要素であるｂ_２０を最も確からしいものとして、ｂ_２０の最終決定値とする。この手法によれば、自然画像等の既知の画像を反映した画素値推定を行うことができる。

　第４の決定手法では、３つのｂ_２０の導出に関わる近傍観測画素値ａ_００～ａ_３０の差分値δｉ_０，δｉ_１，δｉ_２の変化の度合いによって、最終的に採用するｂ_２０を決定する。ここで、ｂ_２０の判定に適用する変化の度合いの組合せパターンをξ＝｛δｉ_０，δｉ_１，δｉ_２｝とする。既知の多数の高解像画像サンプルの画素値を加算し、φ_０，φ_１，φ_２の要素パターンと組み合わせパターンξを求める。求めた要素パターンと組み合わせパターンξから、組合せパターンξに対するｂ_２０の発生確率分布を予め求めておく。最終判定では、予め求めた発生確率分布を参照して、撮像した画像から求めた差分値のパターンξに対するｂ_２０の発生確率分布を求める。そして、その発生確率分布を用いて、推定演算により得た３つのｂ_２０の候補値のどれが最も発生する確率が高いかを判定し、ｂ_２０を特定する。すなわち、変化の度合いの組合せパターンξに対するｂ_２０の発生する値の確率が予め分っているため、推定処理における組合せパターンξを用いて、推定によって得られた３つのｂ_２０の候補値の中から最も確からしいｂ_２０の値を決定できる。この手法によれば、自然画像等の既知の画像を反映した画素値推定を行うことができる。また、画素値の大きさに依らず、画素値の変化の度合いに応じた画素値推定を行うことができる。

　上記の本実施形態によれば、図１７に示すように、第１の受光単位と第２の受光単位が隣接する受光単位である。そして、画素シフトにより第１、第２の受光単位が、第１のポジションと、第１のポジションの次の第２のポジションに順次設定される。第１、第２のポジションの第１の受光単位が第１の重畳領域で重畳し、第１、第２のポジションの第２の受光単位が第２の重畳領域で重畳する。

　このとき、第１のポジションの第１の受光単位から第１の重畳領域を除いた領域が、第１の受光領域である。また、第２のポジションの第１の受光単位から第１の重畳領域を除いた領域が、第２の受光領域である。そして、この第１、第２の受光領域の受光値である第１、第２の中間画素値（例えば、ｂ_００、ｂ_２０）を含む連続する中間画素値である第１の中間画素値パターン（φ_０＝｛ｂ_００、ｂ_１０、ｂ_２０｝）が推定される。

　第１のポジションの第２の受光単位から第２の重畳領域を除いた領域が、第３の受光領域である。また、第２のポジションの第２の受光単位から第２の重畳領域を除いた領域が、第４の受光領域である。そして、この第３、第４の受光領域の受光値である第３、第４の中間画素値（ｂ_２０、ｂ_４０）を含む連続する中間画素値である第２の中間画素値パターン（φ_２＝｛ｂ_２０、ｂ_３０、ｂ_４０｝）が推定される。

　第２のポジションの第１の受光単位と第１のポジションの第２の受光単位との重畳領域が、第５の受光領域である。そして、この第５の受光領域の受光値である第５の中間画素値（ｂ_２０）を含み、第１、第４の中間画素値（ｂ_００、ｂ_４０）を含まない連続する中間画素値である第３の中間画素値パターン（φ_１＝｛ｂ_１０、ｂ_２０、ｂ_３０｝）が推定される。

　上記の第３、第５の受光領域は、第２の受光領域と同一の受光領域である。そして、この同一の受光領域の中間画素値（ｂ_２０）が、第１～第３の中間画素値パターン（φ_０、φ_２、φ_１）の推定により得られた第２、第３、第５の中間画素値（ｂ_２０）に基づいて最終的に決定される。

　このようにすれば、画素値の高精度推定が可能になる。すなわち、３回（複数回）推定することで求めた３つ（複数）の推定値に基づいて、最終的な画素値を決定できる。例えば、上述のように既知の画像を利用した決定手法を用いることで、より実際の画像の画素値パターンに即した画素値推定が可能になる。

　５．第４の推定手法
　上述の推定手法では、最小二乗法を用いて画素値を推定するが、本実施形態では、ニューラルネットワーク（非線形の推定手法）を用いて画素値を推定してもよい。図１８を用いて、この第４の推定手法について説明する。以下では、中間画素値（ｂ_００等）の推定について説明するが、推定画素値（ｖ_００等）も同様に推定できる。

　この推定手法では、既知の高解像画像の画素値を加算して、受光値｛ａ_ｍ０，ａ_{（ｍ＋１）０}｝と、この受光値に対応する中間画素値φ_ｍ＝｛ｂ_ｍ０，ｂ_{（ｍ＋１）０}，ｂ_{（ｍ＋２）０}｝を求める（ｍはゼロ以上の整数）。これらを学習データとして、図１８に示すニューラルネットワークの学習計算により重み係数Ｗを予め算出しておく。具体的には、下式（１８）に示す誤差評価値Ｅがゼロ（略ゼロを含む。広義には所定値）になるように重み係数Ｗを算出しておく。このニューラルネットワークの学習手法は、一般的なニューラルネットワーク学習法を用いればよい。

　そして、撮影画像から推定する際には、予め算出しておいた重み係数Ｗを用いて推定を行う。すなわち、上式（２）等で説明した手法により中間画素値の関係式を表し、未知数ｂ_ｍ０を変化させ、下式（１８）に示す誤差評価値Ｅが最小になるｂ_ｍ０（＝α）を求める。

　本実施形態によれば、受光単位の受光値｛ａ_ｍ０，ａ_{（ｍ＋１）０}｝に対する中間画素値パターンφ_ｍ＝｛ｂ_ｍ０，ｂ_{（ｍ＋１）０}，ｂ_{（ｍ＋２）０}｝の対応関係が、既知の高解像フレーム画像に基づいて、受光単位の受光値と中間画素値パターンの類似性をあらかじめ定める先見情報として取得される。そして、取得された先見情報に基づいて、中間画素値間の関係式で表された中間画素値パターンφ_ｍ＝｛ｂ_ｍ０，ｂ_{（ｍ＋１）０}，ｂ_{（ｍ＋２）０}｝と、取得された受光単位の受光値｛ａ_ｍ０，ａ_{（ｍ＋１）０}｝との類似性が評価される。

　このようにすれば、既知の高解像フレーム画像に基づいて取得された先見情報に基づいて類似性が評価されるため、自然画像等の既知の画像に含まれる画像情報（例えば空間周波数特性）を反映した画素値推定を行うことができる。

　例えば、上記第４の推定手法によれば、画像処理装置は、ニューラルネットワークを有する。このニューラルネットワークは、先見情報として、既知の高解像フレーム画像に基づく学習によって得られたノードの重み係数Ｗを用いる。そして、ニューラルネットワークは、中間画素値パターンφ_ｍ＝｛ｂ_ｍ０，ｂ_{（ｍ＋１）０}，ｂ_{（ｍ＋２）０}｝と受光単位の受光値｛ａ_ｍ０，ａ_{（ｍ＋１）０}｝を受けて、類似性の評価結果Ｅを出力する。このニューラルネットワークからの類似性の評価結果Ｅに基づいて、中間画素値パターンφ_ｍ＝｛ｂ_ｍ０，ｂ_{（ｍ＋１）０}，ｂ_{（ｍ＋２）０}｝の各中間画素値の値が決定される。

　このようにすれば、学習によって得られたノードの重み係数Ｗを用いるニューラルネットワークにより、中間画素値パターンと受光単位の受光値との類似性を先見情報に基づいて評価できる。

　また、上述の第３の推定手法によれば、受光値パターンに対して発生確率が高い中間画素値パターンを先見情報として求める（第３の決定手法）。また、変化の度合いの組合せパターンξ＝｛δｉ_０，δｉ_１，δｉ_２｝に対するｂ_２０の発生確率分布を先見情報として求めてもよい（第４の決定手法）。

　このようにすれば、画素値の発生確率分布を先見情報として画素値を推定できる。これにより、自然画像等の既知の画像で発生確率の高い画素値を推定値にできる。

　６．適応ノイズ低減処理
　本実施形態では、推定された画素値ｖ_ｉｊに対して、画素位置（例えば、受光単位内での画素位置）に応じたノイズフィルタ処理（広義にはフィルタ処理）を行ってもよい。図１９に、ノイズフィルタの構成例を示す。

　例えば、隣接４画素の画素加算による重畳シフトサンプリングにより画素推定を行った場合、最終推定画素ｖ_ｉｊ～ｖ_{（ｉ＋１）（ｊ＋１）}の位置によってノイズの出方が異なる。図１９に示すように、固定階調のベタ画像（固定階調チャート）を撮像し、その撮像画像に対して推定処理を行い、推定した異なる位置の最終推定画素ｖ_ｉｊ～ｖ_{（ｉ＋１）（ｊ＋１）}をノイズ比較部ＮＨにより比較する。そして、比較した結果に基づいて、生成ノイズの大きい画素位置のノイズフィルタＦ１～Ｆ４のノイズ低減効果を強くするように、フィルタ係数設定部ＦＫによりフィルタ係数を設定する。結果的に、ｖ_ｉｊ～ｖ_{（ｉ＋１）（ｊ＋１）}の位置に依らずノイズの出方が同じ（ほぼ同様）になるように、フィルタ係数を設定する。このようにしてフィルタ係数を設定したフィルタ処理を行うことで、予測画素画像の画像品質を高めることができる。

　上記のノイズフィルタ処理によれば、推定により得られた画素値ｖ_ｉｊ～ｖ_{（ｉ＋１）（ｊ＋１）}に対して、受光単位内での画素位置に応じて異なるフィルタ係数のフィルタ処理が行われる。

　このようにすれば、受光単位内での画素位置によって異なるノイズが発生する場合でも、受光単位内での画素位置に応じたノイズフィルタ処理を行うことで、そのノイズを低減することができる。

　７．第５の推定手法（画素値の重み付け加算）
　上述の推定手法では、受光単位内の画素値を単純加算して読み出しているが、本実施形態では、受光単位内の画素値を重み付け加算して読み出し、その受光値から推定画素値を求めてもよい。図２０～図２８を用いて、この第５の推定手法について説明する。

　図２０に示すように、加算読み出しの重み係数をｃ_１、ｃ_２、ｃ_３、ｃ_４とする。ｃ_１＝１とすると、重み係数は下式（１９）に示す比率関係のルールをとる（ｒは、ｒ＞１の実数）。
　　ｃ_１＝１，ｃ_２＝１／ｒ，ｃ_３＝１／ｒ，ｃ_４＝１／ｒ^２　・・・（１９）

　以下では、説明を簡単にするために、ｒ＝２とおき、下式（２０）とする。　　ｃ_１＝１、ｃ_２＝１／２、ｃ_３＝１／２、ｃ_４＝１／４　・・・（２０）

　図２１（Ａ）に示すように、重み付け画素加算重畳シフトサンプリングにより検出される水平方向の最初の行に注目し、シフト順に重み付け画素加算値をａ_００、ａ_１０、ａ_２０とする。このとき、下式（２１）が成り立つ。
　　ａ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＋ｃ_３ｖ_１０＋ｃ_４ｖ_１１
　　ａ_１０＝ｃ_１ｖ_１０＋ｃ_２ｖ_１１＋ｃ_３ｖ_２０＋ｃ_４ｖ_２１　・・・　（２１）

　また、下式（２２）に示すようにｂ_００、ｂ_１０、ｂ_２０を定義し、上式（２０）を代入する。
　　ｂ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＝ｖ_００＋（１／２）ｖ_０１
　　ｂ_１０＝ｃ_１ｖ_１０＋ｃ_２ｖ_１１＝ｖ_１０＋（１／２）ｖ_１１
　　ｂ_２０＝ｃ_１ｖ_２０＋ｃ_２ｖ_２１＝ｖ_２０＋（１／２）ｖ_２１　・・・（２２）

　次に、上式（２０）、（２２）を用いて上式（２１）を変形すると、下式（２３）が成り立つ。
　　ａ_００＝ｖ_００＋（１／２）ｖ_０１＋（１／２）ｖ_１０＋（１／４）ｖ_１１
　　　　　＝ｂ_００＋（１／２）ｂ_１０
　　ａ_１０＝ｖ_１０＋（１／２）ｖ_１１＋（１／２）ｖ_２０＋（１／４）ｖ_２１
　　　　　＝ｂ_１０＋（１／２）ｂ_２０　　　　　　　　　・・・　（２３）

　上式（２３）において、ａ_００、ａ_１０に所定の係数（所定の重み係数）を掛けて差分δｉ_０を取り、上式（２２）を使って変形すると、下式（２４）が成り立つ。
　　δｉ_０＝ａ_１０－２ａ_００
　　　　　＝（１／２）ｖ_２０＋（１／４）ｖ_２１－（２ｖ_００＋ｖ_０１）
　　　　　＝（１／２）ｂ_２０－２ｂ_００　　　　　　　　・・・　（２４）

　ｂ_００を未知数とすると、下式（２５）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として求めることができる。
　　ｂ_００＝（未知数），
　　ｂ_１０＝２（ａ_００－ｂ_００），
　　ｂ_２０＝４ｂ_００＋２δｉ_０＝４ｂ_００＋２（ａ_１０－２ａ_００）　・・・（２５）

　このように、ｂ_００を未知数（初期変数）として高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ_０１、ｂ_０２を未知数として中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝、｛ｂ_０２，ｂ_１２，ｂ_２２｝の組合せパターンが求められる。

　次に、未知数ｂ_００を求める手法について説明する。図２２に示すように、重み付け重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａ_００，ａ_１０｝と中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝によるパターンを比較する。そして、その誤差Ｅが最小になる未知数ｂ_００を導出し、中間画素値ｂ_００として設定する。

　このとき、上式（２３）に示すように、サンプリング画素値｛ａ_００，ａ_１０｝は、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図２３に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂ_ｉｊ，ｂ_{（ｉ＋１）ｊ}｝の重み付けが、ｃ_３＝ｃ_１／２、ｃ_４＝ｃ_２／２であることを利用すると、下式（２６）が成り立つことが分かる。
　　ａ_ｉｊ＝ｂ_ｉｊ＋（１／２）ｂ_{（ｉ＋１）ｊ}　　　・・・　（２６）

　この上式（２６）による重み付けを考慮すると、下式（２７）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ_００，ａ_１０｝と中間推定画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の類似性評価を行う。

　上式（２５）を用いると、評価関数Ｅｊは、ｂ_００を初期変数とした関数で表される。したがって、図２４に示すように、Ｅｊを最小にする未知数ｂ_００（＝α）を求め、ｂ_００の値を決定できる。そして、推定したｂ_００の値を上式（２５）に代入し、ｂ_１０，ｂ_２０が求められる。なお、ｂ_００が取り得る値の範囲は０≦ｂ_００≦ａ_００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝、｛ｂ_０２，ｂ_１２，ｂ_２２｝の組合せパターンをｂ_０１，ｂ_０２を未知数として求められる。

　次に、求めた中間画素値ｂ_ｉｊを用いて最終推定画素値ｖ_ｉｊを求める手法について説明する。以下では、図２５（Ａ）、図２５（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図２６に示すように、中間画素値｛ｂ_０１，ｂ_０１，ｂ_０２｝と最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の関係は、下式（２８）で表される。
　　ｂ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＝ｖ_００＋（１／２）ｖ_０１，
　　ｂ_０１＝ｃ_１ｖ_０１＋ｃ_２ｖ_０２＝ｖ_０１＋（１／２）ｖ_０２　・・・　（２８）

　ｂ_００、ｂ_０１に所定の係数を掛けて差分δｊ_０を求めると、下式（２９）が成り立つ。
　　δｊ_０＝ｂ_０１－２ｂ_００
　　　　　＝（ｖ_０１＋（１／２）ｖ_０２）－（２ｖ_００＋ｖ_０１）
　　　　　＝（１／２）ｖ_０２－２ｖ_００　　　　　　　　・・・　（２９）

　ｖ_００を未知数（初期変数）とすると、上式（２８）、（２９）を用いて、最終推定画素値ｖ_０１、ｖ_０２がｖ_００の関数として求められる。その関数を下式（３０）に示す。
　　ｖ_００＝（未知数），
　　ｖ_０１＝２（ｂ_００－ｖ_００），
　　ｖ_０２＝４ｖ_００＋２δｊ_０＝４ｖ_００＋２（ｂ_０１－２ｂ_００）　・・・（３０）

　上式（３０）の推定画素値パターン｛ｖ_００，ｖ_０１，ｖ_０２｝と、中間画素値パターン｛ｂ_００，ｂ_０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ_００を導出する。このとき、最終推定画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}｝の重み付けが、ｃ_２＝ｃ_１／２であることを利用すると、下式（３１）が成り立つ。
　　ｂ_ｉｊ＝ｖ_ｉｊ＋（１／２）ｖ_{ｉ（ｊ＋１）}　　　・・・　（３１）

　図２７に示すように、上式（３１）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（３２）に示す評価関数Ｅｉを求める。

　そして、図２８に示すように、評価関数Ｅｉを最小にする未知数ｖ_００（＝β）を求め、求めたｖ_００を上式（３０）に代入して最終推定画素値ｖ_０１、ｖ_０２を求める。同様に、２列目においても、ｖ_１０を未知数として最終推定画素値｛ｖ_１０，ｖ_１１，ｖ_１２｝の組合せパターンを求める。

　上記の本実施形態によれば、受光単位の各画素値（例えば、ｖ_００、ｖ_１０、ｖ_０１、ｖ_１１）が重み付け加算されて受光単位の受光値（ａ_００＝ｖ_００＋（１／２）ｖ_０１＋（１／２）ｖ_１０＋（１／４）ｖ_１１）として読み出される。そして、重み付け加算により得られた受光単位の受光値（ａ_００、ａ_１０）に基づいて、受光単位の各画素の画素値（ｖ_００、ｖ_１０、ｖ_０１、ｖ_１１）が推定される。

　このようにすれば、受光単位の各画素値を重み付け加算して低解像フレーム画像を取得し、取得した低解像フレーム画像から高解像フレーム画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、受光単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、受光単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む低解像フレーム画像を取得でき、推定画像での高周波成分の再現性を向上できる。

　８．第１の補間手法
　本実施形態では、画素値の推定に用いる受光値（ａ_００等）として、加算読み出しされた受光値をそのまま用いてもよく、補間により生成された受光値を用いてもよい。図２９～図３２を用いて、本実施形態における受光値の補間手法について説明する。図２９には、第１の補間手法の説明図を示す。

　なお、以下の説明で用いるフレームとは、例えば撮像素子により１つの低解像フレーム画像が撮影されるタイミングや、画像処理において１つの低解像フレーム画像が処理されるタイミングである。あるいは、画像データにおける１つの低解像フレーム画像や高解像フレーム画像も適宜フレームと呼ぶ。

　本実施形態では、他のフレームで取得された受光値を用いて補間対象のフレームの受光値を補間する（時間軸補間）。

　具体的には、図２９のＡ１に示すように、フレームｆｘ～ｆｘ＋３において、受光値ａ_ｉｊ、ａ_{（ｉ＋１）ｊ}、ａ_{（ｉ＋１）（ｊ＋１）}、ａ_{ｉ（ｊ＋１）}を順次取得する。フレームｆｘ＋４では、再び受光値ａ_ｉｊを取得する。Ａ２に示すように、例えば受光値ａ_ｉｊで構成される低解像フレーム画像は、フレームｆｘ、ｆｘ＋４、ｆｘ＋８で取得される。Ａ３に示すように、受光値ａ_ｉｊの時系列データに対して時間軸補間フィルタ処理（フィルタ処理）を行う。Ａ４に示すように、この時間軸補間フィルタ処理により、全フレーム（各フレーム）において受光値ａ’_ｉｊが生成される。

　このようにして、各受光値を４フレーム毎に取得し、時間軸補間フィルタ処理を行って、全フレームにおいて受光値ａ’_ｉｊ、ａ’_{（ｉ＋１）ｊ}、ａ’_{（ｉ＋１）（ｊ＋１）}、ａ’_{ｉ（ｊ＋１）}を生成する。

　図３０に、補間処理のタイミングチャート例を示す。図３０のＢ１に示すように、各フレームにおいて、受光単位の設定位置を１画素ずつずらす。Ｂ２に示すように、各フレームでフュージョンフレームＦ１、Ｆ２、・・・（低解像フレーム画像）を撮影する。Ｂ３に示すように、低解像動画フレームを生成し、ライブビュー表示や録画を行う。Ｂ４に示すように、受光値の時間軸補間を行い、補間後の受光値を用いて画素値推定を行い、高解像静止画フレームを生成する。Ｂ５に示すように、全受光値が補間される９フレーム目から高解像静止画や、高解像動画を出力する。

　図３１に、撮像装置と画像処理装置の第１の詳細な構成例を示す。図３１に示す撮像装置１０は、撮像光学系１００（レンズ）、光学ローパスフィルタ１１０、撮像素子１２０（イメージセンサ）、重畳シフトサンプリング部１３０（読み出し制御部）、データ記録部１４０（記憶部）、表示処理部１５０（表示制御部）、モニター表示部１６０（表示装置）を含む。画像処理装置２０は、時間軸画素補間部２００（補間処理部）、画素値推定演算部２１０（推定処理部）、画像出力部３００を含む。

　なお、本実施形態の撮像装置及び画像処理装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、図３１では、画像処理装置２０が撮像装置１０の外部に設けられる例を図示するが、本実施形態では、画像処理装置２０が撮像装置１０の内部に設けられてもよい。

　撮像装置１０は、例えばデジタルカメラや、ビデオカメラである。撮像光学系１００は、被写体を結像する。光学ローパスフィルタ１１０は、例えば撮像素子１２０の解像度に対応する帯域を通過させる。撮像素子１２０（例えば１２メガピクセル）は、例えばアナログ的に加算読み出し可能なＣＣＤ、ＣＭＯＳセンサにより構成される。重畳シフトサンプリング部１３０は、例えば受光単位の設定や加算読み出しを制御し、フュージョンフレーム（例えば３メガピクセル）を取得する。データ記録部１４０は、例えばメモリーカード等で実現され、フュージョンフレーム（fusion-frame）による動画を記録する。モニター表示部１６０は、動画のライブビュー表示や、再生された動画の表示を行う。

　画像処理装置２０は、例えば画像処理エンジン（ＩＣ）や、ＰＣ（コンピュータ）により実現される。時間軸画素補間部２００は、フュージョンフレームの受光値の時間軸補間を行う。画素値推定演算部２１０は、最終推定画素値の推定を行う。画像出力部３００は、アンチエリアシングフィルタ２２０、２５０、ローパスフィルタ２３０、アンダーサンプリング部２４０を含み、最終推定画素値から静止画や動画を出力する。アンチエリアシングフィルタ２２０は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルタ２３０は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部２４０は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルタ２２０は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。なお、アンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）を出力してもよい。

　なお、上記第１の補間手法では、時間軸フィルタ処理による受光値の補間を行ったが、本実施形態では、動き補償による受光値の補間を行ってもよい。例えば、図３２に示すように、高フレームレート（１／６０秒）で撮影された連続するフュージョンフレームを４つ用い、各フュージョンフレームに対して動き補償を行って１枚の静止画（低フレームレート１／１５秒で撮影した高精細画像相当）を生成してもよい。

　さて、低解像フレーム画像は画素ずらしにより順次取得されるため、画素値推定に用いる受光値が全て取得されるためには４フレーム必要となる。そのため、撮影された受光値をそのまま画素値推定に用いると、異なるフレームの受光値を推定に用いることになり、被写体が動いている場合に画質が劣化する可能性がある。

　この点、上記の実施形態によれば、画素シフトが各フレームｆｘ、ｆｘ＋１、・・・で行われ、画素シフトにより受光単位が複数のポジション（４ポジション。上述の図２９に示すＰ１～Ｐ４）に順次設定される。そして、複数のフレーム毎（４フレーム毎）に受光単位が同じポジションに設定される。このようにして、時系列に各ポジションに対応した受光値ａ_ｉｊ～ａ_{（ｉ＋１）（ｊ＋１）}が取得され、取得された受光値により低解像フレーム画像が時系列に取得される（連続低解像フレーム画像）。

　取得された連続低解像フレーム画像に対して、複数のポジションＰ１～Ｐ４の受光単位の受光値ａ’_ｉｊ～ａ’_{（ｉ＋１）（ｊ＋１）}を補間する処理が行われる。具体的には、補間対象のフレーム（例えばｆｘ＋１）の連続低解像フレーム画像での欠落したポジション（例えばＰ１）の受光単位の受光値（ａ’_ｉｊ）が時間軸補間される。すなわち、受光値（ａ’_ｉｊ）は、欠落したポジションと同じポジション（Ｐ１）の、補間対象のフレーム（ｆｘ＋１）の前後のフレーム（ｆｘ、ｆｘ＋４）の連続低解像フレーム画像での受光単位の受光値（ａ_ｉｊ）を用いて時間軸補間される。

　そして、時間軸補間により補間された連続低解像フレーム画像に基づいて、各フレームｆｘ、ｆｘ＋１、・・・での受光単位の各画素の画素値ｖ_ｉｊが推定される。

　このようにすれば、画素シフトにより受光値が取得され、取得された受光値を用いて欠落したポジションの受光値を補間し、補間後の受光値から最終推定画素値を求めることができる。これにより、各フレームに全ポジションの受光値を補間できるため、同じフレームでの受光値から画素値推定を行い、被写体が動いている場合でも画質劣化を抑止できる。

　例えば、上記の実施形態では、時間軸補間が時間軸補間フィルタにより行われる。
　これにより、各ポジション（例えばＰ１）の受光値（ｆｘ、ｆｘ＋４のａ_ｉｊ）をそれぞれ時間軸補間し、欠落ポジション（ｆｘ＋１～ｆｘ＋３のＰ１）の受光値（ａ’_ｉｊ）を生成できる。

　また、上記の実施形態では、画像出力部３００は、画素値推定演算部２１０により推定された各フレームでの最終推定画素値に基づいて、各フレームでの高解像フレーム画像を生成し、生成した高解像フレーム画像を静止画または動画として出力する。

　このようにすれば、撮影した動画から、任意のタイミングの高解像静止画を出力できる。これにより、シャッターチャンスを狙わなくても、事後的に決定的瞬間の高解像静止画を得ることができる。

　９．第２の補間手法
　本実施形態では、被写体の動きに応じた適応的な受光値の補間を行ってもよい。図３３、図３４を用いて、適応的な受光値の補間を行う第２の補間手法について説明する。

　第２の補間手法では、動きのない又は小さい部分（受光値）については、近隣前後のフレームの受光値を適用し、動きのある又は大きい部分については、同一フレーム内において近接受光値から重畳シフトした受光値を補間推定する。但し、パンニング（panning）
などを行うと全画素が動きがあると判定されるため、事前に動き補償処理を行ってもよい。

　以下では、図３３に示される低解像画像フレームｆｘ～ｆｘ＋４の中からフレームｆｘ＋１に着目し、このフレームの高解像静止画像を生成する場合を例に説明する。図３４には、説明を簡単にするために、フレームｆｘ＋１において撮像データとして取得した受光値の一部を示す。図３４では、取得した受光値を、ａ_１０（ｘ＋１）、ａ_{（－１）０}（ｘ＋１）、ａ_{（－１）２}（ｘ＋１）、ａ_１２（ｘ＋１）で示す。

　図３４に示すように、例えばａ１０（ｘ＋１）を構成する４つの高解像画素を求めるには、このａ１０（ｘ＋１）を基準として画素ピッチｐだけシフトした３つの受光値ａ_００（ｘ＋１）、ａ_０１（ｘ＋１）、ａ_１１（ｘ＋１）を補間により求める必要がある。以下では、これらの３つの受光値を求める手法について説明する。

　まず、図３３のＤ１に示すように、ａ_００（ｘ＋１）の対応位置で取得された、前後近隣フレームｆｘ、ｆｘ＋４のａ_００（ｘ）とａ_００（ｘ＋４）を比較する。そして、その差が所定閾値δよりも小さい場合には、フレームｆｘ、ｆｘ＋４の間で、ａ_００（ｘ＋１）に対応する画素位置を被写体（動きのある被写体の一部）が通過しなかったと判断する。この場合は、Ｄ２に示すように、ａ_００（ｘ＋１）の値としてａ_００（ｘ）またはａ_００（ｘ＋４）を割当てる。

　一方、ａ_００（ｘ）とａ_００（ｘ＋４）の差が所定閾値δよりも大きい場合には、フレームｆｘ、ｆｘ＋４の間で、ａ_００（ｘ＋１）に対応する画素位置を被写体が通過したと判断する。この場合は、Ｄ３に示すように、同一フレーム内でａ_００（ｘ＋１）に近接する受光値ａ_１０（ｘ＋１）とａ_{（－１）０}（ｘ＋１）を用いて補間値を求め、ａ_００（ｘ＋１）の値とする。例えば、ａ_１０（ｘ＋１）とａ_{（－１）０}（ｘ＋１）の平均値をａ_００（ｘ＋１）の値とする。但し、本実施形態では、近接した２つの受光値の平均でなく、より多くの周辺の受光値を用いて補間してもよい。

　上記のａ_００（ｘ＋１）の補間手法をまとめると、下式（３３）で表される。
　　｜ａ_００（ｘ）－ａ_００（ｘ＋４）｜≦δのとき、
　　　　　ａ_００（ｘ＋１）＝ａ_００（ｘ）＝ａ_００（ｘ＋４）
　　｜ａ_００（ｘ）－ａ_００（ｘ＋４）｜＞δのとき、
　　　　　ａ_００（ｘ＋１）＝｛ａ_１０（ｘ＋１）＋ａ_{（－１）０}（ｘ＋１）｝／２
　　　　　　　　　　　　　　　　　　　　　　　　　・・・　（３３）

　同様に、Ｄ４、Ｄ５に示すように、ａ_１１（ｘ＋１）は下式（３４）で補間される。
　　｜ａ_１１（ｘ－２）－ａ_１１（ｘ＋２）｜≦δのとき、
　　　　　ａ_１１（ｘ＋１）＝ａ_１１（ｘ－２）＝ａ_１１（ｘ＋２）
　　｜ａ_１１（ｘ－２）－ａ_１１（ｘ＋２）｜＞δのとき、
　　　　　ａ_１１（ｘ＋１）＝｛ａ_１０（ｘ＋１）＋ａ_１２（ｘ＋１）｝／２
　　　　　　　　　　　　　　　　　　　　　　　　　・・・　（３４）

　Ｄ６、Ｄ７に示すように、ａ_０１（ｘ＋１）は下式（３５）で補間される。
　　｜ａ_０１（ｘ－１）－ａ_０１（ｘ＋３）｜≦δのとき、
　　　　　ａ_０１（ｘ＋１）＝ａ_０１（ｘ－１）＝ａ_０１（ｘ＋３）
　　｜ａ_０１（ｘ－１）－ａ_０１（ｘ＋３）｜＞δのとき、
　　　　　ａ_０１（ｘ＋１）＝｛ａ_１０（ｘ＋１）＋ａ_{（－１）２}（ｘ＋１）｝／２
　　　　　　　　　　　　　　　　　　　　　　　　　・・・　（３５）

　なお、閾値δは、生成される画像品質を評価し、許容されるレベルの閾値δを設定すればよい。例えば、静止画にも関わらず、ノイズにより動きがあると判定されないレベルに設定すればよい。

　上記第２の補間手法によれば、補間対象のフレーム（例えばｆｘ＋１）の前後のフレーム（例えばｆｘ、ｆｘ＋４）での受光単位の受光値の差分値（ａ_００（ｘ）－ａ_００（ｘ＋４））が求められる。そして、差分値が所定の閾値δより小さい場合には、補間対象のフレーム（ｆｘ＋１）での欠落したポジション（位置）の受光単位の受光値（ａ_００（ｘ＋１））が、前後のフレーム（ｆｘ、ｆｘ＋４）での、欠落したポジションと同じポジションの受光単位の受光値（ａ_００（ｘ）、ａ_００（ｘ＋４））を用いて補間される。一方、差分値が所定の閾値δより大きい場合には、補間対象のフレーム（ｆｘ＋１）での欠落したポジションの受光単位の受光値（ａ_００（ｘ＋１））が、補間対象のフレーム（ｆｘ＋１）で取得された受光値（ａ_１０（ｘ＋１）、ａ_{（－１）０}（ｘ＋１））を用いて補間される。

　このようにすれば、被写体の動きに応じて適応的に受光値を補間できる。具体的には、動きが小さい受光単位では、同一位置で取得された受光値を用いるため、位置的な誤差を低減できる。一方、動きが大きい受光単位では、同一フレームで取得された受光値を用いるため、時間的な誤差を低減できる。例えば、フレームｆｘとｆｘ＋４の間で、いつ被写体が通過したのかを、受光値ａ_００（ｘ）、ａ_００（ｘ＋４）から知ることはできない。そのため、ａ_００（ｘ）、ａ_００（ｘ＋４）から補間すると、被写体の通過タイミングより前のタイミングであっても被写体の動きの影響が出てしまう。本実施形態では、被写体が通過したと判断したときには、同一フレームの受光値で補間するため、被写体の通過タイミングを正確に反映できる。

　また、第２の補間手法によれば、動きの誤検出による画質劣化を抑止できる。例えば、４フレーム撮像の期間内に所定閾値δを超える単なる明るさの変化があった場合、単なる明るさの変化を被写体の動きとして誤検出する可能性がある。この点、第２の補間手法によれば、誤検出された場合であっても、フレーム内補間に切り替わるだけなので著しく画質劣化してしまうことを抑止できる。

　１０．カラー画像の第１の推定手法
　上記の実施形態では、モノクロ画像の画素値推定について説明したが、本実施形態は、カラー画像の画素値推定にも適用できる。図３５を用いて、カラー画像の第１の推定手法について説明する。

　この手法では、ＲＧＢを分離せずに加算読み出しし、ＲＧＢの最終画素値を推定する。例えば、図３５に示すように、フレームｆｋ＋０～ｆｋ＋３において、下式（３６）に示す受光値ａ_００、ａ_１０、ａ_０１、ａ_１１を順次取得する。
　　ａ_００＝Ｒ_１０＋Ｇ１_００＋Ｇ２_１１＋Ｂ_０１，
　　ａ_１０＝Ｒ_１０＋Ｇ１_２０＋Ｇ２_１１＋Ｂ_２１，
　　ａ_０１＝Ｒ_１２＋Ｇ１_０２＋Ｇ２_１１＋Ｂ_０１，
　　ａ_１１＝Ｒ_１２＋Ｇ１_２２＋Ｇ２_１１＋Ｂ_２１　　　・・・　（３６）

　そして、これらの受光値に基づいて、図２（Ａ）等で上述の推定手法と同様に画素値ｖ_００、ｖ_１０、ｖ_０１、ｖ_１１を推定する。推定画素値とＲＧＢの対応関係は分かっているため、ＲＧＢの推定画素値Ｇ１_００＝ｖ_００、Ｒ_１０＝ｖ_１０、Ｂ_０１＝ｖ_０１、Ｇ２_１１＝ｖ_１１を求めることができる。

　上記カラー画像の第１の推定手法によれば、撮像素子がカラー撮像素子（ＲＧＢ単板イメージセンサ）であり、隣接する複数の画素（例えば、Ｇ１_００、Ｒ_１０、Ｂ_０１、Ｇ２_１１）が、画素の色に依らず受光単位に設定される。受光単位に設定された隣接する複数の画素の画素値が加算されて読み出され（ａ_００＝Ｇ１_００＋Ｒ_１０＋Ｂ_０１＋Ｇ２_１１）、低解像度フレーム画像が取得される。そして、取得された低解像度フレーム画像に基づいて受光単位の各画素の画素値（Ｇ１_００、Ｒ_１０、Ｂ_０１、Ｇ２_１１）が推定され、推定された画素値に基づいてカラーの高解像フレーム画像（静止画または動画）が出力される。

　このようにすれば、カラー撮像においても、高フレームレートで低解像フレーム画像を撮影し、その低解像フレーム画像から画素値推定を行って、任意タイミングのカラーの高解像フレーム画像を取得できる。また、隣接４画素の画素値を加算して受光値を取得するため、ランダムノイズを低減できる。また、読出し画素の位置が近いため、上述の第２の補間手法におけるフレーム内画素補間において、より相関性が高い周辺画素を用いることができる。

　１１．カラー画像の第２の推定手法
　本実施形態では、ＲＧＢを分離して加算読み出しし、ＲＧＢの最終画素値を推定してもよい。図３６～図３９を用いて、このカラー画像の第２の推定手法について説明する。

　図３６に示すように、Ｇ１の画素について下式（３７）に示す受光値を重畳サンプリングにより取得する。これらの受光値から、最終推定画素Ｇ１を推定する。
　　ａ_００＝Ｇ１_００＋Ｇ１_２０＋Ｇ１_０２＋Ｇ１_２２，
　　ａ_１０＝Ｇ１_２０＋Ｇ１_４０＋Ｇ１_２２＋Ｇ１_４２，
　　ａ_０１＝Ｇ１_０２＋Ｇ１_２２＋Ｇ１_０４＋Ｇ１_２４，
　　ａ_１１＝Ｇ１_２２＋Ｇ１_４２＋Ｇ１_２４＋Ｇ１_４４　　　・・・　（３７）

　同様に、図３７に示すように、Ｇ２の画素について下式（３８）に示す受光値を取得する。これらの受光値から、最終推定画素Ｇ２を推定する。
　　ａ_００＝Ｇ２_１１＋Ｇ２_３１＋Ｇ２_１３＋Ｇ２_３３，
　　ａ_１０＝Ｇ２_３１＋Ｇ２_５１＋Ｇ２_３３＋Ｇ２_５３，
　　ａ_０１＝Ｇ２_１３＋Ｇ２_３３＋Ｇ２_１５＋Ｇ２_３５，
　　ａ_１１＝Ｇ２_３３＋Ｇ２_５３＋Ｇ２_３５＋Ｇ２_５５　　　・・・　（３８）

　図３８に示すように、Ｒの画素について下式（３９）に示す受光値を取得する。これらの受光値から、最終推定画素Ｒを推定する。
　　ａ_００＝Ｒ_１０＋Ｒ_３０＋Ｒ_１２＋Ｒ_３２，
　　ａ_１０＝Ｒ_３０＋Ｒ_５０＋Ｒ_３２＋Ｒ_５２，
　　ａ_０１＝Ｒ_１２＋Ｒ_３２＋Ｒ_１４＋Ｒ_３４，
　　ａ_１１＝Ｒ_３２＋Ｒ_５２＋Ｒ_３４＋Ｒ_５４　　　・・・　（３９）

　図３９に示すように、Ｂの画素について下式（４０）に示す受光値を取得する。これらの受光値から、最終推定画素Ｂを推定する。
　　ａ_００＝Ｂ_０１＋Ｂ_２１＋Ｂ_０３＋Ｂ_２３，
　　ａ_１０＝Ｂ_２１＋Ｂ_４１＋Ｂ_２３＋Ｂ_４３，
　　ａ_０１＝Ｂ_０３＋Ｂ_２３＋Ｂ_０５＋Ｂ_２５，
　　ａ_１１＝Ｂ_２３＋Ｂ_４３＋Ｂ_２５＋Ｂ_４５　　　・・・　（４０）

　上記カラー画像の第２の推定手法によれば、同じ色の複数の画素（例えばＧ１_００、Ｇ１_２０、Ｇ１_０２、Ｇ１_２２）が受光単位に設定され、受光単位に設定された同じ色の複数の画素の画素値が加算されて読み出され（ａ_００＝Ｇ１_００＋Ｇ１_２０＋Ｇ１_０２＋Ｇ１_２２）、低解像度フレーム画像が取得される。そして、取得された低解像度フレーム画像に基づいて受光単位の各画素の画素値（Ｇ１、Ｇ２、Ｒ、Ｂ）が推定され、推定された画素値に基づいてカラーの高解像フレーム画像が出力される。

　このようにすれば、色別に高フレームレートで低解像フレーム画像を撮影し、その低解像フレーム画像から画素値推定を行って、カラーの高解像フレーム画像を取得できる。

　１２．明るさに適応した加算画素数の設定手法
　上述の実施形態では、受光単位を４画素毎に設定したが、本実施形態では、撮像画像の明るさに応じて受光単位の設定画素数を変化させてもよい。図４０、図４１を用いて、この明るさに適応した加算画素数の設定手法について説明する。

　図４０に示すように、例えば隣接２×２画素の画素加算撮像を基本とし、撮像画像の平均輝度値Ｌ（広義には、明るさ）が閾値Ｌ２を下回った場合には、画素加算を行う画素を隣接３×３画素にする。平均輝度値Ｌが閾値Ｌ１（Ｌ１＜Ｌ２）を下回った場合には、画素加算を行う画素を隣接４×４画素に増やす。このようにして受光単位の画素数を設定し、重畳シフトサンプリングおよび画素推定を行い、高解像画像の画素値を求める。

　図４１に、明るさに適応して加算画素数を可変に設定する撮像装置と画像処理装置の第２の詳細な構成例を示す。図４１に示す撮像装置１０は、撮像光学系１００、光学ローパスフィルタ１１０、撮像素子１２０、重畳シフトサンプリング部１３０、データ記録部１４０、表示処理部１５０、モニター表示部１６０、明るさ検出部１７０、加算画素数設定部１８０を含む。画像処理装置２０は、時間軸画素補間部２００、画素値推定演算部２１０、画像出力部３００を含む。なお以下では、図３１等で上述した構成要素と同じ要素には同一の符号を付し、適宜説明を省略する。

　明るさ検出部１７０は、撮像素子１２０（例えば１６メガピクセル）により撮影された画像の平均輝度を算出する。加算画素数設定部１８０は、明るさ検出部１７０により算出された平均輝度に応じて、受光単位の加算画素数（例えば４×４＝１６画素）を設定する。重畳シフトサンプリング部１３０は、設定された加算画素数でフュージョンフレーム（１メガピクセル）を取得する。画素値推定演算部２１０は、フュージョンフレームから最終推定画素値（１６メガピクセル）を推定する。そして、画像出力部３００は、最終推定画素値から静止画（１６メガピクセル）やハイビジョン動画（２メガピクセル）を出力する。

　上記実施形態によれば、受光単位に含まれる画素数が、被写体の明るさ（平均輝度）が暗いほど多い画素数に設定される。

　このようにすれば、被写体の明るさが暗いほど加算画素数が増えることで、ランダムノイズのＳＮ改善を図ることができる。また、暗いほど高感度に低解像フレーム画像を撮影し、推定される高解像フレーム画像の感度を向上できる。

　なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（受光単位、中間画素値、画素ずらし等）と共に記載された用語（受光値取得単位、中間推定画素値、重畳シフトサンプリング等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また読み出し制御部、補間処理部、推定処理部、画像出力部、撮像装置、画像処理装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０　撮像装置、２０　画像処理装置、１００　撮像光学系、
１１０　光学ローパスフィルタ、１２０　撮像素子、
１３０　重畳シフトサンプリング部、１４０　データ記録部、
１５０　表示処理部、
１６０　モニター表示部、１７０　明るさ検出部、１８０　加算画素数設定部、
２００　時間軸画素補間部、２１０　画素値推定演算部、
２２０，２５０　アンチエリアシングフィルタ、２３０　ローパスフィルタ、
２４０　アンダーサンプリング部、３００　画像出力部、
Ｂｋ_００　推定処理ブロック、ａ_００　受光単位、ｖ_００　推定画素値、
ｂ_００　中間画素値、ｐ　画素ピッチ、ｉ，ｊ　画素位置、
δｉ_０　受光値の差分値、
Ｅｊ，Ｅｉ　評価関数、ｃ_１～ｃ_４　重み係数、Ｐ１～Ｐ４　ポジション、
ｆｘ　フレーム

Claims (20)

1. 　受光値を取得する単位である受光単位が撮像素子の複数の画素毎に設定され、前記受光単位に含まれる複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
   　前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
   　前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
   　を含み、
   　前記受光単位を重畳しながら順次画素シフトさせつつ前記受光単位の受光値が読み出されて、前記低解像フレーム画像が取得され、
   　前記推定演算部は、
   　前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定することを特徴とする画像処理装置。
2. 　請求項１において、
   　前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、
   　前記推定演算部は、
   　前記第１、第２のポジションの受光単位の受光値の差分値を求め、
   　前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
   　前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする画像処理装置。
3. 　請求項２において、
   　前記推定演算部は、
   　前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、
   　中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
   　前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする画像処理装置。
4. 　請求項３において、
   　前記推定演算部は、
   　中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする画像処理装置。
5. 　請求項３において、
   　前記受光単位の受光値に対する前記中間画素値パターンの対応関係が、既知の高解像フレーム画像に基づいて、前記受光単位の受光値と前記中間画素値パターンの類似性をあらかじめ定める先見情報として取得され、
   　前記推定演算部は、
   　前記先見情報に基づいて、中間画素値間の関係式で表された前記中間画素値パターンと取得された前記受光単位の受光値との類似性を評価することを特徴とする画像処理装置。
6. 　請求項５において、
   　前記推定演算部は、
   　ノードの重み係数として、前記既知の高解像フレーム画像に基づく学習によって前記先見情報として得られた係数を用いるニューラルネットワークを有し、
   　前記ニューラルネットワークは、
   　中間画素値パターンと前記受光単位の受光値を受けて、前記類似性の評価結果を出力し、
   　前記推定演算部は、
   　前記ニューラルネットワークからの前記類似性の評価結果に基づいて前記中間画素値パターンの中間画素値の値を決定することを特徴とする画像処理装置。
7. 　請求項１において、
   　前記受光単位の各画素値が重み付け加算されて前記受光単位の受光値として読み出され、
   　前記推定演算部は、
   　重み付け加算により得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
8. 　請求項１において、
   　前記画素シフトが各フレームで行われ、前記画素シフトにより前記受光単位が複数のポジションに順次設定され、複数のフレーム毎に前記受光単位が同じポジションに設定され、前記低解像フレーム画像は、時系列に各ポジションに対応して取得された連続低解像フレーム画像である場合に、
   　前記各フレームでの前記複数のポジションの受光単位の受光値を補間する処理を行う補間処理部を含み、
   　前記補間処理部は、
   　補間対象のフレームの前記連続低解像フレーム画像での欠落したポジションの受光単位の受光値を、前記補間対象のフレームの前後のフレームの前記連続低解像フレーム画像での、前記欠落したポジションと同じポジションの受光単位の受光値を用いて時間軸補間し、
   　前記推定演算部は、
   　前記時間軸補間により補間された前記連続低解像フレーム画像に基づいて、前記各フレームでの前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
9. 　請求項８において、
   　前記画像出力部は、
   　前記推定演算部により推定された前記各フレームでの前記受光単位の各画素の画素値に基づく各フレームでの前記高解像フレーム画像を、静止画または動画として出力することを特徴とする画像処理装置。
10. 　請求項８において、
    　前記補間処理部は、
    　前記時間軸補間を時間軸補間フィルタにより行うことを特徴とする画像処理装置。
11. 　請求項８において、
    　前記補間処理部は、
    　前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より小さい場合には、前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記前後のフレームでの、前記欠落したポジションと同じポジションの受光単位の受光値を用いて補間し、
    　前記前後のフレームでの受光単位の受光値の差分値が所定の閾値より大きい場合には、前記補間対象のフレームでの前記欠落したポジションの受光単位の受光値を、前記補間対象のフレームで取得された受光値を用いて補間することを特徴とする画像処理装置。
12. 　請求項１において、
    　第１の受光単位と第２の受光単位が隣接する受光単位であり、画素シフトにより前記第１、第２の受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１、第２のポジションの前記第１の受光単位が第１の重畳領域で重畳し、前記第１、第２のポジションの前記第２の受光単位が第２の重畳領域で重畳する場合に、
    　前記推定演算部は、
    　前記第１のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第２の受光領域の受光値である第２の中間画素値とを推定し、
    　前記第１のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第３の受光領域の受光値である第３の中間画素値を未知数とし、
    　前記第２のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第４の受光領域の受光値である第４の中間画素値を前記未知数を用いた関係式で表し、
    　前記第３の受光領域と同じ領域である前記第２の受光領域の中間画素値として求めた前記第２の中間画素値に基づいて前記未知数の探索範囲を設定し、
    　設定した前記探索範囲において前記未知数を探索的に求めて前記第３の中間画素値を推定することを特徴とする画像処理装置。
13. 　請求項１において、
    　第１の受光単位と第２の受光単位が隣接する受光単位であり、画素シフトにより前記第１、第２の受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１、第２のポジションの前記第１の受光単位が第１の重畳領域で重畳し、前記第１、第２のポジションの前記第２の受光単位が第２の重畳領域で重畳する場合に、
    　前記推定演算部は、
    　前記第１のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの前記第１の受光単位から前記第１の重畳領域を除いた第２の受光領域の受光値である第２の中間画素値とを含む連続する中間画素値である第１の中間画素値パターンを推定し、
    　前記第１のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第３の受光領域の受光値である第３の中間画素値と、前記第２のポジションの前記第２の受光単位から前記第２の重畳領域を除いた第４の受光領域の受光値である第４の中間画素値とを含む連続する中間画素値である第２の中間画素値パターンを推定し、
    　前記第２のポジションの前記第１の受光単位と前記第１のポジションの前記第２の受光単位との重畳領域である第５の受光領域の受光値である第５の中間画素値を含み、前記第１、第４の中間画素値を含まない連続する中間画素値である第３の中間画素値パターンを推定し、
    　前記第３、第５の受光領域が前記第２の受光領域と同一の受光領域である場合に、前記同一の受光領域の中間画素値を、前記第１～第３の中間画素値パターンの推定により得られた前記第２、第３、第５の中間画素値に基づいて最終的に決定することを特徴とする画像処理装置。
14. 　請求項１乃至１３のいずれかにおいて、
    　前記推定演算部は、
    　推定により得られた画素値に対して、前記受光単位内での画素位置に応じて異なるフィルタ係数のフィルタ処理を行うことを特徴とする画像処理装置。
15. 　請求項１乃至１３のいずれかにおいて、
    　前記受光単位に含まれる画素数が、被写体の明るさが暗いほど多い画素数に設定され、
    　前記画像出力部は、
    　前記被写体の明るさが暗いほど高感度の前記高解像フレーム画像を出力することを特徴とする画像処理装置。
16. 　請求項１乃至１３のいずれかにおいて、
    　前記撮像素子がカラー撮像素子であり、隣接する複数の画素が、画素の色に依らず前記受光単位に設定され、前記受光単位に設定された前記隣接する複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、
    　前記推定演算部は、
    　取得された前記低解像度フレーム画像に基づいて前記受光単位の各画素の画素値を推定し、
    　前記画像出力部は、
    　前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力することを特徴とする画像処理装置。
17. 　請求項１乃至１３のいずれかにおいて、
    　前記撮像素子がカラー撮像素子であり、同じ色の複数の画素が前記受光単位に設定され、前記受光単位に設定された前記同じ色の複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、
    　前記推定演算部は、
    　取得された前記低解像度フレーム画像に基づいて前記受光単位の各画素の画素値を推定し、
    　前記画像出力部は、
    　前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力することを特徴とする画像処理装置。
18. 　撮像素子と、
    　前記撮像素子の複数の画素毎に受光単位を設定し、前記受光単位の複数の画素の画素値を加算して前記受光単位の受光値として読み出し、低解像度フレーム画像を取得する読出制御部と、
    　前記読出制御部により取得された前記低解像フレーム画像を記憶する記憶部と、
    　前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位の各画素の画素値を推定する推定演算部と、
    　前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
    　を含み、
    　前記読出制御部は、
    　前記受光単位を重畳しながら順次画素シフトさせつつ前記受光単位の受光値を読み出して前記低解像フレーム画像を取得し、
    　前記推定演算部は、
    　前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする撮像装置。
19. 　受光値を取得する単位である受光単位が撮像素子の複数の画素毎に設定され、前記受光単位に含まれる複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像度フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
    　前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
    　前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部として、
    　コンピュータを機能させ、
    　前記受光単位を重畳しながら順次画素シフトさせつつ前記受光単位の受光値が読み出されて、前記低解像フレーム画像が取得され、
    　前記推定演算部は、
    　前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定することを特徴とするプログラム。
20. 　撮像素子の複数の画素毎に受光単位が設定され、前記受光単位を重畳しながら順次画素シフトされつつ前記受光単位の複数の画素の画素値が加算されて前記受光単位の受光値として読み出され、低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶し、
    　記憶された複数の低解像フレーム画像を構成する受光値である、前記受光単位が順次画素シフトされることで得られた複数の受光値に基づいて、前記受光単位の各画素の画素値を推定し、
    　推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像処理方法。

Images