JP5396098B2 - 撮像システム及び画像処理方法並びに画像処理プログラム - Google Patents

Description

本発明は、デジタルカメラ等の撮像システム及び画像処理方法並びに画像処理プログラムに関するものである。

近年デジタルカメラ等の撮像装置において高倍率ズームや電子ズーム等の機能やマクロ撮影等の機能が進化し、旅先などで手軽に双眼鏡がわりに遠くのものを撮影または確認したり、気軽に高撮影倍率のマクロ撮影で虫や花を撮影するなど、撮影機会の増加に貢献している。
しかし、例えば高倍率ズームや電子ズーム等を用いた高い倍率の撮影時には、高倍率すぎてフレーミング（構図決定）が難しく、画像の中心に被写体をフレーミングしてもデジタルカメラのレリーズタイムラグ中の手振れなどにより被写体が画面からはみでてしまったり、意図と異なるフレーミングで撮影されてしまったりすることがある。
また、マクロ撮影などで虫などの動きの早いものの撮影を行う場合や、撮影倍率の高いマクロ撮影を手持ち撮影で行っても同様な現象が発生する。

このような問題に対し、例えば、手ぶれがおさまったタイミングを見計らって撮影を行う（例えば、特許文献１参照）、撮影時において、電子ズーム機能を用いて電子ズーム部分以外の撮影画像全体と電子ズームによる切り出し拡大エリアに関する情報を記録し、電子ズームが意図と異なる場合には、後で電子ズームによる切り出し拡大エリアを変更可能とする（例えば、特許文献２参照）などの対策が提案されている。

特開２００６−６７４５２号公報 特開２００５−２７８００３号公報

しかしながら、特許文献１に開示されている方法では、撮影者が撮影したいタイミングで撮影できないことがあり、特許文献２に開示されている方法では、撮影後に再度トリミング動作を行う必要があり、使い勝手上において問題があった。

本発明は、上記問題を解決するためになされたもので、撮影者の意図したフレーミングの撮影画像を取得することのできる撮像システム及び画像処理方法並びに画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を提供する。
本発明の第１の態様は、撮影者の撮影操作を検出する撮影操作検出手段と、前記撮影者によって設定された撮影画角のスルー画像を表示する表示手段と、前記撮影操作に先立って前記スルー画像を取得するとともに、該撮影操作がされた場合に、前記撮影者の設定した撮影画角よりも広い撮影画角で本撮影画像を取得する撮像手段と、前記撮影操作がされた場合に、前記スルー画像に基づいて作成され、かつ、撮影操作時または撮影操作直前のフレーミングに関連する情報であるフレーミング情報を取得するフレーミング情報取得手段と、該フレーミング情報取得手段により取得されたフレーミング情報に基づいて、前記撮像手段により取得された本撮影画像をトリミングするトリミング手段とを具備し、前記トリミング手段は、前記フレーミング情報取得手段によって取得された該フレーミング情報に基づいて、前記本撮影画像上に切り取り領域を設定し、該切り取り領域に沿って該本撮影画像をトリミングし、前記フレーミング情報取得手段によって取得される該フレーミング情報は、前記撮影操作時または撮影操作直前に該表示手段に表示されていたスルー画像に関するフレーミング情報であり、前記フレーミング情報取得手段は、前記撮影者により設定された撮影画角で前記スルー画像を切り取ることにより、前記フレーミング情報を作成するフレーミング情報作成手段と、前記フレーミング情報作成手段によって作成された該フレーミング情報を記憶する記憶手段とを有し、前記フレーミング情報取得手段が、前記撮影操作のタイミングに基づいて前記記憶手段からいずれかのフレーミング情報を取得することを特徴とする撮像システムである。

上記構成によれば、本撮影に先駆けてスルー画像を取得しておき、撮影者により撮影操作がなされた場合には、該スルー画像に基づいて撮影操作時または撮影操作直前のフレーミングに関する情報であるフレーミング情報を取得する。そして、このフレーミング情報に基づいて本撮影画像のトリミングを行い、最終的な画像を取得する。このように、本態様によれば、撮影操作時または撮影操作がなされる直前のフレーミングを撮影者が真に望むフレーミングであるとみなし、このフレーミングに基づいて本撮影画像をトリミングして最終的な画像を作成するので、例えば、本撮影の際に、手振れ等が発生することにより、撮影者の意図するフレーミングと異なるフレーミングで本撮影画像が取得された場合でも、撮影者が所望するフレーミングによる撮影画像を取得することが可能となる。

上記「スルー画」とは、デジタルカメラ等の静止画撮影可能な撮像機器において本撮影に先立ち撮像される画像を示す。
また、「撮影操作」とは、例えば、撮影者がシャッターボタンを全押しする行為をいう。
上記「撮影操作直前」とは、例えば、撮影操作時から遡って数百ｍｓオーダの期間をいい、具体的には、撮影操作時から５００ｍｓ以内の期間をいう。撮影操作時からの期間は、撮影者が撮影を意図してから実際にシャッターボタンを押し、これをカメラが認識するまでの時間をもとに決定すればよい。一般的には撮影者が撮影を意図してからシャッターボタンを押すまでの時間は５０ｍｓから４００ｍｓ程度であるので、これにカメラがシャッターボタンを認識するまでの時間を加えた値をもとに決定するとよい。

本発明の第２の態様は、撮影者の撮影操作を検出する過程と、前記撮影者によって設定された撮影画角のスルー画像を表示する過程と、前記撮影操作に先立って前記スルー画像を取得するとともに、該撮影操作がされた場合に、前記撮影者の設定した撮影画角よりも広い撮影画角で本撮影画像を取得する過程と、前記撮影操作がされた場合に、前記スルー画像に基づいて作成され、かつ、撮影操作時または撮影操作直前のフレーミングに関連する情報であるフレーミング情報を取得する過程と、前記本撮影画像を該フレーミング情報に基づいてトリミングする過程とを具備し、前記トリミングする過程において、前記フレーミング情報を取得する過程において取得された該フレーミング情報に基づいて、前記本撮影画像上に切り取り領域を設定し、該切り取り領域に沿って該本撮影画像をトリミングし、前記フレーミング情報を取得する手段において取得される該フレーミング情報は、前記撮影操作時または撮影操作直前に該表示する過程で表示されていたスルー画像に関するフレーミング情報であり、前記フレーミング情報を取得する過程は、前記撮影者により設定された撮影画角で前記スルー画像を切り取ることにより、前記フレーミング情報を作成するフレーミング情報を作成する過程と、前記フレーミング情報を作成する過程によって作成された該フレーミング情報を記憶する過程とを有し、前記フレーミング情報を取得する過程が、前記撮影操作のタイミングに基づいて前記記憶する過程で記憶された前記フレーミング情報からいずれかのフレーミング情報を取得することを特徴とする画像処理方法である。

本発明の第３の態様は、撮影者によって設定された撮影画角のスルー画像を表示する処理と、前記スルー画像を取得するとともに、撮影者の撮影操作がされた場合に、前記撮影者の設定した撮影画角よりも広い撮影画角で本撮影画像を取得する処理と、前記撮影操作がされた場合に、前記スルー画像に基づいて作成され、かつ、撮影操作時または撮影操作直前のフレーミングに関連する情報であるフレーミング情報を取得する処理と、前記本撮影画像を該フレーミング情報に基づいてトリミングする処理と、をコンピュータに実行させ、前記トリミングする処理において、前記フレーミング情報を取得する処理において取得された該フレーミング情報に基づいて、前記本撮影画像上に切り取り領域を設定し、該切り取り領域に沿って該本撮影画像をトリミングし、前記フレーミング情報を取得する処理において取得される該フレーミング情報は、前記撮影操作時または撮影操作直前に該表示する処理で表示されていたスルー画像に関するフレーミング情報であり、前記フレーミング情報を取得する処理において、前記撮影者により設定された撮影画角で前記スルー画像を切り取ることにより、前記フレーミング情報を作成するフレーミング情報を作成する処理と、前記フレーミング情報を作成する処理によって作成された該フレーミング情報を記憶する処理とをコンピュータに実行させ、前記フレーミング情報を取得する処理が、前記撮影操作のタイミングに基づいて前記記憶する処理で記憶された前記フレーミング情報からいずれかのフレーミング情報を取得することを特徴とする画像処理プログラムである。

本発明によれば、撮影者の意図したフレーミングの撮影画像を取得することができるという効果を奏する。

本発明の第１の実施形態に係る撮像システムの概略構成を示したブロック図である。 図１に示した画像処理装置におけるフレーミング処理に関する主要な機能を抽出して記載した機能ブロック図である。 スルー画像と表示モニタに表示される表示画像について説明するための図である。 パワーオンから撮影者の意図したフレーミングに基づく画像が得られるまでのシーケンスフローの概略を示した図である。 パワーオンから撮影者の意図したフレーミングに基づく画像が得られるまでのシーケンスフローの概略を示した図である。 スルー画像撮影表示処理及びフレーミング情報格納処理の処理手順を示したフローチャートである。 フレーミング情報の選択について説明するための図である。 フレーミング処理の処理手順を示したフローチャートである。 マッチング処理の処理手順を示したフローチャートである。 本発明の第３の実施形態に係る撮像システムにおけるシーケンスフローの概略を示した図である。 本発明の第３の実施形態に係る撮像システムにおけるシーケンスフローの概略を示した図である。 画像選択処理の処理手順を示したフローチャートである。 画像選択処理の処理手順を示したフローチャートである。 本発明の第４の実施形態に係る撮像システムにおけるシーケンスフローの概略を示した図である。 本発明の第４の実施形態に係る撮像システムにおけるシーケンスフローの概略を示した図である。

以下に、本発明に係る画像処理装置及び撮像システムの各実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る撮像システムの概略構成を示したブロック図である。本実施形態に係る撮像システム１は、例えば、デジタルカメラであり、撮像部２と画像処理装置３とを備えている。撮像部２は、レンズ１０、シャッタ１１、ＣＣＤ１２、ＣＣＤ制御部１３、レンズ駆動部１４、及びストロボ１５を備えている。
レンズ１０には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り１０ａが配置されている。この絞り１０ａの役割は、撮影制御部２０からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像システムにおいては、明るさ調節の目的のために、例えば、光量調節のためのＮＤフィルタで代用することも可能である。

レンズ１０は、後述する撮影制御部２０の制御によりレンズ駆動部１４が作動することにより駆動される。これにより、撮影制御部２０からの制御指令に基づいて、ピント合わせ、ズーム駆動等が行われる。ストロボ１５は、撮影制御部２０の制御により、被写体に光を照射可能となっている。
レンズ１０の後方には、露光時間制御用のシャッタ１１が配置されている。このシャッタ１１は撮影制御部２０によって駆動制御される。
シャッタ１１はスルー画像撮影時には常に開いた状態とされる。このとき、ＣＣＤ１２の露光量制御はＣＣＤ１２の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画（以下「スチル撮影」という。）撮影時にはシャッタ１１によりＣＣＤ１２への露光量が制御される。

シャッタ１１の後方には二次元撮像素子としてのＣＣＤ１２が配置されており、レンズ１０によって結像される被写体像を電気信号に光電変換する。なお、本実施形態では撮像素子としてＣＣＤを用いているが、これに限らずＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の二次元撮像素子を使用できることはいうまでもない。

ＣＣＤ制御部１３はＣＣＤインターフェイス２１に接続されている。ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１を介して後述するシーケンスコントローラ（以下「ボディＣＰＵ」という。）からの制御信号を受信し、この制御信号に基づいてＣＣＤ１２の電源のオン・オフ制御等を行い、撮像のタイミングを調整し、光電変換信号の増幅（ゲイン調整）等を行う。

ＣＣＤ１２により取得されたアナログ信号の画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、画像処理装置３に入力される。
画像処理装置３は、例えば、ＡＳＩＣであり、上述の撮影制御部２０、ＣＣＤインターフェイス２１、ボディＣＰＵ２２、輝度算出部２３、ＡＦ演算部２４、画像処理部２５、顔検出部２６等を備えている。これら各部は、画像処理装置３内のデータバス３０を介して相互に接続されている。

ボディＣＰＵ２２は、撮像システム１が備える各部の制御を行う。
輝度算出部２３は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
ＡＦ演算部２４は、画像信号を所定の領域に分割し、領域毎にコントラスト情報を算出し、レンズ駆動部１４の制御と同期して、所定領域のコントラストが最大となるように、レンズ１０を駆動することにより、被写体に焦点を合わせる。

画像処理部２５は、撮像部２により取得された画像信号に対してＯＢ減算、色補正、階調変換、白黒・カラーモード処理、スルー画像処理といった各種の画像処理を行う。なお、この画像処理部２５により実現される処理の詳細については、後述する。
顔検出部２６は、画像信号を元に、顔検出に適したサイズの画像を作成し、例えば、特開２００６−２２７９９５号公報に開示されているような公知の技術を用いて、処理対象画像中から顔の部品に類似する特徴量を持つ部分を探索して顔候補領域を抽出し、顔候補領域の種々の情報を用いて、顔か否かの判断を行い、顔領域の位置と大きさを検出する。

ここで、より具体的な顔検出方法は、例えば、Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ， “Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ，” Ｐｒｏｃ． ｏｆ ＣＶＰＲ， ２００１に開示されているような、Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法である。Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法は、Ａｄａｂｏｏｓｔの学習によって選択された顔検出に最適な矩形フィルターを顔検出対象画像に照合させ、顔を検出する方法である。前記矩形フィルターをカスケード型に配することで処理を高速化している。また、上記検出処理時に各矩形フィルターとの照合結果を積算し規格化したものを評価値とし、上記処理により顔が検出された場合には、検出した顔の信頼度をあらわす指標として顔検出結果とともに出力する。本実施形態では、この指標を顔検出信頼性と記載し、検出した顔の確からしさを表す指標として、顔検出結果を使用するシーケンスで使用する。

また、上記データバス３０には、上述した構成要素のほか、圧縮部３１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）制御部３２、フラッシュメモリ制御部３３、操作検出部３４、記録媒体制御部３５、ビデオ信号出力部３６などが接続されている。

圧縮部３１は後述するＳＤＲＡＭ４１に記憶された画像データ等をＪＰＥＧに圧縮するためのブロックである。なお、画像圧縮はＪＰＥＧに限らず、他の圧縮方法も適用できる。フラッシュメモリ制御部３３は、フラッシュメモリ４２に接続されている。このフラッシュメモリ４２には、撮像システム１における各処理を制御するための画像処理プログラムが記憶されており、ボディＣＰＵ２２はこのフラッシュメモリ４２に記憶されたプログラムに従って各部の制御を行う。なお、フラッシュメモリ４２は、電気的に書換可能な不揮発性メモリである。ＳＤＲＡＭ４１は、ＳＤＲＡＭ制御部３２を介してデータバス３０に接続されている。ＳＤＲＡＭ４１は、画像処理部２５等によって画像処理された画像情報または圧縮部３１によって圧縮された画像情報を一時的に記憶するためのメモリである。

撮影制御部２０は、データバス３０を介してボディＣＰＵ２２等の各部と接続している。記録媒体制御部３５は、記録媒体４３に接続され、この記録媒体４３への画像データ等の記録の制御を行う。記録媒体４３は、ｘＤピクチャーカード（登録商標）、コンパクトフラッシュ（登録商標）、ＳＤメモリカード（登録商標）、メモリスティック（登録商標）またはハードディスクドライブ（ＨＤ）等の書換可能な記録媒体で構成され、撮像システム本体に対して着脱可能とされている。

ビデオ信号出力部３６は、表示モニタ制御部４５を介して表示モニタ４６に接続されている。ビデオ信号出力部３６は、ＳＤＲＡＭ４１または記録媒体４３に記憶された画像データを、表示モニタ４６に表示するためのビデオ信号に変換するための回路である。表示モニタ４６は、例えば、撮像システム本体の背面に配置されている液晶表示装置であるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置でも構わない。

操作部４７は、撮像システム１の撮影指示を示すレリーズを検出するスイッチや、モードダイヤル、パワースイッチ、コントロールダイヤル、再生ボタン、メニューボタン、十字キー、ＯＫ釦等を含み、操作検出部３４を介してデータバス３０に接続されている。

次に、本発明の特徴部分であるフレーミングに関する構成について説明する。図２は、上記画像処理装置２５におけるフレーミング処理に関する主要な機能を抽出して記載した機能ブロック図である。
図２に示すように、画像処理装置２５は、フレーミング情報作成部（フレーミング情報作成手段）２５１、第１の記憶部（記憶手段）２５２、フレーミング情報取得部（フレーミング情報取得手段）２５３、第２の記憶部２５４、トリミング部（トリミング手段）２５６、リサイズ部２５７、及び処理部２５８を備えている。ここで、第１の記憶部２５２、第２の記憶部２５４については、画像処理部２５自体がこれらのメモリを保有していてもよいし、ＳＤＲＡＭ４１（図１参照）等を流用することとしてもよい。

フレーミング情報作成部２５１は、スルー画像から撮影者によってフレーミングされている領域を切り出し、この領域に該当する画像をフレーミング情報として第１の記憶部２５２に記憶するとともに、表示モニタ４６に表示させる。
例えば、本実施形態で想定している撮像システム１は、撮影者が設定した撮影画角よりも広い撮影画角で撮影を行うことが可能な撮像システムである。具体的には、撮像システム１は、電子ズームの機能を備えている。例えば、図３（ａ），（ｂ）に示すように、電子ズームの使用にかかわらず所定の撮影画角の画像を撮影確認のためのモニタ動画像（スルー画像）として取得していると同時に、表示モニタ４６には撮影者が設定した撮影画角に基づいて該スルー画像を切り出した画像（図３（ｂ））を表示させる。電子ズームの倍率が大きくなると、表示モニタ４６にはズームにあわせて拡大された画像が表示されるが、フレーミング情報作成部２５１に入力されるスルー画像の撮影画角は電子ズームの倍率にかかわらず一定となる。

上記スルー画像は、一定の時間間隔で繰り返し取得される。このスルー画像は、フレーミング情報作成部２５１によって、撮影者が設定した撮影画角で切り取られて表示モニタ４６に表示されるとともに、該切り取られた画像に対して所定の画像処理を施してフレーミング情報を生成し、生成されたフレーミング情報が第１の記憶部２５２に随時格納される。
フレーミング情報取得部２５３は、操作検出部３４によって操作者の撮影操作が検出された場合に、第１の記憶部２５２から撮影操作の直前に取得されたフレーミング情報を取得し、このフレーミング情報をトリミング部２５６に出力する。

撮像部２は、上述の如く、画像処理装置3の制御に基づいて撮影操作に先立ってスルー画像を繰り返し取得するとともに、操作検出部３４によって撮影操作が検出された場合に、本撮影を行い、本撮影画像を第２の記憶部２５４に格納する。
トリミング部２５６は、第２の記憶部２５４に格納された本撮影画像上に、フレーミング情報取得部２５３によって取得されたフレーミング情報に基づく切り出し領域を設定し、この切り出し領域に従って画像を切り出し（トリミングし）、切り出した本撮影画像をリサイズ部２５７に出力する。
リサイズ部２５７は、切り出された本撮影画像のサイズを修正し、処理部２５８に出力する。処理部２５８は、リサイズ部２５７から入力された本撮影画像に対してホワイトバランス、階調処理等の各種画像処理を行い、処理後の本撮影画像を記録媒体４３に記憶する。

次に、上記構成を備える撮像システム１の動作について図４乃至図９を参照して説明する。図４は、パワーオンから撮影者の意図したフレーミングに基づく本撮影画像が得られるまでのシーケンスフローの概略を示した図である。
図４において、まず、撮影者によってデジタルカメラの電源がオンされると、フレーミング用のメモリがクリアされる（ステップＳＡ１）。これにより、図２に示した第１の記憶部２５２に格納されているフレーミング情報が削除される。続いて、撮影モード、ズーム等のユーザ設定情報が検出される（ステップＳＡ２）。ユーザ設定は、例えば、操作検出部３４（図１参照）により行われる。

続いて、ユーザ設定において電子ズームの設定がされているか否かが判定される（ステップＳＡ３）。この結果、電子ズームが設定されていなかった場合には（ステップＳＡ３において「ＮＯ」）、スルー画像撮影表示処理を行った後（ステップＳＡ４）、オートフォーカス（ステップＳＡ６）、露出演算を行う（ステップＳＡ７）。一方、ユーザ設定において電子ズームの設定がされていた場合には（ステップＳＡ３において「ＹＥＳ」）、スルー画像撮影表示処理及びフレーミング情報格納処理を行った後（ステップＳＡ５）、オートフォーカス（ステップＳＡ６）及び露光演算を行う（ステップＳＡ７）。なお、上記スルー画像撮影表示処理及びフレーミング情報処理格納処理についての詳細は後述する。

次に、シャッターボタンが半押しされているか否かが判定され（ステップＳＡ８）、半押しされていない場合には、上記ステップＳＡ２に戻り、ステップＳＡ２以降の処理を繰り返し行う。一方、シャッターボタンが半押しされている場合には、オートフォーカス（ステップＳＡ９）、露光演算（ステップＳＡ１０）が行われ、その後、半押し状態が解除されたか否かが再度判定される（ステップＳＡ１１）。

この結果、半押し状態が解除されていた場合には（ステップＳＡ１１において「ＮＯ」）、ステップＳＡ２に戻る。一方、半押し状態が継続していた場合には、全押しがされたか否かが判定される（ステップＳＡ１２）。この結果、シャッターボタンが全押しされておらず、未だ半押し状態が継続されている場合には（ステップＳＡ１２において「ＮＯ」）、電子ズームが設定されているか否かが判断され（ステップＳＡ１３）、電子ズームが設定されていなければスルー画像撮影表示処理を行った後に（ステップＳＡ１４）、ステップＳＡ１１に戻り、一方、電子ズームが設定されていた場合には、スルー画像撮影表示処理及びフレーミング情報格納処理を行った後に（ステップＳＡ１５）、ステップＳＡ１１に戻り、ステップＳＡ１１以降の処理を繰り返し行う。

一方、ステップＳＡ１２において、シャッターボタンが全押しされたと判断された場合には（ステップＳＡ１２において「ＹＥＳ」）、電子ズームが設定されているか否かが判定される（図５のステップＳＡ１６）。この結果、電子ズームが設定されていた場合には、フレーミング情報取得処理（ステップＳＡ１７）が実行された後、本撮影処理が行われる（ステップＳＡ１８）。一方、電子ズームが設定されていなかった場合には、フレーミング情報取得処理を行うことなく、そのまま本撮影処理が行われる（ステップＳＡ１８）。

続いて、電子ズームが設定されていたか否かが判定され（ステップＳＡ１９）、電子ズームが設定されていた場合には、フレーミング処理が行われた後（ステップＳＡ２０）、リサイズ処理（ステップＳＡ２１）、画像処理（ステップＳＡ２２）を経て、画像記録が行われる（ステップＳＡ２３）。一方、電子ズームが設定されていなかった場合には、フレーミング処理が行われることなく、当該本撮影画像に対してリサイズ処理（ステップＳＡ２１）、画像処理が行われ（ステップＳＡ２２）、この画像が記憶される（ステップＳＡ２３）。

〔スルー画像撮影表示処理及びフレーミング情報格納処理〕
次に、上記ステップＳＡ５及びステップＳＡ１５において行われるスルー画像撮影表示処理及びフレーミング情報格納処理について図６を参照して説明する。図６は、スルー画像撮影表示処理及びフレーミング情報格納処理の処理手順を示したフローチャートである。このスルー画像撮影表示処理及びフレーミング情報格納処理は、図２に示したフレーミング情報作成部２５１に相当する処理である。

図６において、スルー画像が撮影されると（ステップＳＢ１）、スルー画像の画像切り出しが行われる（ステップＳＢ２）。スルー画像の切り出しは、撮影者が設定した撮影画角に相当する画像をスルー画像より切り出すことで行われる。この場合、撮影者の設定した焦点距離、実際に撮影された画像サイズ、及び焦点距離からスルー画像の中央を中心に切り出しエリアを算出する。
続いて、切り出されたスルー画像に対して、ＯＢ減算、階調処理、γ変換、オートホワイトバランス処理等の公知の各種画像処理が施され（ステップＳＢ３）、画像処理後のスルー画像が表示モニタ４６（図２参照）に表示される（ステップＳＢ４）。また、表示用に用いられたスルー画像に対して画像縮小処理、モノクロ処理等が更に施されることで、フレーミング情報が作成される。

続いて、第１の記憶部２５２のメモリ容量が十分であるか否かが判断される（ステップＳＢ６）。この結果、今回作成されたフレーミング情報、換言すると、画像処理済のスルー画像を保存するのに十分なメモリ容量が確保できる場合には、このフレーミング情報を第１の記憶部２５２に記憶し（ステップＳＢ８）、当該処理を終了する。一方、フレーミング情報を格納するのに十分なメモリ容量がない場合には、第１の記憶部２５２に保存されている最も古いフレーミング情報を消去することでメモリ容量を確保し（ステップＳＢ７）、今回作成されたフレーミング情報を第１の記憶部２５２に記憶し（ステップＳＢ８）、当該処理を終了する。

なお、本実施形態では、上記ステップＳＢ４において得られたスルー画像に対して、更に画像縮小処理、モノクロ処理等の処理を実施することでトリミング済みのモノクロの縮小画像をフレーミング情報と考え、フレーミング情報を作成していたが、この方法に限られず、ステップＳＢ４において得られたスルー画像に対して他の画像処理を行うことでフレーミング情報を作成することとしてもよい。
また、ステップＳＢ４において得られたスルー画像をフレーミング情報とし、そのままの状態で第１の記憶部２５２に格納することも可能である。

〔フレーミング情報取得処理〕
次に、図５のステップＳＡ１７において行われるフレーミング情報取得処理について説明する。このフレーミング情報取得処理は、図２に示したフレーミング情報取得部２５３に相当する処理である。

まず、操作検出部３４からシャッターボタンが全押しされた旨の情報が入力されると、フレーミング情報取得部２５３（図２参照）により、シャッターボタンが全押しされた時点よりも一つ前に取得されたスルー画像がフレーミング情報として第１の記憶部２５２から読み出され、読み出されたフレーム情報がトリミング部２５６に出力される。

図７は、フレーミング情報の選択について説明するための図である。図７において、上段は撮像部２によって取得されたスルー画像、下段は第１の記憶部２５２に格納されているフレーミング情報、換言すると、上段のスルー画像から切り出され、所定の画像処理が施されたスルー画像であり、これらの画像が時間軸に沿って示されている。つまり、右にいくほど、新しいスルー画像である。この場合において、例えば、時刻ｔ１でシャッターボタンが全押しされたこと、換言すると、撮影者による撮影操作が操作検出部３４によって検知されると、フレーミング情報取得部２５５は、時刻ｔ１の直前に取得されたフレーミング情報を第１の記憶部２５２から取得し、このフレーミング情報をトリミング部２５６に出力する。

〔フレーミング処理〕
次に、図５のステップＳＡ２０において行われるフレーミング処理について図８を参照して説明する。図８は、フレーミング処理の処理手順を示したフローチャートである。このフレーミング処理は、図２に示したトリミング部２５６によって実現される処理である。

図８において、まず、本撮影画像を取得し、この本撮影画像に対して、公知のＯＢ減算処理、階調変換処理、ホワイトバランス調整処理、モノクロ化処理等の処理を施すことで、フレーミング情報と比較するのに適切な画像（以下「フレーミング処理用画像」という。）を作成する（ステップＳＣ１）。このとき、本撮影画像の原画は、第２の記憶部２５４に格納されているものとし、この本撮影画像をコピーしたものを処理して用いる。
次に、フレーミング情報取得部２５３により選択されたフレーミング情報を取得し（ステップＳＣ２）、取得したフレーミング情報と同撮影画角となるように、フレーミング処理用画像のサイズを修正する（ステップＳＣ３）。

続いて、サイズを修正したフレーミング処理用画像とフレーミング情報とをマッチング処理し、フレーミング位置を決定する（ステップＳＣ４）。ここで行われるマッチング処理の詳細については、後述する。
続いて、マッチング処理によって決定されたフレーミング位置の中心座標と撮影者の設定した焦点距離等の情報に基づいて、第２の記憶部２５４に格納されている本撮影画像における切り出し領域を設定し（ステップＳＣ５）、設定した切り出し領域において本撮影画像をトリミングし（ステップＳＣ６）、フレーミング処理を終了する。切り出された本撮影画像は、リサイズ部２５７（図２参照）に出力され、サイズ調整等の以降の処理が行われることとなる。

〔マッチング処理〕
次に、上記ステップＳＣ４において行われるマッチング処理について図９を参照して説明する。
図９において、フレーミング情報をテンプレート画像として設定し（ステップＳＤ１）、続いて、本撮影画像の撮影画角、ユーザの設定した撮影画角、及び焦点距離に基づいて、フレーミング処理用画像上に検索エリアを設定するとともに、検索の細かさを設定する（ステップＳＤ２）。
続いて、フレーミング処理用画像上に設定した検索エリア内に比較初期位置を設定し（ステップＳＤ３）、設定した比較位置においてテンプレート画像とフレーミング処理用画像との類似度を算出する（ステップＳＤ４）。類似度の算出は、例えば、それぞれ対応した位置の画素の画素値の差分を算出し、全ての差分の積算値を類似度として算出する。なお、類似度の算出方法については、上記算出方法に限定されることなく、例えば、各画像のヒストグラムを計算し、ヒストグラムの類似度を画像の類似度としてもよく、また、色情報も加味して類似度を求めることとしてもよい。

続いて、全検索領域にわたって類似度の算出が終了したか否かを判定し（ステップＳＤ５）、終了していなければ、比較位置を変更して（ステップＳＤ６）、上記類似度の算出を繰り返し行う（ステップＳＤ４）。
そして、全検索領域にわたって類似度の算出が終了すると（ステップＳＤ５において「ＹＥＳ」）、ステップＳＤ４において算出した各位置における類似度を評価し、最も類似度の高いときの比較位置を特定し（ステップＳＤ７）、この比較位置とテンプレート画像の大きさに基づいてフレーミング処理用画像上にフレーミング領域、つまり、切り出し領域を設定する（ステップＳＤ８）。そして、設定した切り出し領域の中心座標を算出し（ステップＳＤ９）、マッチング処理を終了する。

なお、上記例では、テンプレートマッチングにより、フレーミング処理用画像上にフレーミング領域を設定することとしたが、フレーミング情報と一番近い撮影画角が推定可能であれば、公知の他の手法を用いることとしてもよい。また、テンプレート画像を作成する際に、色情報を残し、色の類似度も加味することとしてもよい。また、探索領域や探索方法も上記方法に限られない。これは、例えば、公知のトラッキング等で使用される手法などを用いてもよい。

また、角度を変えてマッチングを行うこととしても良い。このように角度を変えることで撮影者による斜め方向の手ブレなどにも対応可能となり、マッチングの精度を向上させることができる。また、フレーミング情報から被写体を検出し、被写体周辺部分のみを切り出して、ブロックマッチングすることとしてもよい。この場合には、被写体の類似度の高い位置を特定するとともに、フレーミング情報内の被写体部分の位置を特定し、特定したこれらの情報を用いて撮影者の狙いの画像角度になるように上記切り出し領域の中心座標を算出する。

以上、説明してきたように、本実施形態に係る画像処理装置及び撮像システムによれば、本撮影に先駆けてスルー画像を取得し、撮影者により設定された撮影画角に基づいてスルー画像を切り取ることでフレーミング情報を作成し、これらを蓄積しておく。そして、撮影者により撮影操作がなされた場合には、蓄積されていたフレーミング情報のうち、撮影操作の直前に取得されたフレーミング情報を選択し、このフレーミング情報を用いて本撮影画像のトリミングを行う。このように、本実施形態に係る撮像システムによれば、撮影操作がされた直前のフレーミングを撮影者が真に望むフレーミングであるとみなし、このフレーミングに一致するように本撮影画像をトリミングして最終的な画像を作成する。これにより、例えば、本撮影の際に、手振れ等が発生することにより、撮影者の意図するフレーミングと異なるフレーミングで本撮影画像が取得された場合でも、撮影者が所望するフレーミングによる撮影画像を取得することが可能となる。

なお、本実施形態においては、第１の記憶部２５２に格納されているフレーミング情報の中から本撮影画像の切り出しに用いるフレーミング情報を決定する際、図７に示すように、シャッターボタンが全押しされる直前に取得されたフレーミング情報を採用することとしていたが、フレーミング情報の決定方法についてはこれに限定されない。

例えば、シャッターボタンが全押しされたときから遡って所定期間前に取得されたフレーミング情報を採用することとしても良い。上記所定期間とは、例えば、数百ｍｓオーダをいい、具体的には、０ｍｓ以上５００ｍｓ以下の範囲内で決定されるとよい。より具体的には、上記所定期間として１００ｍｓを予め設定しておき、シャッターボタンが全押しされたことが検出されたときから１００ｍｓ前に取得されたフレーミング情報を採用することとしてもよい。

また、上記のように時間ではなく、枚数によって採用するフレーミング情報を特定することとしても良い。例えば、シャッターボタンが全押しされたときから所定枚数前に取得されたフレーミング情報を採用することとしてもよい。上記所定枚数とは、フレームレート３０枚／秒の場合、０枚以上７枚未満をいう。より具体的には、上記所定枚数として５枚を予め設定しておき、シャッターボタンが全押しされた場合には、シャッターボタンが全押しされたことが検出されたときから５枚前に取得されたフレーミング情報を採用することとしてもよい。これらの枚数は、より具体的にはスルー画撮影時のフレームレートによって変えることが望ましい。

〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、電子ズームを用いた場合にフレーミング情報に基づく本撮影画像の切り出しを行っていたが、第２の実施形態では、電子ズームに限らず、例えば、撮影倍率等を加味して、撮影者が設定した撮影画角よりも広い撮影画角の本撮影画像を取得する撮影システム全般に適用される。
この場合、シャッターボタンが全押しされたときよりも前のフレーミング情報を用いて本撮影画像の切り出しを行うフレーミング優先モードというものを設け、フレーミング優先モード時には常に撮影者の設定する画角よりも広い画角範囲を撮影するよう制御する。フレーミング優先モードに設定されている場合には、上述した第１の実施形態のように、フレーミング情報を用いた本撮影画像のフレーミング処理等を行う。このため、例えば、電子ズームが設定されているか否かによって、フレーミング情報に基づく画像切り出しを行うか否かを決定していた上記第１の実施形態に対し、第２の実施形態では、フレーミング優先モードが設定されているか否かによって、フレーミング情報を用いた画像切り出しを行うか否かを決定する。

このように、電子モード以外にも撮影者の設定撮影画角に対して広い撮影画角で本撮影を行う撮像システムについても、撮影操作前のフレーミングに基づいて本撮影画像の切り出しを行うことで、例えば、焦点距離の長くない場合で、フレーミングが難しい場合、具体的には、撮影倍率の高いマクロですばやく移動する虫等を撮影する場合にもフレーミング枠から被写体がはずれないような撮影を行うことが可能となる。更に、焦点距離、撮影距離から計算される撮影倍率に応じて実撮影画像と余裕分の比率を変えることでより精度を上げることが可能となる。ここで、撮影距離とは、撮像面と被写体との距離を示す。

〔第３の実施形態〕
次に、本発明の第３の実施形態について説明する。
上述した第１の実施形態では、本撮影画像からフレーミング情報で決定される領域を切り出すことで最終的な画像を取得していた。しかしながら、本撮影時において手振れ等が発生し、主被写体等が撮影画角から外れてしまった場合には、本撮影画像自体に主被写体がきちんと含まれないことなり、このような本撮影画像を元に画像の切り出しを行ったとしても撮影者の意図したフレーミングでの画像が取得できないこととなる。

このような場合を想定して、本実施形態では、最終的な画像切り出しを行う元の画像として本撮影画像が適切な画像であるか否かを判断し、適切な画像でないと判断した場合（例えば、主被写体の一部が欠けて撮影されてしまった場合等）には、本撮影に先駆けて取得されたプリキャプチャ画像を用いて画像の切り出しを行うこととしている。本実施形態は、例えば公知のプリキャプチャーモード（撮影者によるレリーズ半押し中の画像を記録し、撮影後に本撮影画像かレリーズ半押し中の画像のいずれかから最終画像を選択可能とする機能を有するモード）を有し、さらには最終画像の選択を自動で行う自動セレクト処理機能を有するカメラ等に応用可能である。
以下、本実施形態に係る撮像システムについて、上記第１の実施形態と異なる点について主に説明する。

図１０は、本実施形態に係る撮像システムにおけるシーケンスフローの概略を示した図である。また、本実施形態に係る撮像システム１の構成については図１に示した第１の実施形態に係る撮像システムと略同じであり、また、画像処理部２５の構成についても図２に示した第１の実施形態に係る構成と略同じであるため、以下の説明においては、図２の構成を引用して説明する。

図１０において、まず、撮影者によってカメラの電源がオンされると、フレーミング情報及びプリキャプチャの情報がクリアされる（ステップＳＥ１）。これにより、図２に示した第１の記憶部２５２に格納されているフレーミング情報及び後述するプリキャプチャの情報が削除される。続いて、撮影モード、ズーム等のユーザ設定情報が検出される（ステップＳＥ２）。

続いて、スルー画像撮影表示処理が行われ（ステップＳＥ３）、オートフォーカス（ステップＳＥ４）、露出演算が行われる（ステップＳＥ５）。次に、シャッターボタンが半押しされているか否かが判定され（ステップＳＥ６）、半押しされていない場合には、上記ステップＳＥ１に戻り、ステップＳＥ１以降の処理を繰り返し行う。一方、シャッターボタンが半押しされている場合には、オートフォーカス（ステップＳＥ７）、露光演算（ステップＳＥ８）が行われ、その後、半押し状態が解除されていないかが再度判定される（ステップＳＥ９）。

この結果、半押し状態が解除されていた場合には（ステップＳＥ９において「ＮＯ」）、ステップＳＥ１に戻る。一方、半押し状態が継続していた場合には（ステップＳＥ９において「ＹＥＳ」）、プリキャプチャーモードが設定されているか否かが判定される（ステップＳＥ１０）。この結果、プリキャプチャーモードが設定されていない場合には、スルー画像撮影表示処理を行った後（ステップＳＥ１１）、シャッターボタンが全押しされたか否かが判定される（ステップＳＥ１４）。

一方、上記ステップＳＥ１０において、プリキャプチャーモードが設定されていた場合には、スルー画像撮影表示処理及びフレーミング情報格納処理（ステップＳＥ１２）及びプリキャプチャ画像記憶処理が行われ（ステップＳＥ１３）、その後、シャッターボタンが全押しされたか否かが判定される（ステップＳＥ１４）。

上記ステップＳＥ１２において実施されるスルー画像撮影表示処理及びフレーミング情報格納処理については、図６に示した処理と同様である。また、プリキャプチャ画像記憶処理は、スルー画像に所定の画像処理を施すことによりプリキャプチャ画像を作成し、これを保存しておく。プリキャプチャ画像を記憶する記憶部（記憶手段）については、特に限定されない。例えば、第１の記憶部２５２、第２の記憶部２５４を利用してもよいし、プリキャプチャ画像専用の記憶部を設けることとしてもよい。

続いて、ステップＳＥ１４における判定において、シャッターボタンが全押しされておらず、未だ半押し状態が継続されている場合には（ステップＳＥ１４において「ＮＯ」）、ステップＳＥ９に戻り、ステップＳＥ９以降の処理が繰り返し行われる。一方、ステップＳＥ１４において、シャッターボタンが全押しされたと判断された場合には、フレーミング情報取得処理（図１１のステップＳＥ１５）が実行された後、本撮影処理が行われる（ステップＳＥ１６）。ここで、フレーミング情報取得処理は、上述した第１の実施形態と同様の処理である。

続いて、自動セレクトが設定されているか否かが判断され（ステップＳＥ１７）、自動セレクトが設定されている場合には、画像選択処理（フレーミング処理）が行われ（ステップＳＥ１８）、リサイズ処理（ステップＳＥ１９）、画像処理（ステップＳＥ２０）を経て、画像記録が行われる（ステップＳＥ２１）。一方、ステップＳＥ１７において、自動セレクトモードが設定されていなかった場合には、フレーミング処理が行われることなく、当該本撮影画像に対してリサイズ処理等が施され（ステップＳＥ１９、ＳＥ２０）、この画像が記憶される（ステップＳＥ２１）。

次に、上記ステップＳＥ１８において行われる画像選択処理（フレーミング処理）について図１２を参照して説明する。図１２は、画像選択処理（フレーミング処理）の処理手順を示したフローチャートである。このフレーミング処理は、図２に示したトリミング部２５６によって実現される処理である。

図１２において、まず、本撮影画像を取得し、この本撮影画像に対して、公知のＯＢ減算処理、階調変換処理、ホワイトバランス調整処理、モノクロ化処理等の処理を施すことで、フレーミング情報と比較するのに適切な画像（以下「フレーミング処理用画像」という。）を作成する（ステップＳＦ１）。このとき、本撮影画像自体は、第２の記憶部２５４に格納されているものとし、この本撮影画像をコピーしたものを処理して用いる。
次に、図１１に示したステップＳＥ１５において取得されたフレーミング情報を読み出し（ステップＳＦ２）、読み出したフレーミング情報と同じ撮影画角となるように、フレーミング処理用画像のサイズを修正する（ステップＳＦ３）。

続いて、サイズを修正したフレーミング処理用画像とフレーミング情報とをマッチング処理し、フレーミング位置を決定する（ステップＳＦ４）。ここで行われるマッチング処理の詳細については、図９に示した処理と略同様である。
続いて、マッチング処理によって算出された類似度に基づいて、今回取得された本撮影画像を使用して画像の切り出しを行うか否かを判断する（ステップＳＦ５）。例えば、本撮影の際のシャッター操作において手振れ等が発生してしまい、撮影者の意思に反する撮影画角で本撮影画像が取得された場合、最終的な画像を切り出す元となる画像として、本撮影画像を用いるよりもプリキャプチャ画像を用いる方が好ましい場合がある。このため、ステップＳＦ５では、本撮影画像とフレーミング情報との類似度に基づいて、最終的な画像を切り出す元の画像として、本撮影画像が使用できるか否かを判断している。

ステップＳＦ５において、類似度が所定値以上であり、本撮影画像が画像切り出し元の画像に適していると判断された場合には、ステップＳＦ６に進み、画像切り出しの元となる画像として本撮影画像を選択する。一方、ステップＳＦ５において類似度が所定値未満である場合には、今回取得された本撮影画像から最終的な画像を切り出すのは好ましくないと判断し、プリキャプチャ画像の中に、より好ましい画像が存在するか否かを判断する。

具体的には、まず、プリキャプチャ画像を読み出し、プリキャプチャ画像に対して、公知のＯＢ減算処理、階調変換処理、ホワイトバランス調整処理、モノクロ化処理等の処理を施すことで、フレーミング情報と比較するのに適切なフレーミング処理用画像を作成する（ステップＳＦ７）。このとき、プリキャプチャ画像自体は、所定の記憶部に格納されているものとし、このプリキャプチャ画像をコピーしたものを処理して用いる。

次に、フレーミング処理用画像とフレーミング情報とのマッチングを行うことにより、類似度を算出する（ステップＳＦ８）。そして、上記フレーミング処理用画像の作成及びフレーミング情報とのマッチング処理を全てのプリキャプチャ画像を対象として行うと（ステップＳＦ９において「ＹＥＳ」）、全てのプリキャプチャ画像のうち、類似度が上記所定の閾値以上であるプリキャプチャ画像が存在するか否かを判断する（ステップＳＦ１０）。この結果、類似度が所定の閾値以上であるプリキャプチャ画像が存在しなかった場合には（ステップＳＦ１０において「ＮＯ」）、本撮影画像を最終的な画像を切り出す元の画像として選択する（ステップＳＦ６）。

一方、ステップＳＦ１０において、類似度が所定の閾値以上であるプリキャプチャ画像が存在した場合には、その中で最も類似度が高いプリキャプチャ画像を画像切り出し元の画像として選択する（ステップＳＦ１１）。

このようにして、最終的な画像を切り出す元となる画像が指定されると、指定された画像上にフレーミング情報に基づく画像切り出し領域が設定され（図１３のステップＳＦ１２）、設定された領域の画像のトリミングが行われる（ステップＳＦ１３）。

以上説明してきたように、本実施形態に係る撮像システム及び画像処理方法によれば、本撮影画像が画像切り出し元の画像として適していなかった場合には、プリキャプチャ画像を代用して画像の切り出しが行われるので、本撮影のフレーミングに大きく失敗した場合でも撮影者の意思に準じた画像を最終画像として取得することが可能となる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について説明する。
上述した第１の実施形態では、フレーミング情報としてスルー画像を使用していたが、本実施形態ではスルー画像内の顔位置をフレーミング情報として記憶する。以下、本実施形態に係る撮像システムについて、上記第１の実施形態と異なる点について主に説明する。

図１４は、本実施形態に係る撮像システムにおけるシーケンスフローの概略を示した図である。また、本実施形態に係る撮像システム１の構成については図１に示した第１の実施形態に係る撮像システムと略同じであり、また、画像処理部２５の構成についても図２に示した第１の実施形態に係る構成と略同じであるため、以下の説明においては、図２の構成を引用して説明する。

図１４において、まず、撮影者によってカメラの電源がオンされると、フレーミング用のメモリがクリアされる（ステップＳＧ１）。これにより、図２に示した第１の記憶部２５２に格納されているフレーミング情報が削除される。続いて、撮影モード、ズーム等のユーザ設定情報が検出される（ステップＳＧ２）。

続いて、スルー画像の撮影処理が行われ（ステップＳＧ３）、取得されたスルー画像において顔検出処理（ステップＳＧ４）、スルー画像表示処理が行われ（ステップＳＧ５）、顔位置がフレーミング情報として第１の記憶部２５２に記憶される（ステップＳＧ６）。
顔検出は、上述したように、例えば、Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ， “Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ，“ Ｐｒｏｃ． ｏｆ ＣＶＰＲ， ２００１に開示されているような、Ｖｉｏｌａ−Ｊｏｎｅｓの顔検出方法が採用される。

続いて、オートフォーカス（ステップＳＧ７）、露出演算が行われ（ステップＳＧ８）、シャッターボタンが半押しされているか否かが判断される（ステップＳＧ９）。半押しされていない場合には、上記ステップＳＧ２に戻り、ステップＳＧ２以降の処理を繰り返し行う。一方、ステップＳＧ９において、シャッターボタンが半押しされている場合には、オートフォーカス（ステップＳＧ１０）、露光演算（ステップＳＧ１１）が行われ、その後、半押し状態が解除されたか否かが再度判定される（ステップＳＧ１２）。

この結果、半押し状態が解除されていた場合には（ステップＳＧ１２において「ＮＯ」）、ステップＳＧ２に戻る。一方、半押し状態が継続していた場合には、全押しがされたか否かが判定される（ステップＳＧ１３）。この結果、シャッターボタンが全押しされておらず、未だ半押し状態が継続されている場合には（ステップＳＧ１３において「ＮＯ」）、スルー画像撮影処理（ステップＳＧ１４）、スルー画像における顔検出処理（ステップＳＧ１５）、スルー画像表示処理（ステップＳＧ１６）、及び顔位置記憶処理（ステップＳＧ１７）が行われ、その後、ステップＳＧ１２に戻る。

一方、ステップＳＧ１３において、シャッターボタンが全押しされたと判断された場合には（ステップＳＧ１３において「ＹＥＳ」）、フレーミング情報取得処理（図１５のステップＳＧ１８）が実行された後、本撮影処理が行われる（ステップＳＧ１９）。次に、本撮影処理において取得された本撮影画像において顔検出処理が行われ（ステップＳＧ２０）、その後、フレーミング処理（ステップＳＧ２１）、リサイズ処理（ステップＳＧ２２）、画像処理（ステップＳＧ２３）を経て取得された最終的な画像が記録媒体４３に記憶される（ステップＳＧ２４）。

本実施形態に係る撮像システムによれば、スルー画像をフレーミング情報として格納するのではなく、スルー画像における顔位置をフレーミング情報として格納するので、画像を格納する場合に比べてデータ量を大幅に軽減することが可能となる。これにより、メモリへの負担を少なくすることができる。

なお、上記実施形態では、スルー画像において顔認識を行い、顔の位置をフレーミング情報としたが、これに代えて、例えば、顔の位置と大きさや、建物の位置情報や、人の位置情報をフレーミング情報として記憶することとしても良い。

〔第５の実施形態〕
次に、本発明の第５の実施形態について説明する。
上述した第１の実施形態では、フレーミング情報として蓄積したスルー画像の中から撮影者の撮影操作に同期して１枚のスルー画像を取得し、このスルー画像をフレーミング情報として画像の切り出しを行っていたが、本実施形態では、スルー画像の蓄積を行わず、撮影者による撮影操作が行われたときに、そのときの最新の画像をフレーミング情報として用いる。

例えば、スルー画像で表示されている画像と最終的に得られる画像が異なる場合がある。これは、スルー画像で表示されている画像とシャッターボタンを全押しして取得される本撮影画像との間に時間差が生ずるからである。
本実施形態によれば、シャッターボタンが全押しされたときに、スルー画像として表示していたスルー画像をフレーミング情報として記憶し、このフレーミング情報を用いて、本撮影画像の切り出しを行うことにより、最終的な画像を得る。
このように、本実施形態に係る撮像システムによれば、フレーミング情報としてスルー画像を逐次蓄積することなく、シャッターボタンが全押しされたときのスルー画像のみをフレーミング情報として記憶して画像の切り出しに用いるので、メモリ容量を削減することができる。また、シャッターボタンが全押しされたときの画像を撮影者の意図するフレーミングとみなすので、前実施の形態と比べ、撮影者の意図との時差が少しあるが、本撮影画像に比べれば十分撮影者の意図するフレーミングと近いので、少ないメモリ容量で効果を得ることができる。

なお、上述した実施形態では、画像処理装置３としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置３は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置３と同様の処理を実現させる。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１ 撮像システム
２ 撮像部
３ 画像処理装置
２５ 画像処理部
３４ 操作検出部
４３ 記録媒体
４６ 表示モニタ
２５１ フレーミング情報作成部
２５２ 第１の記憶部
２５３ フレーミング情報取得部
２５４ 第２の記憶部
２５６ トリミング部
２５７ リサイズ部
２５８ 処理部

Claims (5)

1. 撮影者の撮影操作を検出する撮影操作検出手段と、
   前記撮影者によって設定された撮影画角のスルー画像を表示する表示手段と、
   前記撮影操作に先立って前記スルー画像を取得するとともに、該撮影操作がされた場合に、前記撮影者の設定した撮影画角よりも広い撮影画角で本撮影画像を取得する撮像手段と、
   前記撮影操作がされた場合に、前記スルー画像に基づいて作成され、かつ、撮影操作時または撮影操作直前のフレーミングに関連する情報であるフレーミング情報を取得するフレーミング情報取得手段と、
   該フレーミング情報取得手段により取得されたフレーミング情報に基づいて、前記撮像手段により取得された本撮影画像をトリミングするトリミング手段と
   を具備し、
   前記トリミング手段は、前記フレーミング情報取得手段によって取得された該フレーミング情報に基づいて、前記本撮影画像上に切り取り領域を設定し、該切り取り領域に沿って該本撮影画像をトリミングし、
   前記フレーミング情報取得手段によって取得される該フレーミング情報は、前記撮影操作時または撮影操作直前に該表示手段に表示されていたスルー画像に関するフレーミング情報であり、
   前記フレーミング情報取得手段は、前記撮影者により設定された撮影画角で前記スルー画像を切り取ることにより、前記フレーミング情報を作成するフレーミング情報作成手段と、前記フレーミング情報作成手段によって作成された該フレーミング情報を記憶する記憶手段とを有し、
   前記フレーミング情報取得手段が、前記撮影操作のタイミングに基づいて前記記憶手段からいずれかのフレーミング情報を取得することを特徴とする撮像システム。
2. 前記フレーミング情報取得手段によって取得される該フレーミング情報は、前記撮影操作時または前記撮影操作直前に前記撮影者により設定された撮影画角にて取得されたスルー画像に関する情報であることを特徴とする請求項１に記載の撮像システム。
3. 前記トリミング手段は、前記フレーミング情報取得手段によって取得された画像としての前記フレーミング情報と前記本撮影画像とをマッチングし、類似度の最も高い領域に該フレーミング情報と同じ大きさの前記切り取り領域を設定することを特徴とする請求項１又は請求項２に記載の撮像システム。
4. 撮影者の撮影操作を検出する過程と、
   前記撮影者によって設定された撮影画角のスルー画像を表示する過程と、
   前記撮影操作に先立って前記スルー画像を取得するとともに、該撮影操作がされた場合に、前記撮影者の設定した撮影画角よりも広い撮影画角で本撮影画像を取得する過程と、
   前記撮影操作がされた場合に、前記スルー画像に基づいて作成され、かつ、撮影操作時または撮影操作直前のフレーミングに関連する情報であるフレーミング情報を取得する過程と、
   前記本撮影画像を該フレーミング情報に基づいてトリミングする過程とを具備し、
   前記トリミングする過程において、前記フレーミング情報を取得する過程において取得された該フレーミング情報に基づいて、前記本撮影画像上に切り取り領域を設定し、該切り取り領域に沿って該本撮影画像をトリミングし、
   前記フレーミング情報を取得する手段において取得される該フレーミング情報は、前記撮影操作時または撮影操作直前に該表示する過程で表示されていたスルー画像に関するフレーミング情報であり、
   前記フレーミング情報を取得する過程は、前記撮影者により設定された撮影画角で前記スルー画像を切り取ることにより、前記フレーミング情報を作成するフレーミング情報を作成する過程と、前記フレーミング情報を作成する過程によって作成された該フレーミング情報を記憶する過程とを有し、
   前記フレーミング情報を取得する過程が、前記撮影操作のタイミングに基づいて前記記憶する過程で記憶された前記フレーミング情報からいずれかのフレーミング情報を取得することを特徴とする画像処理方法。
5. 撮影者によって設定された撮影画角のスルー画像を表示する処理と、
   前記スルー画像を取得するとともに、撮影者の撮影操作がされた場合に、前記撮影者の設定した撮影画角よりも広い撮影画角で本撮影画像を取得する処理と、
   前記撮影操作がされた場合に、前記スルー画像に基づいて作成され、かつ、撮影操作時または撮影操作直前のフレーミングに関連する情報であるフレーミング情報を取得する処理と、
   前記本撮影画像を該フレーミング情報に基づいてトリミングする処理と、をコンピュータに実行させ、
   前記トリミングする処理において、前記フレーミング情報を取得する処理において取得された該フレーミング情報に基づいて、前記本撮影画像上に切り取り領域を設定し、該切り取り領域に沿って該本撮影画像をトリミングし、
   前記フレーミング情報を取得する処理において取得される該フレーミング情報は、前記撮影操作時または撮影操作直前に該表示する処理で表示されていたスルー画像に関するフレーミング情報であり、
   前記フレーミング情報を取得する処理において、前記撮影者により設定された撮影画角で前記スルー画像を切り取ることにより、前記フレーミング情報を作成するフレーミング情報を作成する処理と、前記フレーミング情報を作成する処理によって作成された該フレーミング情報を記憶する処理とをコンピュータに実行させ、
   前記フレーミング情報を取得する処理が、前記撮影操作のタイミングに基づいて前記記憶する処理で記憶された前記フレーミング情報からいずれかのフレーミング情報を取得することを特徴とする画像処理プログラム。

Images