JP6124676B2 - 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、アップグレード時のトライアル動作が可能な撮像装置に関する。

従来から、コンピューターネットワークを介して、撮像装置を含む種々の機器のアップグレードが行われている。また近年、ソフトウエア制御だけでなく、ハードウエアロジックで実現される信号処理についても、機能書き換え可能（再構成可能）なリコンフィギュラブル回路を用いてアップグレードを行うことが可能である。

特許文献１には、過去に撮影した際のシャッタスピードやホワイトバランスなどの撮影パラメータを撮影画像に関連付けて記憶し、後々の撮影時にその撮影パラメータを参照することにより、過去の撮影を容易に再現する構成が開示されている。また、過去の撮影時に用いた撮影パラメータを変更した場合に得られる画像をシミュレーションする構成が開示されている。また特許文献２には、プリンタ等の印刷機器において、補正画像処理前後の差分が顕著な画像領域を検出して拡大表示する構成が開示されている。

特開２００２−１５２５６７号公報 特開２００５−１２２６０１号公報

しかしながら、特許文献１は、ユーザが求めるアップグレードの効果確認にふさわしい撮影条件および撮影画像であるかに関わらず、単に過去の撮影画像に対して撮影パラメータを変更した場合のシミュレーション結果を提示するにすぎない。このため、ユーザが求めるアップグレードの効果を実際の撮影結果で体感できる保証はない。

また特許文献２は、補正画像処理前後の差分が顕著な領域があれば、前記領域を拡大してユーザに提示するに過ぎない。このため、アップグレード前後の差分が得られることの保証はなく、アップグレードの効果確認のための撮影を繰り返さなければならない可能性がある。

そこで本発明は、簡易な方法で確実にアップグレードの効果を確認可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、光学像を光電変換する撮像素子と、アップグレードに関する情報に基づいて再構成可能に構成され、前記撮像素子からの画像信号を処理する信号処理手段と、前記信号処理手段で処理された画像を表示する表示手段と、前記アップグレードに関する前記情報に基づいて撮影状況を判定する撮影状況判定手段と、前記アップグレードに関する前記情報に基づいて該アップグレードによる効果の度合いを判定する効果判定手段と、前記撮影状況判定手段および前記効果判定手段の判定結果に基づいて、前記アップグレードによる効果を強調するように前記表示手段を制御する制御手段とを有する。

本発明の他の側面としての撮像システムは、レンズ装置と、前記撮像装置を有する。

本発明の他の側面としての撮像装置の制御方法は、アップグレードに関する情報に基づいて再構成可能な信号処理手段を有する撮像装置の制御方法であって、画像を撮影するステップと、前記アップグレードに関する前記情報に基づいて撮影状況を判定するステップと、前記アップグレードに関する前記情報に基づいて該アップグレードによる効果の度合いを判定するステップと、前記撮影状況および前記効果の度合いの判定結果に基づいて、前記アップグレードによる効果を強調するように表示手段を制御するステップとを有する。

本発明の他の側面としてのプログラムは、前記撮像装置の制御方法をコンピュータに実行可能に構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを格納している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、簡易な方法で確実にアップグレードの効果を確認可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１におけるリコンフィギュラブル回路の構成図である。 実施例１における合成比率αと画素値ｘとの関係図である。 実施例１におけるトライアル動作のフローチャートである。 実施例１における撮影状況判定部による判定方法を示すフローチャートである。 実施例１における輝度のヒストグラムを示す図である。 実施例１における効果判定部による判定方法を示すフローチャートである。 実施例１における輝度のヒストグラムを示す図である。 実施例２におけるリコンフィギュラブル回路の構成図である。 実施例２におけるトライアル動作のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における撮像装置の構成について説明する。図１は、本実施例における撮像装置１００のブロック図である。図１において、１はレンズ（撮像光学系）である。本実施例において、レンズ１は撮像装置１００と一体的に構成されているが、これに限定されるものではない。本実施例は、撮像装置１００（撮像装置本体）と、撮像装置１００（撮像装置本体）に着脱可能なレンズ（レンズ装置）とを備えて構成される撮像システムにも適用可能である。

２は、ＣＣＤセンサやＣＭＯＳセンサを備えて構成される撮像素子である。撮像素子２は、レンズ１を介して被写体像（光学像）を光電変換する。３は、アップグレードに関する情報に基づいて再構成可能であって、撮像素子２からの画像信号を処理するリコンフィギュラブル回路（信号処理手段）である。アップグレードに関する情報の詳細については後述する。リコンフィギュラブル回路３は、撮像素子２からの画像信号に基づいて輝度信号および色差信号を生成する画像処理回路（内部回路）を含み、この内部回路が書き換え可能に構成されている（再構成可能である）。

４は、リコンフィギュラブル回路３とシステム制御部１３とのインタフェース部である。５は、画像データなどの各種データを記憶するメモリ（記憶手段）である。６は、撮像装置１００から取り外し可能な画像記録媒体である。７は記録読み出し部であり、記録媒体６にデータを記録し、また、記録媒体６に記録されたデータを読み出す。８はリコンフィギュラブル回路３からの輝度信号および色差信号をパネル等に表示する表示部（表示手段）である。すなわち表示部８は、リコンフィギュラブル回路３で処理された画像を表示する。

９は撮影状況判定部（撮影状況判定手段）である。撮影状況判定部９は、アップグレードに関する情報に基づいて撮影状況を判定する。１０は効果判定部（効果判定手段）である。効果判定部１０は、アップグレードに関する情報に基づいてアップグレードによる効果の度合い（程度）を判定する。１３はシステム制御部（制御手段）である。システム制御部１３は、撮像装置１００の全体を制御する。またシステム制御部１３は、後述のように、撮影状況判定部９および効果判定部１０の判定結果に基づいて、アップグレードの効果を強調するように表示部８を制御する。

１１はＲＯＭ（不揮発性メモリ）である。ＲＯＭ１１は、システム制御部１３で実行される制御方法を記述したプログラム、および、プログラムを実行する際に使用されるパラメータやテーブルなどの制御データを記憶している。１２はＲＡＭ（揮発性メモリ）である。ＲＡＭ１２は、システム制御部１３が撮像装置１００を制御する際に用いるため、ＲＯＭ１１に記憶されたプログラムおよび制御データを転送して記憶する。１４は、ＳＤカードやネットワークインタフェースなどの外部インタフェース部（外部インタフェース手段）である。外部インタフェース部１４は、例えば、アップグレードに関する情報を入力する。

続いて、撮像装置１００による撮影動作について説明する。撮影動作の前に、撮像装置１００の電源投入時などのシステム制御部１３の動作開始時において、必要なプログラム、制御データ、および、補正データがＲＯＭ１１からＲＡＭ１２に転送されて記憶される。これらのプログラムおよびデータは、システム制御部１３が撮像装置１００を制御する際に用いられる。必要に応じて、追加のプログラムやデータがＲＯＭ１１からＲＡＭ１２に転送される。またシステム制御部１３は、ＲＯＭ１１に記憶されたデータを直接に読み出して使用することも可能である。また、外部インタフェース部１４を介して取得されたリコンフィギュラブル回路３の回路データは、システム制御部１３およびインタフェース部４を介して、リコンフィギュラブル回路３に設定される。

撮影動作の際に、まず、レンズ１は、システム制御部１３からの制御信号に基づいて駆動され、適切な明るさに設定された被写体像（光学像）を撮像素子２に結像させる。撮像素子２は、システム制御部１３により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号（アナログ画像信号）に変換するとともに、Ａ／Ｄ変換器でデジタル化してデジタル画像信号を出力する。リコンフィギュラブル回路３は、インタフェース部４を介してシステム制御部１３により制御され、撮像素子２の出力である画像信号に対して各種補正、輝度色差変換、および、リサイズを施すことにより画像データを生成する。

メモリ５（画像メモリ）は、画像処理中または画像処理後の画像信号、記録読み出し部７やリコンフィギュラブル回路３からの画像信号、または、カメラパラメータや回路データを一時的に記憶する。記録読み出し部７は、システム制御部１３からの制御信号に基づいて、リコンフィギュラブル回路３からの輝度信号および色差信号を記録媒体６に記録する。また記録読み出し部７は、記録媒体６に記録された輝度信号および色差信号を読み出して表示部８またはリコンフィギュラブル回路３に出力することもできる。表示部８は、システム制御部１３からの制御信号に基づいて、リコンフィギュラブル回路３からの輝度信号および色差信号を表示し、また、記録読み出し部７からの輝度信号および色差信号を表示する。

システム制御部１３は、レンズ１、撮像素子２、リコンフィギュラブル回路３、記録読み出し部７、表示部８、撮影状況判定部９、および、効果判定部１０を制御する。各構成要素に必要な制御パラメータや各制御のためのプログラムなどに関する情報は、システム制御部１３に接続されたＲＯＭ１１やＲＡＭ１２から読み出される。

次に、図２を参照して、本実施例におけるリコンフィギュラブル回路３の構成について説明する。図２は、リコンフィギュラブル回路３の構成図である。リコンフィギュラブル回路３には、インタフェース部４を介してシステム制御部１３から回路データが入力される。リコンフィギュラブル回路３は、この回路データに基づいて、内部に有する複数の種類の多ビット演算を選択的に実行可能な算術論理回路（ＡＬＵ）を切り替えることにより、内部回路の書き替えが可能に構成されている。

本実施例において、リコンフィギュラブル回路３には、後述する同時化処理回路２００およびＹＣマトリクス処理回路２０１が元々設けられている。また、ハイダイナミックレンジ処理（ＨＤＲ処理）を行うため、画像合成回路２０２（画像合成手段）、ヒストグラム取得回路２０３（ヒストグラム取得手段）、および、これらの回路を動作させるプログラムなどを追加で設けている。画像合成回路２０２は、撮像素子２からの露出の異なる複数の画像信号を合成する。ヒストグラム取得回路２０３は、撮像素子２からの画像信号の全画面のヒストグラムおよび小領域ごとのヒストグラムを取得する。以下、このような状態でのトライアルについて説明する。また本実施例において、原色フィルタがベイヤー状に配置された撮像素子２を有する、単板撮像装置を例として説明する。ただし本実施例は、これに限定されるものではない。

撮像素子２の出力として、画素ごとに、撮像素子２の色フィルタに対応する色のデジタル画像データ（ＲＡＷデータ）がリコンフィギュラブル回路３に入力される。このＲＡＷデータの状態では、各画素位置に対して、ＲＧＢいずれかの色フィルタに対応する色の値しか持たない。このため、同時化処理回路２００は、入力されるＲＡＷデータに対して、ＲＧＢの画素に分離した後、全ての画素位置でＲＧＢの値を持つように補間演算を行う。

同時化処理回路２００において生成されるＲＧＢの画像信号は、ＹＣマトリクス処理回路２０１において、例えば以下の式（１）〜（３）のように表される演算により、輝度信号Ｙおよび色差信号ＣＲ、ＣＢに変換される。（図２中では、ＹＣＣと示される。）
Ｙ＝（９×Ｇ＋５×Ｒ＋２×Ｂ）／１６ …（１）
ＣＲ＝Ｒ−Ｙ …（２）
ＣＢ＝Ｂ−Ｙ …（３）
画像合成回路２０２は、メモリ５から読み出された、１フレーム前のＹＣマトリクス処理回路２０１からの出力画像と、現在のフレームのＹＣマトリクス処理回路２０１の出力画像とを合成する。メモリ５から読み出された１フレーム前のＹＣマトリクス処理回路２０１の出力画像と、現在のフレームのＹＣマトリクス処理回路２０１からの出力画像は、互いに露光量が異なる。このため、画像合成前に、露光量の差に応じたゲイン処理により、現在のフレームおよび１フレーム前の撮像素子２の出力画像のレベル調整を行い、記録読み出し部７および表示部８に出力する。

また、合成比率は、レベル調整後の画素値に応じて、合成比率が高いほど低露光画像の画素値の割合が高くなるように、例えば以下の式（４）のように表される演算を用いて生成される。

α＝ａ×（ｘ−ｔｈ） …（４）
式（４）において、αは合成比率、ｘは画素値である。また、ａは合成比率算出関数の傾き、ｔｈは合成比率関数の変化点である。図３は、合成比率αと画素値ｘとの関係図である。合成比率αは、画像合成に用いられるとともに、システム制御部１３を介して効果判定部１０に出力される。

ヒストグラム取得回路２０３は、ＹＣマトリクス処理回路２０１からの輝度信号を用いたヒストグラム、および、画像合成回路２０２からの輝度信号を用いた輝度のヒストグラムを生成し、システム制御部１３に出力する。ここで、ヒストグラム取得回路２０３は、画面全体のヒストグラムを取得する機能、および、画面を小区画に分割して小区画ごとのヒストグラムを取得する機能の両方を有する。

次に、図４を参照して、撮像装置１００によるトライアル動作について説明する。図４は、撮像装置１００によるトライアル動作のフローチャートである。図４の各ステップは、システム制御部１３の指令に基づいて主に撮影状況判定部９および効果判定部１０により実行される。

まず、ステップＳ３０１において、システム制御部１３はトライアルモードである否かを判定する。すなわちシステム制御部１３は、新旧比較表示処理を行うか否かをユーザに確認する。トライアルモードでない場合、ステップＳ３０２に進む。ステップＳ３０２において、システム制御部１３は、新たに追加したハイダイナミックレンジ処理（ＨＤＲ処理）を行うことなく、通常撮影を行う。このため、通常のセンサ制御を行い、ＨＤＲ処理をオフに設定して、シャッタボタンの押下などにより撮影を行う。また、リコンフィギュラブル回路３および記録読み出し部７を介して処理された画像を記録媒体６に記録する。続いてステップＳ３０３において、システム制御部１３は、記録媒体６に記録された画像を読み出し、表示部８に表示する。

一方、ステップＳ３０１にてトライアルモードである場合、ステップＳ３０４に進む。ステップＳ３０４では、トライアルのための所定の条件を満たした場合に実行されるＨＤＲ処理結果の表示用に、ＨＤＲ処理をオンに設定するとともに、センサ制御もＨＤＲ処理用の制御を行うように設定する。また、シャッタボタンの押下などにより撮影を行い、リコンフィギュラブル回路３および記録読み出し部７を介して処理された画像を記録媒体６に記録する。

続いてステップＳ３０５において、撮影状況判定部９は、アップグレードに関する情報に基づいて撮影状況を判定する。すなわち撮影状況がアップグレードの効果確認に適した撮影状況であるか否かを判定する。本実施例において、撮影状況判定部９は、ハイダイナミック撮影（ＨＤＲ撮影）に適した撮影状況であるか否かを判定する。これにより、ユーザが無闇にアップグレードの効果確認のための撮影を繰り返すことを回避することができる。

ここで、図５および図６を参照して、撮影状況判定部９のＨＤＲ撮影に適した撮影状況にあるか否かを判定する方法について説明する。図５は、撮影状況判定部９による判定方法を示すフローチャートである。図６は、輝度のヒストグラムを示す図である。図５の各ステップは、主に、システム制御部１３の指令に基づいて撮影状況判定部９により実行される。

まず、図５のステップＳ４０１において、撮影状況判定部９は、リコンフィギュラブル回路３のヒストグラム取得回路２０３からシステム制御部１３を介して、図６に示されるような画面全体の輝度のヒストグラムを取得する。このような画面全体の輝度のヒストグラムは、ＹＣマトリクス処理回路２０１からの輝度信号を用いて取得される。続いてステップＳ４０２において、撮影状況判定部９は、輝度のヒストグラムから、輝度レベルの領域ＲＥＳＡ（第１の領域）における頻度ＨＡ（第１の頻度）および領域ＲＥＳＢ（第２の領域）における頻度ＨＢ（第２の頻度）を算出する。領域ＲＥＳＡは低輝度の領域、領域ＲＥＳＢは高輝度の領域であり、領域ＲＥＳＢは少なくとも領域ＲＥＳＡよりも高輝度の領域である。

続いてステップＳ４０３において、撮影状況判定部９は、頻度ＨＡ、ＨＢと閾値ＳＴ（第１の閾値）とを用いて、例えば以下の式（５）で表される演算により評価値ＨＤＲＰ（ＨＤＲ評価値）を算出する。

ＨＤＲＰ＝（ＨＡ＋ＨＢ）−ＳＴ …（５）
評価値ＨＤＲＰが正の値である場合、全体的に明るい、全体的に暗い、または、明暗差が大きい場合が考えられる。このような場合、ＨＤＲ処理を行うほうが好ましい。すなわち撮影状況判定部９は、全画面のヒストグラムに基づいて、領域ＲＥＳＡ（第１の領域）における頻度ＨＡ（第１の頻度）および領域ＲＥＳＢ（第２の領域）における頻度ＨＢ（第２の頻度）の和と閾値ＳＴ（第１の閾値）とを比較する。そして撮影状況判定部９は、頻度ＨＡ、ＨＢの和（ＨＡ＋ＨＢ）が閾値ＳＴよりも大きい場合、撮影状況がハイダイナミックレンジ撮影（ＨＤＲ撮影）に適した撮影状況であると判定する。本実施例では、この判定を以下のステップに従って実行する。

ステップＳ４０４において、頻度ＨＡと所定の閾値ＳＴＡとを比較する。頻度ＨＡが閾値ＳＴＡよりも大きい場合、ステップＳ４０５に進む。一方、頻度ＨＡが閾値ＳＴＡ以下である場合、ステップＳ４０８に進む。ステップＳ４０５において、頻度ＨＢと所定の閾値ＳＴＢとを比較する。頻度ＨＢが閾値ＳＴＢよりも大きい場合、ステップＳ４０６に進む。一方、頻度ＨＢが閾値ＳＴＢ以下である場合、ステップＳ４０７に進む。ステップＳ４０８において、ステップＳ４０５と同様に、頻度ＨＢと所定の閾値ＳＴＢとを比較する。頻度ＨＢが閾値ＳＴＢよりも大きい場合、ステップＳ４０９に進む。一方、頻度ＨＢが閾値ＳＴＢ以下である場合、ステップＳ４１０に進む。

ステップＳ４０６において、頻度ＨＡ、ＨＢはそれぞれ閾値ＳＴＡ、ＳＴＢよりも大きいため、撮影状況判定部９は、この画像が明暗差の大きい画像であると判定する。したがって撮影状況判定部９は、この撮影状況がＨＤＲ撮影（ＨＤＲ処理）に適した撮影状況であると判定し、ＨＤＲ撮影（ＨＤＲ処理）を行うフラグをシステム制御部１３へ出力する。

ステップＳ４０７において、頻度ＨＡは閾値ＳＴＡよりも大きいが、頻度ＨＢは閾値ＳＴＢ以下であるため、撮影状況判定部９は、この画像が暗い領域が多い画像であると判定する。したがって撮影状況判定部９は、この撮影状況がＨＤＲ撮影に適した撮影状況であると判定し、ＨＤＲ撮影を行うフラグをシステム制御部１３へ出力する。

ステップＳ４０９において、頻度ＨＡは閾値ＳＴＡ以下であるが、頻度ＨＢは閾値ＳＴＢよりも大きいため、撮影状況判定部９は、この画像が明るい領域が多い画像であると判定する。したがって撮影状況判定部９は、この撮影状況がＨＤＲ撮影に適した撮影状況であると判定し、ＨＤＲ撮影を行うフラグをシステム制御部１３へ出力する。

ステップＳ４０８において、頻度ＨＡ、ＨＢはそれぞれ閾値ＳＴＡ、ＳＴＢ以下であるため、撮影状況判定部９は、この画像が適正な露光量の領域が多い画像であると判定する。したがって撮影状況判定部９は、この撮影状況がＨＤＲ撮影に適さない撮影状況であると判定し、ＨＤＲ撮影を行わないフラグ（通常撮影のフラグ）をシステム制御部１３へ出力する。

以上のように、図４のステップＳ３０５において、撮影状況判定部９はこの撮影状況がＨＤＲ撮影に適した撮影状況であるか否かを判定する。そして、この撮影状況がＨＤＲ撮影に適した撮影状況の場合、ステップＳ３０６に進む。一方、この撮影状況がＨＤＲ撮影に適さない状況の場合、ステップＳ３０３に進む。

ステップＳ３０６において、効果判定部１０は、アップグレードによる効果の度合いを判定する。すなわち効果判定部１０は、ユーザがＨＤＲ撮影の効果が確認できる程度のＨＤＲ撮影ができているか、すなわちＨＤＲ撮影の効果が確認可能であるか否かを判定する。

ここで、図７および図８を参照して、ユーザがＨＤＲ撮影の効果が確認できる程度のＨＤＲ撮影ができているか否かの判定方法（効果判定部１０による判定方法）について説明する。図７は、効果判定部１０による判定方法を示すフローチャートである。図８は、輝度のヒストグラムを示す図である。図７の各ステップは、主に、システム制御部１３の指令に基づいて効果判定部１０により実行される。本実施例において、ＨＤＲ撮影の効果がある撮影状況でも、ユーザが視認できる程度の効果でなければトライアルとしての目的を達成できないため、本判定を行うことがより好ましい。

まず、図７のステップＳ６０１において、効果判定部１０は、リコンフィギュラブル回路３のヒストグラム取得回路２０３からシステム制御部１３を介して、図８に示されるような小区画の輝度のヒストグラムを取得する。このような小区画の輝度のヒストグラムは、画像合成回路２０２からの輝度信号を用いて取得される。続いてステップＳ６０２において、効果判定部１０は、輝度のヒストグラムから、輝度レベルの領域ＲＥＳＡ’（第３の領域）における頻度ＨＡ’（第３の頻度）およびＲＥＳＢ’（第４の領域）における頻度ＨＢ’（第４の頻度）を算出する。領域ＲＥＳＡ’は低輝度の領域、領域ＲＥＳＢ’は高輝度の領域であり、領域ＲＥＳＢ’は少なくとも領域ＲＥＳＡ’よりも高輝度の領域である。

続いてステップＳ６０３において、効果判定部１０は、頻度ＨＡ’、ＨＢ’を用いて、例えば以下の式（６）で表される演算により評価値ＨＤＲＰ’（ＨＤＲ評価値）を算出する。

ＨＤＲＰ’＝（ＨＡ’＋ＨＢ’） …（６）
続いてステップＳ６０４において、効果判定部１０は、全区画の評価値ＨＤＲＰ’の生成が完了したか否かを判定する。全区画の評価値ＨＤＲＰ’の生成が完了している場合、ステップＳ６０６に進む。一方、全区画の評価値ＨＤＲＰ’の生成が完了していない場合、ステップＳ６０５に進む。ステップＳ６０５において、効果判定部１０は、評価値ＨＤＲＰ’の生成が完了していない区画へ処理を移し、ステップＳ６０２へ戻る。

続いてステップＳ６０６において、効果判定部１０は、各区画の評価値ＨＤＲＰ’（頻度ＨＡ’、ＨＢ’の和）と閾値ＳＴ’（第２の閾値）とを比較する。評価値ＨＤＲＰ’がＳＴ’より小さい区画が存在する場合、ステップＳ６０７に進む。すなわち効果判定部１０は、ヒストグラム取得回路２０３からの小領域ごとのヒストグラムに基づいて、頻度ＨＡ’、ＨＢ’の和（評価値ＨＤＲＰ’）と閾値ＳＴ’とを比較する。そして効果判定部１０は、頻度ＨＡ’、ＨＢ’の和が閾値ＳＴ’よりも小さい場合、ＨＤＲ処理の効果が確認可能であると判定する。一方、評価値ＨＤＲＰ’が閾値ＳＴ’より小さい区画が存在しない場合、ステップＳ６１０に進む。

続いてＳ６０７において、効果判定部１０は、システム制御部１３を介して取得された画像合成回路２０２からの合成比率のうち、評価値ＨＤＲＰ’が閾値ＳＴ’より小さい区画（領域）と同位置の合成比率を抜き出す。そして効果判定部１０は、例えば以下の式（７）のように表される演算で、高露光画像の画素値と低露光画像の画素値を混合せずに合成できた量を示す評価値ＣＯＭＰＶを算出（生成）する。

式（７）において、ｈは区画内の水平アドレス、ｖは区画内の垂直アドレス、α_ｈｖはアドレス（ｈ、ｖ）の合成比率である。

続いてステップＳ６０８において、効果判定部１０は、評価値ＣＯＭＰＶが所定の閾値ＣＭＴＨより大きいか否かを判定する。評価値ＣＯＭＰＶが閾値ＣＭＴＨよりも大きい場合、区画内（領域内）の合成比率が１．０または０．０に近く、高露光画像の画素値と低露光画像の画素値とを混合せずに合成できており、ＨＤＲ処理の効果が出ていることを示している。このため、ステップＳ６０９に進み、効果判定部１０は、高効果フラグおよび評価値ＣＯＭＰＶをシステム制御部１３へ出力する。

一方、評価値ＣＯＭＰＶが閾値ＣＭＴＨ以下である場合、区画内の合成比率が０．５に近く、高露光画像の画素値と低露光画像の画素値とを混合して合成しており、ＨＤＲ処理の効果が出ていないことを示している。このため、ステップＳ６１０に進み、効果判定部１０は、低効果フラグを立ててシステム制御部１３へ出力する。

以上のように、図４のステップＳ３０６において、効果判定部１０は、ユーザが効果を確認できる程度のＨＤＲ撮影（ＨＤＲ処理）ができているかを判定する。効果が確認できる場合にはステップＳ３０７に進む。一方、効果が確認できない場合にはステップＳ３０３に進む。ステップＳ３０７において、システム制御部１３は、効果判定部１０からの高効果フラグの中で、最も高い評価値ＣＯＭＰＶを有する区画（領域）を特定するとともに、その特定した区画が目立つようにパネル上（表示部８）に補助表示を出す（強調表示を行う）。すなわち効果判定部１０は、画像合成回路２０２により算出された合成比率に基づいて、効果が最も確認しやすいと評価される区画（領域）を算出する。そして表示部８は、効果が最も確認しやすいと評価される区画を強調して表示する。補助表示（強調表示）は、例えば、赤枠で囲む、矢印（印）で示す、または、その区画を拡大表示することにより行われる。これにより、ユーザは実際の撮影結果から簡便に効果を確認することができる。

本実施例によれば、ＨＤＲ撮影に適した撮影状況か否かを判定し、かつ、ユーザにより効果が確認可能であるか否かを判定する。これにより、無闇にアップグレードの効果確認のための撮影を繰り返さず、また、ユーザは実際の撮影結果で簡便に効果を確認することが可能となる。

次に、図９および図１０を参照して、本発明の実施例２について説明する。本実施例は、リコンフィギュラブル回路３ａの内部に被写体検出回路２０４および枠表示生成回路２０５が設けられており、枠表示生成回路２０５により生成された枠を表示部８へ出力するように構成されている点で、実施例１とは異なる。

図９は、本実施例におけるリコンフィギュラブル回路３ａの構成図である。リコンフィギュラブル回路３ａには、インタフェース部４を介してシステム制御部１３から回路データが入力される。リコンフィギュラブル回路３ａは、この回路データに基づいて、内部に有する複数の種類の多ビット演算を選択的に実行可能な算術論理回路（ＡＬＵ）を切り替えることにより、内部回路の書き替えが可能に構成されている。

本実施例において、リコンフィギュラブル回路３ａは、同時化処理回路２００、ＹＣマトリクス処理回路２０１、被写体検出回路２０４（被写体検出手段）、および、枠表示生成回路２０５（枠表示生成手段）を備えている。本実施例では、アップグレード処理により、パターンマッチング処理を行うためのデータベースの拡張、および、それらを動作させるプログラムなどの変更時のトライアル動作について説明する。

本実施例において、トライアル動作を行う被写体検出回路２０４、枠表示生成回路２０５、および、それらを動作させるプログラムなどを、例えば、外部インタフェース部１４を介してインターネット上から予め取得しているものとする。また本実施例において、原色フィルタがベイヤー状に配置された撮像素子２を有する、単板撮像装置を例として説明する。ただし本実施例は、これに限定されるものではない。

撮像素子２の出力として、画素ごとに、撮像素子２の色フィルタに対応する色のデジタル画像データ（ＲＡＷデータ）がリコンフィギュラブル回路３ａに入力される。このＲＡＷデータの状態では、各画素位置に対して、ＲＧＢいずれかの色フィルタに対応する色の値しか持たない。このため、同時化処理回路２００は、入力されるＲＡＷデータに対して、ＲＧＢの画素に分離した後、全ての画素位置でＲＧＢの値を持つように補間演算を行う。

同時化処理回路２００において生成されるＲＧＢの画像信号は、ＹＣマトリクス処理回路２０１において、例えば前述の式（１）〜（３）のように表される演算により、輝度信号Ｙおよび色差信号ＣＲ、ＣＢに変換される（図９中では、ＹＣＣと示される。）。

ＹＣマトリクス処理回路２０１の出力信号は、記録読み出し部７、被写体検出回路２０４、枠表示生成回路２０５、および、メモリ５へ出力される。被写体検出回路２０４は、ＹＣマトリクス処理回路２０１またはメモリ５からの出力信号（画像信号）のいずれか一方を選択して、被写体検出処理を行う。被写体検出回路２０４は、予め保存されたデータベースと、ＹＣマトリクス処理回路２０１の出力画像とのパターンマッチング処理を行う。これにより被写体検出回路２０４は、複数の被写体を検出し、検出された被写体の座標位置および大きさを示す信号（検出結果）を出力する。被写体検出処理をアップグレードさせた場合、パターンマッチング処理を行うためのデータベースが拡張され、更に多くの種類の被写体が検出可能となる。

アップグレードのトライアル動作を行う場合、被写体検出回路２０４の出力信号として、検出された被写体の座標位置および大きさを示す信号に加えて、拡張されたデータベースを使用したか否かを示す信号も併せて出力する。また被写体検出回路２０４は、被写体が検出されたか否かを判定する信号を、システム制御部１３を介して撮影状況判定部９および効果判定部１０に出力する。

枠表示生成回路２０５は、ＹＣマトリクス処理回路２０１の出力画像および被写体検出回路２０４の出力信号に基づいて、表示用画像に対して被写体検出枠を重畳し、表示部８に出力する。通常動作の場合、被写体検出回路２０４の出力信号である、検出された被写体の座標位置および大きさの情報（信号）を用いて、ＹＣマトリクス処理回路２０１の出力画像に対して被写体が検出されたことを示す枠の表示を重畳し、表示部８に出力する。一方、トライアル動作の場合、被写体検出回路２０４は、検出された被写体の座標位置および大きさの情報（信号）に加えて、拡張されたデータベースを使用したか否かを示す信号も出力する。拡張されたデータベースを使用している場合、通常の枠の表示とは別の色の設定で、枠の表示を重畳して表示部８に出力する。なお、枠の色を変えるのは一例であり、枠付近にメッセージを表示するなどして、拡張前のデータベースを使用して検出された被写体と区別がつく表示方法になっていればよい。

次に、図１０を参照して、本実施例における撮像装置１００によるトライアル動作について説明する。図１０は、本実施例におけるトライアル動作のフローチャートである。図１０の各ステップは、システム制御部１３の指令に基づいて主に撮影状況判定部９および効果判定部１０により実行される。

まず、ステップＳ７０１において、通常の撮影動作を行い、撮像素子２から取得された画像信号は同時化処理回路２００で同時化され、ＹＣマトリクス処理回路２０１でＹＣＣの画像信号に変換されて出力される。続いてステップＳ７０２において、システム制御部１３は、ユーザがトライアル動作を行う設定（トライアルモード）に設定しているか否かを判定し、動作の切り分けを行う。ステップＳ７０２にてトライアルモードに設定されていない場合、ステップＳ７０３に進む。ステップＳ７０３において、枠表示生成回路２０５は、通常の被写体検出枠の表示をＹＣマトリクス処理回路２０１からの出力画像に重畳し、表示部８に表示用画像として出力する。そして、本処理は終了する。

一方、ステップＳ７０２にてトライアルモードに設定されている場合、ステップＳ７０４に進み、アップグレードした効果を確認するための処理を行う。ステップＳ７０４において、被写体検出回路２０４は、画像信号に基づいて被写体が検出されたか否を判定する。被写体検出回路２０４の判定結果は、撮影状況判定部９に出力される。撮影状況判定部９は、被写体検出回路２０４により被写体が検出された場合、撮影状況がアップグレードの効果確認に適する撮影状況であると判定する。

ステップＳ７０４にて被写体が検出されない場合、アップグレードした効果を確認することはできないため、ステップＳ７０３に進む。ステップＳ７０３において、枠表示生成回路２０５は、通常の被写体検出枠の表示をＹＣマトリクス処理回路２０１からの出力画像（画像信号）に重畳して、表示部８に表示用画像として出力する。そして、本処理は終了する。

一方、ステップＳ７０４にて被写体が検出された場合、ステップＳ７０５に進む。ステップＳ７０５において、被写体検出回路２０４は、被写体検出時に使用したデータベースが、アップグレード前後のいずれのデータベースであるかを示す信号を効果判定部１０に出力する。そして効果判定部１０は、アップグレードの効果がでているか否かを示す制御信号を出力し、処理を切り替える。アップグレード後のデータベース（新データベース）を使用していない場合、アップグレード前と効果は変わらない。このためステップＳ７０３に進み、枠表示生成回路２０５は、通常の被写体検出枠の表示をＹＣマトリクス処理回路２０１からの出力画像に重畳して、表示部８に表示用画像として出力する。そして、本処理は終了する。

一方、アップグレード後のデータベース（新データベース）を使用している場合、アップグレード前との効果の差が生じるため、ステップＳ７０６に進む。ステップＳ７０６において、システム制御部１３は、新データベースにより検出された被写体の枠表示の色を変更するように、枠表示生成回路２０５を制御する。すなわち枠表示生成回路２０５は、新データベースを使用して検出された被写体については、アップグレード前のデータベースを使用して検出された被写体とは別色の枠を表示する。なお本実施例は、別色の枠を表示することにより強調表示を行っているが、これに限定されるものではなく、他の方法で強調表示を行ってもよい。

このように本実施例において、効果判定部１０は、被写体検出回路２０４がアップグレードによる新しいデータベースを使用して被写体を検出したか否かにより、アップグレードによる効果の度合いを判定する。そして表示部８は、効果判定部１０の判定結果に基づいて、被写体の位置を強調して表示する。

本実施例によれば、被写体検出の結果および新データベースの使用有無に応じて強調表示を行うことにより、無闇にアップグレードの効果確認のための撮影を繰り返す必要はない。これにより、ユーザは、実際の撮影結果で簡便に効果を確認することができる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウエアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

各実施例によれば、撮影状況およびアップグレードの効果の度合いに応じてアップグレードの効果を強調表示させることができる。このため各実施例によれば、簡易な方法で確実にアップグレードの効果を確認可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２ 撮像素子
３ リコンフィギュラブル回路部
８ 表示部
９ 撮影状況判定部
１０ 効果判定部
１３ システム制御部
１００ 撮像装置

Claims (16)

1. 光学像を光電変換する撮像素子と、
   アップグレードに関する情報に基づいて再構成可能に構成され、前記撮像素子からの画像信号を処理する信号処理手段と、
   前記信号処理手段で処理された画像を表示する表示手段と、
   前記アップグレードに関する前記情報に基づいて撮影状況を判定する撮影状況判定手段と、
   前記アップグレードに関する前記情報に基づいて該アップグレードによる効果の度合いを判定する効果判定手段と、
   前記撮影状況判定手段および前記効果判定手段の判定結果に基づいて、前記アップグレードによる効果を強調するように前記表示手段を制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記撮影状況判定手段は、前記撮影状況が前記アップグレードの効果確認に適した撮影状況であるか否かを判定し、
   前記効果判定手段は、前記アップグレードによる効果を確認可能であるか否かを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記アップグレードに関する前記情報は、ハイダイナミックレンジ処理に関する情報であり、
   前記信号処理手段は、
   前記撮像素子からの前記画像信号の全画面のヒストグラムおよび小領域ごとのヒストグラムを取得するヒストグラム取得手段と、
   前記撮像素子からの露出の異なる複数の画像信号を合成する画像合成手段と、を有し、
   前記撮影状況判定手段は、前記撮影状況がハイダイナミックレンジ処理に適した撮影状況であるか否かを判定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮影状況判定手段は、前記ヒストグラム取得手段からの前記全画面のヒストグラムに基づいて、第１の領域における第１の頻度および該第１の領域よりも高輝度の第２の領域における第２の頻度の和と第１の閾値とを比較し、該第１の頻度および該第２の頻度の和が該第１の閾値よりも大きい場合、前記撮影状況が前記ハイダイナミックレンジ処理に適した撮影状況であると判定することを特徴とする請求項３に記載の撮像装置。
5. 前記効果判定手段は、前記ハイダイナミックレンジ処理の効果が確認可能であるか否かを判定することを特徴とする請求項３または４に記載の撮像装置。
6. 前記効果判定手段は、前記ヒストグラム取得手段からの前記小領域ごとのヒストグラムに基づいて、第３の領域における第３の頻度および該第３の領域よりも高輝度の第４の領域における第４の頻度の和と第２の閾値とを比較し、該第３の頻度および該第４の頻度の和が該第２の閾値よりも小さい場合、前記ハイダイナミックレンジ処理の効果が確認可能であると判定する、ことを特徴とする請求項５に記載の撮像装置。
7. 前記効果判定手段は、前記画像合成手段により算出された合成比率に基づいて、前記効果が最も確認しやすいと評価される領域を算出し、
   前記表示手段は、前記効果が最も確認しやすいと評価される前記領域を強調して表示することを特徴とする請求項６に記載の撮像装置。
8. 前記アップグレードに関する前記情報は、被写体の検出に関するデータベースであり、
   前記信号処理手段は、
   前記画像信号に基づいて前記被写体を検出する被写体検出手段と、
   前記被写体検出手段の検出結果に基づいて、前記画像信号に対して被写体検出枠を重畳させる枠表示生成手段と、を有し、
   前記撮影状況判定手段は、前記被写体検出手段により前記被写体が検出された場合、前記撮影状況が前記アップグレードの効果確認に適する撮影状況であると判定することを特徴とする請求項１または２に記載の撮像装置。
9. 前記効果判定手段は、前記被写体検出手段が前記アップグレードによる新しいデータベースを使用して前記被写体を検出したか否かにより、該アップグレードによる効果の度合いを判定することを特徴とする請求項８に記載の撮像装置。
10. 前記表示手段は、前記効果判定手段の判定結果に基づいて、前記被写体の位置を強調して表示することを特徴とする請求項８または９に記載の撮像装置。
11. 前記アップグレードに関する前記情報を入力する外部インタフェース手段を更に有し、
    前記制御手段は、前記外部インタフェース手段を介して入力された前記情報に基づいて、前記信号処理手段の回路を再構成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記表示手段は、前記画像の一部の領域を切り出す、該領域を拡大する、該領域に印を重畳する、または、該領域に枠を重畳することにより、前記アップグレードの効果を強調することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. レンズ装置と、
    請求項１乃至１２のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
14. アップグレードに関する情報に基づいて再構成可能な信号処理手段を有する撮像装置の制御方法であって、
    画像を撮影するステップと、
    前記アップグレードに関する前記情報に基づいて撮影状況を判定するステップと、
    前記アップグレードに関する前記情報に基づいて該アップグレードによる効果の度合いを判定するステップと、
    前記撮影状況および前記効果の度合いの判定結果に基づいて、前記アップグレードによる効果を強調するように表示手段を制御するステップと、を有することを特徴とする撮像装置の制御方法。
15. 請求項１４に記載の撮像装置の制御方法をコンピュータに実行可能に構成されていることを特徴とするプログラム。
16. 請求項１５に記載のプログラムを格納していることを特徴とする記憶媒体。