JP6115024B2 - 撮像装置及び撮像処理方法並びにプログラム - Google Patents

Description

本発明は、被写体を撮影する撮像手段を備えた撮像装置及び撮像処理方法並びにプログラムに関する。

従来、プロジェクタによりホワイトボード上に映像を投影している状態において、そのホワイトボード上に文字などを手書きしながら会議やプレゼンテーションを行っている場合に、その手書き文字などを記録保存するためにホワイトボードを撮像装置によって撮影しながら会議やプレゼンテーションを進行することがあるが、このような場合の技術としては、例えば、特許文献１などが知られている。

特開２００４−２３９９６７号公報

しかしながら、撮像装置によってホワイトボードを撮影する技術においては、屋内照明などの光源の写り込みによりホワイトボード上でその写し込み部分が真っ白に塗りつぶされたような白飛び現象が発生し、ホワイトボード上に手書きされた文字などがその白飛び領域によって見難くなってしまうことがある。このような場合に撮像装置側では、例えば、露出補正、絞り調整、撮影位置の変更などで対処するようにしているが、照明などの撮影環境によっては白飛び現象を完全に無くすことができない場合がある。

本発明の課題は、撮影画像内に白飛び現象が発生したとしてもその影響を受けない良質な撮影画像を容易に得ることができるようにすることである。

上述した課題を解決するために本発明の撮像装置は、
被写体を撮影する撮像手段を備えた撮像装置であって、
前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する取得手段と、
前記取得手段により取得された第１及び第２の撮影画像内のうちの少なくともいずれか一方から白飛び領域を検出する検出手段と、
前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する指定手段と、
前記指定手段により指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する合成手段と、
を備え、
前記取得手段は、前記第１の撮影画像をユーザによる撮影指示操作に応じて取得した後に、前記第２の撮影画像を自動で取得する、
ようにしたことを特徴とする撮像装置である。

上述した課題を解決するために本発明の撮像装置は、
被写体を撮影する撮像手段を備えた撮像装置であって、
前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する取得手段と、
前記取得手段により取得された第１及び第２の撮影画像内の白飛び領域をそれぞれ検出する検出手段と、
前記検出手段により検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する判別手段と、
前記判別手段により略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する指定手段と、
前記指定手段により指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する合成手段と、
前記取得手段により取得された第１及び第２の撮影画像の位置合わせを行う位置合わせ
手段と、
を備え、
前記判別手段は、前記位置合わせ手段による位置合わせを行った後に、第１及び第２の
撮影画像内の白飛び領域が略同一位置であるか否かを判別し、
前記位置合わせ手段は、前記撮像手段によりホワイトボードが被写体として撮影された
場合に、ホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行い、
前記位置合わせ手段は、前記第１及び第２の撮影画像の位置合わせを行う場合に、その
位置合わせが可能な画角であるか否かを判別し、
前記位置合わせ手段により位置合わせが不可能な画角であると判別された場合に、撮影
位置の変更を促す報知を行う第二の報知手段を更に備える、
ようにしたことを特徴とする撮像装置である。

上述した課題を解決するために本発明の撮像処理方法は、
被写体を撮影する撮像手段を備える撮像装置で実行される撮像処理方法であって、
前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する処理と、
前記取得された第１及び第２の撮影画像内のうちの少なくともいずれか一方から白飛び領域を検出する処理と、
前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する処理と、
前記指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する処理と、
を含み、
前記第１の撮影画像をユーザによる撮影指示操作に応じて取得した後に、前記第２の撮影画像を自動で取得する、
ようにしたことを特徴とする撮像処理方法である。

上述した課題を解決するために本発明のプログラムは、
被写体を撮影する撮像手段を備える撮像装置を制御するコンピュータに対して、
前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する機能と、
前記取得された第１及び第２の撮影画像内のうちの少なくともいずれか一方から白飛び領域を検出する機能と、
前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する機能と、
前記指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する機能と、
を実現させ、
前記第１の撮影画像をユーザによる撮影指示操作に応じて取得した後に、前記第２の撮影画像を自動で取得する、
ようにしたことを特徴とするプログラムである。

本発明によれば、撮影画像内に白飛び現象が発生したとしてもその影響を受けない良質な撮影画像を容易に得ることができ、信頼性の高いものとなる。

撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 （１）は、ホワイトボードをその斜め正面から撮影した場合の撮影画像を示し、（２）は、（１）の撮影画像からホワイトボードの画像部分のみを切り出した状態の画像を示した図。 ホワイトボードを撮影した撮影画像のヒストグラムを示した図。 （１）〜（４）は、本実施形態の特徴を概念的に説明するための図。 ホワイトボードの撮影に適した条件下で撮影が可能なＷＢ（ホワイトボード）撮影モードに切り替えられた場合の動作を説明するためのフローチャート。 図５の動作に続くフローチャート。 （１）〜（６）は、本実施形態の特徴を具体的に説明するための図。 撮影者への案内表示を例示した図。

以下、図１〜図８を参照して本発明の実施形態を説明する。
本実施形態は、撮像装置としてデジタルカメラに適用した場合を例示したもので、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。
撮像装置（デジタルカメラ）は、撮影者が携帯して撮影するコンパクトカメラであり、静止画像のほかに動画像の撮影も可能なデジタルスチルカメラやデジタルビデオカメラで、撮像機能、計時機能などの基本的な機能のほか、撮影画像内に白飛び現象が発生したとしてもその影響を受けない良質な撮影画像を得ることが可能な白飛び防止機能を備えている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３ａと、このカメラが動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ３ｂなどを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部４は、図示省略したが、押しボタン式のキーとして、撮影可能な状態とする撮影モード（例えば、ホワイトボードの撮影モード、風景の撮影モードなど）と撮影済み画像（保存画像を再生する再生モードを切り替えるモード変更キーを備えているほか、撮影開始を指示するレリーズキー、露出やシャッタスピードなどの撮影条件の設定操作などを行うための各種のキー（図示省略）を備え、制御部１は、この操作部４から操作キーに対応して出力される入力操作信号に応じて、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。表示部５は、例えば、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、撮影画像（ライブビュー画像）を表示するモニタ画面となったり、撮影済み画像を再生する再生画面となったりする。

撮像部６は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部６は、静止画像のほかに動画像の撮影も可能なもので、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部５にフルカラー表示される。また、本実施形態においては、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。

図２（１）は、ホワイトボードをその斜め正面から撮影した場合の撮影画像を示し、図２（２）は、図２（１）の撮影画像からホワイトボードの画像部分のみを切り出して台形歪を補正した状態の画像を示した図である。図２（１）及び（２）において、図中、丸印は、屋内照明などの光源の写り込みによりホワイトボード上でその写し込み部分が真っ白に塗りつぶされたような白飛び現象が発生した領域（白飛び領域）を示している。

図３は、ホワイトボードを撮影した撮影画像のヒストグラムを示した図である。
制御部１は、ホワイトボードの素の色をヒストグラムで検出すると共に、このホワイトボードの素の色よりも明るい領域を白飛び領域として検出するようにしている。図中、横軸を輝度、縦軸をピクセル数としたヒストグラムにおいて、輝度“１２８”寄りの区間Ａは、ホワイトボードの素の平均的な色領域を示し、輝度“１９２”寄りの区間Ｂは、白飛び領域の可能性が高い領域を示している。

図４は、本実施形態の特徴を概念的に説明するための図で、ホワイトボードを撮影した撮影画像内に白飛び現象が発生したとしても複数回撮影した各撮影画像を合成することによってその現象による影響を受けない良好な撮影画像を取得する場合の処理過程を説明するための図である。
図４（１）は、ホワイトボードを被写体としてレリーズ操作により１枚目の撮影を行う場合を示し、撮像装置（デジタルカメラ）の位置（撮影位置）がホワイトボードの横幅に対してその略中央部分である場合を示している。図４（２）は、図４（１）の位置で撮影した１枚目の撮影画像（第１の撮影画像）を示し、図中、実線の丸印は、ホワイトボード上の白飛び領域（撮影時の白飛び領域）を示している。

図４（３）は、１枚目の撮影の後に撮影位置を変更して撮影する場合を示し、撮影位置がホワイトボードの横幅に対してやや右寄りの場合を示している。図４（４）は、図４（３）の位置で撮影した２枚目の撮影画像（第２の撮影画像）を示し、図中、破線の丸印は、１枚目の撮影時に存在していた白飛び領域（仮想的な領域）を示している。ここで、１枚目の撮影画像内の白飛び領域と２枚目の撮影画像内の白飛び領域の位置は、その撮影位置のずれに応じて異なっている。

このように１枚目の撮影画像内の白飛び領域と２枚目の撮影画像内の白飛び領域の位置がそれぞれ異なっている状態において、制御部１は、１枚目の撮影画像を基本画像とし、２枚目の撮影画像を合成用画像として、この１枚目の撮影画像（基本画像）に２枚目の撮影画像（合成用画像）を合成することにより白飛び領域の無い撮影画像を得るようにしている。すなわち、制御部１は、基本画像内の白飛び領域を修正対象の領域として指定すると共に、合成用画像内において修正対象領域に相当する位置の領域を抽出対象の領域として指定した後、この合成用画像内の抽出対象領域から抽出した画像部分を基本画像内の修正対象領域に合成するようにしている。

次に、本実施形態における撮像装置の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５及び図６は、撮像装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図５及び図６は、ホワイトボードの撮影に適した条件下で撮影が可能なＷＢ（ホワイトボード）撮影モードに切り替えられた場合の動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。以下、図７に示す具体例を参照して本実施形態の特徴的な動作を説明するものとする。
先ず、制御部１は、ＷＢ（ホワイトボード）撮影モードに切り替えられると、その撮影に適した撮影条件（露出や絞り）に設定する処理（図５のステップＳ１）を行った後、レリーズキーの操作待ち状態となる（ステップＳ２）。この状態においてレリーズキーが操作されると（ステップＳ２でＹＥＳ）、ＷＢ（ホワイトボード）を被写体として撮像部６により撮影された撮影画像を基本画像（第１の撮影画像）としてキャプチャする（ステップＳ３）。

そして、基本画像（第１の撮影画像）に対するホワイトボードの特徴検出として、そのホワイトボードの輪郭などを検出するハフ変換を行うと共に、それを平行移動したり、回転したり、台形歪を補正したりして正面向きの画像とするアフィン変換を行う（ステップＳ４）。次に、この変換後の基本画像を解析することによって白飛び領域を検出する（ステップＳ５）。この場合、図３に示すようなヒストグラムを参照することにより、ホワイトボードの素の色をヒストグラムで検出すると共に、このホワイトボードの素の色よりも明るい領域を白飛び領域として検出する。その際、白飛び現象が発生している領域をそのまま白飛び領域として検出するようにしてもよいが、白飛び現象が発生している領域よりも一回り大きな領域を白飛び領域として検出するようにしてもよい。

図７（１）は、ホワイトボードを被写体として、レリーズ操作による撮影を行った場合を示し、撮像装置の位置（撮影位置）がホワイトボードの横幅に対してその略中央部分である場合で、その撮影位置でレリーズ操作が行われると、制御部１は、その撮影画像をキャプチャする。図７（２）は、図７（１）の撮影位置でレリーズ操作による撮影が行われた場合にその撮影に応じてキャプチャした画像を示し、この画像は基本画像（第１の撮影画像）としてキャプチャする。図中、実線の丸印は、ホワイトボード上の白飛び領域（撮影時の白飛び領域）を示し、図示の例では、ホワイトボード上に二つの白飛び領域Ｗ１１、Ｗ１２が存在している場合である。

この状態において、撮像部６からの画像をライブビュー画像として表示部５にライブビュー表示させると共に（ステップＳ６）、このライブビュー画像を合成用画像の候補画像として、この候補画像（ライブビュー画像）に対してハフ変換及びアフィン変換を行う（ステップＳ７）。そして、この候補画像と基本画像との位置合わせを行う（ステップＳ８）。この場合、各画像内のホワイトボードの輪郭を検出し、この輪郭に基づいて各画像の形状、大きさ、及び位置合わせを行って、形状、大きさ、及び位置合わせが可能であるかを調べる（ステップＳ９）。ここで、候補画像内のホワイトボードが画角内に収まっていない場合には、候補画像と基本画像との位置合わせが不可能となるので（ステップＳ９でＮＯ）、撮影位置の変更を促す報知として、形状、大きさ、及び位置合わせが可能な画角となる方向を示す矢印図形を表示部５に表示させる（ステップＳ１０）。

図８は、撮影者への案内表示を例示した図で、位置合わせが可能な画角となる方向をライブビュー画面内に表示させた場合を示している。図示の例は、右側に向いた矢印図形を表示させた場合であり、右側方法に画角を移動させなければ、画角内にホワイトボードの全体が収まらないことを示している。そして、撮像部６からのライブビュー画像（候補画像）を更新（ステップＳ１１）した後、上述のステップＳ６に戻り、そのライブビュー画像を表示部５に表示させる。以下、候補画像と基本画像との位置合わせを行いながら位置合わせが可能となるまで上述の動作を繰り返す。その結果、位置合わせが可能となったときには（ステップＳ９でＹＥＳ）、図６のフローに移る。

先ず、制御部１は、上述のハフ変換及びアフィン変換後の候補画像を解析することによって白飛び領域を検出する（ステップＳ１２）。この場合においてもホワイトボードの素の色をヒストグラムで検出すると共に、このホワイトボードの素の色よりも明るい領域を白飛び領域として検出する。そして、基本画像内の白飛び領域を処理対象として指定するが（ステップＳ１３）、いま、基本画像内には複数の白飛び領域Ｗ１１、Ｗ１２が存在しているので、最初はその一つとして白飛び領域Ｗ１１が処理対象として指定される。次に、基本画像と候補画像とを重ね合わせたものとすると、その基本画像内の白飛び領域と候補画像の白飛び領域とが一致して両者が重なっているかを調べる（ステップＳ１４）。

ここで、基本画像と候補画像の白飛び領域が一致して両者が重なっているとは、完全一致に限らず、略一致（略同一位置）を意味している。すなわち、白飛び領域の検出時に、白飛び現象が発生している領域よりも一回り大きな領域（白飛びが発生していない周囲の領域も含めた領域）を白飛び領域として検出した場合には、基本画像と候補画像の白飛び領域が完全に一致している場合に限らず、両者が略一致（略同一位置）であってもよいので、略一致（略同一位置）を意味している。

いま、基本画像と候補画像の白飛び領域が一致して両者が重なっているときには（ステップＳ１４でＮＯ）、撮影者に対して撮影位置の変更を促す報知として所定のメッセージを表示部５に表示させる（ステップＳ１５）。そして、撮像部６からのライブビュー画像（候補画像）を更新する（ステップＳ１６）。そして、図５のステップＳ６に戻り、そのライブビュー画像を表示部５に表示させた後、以下、上述と同様の動作を行う。その結果、基本画像と候補画像の白飛び領域の位置がずれて両者が重ならない状態になったときには（図６のステップＳ１４でＹＥＳ）、そのときのライブビュー画像（候補画像）を合成用画像（第２の撮影画像）として自動的にキャプチャする（ステップＳ１７）。

図７（３）は、ライブビュー画像（候補画像）が合成用画像として自動的にキャプチャされる場合のタイミングを示し、撮影位置が基本画像内の白飛び領域と候補画像内の白飛び領域が重ならない状態となったときのライブビュー画像が合成用画像として自動的にキャプチャされる。図示の例では、撮影位置が図７（１）の場合よりもホワイトボードに対して右寄りとなった場合にライブビュー画像が合成用画像としてキャプチャされることを示している。図中、Ｗ２１、Ｗ２２は、基本画像内の二つの白飛び領域Ｗ１２、Ｗ１２に対応する候補画像内の白飛び領域を示している。

図示のタイミングでは、基本画像内の白飛び領域Ｗ１１とそれに対応する候補画像内の白飛び領域Ｗ２１とは重ならない状態となったが、基本画像内の白飛び領域Ｗ１２とそれに対応する候補画像内の白飛び領域Ｗ２２とはその一部が重なったままの状態となっている。いま、基本画像内の白飛び領域Ｗ１１が処理対象として指定されているので、図７（３）に示すように基本画像内の白飛び領域Ｗ１１とそれに対応する候補画像内の白飛び領域Ｗ２１とが重ならない状態となったときの候補画像（ライブビュー画像）が合成用画像（第２の撮影画像）としてキャプチャされる。図７（４）は、これによってキャプチャされた合成用画像（第２の撮影画像）を示している。

このようにして合成用画像（第２の撮影画像）をキャプチャした後は、この基本画像内の白飛び領域を修正対象の領域として指定すると共に、合成用画像内において修正対象領域に相当する位置の領域を抽出対象の領域として指定する（ステップＳ１８）。いま、基本画像内の白飛び領域Ｗ１１が処理対象として指定されているので、図７（２）に示すように基本画像内の白飛び領域Ｗ１１を修正対象の領域Ｒ１１として指定すると共に、図７（４）に示すように合成用画像内において修正対象領域Ｒ１１（Ｗ１１）に相当する位置の領域を抽出対象の領域Ｅ１１として指定する。そして、この合成用画像内の抽出対象領域Ｅ１１から抽出した画像部分を基本画像内の修正対象領域Ｒ１１に合成する（ステップＳ１９）。この場合、修正対象領域Ｒ１１の内容を抽出対象領域Ｅ１１の内容に置き換えることにより画像合成を行うようにしているが、その合成処理の仕方は、これに限らず任意である。

これによって一つの白飛び領域に対する処理が終わると、次にステップＳ２０に移り、基本画像内に未処理の白飛び領域が残っているかを調べるが、いま、複数の白飛び領域Ｗ１１、Ｗ１２のうち、その一つの白飛び領域Ｗ１１に対してのみ合成処理を行った場合で、未処理として白飛び領域Ｗ１２が残っているので（ステップＳ２０でＹＥＳ）、撮像部６からのライブビュー画像（合成用の候補画像）を更新（ステップＳ１６）した後、図５のステップＳ６に戻り、そのライブビュー画像を表示部５に表示させ、以下、上述と同様の動作を行う。その結果、基本画像内に白飛び領域Ｗ１２が処理対象として指定されると共に（ステップＳ１３）、基本画像内の白飛び領域とそれに対応する候補画像内の白飛び領域の位置がずれて両者が重ならない状態になったときには（ステップＳ１４でＹＥＳ）、そのときのライブビュー画像（候補画像）を合成用画像（第２の撮影画像）として自動的にキャプチャする（ステップＳ１７）。

図７（５）は、ライブビュー画像（候補画像）が合成用画像として自動的にキャプチャされる場合のタイミングを示し、図示の例では、撮影位置が図７（３）の場合よりもホワイトボードに対して更に右寄りとなった場合に、そのときのライブビュー画像が合成用画像としてキャプチャされる。図中、Ｗ３１、Ｗ３２は、基本画像内の二つの白飛び領域Ｗ１２、Ｗ１２に対応する候補画像内の白飛び領域を示している。いま、基本画像内の白飛び領域Ｗ１２が処理対象として指定されているので、図７（５）に示すように基本画像内の白飛び領域Ｗ１２とそれに対応する候補画像内の白飛び領域Ｗ３２とが重ならない状態となったときの候補画像（ライブビュー画像）が合成用画像（第２の撮影画像）としてキャプチャされる。図７（６）は、これによってキャプチャされた合成用画像（第２の撮影画像）を示している。

次に、基本画像内の白飛び領域を修正対象の領域として指定すると共に、合成用画像内において修正対象領域に相当する位置の領域を抽出対象の領域として指定する（ステップＳ１８）。いま、基本画像内の白飛び領域Ｗ１２が処理対象として指定されているので、図７（２）に示すように基本画像内の白飛び領域Ｗ１２を修正対象の領域Ｒ１２として指定すると共に、図７（６）に示すように合成用画像内において修正対象領域Ｒ１２（Ｗ１２）に相当する位置の領域を抽出対象の領域Ｅ１２として指定する。そして、この合成用画像内の抽出対象領域Ｅ１２から抽出した画像部分を基本画像内の修正対象領域Ｒ１２に合成する（ステップＳ１９）。この場合、修正対象領域Ｒ１２の内容を抽出対象領域Ｅ１２の内容に置き換えることにより画像合成を行う。そして、更にステップＳ２０に移るが、この場合、基本画像内に未処理の白飛び領域が残っていないので（ステップＳ２０でＮＯ）、図５及び図６のフローから抜ける。

以上のように、本実施形態において制御部１は、撮像部６により撮影された画像を第１の撮影画像として取得した後に撮影された画像を第２の撮影画像として取得し、その第１及び第２の撮影画像内からそれぞれ検出した白飛び領域が略同一位置ではない場合に、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において修正対象領域に相当する位置の領域を抽出対象の領域として指定して、その抽出対象領域から抽出した画像部分を修正対象領域に合成するようにしたので、撮影画像内に白飛び現象が発生したとしてもその影響を受けない良質な撮影画像を容易に得ることができ、信頼性の高いものとなる。

制御部１は、第１の撮影画像を取得した後に第２の撮影画像としてライブビュー画像を逐次取得すると共に、ライブビュー画像を逐次取得する毎にそのライブビュー画像内の白飛び領域を逐次検出し、そのライブビュー画像内の白飛び領域と第１の撮影画像内の白飛び領域が略同一位置であるか否かを逐次判別した結果、略同一位置ではなければ、そのときのライブビュー画像を処理対象の第２の撮影画像としてキャプチャするようにしたので、第１の撮影画像を取得した後にユーザに対して特別な操作を要求することなく、処理対象である第２の撮影画像を自動的にキャプチャすることができ、ユーザにあっても白飛び現象の発生有無を意識しなくてもよくなり、その影響を受けない良質な撮影画像を得ることが可能となる。

第１及び第２の撮影画像内の白飛び領域が略同一位置であれば、撮影位置の変更を促す報知を行うようにしたので、ユーザにあっては撮影時に白飛び現象が発生していることを知ることができ、その報知に応じて撮影位置を変更するだけで白飛び発生に対応することが可能となる。

ホワイトボードの撮影画像を解析することにより白飛び領域を検出するようにしたので、白飛び現象が起こり易いホワイトボードを撮影する場合に有効なものとなる、

ホワイトボードが被写体として撮影した場合のヒストグラムからホワイトボードの素の色よりも明るい領域を白飛び領域として検出するようにしたので、白飛び領域を精度良く検出することが可能となる。

第１及び第２の撮影画像の位置合わせを行った後に、第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別するようにしたので、その判別が容易かつ的確なものとなる。

第１及び第２の撮影画像内のホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行うようにしたので、その位置合わせが的確なものとなる。

第１及び第２の撮影画像内のホワイトボードの台形歪を補正して第１及び第２の撮影画像の位置合わせを行うようにしたので、ホワイトボードなどの平面を、角度を変えて撮影した場合でも自然に位置合わせが行える。

第１及び第２の撮影画像の位置合わせを行う場合に、その位置合わせが不可能な画角であれば、撮影位置の変更を促す報知を行うようにしたので、適正な画角で撮影された画像を得ることができる。

第１の画像内に複数の白飛び領域が検出された場合には、その検出数に応じた回数分の合成処理を順次繰り返すようにしたので、第１の画像内に複数の白飛び領域が存在していても白飛びの無い良質な画像を得ることができる。

なお、上述した実施形態においては、第１の撮影画像を基本画像とし、第２の撮影画像を合成用画像とした場合を例示したが、これとは逆に、第２の撮影画像を基本画像とし、第１の撮影画像を合成用画像とするようにしてもよい。すなわち、第１の撮影画像、第２の撮影画像を処理対象として、そのいずれか一方の撮影画像を基本画像とし、他方の撮影画像を合成用画像とするようにしてもよい。

上述した実施形態においては、撮影者に対して撮影位置の変更を促す報知を行う場合に、その旨をメッセージ表示したり、矢印図形によって表示したりするようにしたが、その報知手段としては、表示に限らず、音声や警報音を発生する手段であってもよい。

上述した実施形態においては、第１及び第２の撮影画像内のホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行うようにしたが、例えば、ホワイトボード内の文字、記号などを認識し、その認識した文字、記号などを位置合わせの基準として、第１及び第２の撮影画像の位置合わせを行うようにしてもよい。

上述した実施形態においては、第１の撮影画像を取得した後に第２の撮影画像としてライブビュー画像を逐次取得し、そのライブビュー画像内の白飛び領域と第１の撮影画像内の白飛び領域が略同一位置であるか否かを逐次判別した結果、略同一位置ではなければ、そのときのライブビュー画像を処理対象の第２の撮影画像としてキャプチャするようにしたが、第２の撮影画像をライブビュー画像とする場合に限らず、撮影者が撮影位置を変更しながら撮影した複数枚の撮影画像の中から選択した画像を第２の撮影画像としてもよい。例えば、１回目に撮影した画像と２回目に撮影した画像とを比較してそれらの白飛び領域が略同一位置であるか否かを判別し、略同一位置であれば、１回目に撮影した画像と３回目に撮影した画像とを比較して、それらの白飛び領域が略同一位置であるか否かを判別し、略同一位置ではなければ、３回目に撮影した画像を処理対象の第２の撮影画像として選択するようにしてもよい。

上述した実施形態においては、コンパクトカメラによって撮影者が携帯して撮影する場合について説明したが、例えば、プロジェクタに装着されている定点カメラであってもよい。この場合、プロジェクタに定点カメラをスライド移動可能に装着し、自動的に定点カメラを移動してその撮影位置を変更するようにしてもよい。また、被写体としてホワイトボードを撮影する場合に限らず、白飛び現象が起こり易い他の被写体を撮影する場合であっても同様に有効なものとなる。

また、上述した実施形態においては、コンパクトカメラに適用した場合を示したが、カメラ機能付きＰＣ（パーソナルコンピュータ）・携帯電話機・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤー・電子ゲームなどであってもよい。

更に、撮像装置に限らず、カメラ機能を備えていないＰＣや携帯電話機などの画像処理装置であってもよい。この場合、画像処理装置は、撮像装置により撮影された複数枚の撮影画像を、通信手段を介して取得したり、ＳＤカード、ＩＣカードなどの着脱自在な可搬型メモリ（記録メディア）を介して取得したりすればよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
被写体を撮影する撮像手段を備えた撮像装置であって、
前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する取得手段と、
前記取得手段により取得された第１及び第２の撮影画像内の白飛び領域をそれぞれ検出する検出手段と、
前記検出手段により検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する判別手段と、
前記判別手段により略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する指定手段と、
前記指定手段により指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する合成手段と、
を備えることを特徴とする撮像装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記取得手段は、前記第１の撮影画像を取得した後に第２の撮影画像としてライブビュー画像を逐次取得し、
前記検出手段は、前記取得手段により第２の撮影画像としてライブビュー画像を逐次取得する毎にそのライブビュー画像内の白飛び領域を逐次検出し、
前記判別手段は、前記取得手段により第２の撮影画像としてライブビュー画像を逐次取得する毎に前記検出手段により検出されたライブビュー画像内の白飛び領域と前記第１の撮影画像内の白飛び領域が略同一位置であるか否かを逐次判別し、
前記指定手段は、略同一位置ではないと判別された際に、そのときのライブビュー画像を処理対象の第２の撮影画像とする、
ようにしたことを特徴とする撮像装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の撮像装置において、
前記判別手段により第１及び第２の撮影画像内の白飛び領域が略同一位置であると判別された場合に撮影位置の変更を促す報知を行う第一の報知手段を更に備える、
ようにしたことを特徴とする撮像装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記検出手段は、前記撮像手段により被写体として撮影されたホワイトボードの撮影画像を解析することにより白飛び領域を検出する、
ようにしたことを特徴とする撮像装置である。
（請求項５）
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記検出手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、その撮影画像のヒストグラムから前記ホワイトボードの素の色よりも明るい領域を白飛び領域として検出する、
ようにしたことを特徴とする撮像装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の撮像装置において、
前記取得手段により取得された第１及び第２の撮影画像の位置合わせを行う位置合わせ手段を更に備え、
前記判別手段は、前記位置合わせ手段による位置合わせを行った後に、第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する、
ようにしたことを特徴とする撮像装置である。
（請求項７）
請求項７に記載の発明は、請求項６に記載の撮像装置において、
前記位置合わせ手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、ホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行う、
ようにしたことを特徴とする撮像装置である。
（請求項８）
請求項８に記載の発明は、請求項６に記載の撮像装置において、
前記位置合わせ手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、台形歪の補正を行い、ホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行う、
ようにしたことを特徴とする撮像装置。
（請求項９）
請求項９に記載の発明は、請求項７あるいは請求項８に記載の撮像装置において、
前記位置合わせ手段は、前記第１及び第２の撮影画像の位置合わせを行う場合に、その位置合わせが可能な画角であるか否かを判別し、
前記位置合わせ手段により位置合わせが不可能な画角であると判別された場合に、撮影位置の変更を促す報知を行う第二の報知手段を更に備える、
ようにしたことを特徴とする撮像装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜９のいずれかに記載の撮像装置において、
前記検出手段により前記第１の画像内に複数の白飛び領域が検出された場合に、前記判別手段、前記指定手段、前記合成手段は、前記検出手段により検出された白飛び領域の検出数に対応する回数分の動作をそれぞれ実行する、
ようにしたことを特徴とする撮像装置である。
（請求項１１）
請求項１１に記載の発明は、
第１の撮影画像及び第２の撮影画像を取得する取得手段と、
前記取得手段により取得された第１及び第２の撮影画像内の白飛び領域をそれぞれ検出する検出手段と、
前記検出手段により検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する判別手段と、
前記判別手段により略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する指定手段と、
前記指定手段により指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する合成手段と、
を備えることを特徴とする画像処理装置。
（請求項１２）
請求項１２に記載の発明は、
被写体を撮影する撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得するステップと、
前記取得された第１及び第２の撮影画像内の白飛び領域をそれぞれ検出するステップと、
前記検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別するステップと、
前記略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定するステップと、
前記指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成するステップと、
を含むことを特徴とする撮像処理方法である。
（請求項１３）
請求項１３に記載の発明は、
コンピュータに対して、
被写体を撮影する撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する機能と、
前記取得された第１及び第２の撮影画像内の白飛び領域をそれぞれ検出する機能と、
前記検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する機能と、
前記略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する機能と、
前記指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する機能と、
を実現させるためのプログラムである。

１ 制御部
３ 記憶部
３ａ プログラムメモリ
４ 操作部
５ 表示部
６ 撮像部
Ｗ１１、Ｗ１２、Ｗ２１、Ｗ２２、Ｗ３１、Ｗ３２ 白飛び領域
Ｒ１１、Ｒ１２ 修正対象領域
Ｅ１１、Ｅ１２ 抽出対象領域

Claims (15)

1. 被写体を撮影する撮像手段を備えた撮像装置であって、
   前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する取得手段と、
   前記取得手段により取得された第１及び第２の撮影画像内のうちの少なくともいずれか一方から白飛び領域を検出する検出手段と、
   前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する指定手段と、
   前記指定手段により指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する合成手段と、
   を備え、
   前記取得手段は、前記第１の撮影画像をユーザによる撮影指示操作に応じて取得した後に、前記第２の撮影画像を自動で取得する、
   ようにしたことを特徴とする撮像装置。
2. 前記検出手段は、前記第１及び第２の撮影画像内の白飛び領域をそれぞれ検出し、
   前記検出手段により検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する判別手段を、更に備え、
   前記指定手段は、前記判別手段により略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する、
   ようにしたことを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段は、前記第１の撮影画像を取得した後に、当該第１の撮影画像とは異なる撮影画像を取得し、
   前記検出手段は、前記第１の撮影画像、及び当該第１の撮影画像とは異なる撮影画像それぞれの撮影画像内の白飛び領域をそれぞれ検出し、
   前記検出手段により検出された第１の撮影画像、及び当該第１の撮影画像とは異なる撮影画像それぞれの撮影画像内の白飛び領域が略同一位置であるか否かを判別する判別手段を、更に備え、
   前記取得手段は、略同一位置ではないと判別された際に、そのときの前記第１の撮影画像とは異なる撮影画像に基づき、前記第２の撮影画像を取得する、
   ようにしたことを特徴とする請求項１に記載の撮像装置。
4. 前記取得手段は、前記第１の撮影画像を取得した後に、前記判別手段による判別のための撮影画像を連続して逐次取得し、
   前記検出手段は、前記取得手段により判別のための撮影画像を連続して逐次取得する毎にその撮影画像内の白飛び領域を逐次検出し、
   前記判別手段は、前記取得手段により判別のための撮影画像を連続して逐次取得する毎に前記検出手段により検出されたその判別のための撮影画像内の白飛び領域と前記第１の撮影画像内の白飛び領域が略同一位置であるか否かを逐次判別し、
   前記取得手段は、略同一位置ではないと判別された際に、第２の撮影画像を取得する、
   ようにしたことを特徴とする請求項３に記載の撮像装置。
5. 前記取得手段により取得された第１及び第２の撮影画像の位置合わせを行う位置合わせ手段を更に備え、
   前記判別手段は、前記位置合わせ手段による位置合わせを行った後に、第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する、
   ようにしたことを特徴とする請求項２〜請求項４のいずれかに記載の撮像装置。
6. 前記位置合わせ手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、ホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行う、
   ようにしたことを特徴とする請求項５に記載の撮像装置。
7. 前記位置合わせ手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、台形歪の補正を行い、ホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行う、
   ようにしたことを特徴とする請求項５に記載の撮像装置。
8. 前記検出手段により前記第１及び第２の撮影画像内の少なくともいずれか一方から検出された白飛び領域が、前記合成手段による合成によって修正可能であるか否かを判別する判別手段を、更に備え、
   前記取得手段は、前記判別手段により、前記白飛び領域が前記合成手段による合成によって修正可能であると判別されたことに応じて、前記第２の撮影画像を自動で取得する、
   ようにしたことを特徴とする請求項１に記載の撮像装置。
9. 前記判別手段により、前記白飛び領域が合成によって修正可能でないと判別された場合に撮影位置の変更を促す報知を行う第一の報知手段を更に備え、
   前記取得手段は、前記第２の撮影画像を、ユーザが当該撮像装置を移動させたことに応じて自動で取得する、
   ようにしたことを特徴とする請求項８に記載の撮像装置。
10. 前記検出手段は、前記撮像手段により被写体として撮影されたホワイトボードの撮影画像を解析することにより白飛び領域を検出する、
    ようにしたことを特徴とする請求項１〜請求項９のいずれかに記載の撮像装置。
11. 前記検出手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、その撮影画像のヒストグラムから前記ホワイトボードの素の色よりも明るい領域を白飛び領域として検出する、
    ようにしたことを特徴とする請求項１０に記載の撮像装置。
12. 前記検出手段により前記第１の撮影画像内に複数の白飛び領域が検出された場合に、前記指定手段、前記合成手段は、前記検出手段により検出された白飛び領域の検出数に対応する回数分の動作をそれぞれ実行する、
    ようにしたことを特徴とする請求項１〜１１のいずれかに記載の撮像装置。
13. 被写体を撮影する撮像手段を備えた撮像装置であって、
    前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する取得手段と、
    前記取得手段により取得された第１及び第２の撮影画像内の白飛び領域をそれぞれ検出する検出手段と、
    前記検出手段により検出された第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別する判別手段と、
    前記判別手段により略同一位置ではないと判別された場合に、前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する指定手段と、
    前記指定手段により指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する合成手段と、
    前記取得手段により取得された第１及び第２の撮影画像の位置合わせを行う位置合わせ手段と、
    を備え、
    前記判別手段は、前記位置合わせ手段による位置合わせを行った後に、第１及び第２の撮影画像内の白飛び領域が略同一位置であるか否かを判別し、
    前記位置合わせ手段は、前記撮像手段によりホワイトボードが被写体として撮影された場合に、ホワイトボードの輪郭に基づいて第１及び第２の撮影画像の位置合わせを行い、
    前記位置合わせ手段は、前記第１及び第２の撮影画像の位置合わせを行う場合に、その位置合わせが可能な画角であるか否かを判別し、
    前記位置合わせ手段により位置合わせが不可能な画角であると判別された場合に、撮影位置の変更を促す報知を行う第二の報知手段を更に備える、
    ようにしたことを特徴とする撮像装置。
14. 被写体を撮影する撮像手段を備える撮像装置で実行される撮像処理方法であって、
    前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する処理と、
    前記取得された第１及び第２の撮影画像内のうちの少なくともいずれか一方から白飛び領域を検出する処理と、
    前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する処理と、
    前記指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する処理と、
    を含み、
    前記第１の撮影画像をユーザによる撮影指示操作に応じて取得した後に、前記第２の撮影画像を自動で取得する、
    ようにしたことを特徴とする撮像処理方法。
15. 被写体を撮影する撮像手段を備える撮像装置を制御するコンピュータに対して、
    前記撮像手段により撮影された第１の撮影画像及び第２の撮影画像を取得する機能と、
    前記取得された第１及び第２の撮影画像内のうちの少なくともいずれか一方から白飛び領域を検出する機能と、
    前記第１の撮影画像と前記第２の撮影画像とを処理対象として、そのいずれか一方の撮影画像内の白飛び領域を修正対象の領域として指定すると共に、他方の撮影画像内において前記修正対象領域に相当する位置の領域を抽出対象の領域として指定する機能と、
    前記指定された前記抽出対象領域から抽出した画像部分を前記修正対象領域に合成する機能と、
    を実現させ、
    前記第１の撮影画像をユーザによる撮影指示操作に応じて取得した後に、前記第２の撮影画像を自動で取得する、
    ようにしたことを特徴とするプログラム。
    

Images