以下、本発明の一実施の形態を図に従って説明する。
(第1の実施の形態)
図1は、本発明の各実施の形態に共通するデジタルカメラ10の回路構成を示すブロック図であり、このデジタルカメラ10は、AF機能とともにAE、AWB等の一般的な機能をも有するものである。したがって、レンズブロック11には、ズームレンズ、フォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれており、前記光学系は、駆動機構に設けられているモーター12によって光軸方向に駆動される。なお、本実施の形態において、前記AFは、フォーカスレンズを光軸方向に移動させながら、各位置で撮像した画像のAF評価値(コントラスト値)を検出し、AF評価値のピーク位置を合焦位置とするコントラスト検出方式である。
デジタルカメラ10全体を制御するCPU13には、バス14及びタイミング発生器(TG:Timming Generator)15を介してモータードライバ16が接続されており、モータードライバ16は、CPU13の命令に従いタイミング発生器15が発生するタイミング信号に基づき、モーター12を駆動する。なお、ストロボ17もタイミング発生器15が発生するタイミング信号により駆動される。
また、このデジタルカメラ10は撮像素子としてCCD18を有している。CCD18は、レンズブロック11の光軸上に配置されており、被写体は、レンズブロック11によってCCD18の受光面に結像される。CCD18は、CPU13の命令に従いタイミング発生器15が生成するタイミング信号に基づき垂直及び水平ドライバ19によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路20に出力する。ユニット回路20は、CCD18の出力信号に含まれるノイズを相関二重サンプリングによって除去するCDS回路や、ノイズが除去された撮像信号をデジタル信号に変換するA/D変換器等から構成され、デジタルに変換した撮像信号を画像処理部21へ出力する。
画像処理部21は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度(Y)信号及び色差(UV)信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部21で変換されたYUVデータは順次SDRAM22に格納されるとともに、RECスルー・モードでは1フレーム分のデータ(画像データ)が蓄積される毎にビデオ信号に変換され、後述するバックライトユニット24を備える液晶モニタ(LCD)23へ送られてスルー画像として画面表示される。
そして、シャッターキー操作をトリガとして、CPU13は、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してスルー画撮影モード(RECスルー・モード)から静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ、SDRAM22に一時記憶された画像データは、CPU13により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録される。この外部メモリ25に記録された静止画ファイルは、PLAY・モードにおいてユーザの選択操作に応じてCPU13に読み出されるとともに伸張され、YUVデータとしてSDRAM22に展開された後、液晶モニタ23に表示される。
フラッシュメモリ26には、CPU13に前記各部を制御させるための各種のプログラム、例えばAE、AF、AWB制御用のプログラムや、CPU13を本発明の表示制御手段、取得手段、特定手段等として機能させるためのプログラム等の各種のプログラムが格納されている。
また、デジタルカメラ10は、電源スイッチ、モード選択キー、シャッターキー、ズームキー、マーキングキー等の複数の操作キー及びスイッチを含むキー入力部27、ニッケル水素電池等の充電可能なバッテリー28、このバッテリー28の電力を各部に供給するための電源制御回路29、及びこれらを制御するマイコン30を有している。マイコン30は、キー入力部27における前記操作キーの操作の有無を定常的にスキャンしており、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をCPU13へ送る。
次に、以上の構成に係る本実施の形態の動作について説明する。なお、第1及び第2の実施の形態の説明においては、図2(A)に示した被写体Pを撮影対象とする。この被写体Pは回路基板であって、図示した部品a、b、c以外に多数の部品が混在して配置されているが、他の部品は省略して部品a、b、cのみを図示してある。また、これら部品a、b、cがユーザにおいてマークを付して記録したい所望箇所であるとする。
ユーザがモード選択キーを操作して、撮影モードを設定すると、CPU13は前記フラッシュメモリ26に格納されているプログラムに基づき、図3のフローチャートに示す処理を実行する。スルー画撮影モードを設定して、液晶モニタ23にスルー画像を表示させるとともに、中心部にマークを表示させる(ステップS101)。このステップS101での処理により、図2(B)に示すように、液晶モニタ23には、被写体Pの一部であるスルー画像231が表示されるとともに、液晶モニタ23の中心部にマーク232が固定表示される。
次に、シャッターキーが操作されたか否かを判断する(ステップS102)。シャッターキーが操作されなかった場合には、ズームキーが操作されたか否かを判断する(ステップS103)。ズームキーが操作された場合には、モーター12を制御してレンズブロック11内のズームレンズを駆動する光学ズーム処理あるいはデジタルズーム処理を実行する(ステップS104)。
つまり、後述するように、マーク232が第1の所望箇所である部品aに合致するように、デジタルカメラ10の角度を調整した後マーキングキーを操作することにより、マーキングが行われる。このとき、被写体Pは回路基板であって、図示した部品a、b、c以外に多数の部品が混在して配置されていることから、ズーム倍率が小さいと多数の部品中から部品aを発見したり、部品aに精度よくマーク232を合致させることが困難となる。したがって、ユーザはマーキングしようとする所望箇所の大きさに応じて、ズームキーを操作すれば、前記ステップS104でズーム処理が実行されることにより、部品aを容易に発見したり、部品aに精度よくマーク232を合致させることが可能となる。
引き続き、マーキングキーが操作されたか否かを判断し(ステップS105)、操作されなかった場合には、ステップS101に戻る。したがって、シャッターキーが操作されるか、マーキングキーが操作されるまで、ステップS101〜S105のループが繰り返される。
その間ユーザは、図2(B)に示すように、マーク232が第1の所望箇所である部品aに合致するように、デジタルカメラ10の角度やズーム倍率等を調整し、合致したならばマーキングキーを操作する。これにより、ステップS105の判断がYESとなり、マーキング画像撮影処理を実行する(ステップS106)。すなわち、CPU13は、マーキングキーの操作をトリガとして、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られた画像データをSDRAM22に一時記憶する。
なお、撮影処理を行うことなく、つまりスルー画撮影モードから静止画撮影モードへの切り替えを行うことなく、マーキングキーが操作された時点のスルー画像を取得するようにしてもよい。
次に、前記マーキング画像撮影処理により得られた画像データからマーク232が付加された部分の画像を抽出して、SDRAM22に保存するマーキング画像保存処理を実行する(ステップS107)。なお、マーク232が付加された部分の画像を抽出することなく、撮影処理により得られた画像データをそのままSDRAM22に保存するとともに、マーク232の位置情報を記憶し、後述するステップS114での読み出し処理時において、マーク232が付加された部分の画像を前記位置情報に基づいて、切り出すようにしてもよい。
更に、マーキング画像が保存されていることを示すマーキングフラグがONとなっているか否かを判断し(ステップS108)、OFFとなっている場合には、マーキングフラグをONにする(ステップS109)。引き続き、マーキング画像の保存数をカウントするカウンタAの値をインクリメントして(ステップS110)、ステップS101に戻る。
したがって、ユーザが図2に示した部品a,b,cをマーキング画像として保存したい場合には、先ず、(B)に示すように部品aにマーク232を合致させてマーキングキーを操作した後、(C)に示すように部品bにマーク232を合致させてマーキングキーを操作し、(D)に示すように部品cにマーク232を合致させてマーキングキーを操作する。これにより、ステップS105〜S110の処理が3回繰り返され、SDRAM22には抽出された部品a,b,cの画像が記憶されるとともに、カウンタA=3となる。
そして、このように所望箇所全てのマーキングを終了したならば、被写体P全体が撮影可能な状態にデジタルカメラ10の向きやズーム倍率等を調整し、シャッターキー操作する。すると、ステップS102の判断がYESとなり、ステップS102からステップS111に進み、本撮影処理を実行する。この本撮影処理は、通常の撮影処理と同様であって、CPU13は、シャッターキーの操作をトリガとして、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られた画像データをSDRAM22に一時記憶する。
次に、マーキングフラグがONとなっているか否かを判断し(ステップS112)、OFFとなっている場合には、ステップS124に進んで、本撮影画像保存処理を実行する。この本撮影画像保存処理も、通常の撮影画像保存処理と同様であって、SDRAM22保存した画像データを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録する。したがって、ユーザがマーキングキーを操作することなくシャッターキーのみを操作した場合には、通常の静止画撮影記録処理が実行されることとなる。
他方、ステップS112での判断の結果、マーキングフラグがONとなっている場合には、後述するステップS123において「0」にリセットされているカウンタBの値をインクリメントする(ステップS113)。引き続き、このカウンタBの値により示されるB番目のマーキング画像(ステップS107でSDRAM22保存された抽出画像)をSDRAM22から読み出す(ステップS114)。
さらに、この読み出したマーキング画像のコントラストを検出して2値化し(ステップS115)、このコントラストを検出した画像の特徴点を抽出する(ステップS116)。他方、ステップS111で得られた本撮影画像に関しても、ステップS115でコントラストを検出して2値化する。そして、ブロックマッチング処理(ステップS117)において、マーキング画像から抽出した特徴点のブロックと、本撮影画像のブロック間の一致度を一致度評価関数によって評価する。この一致度評価関数による一致度評価値が最大となる位置を探索することで、画像間の対応をピクセル単位で求め、マーキング画像が本撮影画像のいずれかの箇所と一致したか否かを判断する(ステップS118)。
マーキング画像が本撮影画像のいずれか箇所と一致したならば、本撮影画像へのマーキング追加処理を行って、本撮影画像のマーキング画像と一致した箇所にマークを合成する(ステップS119)。しかし、マーキング画像が本撮影画像のいずれの箇所とも一致しなかった場合には、警告表示を実行する(ステップS121)。マーキング画像が本撮影画像のいずれの箇所とも一致しない場合の理由としては、本撮影の画角からマーキング部分が外れていた場合や、被写体の特性上両者の一致性を検出することが不可能であった場合が想定される。
そして、このように、一致性が検出できなかった場合には、前記警告表示において再撮影(撮り直し)を行うか否かのメッセージを表示する。このメッセージに応答して、ユーザがキー入力部27にて所定の再撮影指示を行った場合には、ステップS122の判断がYESとなり、ステップS125に進んでマーキングフラグをOFFにするとともに、カウンタA,Bをリセットした後、ステップS101に戻る。
しかし、警告表示がなされても再撮影指示がなかった場合(ステップS122;NO)、及び適正にステップS119のマーキング追加処理が実行された場合には、カウンタBの値がマーキング画像枚数を示すカウンタAの値となったか否かを判断し(ステップS120)、B=Aとなるまで、ステップS113からの処理を繰り返す。したがって、本例において再撮影指示がなかった場合、及び適正にステップS119のマーキング追加処理が実行された場合には、ステップS113からの処理が3回繰り返される。また、これら3回の処理において全てステップS118の判断がYESであったとすると、3回実行されたステップS119での処理により、図4に示すように、部品a,b,cに各々マーク232が合成付加された本撮影画像233が生成されることとなる。
そして、B=Aとなると、ステップS120からステップS123に進んでマーキングフラグをOFFにするとともに、カウンタA,Bをリセットする。また、このとき前記ステップS107でSDRAM22に記憶させたマーキング画像も消去する。さらに、本撮影画像保存処理を実行して、図4に示した本撮影画像233のデータを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録する(ステップS124)。
したがって、この外部メモリ25に記録された静止画ファイルを再生した際には、所望箇所である部品a,b,cに精度よく各々マーク232が付された本撮影画像233を液晶モニタ23に表示することができる。
しかも本実施の形態においては、本撮影画像自体にマークが合成されて静止画ファイルとして保存されることから、マークの位置情報を記憶しておくことなく、所望箇所である部品a,b,cに精度よく各々マーク232が付された本撮影画像233を再生することができる。
なお、本実施の形態においては、ステップS118の判断がNOとなる都度警告表示(ステップS121)を行うようにしたが、一致したマーキング画像に対応するマーキング追加処理(ステップS119)を全て行った後、マーキング追加処理を行えなかったマーキング画像があった場合に、その時点で1度のみ警告表示を行うようにしてもよい。このとき、複数のマーキング画像がある場合には、マーキング追加処理を行うことができなかったマーキング画像の数を表示することが好ましい。
また、本実施の形態においては、図4に示したようにマーク画像を本撮影画像に合成配置するようにしたが、本撮影画像には、マーク画像を合成配置することなく、各マーク232の位置情報を本撮影画像のメタ情報として記録するようにしてもよい。
また、本実施の形態においては、ステップS101においてマークを液晶モニタ23の中心部に固定表示させるようにしたが、キー入力部27に設けたキーの操作によりマークを移動表示できるようにして、マークを所望箇所に合致させるようにしてもよい。
しかし、マークを移動表示せずに固定表示した場合であっても、前述のようにマーク232が所望箇所に合致するように、デジタルカメラ10の角度やズーム倍率等を調整してマーキングキーを操作すれば、その後シャッターキーが操作されることにより、所望箇所に精度よく各々マーク232が付された本撮影画像233を記録することができる。したがって、本実施の形態に係るデジタルカメラ10は、マークの移動表示機能を要することなく、所望箇所に精度よく各々マーク232が付された本撮影画像233を記録することができる利点がある。
なお、本実施の形態においては、ステップS110でカウンタAによりマーキング回数をカウントすることにより、複数箇所にマーキングできるようにしたが、単一箇所のみにマーキングする構成としてもよい。この場合、ステップS102でのシャッターキーが操作されたか否かの判断処理を削除し、マーキングキーが操作されて(ステップS105;YES)、マーキングフラグをONにした後(ステップS109)、ステップS110の処理を行うことなく、シャッターキーが操作されたか否かを判断して、シャッターキーが操作されたならば、ステップS111に進むようにすればよい。
(第2の実施の形態)
図5及び図6は、本発明の第2の実施の形態における処理手順を示す一連のフローチャートである。ユーザがモード選択キーを操作して、撮影モードを設定すると、CPU13は前記フラッシュメモリ26に格納されているプログラムに基づき、図5のフローチャートに示す処理を実行する。液晶モニタ23に、スルー画像を表示させるとともに、中心部にマークを表示させる(ステップS201)。このステップS201での処理により、図2(B)に示すように、液晶モニタ23には、被写体Pの一部であるスルー画像231が表示されるとともに、液晶モニタ23の中心部にマーク232が表示される。
次に、ズームキーが操作されたか否かを判断する(ステップS202)。ズームキーが操作された場合には、モーター12を制御してレンズブロック11内のズームレンズ駆動する光学ズーム処理あるいはデジタルズーム処理を実行する(ステップS203)。
つまり、マーク232が第1の所望箇所である部品aに合致するように、デジタルカメラ10の角度を調整した後マーキングキーを操作することにより、マーキングが行われる。このとき、被写体Pは回路基板であって、図示した部品a、b、c以外に多数の部品が混在して配置されていることから、ズーム倍率が小さいと多数の部品中から部品aを発見したり、部品aに精度よくマーク232を合致させることが困難となる。したがって、ユーザはマーキングしようとする所望箇所の大きさに応じて、ズームキーを操作すれば、前記ステップS203でズーム処理が実行されることにより、部品aを容易に発見したり、部品aに精度よくマーク232を合致させることが可能となる。
引き続き、マーキングキーが操作されたか否かを判断し(ステップS204)、操作されなかった場合には、ステップS210に進みマーキング終了キーが操作されたか否かを判断する。マーキング終了キーも操作されなかった場合には、ステップS201に戻る。したがって、マーキングキー又はマーキング終了キーが操作されるまで、ステップS201〜S204→S210→S201のループが繰り返される。
その間ユーザは、図2(B)に示すように、マーク232が第1の所望箇所である部品aに合致するように、デジタルカメラ10の角度やズーム倍率等を調整し、合致したならばマーキングキーを操作する。これにより、ステップS204の判断がYESとなり、第1の実施の形態で説明したようにマーキング画像撮影処理を実行する(ステップS205)。
次に、この撮影処理により得られた画像データからマーク232が付加された部分の画像を抽出して、SDRAM22に保存するマーキング画像保存処理を実行する(ステップS206)。また、マーキング画像が保存されていることを示すマーキングフラグがONとなっているか否かを判断し(ステップS207)、OFFとなっている場合には、マーキングフラグをONにする(ステップS208)。引き続き、マーキング画像の保存数をカウントするカウンタAの値をインクリメントする(ステップS209)。また、マーキング終了キーが操作されたか否を判断し(ステップS210)、マーキング終了キーが操作されなかった場合には、ステップS201に戻る。
したがって、ユーザが図2に示した部品a,b,cをマーキング画像として保存したい場合には、先ず、(B)に示すように部品aにマーク232を合致させてマーキングキーを操作した後、(C)に示すように部品bにマーク232を合致させてマーキングキーを操作し、(D)に示すように部品cにマーク232を合致させてマーキングキーを操作する。これにより、ステップS204〜S210の処理が3回繰り返され、SDRAM22には抽出された部品a,b,cの画像が記憶されるとともに、カウンタA=3となる。
そして、このように全ての所望箇所のマーキングを終了したならば、ユーザはマーキング終了キーを操作する。これにより、ステップS210の判断がYESとなる。したがって、ステップS210からステップS211に進み、前記ステップS201で表示させたマーク232を消去する。これにより、液晶モニタ23は、スルー画像のみが表示された状態となる。
なお、マーキング撮影を行わない場合には、マーキングキーを操作することなく、マーキング終了キーを操作すれば、前述したステップS205〜S209の処理が実行されず、ステップS201からステップS211と進み、マーク232が消去されて、即時にスルー画像のみが表示された状態に移行する。
また、ステップS211に続く、ステップS212においてはマーキングフラグがONとなっているか否かを判断し(ステップS212)、OFFとなっている場合には、後述する図6のステップS228に進む。マーキングフラグがONとなっている場合には、後述するステップS223において「0」にリセットされているカウンタBの値をインクリメントする(ステップS213)。引き続き、このカウンタBの値により示されるB番目のマーキング画像(ステップS206でSDRAM22保存された抽出画像)をSDRAM22から読み出す(ステップS214)。
次に、この読み出したマーキング画像のコントラストを検出して2値化し(ステップS215)、このコントラストを検出した画像の特徴点を抽出する(ステップS216)。他方、液晶モニタ23に表示させているスルー画像に関しても、ステップS215でコントラストを検出して2値化する。そして、ブロックマッチング処理(ステップS217)において、マーキング画像から抽出した特徴点のブロックと、スルー画像のブロック間の一致度を一致度評価関数によって評価する。この一致度評価関数による一致度評価値が最大となる位置を探索することで、画像間の対応をピクセル単位で求め、マーキング画像がスルー画像のいずれかの箇所と一致したか否かを判断する(ステップS218)。
マーキング画像がスルー画像のいずれかの箇所と一致したならば、一致フラグをONにするとともに、スルー画像上における一致した箇所の位置情報をSDRAM22に記憶する(ステップS219)。しかし、マーキング画像がスルー画像のいずれの箇所とも一致しなかった場合には、不一致フラグをONにする(ステップS221)。なお、この不一致フラグと前記一致フラグとは、各々カウンタAが示す数だけ予め用意されている。したがって、本例においては不一致フラグと一致フラグとが3個用意されており、ステップS219の処理においては3個の一致フラグのうち1個をONにし、ステップS221の処理においては、3個の不一致フラグにうち1個をONにする。なお、マーキング画像がスルー画像のいずれの箇所とも一致しない場合の理由としては、専ら現在の画角ではマーキング部分とすべき所望箇所が外れていてスルー画像上に存在しない場合が想定される。
そして、ステップS219とステップS221のいずれかに続くステップS220ではカウンタBの値がマーキング画像枚数を示すカウンタAの値となったか否かを判断し、B=Aとなるまで、ステップS213からの処理を繰り返す。したがって、本例において再撮影指示がなかった場合、及び適正にステップS219のマーキング追加表示処理が実行された場合には、ステップS213からの処理が3回繰り返される。
そして、B=Aとなると、ステップS220からステップS223に進んで、カウンタBの値を「0」にリセットする。次に、必要に応じてスルー画像へのマーキング追加処理を行うとともに、必要に応じて警告表示を行う(ステップS224)。
すなわち、一度でもステップS219の処理が実行されて少なくとも1個の一致フラグがONとなっているならば、SDRAM22から前記位置情報を読み出して、スルー画像の位置情報が示す位置にマーク232を表示させる。また、一度でもステップS221の処理が実行されて少なくとも1個の不一致フラグがONとなっているならば、マーキング箇所がスルー画像内に存在しない旨の警告表示を行う。
したがって、前記3回の処理において全てステップS218の判断がYESであり、3個の一致フラグがONとなっていたとすると、図4に示すように、部品a,b,cに各々マーク232が重畳表示されたスルー画像231が表示されることとなる。しかし、ステップS218の判断が1回NOであって、不一致フラグが1個ONとなっている場合には、例えば部品a,bに各々マーク232が重畳表示され、かつ警告表示がなされる。また、ステップS218の判断が3回全てNOであって、不一致フラグが3個ONとなっている場合には、マーク232は表示されることなく、警告表示のみがなされることとなる。
このとき、前述のように、ステップS218の判断がNOとなる場合の理由としては、専ら現在の画角ではマーキング部分とすべき所望箇所が外れていてスルー画像上に存在しない場合が想定される。
したがって、前記警告表示に際しては、不一致箇所の数を表示することが好ましく、不一致箇所の数のみを警告表示としてもよい。これにより、ユーザは不一致箇所の数が「3→2→1→(なし)」と変化するように、デジタルカメラ1の向きやズーム倍率等を調整することができ、デジタルカメラ1の向きやズーム倍率等の調整が容易となる。
また、ステップS224に続くステップS225では、ONにされた一致フラグと不一致フラグとをOFFにするとともに、SDRAM22に記憶させた位置情報を消去する。さらにシャッターキーが操作されたか否かを判断し(ステップS226)、シャッターキーが操作されない場合には、ステップS213に戻る。
以上に説明したステップS213〜S226のループ処理は、1フレームのスルー画像に対する処理である。したがって、スルー画像の表示フレームレートが30fpsであるならば、ステップS213〜S226のループ処理は、1/30秒のサイクルで実行される。よって、スルー画像内の3つの所望箇所が全て収まると、瞬時に警告表示が消えて3箇所にマーク232が表示され、スルー画像内から1つでも所望箇所が外れると、瞬時に警告表示がなされるとともに収まっている所望箇所のみにマーク232が表示され、デジタルカメラ1の向きやズーム倍率に応じて、これらの表示変化が繰り返される。
したがって、ユーザはマーク232の数や位置を確認せずとも、警告表示の有無により、所望箇所がスルー画像内に収まっているか否かを判断することができる。
そして、シャッターキーが操作されると、ステップS226の判断がYESとなり、ステップS227に進んで一致フラグが全てONとなっているか否かを判断する。このステップS227での判断の結果、一致フラグが全てONとなっている場合には、後述するステップS229に進んで本撮影処理を実行する。しかし、一致フラグが1つでもONとなっていない場合には、ステップS213に戻る。よって、マーク232が全て表示さるまでは、シャッターキーの操作による本撮影処理が禁止されることとになり、撮影画像内に全てのマーク232が存在する画像を確実に撮影記録させることができる。
他方、ステップS212での判断の結果、マーキングフラグがONとなっていない場合には、図6のステップS228に進み、シャッターキーが操作されたか否かを判断する。そして、このステップS228でシャッターキーが操作されたと判断された場合、及び前記ステップS227で一致フラグが全てONとなっていると判断された場合には、本撮影処理を実行する。この本撮影処理は、前述のように通常の撮影処理と同様であって、CPU13は、シャッターキーの操作をトリガとして、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られた画像データをSDRAM22に一時記憶する。
次に、マーキングフラグがONとなっているか否かを判断し(ステップS230)、OFFとなっている場合には、ステップS239に進んで、本撮影画像保存処理を実行する。この本撮影画像保存処理も、通常の撮影画像保存処理と同様であって、SDRAM22保存した画像データを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録する。したがって、ユーザがマーキングキーを操作することなく、マーキング終了キーを操作した後、シャッターキーを操作した場合には、通常の静止画撮影が実行される。
他方、ステップS230での判断の結果、マーキングフラグがONとなっている場合には、前記ステップS223において「0」にリセットされているカウンタBの値をインクリメントする(ステップS231)。引き続き、このカウンタBの値により示されるB番目のマーキング画像(ステップS207でSDRAM22保存された抽出画像)をSDRAM22から読み出す(ステップS232)。
次に、この読み出したマーキング画像のコントラストを検出して2値化し(ステップS233)、このコントラストを検出した画像の特徴点を抽出する(ステップS234)。他方、ステップS229で得られた本撮影画像に関しても、ステップS233でコントラストを検出して2値化する。そして、ブロックマッチング処理(ステップS235)において、マーキング画像から抽出した特徴点のブロックと、本撮影画像のブロック間の一致度を一致度評価関数によって評価する。この一致度評価関数による一致度評価値が最大となる位置を探索することで、画像間の対応をピクセル単位で求め、本画像においてマーキング画像と一致する部分を特定する。
本画像においてマーキング画像と一致する部分を特定したならば、撮影画像へのマーキング追加処理を行って、本撮影画像のマーキング画像と一致し特定した箇所にマークを合成する(ステップS236)。
次に、カウンタBの値がマーキング画像枚数を示すカウンタAの値となったか否かを判断し(ステップS237)、B=Aとなるまで、ステップS231からの処理を繰り返す。したがって、既にステップS227で一致フラグが全てONであることが確認されていることから、本例においてはステップS231からの処理が3回繰り返される。これにより、図4に示すように、部品a,b,cに各々マーク232が合成付加された本撮影画像233が生成されることとなる。
そして、B=Aとなると、ステップS237からステップS238に進んでマーキングフラグをOFFにするとともに、カウンタA,Bをリセットする。また、このとき前記ステップS206でSDRAM22に記憶させたマーキング画像も消去する。さらに、本撮影画像保存処理を実行して、図4に示した本撮影画像233のデータを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録する(ステップS239)。
したがって、この外部メモリ25に記録された静止画ファイルを再生した際には、所望箇所である部品a,b,cに精度よく各々マーク232が付された本撮影画像233を液晶モニタ23に表示することができる。
(第3の実施の形態)
図7は、本発明の第3の実施の形態における処理手順を示すフローチャートである。なお、本実施の形態の説明においては、図8(A)に示した被写体Pを撮影対象とする。この被写体Qは新聞であって、図示した領域d,e,f及びこれ以外の領域に文字が印刷されているが、印刷された文字は省略して領域d,e,fのみを図示してある。また、これら領域d,e,fがユーザにおいて文字をテキスト変換して記録したい所望領域であるとする。
ユーザがモード選択キーを操作して、撮影モードを設定すると、CPU13は前記フラッシュメモリ26に格納されているプログラムに基づき、図7のフローチャートに示す処理を実行する。液晶モニタ23に、スルー画像を表示させるとともに、中心部に領域指定マークを表示させる(ステップS301)。図8(B)に示すように、この領域指定マーク235は、矩形の四隅にL字状のマーク要素を配置した形状であり、このステップS301での処理により、図8(C)に示すように、液晶モニタ23には、被写体Qの一部であるスルー画像231が表示されるとともに、液晶モニタ23の中心部に領域指定マーク235が表示される。
次に、シャッターキーが操作されたか否かを判断する(ステップS302)。シャッターキーが操作されなかった場合には、領域指定マーク235により指定された領域の変更操作がなされたか否かを判断する(ステップS303)。該操作がなされた場合には、操作に応じて領域指定マーク235の形状を表示変更する(ステップS304)。なお、領域指定マーク235の形状のみならず、大きさ及び位置も操作に応じて表示変更するようにしてもよい。
さらに、ズームキーが操作されたか否かを判断する(ステップS305)。ズームキーが操作された場合には、モーター12を制御してレンズブロック11内のズームレンズ駆動する光学ズーム処理あるいはデジタルズーム処理を実行する(ステップS306)。
つまり、後述するように、領域指定マーク235が第1の所望領域である領域dに合致するように、デジタルカメラ10の角度やズーム倍率を調整してマーキングキーを操作することにより、マーキングが行われる。このとき、被写体Qは新聞であって、図示した領域d,e,f及びこれ以外の領域に文字が印刷されていることから、ズーム倍率が小さいと印刷されている文字群から領域dを発見することが困難となる。また、領域指定マーク235は前記ステップS304では表示変更後は一定の形状であるから、領域dを精度よく領域指定マーク235内に収めることが困難となる。したがって、ユーザがズームキーを操作すれば、前記ステップS306でズーム処理が実行されることにより、領域dを容易に発見したり、領域dに精度よく領域指定マーク235を収めることが可能となる。
引き続き、マーキングキーが操作されたか否かを判断し(ステップS305)、操作されなかった場合には、ステップS301に戻る。したがって、シャッターキーが操作されるか、マーキングキーが操作されるまで、ステップS301〜S307のループが繰り返される。
したがって、本実施の形態によれば以下のような使用形態とすることができる。先ずズームキーを操作して(ステップS305;YES)、ズーム処理(ステップS306)によって拡大されたスルー画像にて領域dを発見する。領域dを発見したならば、領域指定マーク235の変更操作を行って(ステップS303;YES)、発見した領域dとほぼ相似形の領域指定マーク235に表示変更する(ステップS304)。しかる後に、再度ズームキーを操作して(ステップS305;YES)、ズーム処理(ステップS306)により領域指定マーク235内に領域dが収まるように拡大倍率を調整する。これにより、領域dの発見と、領域dの領域指定マーク235内への配置とを容易に行うことができる。
このように、デジタルカメラ10の角度やズーム倍率等を調整して図8(C)に示すように、領域指定マーク235内に第1の所望領域である領域dを位置させたならばマーキングキーを操作する。これにより、ステップS307の判断がYESとなり、マーキング画像撮影処理を実行する(ステップS308)。すなわち、CPU13は、マーキングキーの操作をトリガとして、CCD18、垂直及び水平ドライバ19、ユニット回路20、及び画像処理部21に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られた画像データをSDRAM22に一時記憶する。
なお、撮影処理を行うことなく、つまりスルー画撮影モードから静止画撮影モードへの切り替えを行うことなく、マーキングキーが操作された時点のスルー画像を取得するようにしてもよい。
次に、前記マーキング画像撮影処理により得られた画像データから領域指定マーク235により囲繞された領域の画像を抽出して、SDRAM22に保存するマーキング画像保存処理を実行する(ステップS309)。なお、領域指定マーク235により囲繞された領域の画像を抽出することなく、撮影処理により得られた画像データをそのままSDRAM22に保存するとともに、領域指定マーク235の位置情報(四隅の座標情報)を記憶し、後述するステップS316での読み出し処理時において、領域指定マーク235により囲繞された領域の画像を前記位置情報に基づいて、切り出すようにしてもよい。
また、マーキング画像が保存されていることを示すマーキングフラグがONとなっているか否かを判断し(ステップS310)、OFFとなっている場合には、マーキングフラグをONにする(ステップS311)。引き続き、マーキング画像の保存数をカウントするカウンタAの値をインクリメントして(ステップS312)、ステップS301に戻る。
したがって、ユーザが図8に示した領域d,e,fの文字をテキスト変換して保存したい場合には、先ず、(C)に示すように領域dに領域指定マーク235を合致させてマーキングキーを操作した後、(D)に示すように領域eに領域指定マーク235を合致させてマーキングキーを操作し、(E)に示すように領域fに領域指定マーク235を合致させてマーキングキーを操作する。これにより、ステップS307〜S312の処理が3回繰り返され、SDRAM22には抽出された領域d,e,fの画像が記憶されるとともに、カウンタA=3となる。
そして、このように所望領域全ての撮影を終了したならば、被写体Q全体が撮影可能な状態にデジタルカメラ10の向きやズーム倍率等を調整し、シャッターキー操作する。すると、ステップS302の判断がYESとなり、ステップS302からステップS313に進み、本撮影処理を実行する。この本撮影処理は、前述のように通常の撮影処理と同様であり、静止画撮影モードによる撮影処理により得られた画像データをSDRAM22に一時記憶する。
次に、マーキングフラグがONとなっているか否かを判断し(ステップS314)、OFFとなっている場合には、ステップS326に進んで、本撮影画像保存処理を実行する。この本撮影画像保存処理も、前述のように通常の撮影画像保存処理と同様であって、SDRAM22に保存した画像データを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録する。したがって、ユーザがマーキングキーを操作することなくシャッターキーのみを操作した場合には、通常の静止画撮影記録処理が実行される。
他方、ステップS314での判断の結果、マーキングフラグがONとなっている場合には、後述するステップS325において「0」にリセットされているカウンタBの値をインクリメントする(ステップS315)。引き続き、このカウンタBの値により示されるB番目のマーキング画像(ステップS309でSDRAM22保存された抽出画像)をSDRAM22から読み出す(ステップS316)。
次に、この読み出したマーキング画像のコントラストを検出して2値化し(ステップS317)、このコントラストを検出した画像の特徴点を抽出する(ステップS318)。他方、ステップS313で得られた本撮影画像に関しても、ステップS317でコントラストを検出して2値化する。そして、ブロックマッチング処理(ステップS319)において、マーキング画像から抽出した特徴点のブロックと、本撮影画像のブロック間の一致度を一致度評価関数によって評価する。この一致度評価関数による一致度評価値が最大となる位置を探索することで、画像間の対応をピクセル単位で求め、マーキング画像が本撮影画像のいずれかの領域と一致したか否かを判断する(ステップS320)。
マーキング画像が本撮影画像のいずれかの領域と一致したならば、撮影画像へのマーキング追加処理を行って、本撮影画像のマーキング画像と一致した領域に領域指定マークを合成する(ステップS321)。しかし、マーキング画像が本撮影画像のいずれの領域とも一致しなかった場合には、警告表示を実行する(ステップS323)。マーキング画像が本撮影画像のいずれの領域とも一致しない場合の理由としては、本撮影の画角からマーキング領域が外れていた場合や、被写体の特性上両者の一致性を検出することが不可能であった場合が想定される。
そして、このように、一致性が検出できなかった場合には、前記警告表示において再撮影(撮り直し)を行うか否かのメッセージを表示する。このメッセージに応答して、ユーザがキー入力部27にて所定の再撮影指示を行った場合には、ステップS324の判断がYESとなり、ステップS329に進んでマーキングフラグをOFFにするとともに、カウンタA,Bをリセットした後、ステップS301に戻る。
しかし、警告表示がなされても再撮影指示がなかった場合(ステップS324;NO)、及び適正にステップS321のマーキング追加処理が実行された場合には、カウンタBの値がマーキング画像枚数を示すカウンタAの値となったか否かを判断し(ステップS322)、B=Aとなるまで、ステップS315からの処理を繰り返す。したがって、本例において再撮影指示がなかった場合、及び適正にステップS321のマーキング追加処理が実行された場合には、ステップS315からの処理が3回繰り返される。また、これら3回の処理において全てステップS320の判断がYESであったとすると、3回実行されたステップS321での処理により、図8(F)に示すように、領域d,e,fに各々領域指定マーク235が合成付加された本撮影画像233が生成されることとなる。
そして、B=Aとなると、ステップS322からステップS325に進んでマーキングフラグをOFFにするとともに、カウンタA,Bをリセットする。また、このとき前記ステップS309でSDRAM22に記憶させたマーキング画像も消去する。さらに、本撮影画像保存処理を実行して、図8(F)に示した本撮影画像233のデータを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ25に記録する(ステップS326)。
この外部メモリ25に記録された静止画ファイルを再生した際には、所望領域である領域d,e,fに精度よく各々領域指定マーク235が付された本撮影画像233を液晶モニタ23に表示することができる。
引き続き、テキスト認識処理を実行し、前記本撮影画像233の領域d,e,f毎に文字認識を行って認識した文字をテキストデータに変換する(ステップS327)。
なお、本実施の形態においては、このように本撮影画像233の各領域d,e,fにおいて文字認識及びテキスト変換を行うようにしたが、前記ステップS309で保存されているマーキング画像や液晶モニタ23に表示されているスルー画像の各領域d,e,fの画像を用いて文字認識及びテキスト変換を行うようにしてもよい。前記ステップS309で保存されているマーキング画像を用いる場合には、ステップS325では、SDRAM22に記憶させたマーキング画像を消去することなく、ステップS327のテキスト認識処理が終了した時点で、順次処理を終了したマーキング画像を消去するようにすればよい。
さらに、このテキスト変換した各領域毎のテキスト情報をインデックス情報とともに外部メモリ25に記録し、また、各領域の画像データもインデックス情報とともに外部メモリ25に保存して(ステップS328)、ステップS301に戻る。
ここでインデックス情報とは、テキスト情報の場合、ステップS326で外部メモリ25に保存した本撮影画像233とリンクしていることを示すリンク情報と、本撮影画像233においてテキスト変換した各領域位置を示す位置情報である。また、各領域の画像データの場合、ステップS326で外部メモリ25に保存した本撮影画像233とリンクしていることを示すリンク情報と、本撮影画像233における前記画像データの領域が存在する部分の位置情報である。
したがって、後日ユーザが所望した領域のテキスト情報や領域の画像を単に表示あるいは印刷することができるのみならず、本撮影画像233を表示して領域指定マーク235がある位置を指定することにより、インデックス情報(位置情報)に基づいて、ユーザが所望した領域のテキスト情報や領域の画像を検索できるようにすることもできる。
なお、本実施の形態においては、領域指定マーク235の形状を表示変更できるようにしたが、領域指定マーク235の形状を一定としてもよい。
また、本実施の形態においては、スルー画像の一定箇所に単一の領域指定マーク235のみを表示させて本撮影を行うようにしたが、前述した第2の実施の形態と同様に、スルー画像上に複数の領域指定マーク235を表示させるようにしてもよい。これにより、ユーザは本撮影時において、各領域指定マーク235と所望領域との対応関係を液晶モニタ23にて確認しつつシャッターキーを操作することができる。また、各実施の形態においては、警告を表示で行うようにしたが音声により行うようにしてよい。