JP3984346B2 - 撮像装置及び画像合成方法 - Google Patents
撮像装置及び画像合成方法 Download PDFInfo
- Publication number
- JP3984346B2 JP3984346B2 JP36060897A JP36060897A JP3984346B2 JP 3984346 B2 JP3984346 B2 JP 3984346B2 JP 36060897 A JP36060897 A JP 36060897A JP 36060897 A JP36060897 A JP 36060897A JP 3984346 B2 JP3984346 B2 JP 3984346B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- partial
- boundary
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体を複数のブロックに分割して部分的に撮像し、各撮像画像を画像処理で合成して被写体全体に対する撮影画像を生成するデジタルカメラに関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤ等の固体撮像素子を用いたデジタルカメラにおいては、被写体を複数のブロックに分割して部分的に撮像し、各部分撮像画像を貼り合わせるように合成して被写体全体の撮影画像を生成することにより解像度を高める方法が提案されている。
【０００３】
例えば特開平６−１４１２４６号公報には、被写体光像を互いに境界部分がオーバーラップするように複数の部分に分割し、各部分光像を複数の撮像素子でそれぞれ撮像し、これらの部分的に撮像した画像をオーバーラップした境界部分で貼り合わせるように合成して被写体全体の画像を得るようにした撮像装置が示されている。この撮像装置では、境界部分に画像のずれが生じている場合、境界部分における画像のずれ量を平行移動量と回転移動量で表し、これらの移動量に基づき両画像を変するとで境界部分の画像のずれを補正した後、合成処理を行うようにしている。
【０００４】
また、特開平９−２３３３０号公報には、オーバーラップ領域における両部分画像の輝度変化の少ない位置を抽出し、その位置で両部分画像を繋ぎ合わせるように合成して被写体全体の画像を生成する画像処理装置が示されている。
【０００５】
また、画像処理においては、隣接する画像を繋ぎ合わせるモザイク処理における接合点付近の平滑化処理として、一般に、線形の加重平均化処理が知られている（画像解析ハンドブックｐ４６２〜ｐ４６７、東京大学出版会）。
【０００６】
この平滑化方法は、重服する部分の断面毎に、接合点の両側の所定の区間に亘って比例配分により両部分画像を混合して濃度差の不連続を緩和するものである。
【０００７】
【発明が解決しようとする課題】
ところで、隣接する部分画像を境界部分で貼り合わせる場合、両部分画像の位置合わせに誤差があると、両部分画像のオーバーラップ領域（境界部分）で画像のずれが生じる。このため、単純に両部分画像の境界部分を接続すると、その接続部分で画像が不連続になるので、両部分画像の境界部分を用いて画像のずれが生じないように補正した合成用の境界部分の画像を生成する必要がある。
【０００８】
しかし、上記特開平６−１４１２４６号公報記載の部分画像の合成方法は、一方の画像にない部分を他方の画像で補間するようにして合成用の境界部分の画像を生成するか、あるいは、境界部分の中心でいずれの画像を用いるかを決定するようにしているので、境界部分の画像の繋ぎ目で両側に股がる直線等の画像が屈曲するおそれがあり、画像のずれを生じないように補正することは困難である。
【０００９】
また、上記特開平９−２３３３０号公報のものでは、境界部分が小さい場合や境界部分の画像の輝度変化が大きい場合は、輝度変化の小さい部分を抽出することが困難であるため、画像のずれを低減した合成用の境界部分の画像を生成するにはさらなる工夫を必要とする。
【００１０】
また、線形の加重平均処理により合成用の境界部分の画像を生成する方法では、両部分画像に位置ずれがある場合、例えば位置ずれした２つの線状の画像を１つの画像に補正することは可能であるが、合成後の線状画像のエッジ部分の輝度曲線の勾配がなだらかとなり、全体的に輝度レベルが低下して線状画像のコントラストが低下するという問題がある。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、隣接する部分画像が貼り合わせ合成される境界部分に位置ずれがある場合にもその位置ずれが適正に補正された好適な画質の合成画像（被写体全体の撮影画像）が得られる撮像装置及び画像合成方法を提供するものである。
【００１２】
【課題を解決するための手段】
本発明は、被写体全体を境界部分が重複するように複数の部分に分割し、各部分を順次、撮像する撮像手段と、上記撮像手段によって撮像された各部分画像における上記境界部分の画像データに基づいて境界部分の輝度を調整する調整手段と、輝度調整後の各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成する画像合成手段とを備えたものである（請求項１）。
【００１３】
上記構成によれば、被写体全体を境界部分が重複するように複数の部分に分割して被写体の各部分が順次、撮像され、その各部分画像を構成する画像データは、境界部分の画像データに基づいて輝度調整が行われる。この後、各部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にこの合成用の境界部分の画像に対してエッジ強調処理が行われる。そして、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせて被写体全体の合成画像が生成される。
【００１４】
また、本発明は、被写体を全体的に撮像する第１の撮像手段と、境界部分が重複するように上記被写体全体を複数の部分に分割し、被写体の各部分を上記被写体全体の撮像サイズと略同一のサイズに拡大して順次、撮像する第２の撮像手段と、上記第１及び第２の撮像手段で撮像された画像を記憶する記憶手段と、上記第１の撮像手段で撮像された被写体全体の撮像画像を基準に上記第２の撮像手段で撮像された被写体の各部分画像の貼合せ合成における合成位置を算出する合成位置算出手段と、上記被写体の各部分画像を上記合成位置算出手段で算出された合成位置に位置合せした状態で、部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、当該部分画像を構成する画像データの輝度を調整する調整手段と、輝度調整後の隣接する２つの部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の画像を生成する画像合成手段とを備えたものである（請求項２）。
【００１５】
上記構成によれば、被写体を部分的に撮影し、複数の部分的な撮影画像（以下、部分画像という。）を境界部分で貼り合わせるように合成して被写体全体の撮影画像（以下、全体画像という。）が生成される。この場合、第１の撮像手段で被写体全体が撮影画面に入るように画面構成して被写体全体の撮影が行われ、この撮影画像（以下、プレ撮影画像という。）は記憶手段に記憶される。
【００１６】
また、第２の撮像手段で、境界部分が重複するように被写体全体を複数の部分に分割し、被写体の各部分を被写体全体の撮像サイズと略同一のサイズに拡大して順次、撮影され、その撮影画像（部分画像）が記憶手段に記憶される。例えば被写体を左右に２分割して撮影する場合、被写体の縦中心線近傍で重複するように被写体を分割し、例えば被写体に向かって左半分の部分が撮影画面に入るように画面構成して撮影が行われた後、被写体の右半分の部分が撮影画面に入るように画面構成して撮影が行われ、両撮影画像が記憶手段に記憶される。
【００１７】
そして、プレ撮影画像を基準に被写体の各部分画像の貼合せ合成における合成位置が算出され、各部分画像は、対応する合成位置に位置合せした状態で部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、当該部分画像を構成する画像データの輝度が調整される。
【００１８】
そして、輝度調整後の隣接する２つの部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にその合成用の境界部分の画像にエッジ強調処理が行われた後、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の撮影画像を生成される。
【００１９】
例えば上述の例では、左半分の部分画像と右半分の部分画像とがプレ撮影画像に一致するように位置合わせが行われた後、部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、左右の部分画像を構成する画像データの輝度が調整される。続いて、両部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にその合成用の境界部分の画像にエッジ強調処理が行われた後、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の両部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の撮影画像を生成される。
【００２０】
また、本発明は、上記撮像装置において、第１及び第２の撮像手段は、撮影倍率変更可能なレンズと被写体光像を電気画像に光電変換して取り込む撮像素子とが光軸方向変更可能に一体的に構成されてなる撮像部と、上記撮像部の光軸方向を変更する光軸変更部と、上記撮像部の光軸方向を正面方向に設定するとともに、撮影画面に被写体全体が入るように上記レンズの撮影倍率を設定して上記被写体を全体的に撮像する第１の撮像制御部と、上記撮像部の撮影倍率を上記被写体の各部分が互いに境界部分が重複するサイズで撮影画面に入るように拡大するとともに、上記撮像部の光軸方向を上記被写体の各部分に対応する所定の方向に順次、変更して上記被写体を部分的に撮像する第２の撮像制御部とからなることを特徴とする撮像装置（請求項３）。
【００２１】
上記構成によれば、撮影が指示されると、撮像部の光軸方向を正面方向に設定し、撮影画面に被写体全体が入るようにレンズの撮影倍率を設定して撮影が行われ、この撮影画像（プレ撮影画像）は記憶手段に記憶される。また、撮像部の撮影倍率を被写体の各部分が互いに境界部分が重複するサイズで撮影画面に入るように拡大するとともに、撮像部の光軸方向を被写体の各部分に対応する所定の方向に順次、変更して被写体の各部分の撮影が行われる。
【００２２】
例えば被写体を左右に２分割して撮影する場合、被写体の縦中心線近傍で重複するように被写体を分割し、例えば被写体に向かって左半分の部分が撮影画面に入るように撮影倍率を拡大した後、撮影手段の光軸方向を正面方向より所定角度だけ左側にずらせて被写体の右側部分の撮影が行われた後、撮影手段の光軸方向を正面方向より所定角度だけ右側にずらせて被写体の左側部分の撮影が行われる。
【００２３】
また、本発明は、被写体全体を境界部分が重複するように複数の部分に分割し、各部分を順次、撮像する撮像手段と、上記撮像手段によって撮像された各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、エッジ強調処理とスムージング処理後の境界部分の画像と、エッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像に対して補正処理を行う後処理手段とを備えたものである（請求項４）。
【００２４】
上記構成によれば、被写体全体を境界部分が重複するように複数の部分に分割して被写体の各部分が順次、撮像され、その各部分画像を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にこの合成用の境界部分の画像に対してエッジ強調処理が行われる。そして、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、エッジ強調処理とスムージング処理後の境界部分の画像と、エッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせて被写体全体の合成画像が生成され、その合成画像に対して補正処理が行われる。
【００２５】
また、本発明は、境界部分が重複するように被写体全体を複数の部分に分割して撮像された部分画像から被写体全体の合成画像を生成する画像合成方法であって、各部分画像における上記境界部分の画像データに基づいて各部分画像の輝度を調整するステップと、輝度調整後の各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成するステップと、上記合成用の境界部分の画像にエッジ強調処理を行うステップと、上記エッジ強調処理後の境界部分の画像にスムージング処理を行うステップと、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成するステップとを備えたものである（請求項５）。
【００２６】
上記構成によれば、被写体全体を境界部分が重複するように複数の部分に分割して撮像された各部分画像を構成する画像データは、境界部分の画像データに基づいて輝度調整が行われる。この後、各部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にこの合成用の境界部分の画像に対してエッジ強調処理が行われる。そして、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせて被写体全体の合成画像が生成される。
【００２７】
【発明の実施の形態】
本発明に係る撮像装置について、デジタルカメラを例に説明する。
【００２８】
図１は、デジタルカメラの一実施の形態の外観を示す斜視図、図２は、同デジタルカメラの背面図である。また、図３は、同デジタルカメラの撮像系の概略構成を示す図である。
【００２９】
デジタルカメラ１は、前面の略中央に撮像部２が光軸方向Ｌを変更可能に設けられ、その上部に被写体輝度を測定するための測光部３が設けられ、この測光部３の左横に被写体距離を測定する測距部４が、また、測光部３の右横にフラッシュ５が設けられている。
【００３０】
撮像部２は、図３に示すように、筐体２０１の前面に突設されたズームレンズからなる撮影レンズ２０２と筐体２０１内の光軸Ｌ上の所定位置に配設されたＣＣＤエリアセンサからなる撮像素子２０３とで構成されている。筐体２０１の側面には、光軸Ｌと直交する方向に一対の回転軸２０１ａが突設され、両回転軸２０１ａは、Ｕ字形の支持枠２０１ｂの両端部に回転可能に支持されている。Ｕ字形の支持枠２０１ｂの枠中央には外方向に回転軸２０１ｃが突設され、この回転軸２０１ｃの先端は、電動モータ１５のロータに連結されている。また、一方の回転軸２０１ａの先端は、電動モータ１６のロータに連結されている。
【００３１】
電動モータ１５は、筐体２０１を左右方向（図中、Ｈ方向）に回動させる駆動源であり、電動モータ１６は、筐体２０１を上下方向（図中、Ｖ方向）に回動される駆動源である。電動モータ１５を駆動すると、そのロータに連結されたＵ字形の支持枠２０１ｂが水平面内で回動し、これにより光軸Ｌが水平面内で変化するように筐体２０１が回動する。また、電動モータ１６を駆動すると、そのロータに連結された回転軸２０１ａが回動し、これにより光軸Ｌが垂直面内で変化するように筐体２０１が回動する。
【００３２】
また、撮影レンズ２０２の鏡胴部分には電動モータ１７が設けられ、この電動モータ１７により撮影レンズ２０２を駆動してズーム比が変更される。
【００３３】
なお、本実施の形態では、撮影レンズ２０２と撮像素子２０３とが対をなし、ズーム比を連続的に変更可能な構造としているが、プリズムや反射鏡等で複数のレンズと撮像素子との組合せを切り換えてズーム比を段階的に切り換える構造にしてもよい。
【００３４】
測光部３は、ＳＰＣ等の受光素子を有し、被写体からの反射光を受光して被写体の輝度を検出する。測距部４は、例えばアクティブ測距方式により被写体までの距離を検出するものである。測距部４は、被写体に対して赤外光を照射する発光素子とこの赤外光の被写体からの反射光を受光する受光素子とを有し、赤外光の被写体での反射角に基づきカメラから被写体までの距離を検出するものである。なお、本実施の形態では、測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。
【００３５】
デジタルカメラ１の上面には、左端部にシャッタボタン６が設けられている。シャッタボタン６は、半押しで焦点調節、露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。また、デジタルカメラ１の側面下部には、電源スイッチ７とハードディスクカード１０（以下、ＨＤカード１０という。）が装着脱されるカード挿入口８とが設けられ、カード挿入口８の上部に装着されたＨＤカード１０をイジェクトするためのカード取出ボタン９が設けられている。
【００３６】
撮影結果を記録紙にプリントする場合、カード取出ボタン９を押してＨＤカード１０をデジタルカメラ１から取り出し、例えばＨＤカードが装着可能なプリンタにそのＨＤカード１０を装着すれば、撮影画像のデータをＨＤカード１０から直接、読み出して記録紙にプリントすることができる。
【００３７】
なお、デジタルカメラ１にＳＣＳＩケーブルのインターフェースを設け、デジタルカメラ１とプリンタとをＳＣＳＩケーブルで接続してデジタルカメラ１からプリンタにデータを転送して撮影画像を記録紙にプリントするようにしてもよい。
【００３８】
また、本実施の形態では、画像データの記録媒体としてＰＣＭＣＩＡ準拠のＨＤカードを採用しているが、撮影画像のデータを記録できるものであれば、メモリカードやミニディスク等の他の記録媒体でもよい。
【００３９】
デジタルカメラ１の背面には、図２に示すように、略中央にＬＣＤ（Liquid Crystal Display）からなる表示部１１（以下、ＬＣＤ表示部１１という。）が設けられている。ＬＣＤ表示部１１は、光学ファインダに相当するものである。
【００４０】
デジタルカメラ１が起動すると、撮像部２でビデオ撮影が行われ、この撮影画像をＬＣＤ表示部１１に表示することにより、撮影者は撮影画面内の被写体をモニタすることができるようになっている。また、撮影者がシャッタボタン６を押して撮影動作を行うと、静止画の撮影動作が行われる一方、ＬＣＤ表示部１１ではレリーズ直後の撮影画像が静止画で表示され、撮影者は、ＬＣＤ表示部１１で撮影画像（静止画）をモニタすることができるようになっている。
【００４１】
更に、デジタルカメラ１は、撮影モードとして、被写体を複数の部分に分割し、部分的に撮影した画像（以下、部分画像という。）を画像処理で貼り合わせるように合成して解像度の高い被写体全体の画像（以下、全体画像という。）を生成する撮影モード（以下、この撮影モードを高解像度モードという。）を有し、この高画像度モードにおいても、最初に被写体全体を撮影してその撮影画像（静止画）をＬＣＤ表示部１１に表示させることにより、撮影者が合成後の画像の内容を迅速にモニタできるようになっている。
【００４２】
ＬＣＤ表示部１１の左側には、静止画表示解除ボタン１２が設けられている。静止画表示解除ボタン１２は、撮影処理を行う毎に動画表示から静止画表示に自動的に切り換えられるＬＣＤ表示部１１の表示モードを、次の撮影のために静止画表示から動画表示に復帰させるための操作ボタンである。表示モードの復帰動作を操作者のマニュアル操作で行わせるようにしているのは、モニタ時間を固定化しないで撮影画像のモニタの利便性を高めるようにしたものである。なお、静止画表示を予め設定した所定の時間だけ行った後、自動的に静止画表示から動画表示に復帰させるようにして静止画表示解除ボタン１２を省略するようにしてもよい。
【００４３】
デジタルカメラ１の背面下端部には、左隅部に高解像度モード設定スイッチ１３が設けられ、右隅部に合成画像数設定スイッチ１４が設けられている。
【００４４】
高解像度モード設定スイッチ１３は、上述した高解像度モードを設定するスイッチである。高解像度モード設定スイッチ１３を「ＯＮ」に設定すると、高解像度モードが設定され、「ＯＦＦ」に設定すると、通常の撮影モードが設定される。
【００４５】
高解像度モードでは、図４に示すように、シャッタボタン６が全押しされると、まず、撮像部２の光軸Ｌを正面方向に設定し、被写体全体の撮影が行われる（図４（１）全体撮影を参照）。すなわち、図５に示すように、撮像部２の光軸Ｌは正面方向（ｏ方向）に初期設定されているので、被写体Ｑ（図では風景）の全体が撮影画面Ｐ１内に入るように画面構成を調整してシャッタボタン６を押すと、被写体Ｑ全体の撮影が行われる。なお、図４（１）の「（１）」は図４では丸文字で記載している。
【００４６】
この撮影画像（以下、この全体の撮影画像をプレ撮影画像という。）は、ＬＣＤ表示部１１に静止画表示され（図４（２）全体画像表示を参照）、また、このプレ撮影画像Ｇを補間処理して４倍のサイズに拡大された画像Ｇ′が生成される（図４（３）全体画像拡大を参照）。この拡大画像Ｇ′は、引き続き被写体を部分的に撮影して得られる４個の部分画像ＧＡ〜ＧＤを貼合せ合成する際の各部分画像ＧＡ〜ＧＤの像歪み補正と画像合成の基準となるものである。なお、図４（２），（３）の「（２）」，「（３）」は図４では丸文字で記載している。
【００４７】
従って、高解像度モードでは、レリーズ直後に最終的に合成される全体画像がＬＣＤ表示部１１に表示され、合成後の全体画像が迅速にモニタできるようになっている。
【００４８】
続いて、撮像部２の光軸Ｌを正面方向以外の所定の方向に変化させるとともに、撮影倍率を所定の倍率（２倍）に増大して被写体全体を４分割してなる部分画像ＧＡ〜ＧＤの撮影（部分画像の取込み）が順次、行われる（図４（４）分割撮影を参照）。すなわち、図５に示すように、撮像部２の光軸Ｌの方向が被写体Ｑの向かって左上の部分を見る所定の方向（ａ方向）に変更されるととともに、被写体Ｑの略１／４が撮影画面Ｐ２内に入るように、撮影レンズ２０２の撮影倍率が略２倍に増大され、被写体Ｑの左上部分の撮影が行われる。この後、撮影レンズ２０２の撮影倍率は変化させないで、撮像部２の光軸Ｌの方向を、被写体Ｑの向かって右上、右下、左下の部分を見る所定の方向（ｃ，ｄ，ｂ方向）に順次、変化して被写体Ｑの右上部分、右下部分及び左下部分の撮影がそれぞれ行われる。このとき、被写体Ｑの部分画像の取込みにおける画角は、隣接する部分画像の境界部分が互いに重複するように設定される。なお、図４（４）の「（４）」は図４では丸文字で記載している。
【００４９】
この後、部分画像ＧＡ〜ＧＤを拡大画像Ｇ′と比較してそれぞれ拡大画像Ｇ′に対する合成位置と像歪み補正用の画像データの変換量が算出され（図４（５）位置合わせを参照）、この変換量に基づいて各部分画像ＧＡ〜ＧＤが幾何学的に変換された後、この合成位置に基づいて画像変換後の部分画像ＧＡ〜ＧＤを境界部分で貼り合わせるようにして全体画像が生成される。そして、この全体画像はＨＤカード１０に記録される。なお、図４（５）の「（５）」は図４では丸文字で記載している。
【００５０】
なお、本実施の形態では、プレ撮影画像Ｇの拡大画像Ｇ′を合成位置の基準画像としているが、プレ撮影画像Ｇそのものを合成位置の基準画像とし、部分画像ＧＡ〜ＧＤの縮小画像とプレ撮影画像Ｇとを比較して合成位置を算出するようにしてもよい。
【００５１】
また、図５では、被写体Ｑを中心に相対的に撮影画面Ｐ１，Ｐ２を描いているので、撮影画面Ｐ２が撮影画面Ｐ１より小さくなっているが、撮像部２の撮像面においては、撮影画面Ｐ１と撮影画面Ｐ２のサイズは同一であるので、撮影画面Ｐ１の画面構成では、撮影画面Ｐ２の画面構成よりも被写体Ｑが小さいサイズで撮像面に投影されている。従って、プレ撮影画像は、投影光像と画素密度との関係から部分画像よりも低解像度の画像となるので、部分画像を合成して得られる全体画像の解像度は、プレ撮影画像よりも高くなっている。
【００５２】
一方、通常の撮影モードでは、シャッタボタン６を押すと、１回だけ撮影動作が行われ、その撮影画像が所定の画像処理（画像全体に対して適正なγ補正、ＷＢ調整、輪郭補正、色むら補正等の処理）が施された後、ＨＤカード１０に記録される。この撮影処理は、実質的に高解像度モードにおけるプレ撮影画像に所定の画像処理を施してＨＤカード１０に記録するのと等価である。従って、通常の撮影モードにおける撮影画像は、高解像度モードにおける撮影画像（合成画像）よりも解像度が低くなっている。図５の例では、部分画像の撮影倍率が略２倍であるので、高解像度モードで撮影された画像（合成画像）は、通常の撮影モードで撮影された画像の略４倍の解像度を有している。
【００５３】
図２に戻り、合成画像数設定スイッチ１４は、高解像度モードにおける部分画像の枚数（すなわち、被写体の分割数）を設定するスイッチである。合成画像数設定スイッチ１４は、被写体をｎ×ｍのマトリックス状に分割する際の縦方向の分割数ｎと横方向の分割数ｍとをそれぞれ最大４まで設定できるようになっている。合成画像数設定スイッチ１４は、一対の４接点スライドスイッチ１４ａ，１４ｂからなり、上側のスライドスイッチ１４ａで縦方向の分割数ｎが設定され、下側のスライドスイッチ１４ｂで横方向の分割数ｍが設定される。
【００５４】
なお、本実施の形態では、撮影者が分割数を設定可能にしているが、予め所定の分割数を固定的に設定しておき、合成画像数設定スイッチ１４を省略するようにしてもよい。
【００５５】
図６は、本発明に係るデジタルカメラのブロック構成図である。
【００５６】
同図において、太線の矢印は画像データの流れを示し、細線の矢印は制御データの流れを示している。また、図１〜図３に示した部材と同一部材には同一番号を付している。
【００５７】
制御部２０は、デジタルカメラ１の撮影動作を集中制御するもので、マイクロコンピュータからなる。制御部２０は、後述する各種部材の駆動を制御する。
【００５８】
撮像制御部２１は、撮像部２の駆動を制御するものである。撮像制御部２１は、ズーム制御回路２１１、走査制御回路２１２及び撮像制御回路２１３を備えている。ズーム制御回路２１１は、撮像レンズ２０２のズーム比（撮影倍率）を制御するものである。撮影倍率は、高解像度モードにおける部分画像の取込みにおいて変更され、部分画像の枚数（すなわち、被写体の分割数）に応じて予め設定されている。合成画像数設定スイッチ１４により設定された被写体の分割数の情報は制御部２０を介して撮像制御部２１に入力され、ズーム制御回路２１１は、入力された被写体の分割数の情報に基づき対応する撮影倍率を設定し、この撮影倍率に基づき電動モータ１７を駆動して撮像レンズ２０２を所定の撮影倍率に設定する。
【００５９】
走査制御回路２１２は、高解像度モードでの各部分画像の撮像順、すなわち、撮像部２の光軸Ｌの方向の変更動作を制御するものである。部分画像の取込みにおける各光軸Ｌの方向（すなわち、筐体２０１の正面方向に対する水平／垂直方向の移動量）も部分画像の枚数（すなわち、被写体の分割数）に応じて予め設定されている。また、各部分画像の取込順も部分画像の枚数（すなわち、被写体の分割数）に応じて予め設定されている。図５の例では、ａ−ｃ−ｄ−ｂの順にコ字形に光軸Ｌの方向を走査させていたが、走査方向はこれに限定されず、ａ−ｂ−ｄ−ｃやａ−ｃ−ｂ−ｄ等の任意の走査方法を採用することができる。走査制御回路２１２は、入力された被写体の分割数の情報に基づき各部分画像に対する光軸Ｌの方向とその走査方向とを設定し、光軸Ｌの方向に基づき電動モータ１５，１６を駆動して撮像部２の視野を所定の方向に設定する。
【００６０】
撮像制御部２１３は、撮像素子２０３（以下、ＣＣＤ２０３という。）の撮像動作（電荷蓄積及び蓄積電荷の読出）を制御するものである。撮像制御部２１３は、撮影待機状態では、ファインダ用の画像を取り込むべくＣＣＤ２０３をビデオ駆動させる（１／３０秒毎に撮像動作を繰り返す）。また、通常の撮影モードにおいては、制御部２０から入力された撮影タイミングの制御信号に基づいてＣＣＤ２０３の撮像動作を１回だけ行わせ、高解像度モードにおいて、制御部２０から入力された撮影タイミングの制御信号に基づいてＣＣＤ２０３の撮像動作を所定の回数（制御部２から入力された被写体の分割数Ｎに対して（Ｎ＋１）回）だけ連続的に行わせる。
【００６１】
Ａ／Ｄ変換部２２は、撮像部２から出力された画像信号（アナログ信号）を、例えば８ビット構成のデジタル信号（以下、この画像信号を画像データという。）に変換するものである。
【００６２】
画像処理部２３は、通常の撮影モードにおいて、画像データにγ補正、ＷＢ調整、輪郭補正等の所定の画像処理を施すものである。また、高解像度モードにおいて、上記画像処理を行いつつ、複数の部分画像の画像データを貼り合わせるように合成して全体画像の生成を行う。なお、高解像度モードにおける画像処理については後述する。
【００６３】
ＬＣＤ駆動制御部２４は、ＬＣＤ表示部１１の駆動を制御し、撮影画像をモニタ表示させるものである。ＬＣＤ駆動制御部２４は、画像処理部２３から入力される画像データに基づきＬＣＤ表示部１１の各画素位置の発光を制御して当該ＬＣＤ表示部１１に画像を表示させる。カード駆動制御部２５は、画像データを記録する際のＨＤカード１０の駆動を制御するものである。
【００６４】
ＡＥ・ＡＷＢ演算部２６は、高解像度モードにおける部分画像の取込時の露出値とＷＢ調整値とを演算するものである。ＡＥ・ＡＷＢ演算部２６は、高解像度モードにおいて取り込まれたプレ撮影画像の画像データから部分的に撮像される領域の画像データを抽出し、その画像データを用いて対応する部分画像の取込時の露出値とＷＢ調整値とを演算する。
【００６５】
ＲＡＭ（Random Access Memory）２７は、制御部２が撮影に関する演算処理を行うためのメモリである。また、ＲＯＭ（Read Only Memory）２８は、撮影制御に関する処理プログラム、撮像部２の駆動制御に必要なデータ、後述する高解像度モードでの画像処理に必要な各種のデータや処理プログラム等が記憶されたメモリである。
【００６６】
図７は、画像処理部内の高輝度モードにおける画像処理に関するブロック構成の第１の実施の形態を示す図である。
【００６７】
同図において、太線の矢印は画像データの流れを示している。画像メモリ２３１は、Ａ／Ｄ変換部２２から入力される画像データを記憶するメモリである。画像メモリ２３１は、ＲＡＭからなり、プレ撮影画像記憶領域２３１ａ及び部分画像記憶領域２３１ｂを有している。
【００６８】
プレ撮影画像記憶領域２３１ａは、プレ撮影画像の画像データが記憶される領域である。なお、通常の撮影モードにおいては、撮影画像の画像データもプレ撮影画像記憶領域２３１ａに記憶される。プレ撮影画像記憶領域２３１ａに記憶された通常の撮影モードにおける撮影画像や高解像度モードにおけるプレ撮影画像は、ＬＣＤ駆動制御部２４に読み出され、ＬＣＤ表示部１１に表示（動画表示又は静止画表示）される。また、部分画像記憶領域２３１ｂは、部分画像の画像データが記憶される領域である。
【００６９】
画像拡大回路２３２は、プレ撮影画像を部分画像取込時の撮影倍率と略同一の倍率で拡大して拡大画像を生成するものである。すなわち、画像拡大回路２３２は、例えば図４の例において、プレ撮影画像Ｇを略４倍に拡大して拡大画像Ｇ′を生成し、マッチング演算回路２３４に入力する。
【００７０】
前処理回路２３３は、部分画像の貼合せ合成処理の前に各部分画像に対して必要な処理を行う回路である。前処理には、輝度補正、ノイズ除去、スムージング、エッジ強調等の処理が含まれる。各部分画像に対する前処理は、拡大画像と部分画像との間での輝度差や輪郭のずれ等を補正して合成位置の決定を容易するためのものである。前処理回路２３３は、画像メモリ２３１の部分画像記憶領域２３１ｂから各部分画像を順次、読み出し、上述の輝度補正等の所定の前処理を施した後、マッチング演算回路２３４に入力する。
【００７１】
マッチング演算回路２３４は、部分画像毎に、拡大画像の対応する位置の画像（部分的な画像）に略一致するように各部分画像を幾何学的に変形させる際の画像データの変換量（以下、マッチング変換量という。）を演算するものである。
【００７２】
本実施の形態では、撮像部２の光軸Ｌの方向を変化させて被写体の部分をそれぞれ撮像するようにしているので、各部分画像の撮像における露出制御値やＷＢ調整部の相違によって部分画像間に輝度差が生じるおそれがある。また、被写体の撮像部分に対して光軸Ｌが斜め方向となり、撮像された各部分画像に遠近法的な像歪みが生じる。すなわち、図８に示すように、例えば被写体である掲示板Ｑを部分画像ＧＡ〜ＧＤに４分割して撮影した場合、図９に示すように、各部分画像ＧＡ〜ＧＤに遠近法的な像歪みが生じる。
【００７３】
部分画像間の輝度差のみを補正して各部分画像を境界部分で貼り合わせるように合成してもよいが、単純に貼合せ合成をした場合は、図１０に示すように、各部分画像の遠近法的な像歪みが合成後の全体画像に発生し、更には境界部分に図柄の屈曲やずれも発生することがあるので、著しく画質を低下させることになる。この不具合を低減するため、部分画像の遠近法的な像歪みを光軸Ｌのずれと被写体距離とに基づいて補正する方法も考えられるが、この方法では、各部分画像の像歪みを補正するための回路や処理が新たに必要になり、装置の複雑化、大型化、高価格化を招くことになる。
【００７４】
本実施の形態では、各部分画像をプレ撮影画像を基準に幾何学的に変形させることにより貼合せ合成における合成位置を決定するとともに、遠近法的な像歪みを補正することで、装置の複雑化、大型化、高価格化を招くことなく合成後の全体画像の画質低下を低減するようにしている。従って、マッチング演算回路２３４では部分画像毎に、各部分画像を拡大画像の対応する位置の画像に一致させるための画像データの変換量が演算され、この演算結果は、幾何学的画像変換回路２３５及び画像合成回路２３６に入力される。
【００７５】
マッチング演算回路２３４は、例えば拡大画像内に含まれる複数の特徴点を抽出し、図１１に示すように、部分画像を平行移動、回転移動、拡大／縮小等の幾何学的な変換を行いつつ拡大画像と比較し、特徴点の重なり度が最も大きくなる幾何学的変換量を算出する。なお、部分画像画が拡大画像上で最も一致度が高い位置（以下、この位置をマッチング位置という。）はその位置に各部分画像を配置した状態で境界部分を貼り合わせるように合成処理が行われることから、この幾何学的変換量は、その部分画像の合成処理における合成位置の情報ともなっている。
【００７６】
特徴点は、特定の文字や文字列、特定の線、特定の幾何学的図形（例えば三角形、円、楕円等）、特定のエッジ部分等の特徴的な画像情報を有する領域の画像データである。特徴点としての文字や文字列は、公知の文字認識方法により抽出され、特徴点としての幾何学的図形は、公知のテクスチュア解析により抽出され、特徴点としてのエッジは、公知のエッジ検出手法により抽出される。
【００７７】
また、図１１において、ｇ１，ｇ２，ｇ３，ｇ４は、それぞれ左上、右上、右下及び左下の部分画像Ｇ１，Ｇ２，Ｇ３，Ｇ４の拡大画像Ｇ０におけるマッチング位置を示している。左上の部分画像Ｇ１は、「ＡＢＣ」の文字列Ｃ１又は長方形Ｃ２を特徴点として、平行移動法によりマッチング位置ｇ１が算出される場合を示し、右上の部分画像Ｇ２は、矩形Ｃ３を特徴点として、拡大／縮小法によりマッチング位置ｇ２が算出される場合を示している。また、右下の部分画像Ｇ３は、太線Ｃ４又は太線Ｃ４のエッジを特徴点として、回転移動法によりマッチング位置ｇ３が算出される場合を示し、左下の部分画像Ｇ４は、長方形Ｃ２又は太線Ｃ４を特徴点として、輝度変換法によりマッチング位置ｇ４が算出される場合を示している。
【００７８】
幾何学的変換量のパラメータは、マッチング方法により異なり、平行移動法では平行移動量、回転移動法では回転中心と回転角度である。また、拡大／縮小法では、点を中心とした拡大／縮小の場合はその中心位置と倍率であり、図１２（ａ）（ｂ）に示すように、軸を中心とした直線方向又は円弧方向の拡大／縮小の場合は軸の位置、拡大／縮小方向及び倍率である。
【００７９】
更に、特徴点の重なり度は、プレ撮影画像の特徴点を構成する画像データとその特徴点に対応する幾何学変換された部分画像の画素位置の画像データとの相関値や両画像データの差の絶対値和若しくは両画像データの差の２乗和を用いて判別される。
【００８０】
なお、部分画像に対して拡大又は縮小の幾何学的変換を行うと、変換後の画素位置と拡大画像の画素位置との間にずれが生じるので、好ましくは拡大画像の特徴点を構成する画素位置に対応する幾何学的変換後の部分画像の画像データを公知のNearest Neibougher法やCubic Convolution法等の補間処理により補正するとよい。また、本実施の形態では、特徴点近傍の画像データを用いて重なり度を判別するようにしているが、部分画像全体について重なり度を判別して画質の向上を図るようにしてもよい。この場合は、ブロック毎や数画素置きに画像データを間引いて画素数を減少させたものを用いることで、処理速度の低下を抑えるようにするとよい。
【００８１】
幾何学的画像変換回路２３５は、マッチング演算回路２３４で算出された幾何学的変換量に基づいて各部分画像の幾何学的変換を行うものである。具体的には、各部分画像を構成する画像データのアドレスを幾何学的変換量を用いて所定の変換式により変換する。
【００８２】
画像合成回路２３６は、幾何学的変換が行われた複数の部分画像を互いに重複する境界部分で貼り合わせるように合成するものである。画像合成回路２３６は、互いに隣接する部分画像の重複する境界部分の画像データを用いて合成用の境界部分の画像を生成し、この合成用の境界部分の画像と両部分画像の境界部分を除いた画像とを繋ぎ合わせて両部分画像の合成を行う。
【００８３】
ところで、幾何学的変換が行われた隣接する部分画像の境界部分が全く同一であれば、合成用の境界部分の画像を生成することなくそのまま両部分画像を繋ぎ合わせれば、両部分画像を簡単に合成することができる。しかし、例えば回転移動等により隣接する部分画像の境界部分で１画素未満のずれが生じた場合や撮影条件の相違により輝度分布が異なる場合は、単純に両部分画像を繋ぎ合わせても両者の画像の整合（濃度分布の整合や図形の整合）を取ることはできないので、両部分画像の境界部分の画像データを用いて境界部分の濃度変化や図形のずれが不自然とならないような合成用の画像を生成する必要がある。
【００８４】
図１３は、境界部分の画像に輝度レベルの差と模様のずれが生じている場合の合成方法の一例を示す図で、（ａ）は左側の部分画像の図、（ｂ）は右側の部分画像の図、（ｃ）は左右の部分画像を境界部分で重ね合わせるように合成した図である。
【００８５】
左右の部分画像Ａ，Ｂの境界部分にはそれぞれ帯状の図形Ｒa，Ｒbが含まれているが、帯状図形Ｒaは、帯状図形Ｒbに対して少し左側に傾斜し、その濃度も帯状図形Ｒbより若干、濃くなっている。左側部分画像Ａと右側部分画像Ｂとを境界部分を重ね合わせるように合成する場合、合成後の帯状図形Ｒcは、図１３（ｃ）に示すように、帯状図形Ｒaと帯状図形Ｒbとの中間に生成されることが好ましい。
【００８６】
図１４は、理想的な合成後の帯状図形Ｒcを構成する画像データ列からなる信号の波形を示すもので、図１３（ｃ）の直線Ｍ上における信号波形である。同図において、実線で示す波形Ｓaは、帯状図形Ｒaを構成する画像データ列からなる信号の波形であり、破線で示す波形Ｓbは、帯状図形Ｒbを構成する画像データ列からなる信号の波形である。また、太線で示す波形Ｓcは、理想的な合成後の帯状図形Ｒcを構成する画像データ列からなる信号の波形である。
【００８７】
図１４に示すように、理想的な信号Ｓcは、信号Ｓaと信号Ｓbとの中間位置にあり、その山頂部のレベルと幅が信号Ｓa，Ｓbの山頂部のレベルと幅とに略一致したものとなっている。
【００８８】
左側部分画像Ａの境界部分の画像データと右側部分画像Ｂの境界部分の画像データとを用いて合成用の境界部分の画像データを生成する場合、境界部分の左側では左側部分画像Ａの画像データの割合を線形的に大きくし、境界部分の右側では右側部分画像Ｂの画像データの割合を線形的に大きくした重み係数を用いて両部分画像Ａ，Ｂの画像データを加重平均して合成用の境界部分の画像データを生成する方法が知られている。
【００８９】
この線形的な加重平均処理は、図１６に示すように、重複する境界部分の総画素数をＮとし、境界部分の左端から右端側に各画素のアドレスを１，２，…Ｎとすると、合成用の境界部分の画像の画素位置ｋの画像データｇ3(k)を、例えば下記演算式で決定するものである。
【００９０】
【数１】
【００９１】
なお、上記演算式では、画像データｇ1(k)の重み係数は右側部分画像Ａの左端からの距離ｋに設定され、画像データｇ2(k)の重み係数は左側部分画像Ｂの右端からの距離（Ｎ−ｋ）に設定されている。
【００９２】
図１５は、図１０（ｃ）における信号波形Ｓa，Ｓbに対して線形的な加重平均処理を施して生成した帯状図形Ｒcを構成する画像データ列からなる信号の波形を示す図である。実線で示す波形Ｓaは、帯状図形Ｒaを構成する画像データ列からなる信号の波形であり、破線で示す波形Ｓbは、帯状図形Ｒbを構成する画像データ列からなる信号の波形である。また、太線で示す波形Ｓcは、線形的な加重平均処理で生成された帯状図形Ｒcを構成する画像データ列からなる信号の波形である。
【００９３】
加重平均処理は、左側部分画像Ａと右側部分画像Ｂとを境界部分で貼り合わせる際、境界部分で両画像の濃度差が緩和されるように、合成用の境界部分の画像データを生成するものであるから、左側部分画像Ａと右側部分画像Ｂとの輝度差が大きいと、図１５に示すように、合成用の境界部分に含まれる帯状図形Ｒcを構成する画像データ列からなる信号Ｓcは、輝度の低い左側部分Ｂの影響を受けて、理想的な信号波形（図１４参照）に比べてそのレベルが低下するとともに、波形の形も大きく崩れてくる。特に、左側部分画像Ａと右側部分画像Ｂとの境界部分の重複するサイズが画素ピッチに対して十分に大きいと、合成後の境界部分の画像の中央部分の画像データは、部分画像Ａの画像データと部分画像Ｂの画像データとの成分比率が略均等になる（すなわち、両画像データの単純平均値となる）ので、帯状画像Ｒcを構成する画像データ列からなる信号Ｓcの山が更に低くなり、帯状画像Ｒcの濃度がより薄くなるという不具合が生じる。
【００９４】
そこで、本実施の形態では、合成用の境界部分の画像を生成する際、エッジ強調処理とスムージング処理とを併用して合成後の帯状画像Ｒcの濃度低下及び形状変化を抑えるようにしている。従って、画像合成回路２３６は、レベル調整回路２３６ａ、加重平均回路２３６ｂ、エッジ強調回路２３６ｃ、スムージング回路２３６ｄ及び画像貼合せ回路２３６ｅを備え、以下に説明するように、エッジ強調処理及びスムージング処理を併用して合成用の境界部分の画像を生成するようになっている。
【００９５】
図１７は、エッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図である。図１７は、図１３（ｃ）の場合の合成用の境界部分の画像の生成処理における各種信号の波形を示したもので、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【００９６】
合成用の境界部分の画像を生成するに当たり、画像合成回路２３６では、まず、レベル調整回路２３６ａで帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルが調整される（図１７（ａ）の状態参照）。すなわち、左側部分画像Ａの境界部分を構成する画像データ群のレベル平均値Ｖaと右側部分画像Ｂの境界部分を構成する画像データ群のレベル平均値Ｖbとが算出され、更に両レベル平均値Ｖa，Ｖbの平均値Ｖab（＝（Ｖa＋Ｖb）／２）が算出される。そして、左側部分画像Ａの境界部分を構成する各画像データのレベル値から補正値ΔＶa（＝｜Ｖab−Ｖa｜）を減算して信号Ｓaのレベルを全体的に低下させるとともに、右側部分画像Ｂの境界部分を構成する各画像データのレベル値から補正値ΔＶb（＝｜Ｖab−Ｖb｜）を加算して信号Ｓbのレベルを全体的に上昇させて、両信号Ｓa，Ｓbのレベルが調整される。
【００９７】
続いて、加重平均回路２３６ｂでレベル調整後の左側部分画像Ａの境界部分を構成する画像データと右側部分画像Ｂの境界部分を構成する画像データとを用いて上述の加重平均演算を行って合成用の境界部分の画像（以下、この画像を合成用境界画像という。）が生成される。この加重平均処理により、合成用境界画像内に図１７（ｂ）の波形Ｓcを有する帯状図形Ｒcが生成される。
【００９８】
続いて、エッジ強調回路２３６ｃで合成用境界画像を表す関数をｆ(i,j)とすると、ｆ(i,j)−∇２ｆ(i,j)の演算処理を行ってエッジ強調が行われる。すなわち、具体的には、合成用境界画像を構成する画像データに、例えば図１８に示すラプラシアンフィルタを用いてエッジ強調のフィルタリング処理が施される。このフィルタリング処理では、合成用境界画像がｎ×ｍ個の画像データで構成されているとすると、画素位置（ｉ，ｊ）（ｉ＝１，２，…ｎ、ｊ＝１，２，…ｍ）の画像データｇ(i,j)がｇ(i,j)′＝｛４ｇ(i,j)−ｇ(i-1,j)−ｇ(i,j-1)−ｇ(i,j+1)−ｇ(i+1,j)｝／４の画像データに置換される。そして、このフィルタリング処理により合成用境界画像に含まれる帯状図形Ｒcを構成する画像データ列からなる信号Ｓcの波形は、図１７（ｃ）に示す信号Ｓc′のように変化する。
【００９９】
なお、本実施の形態では、３×３のサイズのラプラシアンフィルタを用いているが、ラプラシアンフィルタは他のサイズのものでもよい。また、ラプラシアンフィルタに限らず、エッジ強調が可能なラプラシアンに近似した係数を有する広域強調フィルタを用いてもよい。
【０１００】
続いて、スムージング回路２３６ｄでエッジ強調後の合成用境界画像に対してスムージング処理が施される。具体的には、合成用境界画像を構成する画像データに、例えば図１９に示す平滑化フィルタを用いてエッジ強調により信号Ｓc′の山頂部の両端に生じた２つの山や信号Ｓc′の裾野部に生じた２つの谷を平滑化するフィルタリング処理が施される。このフィルタリング処理では、合成用境界画像の画像データｇ(i,j)が下記演算式で算出される画像データｇ(i,j)″に置換される。
【０１０１】
【数２】
【０１０２】
そして、このフィルタリング処理により合成用境界画像に含まれる帯状図形Ｒcを構成する画像データ列からなる信号Ｓc′の波形は、図１７（ｄ）の信号Ｓc″のように変化する。
【０１０３】
なお、本実施の形態では、３×３のサイズの平滑化フィルタを用いているが、平滑化フィルタは他のサイズのものでもよい。また、平滑化フィルタは、図１９にものに限らず、例えば隣接画素の画像データを単純に平均化するものでもよい。
【０１０４】
上述のように、線形加重平均演算により生成された帯状図形Ｒcを構成する画像データからなる信号Ｓcに、上述のエッジ強調処理及びスムージング処理を行うと、図１７（ｃ），（ｄ）に示すように信号Ｓcの波形が変化し、図１４に示す理想的な信号波形を有する信号Ｓcに近い信号Ｓc″を得ることができる。
【０１０５】
しかし、上記エッジ強調処理及びスムージング処理は、線形加重平均演算により生成された帯状図形Ｒcを構成する画像データ列からなる信号Ｓcの波形を理想的な波形に整形するものであるから、整形後の信号Ｓc″の波形は元の信号Ｓcの波形の影響を大きく受けることになる。そして、信号Ｓcの波形は、帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとの波形のずれ具合によって大きく変化するから、結局、信号Ｓc″の波形は、信号Ｓaと信号Ｓbとのずれ量によって大きく変化することになる。
【０１０６】
特に、信号Ｓaの山と信号Ｓbの山とが離れていると（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが大きいと）、図２０（ａ），（ｂ）に示すように、線形加重平均演算により生成された帯状図形Ｒcを構成する画像データ列からなる信号Ｓcのピークレベルが低下し、その波形もなだらかな山形となる。一方、信号Ｓaの山と信号Ｓbの山とが近接していると（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが小さいと）、図２１（ａ），（ｂ）に示すように、信号Ｓcのピークレベルは、信号Ｓa（又は信号Ｓb）と略同一となり、その波形も信号Ｓaに近い矩形となる。
【０１０７】
そこで、エッジ強調処理及びスムージング処理による波形整形での左側部分画像Ａと右側部分画像Ｂとのずれ量の影響を少なくするため、例えば各画素位置毎に、画素位置（ｉ，ｊ）の加重平均演算後の画像の画像データｇ3(i,j)に加算される２次微分値∇２ｇ3(i,j)を、その画素位置（ｉ，ｊ）の左側部分画像Ａの画像データｇ1(i,j)と右側部分画像Ｂの画像データｇ2(i,j)とのレベル差Δｇ（＝｜ｇ1(i,j)−ｇ2(i,j)｜）に応じて変化させるようにするとよい。具体的には、レベル差Δｇが０又は微小であるときは、２次微分値∇２ｇ3(i,j)を０又は微小量とし、レベル差Δｇが大きくなるのに応じて２次微分値∇２ｇ3(i,j)を大きくする。
【０１０８】
このようにすれば、信号Ｓaの山と信号Ｓbの山とが離れているとき（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが大きいとき）は、図２０（ｃ）に示すように、エッジ強調処理により信号Ｓc′の山頂部両端のエッジの突出量及び山裾の谷の落込量が大きくなり、信号Ｓaの山と信号Ｓbの山とが近接しているとき（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが小さいとき）は、図２１（ｃ）に示すように、エッジ強調処理により信号Ｓc′の山頂部両端のエッジの突出量及び山裾の谷の落込量が小さくなり、図２０（ｄ）及び図２１（ｄ）に示すように、信号Ｓc″の波形及びピークレベルを略理想的な状態（図１７に示す信号Ｓcの状態）に設定することができる。
【０１０９】
なお、２次微分値∇２ｇ3(i,j)の変更制御は、上述のように各画素位置毎でもよく、所定の画素数を単位としたブロック毎でもよい。また、上述の説明では、左右の部分画像Ａ，Ｂを貼り合わせる場合について説明したが、上下の部分画像を貼り合わせる場合についても同様の方法で合成処理を行うことができる。
【０１１０】
図７に戻り、後処理回路２３７は、画像合成回路２３６で合成された全体画像について、エッジ強調、スムージング、色ムラ補正等の補正処理を行うものである。また、符号化回路２３８は、合成された全体画像を構成する画像データの符号化を行うものである。符号化回路２３８は、例えばＤＣＴ（離散コサイン変換）とハフマン符号化とを組み合わせたＪＰＥＧ圧縮方式により画像データの符号化処理（圧縮処理）を行うものである。そして、符号化回路２３８から出力される画像データは、ＨＤカード１０に記憶される。
【０１１１】
次に、図２２〜図２４のフローチャートを従って、デジタルカメラ１の撮影動作について説明する。
【０１１２】
図２２，図２３は、撮影動作手順を示すフローチャートである。
【０１１３】
電源スイッチ７がオンになり、デジタルカメラ１が起動すると、高解像度モード設定ボタン１３や合成画像数設定スイッチ１４の設定状態に応じて撮影モード、撮影条件等の設定又は変更が行われる（＃２）。また、撮像部２がビデオモードで駆動され、その撮像画像がＬＣＤ表示部１１にモニタ表示（ファインダ表示）され、これにより撮影可能状態となる（＃４）。この状態は、シャッタボタン６が全押しされて、レリーズが指示されるまで継続される（＃２〜＃６のループ）。なお、この間に撮影者により高解像度モード設定ボタン１３や合成画像数設定スイッチ１４が操作されると、その操作に応じて撮影モード及び撮影条件が変更される（＃２）。
【０１１４】
そして、シャッタボタン６が全押しされてレリーズが指示されると（＃６でＹＥＳ）、撮影モードが高解像度モードに設定されているか否かが判別され（＃８）、高解像度モードが設定されていなければ（＃８でＮＯ）、ステップ＃１０に移行し、通常の撮影モードの撮影処理が行われる。
【０１１５】
すなわち、まず、撮像部２の撮影方向（光軸Ｌの方向）が正面方向に設定され（＃１０）、測光部３により被写体輝度が検出されるとともに（＃１２）、測距部４により被写体距離が検出され（＃１４）、この被写体距離に基づいて焦点調節が行われる（＃１６）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤ２０３の積分時間）が設定される（＃１８）。
【０１１６】
続いて、設定された露出制御値に基づいて被写体の撮像が行われる（＃２０）。撮像部２から出力される撮像画像を構成する画像信号は、Ａ／Ｄ変換部２２でデジタルの画像データに変換された後、画像処理部２３内の画像メモリ２３１のプレ撮影画像記憶領域２３１ａに格納されるとともに、この画像メモリ２３１を介してＬＣＤ駆動制御部２４に出力され、ＬＣＤ表示部１１に静止画表示される（＃２２）。この静止画表示により撮影者は、撮影した画像をモニタすることができる。
【０１１７】
また、画像メモリ２３１に格納された画像データは、後処理回路２３７でエッジ強調、スムージング、色補正等の補正処理が行われた後、符号化回路２３８で符号化処理が行われ（＃２４）、ＨＤカード１０に記録されて（＃２６）、撮影処理は終了する。
【０１１８】
撮影処理が終了すると、撮影者が静止画表示解除ボタン１２を操作して静止画表示の解除を指示しているか否かが判別され（＃２８）、静止画表示解除の指示がされていると（＃２８でＹＥＳ）、次の撮影処理を行うべくステップ＃２に戻り、静止画表示解除の指示がされていなければ（＃２８でＮＯ）、静止画表示の解除が指示されるまで撮影画像の静止画表示が継続される（＃２８のループ）。
【０１１９】
ステップ＃８で高解像度モードが設定されていれば（＃２８でＹＥＳ）、ステップ＃３０に移行し、高解像度モードの撮影処理が行われる。なお、この高解像度モードでの撮影処理の説明では、図４，図５に示す被写体を４分割して部分画像を取り込む場合を例に説明する。
【０１２０】
まず、撮像部２の撮影方向（光軸Ｌの方向）が正面方向に設定され（＃３０）、撮像部２のズームレンズ２０２が所定のワイド位置に設定される（＃３２）。続いて、測光部３により被写体輝度が検出されるとともに（＃３４）、測距部４により被写体距離が検出され（＃３６）、この被写体距離に基づいて焦点調節が行われる（＃３８）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤ２０３の積分時間）が設定される（＃４０）。
【０１２１】
続いて、設定された露出制御値に基づいて被写体の撮像が行われる（＃４２）。この撮像画像は、被写体全体が撮影されたもので、合成後の撮影画像と略同一の画面構成となっている。撮像部２から出力される撮像画像を構成する画像信号は、Ａ／Ｄ変換部２２でデジタルの画像データに変換された後、画像処理部２３内の画像メモリ２３１のプレ撮影画像記憶領域２３１ａに格納されるとともに（＃４４）、この画像メモリ２３１を介してＬＣＤ駆動制御部２４に出力され、ＬＣＤ表示部１１に静止画表示される（＃４６）。この静止画表示により撮影者は、撮影した画像（すなわち、合成後の全体画像と略同一の画像）をモニタすることができる。
【０１２２】
続いて、画像メモリ２３１に格納された画像データを用いてＡＥ・ＡＷＢ演算部２６で部分画像を取り込む際の各撮影動作における露出制御値とＷＢ調整値とが演算される（＃４８）。露出制御値は、最初に撮影された被写体全体の画像の全画像データ若しくは一部の画像データの平均レベルを算出し、この平均レベルを用いて算出される。また、ＷＢ調整値は、Ｒ，Ｇ，Ｂの各色成分毎に、被写体全体の画像の全画像データ若しくは一部の画像データの平均レベルを算出し、Ｒ，Ｇ，Ｂの各成分の平均レベルを等しくする補正係数として算出される。なお、この露出制御値及びＷＢ調整値の設定は、マニュアルで設定するようにしてもよい。
【０１２３】
続いて、撮像部２の撮影方向が、合成画像数設定スイッチ１４により設定された合成画像数に分割して被写体を部分的に撮影する際の最初の撮影方向（図５のａ方向）に設定されるとともに（＃５０）、撮像部２のズームレンズ２０２が所定の撮影倍率となるテレ位置（図５の例では、分割数が４であるで、撮影倍率が略２倍となる位置）に設定される（＃５２）。更に、露出制御値がステップ＃４８で算出された当該最初の撮影方向に対する露出制御値（図５の例では、被写体に向かって左上の被写体部分に対する露出制御値）に変更されるとともに、ＷＢ調整値が最初に撮影される部分画像に対するＷＢ調整値に設定される（＃５４）。
【０１２４】
続いて、設定された露出制御値に基づいて被写体の左上の部分の撮像が行われる（＃５６）。そして、撮像部２から出力される撮像画像（部分画像）を構成する画像信号は、Ａ／Ｄ変換部２２でデジタルの画像データに変換された後、画像処理部２３内の画像メモリ２３１の部分画像記憶領域２３１ｂに格納される（＃５８）。
【０１２５】
続いて、全ての部分画像の取込みが終了したか否かが判別され（＃６０）、終了していなければ（＃６０でＮＯ）、次の部分画像を取り込むべくステップ＃５０に戻る。今回は、最初の部分画像の取込みが終了しているだけであるので、ステップ＃５０に戻り、撮像部２の撮影方向を２枚目の撮影方向（図５のｃ方向）に設定し（＃５０）、撮像部２のズームレンズ２０２を所定の撮影倍率となるテレ位置（略２倍となる位置）に設定して（＃５２）、被写体の右上の部分の撮像が行われる（＃５４〜＃５８）。以下、同様の手順で、被写体の右下及び左下の部分の撮像が行われ、全ての部分画像の取込みが終了すると（＃６０でＹＥＳ）、図２４に示す「貼合せ合成処理」のフローチャートに従って４枚の部分画像を貼り合わせるように合成して被写体全体の撮影画像が生成される（＃６２）。
【０１２６】
すなわち、まず、画像拡大回路２３２でプレ撮影画像に補間処理を施して４倍のサイズに拡大した拡大画像が生成されるととともに、前処理回路２３３で各部分画像を構成する画像データに対して輝度補正、ノイズ除去、スムージング、エッジ強調等の前処理が行われ、これらの画像がマッチング演算回路２３４に入力される（＃７０）。
【０１２７】
続いて、マッチング演算回路２３４で拡大画像と各部分画像とを比較してマッチング変換量（拡大画像上のマッチング位置への幾何学的変換量）が演算され（＃７２）、算出された幾何学的変換量に基づき幾何学的画像変換回路２３５で各部分画像を構成する画像データについて幾何学的変換処理（各部分画像の拡大画像に一致する位置への変換。図１１に示す処理）が行われる（＃７４）。
【０１２８】
続いて、画像合成回路２３６のレベル調整回路２３６ａで、各部分画像の貼合せ処理が行われる境界部分（重なり部分）の輝度調整（図１７（ａ）の処理）が行われた後（＃７６）、加重平均回路２３６ｂで両部分画像の境界部分を構成する画像データを所定の重み係数で加重平均して合成用の境界部分の画像データが生成される（＃７８、図１７（ｂ）の処理）。更に、エッジ強調回路２３６ｃ及びスムージング回路２３６ｄで合成用の境界部分の画像データにエッジ強調処理（２次微分値の加算処理）とスムージング処理とが行われる（＃８０，＃８２）。
【０１２９】
そして、画像貼合せ回路２３６ｅで各部分画像の境界部分を除く部分の画像データと合成用の境界部分の画像データとを単純接続するように合成して被写体全体の合成画像が生成され、更に後処理回路２３７でこの合成画像にエッジ強調、スムージング、色ムラ補正等の各種補正処理が行われた後（＃８４）、リターンする。
【０１３０】
そして、合成された全体画像の画像データに対して符号化回路２３８で符号化（圧縮）処理が行われた後（＃６４）、その画像データがＨＤカード７に記録され（＃６６）、撮影処理は終了する。撮影処理が終了すると、撮影者が静止画表示解除ボタン１２を操作して静止画表示の解除を指示しているか否かが判別され（＃６８）、静止画表示解除の指示がされていると（＃６８でＹＥＳ）、次の撮影処理を行うべくステップ＃２に戻り、静止画表示解除の指示がされていなければ（＃６８でＮＯ）、静止画表示の解除が指示されるまで撮影画像の静止画表示が継続される（＃６８のループ）。
【０１３１】
図２５は、画像処理部内の高輝度モードにおける画像処理に関するブロック構成の第２の実施の形態を示す図である。
【０１３２】
第１の実施の形態は、部分画像毎に拡大画像に略一致するマッチング変換量を算出して各部分画像を変形するようにしていたが、第２の実施の形態は、部分画像毎に拡大画像における合成位置のみを算出し、各部分画像を拡大画像における合成位置に配置した状態で境界部分で貼合せ合成するもので、画像合成処理の簡素化を図ったものである。すなわち、第２の実施の形態は、遠近法的な像歪みの補正を行うことなく各部分画像の合成処理を行うもので、処理を簡素化して合成処理の迅速化を図るものである。被写体距離がある程度、長い場合は、部分画像を取り込む際の撮像部２の光軸Ｌの正面方向からの振れ角は小さく、各部分画像に生じる遠近法的な像歪みも少なくなるから、このような撮影条件下では第２の実施の形態でも有効に高解像度の合成画像を得ることができる。
【０１３３】
従って、図２５に示すブロック構成図は、図７において、幾何学的画像変換回路２３５をレベル補正回路２３９に置き換えたものである。
【０１３４】
図２５において、レベル補正回路２３９は、拡大画像の合成位置における一部画像とその合成位置に対応する部分画像との輝度差に基づき当該部分画像のレベルを補正するものである。画像合成回路２３６では各部分画像を合成して最終的に拡大画像と略同一の画像を生成するので、各部分画像の輝度を拡大画像と合わせておいて合成後に部分画像間で輝度差が目立たないようにするためものである。なお、図２５におけるマッチング演算回路２３４では、後述するように、拡大画像上における各部分画像の一致する領域を算出するのみで、各部分画像を変形して拡大画像上で最も一致する領域の算出は行われない。
【０１３５】
第２の実施の形態は、第１の実施の形態と比較して主としてマッチング演算回路２３４及びレベル補正回路２３９の動作が異なるのみであるから、以下の説明では、両回路を中心に動作説明を行う。
【０１３６】
マッチング演算回路２３４では、拡大画像と各部分画像とを比較しつつ、各部分画像を拡大画像上で上下左右に所定の画素ピッチで移動させて両画像が最も一致する位置が合成位置として算出される。この場合、拡大画像と部分画像との一致度は、拡大画像を構成する画素データとその画素データの画素位置に対応する部分画像を構成する画素データとの輝度差の絶対値｜ΔＤi｜（ｉ＝１，２，…ｎ）の総和Σ｜ΔＤi｜で判断され、この総和Σ｜ΔＤi｜が最小となる位置が合成位置として算出される。なお、拡大画像における各部分画像の移動範囲は、予め拡大画像におけるおよその範囲（右上隅の範囲や左下の範囲等）が分かっているので、その範囲内で撮影レンズ２の走査精度や手ぶれ等による部分画像の相対的なずれを考慮して決定される。
【０１３７】
また、各部分画像の合成位置が決定されると、その位置における輝度差の総和Σ｜ΔＤi｜を部分画像を構成する総画素数ｎで割って１画素当たりの輝度補正値Σ｜ΔＤi｜／ｎが算出され、レベル補正回路２３９でこの輝度補正値Σ｜ΔＤi｜／ｎを部分画像を構成する画素データに加算して拡大画像と各部分画像との輝度差の補正が行われる。この輝度補正により、各部分画像の貼合せ合成処理における貼合せ部分（境界部分）での輝度段差が低減される。
【０１３８】
図２６は、第２の実施の形態に係る合成位置の演算処理を示すフローチャートである。図２６のフローチャートは、図２４のステップ＃７２におけるマッチング演算処理に相当する処理である。従って、ステップ＃７２の処理を図２６に示す合成位置の演算処理に置き換えれば、図２２〜図２４のフローチャートにより高解像度モードでの撮影動作で簡素化された合成処理を行わせることができる。
【０１３９】
図２６に示す合成位置の演算処理では、まず、画像メモリ２３１の部分画像記憶領域２３１ｂから部分画像ＧＡを構成する画素データｇa(i)が順次、読み出されるとともに（＃９０）、マッチング演算回路２３４内の図略のメモリに格納された拡大画像Ｇの所定の比較範囲における対応する画素データｇ(i)が順次、読み出され（＃９２）、両画素データｇa(i)，ｇ(i)の輝度差の絶対値｜ΔＤi｜＝｜ｇa(i)−ｇ(i)｜の総和Σ｜ΔＤi｜（ｉ＝１，２，…ｎ、ｎは部分画像を構成する画素データの総数）が算出される（＃９４）。
【０１４０】
続いて、算出された総和Σ｜ΔＤi｜が前回までに算出された総和の最小値minΣより小さいか否かが判別され（＃９６）、minΣ＞Σ｜ΔＤi｜であれば（＃９６でＹＥＳ）、今回算出された総和Σ｜ΔＤi｜が総和の最小値としてマッチング演算回路２３４に設けられたminΣのメモリ（図略）に更新的に記憶されるとともに（＃９８）、拡大画像Ｇにおける部分画像ＧＡの比較範囲の位置が合成位置としてマッチング演算回路２３４内のメモリ（図略）に記憶される（＃１００）。一方、minΣ≦Σ｜ΔＤi｜であれば（＃９６でＮＯ）、minΣ及び合成位置のメモリの内容を変更することなくステップ＃１０２に移行する。
【０１４１】
ステップ＃１０２では全比較範囲について輝度差の絶対値の総和Σ｜ΔＤi｜の算出が終了したか否かが判別され、終了していなければ（＃１０２でＮＯ）、比較範囲が所定の移動量（例えば１画素乃至数画素分）だけ所定の移動方向（例えば上下方向又は左右方向）に移動され（＃１０４）、ステップ＃９２に戻る。そして、拡大画像Ｇの移動後の比較範囲における対応する画素データｇ(i)が順次、読み出され、部分画像ＧＡの画像データとの輝度差の絶対値｜ΔＤi｜の総和Σ｜ΔＤi｜が算出され、更にこの総和Σ｜ΔＤi｜とminΣとを比較して比較結果に応じた上記所定の処理が行われる（＃９２〜＃１００）。以下、同様に比較範囲を順次、変更して拡大画像Ｇにおける部分画像ＧＡとの輝度差の総和Σ｜ΔＤi｜が最小となる比較範囲の位置（すなわち、合成位置）が算出される（＃９２〜＃１０４のループ）。
【０１４２】
そして、部分画像ＧＡについて合成位置が算出されると（＃１０２でＹＥＳ）、輝度差の総和Σ｜ΔＤi｜の最小値minΣを部分画像ＧＡを構成する画像データの総数ｎで割って輝度補正値minΣ／ｎが算出され、この算出結果がレベル補正回路２３９に入力される（＃１０６）。
【０１４３】
続いて、全部分画像について合成位置の算出が終了したか否かが判別され（＃１０８）、終了していなければ（＃１０８でＮＯ）、ステップ＃９０に戻り、次の部分画像についての合成位置の算出処理が行われる（＃９０〜＃１０４のループ）。今回は最初の部分画像ＧＡについての処理であったので、ステップ＃９０に戻り、次の部分画像ＧＢについての合成位置の算出処理が行われる。そして、全部分画像ＧＡ〜ＧＤについて合成位置と輝度補正値minΣ／ｎの算出処理が終了すると（＃１０８でＹＥＳ）、合成位置の演算処理を終了する。
【０１４４】
マッチング演算回路２３４で算出された合成位置の情報は、画像合成回路２３６に入力され、各部分画像を構成する画像データＧＡ〜ＧＤは、レベル補正回路２３９で輝度補正値minΣ／ｎを加算補正された後、画像合成回路２３６に入力される。そして、この後は、図２４のステップ＃７４移行の処理に従って各部分画像ＧＡ〜ＧＤが境界部分で貼り合わせるように合成されて全体画像が合成される。
【０１４５】
なお、上述のマッチング演算処理では、部分画像を構成する画像データを全て用いていたが、ブロック毎や数画素置きに画像データを間引いて画素数を減少させたものを用いることで処理速度の低下を抑えるようにしてもよい。
【０１４６】
また、上記実施の形態では、撮像部２の撮影レンズ２０２の光軸方向を変化させて同一のＣＣＤ２０３で複数の部分画像を連続的に取り込むようにしているが、プリズム等の分光手段で被写体光像を被写体全体の構造と複数の部分光像とに分割し、それらの光像を複数のＣＣＤの撮像面にそれぞれ結像して同時に被写体全体の画像と被写体の部分の画像を取り込むようにしてもよい。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、部分的に撮像した複数の画像を貼り合わせて被写体全体の撮像画像を生成する撮像装置であって、各部分画像のレベル補正を行い、隣接する部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成し、更にこの合成用の境界部分の画像にエッジ強調処理を施した後、その合成用の境界部分の画像と各部分画像の境界部分を除く画像と繋ぎ合わせるように合成して被写体全体の撮影画像を生成するようにしたので、各部分画像の位置合わせに誤差が生じた場合にも合成用の境界部分における画像のずれとコントラストとが適正に補正され、合成後の画像の画質の低下を低減することができる。
【０１４８】
また、本発明によれば、部分的に撮像した複数の画像を貼り合わせて被写体全体の撮像画像を生成する撮像装置であって、隣接する部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成し、更にこの合成用の境界部分の画像にエッジ強調処理を施した後、その合成用の境界部分の画像と各部分画像の境界部分を除く画像と繋ぎ合わせるように合成して被写体全体の撮影画像を生成し、その合成画像に対して補正処理を行うようにしたので、各部分画像の位置合わせに誤差が生じた場合にも合成用の境界部分における画像のずれが適正に補正され、合成後の画像の画質の低下を低減することができる。
【０１４９】
また、被写体全体を撮像し、この被写体全体の撮像画像を基準に被写体の各部分の撮像画像の貼合せ合成における合成位置を算出して各部分画像の位置合わせを行うようにしたので、各部分画像の合成処理が正確に行われ、合成用の境界部分における画像のずれとコントラストとをより好適に補正することができる。
【０１５０】
また、合成用の境界部分の画像にエッジ強調処理を行った後、更にスムージング処理を行い、この合成用の境界部分の画像と各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の撮影画像を生成するようにしたので、合成用の境界部分における画像のずれとコントラストがより適正に補正され、合成処理による合成画像の画質の低下をより低減することができる。
【０１５１】
また、被写体を全体的に撮像する第１の撮像手段と被写体を部分的に撮像する第２の撮像手段とを、撮影倍率変更可能なレンズと被写体光像を電気画像に光電変換して取り込む撮像素子とが光軸方向変更可能に一体的に構成されてなる撮像部で構成し、この撮像部の光軸方向及び撮影倍率を変更して被写体の全体画像と被写体の部分画像とを順次、取り込むようにしたので、被写体の全体画像及び部分画像を取り込む撮像系の構造がコンパクトになる。また、被写体全体の画像と被写体の部分の画像との間で撮影光学系の相違の起因する画質の差が少なく、合成処理が容易になるとともに、合成後の画像の画質の低減を抑制することができる。
【図面の簡単な説明】
【図１】 本発明に係るデジタルカメラの一実施の形態の外観を示す図である。
【図２】 本発明に係るデジタルカメラの背面図である。
【図３】 本発明に係るデジタルカメラの撮像系の概略構成を示す図である。
【図４】 高解像度モードにおける撮影方法を説明するための図である。
【図５】 高解像度モードでの撮影における被写体と撮影範囲との関係を示す図である。
【図６】 本発明に係るデジタルカメラのブロック構成の一実施の形態を示す図である。
【図７】 画像処理部内の高解像度モードにおける画像処理に関するブロック構成の第１の実施の形態を示す図である。
【図８】 掲示板を４分割して部分的に撮像する場合の各撮影時の撮影範囲を示す図である。
【図９】 部分画像に生じる遠近法的な像歪みを示す図である。
【図１０】 遠近法的な像歪みを有する部分画像を貼合せ合成して得られる画像を示す図である。
【図１１】 マッチング処理の方法を示す図である。
【図１２】 直線を軸とした拡大又は縮小の方向を示す図で、（ａ）は直線方向の拡大又は縮小を示す図であり、（ｂ）は円弧方向の拡大又は縮小を示す図である。
【図１３】 境界部分の画像に輝度レベルの差と模様のずれが生じている場合の合成方法の一例を示す図で、（ａ）は左側の部分画像を示す図、（ｂ）は右側の部分画像を示す図、（ｃ）は両部分画像の境界部分の貼合せ画像を示す図である。
【図１４】 図１３（ｃ）の直線Ｍ上における帯状図形Ｒaを構成する画像データと帯状図形Ｒbを構成する画像データとを適正に合成して得られる理想的な帯状図形Ｒcを構成する画像データ列の波形を示す図である。
【図１５】 図１３（ｃ）の直線Ｍ上における帯状図形Ｒaを構成する画像データと帯状図形Ｒbを構成する画像データとを線形的に加重平均して得られる帯状図形Ｒcを構成する画像データ列の波形を示す図である。
【図１６】 線形的な加重平均処理により画像を合成する方法を説明するための波形図である。
【図１７】 エッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図で、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【図１８】 エッジ強調処理用のフィルタの一例を示す図である。
【図１９】 スムージング処理用のフィルタの一例を示す図である。
【図２０】 左右の部分画像のずれが大きい場合のエッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図で、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【図２１】 左右の部分画像のずれが小さい場合のエッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図で、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【図２２】 本発明に係るデジタルカメラの撮影制御を示すフローチャートである。
【図２３】 本発明に係るデジタルカメラの撮影制御を示すフローチャートである。
【図２４】 「貼合せ処理」の処理手順を示すフローチャートである。
【図２５】 画像処理部内の高解像度モードにおける画像処理に関するブロック構成の第２の実施の形態を示す図である。
【図２６】 「合成位置の演算」の処理手順を示すフローチャートである。
【符号の説明】
１ デジタルカメラ（撮像装置）
２ 撮像部（撮像手段、第１及び第２の撮像手段）
２０１ 筐体
２０２ 撮影レンズ
２０３ 撮像素子（ＣＣＤ）
３ 測光部
４ 測距部
５ フラッシュ
６ シャッタボタン
７ 電源スイッチ
８ カード挿入口
９ カード取出ボタン
１０ ＨＤカード
１１ ＬＣＤ表示部
１２ 静止画表示解除ボタン
１３ 高解像度モード設定スイッチ
１４ 合成画像数設定スイッチ
１５，１６，１７ 電動モータ
２０ 制御部
２１ 撮像制御部
２１１ ズーム制御回路
２１２ 走査制御回路（光軸変更部）
２１３ 撮像制御回路（第１及び第２の撮像制御部）
２２ Ａ／Ｄ変換部
２３ 画像処理部
２３１ 画像メモリ（記憶手段）
２３２ 画像拡大回路
２３３ 前処理回路
２３４ マッチング演算回路（合成位置算出手段）
２３５ 幾何学的画像変換回路
２３５ 画像貼合せ回路
２３６ 画像合成回路
２３６ａ レベル調整回路（補正手段）
２３６ｂ 加重平均回路（境界画像生成手段）
２３６ｃ エッジ強調回路（エッジ強調手段）
２６６ｄ スムージング回路（画像処理手段）
２３６ｅ 画像貼合せ回路（画像合成手段）
２３７ 後処理回路
２３８ 符号化回路
２３９ レベル補正回路
２４ ＬＣＤ駆動制御部
２５ カード駆動制御部
２６ ＡＥ・ＡＷＢ演算部
２７ ＲＡＭ
２８ ＲＯＭ
【発明の属する技術分野】
本発明は、被写体を複数のブロックに分割して部分的に撮像し、各撮像画像を画像処理で合成して被写体全体に対する撮影画像を生成するデジタルカメラに関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤ等の固体撮像素子を用いたデジタルカメラにおいては、被写体を複数のブロックに分割して部分的に撮像し、各部分撮像画像を貼り合わせるように合成して被写体全体の撮影画像を生成することにより解像度を高める方法が提案されている。
【０００３】
例えば特開平６−１４１２４６号公報には、被写体光像を互いに境界部分がオーバーラップするように複数の部分に分割し、各部分光像を複数の撮像素子でそれぞれ撮像し、これらの部分的に撮像した画像をオーバーラップした境界部分で貼り合わせるように合成して被写体全体の画像を得るようにした撮像装置が示されている。この撮像装置では、境界部分に画像のずれが生じている場合、境界部分における画像のずれ量を平行移動量と回転移動量で表し、これらの移動量に基づき両画像を変するとで境界部分の画像のずれを補正した後、合成処理を行うようにしている。
【０００４】
また、特開平９−２３３３０号公報には、オーバーラップ領域における両部分画像の輝度変化の少ない位置を抽出し、その位置で両部分画像を繋ぎ合わせるように合成して被写体全体の画像を生成する画像処理装置が示されている。
【０００５】
また、画像処理においては、隣接する画像を繋ぎ合わせるモザイク処理における接合点付近の平滑化処理として、一般に、線形の加重平均化処理が知られている（画像解析ハンドブックｐ４６２〜ｐ４６７、東京大学出版会）。
【０００６】
この平滑化方法は、重服する部分の断面毎に、接合点の両側の所定の区間に亘って比例配分により両部分画像を混合して濃度差の不連続を緩和するものである。
【０００７】
【発明が解決しようとする課題】
ところで、隣接する部分画像を境界部分で貼り合わせる場合、両部分画像の位置合わせに誤差があると、両部分画像のオーバーラップ領域（境界部分）で画像のずれが生じる。このため、単純に両部分画像の境界部分を接続すると、その接続部分で画像が不連続になるので、両部分画像の境界部分を用いて画像のずれが生じないように補正した合成用の境界部分の画像を生成する必要がある。
【０００８】
しかし、上記特開平６−１４１２４６号公報記載の部分画像の合成方法は、一方の画像にない部分を他方の画像で補間するようにして合成用の境界部分の画像を生成するか、あるいは、境界部分の中心でいずれの画像を用いるかを決定するようにしているので、境界部分の画像の繋ぎ目で両側に股がる直線等の画像が屈曲するおそれがあり、画像のずれを生じないように補正することは困難である。
【０００９】
また、上記特開平９−２３３３０号公報のものでは、境界部分が小さい場合や境界部分の画像の輝度変化が大きい場合は、輝度変化の小さい部分を抽出することが困難であるため、画像のずれを低減した合成用の境界部分の画像を生成するにはさらなる工夫を必要とする。
【００１０】
また、線形の加重平均処理により合成用の境界部分の画像を生成する方法では、両部分画像に位置ずれがある場合、例えば位置ずれした２つの線状の画像を１つの画像に補正することは可能であるが、合成後の線状画像のエッジ部分の輝度曲線の勾配がなだらかとなり、全体的に輝度レベルが低下して線状画像のコントラストが低下するという問題がある。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、隣接する部分画像が貼り合わせ合成される境界部分に位置ずれがある場合にもその位置ずれが適正に補正された好適な画質の合成画像（被写体全体の撮影画像）が得られる撮像装置及び画像合成方法を提供するものである。
【００１２】
【課題を解決するための手段】
本発明は、被写体全体を境界部分が重複するように複数の部分に分割し、各部分を順次、撮像する撮像手段と、上記撮像手段によって撮像された各部分画像における上記境界部分の画像データに基づいて境界部分の輝度を調整する調整手段と、輝度調整後の各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成する画像合成手段とを備えたものである（請求項１）。
【００１３】
上記構成によれば、被写体全体を境界部分が重複するように複数の部分に分割して被写体の各部分が順次、撮像され、その各部分画像を構成する画像データは、境界部分の画像データに基づいて輝度調整が行われる。この後、各部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にこの合成用の境界部分の画像に対してエッジ強調処理が行われる。そして、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせて被写体全体の合成画像が生成される。
【００１４】
また、本発明は、被写体を全体的に撮像する第１の撮像手段と、境界部分が重複するように上記被写体全体を複数の部分に分割し、被写体の各部分を上記被写体全体の撮像サイズと略同一のサイズに拡大して順次、撮像する第２の撮像手段と、上記第１及び第２の撮像手段で撮像された画像を記憶する記憶手段と、上記第１の撮像手段で撮像された被写体全体の撮像画像を基準に上記第２の撮像手段で撮像された被写体の各部分画像の貼合せ合成における合成位置を算出する合成位置算出手段と、上記被写体の各部分画像を上記合成位置算出手段で算出された合成位置に位置合せした状態で、部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、当該部分画像を構成する画像データの輝度を調整する調整手段と、輝度調整後の隣接する２つの部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の画像を生成する画像合成手段とを備えたものである（請求項２）。
【００１５】
上記構成によれば、被写体を部分的に撮影し、複数の部分的な撮影画像（以下、部分画像という。）を境界部分で貼り合わせるように合成して被写体全体の撮影画像（以下、全体画像という。）が生成される。この場合、第１の撮像手段で被写体全体が撮影画面に入るように画面構成して被写体全体の撮影が行われ、この撮影画像（以下、プレ撮影画像という。）は記憶手段に記憶される。
【００１６】
また、第２の撮像手段で、境界部分が重複するように被写体全体を複数の部分に分割し、被写体の各部分を被写体全体の撮像サイズと略同一のサイズに拡大して順次、撮影され、その撮影画像（部分画像）が記憶手段に記憶される。例えば被写体を左右に２分割して撮影する場合、被写体の縦中心線近傍で重複するように被写体を分割し、例えば被写体に向かって左半分の部分が撮影画面に入るように画面構成して撮影が行われた後、被写体の右半分の部分が撮影画面に入るように画面構成して撮影が行われ、両撮影画像が記憶手段に記憶される。
【００１７】
そして、プレ撮影画像を基準に被写体の各部分画像の貼合せ合成における合成位置が算出され、各部分画像は、対応する合成位置に位置合せした状態で部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、当該部分画像を構成する画像データの輝度が調整される。
【００１８】
そして、輝度調整後の隣接する２つの部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にその合成用の境界部分の画像にエッジ強調処理が行われた後、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の撮影画像を生成される。
【００１９】
例えば上述の例では、左半分の部分画像と右半分の部分画像とがプレ撮影画像に一致するように位置合わせが行われた後、部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、左右の部分画像を構成する画像データの輝度が調整される。続いて、両部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にその合成用の境界部分の画像にエッジ強調処理が行われた後、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の両部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の撮影画像を生成される。
【００２０】
また、本発明は、上記撮像装置において、第１及び第２の撮像手段は、撮影倍率変更可能なレンズと被写体光像を電気画像に光電変換して取り込む撮像素子とが光軸方向変更可能に一体的に構成されてなる撮像部と、上記撮像部の光軸方向を変更する光軸変更部と、上記撮像部の光軸方向を正面方向に設定するとともに、撮影画面に被写体全体が入るように上記レンズの撮影倍率を設定して上記被写体を全体的に撮像する第１の撮像制御部と、上記撮像部の撮影倍率を上記被写体の各部分が互いに境界部分が重複するサイズで撮影画面に入るように拡大するとともに、上記撮像部の光軸方向を上記被写体の各部分に対応する所定の方向に順次、変更して上記被写体を部分的に撮像する第２の撮像制御部とからなることを特徴とする撮像装置（請求項３）。
【００２１】
上記構成によれば、撮影が指示されると、撮像部の光軸方向を正面方向に設定し、撮影画面に被写体全体が入るようにレンズの撮影倍率を設定して撮影が行われ、この撮影画像（プレ撮影画像）は記憶手段に記憶される。また、撮像部の撮影倍率を被写体の各部分が互いに境界部分が重複するサイズで撮影画面に入るように拡大するとともに、撮像部の光軸方向を被写体の各部分に対応する所定の方向に順次、変更して被写体の各部分の撮影が行われる。
【００２２】
例えば被写体を左右に２分割して撮影する場合、被写体の縦中心線近傍で重複するように被写体を分割し、例えば被写体に向かって左半分の部分が撮影画面に入るように撮影倍率を拡大した後、撮影手段の光軸方向を正面方向より所定角度だけ左側にずらせて被写体の右側部分の撮影が行われた後、撮影手段の光軸方向を正面方向より所定角度だけ右側にずらせて被写体の左側部分の撮影が行われる。
【００２３】
また、本発明は、被写体全体を境界部分が重複するように複数の部分に分割し、各部分を順次、撮像する撮像手段と、上記撮像手段によって撮像された各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、エッジ強調処理とスムージング処理後の境界部分の画像と、エッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像に対して補正処理を行う後処理手段とを備えたものである（請求項４）。
【００２４】
上記構成によれば、被写体全体を境界部分が重複するように複数の部分に分割して被写体の各部分が順次、撮像され、その各部分画像を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にこの合成用の境界部分の画像に対してエッジ強調処理が行われる。そして、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、エッジ強調処理とスムージング処理後の境界部分の画像と、エッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせて被写体全体の合成画像が生成され、その合成画像に対して補正処理が行われる。
【００２５】
また、本発明は、境界部分が重複するように被写体全体を複数の部分に分割して撮像された部分画像から被写体全体の合成画像を生成する画像合成方法であって、各部分画像における上記境界部分の画像データに基づいて各部分画像の輝度を調整するステップと、輝度調整後の各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成するステップと、上記合成用の境界部分の画像にエッジ強調処理を行うステップと、上記エッジ強調処理後の境界部分の画像にスムージング処理を行うステップと、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成するステップとを備えたものである（請求項５）。
【００２６】
上記構成によれば、被写体全体を境界部分が重複するように複数の部分に分割して撮像された各部分画像を構成する画像データは、境界部分の画像データに基づいて輝度調整が行われる。この後、各部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像が生成され、更にこの合成用の境界部分の画像に対してエッジ強調処理が行われる。そして、上記エッジ強調処理後の境界部分の画像にスムージング処理が行われ、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせて被写体全体の合成画像が生成される。
【００２７】
【発明の実施の形態】
本発明に係る撮像装置について、デジタルカメラを例に説明する。
【００２８】
図１は、デジタルカメラの一実施の形態の外観を示す斜視図、図２は、同デジタルカメラの背面図である。また、図３は、同デジタルカメラの撮像系の概略構成を示す図である。
【００２９】
デジタルカメラ１は、前面の略中央に撮像部２が光軸方向Ｌを変更可能に設けられ、その上部に被写体輝度を測定するための測光部３が設けられ、この測光部３の左横に被写体距離を測定する測距部４が、また、測光部３の右横にフラッシュ５が設けられている。
【００３０】
撮像部２は、図３に示すように、筐体２０１の前面に突設されたズームレンズからなる撮影レンズ２０２と筐体２０１内の光軸Ｌ上の所定位置に配設されたＣＣＤエリアセンサからなる撮像素子２０３とで構成されている。筐体２０１の側面には、光軸Ｌと直交する方向に一対の回転軸２０１ａが突設され、両回転軸２０１ａは、Ｕ字形の支持枠２０１ｂの両端部に回転可能に支持されている。Ｕ字形の支持枠２０１ｂの枠中央には外方向に回転軸２０１ｃが突設され、この回転軸２０１ｃの先端は、電動モータ１５のロータに連結されている。また、一方の回転軸２０１ａの先端は、電動モータ１６のロータに連結されている。
【００３１】
電動モータ１５は、筐体２０１を左右方向（図中、Ｈ方向）に回動させる駆動源であり、電動モータ１６は、筐体２０１を上下方向（図中、Ｖ方向）に回動される駆動源である。電動モータ１５を駆動すると、そのロータに連結されたＵ字形の支持枠２０１ｂが水平面内で回動し、これにより光軸Ｌが水平面内で変化するように筐体２０１が回動する。また、電動モータ１６を駆動すると、そのロータに連結された回転軸２０１ａが回動し、これにより光軸Ｌが垂直面内で変化するように筐体２０１が回動する。
【００３２】
また、撮影レンズ２０２の鏡胴部分には電動モータ１７が設けられ、この電動モータ１７により撮影レンズ２０２を駆動してズーム比が変更される。
【００３３】
なお、本実施の形態では、撮影レンズ２０２と撮像素子２０３とが対をなし、ズーム比を連続的に変更可能な構造としているが、プリズムや反射鏡等で複数のレンズと撮像素子との組合せを切り換えてズーム比を段階的に切り換える構造にしてもよい。
【００３４】
測光部３は、ＳＰＣ等の受光素子を有し、被写体からの反射光を受光して被写体の輝度を検出する。測距部４は、例えばアクティブ測距方式により被写体までの距離を検出するものである。測距部４は、被写体に対して赤外光を照射する発光素子とこの赤外光の被写体からの反射光を受光する受光素子とを有し、赤外光の被写体での反射角に基づきカメラから被写体までの距離を検出するものである。なお、本実施の形態では、測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。
【００３５】
デジタルカメラ１の上面には、左端部にシャッタボタン６が設けられている。シャッタボタン６は、半押しで焦点調節、露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。また、デジタルカメラ１の側面下部には、電源スイッチ７とハードディスクカード１０（以下、ＨＤカード１０という。）が装着脱されるカード挿入口８とが設けられ、カード挿入口８の上部に装着されたＨＤカード１０をイジェクトするためのカード取出ボタン９が設けられている。
【００３６】
撮影結果を記録紙にプリントする場合、カード取出ボタン９を押してＨＤカード１０をデジタルカメラ１から取り出し、例えばＨＤカードが装着可能なプリンタにそのＨＤカード１０を装着すれば、撮影画像のデータをＨＤカード１０から直接、読み出して記録紙にプリントすることができる。
【００３７】
なお、デジタルカメラ１にＳＣＳＩケーブルのインターフェースを設け、デジタルカメラ１とプリンタとをＳＣＳＩケーブルで接続してデジタルカメラ１からプリンタにデータを転送して撮影画像を記録紙にプリントするようにしてもよい。
【００３８】
また、本実施の形態では、画像データの記録媒体としてＰＣＭＣＩＡ準拠のＨＤカードを採用しているが、撮影画像のデータを記録できるものであれば、メモリカードやミニディスク等の他の記録媒体でもよい。
【００３９】
デジタルカメラ１の背面には、図２に示すように、略中央にＬＣＤ（Liquid Crystal Display）からなる表示部１１（以下、ＬＣＤ表示部１１という。）が設けられている。ＬＣＤ表示部１１は、光学ファインダに相当するものである。
【００４０】
デジタルカメラ１が起動すると、撮像部２でビデオ撮影が行われ、この撮影画像をＬＣＤ表示部１１に表示することにより、撮影者は撮影画面内の被写体をモニタすることができるようになっている。また、撮影者がシャッタボタン６を押して撮影動作を行うと、静止画の撮影動作が行われる一方、ＬＣＤ表示部１１ではレリーズ直後の撮影画像が静止画で表示され、撮影者は、ＬＣＤ表示部１１で撮影画像（静止画）をモニタすることができるようになっている。
【００４１】
更に、デジタルカメラ１は、撮影モードとして、被写体を複数の部分に分割し、部分的に撮影した画像（以下、部分画像という。）を画像処理で貼り合わせるように合成して解像度の高い被写体全体の画像（以下、全体画像という。）を生成する撮影モード（以下、この撮影モードを高解像度モードという。）を有し、この高画像度モードにおいても、最初に被写体全体を撮影してその撮影画像（静止画）をＬＣＤ表示部１１に表示させることにより、撮影者が合成後の画像の内容を迅速にモニタできるようになっている。
【００４２】
ＬＣＤ表示部１１の左側には、静止画表示解除ボタン１２が設けられている。静止画表示解除ボタン１２は、撮影処理を行う毎に動画表示から静止画表示に自動的に切り換えられるＬＣＤ表示部１１の表示モードを、次の撮影のために静止画表示から動画表示に復帰させるための操作ボタンである。表示モードの復帰動作を操作者のマニュアル操作で行わせるようにしているのは、モニタ時間を固定化しないで撮影画像のモニタの利便性を高めるようにしたものである。なお、静止画表示を予め設定した所定の時間だけ行った後、自動的に静止画表示から動画表示に復帰させるようにして静止画表示解除ボタン１２を省略するようにしてもよい。
【００４３】
デジタルカメラ１の背面下端部には、左隅部に高解像度モード設定スイッチ１３が設けられ、右隅部に合成画像数設定スイッチ１４が設けられている。
【００４４】
高解像度モード設定スイッチ１３は、上述した高解像度モードを設定するスイッチである。高解像度モード設定スイッチ１３を「ＯＮ」に設定すると、高解像度モードが設定され、「ＯＦＦ」に設定すると、通常の撮影モードが設定される。
【００４５】
高解像度モードでは、図４に示すように、シャッタボタン６が全押しされると、まず、撮像部２の光軸Ｌを正面方向に設定し、被写体全体の撮影が行われる（図４（１）全体撮影を参照）。すなわち、図５に示すように、撮像部２の光軸Ｌは正面方向（ｏ方向）に初期設定されているので、被写体Ｑ（図では風景）の全体が撮影画面Ｐ１内に入るように画面構成を調整してシャッタボタン６を押すと、被写体Ｑ全体の撮影が行われる。なお、図４（１）の「（１）」は図４では丸文字で記載している。
【００４６】
この撮影画像（以下、この全体の撮影画像をプレ撮影画像という。）は、ＬＣＤ表示部１１に静止画表示され（図４（２）全体画像表示を参照）、また、このプレ撮影画像Ｇを補間処理して４倍のサイズに拡大された画像Ｇ′が生成される（図４（３）全体画像拡大を参照）。この拡大画像Ｇ′は、引き続き被写体を部分的に撮影して得られる４個の部分画像ＧＡ〜ＧＤを貼合せ合成する際の各部分画像ＧＡ〜ＧＤの像歪み補正と画像合成の基準となるものである。なお、図４（２），（３）の「（２）」，「（３）」は図４では丸文字で記載している。
【００４７】
従って、高解像度モードでは、レリーズ直後に最終的に合成される全体画像がＬＣＤ表示部１１に表示され、合成後の全体画像が迅速にモニタできるようになっている。
【００４８】
続いて、撮像部２の光軸Ｌを正面方向以外の所定の方向に変化させるとともに、撮影倍率を所定の倍率（２倍）に増大して被写体全体を４分割してなる部分画像ＧＡ〜ＧＤの撮影（部分画像の取込み）が順次、行われる（図４（４）分割撮影を参照）。すなわち、図５に示すように、撮像部２の光軸Ｌの方向が被写体Ｑの向かって左上の部分を見る所定の方向（ａ方向）に変更されるととともに、被写体Ｑの略１／４が撮影画面Ｐ２内に入るように、撮影レンズ２０２の撮影倍率が略２倍に増大され、被写体Ｑの左上部分の撮影が行われる。この後、撮影レンズ２０２の撮影倍率は変化させないで、撮像部２の光軸Ｌの方向を、被写体Ｑの向かって右上、右下、左下の部分を見る所定の方向（ｃ，ｄ，ｂ方向）に順次、変化して被写体Ｑの右上部分、右下部分及び左下部分の撮影がそれぞれ行われる。このとき、被写体Ｑの部分画像の取込みにおける画角は、隣接する部分画像の境界部分が互いに重複するように設定される。なお、図４（４）の「（４）」は図４では丸文字で記載している。
【００４９】
この後、部分画像ＧＡ〜ＧＤを拡大画像Ｇ′と比較してそれぞれ拡大画像Ｇ′に対する合成位置と像歪み補正用の画像データの変換量が算出され（図４（５）位置合わせを参照）、この変換量に基づいて各部分画像ＧＡ〜ＧＤが幾何学的に変換された後、この合成位置に基づいて画像変換後の部分画像ＧＡ〜ＧＤを境界部分で貼り合わせるようにして全体画像が生成される。そして、この全体画像はＨＤカード１０に記録される。なお、図４（５）の「（５）」は図４では丸文字で記載している。
【００５０】
なお、本実施の形態では、プレ撮影画像Ｇの拡大画像Ｇ′を合成位置の基準画像としているが、プレ撮影画像Ｇそのものを合成位置の基準画像とし、部分画像ＧＡ〜ＧＤの縮小画像とプレ撮影画像Ｇとを比較して合成位置を算出するようにしてもよい。
【００５１】
また、図５では、被写体Ｑを中心に相対的に撮影画面Ｐ１，Ｐ２を描いているので、撮影画面Ｐ２が撮影画面Ｐ１より小さくなっているが、撮像部２の撮像面においては、撮影画面Ｐ１と撮影画面Ｐ２のサイズは同一であるので、撮影画面Ｐ１の画面構成では、撮影画面Ｐ２の画面構成よりも被写体Ｑが小さいサイズで撮像面に投影されている。従って、プレ撮影画像は、投影光像と画素密度との関係から部分画像よりも低解像度の画像となるので、部分画像を合成して得られる全体画像の解像度は、プレ撮影画像よりも高くなっている。
【００５２】
一方、通常の撮影モードでは、シャッタボタン６を押すと、１回だけ撮影動作が行われ、その撮影画像が所定の画像処理（画像全体に対して適正なγ補正、ＷＢ調整、輪郭補正、色むら補正等の処理）が施された後、ＨＤカード１０に記録される。この撮影処理は、実質的に高解像度モードにおけるプレ撮影画像に所定の画像処理を施してＨＤカード１０に記録するのと等価である。従って、通常の撮影モードにおける撮影画像は、高解像度モードにおける撮影画像（合成画像）よりも解像度が低くなっている。図５の例では、部分画像の撮影倍率が略２倍であるので、高解像度モードで撮影された画像（合成画像）は、通常の撮影モードで撮影された画像の略４倍の解像度を有している。
【００５３】
図２に戻り、合成画像数設定スイッチ１４は、高解像度モードにおける部分画像の枚数（すなわち、被写体の分割数）を設定するスイッチである。合成画像数設定スイッチ１４は、被写体をｎ×ｍのマトリックス状に分割する際の縦方向の分割数ｎと横方向の分割数ｍとをそれぞれ最大４まで設定できるようになっている。合成画像数設定スイッチ１４は、一対の４接点スライドスイッチ１４ａ，１４ｂからなり、上側のスライドスイッチ１４ａで縦方向の分割数ｎが設定され、下側のスライドスイッチ１４ｂで横方向の分割数ｍが設定される。
【００５４】
なお、本実施の形態では、撮影者が分割数を設定可能にしているが、予め所定の分割数を固定的に設定しておき、合成画像数設定スイッチ１４を省略するようにしてもよい。
【００５５】
図６は、本発明に係るデジタルカメラのブロック構成図である。
【００５６】
同図において、太線の矢印は画像データの流れを示し、細線の矢印は制御データの流れを示している。また、図１〜図３に示した部材と同一部材には同一番号を付している。
【００５７】
制御部２０は、デジタルカメラ１の撮影動作を集中制御するもので、マイクロコンピュータからなる。制御部２０は、後述する各種部材の駆動を制御する。
【００５８】
撮像制御部２１は、撮像部２の駆動を制御するものである。撮像制御部２１は、ズーム制御回路２１１、走査制御回路２１２及び撮像制御回路２１３を備えている。ズーム制御回路２１１は、撮像レンズ２０２のズーム比（撮影倍率）を制御するものである。撮影倍率は、高解像度モードにおける部分画像の取込みにおいて変更され、部分画像の枚数（すなわち、被写体の分割数）に応じて予め設定されている。合成画像数設定スイッチ１４により設定された被写体の分割数の情報は制御部２０を介して撮像制御部２１に入力され、ズーム制御回路２１１は、入力された被写体の分割数の情報に基づき対応する撮影倍率を設定し、この撮影倍率に基づき電動モータ１７を駆動して撮像レンズ２０２を所定の撮影倍率に設定する。
【００５９】
走査制御回路２１２は、高解像度モードでの各部分画像の撮像順、すなわち、撮像部２の光軸Ｌの方向の変更動作を制御するものである。部分画像の取込みにおける各光軸Ｌの方向（すなわち、筐体２０１の正面方向に対する水平／垂直方向の移動量）も部分画像の枚数（すなわち、被写体の分割数）に応じて予め設定されている。また、各部分画像の取込順も部分画像の枚数（すなわち、被写体の分割数）に応じて予め設定されている。図５の例では、ａ−ｃ−ｄ−ｂの順にコ字形に光軸Ｌの方向を走査させていたが、走査方向はこれに限定されず、ａ−ｂ−ｄ−ｃやａ−ｃ−ｂ−ｄ等の任意の走査方法を採用することができる。走査制御回路２１２は、入力された被写体の分割数の情報に基づき各部分画像に対する光軸Ｌの方向とその走査方向とを設定し、光軸Ｌの方向に基づき電動モータ１５，１６を駆動して撮像部２の視野を所定の方向に設定する。
【００６０】
撮像制御部２１３は、撮像素子２０３（以下、ＣＣＤ２０３という。）の撮像動作（電荷蓄積及び蓄積電荷の読出）を制御するものである。撮像制御部２１３は、撮影待機状態では、ファインダ用の画像を取り込むべくＣＣＤ２０３をビデオ駆動させる（１／３０秒毎に撮像動作を繰り返す）。また、通常の撮影モードにおいては、制御部２０から入力された撮影タイミングの制御信号に基づいてＣＣＤ２０３の撮像動作を１回だけ行わせ、高解像度モードにおいて、制御部２０から入力された撮影タイミングの制御信号に基づいてＣＣＤ２０３の撮像動作を所定の回数（制御部２から入力された被写体の分割数Ｎに対して（Ｎ＋１）回）だけ連続的に行わせる。
【００６１】
Ａ／Ｄ変換部２２は、撮像部２から出力された画像信号（アナログ信号）を、例えば８ビット構成のデジタル信号（以下、この画像信号を画像データという。）に変換するものである。
【００６２】
画像処理部２３は、通常の撮影モードにおいて、画像データにγ補正、ＷＢ調整、輪郭補正等の所定の画像処理を施すものである。また、高解像度モードにおいて、上記画像処理を行いつつ、複数の部分画像の画像データを貼り合わせるように合成して全体画像の生成を行う。なお、高解像度モードにおける画像処理については後述する。
【００６３】
ＬＣＤ駆動制御部２４は、ＬＣＤ表示部１１の駆動を制御し、撮影画像をモニタ表示させるものである。ＬＣＤ駆動制御部２４は、画像処理部２３から入力される画像データに基づきＬＣＤ表示部１１の各画素位置の発光を制御して当該ＬＣＤ表示部１１に画像を表示させる。カード駆動制御部２５は、画像データを記録する際のＨＤカード１０の駆動を制御するものである。
【００６４】
ＡＥ・ＡＷＢ演算部２６は、高解像度モードにおける部分画像の取込時の露出値とＷＢ調整値とを演算するものである。ＡＥ・ＡＷＢ演算部２６は、高解像度モードにおいて取り込まれたプレ撮影画像の画像データから部分的に撮像される領域の画像データを抽出し、その画像データを用いて対応する部分画像の取込時の露出値とＷＢ調整値とを演算する。
【００６５】
ＲＡＭ（Random Access Memory）２７は、制御部２が撮影に関する演算処理を行うためのメモリである。また、ＲＯＭ（Read Only Memory）２８は、撮影制御に関する処理プログラム、撮像部２の駆動制御に必要なデータ、後述する高解像度モードでの画像処理に必要な各種のデータや処理プログラム等が記憶されたメモリである。
【００６６】
図７は、画像処理部内の高輝度モードにおける画像処理に関するブロック構成の第１の実施の形態を示す図である。
【００６７】
同図において、太線の矢印は画像データの流れを示している。画像メモリ２３１は、Ａ／Ｄ変換部２２から入力される画像データを記憶するメモリである。画像メモリ２３１は、ＲＡＭからなり、プレ撮影画像記憶領域２３１ａ及び部分画像記憶領域２３１ｂを有している。
【００６８】
プレ撮影画像記憶領域２３１ａは、プレ撮影画像の画像データが記憶される領域である。なお、通常の撮影モードにおいては、撮影画像の画像データもプレ撮影画像記憶領域２３１ａに記憶される。プレ撮影画像記憶領域２３１ａに記憶された通常の撮影モードにおける撮影画像や高解像度モードにおけるプレ撮影画像は、ＬＣＤ駆動制御部２４に読み出され、ＬＣＤ表示部１１に表示（動画表示又は静止画表示）される。また、部分画像記憶領域２３１ｂは、部分画像の画像データが記憶される領域である。
【００６９】
画像拡大回路２３２は、プレ撮影画像を部分画像取込時の撮影倍率と略同一の倍率で拡大して拡大画像を生成するものである。すなわち、画像拡大回路２３２は、例えば図４の例において、プレ撮影画像Ｇを略４倍に拡大して拡大画像Ｇ′を生成し、マッチング演算回路２３４に入力する。
【００７０】
前処理回路２３３は、部分画像の貼合せ合成処理の前に各部分画像に対して必要な処理を行う回路である。前処理には、輝度補正、ノイズ除去、スムージング、エッジ強調等の処理が含まれる。各部分画像に対する前処理は、拡大画像と部分画像との間での輝度差や輪郭のずれ等を補正して合成位置の決定を容易するためのものである。前処理回路２３３は、画像メモリ２３１の部分画像記憶領域２３１ｂから各部分画像を順次、読み出し、上述の輝度補正等の所定の前処理を施した後、マッチング演算回路２３４に入力する。
【００７１】
マッチング演算回路２３４は、部分画像毎に、拡大画像の対応する位置の画像（部分的な画像）に略一致するように各部分画像を幾何学的に変形させる際の画像データの変換量（以下、マッチング変換量という。）を演算するものである。
【００７２】
本実施の形態では、撮像部２の光軸Ｌの方向を変化させて被写体の部分をそれぞれ撮像するようにしているので、各部分画像の撮像における露出制御値やＷＢ調整部の相違によって部分画像間に輝度差が生じるおそれがある。また、被写体の撮像部分に対して光軸Ｌが斜め方向となり、撮像された各部分画像に遠近法的な像歪みが生じる。すなわち、図８に示すように、例えば被写体である掲示板Ｑを部分画像ＧＡ〜ＧＤに４分割して撮影した場合、図９に示すように、各部分画像ＧＡ〜ＧＤに遠近法的な像歪みが生じる。
【００７３】
部分画像間の輝度差のみを補正して各部分画像を境界部分で貼り合わせるように合成してもよいが、単純に貼合せ合成をした場合は、図１０に示すように、各部分画像の遠近法的な像歪みが合成後の全体画像に発生し、更には境界部分に図柄の屈曲やずれも発生することがあるので、著しく画質を低下させることになる。この不具合を低減するため、部分画像の遠近法的な像歪みを光軸Ｌのずれと被写体距離とに基づいて補正する方法も考えられるが、この方法では、各部分画像の像歪みを補正するための回路や処理が新たに必要になり、装置の複雑化、大型化、高価格化を招くことになる。
【００７４】
本実施の形態では、各部分画像をプレ撮影画像を基準に幾何学的に変形させることにより貼合せ合成における合成位置を決定するとともに、遠近法的な像歪みを補正することで、装置の複雑化、大型化、高価格化を招くことなく合成後の全体画像の画質低下を低減するようにしている。従って、マッチング演算回路２３４では部分画像毎に、各部分画像を拡大画像の対応する位置の画像に一致させるための画像データの変換量が演算され、この演算結果は、幾何学的画像変換回路２３５及び画像合成回路２３６に入力される。
【００７５】
マッチング演算回路２３４は、例えば拡大画像内に含まれる複数の特徴点を抽出し、図１１に示すように、部分画像を平行移動、回転移動、拡大／縮小等の幾何学的な変換を行いつつ拡大画像と比較し、特徴点の重なり度が最も大きくなる幾何学的変換量を算出する。なお、部分画像画が拡大画像上で最も一致度が高い位置（以下、この位置をマッチング位置という。）はその位置に各部分画像を配置した状態で境界部分を貼り合わせるように合成処理が行われることから、この幾何学的変換量は、その部分画像の合成処理における合成位置の情報ともなっている。
【００７６】
特徴点は、特定の文字や文字列、特定の線、特定の幾何学的図形（例えば三角形、円、楕円等）、特定のエッジ部分等の特徴的な画像情報を有する領域の画像データである。特徴点としての文字や文字列は、公知の文字認識方法により抽出され、特徴点としての幾何学的図形は、公知のテクスチュア解析により抽出され、特徴点としてのエッジは、公知のエッジ検出手法により抽出される。
【００７７】
また、図１１において、ｇ１，ｇ２，ｇ３，ｇ４は、それぞれ左上、右上、右下及び左下の部分画像Ｇ１，Ｇ２，Ｇ３，Ｇ４の拡大画像Ｇ０におけるマッチング位置を示している。左上の部分画像Ｇ１は、「ＡＢＣ」の文字列Ｃ１又は長方形Ｃ２を特徴点として、平行移動法によりマッチング位置ｇ１が算出される場合を示し、右上の部分画像Ｇ２は、矩形Ｃ３を特徴点として、拡大／縮小法によりマッチング位置ｇ２が算出される場合を示している。また、右下の部分画像Ｇ３は、太線Ｃ４又は太線Ｃ４のエッジを特徴点として、回転移動法によりマッチング位置ｇ３が算出される場合を示し、左下の部分画像Ｇ４は、長方形Ｃ２又は太線Ｃ４を特徴点として、輝度変換法によりマッチング位置ｇ４が算出される場合を示している。
【００７８】
幾何学的変換量のパラメータは、マッチング方法により異なり、平行移動法では平行移動量、回転移動法では回転中心と回転角度である。また、拡大／縮小法では、点を中心とした拡大／縮小の場合はその中心位置と倍率であり、図１２（ａ）（ｂ）に示すように、軸を中心とした直線方向又は円弧方向の拡大／縮小の場合は軸の位置、拡大／縮小方向及び倍率である。
【００７９】
更に、特徴点の重なり度は、プレ撮影画像の特徴点を構成する画像データとその特徴点に対応する幾何学変換された部分画像の画素位置の画像データとの相関値や両画像データの差の絶対値和若しくは両画像データの差の２乗和を用いて判別される。
【００８０】
なお、部分画像に対して拡大又は縮小の幾何学的変換を行うと、変換後の画素位置と拡大画像の画素位置との間にずれが生じるので、好ましくは拡大画像の特徴点を構成する画素位置に対応する幾何学的変換後の部分画像の画像データを公知のNearest Neibougher法やCubic Convolution法等の補間処理により補正するとよい。また、本実施の形態では、特徴点近傍の画像データを用いて重なり度を判別するようにしているが、部分画像全体について重なり度を判別して画質の向上を図るようにしてもよい。この場合は、ブロック毎や数画素置きに画像データを間引いて画素数を減少させたものを用いることで、処理速度の低下を抑えるようにするとよい。
【００８１】
幾何学的画像変換回路２３５は、マッチング演算回路２３４で算出された幾何学的変換量に基づいて各部分画像の幾何学的変換を行うものである。具体的には、各部分画像を構成する画像データのアドレスを幾何学的変換量を用いて所定の変換式により変換する。
【００８２】
画像合成回路２３６は、幾何学的変換が行われた複数の部分画像を互いに重複する境界部分で貼り合わせるように合成するものである。画像合成回路２３６は、互いに隣接する部分画像の重複する境界部分の画像データを用いて合成用の境界部分の画像を生成し、この合成用の境界部分の画像と両部分画像の境界部分を除いた画像とを繋ぎ合わせて両部分画像の合成を行う。
【００８３】
ところで、幾何学的変換が行われた隣接する部分画像の境界部分が全く同一であれば、合成用の境界部分の画像を生成することなくそのまま両部分画像を繋ぎ合わせれば、両部分画像を簡単に合成することができる。しかし、例えば回転移動等により隣接する部分画像の境界部分で１画素未満のずれが生じた場合や撮影条件の相違により輝度分布が異なる場合は、単純に両部分画像を繋ぎ合わせても両者の画像の整合（濃度分布の整合や図形の整合）を取ることはできないので、両部分画像の境界部分の画像データを用いて境界部分の濃度変化や図形のずれが不自然とならないような合成用の画像を生成する必要がある。
【００８４】
図１３は、境界部分の画像に輝度レベルの差と模様のずれが生じている場合の合成方法の一例を示す図で、（ａ）は左側の部分画像の図、（ｂ）は右側の部分画像の図、（ｃ）は左右の部分画像を境界部分で重ね合わせるように合成した図である。
【００８５】
左右の部分画像Ａ，Ｂの境界部分にはそれぞれ帯状の図形Ｒa，Ｒbが含まれているが、帯状図形Ｒaは、帯状図形Ｒbに対して少し左側に傾斜し、その濃度も帯状図形Ｒbより若干、濃くなっている。左側部分画像Ａと右側部分画像Ｂとを境界部分を重ね合わせるように合成する場合、合成後の帯状図形Ｒcは、図１３（ｃ）に示すように、帯状図形Ｒaと帯状図形Ｒbとの中間に生成されることが好ましい。
【００８６】
図１４は、理想的な合成後の帯状図形Ｒcを構成する画像データ列からなる信号の波形を示すもので、図１３（ｃ）の直線Ｍ上における信号波形である。同図において、実線で示す波形Ｓaは、帯状図形Ｒaを構成する画像データ列からなる信号の波形であり、破線で示す波形Ｓbは、帯状図形Ｒbを構成する画像データ列からなる信号の波形である。また、太線で示す波形Ｓcは、理想的な合成後の帯状図形Ｒcを構成する画像データ列からなる信号の波形である。
【００８７】
図１４に示すように、理想的な信号Ｓcは、信号Ｓaと信号Ｓbとの中間位置にあり、その山頂部のレベルと幅が信号Ｓa，Ｓbの山頂部のレベルと幅とに略一致したものとなっている。
【００８８】
左側部分画像Ａの境界部分の画像データと右側部分画像Ｂの境界部分の画像データとを用いて合成用の境界部分の画像データを生成する場合、境界部分の左側では左側部分画像Ａの画像データの割合を線形的に大きくし、境界部分の右側では右側部分画像Ｂの画像データの割合を線形的に大きくした重み係数を用いて両部分画像Ａ，Ｂの画像データを加重平均して合成用の境界部分の画像データを生成する方法が知られている。
【００８９】
この線形的な加重平均処理は、図１６に示すように、重複する境界部分の総画素数をＮとし、境界部分の左端から右端側に各画素のアドレスを１，２，…Ｎとすると、合成用の境界部分の画像の画素位置ｋの画像データｇ3(k)を、例えば下記演算式で決定するものである。
【００９０】
【数１】
なお、上記演算式では、画像データｇ1(k)の重み係数は右側部分画像Ａの左端からの距離ｋに設定され、画像データｇ2(k)の重み係数は左側部分画像Ｂの右端からの距離（Ｎ−ｋ）に設定されている。
【００９２】
図１５は、図１０（ｃ）における信号波形Ｓa，Ｓbに対して線形的な加重平均処理を施して生成した帯状図形Ｒcを構成する画像データ列からなる信号の波形を示す図である。実線で示す波形Ｓaは、帯状図形Ｒaを構成する画像データ列からなる信号の波形であり、破線で示す波形Ｓbは、帯状図形Ｒbを構成する画像データ列からなる信号の波形である。また、太線で示す波形Ｓcは、線形的な加重平均処理で生成された帯状図形Ｒcを構成する画像データ列からなる信号の波形である。
【００９３】
加重平均処理は、左側部分画像Ａと右側部分画像Ｂとを境界部分で貼り合わせる際、境界部分で両画像の濃度差が緩和されるように、合成用の境界部分の画像データを生成するものであるから、左側部分画像Ａと右側部分画像Ｂとの輝度差が大きいと、図１５に示すように、合成用の境界部分に含まれる帯状図形Ｒcを構成する画像データ列からなる信号Ｓcは、輝度の低い左側部分Ｂの影響を受けて、理想的な信号波形（図１４参照）に比べてそのレベルが低下するとともに、波形の形も大きく崩れてくる。特に、左側部分画像Ａと右側部分画像Ｂとの境界部分の重複するサイズが画素ピッチに対して十分に大きいと、合成後の境界部分の画像の中央部分の画像データは、部分画像Ａの画像データと部分画像Ｂの画像データとの成分比率が略均等になる（すなわち、両画像データの単純平均値となる）ので、帯状画像Ｒcを構成する画像データ列からなる信号Ｓcの山が更に低くなり、帯状画像Ｒcの濃度がより薄くなるという不具合が生じる。
【００９４】
そこで、本実施の形態では、合成用の境界部分の画像を生成する際、エッジ強調処理とスムージング処理とを併用して合成後の帯状画像Ｒcの濃度低下及び形状変化を抑えるようにしている。従って、画像合成回路２３６は、レベル調整回路２３６ａ、加重平均回路２３６ｂ、エッジ強調回路２３６ｃ、スムージング回路２３６ｄ及び画像貼合せ回路２３６ｅを備え、以下に説明するように、エッジ強調処理及びスムージング処理を併用して合成用の境界部分の画像を生成するようになっている。
【００９５】
図１７は、エッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図である。図１７は、図１３（ｃ）の場合の合成用の境界部分の画像の生成処理における各種信号の波形を示したもので、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【００９６】
合成用の境界部分の画像を生成するに当たり、画像合成回路２３６では、まず、レベル調整回路２３６ａで帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルが調整される（図１７（ａ）の状態参照）。すなわち、左側部分画像Ａの境界部分を構成する画像データ群のレベル平均値Ｖaと右側部分画像Ｂの境界部分を構成する画像データ群のレベル平均値Ｖbとが算出され、更に両レベル平均値Ｖa，Ｖbの平均値Ｖab（＝（Ｖa＋Ｖb）／２）が算出される。そして、左側部分画像Ａの境界部分を構成する各画像データのレベル値から補正値ΔＶa（＝｜Ｖab−Ｖa｜）を減算して信号Ｓaのレベルを全体的に低下させるとともに、右側部分画像Ｂの境界部分を構成する各画像データのレベル値から補正値ΔＶb（＝｜Ｖab−Ｖb｜）を加算して信号Ｓbのレベルを全体的に上昇させて、両信号Ｓa，Ｓbのレベルが調整される。
【００９７】
続いて、加重平均回路２３６ｂでレベル調整後の左側部分画像Ａの境界部分を構成する画像データと右側部分画像Ｂの境界部分を構成する画像データとを用いて上述の加重平均演算を行って合成用の境界部分の画像（以下、この画像を合成用境界画像という。）が生成される。この加重平均処理により、合成用境界画像内に図１７（ｂ）の波形Ｓcを有する帯状図形Ｒcが生成される。
【００９８】
続いて、エッジ強調回路２３６ｃで合成用境界画像を表す関数をｆ(i,j)とすると、ｆ(i,j)−∇２ｆ(i,j)の演算処理を行ってエッジ強調が行われる。すなわち、具体的には、合成用境界画像を構成する画像データに、例えば図１８に示すラプラシアンフィルタを用いてエッジ強調のフィルタリング処理が施される。このフィルタリング処理では、合成用境界画像がｎ×ｍ個の画像データで構成されているとすると、画素位置（ｉ，ｊ）（ｉ＝１，２，…ｎ、ｊ＝１，２，…ｍ）の画像データｇ(i,j)がｇ(i,j)′＝｛４ｇ(i,j)−ｇ(i-1,j)−ｇ(i,j-1)−ｇ(i,j+1)−ｇ(i+1,j)｝／４の画像データに置換される。そして、このフィルタリング処理により合成用境界画像に含まれる帯状図形Ｒcを構成する画像データ列からなる信号Ｓcの波形は、図１７（ｃ）に示す信号Ｓc′のように変化する。
【００９９】
なお、本実施の形態では、３×３のサイズのラプラシアンフィルタを用いているが、ラプラシアンフィルタは他のサイズのものでもよい。また、ラプラシアンフィルタに限らず、エッジ強調が可能なラプラシアンに近似した係数を有する広域強調フィルタを用いてもよい。
【０１００】
続いて、スムージング回路２３６ｄでエッジ強調後の合成用境界画像に対してスムージング処理が施される。具体的には、合成用境界画像を構成する画像データに、例えば図１９に示す平滑化フィルタを用いてエッジ強調により信号Ｓc′の山頂部の両端に生じた２つの山や信号Ｓc′の裾野部に生じた２つの谷を平滑化するフィルタリング処理が施される。このフィルタリング処理では、合成用境界画像の画像データｇ(i,j)が下記演算式で算出される画像データｇ(i,j)″に置換される。
【０１０１】
【数２】
そして、このフィルタリング処理により合成用境界画像に含まれる帯状図形Ｒcを構成する画像データ列からなる信号Ｓc′の波形は、図１７（ｄ）の信号Ｓc″のように変化する。
【０１０３】
なお、本実施の形態では、３×３のサイズの平滑化フィルタを用いているが、平滑化フィルタは他のサイズのものでもよい。また、平滑化フィルタは、図１９にものに限らず、例えば隣接画素の画像データを単純に平均化するものでもよい。
【０１０４】
上述のように、線形加重平均演算により生成された帯状図形Ｒcを構成する画像データからなる信号Ｓcに、上述のエッジ強調処理及びスムージング処理を行うと、図１７（ｃ），（ｄ）に示すように信号Ｓcの波形が変化し、図１４に示す理想的な信号波形を有する信号Ｓcに近い信号Ｓc″を得ることができる。
【０１０５】
しかし、上記エッジ強調処理及びスムージング処理は、線形加重平均演算により生成された帯状図形Ｒcを構成する画像データ列からなる信号Ｓcの波形を理想的な波形に整形するものであるから、整形後の信号Ｓc″の波形は元の信号Ｓcの波形の影響を大きく受けることになる。そして、信号Ｓcの波形は、帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとの波形のずれ具合によって大きく変化するから、結局、信号Ｓc″の波形は、信号Ｓaと信号Ｓbとのずれ量によって大きく変化することになる。
【０１０６】
特に、信号Ｓaの山と信号Ｓbの山とが離れていると（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが大きいと）、図２０（ａ），（ｂ）に示すように、線形加重平均演算により生成された帯状図形Ｒcを構成する画像データ列からなる信号Ｓcのピークレベルが低下し、その波形もなだらかな山形となる。一方、信号Ｓaの山と信号Ｓbの山とが近接していると（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが小さいと）、図２１（ａ），（ｂ）に示すように、信号Ｓcのピークレベルは、信号Ｓa（又は信号Ｓb）と略同一となり、その波形も信号Ｓaに近い矩形となる。
【０１０７】
そこで、エッジ強調処理及びスムージング処理による波形整形での左側部分画像Ａと右側部分画像Ｂとのずれ量の影響を少なくするため、例えば各画素位置毎に、画素位置（ｉ，ｊ）の加重平均演算後の画像の画像データｇ3(i,j)に加算される２次微分値∇２ｇ3(i,j)を、その画素位置（ｉ，ｊ）の左側部分画像Ａの画像データｇ1(i,j)と右側部分画像Ｂの画像データｇ2(i,j)とのレベル差Δｇ（＝｜ｇ1(i,j)−ｇ2(i,j)｜）に応じて変化させるようにするとよい。具体的には、レベル差Δｇが０又は微小であるときは、２次微分値∇２ｇ3(i,j)を０又は微小量とし、レベル差Δｇが大きくなるのに応じて２次微分値∇２ｇ3(i,j)を大きくする。
【０１０８】
このようにすれば、信号Ｓaの山と信号Ｓbの山とが離れているとき（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが大きいとき）は、図２０（ｃ）に示すように、エッジ強調処理により信号Ｓc′の山頂部両端のエッジの突出量及び山裾の谷の落込量が大きくなり、信号Ｓaの山と信号Ｓbの山とが近接しているとき（すなわち、左側部分画像Ａと右側部分画像Ｂとのずれが小さいとき）は、図２１（ｃ）に示すように、エッジ強調処理により信号Ｓc′の山頂部両端のエッジの突出量及び山裾の谷の落込量が小さくなり、図２０（ｄ）及び図２１（ｄ）に示すように、信号Ｓc″の波形及びピークレベルを略理想的な状態（図１７に示す信号Ｓcの状態）に設定することができる。
【０１０９】
なお、２次微分値∇２ｇ3(i,j)の変更制御は、上述のように各画素位置毎でもよく、所定の画素数を単位としたブロック毎でもよい。また、上述の説明では、左右の部分画像Ａ，Ｂを貼り合わせる場合について説明したが、上下の部分画像を貼り合わせる場合についても同様の方法で合成処理を行うことができる。
【０１１０】
図７に戻り、後処理回路２３７は、画像合成回路２３６で合成された全体画像について、エッジ強調、スムージング、色ムラ補正等の補正処理を行うものである。また、符号化回路２３８は、合成された全体画像を構成する画像データの符号化を行うものである。符号化回路２３８は、例えばＤＣＴ（離散コサイン変換）とハフマン符号化とを組み合わせたＪＰＥＧ圧縮方式により画像データの符号化処理（圧縮処理）を行うものである。そして、符号化回路２３８から出力される画像データは、ＨＤカード１０に記憶される。
【０１１１】
次に、図２２〜図２４のフローチャートを従って、デジタルカメラ１の撮影動作について説明する。
【０１１２】
図２２，図２３は、撮影動作手順を示すフローチャートである。
【０１１３】
電源スイッチ７がオンになり、デジタルカメラ１が起動すると、高解像度モード設定ボタン１３や合成画像数設定スイッチ１４の設定状態に応じて撮影モード、撮影条件等の設定又は変更が行われる（＃２）。また、撮像部２がビデオモードで駆動され、その撮像画像がＬＣＤ表示部１１にモニタ表示（ファインダ表示）され、これにより撮影可能状態となる（＃４）。この状態は、シャッタボタン６が全押しされて、レリーズが指示されるまで継続される（＃２〜＃６のループ）。なお、この間に撮影者により高解像度モード設定ボタン１３や合成画像数設定スイッチ１４が操作されると、その操作に応じて撮影モード及び撮影条件が変更される（＃２）。
【０１１４】
そして、シャッタボタン６が全押しされてレリーズが指示されると（＃６でＹＥＳ）、撮影モードが高解像度モードに設定されているか否かが判別され（＃８）、高解像度モードが設定されていなければ（＃８でＮＯ）、ステップ＃１０に移行し、通常の撮影モードの撮影処理が行われる。
【０１１５】
すなわち、まず、撮像部２の撮影方向（光軸Ｌの方向）が正面方向に設定され（＃１０）、測光部３により被写体輝度が検出されるとともに（＃１２）、測距部４により被写体距離が検出され（＃１４）、この被写体距離に基づいて焦点調節が行われる（＃１６）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤ２０３の積分時間）が設定される（＃１８）。
【０１１６】
続いて、設定された露出制御値に基づいて被写体の撮像が行われる（＃２０）。撮像部２から出力される撮像画像を構成する画像信号は、Ａ／Ｄ変換部２２でデジタルの画像データに変換された後、画像処理部２３内の画像メモリ２３１のプレ撮影画像記憶領域２３１ａに格納されるとともに、この画像メモリ２３１を介してＬＣＤ駆動制御部２４に出力され、ＬＣＤ表示部１１に静止画表示される（＃２２）。この静止画表示により撮影者は、撮影した画像をモニタすることができる。
【０１１７】
また、画像メモリ２３１に格納された画像データは、後処理回路２３７でエッジ強調、スムージング、色補正等の補正処理が行われた後、符号化回路２３８で符号化処理が行われ（＃２４）、ＨＤカード１０に記録されて（＃２６）、撮影処理は終了する。
【０１１８】
撮影処理が終了すると、撮影者が静止画表示解除ボタン１２を操作して静止画表示の解除を指示しているか否かが判別され（＃２８）、静止画表示解除の指示がされていると（＃２８でＹＥＳ）、次の撮影処理を行うべくステップ＃２に戻り、静止画表示解除の指示がされていなければ（＃２８でＮＯ）、静止画表示の解除が指示されるまで撮影画像の静止画表示が継続される（＃２８のループ）。
【０１１９】
ステップ＃８で高解像度モードが設定されていれば（＃２８でＹＥＳ）、ステップ＃３０に移行し、高解像度モードの撮影処理が行われる。なお、この高解像度モードでの撮影処理の説明では、図４，図５に示す被写体を４分割して部分画像を取り込む場合を例に説明する。
【０１２０】
まず、撮像部２の撮影方向（光軸Ｌの方向）が正面方向に設定され（＃３０）、撮像部２のズームレンズ２０２が所定のワイド位置に設定される（＃３２）。続いて、測光部３により被写体輝度が検出されるとともに（＃３４）、測距部４により被写体距離が検出され（＃３６）、この被写体距離に基づいて焦点調節が行われる（＃３８）。また、検出された被写体輝度を用いて露出制御値（絞り値とＣＣＤ２０３の積分時間）が設定される（＃４０）。
【０１２１】
続いて、設定された露出制御値に基づいて被写体の撮像が行われる（＃４２）。この撮像画像は、被写体全体が撮影されたもので、合成後の撮影画像と略同一の画面構成となっている。撮像部２から出力される撮像画像を構成する画像信号は、Ａ／Ｄ変換部２２でデジタルの画像データに変換された後、画像処理部２３内の画像メモリ２３１のプレ撮影画像記憶領域２３１ａに格納されるとともに（＃４４）、この画像メモリ２３１を介してＬＣＤ駆動制御部２４に出力され、ＬＣＤ表示部１１に静止画表示される（＃４６）。この静止画表示により撮影者は、撮影した画像（すなわち、合成後の全体画像と略同一の画像）をモニタすることができる。
【０１２２】
続いて、画像メモリ２３１に格納された画像データを用いてＡＥ・ＡＷＢ演算部２６で部分画像を取り込む際の各撮影動作における露出制御値とＷＢ調整値とが演算される（＃４８）。露出制御値は、最初に撮影された被写体全体の画像の全画像データ若しくは一部の画像データの平均レベルを算出し、この平均レベルを用いて算出される。また、ＷＢ調整値は、Ｒ，Ｇ，Ｂの各色成分毎に、被写体全体の画像の全画像データ若しくは一部の画像データの平均レベルを算出し、Ｒ，Ｇ，Ｂの各成分の平均レベルを等しくする補正係数として算出される。なお、この露出制御値及びＷＢ調整値の設定は、マニュアルで設定するようにしてもよい。
【０１２３】
続いて、撮像部２の撮影方向が、合成画像数設定スイッチ１４により設定された合成画像数に分割して被写体を部分的に撮影する際の最初の撮影方向（図５のａ方向）に設定されるとともに（＃５０）、撮像部２のズームレンズ２０２が所定の撮影倍率となるテレ位置（図５の例では、分割数が４であるで、撮影倍率が略２倍となる位置）に設定される（＃５２）。更に、露出制御値がステップ＃４８で算出された当該最初の撮影方向に対する露出制御値（図５の例では、被写体に向かって左上の被写体部分に対する露出制御値）に変更されるとともに、ＷＢ調整値が最初に撮影される部分画像に対するＷＢ調整値に設定される（＃５４）。
【０１２４】
続いて、設定された露出制御値に基づいて被写体の左上の部分の撮像が行われる（＃５６）。そして、撮像部２から出力される撮像画像（部分画像）を構成する画像信号は、Ａ／Ｄ変換部２２でデジタルの画像データに変換された後、画像処理部２３内の画像メモリ２３１の部分画像記憶領域２３１ｂに格納される（＃５８）。
【０１２５】
続いて、全ての部分画像の取込みが終了したか否かが判別され（＃６０）、終了していなければ（＃６０でＮＯ）、次の部分画像を取り込むべくステップ＃５０に戻る。今回は、最初の部分画像の取込みが終了しているだけであるので、ステップ＃５０に戻り、撮像部２の撮影方向を２枚目の撮影方向（図５のｃ方向）に設定し（＃５０）、撮像部２のズームレンズ２０２を所定の撮影倍率となるテレ位置（略２倍となる位置）に設定して（＃５２）、被写体の右上の部分の撮像が行われる（＃５４〜＃５８）。以下、同様の手順で、被写体の右下及び左下の部分の撮像が行われ、全ての部分画像の取込みが終了すると（＃６０でＹＥＳ）、図２４に示す「貼合せ合成処理」のフローチャートに従って４枚の部分画像を貼り合わせるように合成して被写体全体の撮影画像が生成される（＃６２）。
【０１２６】
すなわち、まず、画像拡大回路２３２でプレ撮影画像に補間処理を施して４倍のサイズに拡大した拡大画像が生成されるととともに、前処理回路２３３で各部分画像を構成する画像データに対して輝度補正、ノイズ除去、スムージング、エッジ強調等の前処理が行われ、これらの画像がマッチング演算回路２３４に入力される（＃７０）。
【０１２７】
続いて、マッチング演算回路２３４で拡大画像と各部分画像とを比較してマッチング変換量（拡大画像上のマッチング位置への幾何学的変換量）が演算され（＃７２）、算出された幾何学的変換量に基づき幾何学的画像変換回路２３５で各部分画像を構成する画像データについて幾何学的変換処理（各部分画像の拡大画像に一致する位置への変換。図１１に示す処理）が行われる（＃７４）。
【０１２８】
続いて、画像合成回路２３６のレベル調整回路２３６ａで、各部分画像の貼合せ処理が行われる境界部分（重なり部分）の輝度調整（図１７（ａ）の処理）が行われた後（＃７６）、加重平均回路２３６ｂで両部分画像の境界部分を構成する画像データを所定の重み係数で加重平均して合成用の境界部分の画像データが生成される（＃７８、図１７（ｂ）の処理）。更に、エッジ強調回路２３６ｃ及びスムージング回路２３６ｄで合成用の境界部分の画像データにエッジ強調処理（２次微分値の加算処理）とスムージング処理とが行われる（＃８０，＃８２）。
【０１２９】
そして、画像貼合せ回路２３６ｅで各部分画像の境界部分を除く部分の画像データと合成用の境界部分の画像データとを単純接続するように合成して被写体全体の合成画像が生成され、更に後処理回路２３７でこの合成画像にエッジ強調、スムージング、色ムラ補正等の各種補正処理が行われた後（＃８４）、リターンする。
【０１３０】
そして、合成された全体画像の画像データに対して符号化回路２３８で符号化（圧縮）処理が行われた後（＃６４）、その画像データがＨＤカード７に記録され（＃６６）、撮影処理は終了する。撮影処理が終了すると、撮影者が静止画表示解除ボタン１２を操作して静止画表示の解除を指示しているか否かが判別され（＃６８）、静止画表示解除の指示がされていると（＃６８でＹＥＳ）、次の撮影処理を行うべくステップ＃２に戻り、静止画表示解除の指示がされていなければ（＃６８でＮＯ）、静止画表示の解除が指示されるまで撮影画像の静止画表示が継続される（＃６８のループ）。
【０１３１】
図２５は、画像処理部内の高輝度モードにおける画像処理に関するブロック構成の第２の実施の形態を示す図である。
【０１３２】
第１の実施の形態は、部分画像毎に拡大画像に略一致するマッチング変換量を算出して各部分画像を変形するようにしていたが、第２の実施の形態は、部分画像毎に拡大画像における合成位置のみを算出し、各部分画像を拡大画像における合成位置に配置した状態で境界部分で貼合せ合成するもので、画像合成処理の簡素化を図ったものである。すなわち、第２の実施の形態は、遠近法的な像歪みの補正を行うことなく各部分画像の合成処理を行うもので、処理を簡素化して合成処理の迅速化を図るものである。被写体距離がある程度、長い場合は、部分画像を取り込む際の撮像部２の光軸Ｌの正面方向からの振れ角は小さく、各部分画像に生じる遠近法的な像歪みも少なくなるから、このような撮影条件下では第２の実施の形態でも有効に高解像度の合成画像を得ることができる。
【０１３３】
従って、図２５に示すブロック構成図は、図７において、幾何学的画像変換回路２３５をレベル補正回路２３９に置き換えたものである。
【０１３４】
図２５において、レベル補正回路２３９は、拡大画像の合成位置における一部画像とその合成位置に対応する部分画像との輝度差に基づき当該部分画像のレベルを補正するものである。画像合成回路２３６では各部分画像を合成して最終的に拡大画像と略同一の画像を生成するので、各部分画像の輝度を拡大画像と合わせておいて合成後に部分画像間で輝度差が目立たないようにするためものである。なお、図２５におけるマッチング演算回路２３４では、後述するように、拡大画像上における各部分画像の一致する領域を算出するのみで、各部分画像を変形して拡大画像上で最も一致する領域の算出は行われない。
【０１３５】
第２の実施の形態は、第１の実施の形態と比較して主としてマッチング演算回路２３４及びレベル補正回路２３９の動作が異なるのみであるから、以下の説明では、両回路を中心に動作説明を行う。
【０１３６】
マッチング演算回路２３４では、拡大画像と各部分画像とを比較しつつ、各部分画像を拡大画像上で上下左右に所定の画素ピッチで移動させて両画像が最も一致する位置が合成位置として算出される。この場合、拡大画像と部分画像との一致度は、拡大画像を構成する画素データとその画素データの画素位置に対応する部分画像を構成する画素データとの輝度差の絶対値｜ΔＤi｜（ｉ＝１，２，…ｎ）の総和Σ｜ΔＤi｜で判断され、この総和Σ｜ΔＤi｜が最小となる位置が合成位置として算出される。なお、拡大画像における各部分画像の移動範囲は、予め拡大画像におけるおよその範囲（右上隅の範囲や左下の範囲等）が分かっているので、その範囲内で撮影レンズ２の走査精度や手ぶれ等による部分画像の相対的なずれを考慮して決定される。
【０１３７】
また、各部分画像の合成位置が決定されると、その位置における輝度差の総和Σ｜ΔＤi｜を部分画像を構成する総画素数ｎで割って１画素当たりの輝度補正値Σ｜ΔＤi｜／ｎが算出され、レベル補正回路２３９でこの輝度補正値Σ｜ΔＤi｜／ｎを部分画像を構成する画素データに加算して拡大画像と各部分画像との輝度差の補正が行われる。この輝度補正により、各部分画像の貼合せ合成処理における貼合せ部分（境界部分）での輝度段差が低減される。
【０１３８】
図２６は、第２の実施の形態に係る合成位置の演算処理を示すフローチャートである。図２６のフローチャートは、図２４のステップ＃７２におけるマッチング演算処理に相当する処理である。従って、ステップ＃７２の処理を図２６に示す合成位置の演算処理に置き換えれば、図２２〜図２４のフローチャートにより高解像度モードでの撮影動作で簡素化された合成処理を行わせることができる。
【０１３９】
図２６に示す合成位置の演算処理では、まず、画像メモリ２３１の部分画像記憶領域２３１ｂから部分画像ＧＡを構成する画素データｇa(i)が順次、読み出されるとともに（＃９０）、マッチング演算回路２３４内の図略のメモリに格納された拡大画像Ｇの所定の比較範囲における対応する画素データｇ(i)が順次、読み出され（＃９２）、両画素データｇa(i)，ｇ(i)の輝度差の絶対値｜ΔＤi｜＝｜ｇa(i)−ｇ(i)｜の総和Σ｜ΔＤi｜（ｉ＝１，２，…ｎ、ｎは部分画像を構成する画素データの総数）が算出される（＃９４）。
【０１４０】
続いて、算出された総和Σ｜ΔＤi｜が前回までに算出された総和の最小値minΣより小さいか否かが判別され（＃９６）、minΣ＞Σ｜ΔＤi｜であれば（＃９６でＹＥＳ）、今回算出された総和Σ｜ΔＤi｜が総和の最小値としてマッチング演算回路２３４に設けられたminΣのメモリ（図略）に更新的に記憶されるとともに（＃９８）、拡大画像Ｇにおける部分画像ＧＡの比較範囲の位置が合成位置としてマッチング演算回路２３４内のメモリ（図略）に記憶される（＃１００）。一方、minΣ≦Σ｜ΔＤi｜であれば（＃９６でＮＯ）、minΣ及び合成位置のメモリの内容を変更することなくステップ＃１０２に移行する。
【０１４１】
ステップ＃１０２では全比較範囲について輝度差の絶対値の総和Σ｜ΔＤi｜の算出が終了したか否かが判別され、終了していなければ（＃１０２でＮＯ）、比較範囲が所定の移動量（例えば１画素乃至数画素分）だけ所定の移動方向（例えば上下方向又は左右方向）に移動され（＃１０４）、ステップ＃９２に戻る。そして、拡大画像Ｇの移動後の比較範囲における対応する画素データｇ(i)が順次、読み出され、部分画像ＧＡの画像データとの輝度差の絶対値｜ΔＤi｜の総和Σ｜ΔＤi｜が算出され、更にこの総和Σ｜ΔＤi｜とminΣとを比較して比較結果に応じた上記所定の処理が行われる（＃９２〜＃１００）。以下、同様に比較範囲を順次、変更して拡大画像Ｇにおける部分画像ＧＡとの輝度差の総和Σ｜ΔＤi｜が最小となる比較範囲の位置（すなわち、合成位置）が算出される（＃９２〜＃１０４のループ）。
【０１４２】
そして、部分画像ＧＡについて合成位置が算出されると（＃１０２でＹＥＳ）、輝度差の総和Σ｜ΔＤi｜の最小値minΣを部分画像ＧＡを構成する画像データの総数ｎで割って輝度補正値minΣ／ｎが算出され、この算出結果がレベル補正回路２３９に入力される（＃１０６）。
【０１４３】
続いて、全部分画像について合成位置の算出が終了したか否かが判別され（＃１０８）、終了していなければ（＃１０８でＮＯ）、ステップ＃９０に戻り、次の部分画像についての合成位置の算出処理が行われる（＃９０〜＃１０４のループ）。今回は最初の部分画像ＧＡについての処理であったので、ステップ＃９０に戻り、次の部分画像ＧＢについての合成位置の算出処理が行われる。そして、全部分画像ＧＡ〜ＧＤについて合成位置と輝度補正値minΣ／ｎの算出処理が終了すると（＃１０８でＹＥＳ）、合成位置の演算処理を終了する。
【０１４４】
マッチング演算回路２３４で算出された合成位置の情報は、画像合成回路２３６に入力され、各部分画像を構成する画像データＧＡ〜ＧＤは、レベル補正回路２３９で輝度補正値minΣ／ｎを加算補正された後、画像合成回路２３６に入力される。そして、この後は、図２４のステップ＃７４移行の処理に従って各部分画像ＧＡ〜ＧＤが境界部分で貼り合わせるように合成されて全体画像が合成される。
【０１４５】
なお、上述のマッチング演算処理では、部分画像を構成する画像データを全て用いていたが、ブロック毎や数画素置きに画像データを間引いて画素数を減少させたものを用いることで処理速度の低下を抑えるようにしてもよい。
【０１４６】
また、上記実施の形態では、撮像部２の撮影レンズ２０２の光軸方向を変化させて同一のＣＣＤ２０３で複数の部分画像を連続的に取り込むようにしているが、プリズム等の分光手段で被写体光像を被写体全体の構造と複数の部分光像とに分割し、それらの光像を複数のＣＣＤの撮像面にそれぞれ結像して同時に被写体全体の画像と被写体の部分の画像を取り込むようにしてもよい。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、部分的に撮像した複数の画像を貼り合わせて被写体全体の撮像画像を生成する撮像装置であって、各部分画像のレベル補正を行い、隣接する部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成し、更にこの合成用の境界部分の画像にエッジ強調処理を施した後、その合成用の境界部分の画像と各部分画像の境界部分を除く画像と繋ぎ合わせるように合成して被写体全体の撮影画像を生成するようにしたので、各部分画像の位置合わせに誤差が生じた場合にも合成用の境界部分における画像のずれとコントラストとが適正に補正され、合成後の画像の画質の低下を低減することができる。
【０１４８】
また、本発明によれば、部分的に撮像した複数の画像を貼り合わせて被写体全体の撮像画像を生成する撮像装置であって、隣接する部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成し、更にこの合成用の境界部分の画像にエッジ強調処理を施した後、その合成用の境界部分の画像と各部分画像の境界部分を除く画像と繋ぎ合わせるように合成して被写体全体の撮影画像を生成し、その合成画像に対して補正処理を行うようにしたので、各部分画像の位置合わせに誤差が生じた場合にも合成用の境界部分における画像のずれが適正に補正され、合成後の画像の画質の低下を低減することができる。
【０１４９】
また、被写体全体を撮像し、この被写体全体の撮像画像を基準に被写体の各部分の撮像画像の貼合せ合成における合成位置を算出して各部分画像の位置合わせを行うようにしたので、各部分画像の合成処理が正確に行われ、合成用の境界部分における画像のずれとコントラストとをより好適に補正することができる。
【０１５０】
また、合成用の境界部分の画像にエッジ強調処理を行った後、更にスムージング処理を行い、この合成用の境界部分の画像と各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の撮影画像を生成するようにしたので、合成用の境界部分における画像のずれとコントラストがより適正に補正され、合成処理による合成画像の画質の低下をより低減することができる。
【０１５１】
また、被写体を全体的に撮像する第１の撮像手段と被写体を部分的に撮像する第２の撮像手段とを、撮影倍率変更可能なレンズと被写体光像を電気画像に光電変換して取り込む撮像素子とが光軸方向変更可能に一体的に構成されてなる撮像部で構成し、この撮像部の光軸方向及び撮影倍率を変更して被写体の全体画像と被写体の部分画像とを順次、取り込むようにしたので、被写体の全体画像及び部分画像を取り込む撮像系の構造がコンパクトになる。また、被写体全体の画像と被写体の部分の画像との間で撮影光学系の相違の起因する画質の差が少なく、合成処理が容易になるとともに、合成後の画像の画質の低減を抑制することができる。
【図面の簡単な説明】
【図１】 本発明に係るデジタルカメラの一実施の形態の外観を示す図である。
【図２】 本発明に係るデジタルカメラの背面図である。
【図３】 本発明に係るデジタルカメラの撮像系の概略構成を示す図である。
【図４】 高解像度モードにおける撮影方法を説明するための図である。
【図５】 高解像度モードでの撮影における被写体と撮影範囲との関係を示す図である。
【図６】 本発明に係るデジタルカメラのブロック構成の一実施の形態を示す図である。
【図７】 画像処理部内の高解像度モードにおける画像処理に関するブロック構成の第１の実施の形態を示す図である。
【図８】 掲示板を４分割して部分的に撮像する場合の各撮影時の撮影範囲を示す図である。
【図９】 部分画像に生じる遠近法的な像歪みを示す図である。
【図１０】 遠近法的な像歪みを有する部分画像を貼合せ合成して得られる画像を示す図である。
【図１１】 マッチング処理の方法を示す図である。
【図１２】 直線を軸とした拡大又は縮小の方向を示す図で、（ａ）は直線方向の拡大又は縮小を示す図であり、（ｂ）は円弧方向の拡大又は縮小を示す図である。
【図１３】 境界部分の画像に輝度レベルの差と模様のずれが生じている場合の合成方法の一例を示す図で、（ａ）は左側の部分画像を示す図、（ｂ）は右側の部分画像を示す図、（ｃ）は両部分画像の境界部分の貼合せ画像を示す図である。
【図１４】 図１３（ｃ）の直線Ｍ上における帯状図形Ｒaを構成する画像データと帯状図形Ｒbを構成する画像データとを適正に合成して得られる理想的な帯状図形Ｒcを構成する画像データ列の波形を示す図である。
【図１５】 図１３（ｃ）の直線Ｍ上における帯状図形Ｒaを構成する画像データと帯状図形Ｒbを構成する画像データとを線形的に加重平均して得られる帯状図形Ｒcを構成する画像データ列の波形を示す図である。
【図１６】 線形的な加重平均処理により画像を合成する方法を説明するための波形図である。
【図１７】 エッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図で、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【図１８】 エッジ強調処理用のフィルタの一例を示す図である。
【図１９】 スムージング処理用のフィルタの一例を示す図である。
【図２０】 左右の部分画像のずれが大きい場合のエッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図で、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【図２１】 左右の部分画像のずれが小さい場合のエッジ強調処理とスムージング処理とを併用した合成用の境界部分の画像の生成処理を説明するための波形図で、（ａ）は帯状図形Ｒaを構成する画像データ列からなる信号Ｓaと帯状図形Ｒbを構成する画像データ列からなる信号Ｓbとのレベルを調整した波形図、（ｂ）はレベル調整後の信号Ｓaと信号Ｓbとを加重平均した信号Ｓcの波形図、（ｃ）は信号Ｓcのエッジを強調した信号Ｓc′の波形図、（ｄ）は信号Ｓc′の突出したエッジを平滑化した信号Ｓc″の波形図である。
【図２２】 本発明に係るデジタルカメラの撮影制御を示すフローチャートである。
【図２３】 本発明に係るデジタルカメラの撮影制御を示すフローチャートである。
【図２４】 「貼合せ処理」の処理手順を示すフローチャートである。
【図２５】 画像処理部内の高解像度モードにおける画像処理に関するブロック構成の第２の実施の形態を示す図である。
【図２６】 「合成位置の演算」の処理手順を示すフローチャートである。
【符号の説明】
１ デジタルカメラ（撮像装置）
２ 撮像部（撮像手段、第１及び第２の撮像手段）
２０１ 筐体
２０２ 撮影レンズ
２０３ 撮像素子（ＣＣＤ）
３ 測光部
４ 測距部
５ フラッシュ
６ シャッタボタン
７ 電源スイッチ
８ カード挿入口
９ カード取出ボタン
１０ ＨＤカード
１１ ＬＣＤ表示部
１２ 静止画表示解除ボタン
１３ 高解像度モード設定スイッチ
１４ 合成画像数設定スイッチ
１５，１６，１７ 電動モータ
２０ 制御部
２１ 撮像制御部
２１１ ズーム制御回路
２１２ 走査制御回路（光軸変更部）
２１３ 撮像制御回路（第１及び第２の撮像制御部）
２２ Ａ／Ｄ変換部
２３ 画像処理部
２３１ 画像メモリ（記憶手段）
２３２ 画像拡大回路
２３３ 前処理回路
２３４ マッチング演算回路（合成位置算出手段）
２３５ 幾何学的画像変換回路
２３５ 画像貼合せ回路
２３６ 画像合成回路
２３６ａ レベル調整回路（補正手段）
２３６ｂ 加重平均回路（境界画像生成手段）
２３６ｃ エッジ強調回路（エッジ強調手段）
２６６ｄ スムージング回路（画像処理手段）
２３６ｅ 画像貼合せ回路（画像合成手段）
２３７ 後処理回路
２３８ 符号化回路
２３９ レベル補正回路
２４ ＬＣＤ駆動制御部
２５ カード駆動制御部
２６ ＡＥ・ＡＷＢ演算部
２７ ＲＡＭ
２８ ＲＯＭ
Claims (5)
- 被写体全体を境界部分が重複するように複数の部分に分割し、各部分を順次、撮像する撮像手段と、上記撮像手段によって撮像された各部分画像における上記境界部分の画像データに基づいて境界部分の輝度を調整する調整手段と、輝度調整後の各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成する画像合成手段とを備えたことを特徴とする撮像装置。
- 被写体を全体的に撮像する第１の撮像手段と、境界部分が重複するように上記被写体全体を複数の部分に分割し、被写体の各部分を上記被写体全体の撮像サイズと略同一のサイズに拡大して順次、撮像する第２の撮像手段と、上記第１及び第２の撮像手段で撮像された画像を記憶する記憶手段と、上記第１の撮像手段で撮像された被写体全体の撮像画像を基準に上記第２の撮像手段で撮像された被写体の各部分画像の貼合せ合成における合成位置を算出する合成位置算出手段と、上記被写体の各部分画像を上記合成位置算出手段で算出された合成位置に位置合せした状態で、部分画像全体の平均輝度が境界部分の画像の平均輝度となるように、当該部分画像を構成する画像データの輝度を調整する調整手段と、輝度調整後の隣接する２つの部分画像の境界部分を構成する画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とを繋ぎ合わせるように合成して被写体全体の画像を生成する画像合成手段とを備えたことを特徴とする撮像装置。
- 上記請求項２記載の撮像装置において、第１及び第２の撮像手段は、撮影倍率変更可能なレンズと被写体光像を電気画像に光電変換して取り込む撮像素子とが光軸方向変更可能に一体的に構成されてなる撮像部と、上記撮像部の光軸方向を変更する光軸変更部と、上記撮像部の光軸方向を正面方向に設定するとともに、撮影画面に被写体全体が入るように上記レンズの撮影倍率を設定して上記被写体を全体的に撮像する第１の撮像制御部と、上記撮像部の撮影倍率を上記被写体の各部分が互いに境界部分が重複するサイズで撮影画面に入るように拡大するとともに、上記撮像部の光軸方向を上記被写体の各部分に対応する所定の方向に順次、変更して上記被写体を部分的に撮像する第２の撮像制御部とからなることを特徴とする撮像装置。
- 被写体全体を境界部分が重複するように複数の部分に分割し、各部分を順次、撮像する撮像手段と、上記撮像手段によって撮像された各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成する境界画像生成手段と、上記合成用の境界部分の画像にエッジ強調処理を行うエッジ強調手段と、上記エッジ強調処理後の境界部分の画像にスムージング処理を行う画像処理手段と、エッジ強調処理とスムージング処理後の境界部分の画像と、エッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像に対して補正処理を行う後処理手段とを備えたことを特徴とする撮像装置。
- 境界部分が重複するように被写体全体を複数の部分に分割して撮像された部分画像から被写体全体の合成画像を生成する画像合成方法であって、各部分画像における上記境界部分の画像データに基づいて各部分画像の輝度を調整するステップと、輝度調整後の各部分画像における上記境界部分の画像データを所定の重みで加重平均して合成用の境界部分の画像を生成するステップと、上記合成用の境界部分の画像にエッジ強調処理を行うステップと、上記エッジ強調処理後の境界部分の画像にスムージング処理を行うステップと、輝度調整とエッジ強調処理とスムージング処理後の境界部分の画像と、輝度調整とエッジ強調処理とスムージング処理後の各部分画像の境界部分を除く画像とが繋ぎ合わされた状態の被写体全体の合成画像を生成するステップとを備えたことを特徴とする画像合成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36060897A JP3984346B2 (ja) | 1997-12-26 | 1997-12-26 | 撮像装置及び画像合成方法 |
| US09/221,418 US6720997B1 (en) | 1997-12-26 | 1998-12-28 | Image generating apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36060897A JP3984346B2 (ja) | 1997-12-26 | 1997-12-26 | 撮像装置及び画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11196319A JPH11196319A (ja) | 1999-07-21 |
| JP3984346B2 true JP3984346B2 (ja) | 2007-10-03 |
Family
ID=18470146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36060897A Expired - Fee Related JP3984346B2 (ja) | 1997-12-26 | 1997-12-26 | 撮像装置及び画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3984346B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011095861A (ja) * | 2009-10-27 | 2011-05-12 | Canon Inc | 画像処理装置、制御方法、及びプログラム |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003203229A (ja) * | 2002-01-08 | 2003-07-18 | Canon Inc | 画像処理装置、画像処理方法、記憶媒体、及びプログラム |
| JP2004343222A (ja) * | 2003-05-13 | 2004-12-02 | Olympus Corp | 画像処理装置 |
| JP2006214893A (ja) * | 2005-02-04 | 2006-08-17 | Iwate Univ | 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム |
| JP4506501B2 (ja) * | 2005-02-21 | 2010-07-21 | 株式会社日立製作所 | 画像合成装置及び撮像システム |
| JP4596986B2 (ja) * | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| US7920200B2 (en) | 2005-06-07 | 2011-04-05 | Olympus Corporation | Image pickup device with two cylindrical lenses |
| JP4596988B2 (ja) * | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
| JP4775700B2 (ja) * | 2005-09-05 | 2011-09-21 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
| CN101512596B (zh) * | 2006-09-14 | 2012-06-13 | 富士通株式会社 | 图像处理方法和装置 |
| JP5121673B2 (ja) * | 2007-11-06 | 2013-01-16 | パナソニック株式会社 | 画像投影装置及び画像投影方法 |
| JP4779041B2 (ja) * | 2009-11-26 | 2011-09-21 | 株式会社日立製作所 | 画像撮影システム、画像撮影方法、および画像撮影プログラム |
| US8538192B2 (en) | 2010-10-26 | 2013-09-17 | Morpho, Inc. | Image processing device, image processing method and storage medium |
| EP3301431B1 (en) * | 2016-09-29 | 2019-08-28 | Roche Diagniostics GmbH | Multi-chamber analysis device and method for analyzing |
| WO2023176078A1 (ja) * | 2022-03-17 | 2023-09-21 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
1997
- 1997-12-26 JP JP36060897A patent/JP3984346B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011095861A (ja) * | 2009-10-27 | 2011-05-12 | Canon Inc | 画像処理装置、制御方法、及びプログラム |
| US8451506B2 (en) | 2009-10-27 | 2013-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, control method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11196319A (ja) | 1999-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6720997B1 (en) | Image generating apparatus | |
| TWI399977B (zh) | 攝影裝置及程式 | |
| US6995790B2 (en) | Image processing apparatus for joining a plurality of images | |
| US7057645B1 (en) | Camera system that compensates low luminance by composing multiple object images | |
| JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
| KR101445653B1 (ko) | 합성 이미지 구성 방법 | |
| US6812969B2 (en) | Digital camera | |
| JP3984346B2 (ja) | 撮像装置及び画像合成方法 | |
| JP4957759B2 (ja) | 撮像装置及び撮像方法 | |
| US20110080497A1 (en) | Electronic still camera with peaking function | |
| US20030076437A1 (en) | Image capturing apparatus | |
| JP4160205B2 (ja) | 電子スチルカメラ | |
| JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
| JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
| JP4817529B2 (ja) | 撮像装置及び画像処理方法 | |
| JPH11196299A (ja) | 撮像装置 | |
| JP6948874B2 (ja) | 撮像装置、制御方法、及びプログラム | |
| JPH11196317A (ja) | 撮像装置 | |
| US20030218687A1 (en) | Image sensing apparatus and image sensing method | |
| JP2000224462A (ja) | カメラシステム | |
| JP2008109482A (ja) | 撮像装置、画像記録処理方法及び画像記録処理プログラム | |
| JP2000013675A (ja) | デジタルカメラ | |
| JPH11196318A (ja) | 撮像装置 | |
| JP2022083147A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP3643203B2 (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050502 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050610 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070706 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |