JP3974964B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3974964B2 JP3974964B2 JP31226096A JP31226096A JP3974964B2 JP 3974964 B2 JP3974964 B2 JP 3974964B2 JP 31226096 A JP31226096 A JP 31226096A JP 31226096 A JP31226096 A JP 31226096A JP 3974964 B2 JP3974964 B2 JP 3974964B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- correction
- input
- correction parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 112
- 238000012937 correction Methods 0.000 claims description 141
- 238000003702 image correction Methods 0.000 claims description 43
- 239000000203 mixture Substances 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 2
- 230000004075 alteration Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる露出で撮影した複数の画像を合成する画像処理装置に係り、特に合成する画像の明るさを補正して画像合成する画像処理装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ（以下、ＰＣと称する）は、製造技術の向上に伴い、高性能化及び低価格化が進み、企業、教育、家庭などで広く普及しつつある。
【０００３】
このようなＰＣへの画像取り込み装置としては、従来のカメラにより撮影された銀塩フィルムから光学的に画像を取り出し、画像信号に変換して取り込んでいる。
【０００４】
また、カメラの他に、ビデオ信号として画像を撮影するビデオカメラ等の映像情報機器がいろいろな場面で利用されている。特に、デジタルスチルカメラ（以下、デジタルカメラと称する）は、銀塩フィルムを使用せず、デジタル信号により画像を撮影・記録し、そのデジタル信号で直接画像として取り込み装置に入力でき、ディスプレイやプリンタに出力するため、現像処理が不必要であり、且つ消去や編集が容易である。これらの理由に加え、インターネットユーザの増加、及びデジタルカメラ自体の低価格が進んだことから、ＰＣユーザを中心にデジタルカメラの需要が急速に拡がっている。
【０００５】
しかし、このデジタルカメラは、光電変換を利用したＣＣＤ等の固体撮像素子によって光電変換により被写体像を画像信号として撮像するが、銀塩フィルムに比較して、ダイナミックレンジが劣るため、広ダイナミックレンジ化の技術が強く望まれている。
【０００６】
この高解像度化する方法の１つとして、撮像素子の画素数を増やす方法が考えられる。しかし、一般に固体撮像素子のコストは、画素数の増大に従って急速に上昇することが知られている。
【０００７】
そこで、本出願人は、例えば、特開平６−１４１２４６号公報に記載されるような複数の撮像素子で撮影した画像を合成する技術や、特開平６−１４１２２８号公報に記載されるようなカメラの移動等で被写体を分割撮影し、１つの撮像素子により得られた複数の画像を合成する技術を提案している。
【０００８】
ところが、通常、撮影した画像は、光学系による歪曲収差の影響を受けて、像が歪んでしまっているため、前述した公報に記載されるような技術で合成した場合、重複部分が左右で異なり、合成された被写体が二重になる問題が生じる。また、重ね合わせの基準となる幾つかの点の位置の移動が原因になって、実際には画像が回転していないにも係わらず、回転したものとして検出されてしまい、合成が上手くいかなくなるといった問題が生じる。
【０００９】
そのため、本出願人は、例えば特開平８−１１６４９０号公報において、処理装置内に幾何学的補正を施す画像補正手段を設けることで収差の影響を補償する画像処理装置を提案した。この画像処理装置の構成例を図１８に示す。
【００１０】
この画像処理装置の画像入力部１ａ〜１ｃは、光学系２、ＣＣＤ等の撮像部３、Ａ／Ｄ 変換部４とで構成され、それぞれ被写体５の異なる部分（位置）を重複領域を持たせて、撮像するように配置されている。
【００１１】
この撮像部３の出力信号は、Ａ／Ｄ変換部４によりデジタル化され、画像補正部１７ａ〜１７ｃに入力される。前記画像補正部１７ａ〜１７ｃは、さらに撮影時に記録したフォーカス位置等の撮影条件や光学系の特性パラメータを読み込んで、画像入力部 １ａ〜１ｃで撮影された画像の歪曲収差等を補正する。
【００１２】
次に、画像合成部６においては、画像補正部１７ａ〜１７ｃで補正された画像を入力信号として、後述する技術で、図２０に示すような広角画像に合成され、モニタ７、プリンタ８、記憶媒体９等に出力される。
【００１３】
前記画像合成部６は、図１９に示すような構成により実現される。
この構成において、各画像ａ、ｂ、ｃは、フレームメモリ１０にそれぞれ一時的に記憶され、隣り合う画像（例えば、画像ａと画像ｂ）間の平行移動量Ｓ１、回転量Ｒ１がずれ検出器１１ａで求められる。同様に、画像ｂと画像ｃ間の平行移動量Ｓ２、回転量Ｒ２がずれ検出器１１ｂで求められる。
【００１４】
これらの平行移動量Ｓ１、Ｓ２、回転量Ｒ１、Ｒ２は、フレームメモリ１０ｂ、１０ｃから読み出された画像と共に、補間演算器１２ａ、１２ｂにそれぞれ入力され、位置関係を補正した画像が作成される。
【００１５】
また、係数設定器１３では、隣接する画像が滑らかに接続されるように、図２０に示すような各画像の係数Ｃａ、Ｃｂ、Ｃｃを設定する。各画像の画素値には係数Ｃａ、Ｃｂ、Ｃｃが乗算部１４で乗じられ、重複する部分は加算部１５で加算される。
【００１６】
図２０は、合成される画像の重なり部分の処理を説明するための図である。
画像ａに対して画像ｂは、反時計回りに回転している。この回転とオーバーラップ量（平行移動量）をずれ検出器１１で算出する。また、画像ａ、ｂがオーバーラップする部分は、滑らかに結合されるように図２０に示すような係数Ｃａ、Ｃｂ、Ｃｃを乗算して加え合わせる。このようにして、複数の画像を合成した高解像度・広画角な画像が画像合成部６から出力される。
【００１７】
撮像素子の広ダイナミックレンジ化に関しては、本出願人は、特開昭６３−２３２５９１号公報により、露出を変えて撮影した複数の画像を合成して、銀塩フィルム並みのダイナミックレンジを持つ画像を生成する技術を開示している。
【００１８】
この技術は、画像合成部６を図２２に示すように構成することで実現できる。図２２では、簡単のため２枚の画像を合成する例について概念的に説明するが、３枚以上の合成であっても同様な処理により合成が可能である。
【００１９】
２枚の画像ａ、ｂは加算器２１で加算され、フレームメモリ１０に格納される。線形変換部２２は、フレームメモリ１０のデータを読み出し、変換テーブルを元に撮影時の入射光のＲ、Ｇ、Ｂ値に対応する値を算出して、マトリクス回路２３に入力する。この時の Ｒ、Ｇ、Ｂ値は、デジタルカメラ等の入力機器のダイナッミクレンジを超えた画像になっている。
【００２０】
また、変換テーブルは、変換テーブル作成部２７で、２枚の画像の露出時間比Ｒexp から決められる。マトリクス回路２３では、Ｒ、Ｇ、Ｂ値から輝度信号値Ｙを求める。輝度信号圧縮部２４からは、出力装置に合わせて階調を圧縮した輝度値Ｙ’が出力され、除算器２５で元の輝度値Ｙとの比Ｙ’／Ｙが求められる。この比Ｙ’／Ｙは、線形変換部２２の出力 Ｒ、Ｇ、Ｂと乗算器２５で乗算され、合成画像結果として、フレームメモリ１６に格納される。
【００２１】
ところで、一般に撮像素子の出力する信号は、図２１に示すような長時間露出の例とすると、露出によっては、ある入射光量以上で飽和して一定になる。
そこで、長時間露出と短時間露出の信号を加算した信号は、図２１で加算信号と示した折れ線のように入射光量に対して変化する。そこで、変換テーブル作成部２７では、ある加算信号値Ｓから入射光量Ｉを推定するようなテーブルを作成する。
【００２２】
また、一般に画像値は、０ 〜２５５の２５６階調で表現するため、輝度圧縮部２４では、各画素の輝度Ｙを、例えば（１）式で圧縮する。
Ｙ’＝ｂ・Ｙa （１）
ここで、ａは圧縮の形状を決める係数で、ｂは画像全体のゲインを決定する係数である。
【００２３】
露出時間の違う２枚の画像を上記のような方法で合成すると、銀塩フィルム並みのダイナミックレンジを持ち、暗いところから明るいところまで良好な露出を持った画像を得ることができる。
【００２４】
【発明が解決しようとする課題】
しかし、広ダイナミック化の技術においては、従来技術で説明したように、加算信号から入射光量を推定するテーブルを作成する必要があるが、図２１に示すように、加算信号の傾きが変化する点Ｎは、露出時間比Ｒ exp によって変化する。そのため、合成対象の複数の画像の露出時間比Ｒ exp を予め知っていることが必要とされる。ところが、市販されているデジタルカメラでは、露出調整はできても、 その比をユーザが知ることのできない構成になっていることが多い。
【００２５】
図２３には、歪曲収差の例を示す。歪曲収差は、一般にレンズの中心からの距離に応じて生じる幾何学変形である。歪曲収差が無い光学系を通して、例えば、格子状の被写体を撮影すると、図２３（ａ）に示すようになる。しかし光学系が歪曲収差を有していると、例えば、図２３（ｂ）に示すように、本来直線で写るべき部分が曲がって写ってしまう。このように光学系に歪曲収差がある場合、図２３（ｃ）に示すように、直線Ｌは、曲線Ｌ’のように歪んで結像するため、直線Ｌ上の点Ｙは、曲線Ｌ’上の点Ｙ’に移動する。ここで画像上のある１点における収差量ＤＲは、
ΔＲ＝Ａ1 ・Ｒ3 ＋Ａ2 ・Ｒ5 ＋… （２）
のような多項式で表される。
【００２６】
ここで、Ｒは画像中心から点Ｙまでの距離である。収差を補正させた画像を作成するには、点Ｙ’を画像中心Ｃと点Ｙ’を結ぶ直線上を収差量ΔＲだけ移動すればよい。ところが、係数Ａ1 ，Ａ2 ，…は光学系の焦点位置によって異なり、係数Ａ1 ，Ａ2 ，…を正確に知ることは、通常のユーザには困難である。
【００２７】
また、使用する機材によっても係数Ａ1 ，Ａ2 ，…は異なるため、違う機材を使用する場合は、補正係数を改めて調整しなくてはならない。
さらに、ズーム比を変えて撮影すると、隣り合った画像間で大きさが異なり、互いに重複して撮影しているにも係わらず、正確に貼合せることができない。
【００２８】
また、室内など近くの被写体を撮影する場合には、撮影者が数歩動いた場合でも大きさが変わってしまう。
また、自動的にホワイトバランスが調整されるような機材の場合には、例えば、 太陽に近い方向を撮影した場合と、太陽から離れた方向を撮影した場合に、色合いが大きく異なる場合が考えられる。そのため、前記の技術で画像を合成した場合、滑らかに色合いが変化するものの、全体として不自然な画像になってしまう。 また広ダイナミック化の技術においては、従来技術で説明したように、加算信号から入射光量を推定するテーブルを作成する必要があるが、図２１に示すように、加算信号の傾きが変化する点Ｎは、露出時間比Ｒexp によって変化する。そのため、合成対象の複数の画像の露出時間比Ｒexp を予め知っていることが必要とされる。ところが、市販されているデジタルカメラでは、露出調整はできても、 その比をユーザが知ることのできない構成になっていることが多い。
【００２９】
そこで本発明では、撮影した画像のみから効果的に広ダイナミックレンジ化画像を作成することが可能な画像処理装置を提供することを目的とする。
【００３０】
【課題を解決するための手段】
本発明は、上記目的を達成するために、１つの構図において、異なる露出条件で撮影して得られた複数の画像を入力する画像入力手段と、前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示手段と、前記露出条件が異なる複数の入力画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、前記画像表示手段に表示される複数の画像間における画像の明るさの差異に応じて、前記補正パラメータ設定手段により前記補正パラメータを変化させて前記少なくとも１枚の画像の明るさを補正することにより、前記補正パラメータを再設定する画像補正手段と、前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正手段により再設定された補正パラメータに基づいて、前記得られた加算画像の信号値から前記１つの構図が前記画像入力手段で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示手段で表示可能な階調範囲内に収まるように変換する画像生成手段と、を備える画像処理装置を提供する。
【００３２】
さらに、１つの構図において、異なる露出条件で撮影して得られた複数の画像を入力する画像入力工程と、前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示工程と、前記露出条件が異なる複数の入力画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定工程と、前記画像表示工程に表示される複数の画像間における画像の明るさの差異に応じて、前記補正パラメータ設定工程により前記補正パラメータを変化させて前記少なくとも１枚の画像の明るさを補正することにより、前記補正パラメータを再設定する画像補正工程と、前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正工程により再設定された補正パラメータに基づいて、前記得られた加算画像の信号値から前記１つの構図が前記画像入力工程で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示工程で表示可能な階調範囲内に収まるように変換する画像生成工程と、を備える画像処理方法を提供する。
【００３４】
また、コンピュータに、１つの構図を異なる露出条件で撮影した画像を１つの画像に合成するように実行させるプログラムであって、１つの構図を異なる露出条件で撮影した複数の画像として入力する画像入力工程と、前記露出条件が異なる複数の画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定工程と、前記設定された補正パラメータに従って、前記複数の画像のうち、少なくとも１枚の画像に対して明るさを補正する画像補正工程と、前記画像補正工程により補正された画像のうち少なくとも１枚の画像を表示する画像表示工程と、前記複数の入力画像と前記設定された補正パラメータに基づいて、前記１つの構図が前記画像入力工程で入力されたときの入射光量を測定し、前記画像補正工程で明るさが補正された複数の画像を、前記画像表示工程の表示可能範囲に収まるように変換して合成する画像合成工程とを備えるプログラムを提供する。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１には、本発明による第１の実施形態としての画像処理装置の概略的な構成を示し説明する。本実施形態は、ディスプレイ等の表示を見ながら簡便に収差を補正し、補正した画像を合成して高解像度・広画角の画像を得る装置である。
【００３７】
この画像処理装置は、デジタルスチルカメラ（以下、デジタルカメラと称する）３１で撮影した画像や撮影時の撮影条件等の撮影情報からなる画像データを記録するメモリカード３２と、メモリカード３２から画像データを読み取るカードリーダ３３と、読み取られた画像データから画像を再生し、それらの画像に収差や色調等の補正を施し、合成する画像処理部３４と、合成された画像及び画像データを表示するモニタ７、印刷出力するプリンタ８及び画像等を記憶する光ディスクやメモリカード等の記録媒体９からなる。
【００３８】
前記画像処理部３４は、カードリーダ３３で読み取られた画像データから伸長等の処理を行い画像及び撮影情報を再生する画像データ再生部３５と、画像に収差や色調等の補正を行う画像補正処理部３６と、画像合成のための画像切り替えを行う信号切り替え部３７と、画像を合成する画像合成部６で構成される。
【００３９】
このような構成により、ユーザがデジタルカメラ３１を使って、被写体像の一部分が互いに重複するように分割した画像を撮影する。撮影されたこれらの画像（画像ａ，画像ｂ，…）は、圧縮・ヘッダ情報の付加などの処理がデジタルカメラ３１内で施された後、メモリカード３２に画像データとして記録される。このメモリカード３２は、カードリーダ３３に挿入され、記録された画像データがメモリカード３２から読み出され、画像処理部３４に取り込まれる。取り込まれた画像データは、まず、画像データ再生部３５に入力され、伸長等の処理が行われて画像データとして再生される。
【００４０】
そして、再生された画像データは、画像補正処理部３６で補正処理が行われ、信号切替部３７を通って、画像合成部６に入力される。画像合成部６は、図１９に示した構成を備えているものとする。この画像合成部６は、例えば、特開平６−１４１２２８号公報と同様の処理を施して合成し、その合成画像をモニタ７、プリンタ８、記憶媒体９等に出力する。
【００４１】
次に図２には、前述した画像補正処理部３６の詳細な構成を示し説明する。
この画像補正処理部３６は、原画像・補正画像を表示する画像表示部４４と、入力された画像に対する収差補正を行う収差補正処理部４１と、該収差補正処理部４１で補正に用いるパラメータを記憶する補正パラメータ記憶部４２と、ユーザの操作により補正パラメータを調整して設定、または、補正パラメータ記憶部４２から読み出された補正パラメータを選択して設定する補正パラメータ設定部４３とで構成される。
【００４２】
前記画像補正処理部３６は、撮影を行うカメラにおいて、撮影した画像に対し１度も収差補正を施したことがなく、そのカメラで撮影した画像に対して初めて収差補正を施す場合と、以前に撮影画像を補正したことがあり、収差補正歴が残っているカメラで撮影した画像を補正する場合とでは異なった働きをする。
【００４３】
まず、初めて使用したカメラで撮影した画像に対して、収差補正をする場合について説明する。
前記収差補正処理部４１では、図２３（ｂ）に示したような歪曲収差のある画像（例えば、画像ａ）が入力され、あらかじめ設定された（２）式における係数Ａ1 ，Ａ2 ，…の初期値を用いて、（２）式に従って補正した画像を画像表示部４４に出力する。この画像表示部４４は、補正画像と同時に原画像ａを表示する。
【００４４】
そして補正パラメータ設定部４３では、係数Ａ1 ，Ａ2 ，…を調整する機構を備え、ユーザの操作により所望の係数を設定すると、直ちに係数を更新するように、収差補正処理部４１に新たな係数Ａ1 ，Ａ2 ，…をフィードバックする。収差補正処理部４１は、新たに設定した後の係数で補正した画像を出力し、画像表示部４４の表示は、新たに補正された画像に更新される。
【００４５】
ユーザは、２枚若しくは少なくとも１枚の画像を見ながら、補正パラメータ設定部４３を操作して、撮影に用いたカメラからの画像に対して最適な補正を行う係数Ａ1 ，Ａ2 ，…を決定する。この時、補正パラメータ設定部４３は、図３（ａ）に示したように、画像表示部４４上に表示した仮想的な調整つまみをマウスやキーボード等で操作するように構成すると、操作が簡便で好ましい。このつまみを操作して、係数（図３では、Ａ1 ，Ａ2 ）を変更すると、画面上の「補正後画像」が新たな係数値に応じて補正され、更新される。勿論、表示画面に２枚以上の表示が必要な場合には、任意の枚数の画像を表示してもよい。
【００４６】
そして、ユーザは、補正が十分だと判断した場合には、「ＯＫ」キーを押して（マウスの場合にはクリックして）、係数Ａ1 ，Ａ2 ，…を決定する。このように決定された係数は、それぞれカメラの機種名等ユーザが任意に付けた名前と共に、補正パラメータ記憶部４２に記憶される。これは例えば、図４に示すような形式のファイルとして、補正パラメータ記憶部４２に記憶させればよい。
【００４７】
前述した係数調整に用いる画像は、任意のもので構わないが、ビル、本棚、窓枠や方眼紙のように、直交する直線が多く含まれる被写体を撮影した画像の方がより調整がしやすい。
【００４８】
次に過去に撮影画像を補正したことがあり、その時の係数Ａ1 ，Ａ2 ，…が補正パラメータ記憶部４２にファイルとして保存されているカメラにより撮影された画像を補正する場合について説明する。
【００４９】
このような場合には、補正パラメータが撮影機材を示す名前と関連づけられて記憶されているため、画像処理装置を起動させる際に、そのデータを読み込み、図３（ｂ）に示すように画像表示部４４にメニュー形式で表示する。そしてユーザが、そのメニュー画面から使用機材名を選択すると、対応する係数Ａ1 ，Ａ2 ，…が補正パラメータ記憶部４２から補正パラメータ設定部４３を介して収差補正処理部４１へ読み出され、入力画像に収差補正処理を施した画像が収差補正処理部４１から出力される。
【００５０】
以上説明したように、本実施形態では、あらかじめ撮影機材の光学系の収差情報を知る必要はなく、ユーザが撮影した画像のみを見ながら補正係数を決定するため、今まで使用していなかったカメラであっても、使用するに際して、その光学系の特性を事前に知る必要がない。
【００５１】
また、一旦、撮影した画像に収差補正を行ったことのあるカメラに対しては、収差の補正係数がデータとして記録されているため、メニューから選択するだけで補正処理を実施できるので、画像合成に用いる全ての画像に対して、毎回パラメータを設定して補正しなければならない、といった操作の煩雑さを回避することができる。
【００５２】
なお、本実施形態では、メモリカードに画像を記憶するデジタルカメラを利用しているが、これに限定されず、直接、画像再生部に入力するような機材でも画像処理が可能である。また、一台の入力装置で複数の画像を撮影する場合について説明しているが、複数の入力装置を同時に用いて入力する構成においても可能である。また、本実施形態では、補正パラメータ設定部４３は、画像表示部４４上に示した仮想的な調整つまみとして説明したが、回転式やスライド式の別体のスイッチとしても構わない。
【００５３】
さらに、本実施形態では原画像と処理結果を見比べながら補正するような構成であるが、ビル・本棚等直線部分が多く含まれるな収差による画像であれば、補正処理後の画像のみを画像表示部４４に表示して、直線部分がまっすぐになるように調整することで、係数Ａ1 ，Ａ2 ，…を決定することができる。
【００５４】
次に、第２の実施形態としての画像処理装置について説明する。
本実施形態は、前述した第１の実施形態の変形であり、図５乃至図８を参照して説明する。本実施形態の構成部位で、前述した図１及び図２に示す構成部位と同等の部位には、同じ参照符号を付して、その説明を省略する。
【００５５】
図６は、本実施形態の構成例を示す図であり、第１の実施形態とは、画像合成部６から出力された合成画像を画像補正処理部３６に入力している点が異なっている。図７は、画像補正処理部３６の構成例を示す。図８は、画像補正処理部３６の画像表示部４４に表示される画面の一例を示す。
【００５６】
この構成において、画像データ再生部３５で伸長等が施された画像データ（ここでは画像ａ）は、収差補正処理部４１に入力され、予め設定された補正パラメータ値Ａ1 ，Ａ2 ，…を用いて補正されたデータが画像合成部６に出力される。同様に、補正処理された画像に隣接する画像においても、収差補正処理部４１で補正された後に出力され、画像合成部６で画像合成を行い、繋ぎ合わされた画像を生成する。そして、合成された結果画像は、画像補正処理部３６に入力され、画像表示部４４で表示される。
【００５７】
次に図５を参照して、ユーザの操作による実際の処理例について説明する。
図５（ａ）は、撮影対象となる被写体である。これを歪曲収差のある光学系を通し分割して取り込むと、図５（ｂ）に示すように、画像の周辺で被写体が歪んでしまう。
【００５８】
例えば、画像上に複数の特徴点の組（図５ではＰ１とＰ１’、Ｐ２とＰ２’、Ｐ３とＰ３’との３組）を設定する。この設定は、予め定めたプログラムによる制御により画像合成部６で自動的に行っても良いし、ユーザの操作により指定しても構わない。これらの組の中から２点を選択する。ここでは、Ｐ１とＰ２を選択した例について説明する。
【００５９】
このとき、収差補正係数Ａ1 ，Ａ2 ，…が正確でないまま画像合成部６で、Ｐ１とＰ２を基準に平行移動量、回転量を求めて合成すると、図５（ｃ）に示すように Ｐ１とＰ１’、Ｐ２とＰ２’は正確に一致するが、Ｐ３とＰ３’は一致しない。当然、周囲の他の各点も一致しない。
【００６０】
そこで、図６に示す装置構成により、実施された合成結果を画像表示部４４に表示し、ユーザは、それらの表示を見ながら基準点Ｐ１とＰ２以外が一致するように係数 Ａ1 ，Ａ2 ，…を調整する。調整された係数Ａ1 ，Ａ2 ，…は、収差補正処理部４１に直ちに入力され、新たに補正した画像が画像合成部６により繋ぎ合わされて、画像表示部４４に再表示される。
【００６１】
この時、係数 Ａ1 ，Ａ2 ，…が正しく設定されるならば、Ｐ１とＰ１’、Ｐ２とＰ２’だけでなく、Ｐ３とＰ３’も同時に一致する。このような方法により、風景画像・人物画像など一見収差の分かりにくい画像についても容易に補正することができる。
【００６２】
本実施形態では、画像表示部４４上に表示される画像を見て、係数 Ａ1 ，Ａ2 ，…を調整するようにしているが、Ｐ３とＰ３’のズレを自動的に検出して、そのズレが０若しくは最小になるように係数Ａ1 ，Ａ2 ，…を自動的に補正しても構わない。
【００６３】
次に図９には、第３の実施形態としての画像処理装置の画像補正処理部の構成例を示し説明する。本実施形態の構成部位で、前述した第１、第２の実施形態と同等の構成部位には、同じ参照符号を付して、その説明を省略する。 一般に、カメラ等の光学系における周辺減光の影響で、撮影された画像は、周辺に行くほど入射光量が落ちてしまっている。そのため、周辺減光の大きな画像を、前述した画像合成装置で繋ぎ合わせると、オーバーラップ領域の部分で画像が暗くなってしまい、不自然な合成画像が生成される。
【００６４】
この周辺減光は、図１０に示すように、画像中心からの距離Ｒが大きくなるにつれて、画像の明るさが暗くなってしまう現象であり、理想的な信号値Ｓに対して、周辺減光のある場合の信号値Ｓ’は、近似的には、次の（３）式のように多項式で与えられる。
【００６５】
Ｓ’／Ｓ＝Ｂ0 ＋Ｂ1 ・Ｒ＋Ｂ2 ・Ｒ2 ＋… （３）
そこで、図９に示すように画像補正処理部３６を、画像表示部４４と、周辺減光補正処理部４６と、周辺減光補正パラメータ記憶部４７と、周辺減光補正パラメータ設定選択部４８とで構成する。
【００６６】
この周辺減光補正パラメータ設定選択部４８では、係数Ｂ0 ，Ｂ1 ，Ｂ2 ，…を画像表示部４４上に表示する仮想的なつまみを動かして調整し、画像の中心と周囲で明るさが同一になるように設定する。
【００６７】
このような構成で、係数 Ｂ0 ，Ｂ1 ，Ｂ2 ，…を設定するように構成すれば、撮影に使用するカメラ等の光学系の諸パラメータを知らなくても、撮影した画像に基づき簡単に補正することができ、画像合成部６で繋ぎ合わされた画像は、オーバーラップ部でも不自然に暗くならず、画面全体として自然な画像を得ることができる。
【００６８】
また、周辺減光も歪曲収差と同様に、撮影機材の光学系に固有の現象であるので、第１の実施形態で説明したように、一旦補正して設定した係数の値を撮影機材の名称等と関連づけて保存しておき、２回目以降はメニューからその名称を選ぶだけで補正することが可能である。
【００６９】
さらに、本実施形態では、原画像と処理結果を見比べながら補正すると説明したが、画像全体の明るさが一様になればいいので、補正処理後の画像のみを画像表示部４４に表示して係数Ｂ0 ，Ｂ1 ，Ｂ2 ，… を設定・選択するようにしてもよい。
【００７０】
次に図１１及び図１２を参照して、第４の実施形態としての画像処理装置の色調補正を行う構成について説明する。
図１１に示す構成の画像補正処理部３６は、画像表示部４４と、原画像をＨＳＩ変換と称する変換により、色相（Hue ；Ｈ）、彩度（Saturation；Ｓ）、明度（Intensity ；Ｉ）にそれぞれ変換する色調補正部５１と、Ｈ、Ｓ、Ｉの変換を行う補正パラメータを調整して色調を補正する補正パラメータ設定選択部４３とで構成される。
【００７１】
このような画像補正処理部３６により、原画像はそれぞれ色調補正部５１に入力され、 ＨＳＩ変換で色相Ｈ、彩度Ｓ、明度Ｉに変換される。さらに、色調補正部５１では、補正パラメータ設定部４３で設定した色相Ｈ 、色彩Ｓ、明度Ｉに基づき、入力画像を補正し、画像表示部４４に出力する。ユーザは画像表示部４４に表示される画像を比較しながら、図１２に示すような画面上の色相Ｈ 、色彩Ｓ、明度Ｉの調整用つまみを操作して、両者が同じような色調になるように調整する。そして色調が調整されたデータは、画像合成部６で合成され、繋ぎ合わされる。
【００７２】
このように構成された画像補正処理部３６により、画像合成の際に隣り合う複数の画像を合成した画像のオーバーラップ領域だけでなく、画面全体の色調が自然なものとなるようにすることができる。勿論、本実施形態では、色相・色彩・明度に変換して調整するように説明したが、ホワイトバランスを合わせるのと同様に、Ｒ、Ｇ、Ｂそれぞれの信号レベルを合わせるようにしても良い。
【００７３】
さらに図１３に示すように、画像補正処理部３６に画像拡大縮小部５２と補正パラメータ設定選択部４３を備えることにより、ズーム比の違い、撮影者の撮影位置による被写体の大きさ変化にも対応して、良好な合成画像を得ることができる。
【００７４】
次に、図１４乃至図１７を参照して、第５の実施形態としての画像処理装置による広ダイナミック化処理を行う構成例を示し説明する。
この画像処理装置は、広ダイナミック化技術において、既に撮影された画像から露出時間比Ｒexp を算出し、この露出時間比を用いて画像を合成する装置である。本実施形態の構成部位で前述した第１の実施形態の構成部位と同等の部位には同じ参照符号を付してその説明を省略する。
【００７５】
本実施形態の画像処理装置は、画像処理部３４に露出時間比算出部６１を備えた構成である。
この画像処理部３４において、再生された画像ａ、ｂは、まず信号切替部３７を経由して、露出時間比算出部６１に入力され、結果として、露出時間比Ｒexp が画像合成部６に入力される。この画像合成部６で、算出された露出時間比Ｒexp を用いて画像ａ、ｂを合成し、入力機器のダイナミックレンジを超えた画像が出力される。なお、画像合成部６の構成は、図２２と同様の構成を用いているため、ここでは説明を省略する。
【００７６】
図１５には、前記露出時間比算出部６１の構成例を示し説明する。
この露出時間比算出部６１は、画像表示部４４と、ユーザにより露出時間比Ｒexp を調整するための露出時間比設定部６３と、この露出時間比設定部６３で設定された露出時間比Ｒexp を基に、入力画像に対して、明るさを調整する明るさ補正部６２とで構成される。
【００７７】
このように構成された露出時間比算出部６１は、入力画像ａ、ｂのうちの１枚（ここでは画像ａとする）を、基準画像として、そのまま画像表示部４４に表示する。また画像ｂは、明るさ補正部６２で明るさを補正し、画像表示部４４に出力して表示される。
【００７８】
前記露出時間比設定部６３は、ユーザが露出時間比Ｒexp を調整できるように、例えば、後述する画像表示部４４の表示画面上に仮想的な調整つまみを表示する機構を備えている。ユーザが露出時間比Ｒexp を調整した結果は、直ちに明るさ補正部６２にフィードバックされ、調整後の露出時間比Ｒexp で補正した画像が画像表示部４４で表示される。
【００７９】
図１６は、明るさ補正部６２での処理を示した図である。補正前の入力画像信号Ｓin に対して補正後信号Ｓout は、
Ｓout ＝Ｒexp ・Ｓin （４）
と変換される。このとき、Ｒexp ＞１．０ならば画像は明るくなり、 Ｒexp ＜１．０ならば、画像は暗くなる。
【００８０】
図１７は、画像表示部４４の表示例である。
この図１７に示す基準画像の画像ａにおいては、室内（テーブルや花等が有るところ）は適正な露出であり、窓の外（木や山が見えるところ）はオーバーな露出である状態を表している。また、調整画像の画像ｂにおいては、前記窓の外は、適正な露出であり、前記室内は、アンダーな露出である状態を表している。
【００８１】
画像ａは、基準画像として表示され、画面上に表示されるつまみを調整して、画像ｂの明るさを補正する。そして、ユーザは、画像ｂ全体の明るさが基準画像（画像ａ）と同じくらいになった時点で、「ＯＫ」キーで、調整終了を指示する。このように設定された露出時間比Ｒexp が画像合成部６に出力され、広ダイナミックレンジ化処理が行われる。
【００８２】
本実施形態によれば、画像を見て確認しつつ、露出時間比Ｒexp を求めることができるため、画像を入力するための入力機器に所望する機器を使用することができ、また、撮影したときに露出時間を記録する必要が無くなり、容易に広ダイナミックレンジ化処理を行うことができる。
【００８３】
また、本実施形態では、２枚の画像による露出時間比を補正するパラメータとして調整した例で説明したが、これに限定されるものではなく、３枚以上の画像の露出時間比を補正パラメータとした場合にも勿論可能である。さらに、画像のうちの１つの画像を基準として、他方の画像のみを明るさ補正するように説明したが、勿論、双方の画像の明るさを補正して、中間的な明るさの画像を生成しても構わない。この時の露出時間比は、それぞれの画像において、図１６に示した傾きの比となる。
【００８４】
さらに、露出の異なる複数の明暗画像を撮影する方法として、絞りを変えて撮影してもよいし、減光フィルタの透過率によって制御することも可能である。つまり、広ダイナミックレンジ化処理に必要な補正パラメータとしては、複数の画像間の露出比を示すものであればよく、このような露出比を示すものとして、上述の実施形態に示した露出時間比や、絞り比、減光フィルタの透過率比を補正パラメータとして利用することが可能である。
【００８５】
また、全実施形態において、デジタルカメラで撮影をするように記述しているが、従来の銀塩カメラで撮影したフィルムをスキャナでデジタル化した画像や、ビデオカメラやデジタルビデオカメラで撮影した画像から、画像取込ボード等を介して取り込んだ画像においても、同様の処理が可能である。各実施形態における画像表示装置４４においても、繋ぎ合わされた後の画像を出力するモニタ７とを兼用させることができる。
【００８６】
さらに、前述した各実施形態を、それぞれ組み合わせて構成することも可能である。特に補正パラメータ記憶部４２は、上記第１〜第３の実施形態に記載される構成においては、光学系の特性を知っていれば、記憶することもできるし、第４、第５の実施形態に組み入れて、パラメータを記憶することで調整のデフォルト値とし、ユーザが調整をする際の参考にすることもできる。
【００８７】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
１．１つの構図を分割し、隣接する箇所に互いに同じ被写体像が存在するオーバーラップ領域を有する、複数の画像として入力する画像入力手段と、
前記複数の画像の少なくとも各オーバーラップ領域内に生じた画像の歪みまたは画像の差異を補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、
前記設定された補正パラメータに従って、前記複数の画像の少なくともオーバーラップ領域内に生じた画像歪みまたは画像の差異が無くなるように、前記複数の画像のうち、少なくとも１枚の画像に対して補正を行う画像補正手段と、
前記画像補正手段で補正された複数の画像を、前記オーバーラップ領域上で重ねて、順次繋ぎ合わせることで、前記１つの構図を復元する画像合成手段と、
前記画像入力手段により入力された複数の画像、または、前記画像補正手段により補正された画像のうち少なくとも１枚の画像を表示する画像表示手段と、を具備することを特徴とする画像処理装置。
【００８８】
第１、２実施形態に対応する。この画像処理装置により、画像補正手段で補正された画像を画像表示手段に表示して確認できるため、必要な補正パラメータを知らなくても効果的に画像を補正することができ、画像合成手段により正確に繋ぎ合わせた画像を得ることができる。
【００８９】
２．１つの構図を異なる露出で撮影した複数の画像として入力する画像入力手段と、
前記露出が異なる複数の画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、
前記設定された補正パラメータに従って、前記複数の画像のうち、少なくとも１枚の画像に対して明るさを補正する画像補正手段と、
前記画像補正手段により補正された画像のうち少なくとも１枚の画像を表示する画像補正手段と、
前記複数の入力画像と前記設定された補正パラメータに基づいて、前記１つの構図が前記画像入力手段で入力されたときの入射光量を推定し、前記画像補正手段で明るさが補正された複数の画像を、前記画像表示手段の表示可能範囲内に収まるように変換して合成する画像合成手段と、
を備することを特徴とする画像処理装置。
【００９０】
第５実施形態に対応する。この画像処理装置では、画像補正手段で補正された画像を画像表示手段に表示して補正パラメータを設定し、この補正パラメータに基づいて画像表示手段の表示可能範囲に収まるように画像合成手段により明るさが補正された画像が得られる。
【００９１】
３．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の明るさの違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項または（２）項に記載の画像処理装置。
【００９２】
第５実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認しながら明るさを補正することにより、予め露出時間比・絞り比等を記録することなく画像から広ダイナミックレンジ化処理に必要なパラメータを得ることができる。
【００９３】
４．前記画像補正手段は、前記画像表示手段に表示される１枚の画像の歪曲収差または複数の画像間における歪曲収差の違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項、（３）項のいずれかに記載の画像処理装置。
【００９４】
第１、２実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら歪曲収差を補正するため、隣接画像間のズレ、回転を正確に求めることができる。
【００９５】
５．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の倍率の違いに応じて、前記補正パラメータを変化させることにより、画像を補正するものであることを特徴とする前記（１）項に記載の画像処理装置。
【００９６】
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら倍率の違いを補正することで、正確な画像の繋ぎ合わせが可能になる。
【００９７】
６．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の色情報の違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項に記載の画像処理装置。
【００９８】
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら隣接する画像間の色の違いを補正することで、繋ぎ合わせた画像は非常に自然な画像になる。
【００９９】
７．前記色情報は、色相、彩度、明度の少なくとも１つであることを特徴とする前記（６）項に記載の画像処理装置。
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら隣接する画像間の色の違いを補正することで、繋ぎ合わせた画像は非常に自然な画像になる。
【０１００】
８．前記色情報は、ホワイトバランスを調整するためのＲ、Ｇ、Ｂ値の少なくとも一つであることを特徴とする前記（６）項に記載の画像処理装置。
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら隣接する画像間の色の違いを補正することで、繋ぎ合わせた画像は非常に自然な画像になる。
【０１０１】
９．前記画像補正手段は、前記画像表示手段に表示される一枚の画像における画像の周辺減光または複数の画像間における画像の周辺減光の違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項、（３）項のいずれかに記載の画像処理装置。
【０１０２】
第３実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら周辺減光を補正するため、繋ぎ合わせた画像は非常に自然な画像になる。
【０１０３】
１０．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の明るさの違いに応じて、前記補正パラメータとして前記複数の画像間における露出比を変化させることにより画像を補正するものであることを特徴とする前記（３）記載の画像処理装置。
【０１０４】
第５実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認しながら、広ダイナミックレンジ化処理に必要なパラメータとしての複数の画像間における露出比（露出時間比・絞り比・透過率比等）を変化させることにより、画像の明るさを補正し、広ダイナミックレンジ化された合成画像を得ることができる。
【０１０５】
１１．前記補正された画像における前記補正パラメータと、その補正画像若しくは、その画像を撮影した撮影手段の識別名とを関連づけて記憶する補正パラメータ記憶手段を有し、
前記補正パラメータ設定手段は、前記補正パラメータ記憶手段に記憶された補正パラメータより所望の補正パラメータを選択して設定することを特徴とする前記（１）、（３）項のいずれかに記載の画像処理装置。
【０１０６】
第１、２、３実施形態に対応する。この画像処理装置では、一度補正に用いたパラメータ値を補正パラメータ記憶手段に保存しておき、必要な値を補正パラメータ記憶手段から選択して利用することで、各画像ごとに改めて初めから補正する必要がない。
【０１０７】
【発明の効果】
以上詳述したように本発明によれば、露出時間・ホワイトバランス等撮影条件が、制御且つ記録できるような高価な撮影機材を用いる必要がなく、ユーザが所有する任意の撮影機材や安価な撮影機材で撮影した画像のみから広ダイナッミクレンジ化した画像を得ることができる画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態としての画像処理装置の概略的な構成を示す図である。
【図２】図１に示した画像補正処理部の詳細な構成を示す図である。
【図３】画像表示部上に表示される画像への処理指示及び画像の補正状態を示す図である。
【図４】補正パラメータ記憶部に記憶されるファイルの形式の一例を示す図である。
【図５】歪曲収差のある光学系により撮影された画像の合成について説明するための図である。
【図６】本発明による第２の実施形態としての画像処理装置の概略的な構成を示す図である。
【図７】図６に示した画像補正処理部の構成例を示す図である。
【図８】画像補正処理部の画像表示部に表示される合成結果の一例を示す図である。
【図９】第３の実施形態としての画像処理装置における画像補正処理部の構成例を示す図である。
【図１０】周辺減光について説明するための画像中心からの距離と信号値の関係を示す図である。
【図１１】第４の実施形態としての画像処理装置における画像補正処理部の構成例を示す図である。
【図１２】画像補正処理部の画像表示部に表示される色調補を行うための表示例を示す図である。
【図１３】画像拡大縮小部と補正パラメータ設定部を備える画像補正処理部の構成例を示す図である。
【図１４】本発明による第５の実施形態としての画像処理装置の概略的な構成を示す図である。
【図１５】図１４に示した露出時間比算出部の構成例を示す図である。
【図１６】明るさ補正部における補正前の入力画像信号と補正後信号との関係を示す図である。
【図１７】明るさ補正に関する画像表示部の表示例を示す図である。
【図１８】従来の画像処理装置の一構成例を示す図である。
【図１９】図１８に示した画像合成部の一構成例を示す図である。
【図２０】画像を繋ぎ合わせた広角画像合成における画像の重なり具合について説明するための図である。
【図２１】長時間露出と短時間露出の信号を加算した信号の特性を示す図である。
【図２２】図１８に示した画像合成部の一構成例を示す図である。
【図２３】歪曲収差の特性の一例を示す図である。
【符号の説明】
６…画像合成部
７…モニタ
８…プリンタ
９…記録媒体
３１…デジタルスチルカメラ
３２…メモリカード
３３…カードリーダ
３４…画像処理部
３５…画像データ再生部
３６…画像補正部
３７…信号切り替え部
４１…収差補正処理部
４２…補正パラメータ記憶部
４３…補正パラメータ設定部
４４…画像表示部
【発明の属する技術分野】
本発明は、異なる露出で撮影した複数の画像を合成する画像処理装置に係り、特に合成する画像の明るさを補正して画像合成する画像処理装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ（以下、ＰＣと称する）は、製造技術の向上に伴い、高性能化及び低価格化が進み、企業、教育、家庭などで広く普及しつつある。
【０００３】
このようなＰＣへの画像取り込み装置としては、従来のカメラにより撮影された銀塩フィルムから光学的に画像を取り出し、画像信号に変換して取り込んでいる。
【０００４】
また、カメラの他に、ビデオ信号として画像を撮影するビデオカメラ等の映像情報機器がいろいろな場面で利用されている。特に、デジタルスチルカメラ（以下、デジタルカメラと称する）は、銀塩フィルムを使用せず、デジタル信号により画像を撮影・記録し、そのデジタル信号で直接画像として取り込み装置に入力でき、ディスプレイやプリンタに出力するため、現像処理が不必要であり、且つ消去や編集が容易である。これらの理由に加え、インターネットユーザの増加、及びデジタルカメラ自体の低価格が進んだことから、ＰＣユーザを中心にデジタルカメラの需要が急速に拡がっている。
【０００５】
しかし、このデジタルカメラは、光電変換を利用したＣＣＤ等の固体撮像素子によって光電変換により被写体像を画像信号として撮像するが、銀塩フィルムに比較して、ダイナミックレンジが劣るため、広ダイナミックレンジ化の技術が強く望まれている。
【０００６】
この高解像度化する方法の１つとして、撮像素子の画素数を増やす方法が考えられる。しかし、一般に固体撮像素子のコストは、画素数の増大に従って急速に上昇することが知られている。
【０００７】
そこで、本出願人は、例えば、特開平６−１４１２４６号公報に記載されるような複数の撮像素子で撮影した画像を合成する技術や、特開平６−１４１２２８号公報に記載されるようなカメラの移動等で被写体を分割撮影し、１つの撮像素子により得られた複数の画像を合成する技術を提案している。
【０００８】
ところが、通常、撮影した画像は、光学系による歪曲収差の影響を受けて、像が歪んでしまっているため、前述した公報に記載されるような技術で合成した場合、重複部分が左右で異なり、合成された被写体が二重になる問題が生じる。また、重ね合わせの基準となる幾つかの点の位置の移動が原因になって、実際には画像が回転していないにも係わらず、回転したものとして検出されてしまい、合成が上手くいかなくなるといった問題が生じる。
【０００９】
そのため、本出願人は、例えば特開平８−１１６４９０号公報において、処理装置内に幾何学的補正を施す画像補正手段を設けることで収差の影響を補償する画像処理装置を提案した。この画像処理装置の構成例を図１８に示す。
【００１０】
この画像処理装置の画像入力部１ａ〜１ｃは、光学系２、ＣＣＤ等の撮像部３、Ａ／Ｄ 変換部４とで構成され、それぞれ被写体５の異なる部分（位置）を重複領域を持たせて、撮像するように配置されている。
【００１１】
この撮像部３の出力信号は、Ａ／Ｄ変換部４によりデジタル化され、画像補正部１７ａ〜１７ｃに入力される。前記画像補正部１７ａ〜１７ｃは、さらに撮影時に記録したフォーカス位置等の撮影条件や光学系の特性パラメータを読み込んで、画像入力部 １ａ〜１ｃで撮影された画像の歪曲収差等を補正する。
【００１２】
次に、画像合成部６においては、画像補正部１７ａ〜１７ｃで補正された画像を入力信号として、後述する技術で、図２０に示すような広角画像に合成され、モニタ７、プリンタ８、記憶媒体９等に出力される。
【００１３】
前記画像合成部６は、図１９に示すような構成により実現される。
この構成において、各画像ａ、ｂ、ｃは、フレームメモリ１０にそれぞれ一時的に記憶され、隣り合う画像（例えば、画像ａと画像ｂ）間の平行移動量Ｓ１、回転量Ｒ１がずれ検出器１１ａで求められる。同様に、画像ｂと画像ｃ間の平行移動量Ｓ２、回転量Ｒ２がずれ検出器１１ｂで求められる。
【００１４】
これらの平行移動量Ｓ１、Ｓ２、回転量Ｒ１、Ｒ２は、フレームメモリ１０ｂ、１０ｃから読み出された画像と共に、補間演算器１２ａ、１２ｂにそれぞれ入力され、位置関係を補正した画像が作成される。
【００１５】
また、係数設定器１３では、隣接する画像が滑らかに接続されるように、図２０に示すような各画像の係数Ｃａ、Ｃｂ、Ｃｃを設定する。各画像の画素値には係数Ｃａ、Ｃｂ、Ｃｃが乗算部１４で乗じられ、重複する部分は加算部１５で加算される。
【００１６】
図２０は、合成される画像の重なり部分の処理を説明するための図である。
画像ａに対して画像ｂは、反時計回りに回転している。この回転とオーバーラップ量（平行移動量）をずれ検出器１１で算出する。また、画像ａ、ｂがオーバーラップする部分は、滑らかに結合されるように図２０に示すような係数Ｃａ、Ｃｂ、Ｃｃを乗算して加え合わせる。このようにして、複数の画像を合成した高解像度・広画角な画像が画像合成部６から出力される。
【００１７】
撮像素子の広ダイナミックレンジ化に関しては、本出願人は、特開昭６３−２３２５９１号公報により、露出を変えて撮影した複数の画像を合成して、銀塩フィルム並みのダイナミックレンジを持つ画像を生成する技術を開示している。
【００１８】
この技術は、画像合成部６を図２２に示すように構成することで実現できる。図２２では、簡単のため２枚の画像を合成する例について概念的に説明するが、３枚以上の合成であっても同様な処理により合成が可能である。
【００１９】
２枚の画像ａ、ｂは加算器２１で加算され、フレームメモリ１０に格納される。線形変換部２２は、フレームメモリ１０のデータを読み出し、変換テーブルを元に撮影時の入射光のＲ、Ｇ、Ｂ値に対応する値を算出して、マトリクス回路２３に入力する。この時の Ｒ、Ｇ、Ｂ値は、デジタルカメラ等の入力機器のダイナッミクレンジを超えた画像になっている。
【００２０】
また、変換テーブルは、変換テーブル作成部２７で、２枚の画像の露出時間比Ｒexp から決められる。マトリクス回路２３では、Ｒ、Ｇ、Ｂ値から輝度信号値Ｙを求める。輝度信号圧縮部２４からは、出力装置に合わせて階調を圧縮した輝度値Ｙ’が出力され、除算器２５で元の輝度値Ｙとの比Ｙ’／Ｙが求められる。この比Ｙ’／Ｙは、線形変換部２２の出力 Ｒ、Ｇ、Ｂと乗算器２５で乗算され、合成画像結果として、フレームメモリ１６に格納される。
【００２１】
ところで、一般に撮像素子の出力する信号は、図２１に示すような長時間露出の例とすると、露出によっては、ある入射光量以上で飽和して一定になる。
そこで、長時間露出と短時間露出の信号を加算した信号は、図２１で加算信号と示した折れ線のように入射光量に対して変化する。そこで、変換テーブル作成部２７では、ある加算信号値Ｓから入射光量Ｉを推定するようなテーブルを作成する。
【００２２】
また、一般に画像値は、０ 〜２５５の２５６階調で表現するため、輝度圧縮部２４では、各画素の輝度Ｙを、例えば（１）式で圧縮する。
Ｙ’＝ｂ・Ｙa （１）
ここで、ａは圧縮の形状を決める係数で、ｂは画像全体のゲインを決定する係数である。
【００２３】
露出時間の違う２枚の画像を上記のような方法で合成すると、銀塩フィルム並みのダイナミックレンジを持ち、暗いところから明るいところまで良好な露出を持った画像を得ることができる。
【００２４】
【発明が解決しようとする課題】
しかし、広ダイナミック化の技術においては、従来技術で説明したように、加算信号から入射光量を推定するテーブルを作成する必要があるが、図２１に示すように、加算信号の傾きが変化する点Ｎは、露出時間比Ｒ exp によって変化する。そのため、合成対象の複数の画像の露出時間比Ｒ exp を予め知っていることが必要とされる。ところが、市販されているデジタルカメラでは、露出調整はできても、 その比をユーザが知ることのできない構成になっていることが多い。
【００２５】
図２３には、歪曲収差の例を示す。歪曲収差は、一般にレンズの中心からの距離に応じて生じる幾何学変形である。歪曲収差が無い光学系を通して、例えば、格子状の被写体を撮影すると、図２３（ａ）に示すようになる。しかし光学系が歪曲収差を有していると、例えば、図２３（ｂ）に示すように、本来直線で写るべき部分が曲がって写ってしまう。このように光学系に歪曲収差がある場合、図２３（ｃ）に示すように、直線Ｌは、曲線Ｌ’のように歪んで結像するため、直線Ｌ上の点Ｙは、曲線Ｌ’上の点Ｙ’に移動する。ここで画像上のある１点における収差量ＤＲは、
ΔＲ＝Ａ1 ・Ｒ3 ＋Ａ2 ・Ｒ5 ＋… （２）
のような多項式で表される。
【００２６】
ここで、Ｒは画像中心から点Ｙまでの距離である。収差を補正させた画像を作成するには、点Ｙ’を画像中心Ｃと点Ｙ’を結ぶ直線上を収差量ΔＲだけ移動すればよい。ところが、係数Ａ1 ，Ａ2 ，…は光学系の焦点位置によって異なり、係数Ａ1 ，Ａ2 ，…を正確に知ることは、通常のユーザには困難である。
【００２７】
また、使用する機材によっても係数Ａ1 ，Ａ2 ，…は異なるため、違う機材を使用する場合は、補正係数を改めて調整しなくてはならない。
さらに、ズーム比を変えて撮影すると、隣り合った画像間で大きさが異なり、互いに重複して撮影しているにも係わらず、正確に貼合せることができない。
【００２８】
また、室内など近くの被写体を撮影する場合には、撮影者が数歩動いた場合でも大きさが変わってしまう。
また、自動的にホワイトバランスが調整されるような機材の場合には、例えば、 太陽に近い方向を撮影した場合と、太陽から離れた方向を撮影した場合に、色合いが大きく異なる場合が考えられる。そのため、前記の技術で画像を合成した場合、滑らかに色合いが変化するものの、全体として不自然な画像になってしまう。 また広ダイナミック化の技術においては、従来技術で説明したように、加算信号から入射光量を推定するテーブルを作成する必要があるが、図２１に示すように、加算信号の傾きが変化する点Ｎは、露出時間比Ｒexp によって変化する。そのため、合成対象の複数の画像の露出時間比Ｒexp を予め知っていることが必要とされる。ところが、市販されているデジタルカメラでは、露出調整はできても、 その比をユーザが知ることのできない構成になっていることが多い。
【００２９】
そこで本発明では、撮影した画像のみから効果的に広ダイナミックレンジ化画像を作成することが可能な画像処理装置を提供することを目的とする。
【００３０】
【課題を解決するための手段】
本発明は、上記目的を達成するために、１つの構図において、異なる露出条件で撮影して得られた複数の画像を入力する画像入力手段と、前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示手段と、前記露出条件が異なる複数の入力画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、前記画像表示手段に表示される複数の画像間における画像の明るさの差異に応じて、前記補正パラメータ設定手段により前記補正パラメータを変化させて前記少なくとも１枚の画像の明るさを補正することにより、前記補正パラメータを再設定する画像補正手段と、前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正手段により再設定された補正パラメータに基づいて、前記得られた加算画像の信号値から前記１つの構図が前記画像入力手段で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示手段で表示可能な階調範囲内に収まるように変換する画像生成手段と、を備える画像処理装置を提供する。
【００３２】
さらに、１つの構図において、異なる露出条件で撮影して得られた複数の画像を入力する画像入力工程と、前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示工程と、前記露出条件が異なる複数の入力画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定工程と、前記画像表示工程に表示される複数の画像間における画像の明るさの差異に応じて、前記補正パラメータ設定工程により前記補正パラメータを変化させて前記少なくとも１枚の画像の明るさを補正することにより、前記補正パラメータを再設定する画像補正工程と、前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正工程により再設定された補正パラメータに基づいて、前記得られた加算画像の信号値から前記１つの構図が前記画像入力工程で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示工程で表示可能な階調範囲内に収まるように変換する画像生成工程と、を備える画像処理方法を提供する。
【００３４】
また、コンピュータに、１つの構図を異なる露出条件で撮影した画像を１つの画像に合成するように実行させるプログラムであって、１つの構図を異なる露出条件で撮影した複数の画像として入力する画像入力工程と、前記露出条件が異なる複数の画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定工程と、前記設定された補正パラメータに従って、前記複数の画像のうち、少なくとも１枚の画像に対して明るさを補正する画像補正工程と、前記画像補正工程により補正された画像のうち少なくとも１枚の画像を表示する画像表示工程と、前記複数の入力画像と前記設定された補正パラメータに基づいて、前記１つの構図が前記画像入力工程で入力されたときの入射光量を測定し、前記画像補正工程で明るさが補正された複数の画像を、前記画像表示工程の表示可能範囲に収まるように変換して合成する画像合成工程とを備えるプログラムを提供する。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１には、本発明による第１の実施形態としての画像処理装置の概略的な構成を示し説明する。本実施形態は、ディスプレイ等の表示を見ながら簡便に収差を補正し、補正した画像を合成して高解像度・広画角の画像を得る装置である。
【００３７】
この画像処理装置は、デジタルスチルカメラ（以下、デジタルカメラと称する）３１で撮影した画像や撮影時の撮影条件等の撮影情報からなる画像データを記録するメモリカード３２と、メモリカード３２から画像データを読み取るカードリーダ３３と、読み取られた画像データから画像を再生し、それらの画像に収差や色調等の補正を施し、合成する画像処理部３４と、合成された画像及び画像データを表示するモニタ７、印刷出力するプリンタ８及び画像等を記憶する光ディスクやメモリカード等の記録媒体９からなる。
【００３８】
前記画像処理部３４は、カードリーダ３３で読み取られた画像データから伸長等の処理を行い画像及び撮影情報を再生する画像データ再生部３５と、画像に収差や色調等の補正を行う画像補正処理部３６と、画像合成のための画像切り替えを行う信号切り替え部３７と、画像を合成する画像合成部６で構成される。
【００３９】
このような構成により、ユーザがデジタルカメラ３１を使って、被写体像の一部分が互いに重複するように分割した画像を撮影する。撮影されたこれらの画像（画像ａ，画像ｂ，…）は、圧縮・ヘッダ情報の付加などの処理がデジタルカメラ３１内で施された後、メモリカード３２に画像データとして記録される。このメモリカード３２は、カードリーダ３３に挿入され、記録された画像データがメモリカード３２から読み出され、画像処理部３４に取り込まれる。取り込まれた画像データは、まず、画像データ再生部３５に入力され、伸長等の処理が行われて画像データとして再生される。
【００４０】
そして、再生された画像データは、画像補正処理部３６で補正処理が行われ、信号切替部３７を通って、画像合成部６に入力される。画像合成部６は、図１９に示した構成を備えているものとする。この画像合成部６は、例えば、特開平６−１４１２２８号公報と同様の処理を施して合成し、その合成画像をモニタ７、プリンタ８、記憶媒体９等に出力する。
【００４１】
次に図２には、前述した画像補正処理部３６の詳細な構成を示し説明する。
この画像補正処理部３６は、原画像・補正画像を表示する画像表示部４４と、入力された画像に対する収差補正を行う収差補正処理部４１と、該収差補正処理部４１で補正に用いるパラメータを記憶する補正パラメータ記憶部４２と、ユーザの操作により補正パラメータを調整して設定、または、補正パラメータ記憶部４２から読み出された補正パラメータを選択して設定する補正パラメータ設定部４３とで構成される。
【００４２】
前記画像補正処理部３６は、撮影を行うカメラにおいて、撮影した画像に対し１度も収差補正を施したことがなく、そのカメラで撮影した画像に対して初めて収差補正を施す場合と、以前に撮影画像を補正したことがあり、収差補正歴が残っているカメラで撮影した画像を補正する場合とでは異なった働きをする。
【００４３】
まず、初めて使用したカメラで撮影した画像に対して、収差補正をする場合について説明する。
前記収差補正処理部４１では、図２３（ｂ）に示したような歪曲収差のある画像（例えば、画像ａ）が入力され、あらかじめ設定された（２）式における係数Ａ1 ，Ａ2 ，…の初期値を用いて、（２）式に従って補正した画像を画像表示部４４に出力する。この画像表示部４４は、補正画像と同時に原画像ａを表示する。
【００４４】
そして補正パラメータ設定部４３では、係数Ａ1 ，Ａ2 ，…を調整する機構を備え、ユーザの操作により所望の係数を設定すると、直ちに係数を更新するように、収差補正処理部４１に新たな係数Ａ1 ，Ａ2 ，…をフィードバックする。収差補正処理部４１は、新たに設定した後の係数で補正した画像を出力し、画像表示部４４の表示は、新たに補正された画像に更新される。
【００４５】
ユーザは、２枚若しくは少なくとも１枚の画像を見ながら、補正パラメータ設定部４３を操作して、撮影に用いたカメラからの画像に対して最適な補正を行う係数Ａ1 ，Ａ2 ，…を決定する。この時、補正パラメータ設定部４３は、図３（ａ）に示したように、画像表示部４４上に表示した仮想的な調整つまみをマウスやキーボード等で操作するように構成すると、操作が簡便で好ましい。このつまみを操作して、係数（図３では、Ａ1 ，Ａ2 ）を変更すると、画面上の「補正後画像」が新たな係数値に応じて補正され、更新される。勿論、表示画面に２枚以上の表示が必要な場合には、任意の枚数の画像を表示してもよい。
【００４６】
そして、ユーザは、補正が十分だと判断した場合には、「ＯＫ」キーを押して（マウスの場合にはクリックして）、係数Ａ1 ，Ａ2 ，…を決定する。このように決定された係数は、それぞれカメラの機種名等ユーザが任意に付けた名前と共に、補正パラメータ記憶部４２に記憶される。これは例えば、図４に示すような形式のファイルとして、補正パラメータ記憶部４２に記憶させればよい。
【００４７】
前述した係数調整に用いる画像は、任意のもので構わないが、ビル、本棚、窓枠や方眼紙のように、直交する直線が多く含まれる被写体を撮影した画像の方がより調整がしやすい。
【００４８】
次に過去に撮影画像を補正したことがあり、その時の係数Ａ1 ，Ａ2 ，…が補正パラメータ記憶部４２にファイルとして保存されているカメラにより撮影された画像を補正する場合について説明する。
【００４９】
このような場合には、補正パラメータが撮影機材を示す名前と関連づけられて記憶されているため、画像処理装置を起動させる際に、そのデータを読み込み、図３（ｂ）に示すように画像表示部４４にメニュー形式で表示する。そしてユーザが、そのメニュー画面から使用機材名を選択すると、対応する係数Ａ1 ，Ａ2 ，…が補正パラメータ記憶部４２から補正パラメータ設定部４３を介して収差補正処理部４１へ読み出され、入力画像に収差補正処理を施した画像が収差補正処理部４１から出力される。
【００５０】
以上説明したように、本実施形態では、あらかじめ撮影機材の光学系の収差情報を知る必要はなく、ユーザが撮影した画像のみを見ながら補正係数を決定するため、今まで使用していなかったカメラであっても、使用するに際して、その光学系の特性を事前に知る必要がない。
【００５１】
また、一旦、撮影した画像に収差補正を行ったことのあるカメラに対しては、収差の補正係数がデータとして記録されているため、メニューから選択するだけで補正処理を実施できるので、画像合成に用いる全ての画像に対して、毎回パラメータを設定して補正しなければならない、といった操作の煩雑さを回避することができる。
【００５２】
なお、本実施形態では、メモリカードに画像を記憶するデジタルカメラを利用しているが、これに限定されず、直接、画像再生部に入力するような機材でも画像処理が可能である。また、一台の入力装置で複数の画像を撮影する場合について説明しているが、複数の入力装置を同時に用いて入力する構成においても可能である。また、本実施形態では、補正パラメータ設定部４３は、画像表示部４４上に示した仮想的な調整つまみとして説明したが、回転式やスライド式の別体のスイッチとしても構わない。
【００５３】
さらに、本実施形態では原画像と処理結果を見比べながら補正するような構成であるが、ビル・本棚等直線部分が多く含まれるな収差による画像であれば、補正処理後の画像のみを画像表示部４４に表示して、直線部分がまっすぐになるように調整することで、係数Ａ1 ，Ａ2 ，…を決定することができる。
【００５４】
次に、第２の実施形態としての画像処理装置について説明する。
本実施形態は、前述した第１の実施形態の変形であり、図５乃至図８を参照して説明する。本実施形態の構成部位で、前述した図１及び図２に示す構成部位と同等の部位には、同じ参照符号を付して、その説明を省略する。
【００５５】
図６は、本実施形態の構成例を示す図であり、第１の実施形態とは、画像合成部６から出力された合成画像を画像補正処理部３６に入力している点が異なっている。図７は、画像補正処理部３６の構成例を示す。図８は、画像補正処理部３６の画像表示部４４に表示される画面の一例を示す。
【００５６】
この構成において、画像データ再生部３５で伸長等が施された画像データ（ここでは画像ａ）は、収差補正処理部４１に入力され、予め設定された補正パラメータ値Ａ1 ，Ａ2 ，…を用いて補正されたデータが画像合成部６に出力される。同様に、補正処理された画像に隣接する画像においても、収差補正処理部４１で補正された後に出力され、画像合成部６で画像合成を行い、繋ぎ合わされた画像を生成する。そして、合成された結果画像は、画像補正処理部３６に入力され、画像表示部４４で表示される。
【００５７】
次に図５を参照して、ユーザの操作による実際の処理例について説明する。
図５（ａ）は、撮影対象となる被写体である。これを歪曲収差のある光学系を通し分割して取り込むと、図５（ｂ）に示すように、画像の周辺で被写体が歪んでしまう。
【００５８】
例えば、画像上に複数の特徴点の組（図５ではＰ１とＰ１’、Ｐ２とＰ２’、Ｐ３とＰ３’との３組）を設定する。この設定は、予め定めたプログラムによる制御により画像合成部６で自動的に行っても良いし、ユーザの操作により指定しても構わない。これらの組の中から２点を選択する。ここでは、Ｐ１とＰ２を選択した例について説明する。
【００５９】
このとき、収差補正係数Ａ1 ，Ａ2 ，…が正確でないまま画像合成部６で、Ｐ１とＰ２を基準に平行移動量、回転量を求めて合成すると、図５（ｃ）に示すように Ｐ１とＰ１’、Ｐ２とＰ２’は正確に一致するが、Ｐ３とＰ３’は一致しない。当然、周囲の他の各点も一致しない。
【００６０】
そこで、図６に示す装置構成により、実施された合成結果を画像表示部４４に表示し、ユーザは、それらの表示を見ながら基準点Ｐ１とＰ２以外が一致するように係数 Ａ1 ，Ａ2 ，…を調整する。調整された係数Ａ1 ，Ａ2 ，…は、収差補正処理部４１に直ちに入力され、新たに補正した画像が画像合成部６により繋ぎ合わされて、画像表示部４４に再表示される。
【００６１】
この時、係数 Ａ1 ，Ａ2 ，…が正しく設定されるならば、Ｐ１とＰ１’、Ｐ２とＰ２’だけでなく、Ｐ３とＰ３’も同時に一致する。このような方法により、風景画像・人物画像など一見収差の分かりにくい画像についても容易に補正することができる。
【００６２】
本実施形態では、画像表示部４４上に表示される画像を見て、係数 Ａ1 ，Ａ2 ，…を調整するようにしているが、Ｐ３とＰ３’のズレを自動的に検出して、そのズレが０若しくは最小になるように係数Ａ1 ，Ａ2 ，…を自動的に補正しても構わない。
【００６３】
次に図９には、第３の実施形態としての画像処理装置の画像補正処理部の構成例を示し説明する。本実施形態の構成部位で、前述した第１、第２の実施形態と同等の構成部位には、同じ参照符号を付して、その説明を省略する。 一般に、カメラ等の光学系における周辺減光の影響で、撮影された画像は、周辺に行くほど入射光量が落ちてしまっている。そのため、周辺減光の大きな画像を、前述した画像合成装置で繋ぎ合わせると、オーバーラップ領域の部分で画像が暗くなってしまい、不自然な合成画像が生成される。
【００６４】
この周辺減光は、図１０に示すように、画像中心からの距離Ｒが大きくなるにつれて、画像の明るさが暗くなってしまう現象であり、理想的な信号値Ｓに対して、周辺減光のある場合の信号値Ｓ’は、近似的には、次の（３）式のように多項式で与えられる。
【００６５】
Ｓ’／Ｓ＝Ｂ0 ＋Ｂ1 ・Ｒ＋Ｂ2 ・Ｒ2 ＋… （３）
そこで、図９に示すように画像補正処理部３６を、画像表示部４４と、周辺減光補正処理部４６と、周辺減光補正パラメータ記憶部４７と、周辺減光補正パラメータ設定選択部４８とで構成する。
【００６６】
この周辺減光補正パラメータ設定選択部４８では、係数Ｂ0 ，Ｂ1 ，Ｂ2 ，…を画像表示部４４上に表示する仮想的なつまみを動かして調整し、画像の中心と周囲で明るさが同一になるように設定する。
【００６７】
このような構成で、係数 Ｂ0 ，Ｂ1 ，Ｂ2 ，…を設定するように構成すれば、撮影に使用するカメラ等の光学系の諸パラメータを知らなくても、撮影した画像に基づき簡単に補正することができ、画像合成部６で繋ぎ合わされた画像は、オーバーラップ部でも不自然に暗くならず、画面全体として自然な画像を得ることができる。
【００６８】
また、周辺減光も歪曲収差と同様に、撮影機材の光学系に固有の現象であるので、第１の実施形態で説明したように、一旦補正して設定した係数の値を撮影機材の名称等と関連づけて保存しておき、２回目以降はメニューからその名称を選ぶだけで補正することが可能である。
【００６９】
さらに、本実施形態では、原画像と処理結果を見比べながら補正すると説明したが、画像全体の明るさが一様になればいいので、補正処理後の画像のみを画像表示部４４に表示して係数Ｂ0 ，Ｂ1 ，Ｂ2 ，… を設定・選択するようにしてもよい。
【００７０】
次に図１１及び図１２を参照して、第４の実施形態としての画像処理装置の色調補正を行う構成について説明する。
図１１に示す構成の画像補正処理部３６は、画像表示部４４と、原画像をＨＳＩ変換と称する変換により、色相（Hue ；Ｈ）、彩度（Saturation；Ｓ）、明度（Intensity ；Ｉ）にそれぞれ変換する色調補正部５１と、Ｈ、Ｓ、Ｉの変換を行う補正パラメータを調整して色調を補正する補正パラメータ設定選択部４３とで構成される。
【００７１】
このような画像補正処理部３６により、原画像はそれぞれ色調補正部５１に入力され、 ＨＳＩ変換で色相Ｈ、彩度Ｓ、明度Ｉに変換される。さらに、色調補正部５１では、補正パラメータ設定部４３で設定した色相Ｈ 、色彩Ｓ、明度Ｉに基づき、入力画像を補正し、画像表示部４４に出力する。ユーザは画像表示部４４に表示される画像を比較しながら、図１２に示すような画面上の色相Ｈ 、色彩Ｓ、明度Ｉの調整用つまみを操作して、両者が同じような色調になるように調整する。そして色調が調整されたデータは、画像合成部６で合成され、繋ぎ合わされる。
【００７２】
このように構成された画像補正処理部３６により、画像合成の際に隣り合う複数の画像を合成した画像のオーバーラップ領域だけでなく、画面全体の色調が自然なものとなるようにすることができる。勿論、本実施形態では、色相・色彩・明度に変換して調整するように説明したが、ホワイトバランスを合わせるのと同様に、Ｒ、Ｇ、Ｂそれぞれの信号レベルを合わせるようにしても良い。
【００７３】
さらに図１３に示すように、画像補正処理部３６に画像拡大縮小部５２と補正パラメータ設定選択部４３を備えることにより、ズーム比の違い、撮影者の撮影位置による被写体の大きさ変化にも対応して、良好な合成画像を得ることができる。
【００７４】
次に、図１４乃至図１７を参照して、第５の実施形態としての画像処理装置による広ダイナミック化処理を行う構成例を示し説明する。
この画像処理装置は、広ダイナミック化技術において、既に撮影された画像から露出時間比Ｒexp を算出し、この露出時間比を用いて画像を合成する装置である。本実施形態の構成部位で前述した第１の実施形態の構成部位と同等の部位には同じ参照符号を付してその説明を省略する。
【００７５】
本実施形態の画像処理装置は、画像処理部３４に露出時間比算出部６１を備えた構成である。
この画像処理部３４において、再生された画像ａ、ｂは、まず信号切替部３７を経由して、露出時間比算出部６１に入力され、結果として、露出時間比Ｒexp が画像合成部６に入力される。この画像合成部６で、算出された露出時間比Ｒexp を用いて画像ａ、ｂを合成し、入力機器のダイナミックレンジを超えた画像が出力される。なお、画像合成部６の構成は、図２２と同様の構成を用いているため、ここでは説明を省略する。
【００７６】
図１５には、前記露出時間比算出部６１の構成例を示し説明する。
この露出時間比算出部６１は、画像表示部４４と、ユーザにより露出時間比Ｒexp を調整するための露出時間比設定部６３と、この露出時間比設定部６３で設定された露出時間比Ｒexp を基に、入力画像に対して、明るさを調整する明るさ補正部６２とで構成される。
【００７７】
このように構成された露出時間比算出部６１は、入力画像ａ、ｂのうちの１枚（ここでは画像ａとする）を、基準画像として、そのまま画像表示部４４に表示する。また画像ｂは、明るさ補正部６２で明るさを補正し、画像表示部４４に出力して表示される。
【００７８】
前記露出時間比設定部６３は、ユーザが露出時間比Ｒexp を調整できるように、例えば、後述する画像表示部４４の表示画面上に仮想的な調整つまみを表示する機構を備えている。ユーザが露出時間比Ｒexp を調整した結果は、直ちに明るさ補正部６２にフィードバックされ、調整後の露出時間比Ｒexp で補正した画像が画像表示部４４で表示される。
【００７９】
図１６は、明るさ補正部６２での処理を示した図である。補正前の入力画像信号Ｓin に対して補正後信号Ｓout は、
Ｓout ＝Ｒexp ・Ｓin （４）
と変換される。このとき、Ｒexp ＞１．０ならば画像は明るくなり、 Ｒexp ＜１．０ならば、画像は暗くなる。
【００８０】
図１７は、画像表示部４４の表示例である。
この図１７に示す基準画像の画像ａにおいては、室内（テーブルや花等が有るところ）は適正な露出であり、窓の外（木や山が見えるところ）はオーバーな露出である状態を表している。また、調整画像の画像ｂにおいては、前記窓の外は、適正な露出であり、前記室内は、アンダーな露出である状態を表している。
【００８１】
画像ａは、基準画像として表示され、画面上に表示されるつまみを調整して、画像ｂの明るさを補正する。そして、ユーザは、画像ｂ全体の明るさが基準画像（画像ａ）と同じくらいになった時点で、「ＯＫ」キーで、調整終了を指示する。このように設定された露出時間比Ｒexp が画像合成部６に出力され、広ダイナミックレンジ化処理が行われる。
【００８２】
本実施形態によれば、画像を見て確認しつつ、露出時間比Ｒexp を求めることができるため、画像を入力するための入力機器に所望する機器を使用することができ、また、撮影したときに露出時間を記録する必要が無くなり、容易に広ダイナミックレンジ化処理を行うことができる。
【００８３】
また、本実施形態では、２枚の画像による露出時間比を補正するパラメータとして調整した例で説明したが、これに限定されるものではなく、３枚以上の画像の露出時間比を補正パラメータとした場合にも勿論可能である。さらに、画像のうちの１つの画像を基準として、他方の画像のみを明るさ補正するように説明したが、勿論、双方の画像の明るさを補正して、中間的な明るさの画像を生成しても構わない。この時の露出時間比は、それぞれの画像において、図１６に示した傾きの比となる。
【００８４】
さらに、露出の異なる複数の明暗画像を撮影する方法として、絞りを変えて撮影してもよいし、減光フィルタの透過率によって制御することも可能である。つまり、広ダイナミックレンジ化処理に必要な補正パラメータとしては、複数の画像間の露出比を示すものであればよく、このような露出比を示すものとして、上述の実施形態に示した露出時間比や、絞り比、減光フィルタの透過率比を補正パラメータとして利用することが可能である。
【００８５】
また、全実施形態において、デジタルカメラで撮影をするように記述しているが、従来の銀塩カメラで撮影したフィルムをスキャナでデジタル化した画像や、ビデオカメラやデジタルビデオカメラで撮影した画像から、画像取込ボード等を介して取り込んだ画像においても、同様の処理が可能である。各実施形態における画像表示装置４４においても、繋ぎ合わされた後の画像を出力するモニタ７とを兼用させることができる。
【００８６】
さらに、前述した各実施形態を、それぞれ組み合わせて構成することも可能である。特に補正パラメータ記憶部４２は、上記第１〜第３の実施形態に記載される構成においては、光学系の特性を知っていれば、記憶することもできるし、第４、第５の実施形態に組み入れて、パラメータを記憶することで調整のデフォルト値とし、ユーザが調整をする際の参考にすることもできる。
【００８７】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
１．１つの構図を分割し、隣接する箇所に互いに同じ被写体像が存在するオーバーラップ領域を有する、複数の画像として入力する画像入力手段と、
前記複数の画像の少なくとも各オーバーラップ領域内に生じた画像の歪みまたは画像の差異を補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、
前記設定された補正パラメータに従って、前記複数の画像の少なくともオーバーラップ領域内に生じた画像歪みまたは画像の差異が無くなるように、前記複数の画像のうち、少なくとも１枚の画像に対して補正を行う画像補正手段と、
前記画像補正手段で補正された複数の画像を、前記オーバーラップ領域上で重ねて、順次繋ぎ合わせることで、前記１つの構図を復元する画像合成手段と、
前記画像入力手段により入力された複数の画像、または、前記画像補正手段により補正された画像のうち少なくとも１枚の画像を表示する画像表示手段と、を具備することを特徴とする画像処理装置。
【００８８】
第１、２実施形態に対応する。この画像処理装置により、画像補正手段で補正された画像を画像表示手段に表示して確認できるため、必要な補正パラメータを知らなくても効果的に画像を補正することができ、画像合成手段により正確に繋ぎ合わせた画像を得ることができる。
【００８９】
２．１つの構図を異なる露出で撮影した複数の画像として入力する画像入力手段と、
前記露出が異なる複数の画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、
前記設定された補正パラメータに従って、前記複数の画像のうち、少なくとも１枚の画像に対して明るさを補正する画像補正手段と、
前記画像補正手段により補正された画像のうち少なくとも１枚の画像を表示する画像補正手段と、
前記複数の入力画像と前記設定された補正パラメータに基づいて、前記１つの構図が前記画像入力手段で入力されたときの入射光量を推定し、前記画像補正手段で明るさが補正された複数の画像を、前記画像表示手段の表示可能範囲内に収まるように変換して合成する画像合成手段と、
を備することを特徴とする画像処理装置。
【００９０】
第５実施形態に対応する。この画像処理装置では、画像補正手段で補正された画像を画像表示手段に表示して補正パラメータを設定し、この補正パラメータに基づいて画像表示手段の表示可能範囲に収まるように画像合成手段により明るさが補正された画像が得られる。
【００９１】
３．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の明るさの違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項または（２）項に記載の画像処理装置。
【００９２】
第５実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認しながら明るさを補正することにより、予め露出時間比・絞り比等を記録することなく画像から広ダイナミックレンジ化処理に必要なパラメータを得ることができる。
【００９３】
４．前記画像補正手段は、前記画像表示手段に表示される１枚の画像の歪曲収差または複数の画像間における歪曲収差の違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項、（３）項のいずれかに記載の画像処理装置。
【００９４】
第１、２実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら歪曲収差を補正するため、隣接画像間のズレ、回転を正確に求めることができる。
【００９５】
５．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の倍率の違いに応じて、前記補正パラメータを変化させることにより、画像を補正するものであることを特徴とする前記（１）項に記載の画像処理装置。
【００９６】
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら倍率の違いを補正することで、正確な画像の繋ぎ合わせが可能になる。
【００９７】
６．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の色情報の違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項に記載の画像処理装置。
【００９８】
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら隣接する画像間の色の違いを補正することで、繋ぎ合わせた画像は非常に自然な画像になる。
【００９９】
７．前記色情報は、色相、彩度、明度の少なくとも１つであることを特徴とする前記（６）項に記載の画像処理装置。
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら隣接する画像間の色の違いを補正することで、繋ぎ合わせた画像は非常に自然な画像になる。
【０１００】
８．前記色情報は、ホワイトバランスを調整するためのＲ、Ｇ、Ｂ値の少なくとも一つであることを特徴とする前記（６）項に記載の画像処理装置。
第４実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら隣接する画像間の色の違いを補正することで、繋ぎ合わせた画像は非常に自然な画像になる。
【０１０１】
９．前記画像補正手段は、前記画像表示手段に表示される一枚の画像における画像の周辺減光または複数の画像間における画像の周辺減光の違いに応じて、前記補正パラメータを変化させることにより画像を補正するものであることを特徴とする前記（１）項、（３）項のいずれかに記載の画像処理装置。
【０１０２】
第３実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認をしながら周辺減光を補正するため、繋ぎ合わせた画像は非常に自然な画像になる。
【０１０３】
１０．前記画像補正手段は、前記画像表示手段に表示される複数の画像間における画像の明るさの違いに応じて、前記補正パラメータとして前記複数の画像間における露出比を変化させることにより画像を補正するものであることを特徴とする前記（３）記載の画像処理装置。
【０１０４】
第５実施形態に対応する。この画像処理装置では、画像表示手段上で補正結果を確認しながら、広ダイナミックレンジ化処理に必要なパラメータとしての複数の画像間における露出比（露出時間比・絞り比・透過率比等）を変化させることにより、画像の明るさを補正し、広ダイナミックレンジ化された合成画像を得ることができる。
【０１０５】
１１．前記補正された画像における前記補正パラメータと、その補正画像若しくは、その画像を撮影した撮影手段の識別名とを関連づけて記憶する補正パラメータ記憶手段を有し、
前記補正パラメータ設定手段は、前記補正パラメータ記憶手段に記憶された補正パラメータより所望の補正パラメータを選択して設定することを特徴とする前記（１）、（３）項のいずれかに記載の画像処理装置。
【０１０６】
第１、２、３実施形態に対応する。この画像処理装置では、一度補正に用いたパラメータ値を補正パラメータ記憶手段に保存しておき、必要な値を補正パラメータ記憶手段から選択して利用することで、各画像ごとに改めて初めから補正する必要がない。
【０１０７】
【発明の効果】
以上詳述したように本発明によれば、露出時間・ホワイトバランス等撮影条件が、制御且つ記録できるような高価な撮影機材を用いる必要がなく、ユーザが所有する任意の撮影機材や安価な撮影機材で撮影した画像のみから広ダイナッミクレンジ化した画像を得ることができる画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態としての画像処理装置の概略的な構成を示す図である。
【図２】図１に示した画像補正処理部の詳細な構成を示す図である。
【図３】画像表示部上に表示される画像への処理指示及び画像の補正状態を示す図である。
【図４】補正パラメータ記憶部に記憶されるファイルの形式の一例を示す図である。
【図５】歪曲収差のある光学系により撮影された画像の合成について説明するための図である。
【図６】本発明による第２の実施形態としての画像処理装置の概略的な構成を示す図である。
【図７】図６に示した画像補正処理部の構成例を示す図である。
【図８】画像補正処理部の画像表示部に表示される合成結果の一例を示す図である。
【図９】第３の実施形態としての画像処理装置における画像補正処理部の構成例を示す図である。
【図１０】周辺減光について説明するための画像中心からの距離と信号値の関係を示す図である。
【図１１】第４の実施形態としての画像処理装置における画像補正処理部の構成例を示す図である。
【図１２】画像補正処理部の画像表示部に表示される色調補を行うための表示例を示す図である。
【図１３】画像拡大縮小部と補正パラメータ設定部を備える画像補正処理部の構成例を示す図である。
【図１４】本発明による第５の実施形態としての画像処理装置の概略的な構成を示す図である。
【図１５】図１４に示した露出時間比算出部の構成例を示す図である。
【図１６】明るさ補正部における補正前の入力画像信号と補正後信号との関係を示す図である。
【図１７】明るさ補正に関する画像表示部の表示例を示す図である。
【図１８】従来の画像処理装置の一構成例を示す図である。
【図１９】図１８に示した画像合成部の一構成例を示す図である。
【図２０】画像を繋ぎ合わせた広角画像合成における画像の重なり具合について説明するための図である。
【図２１】長時間露出と短時間露出の信号を加算した信号の特性を示す図である。
【図２２】図１８に示した画像合成部の一構成例を示す図である。
【図２３】歪曲収差の特性の一例を示す図である。
【符号の説明】
６…画像合成部
７…モニタ
８…プリンタ
９…記録媒体
３１…デジタルスチルカメラ
３２…メモリカード
３３…カードリーダ
３４…画像処理部
３５…画像データ再生部
３６…画像補正部
３７…信号切り替え部
４１…収差補正処理部
４２…補正パラメータ記憶部
４３…補正パラメータ設定部
４４…画像表示部
Claims (4)
- １つの構図において、異なる露出条件で撮影して得られた複数の画像を入力する画像入力手段と、
前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示手段と、
前記露出条件が異なる複数の入力画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定手段と、
前記画像表示手段に表示される複数の画像間における画像の明るさの差異に応じて、前記補正パラメータ設定手段により前記補正パラメータを変化させて前記少なくとも１枚の画像の明るさを補正することにより、前記補正パラメータを再設定させる画像補正手段と、
前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正手段により再設定された補正パラメータに基づいて、前記得られた加算画像の信号値から前記１つの構図が前記画像入力手段で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示手段で表示可能な階調範囲内に収まるように変換する画像生成手段と、を具備することを特徴とする画像処理装置。 - １つの構図において、異なる露出条件で撮影して得られた複数の入力画像を入力する画像入力手段と、
前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示手段と、
前記複数の入力画像間の画像の明るさの差異を補正するのに必要な前記複数の入力画像の露出時間による露出時間比を設定する露出時間比設定手段と、
前記画像表示手段に表示される複数の画像間における画像の明るさの差異に応じて、前記露出時間比設定手段により前記露出時間比を変化させて、前記少なくとも１枚の画像の明るさを補正することにより、露出時間比を再設定する画像補正手段と、
前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正手段により再設定された露出時間比に基づいて、前記得られた加算画像の信号値から前記１つの構図が前記入力手段で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示手段で表示可能な階調範囲内に収まるように変換する画像生成手段と、を具備することを特徴とする画像処理装置。 - 前記補正パラメータ設定手段は、前記画像表示手段の表示画面上に表示された仮想の調整つまみを操作することにより前記補正パラメータを調整可能であることを特徴とする請求項１に記載の画像処理装置。
- １つの構図において、異なる露出条件で撮影して得られた複数の画像を入力する画像入力工程と、
前記複数の入力画像のうちの少なくとも１枚の画像を表示する画像表示工程と、
前記露出条件が異なる複数の入力画像のうち、少なくとも１枚の画像の明るさを補正するのに必要な補正パラメータを設定する補正パラメータ設定工程と、
前記画像表示工程に表示される複数の画像間における画像の明るさの差異に応じて、前記補正パラメータ設定工程により前記補正パラメータを変化させて前記少なくとも１枚の画像の明るさを補正することにより、前記補正パラメータを再設定する画像補正工程と、
前記複数の入力画像を加算して階調範囲の広い加算画像を得て、前記画像補正工程により再設定された補正パラメータに基づいて、前記得られた加算画像の信号値から前記１つの構図が前記画像入力工程で入力されたときの入射光量を推定し、前記加算画像を、前記画像表示工程で表示可能な階調範囲内に収まるように変換する画像生成工程と、を具備することを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31226096A JP3974964B2 (ja) | 1996-11-08 | 1996-11-22 | 画像処理装置 |
| US08/964,180 US6995790B2 (en) | 1996-11-08 | 1997-11-04 | Image processing apparatus for joining a plurality of images |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-296750 | 1996-11-08 | ||
| JP29675096 | 1996-11-08 | ||
| JP31226096A JP3974964B2 (ja) | 1996-11-08 | 1996-11-22 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10187929A JPH10187929A (ja) | 1998-07-21 |
| JP3974964B2 true JP3974964B2 (ja) | 2007-09-12 |
Family
ID=26560827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31226096A Expired - Fee Related JP3974964B2 (ja) | 1996-11-08 | 1996-11-22 | 画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6995790B2 (ja) |
| JP (1) | JP3974964B2 (ja) |
Families Citing this family (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6786420B1 (en) | 1997-07-15 | 2004-09-07 | Silverbrook Research Pty. Ltd. | Data distribution mechanism in the form of ink dots on cards |
| US6618117B2 (en) | 1997-07-12 | 2003-09-09 | Silverbrook Research Pty Ltd | Image sensing apparatus including a microcontroller |
| US6879341B1 (en) | 1997-07-15 | 2005-04-12 | Silverbrook Research Pty Ltd | Digital camera system containing a VLIW vector processor |
| US6624848B1 (en) | 1997-07-15 | 2003-09-23 | Silverbrook Research Pty Ltd | Cascading image modification using multiple digital cameras incorporating image processing |
| US6690419B1 (en) | 1997-07-15 | 2004-02-10 | Silverbrook Research Pty Ltd | Utilising eye detection methods for image processing in a digital image camera |
| US6948794B2 (en) | 1997-07-15 | 2005-09-27 | Silverbrook Reserach Pty Ltd | Printhead re-capping assembly for a print and demand digital camera system |
| US7110024B1 (en) | 1997-07-15 | 2006-09-19 | Silverbrook Research Pty Ltd | Digital camera system having motion deblurring means |
| WO1999067949A1 (fr) * | 1998-06-22 | 1999-12-29 | Fuji Photo Film Co., Ltd. | Imageur et procede |
| JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
| JP2000083157A (ja) * | 1998-09-07 | 2000-03-21 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置 |
| AUPP702098A0 (en) | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART73) |
| JP3000527B1 (ja) * | 1998-09-16 | 2000-01-17 | 株式会社アトラス | 画像プリント供給装置 |
| US6930710B1 (en) * | 1998-11-13 | 2005-08-16 | Cnh Canada, Ltd. | Method of and apparatus for processing a video image |
| WO2000040037A1 (fr) * | 1998-12-26 | 2000-07-06 | Sony Corporation | Dispositif de traitement de signaux video et son procede |
| JP3449937B2 (ja) * | 1999-01-14 | 2003-09-22 | 日本電信電話株式会社 | パノラマ画像作成方法及びパノラマ画像を用いた周囲状況伝達方法並びにこれらの方法を記録した記録媒体 |
| JP3799861B2 (ja) * | 1999-02-24 | 2006-07-19 | 株式会社日立製作所 | 画像合成装置、画像合成方法を実行させるプログラムが記録された記録媒体 |
| US7015966B1 (en) * | 1999-03-15 | 2006-03-21 | Canon Kabushiki Kaisha | Reducing discontinuities in segmented imaging sensors |
| AUPQ056099A0 (en) | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
| JP4169462B2 (ja) * | 1999-08-26 | 2008-10-22 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 |
| US7542070B2 (en) | 2000-01-17 | 2009-06-02 | Fujifilm Corporation | Image processing apparatus, and photographing system for receiving and creating processing information |
| US8407595B1 (en) * | 2000-02-11 | 2013-03-26 | Sony Corporation | Imaging service for automating the display of images |
| JP2001274973A (ja) * | 2000-03-24 | 2001-10-05 | Sanyo Electric Co Ltd | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| JP3539394B2 (ja) * | 2001-03-26 | 2004-07-07 | ミノルタ株式会社 | 画像処理装置、プログラムおよび記録媒体 |
| JP3297040B1 (ja) | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
| EP1491038A2 (en) * | 2001-12-26 | 2004-12-29 | YEDA RESEARCH AND DEVELOPMENT CO., Ltd. | A system and method for increasing space or time resolution in video |
| JP3971246B2 (ja) * | 2002-06-03 | 2007-09-05 | 富士フイルム株式会社 | デジタル撮影装置 |
| JP4048907B2 (ja) | 2002-10-15 | 2008-02-20 | セイコーエプソン株式会社 | 複数の画像データのパノラマ合成 |
| CN101431685B (zh) * | 2003-06-23 | 2011-05-25 | 索尼株式会社 | 处理图像的方法和设备 |
| SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
| US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
| JP4180083B2 (ja) * | 2003-09-26 | 2008-11-12 | シャープ株式会社 | パノラマ画像作成装置及びパノラマ画像撮影装置 |
| US8804028B2 (en) * | 2004-01-30 | 2014-08-12 | Hewlett-Packard Development Company, L.P. | Digital image production method and apparatus |
| JP4617085B2 (ja) * | 2004-02-16 | 2011-01-19 | キヤノン株式会社 | 画像表示装置および画像表示方法 |
| JP4338551B2 (ja) * | 2004-03-04 | 2009-10-07 | 富士フイルム株式会社 | 画像再生方法、画像再生装置及び画像再生プログラム |
| JP4632721B2 (ja) | 2004-03-18 | 2011-02-16 | メガビジョン株式会社 | 処理装置及びガンマ値調整プログラム |
| JP4223420B2 (ja) | 2004-03-05 | 2009-02-12 | メガビジョン株式会社 | 撮影装置 |
| DE602004029133D1 (de) * | 2004-03-05 | 2010-10-28 | Mega Vision Corp | Verarbeitungsvorrichtung und Computerprogramm zur Gamma-Korrektur |
| JP4566591B2 (ja) * | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | 画像変形推定方法および画像変形推定装置 |
| US7463296B2 (en) * | 2004-04-01 | 2008-12-09 | Microsoft Corporation | Digital cameras with luminance correction |
| WO2006022630A1 (en) | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Panoramic vision system and method |
| US20070103544A1 (en) * | 2004-08-26 | 2007-05-10 | Naofumi Nakazawa | Panorama image creation device and panorama image imaging device |
| JP4763469B2 (ja) * | 2005-03-07 | 2011-08-31 | 富士フイルム株式会社 | 固体撮像装置および画像入力装置、ならびにその画像補正方法 |
| US10341558B2 (en) * | 2005-06-03 | 2019-07-02 | Craig P. Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
| US11632498B1 (en) * | 2005-06-03 | 2023-04-18 | Craig P. Mowry | Multi-dimensional imaging system and method |
| US20070127909A1 (en) * | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
| JP4687265B2 (ja) * | 2005-06-14 | 2011-05-25 | 富士ゼロックス株式会社 | 画像分析装置 |
| US7454136B2 (en) * | 2005-07-28 | 2008-11-18 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for acquiring HDR flash images |
| JP2007096904A (ja) * | 2005-09-29 | 2007-04-12 | Fujifilm Corp | プリント注文受付装置及び方法並びにインデックス画像作成装置及び方法 |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| JP4706466B2 (ja) * | 2005-12-16 | 2011-06-22 | 株式会社日立製作所 | 撮像装置 |
| JP5074777B2 (ja) * | 2006-05-22 | 2012-11-14 | キヤノン株式会社 | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
| JP4345829B2 (ja) * | 2007-03-09 | 2009-10-14 | ソニー株式会社 | 画像表示システム、画像表示装置、画像表示方法およびプログラム |
| JP4714174B2 (ja) * | 2007-03-27 | 2011-06-29 | 富士フイルム株式会社 | 撮像装置 |
| KR101014572B1 (ko) * | 2007-08-27 | 2011-02-16 | 주식회사 코아로직 | 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치 |
| JP4940116B2 (ja) * | 2007-12-06 | 2012-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5187139B2 (ja) * | 2008-10-30 | 2013-04-24 | セイコーエプソン株式会社 | 画像処理装置およびプログラム |
| US20100259639A1 (en) * | 2009-04-13 | 2010-10-14 | Qualcomm Incorporated | Automatic backlight detection |
| JP4709309B2 (ja) * | 2009-10-20 | 2011-06-22 | 株式会社パスコ | 路面画像撮影・編集装置及び路面画像撮影・編集プログラム |
| US9237294B2 (en) | 2010-03-05 | 2016-01-12 | Sony Corporation | Apparatus and method for replacing a broadcasted advertisement based on both heuristic information and attempts in altering the playback of the advertisement |
| US9832528B2 (en) | 2010-10-21 | 2017-11-28 | Sony Corporation | System and method for merging network-based content with broadcasted programming content |
| US8374428B2 (en) * | 2010-12-05 | 2013-02-12 | Microsoft Corporation | Color balancing for partially overlapping images |
| US9600863B2 (en) * | 2012-02-13 | 2017-03-21 | Omnivision Technologies, Inc. | Method for combining images |
| CN102663716A (zh) * | 2012-03-12 | 2012-09-12 | 武汉大学 | 适用于影像有效范围为凸多边形的接缝线网络生成方法 |
| JP5950678B2 (ja) * | 2012-04-27 | 2016-07-13 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
| CN102867297B (zh) * | 2012-08-31 | 2015-08-19 | 天津大学 | 一种低照度图像采集的数字化处理方法 |
| JP5996462B2 (ja) * | 2013-03-13 | 2016-09-21 | オリンパス株式会社 | 画像処理装置、顕微鏡システム及び画像処理方法 |
| JP2015032890A (ja) * | 2013-07-31 | 2015-02-16 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 撮像装置及び現像方法 |
| JP6223135B2 (ja) * | 2013-11-14 | 2017-11-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US9396571B2 (en) | 2014-02-10 | 2016-07-19 | International Business Machines Corporation | Simplified lighting compositing |
| US9262801B2 (en) | 2014-04-01 | 2016-02-16 | Gopro, Inc. | Image taping in a multi-camera array |
| JP2016001781A (ja) * | 2014-06-11 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び画像表示装置 |
| CN105812649B (zh) * | 2014-12-31 | 2019-03-29 | 联想(北京)有限公司 | 一种摄像方法和装置 |
| EP3076657B1 (en) | 2015-04-02 | 2017-05-24 | Axis AB | Method for determination of focal length for a zoom lens |
| US9563957B1 (en) | 2015-07-02 | 2017-02-07 | Yesvideo, Inc. | 2D/3D image scanning and compositing |
| JP6746892B2 (ja) * | 2015-09-30 | 2020-08-26 | ヤマハ株式会社 | 画像処理装置、画像処理方法およびプログラム |
| KR102517104B1 (ko) * | 2016-02-17 | 2023-04-04 | 삼성전자주식회사 | 가상 현실 시스템에서 이미지 처리 방법 및 장치 |
| US10085006B2 (en) * | 2016-09-08 | 2018-09-25 | Samsung Electronics Co., Ltd. | Three hundred sixty degree video stitching |
| US10706512B2 (en) * | 2017-03-07 | 2020-07-07 | Adobe Inc. | Preserving color in image brightness adjustment for exposure fusion |
| JP6790282B2 (ja) * | 2017-09-14 | 2020-11-25 | 株式会社日立ハイテク | 荷電粒子顕微鏡装置および広視野画像生成方法 |
| CN112567727B (zh) * | 2018-08-20 | 2023-04-07 | 索尼半导体解决方案公司 | 图像处理设备和图像处理系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4926247A (en) | 1986-10-15 | 1990-05-15 | Olympus Optical Co., Ltd. | Color imaging apparatus including a means for electronically non-linearly expanding and compressing dynamic range of an image signal |
| JP2710317B2 (ja) | 1986-10-15 | 1998-02-10 | オリンパス光学工業株式会社 | カラー撮像装置 |
| GB2256989B (en) * | 1991-06-21 | 1995-02-08 | Sony Broadcast & Communication | Video image capture apparatus |
| JP3791696B2 (ja) | 1992-04-09 | 2006-06-28 | オリンパス株式会社 | 画像表示装置 |
| JP3335413B2 (ja) | 1992-04-14 | 2002-10-15 | オリンパス光学工業株式会社 | 電子カメラ |
| JP3192875B2 (ja) * | 1994-06-30 | 2001-07-30 | キヤノン株式会社 | 画像合成方法および画像合成装置 |
| JPH0832847A (ja) * | 1994-07-13 | 1996-02-02 | Fuji Photo Film Co Ltd | 電子スチル・カメラおよびその制御方法 |
| JPH08116490A (ja) * | 1994-10-14 | 1996-05-07 | Olympus Optical Co Ltd | 画像処理装置 |
| JPH08256295A (ja) * | 1994-12-21 | 1996-10-01 | Olympus Optical Co Ltd | 画像処理装置 |
| US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
-
1996
- 1996-11-22 JP JP31226096A patent/JP3974964B2/ja not_active Expired - Fee Related
-
1997
- 1997-11-04 US US08/964,180 patent/US6995790B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10187929A (ja) | 1998-07-21 |
| US20030133019A1 (en) | 2003-07-17 |
| US6995790B2 (en) | 2006-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3974964B2 (ja) | 画像処理装置 | |
| US6995793B1 (en) | Video tap for a digital motion camera that simulates the look of post processing | |
| US20140022415A1 (en) | Imaging apparatus | |
| JP5300756B2 (ja) | 撮像装置及び画像処理方法 | |
| JP2010020758A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| JP2006340120A (ja) | 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム | |
| JP6624889B2 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
| JP2005051776A (ja) | ディジタルカメラ画像テンプレートガイド装置及び方法 | |
| JP3926947B2 (ja) | 画像データ形成装置および画像データ処理方法 | |
| JP5457845B2 (ja) | 色特性補正装置およびカメラ | |
| US20100141823A1 (en) | Image Processing Apparatus And Electronic Appliance | |
| JPH02127877A (ja) | 魚眼レンズを備えた電子スチルカメラ | |
| JP6529533B2 (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
| JP2002300372A (ja) | 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置 | |
| JPH11242737A (ja) | 画像処理方法及び装置並びに情報記録媒体 | |
| JP3984346B2 (ja) | 撮像装置及び画像合成方法 | |
| JP2007096588A (ja) | 画像撮影装置および画像表示方法 | |
| JP2002305684A (ja) | 撮像システム及びプログラム | |
| JP2007334558A (ja) | 画像処理装置および方法、並びにプログラム | |
| JPH07131718A (ja) | 画像合成装置 | |
| JP4406461B2 (ja) | 撮像装置 | |
| JP2007019726A (ja) | 撮像装置 | |
| JP3503655B2 (ja) | 画像合成装置 | |
| JP3332942B2 (ja) | 電子スチルカメラ | |
| JP6210772B2 (ja) | 情報処理装置、撮像装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070507 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |