JPH11242737A - Method for processing picture and device therefor and information recording medium - Google Patents
Method for processing picture and device therefor and information recording mediumInfo
- Publication number
- JPH11242737A JPH11242737A JP10045238A JP4523898A JPH11242737A JP H11242737 A JPH11242737 A JP H11242737A JP 10045238 A JP10045238 A JP 10045238A JP 4523898 A JP4523898 A JP 4523898A JP H11242737 A JPH11242737 A JP H11242737A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- processing method
- image processing
- magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像処理の分野に
係り、特に、デジタルカメラなどを用いて撮影された画
像の貼り合わせ合成処理の分野に関する。[0001] 1. Field of the Invention [0002] The present invention relates to the field of image processing, and more particularly, to the field of laminating and combining images captured using a digital camera or the like.
【０００２】[0002]
【従来の技術】高解像度の広角画像やパノラマ画像が必
要な場合に、デジタルカメラなどを用いてシーンを分割
撮影し、個々の画像（要素画像）を貼り合わせて１枚の
大きな画像を合成する手法が用いられることがある。こ
の場合、切れ目のない合成画像を得るために、隣り合う
要素画像が部分的にオーバーラップするように撮影され
る。2. Description of the Related Art When a high-resolution wide-angle image or panoramic image is required, a scene is divided and photographed using a digital camera or the like, and individual images (element images) are combined to synthesize one large image. Techniques may be used. In this case, in order to obtain a seamless composite image, adjacent element images are photographed so as to partially overlap.
【０００３】このような画像の貼り合わせ合成に関して
は、特許第２５５５０４１号（特開昭６３−１４２９９
１号）のパノラマ画像合成システム、特開平５−２６０
２６４号の画像合成処理装置など、多くの従来技術が知
られている。いずれの従来技術も、基本的には、隣り合
う要素画像のオーバーラップ部分に同じ対象の像が写っ
ていることを利用し、オーバーラップ部分の像が重なる
ように、要素画像の相対移動や必要に応じて回転又は変
倍を行うことによって貼り合わせ合成を行う。なお、公
知技術ではないが、本出願人は特願平９−３０３８９３
号などで、要素画像を参照球面上で貼り合わせ合成する
手法を提案している。[0003] Japanese Patent No. 2555501 (Japanese Unexamined Patent Publication No. 63-14299) discloses a method of pasting and combining such images.
No. 1), Japanese Patent Laid-Open No. 5-260
Many conventional techniques are known, such as an image synthesis processing device of H.264. Both of the prior arts basically utilize the fact that the same target image is shown in the overlapping portion of the adjacent element images, so that the relative movement of the element images and the necessary By performing rotation or scaling according to the above, the bonding and combining are performed. Although not a publicly known technique, the present applicant has filed Japanese Patent Application No. 9-303893.
For example, we propose a method of combining and combining elemental images on a reference spherical surface using a symbol.
【０００４】[0004]
【発明が解決しようとする課題】一般に、デジタルスチ
ルカメラ、ビデオカメラなどには露出やホワイトバラン
スなどの自動補正機構が搭載されている。このような自
動補正機構を持つカメラで要素画像を撮影すると、それ
ぞれの撮影時の対象物やカメラアングルによって、露出
やホワイトバランスの補正量（以下、これらを撮影条件
と呼ぶことがある）が変化し、同じ撮影対象であっても
要素画像ごとに輝度、色が異なることがある。このよう
な撮影条件にばらつきのある要素画像を前述のような従
来技術によって貼り合わせて得られる合成画像は、位置
によって、同じ色や明るさを持つ撮影対象が異なった明
るさや色で表現され、非常に見苦しい。Generally, digital still cameras, video cameras and the like are equipped with an automatic correction mechanism for exposure and white balance. When an element image is photographed with a camera having such an automatic correction mechanism, the amount of exposure and white balance correction (hereinafter, these may be referred to as photographing conditions) vary depending on the object and camera angle at the time of each photographing. However, the luminance and the color may be different for each element image even for the same photographing target. In a composite image obtained by pasting such element images having variations in shooting conditions by the above-described conventional technology, a shooting target having the same color and brightness is expressed by different brightness and color depending on the position, Very unsightly.
【０００５】このような明るさや色のむらを避けるため
に、カメラの自動補正機構を利用しないで要素画像を撮
影することも考えられる。しかし、そのためには撮影前
に撮影範囲全体での適正な露出などを決定する必要があ
るが、これを適切確実に行うことは困難である。したが
って、自動補正機構を作動させて撮影した要素画像か
ら、明るさや色のむらのない画像を合成できることが望
まれる。[0005] In order to avoid such brightness and color unevenness, it is conceivable to take an element image without using an automatic correction mechanism of a camera. However, for this purpose, it is necessary to determine an appropriate exposure or the like over the entire photographing range before photographing, but it is difficult to appropriately and reliably perform this. Therefore, it is desired to be able to synthesize an image without unevenness in brightness and color from an element image captured by operating the automatic correction mechanism.
【０００６】よって、本発明の目的は、撮影条件が相違
する可能性のある複数の要素画像から、明るさや色のむ
らのない画像を合成できるようにすることである。SUMMARY OF THE INVENTION It is therefore an object of the present invention to be able to synthesize an image having no unevenness in brightness and color from a plurality of element images which may have different photographing conditions.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するた
め、請求項１乃至８の各項記載の画像処理方法は、デジ
タルカメラなどを用い、隣接するものが部分的にオーバ
ーラップするように撮影された複数の要素画像に関し、
基準に選ばれた要素画像に対する他の要素画像の輝度倍
率を推定し、推定された輝度倍率に基づいて各要素画像
に輝度補正を施し、しかる後に要素画像を貼り合わせ合
成する構成とされる。In order to achieve the above object, an image processing method according to any one of claims 1 to 8 uses a digital camera or the like to capture images so that adjacent objects partially overlap. Regarding the plurality of element images
The luminance magnification of another element image with respect to the element image selected as a reference is estimated, each element image is subjected to luminance correction based on the estimated luminance magnification, and then the element images are combined and synthesized.
【０００８】輝度倍率については、各要素画像のオーバ
ーラップ部分の画素値の平均値に基づいて輝度倍率を推
定し（請求項２）、この画素値の平均値の計算には予め
決められた一定範囲内の画素値だけを用いる（請求項
３）。あるいは、デジタルカメラなどで撮影時の絞り
値、シャッタースピード、アンプゲインなど、撮影対象
の輝度と画像データの画素値を関係付ける撮影条件に関
する情報を要素画像のデータとともに記録するように
し、各要素画像の絞り値などの撮影条件から直接的に輝
度倍率を推定する（請求項４）、構成とされる。As for the luminance magnification, the luminance magnification is estimated based on the average value of the pixel values of the overlapping portions of the respective element images (claim 2). Only the pixel values within the range are used (claim 3). Alternatively, information on shooting conditions that associates the brightness of the shooting target with the pixel value of the image data, such as the aperture value, shutter speed, and amplifier gain when shooting with a digital camera or the like, is recorded together with the element image data, and each element image is recorded. The brightness magnification is directly estimated from the photographing conditions such as the aperture value (claim 4).
【０００９】輝度補正については、推定された輝度倍率
に従って画素値を変換した場合の要素画像の貼り合わせ
合成画像の画素値分布を推定し、その分布に基づいて輝
度変換特性を決定し、この輝度変換特性と輝度倍率を用
いて各要素画像の画素値を変換することにより各要素画
像の輝度補正を行う構成とされる（請求項５）。For the luminance correction, the pixel value distribution of the composite image obtained by combining the element images when the pixel values are converted in accordance with the estimated luminance magnification is estimated, and the luminance conversion characteristic is determined based on the distribution. The pixel value of each element image is converted by using the conversion characteristic and the luminance magnification, thereby correcting the luminance of each element image.
【００１０】また、要素画像の貼り合わせ合成後又はそ
の前に、任意の要素画像が基準として指定された場合
に、指定された要素画像を基準とした輝度倍率を、推定
された輝度倍率から算出し、算出された輝度倍率に基づ
いて再び要素画像を輝度補正してから貼り合わせ合成す
る（請求項６）。あるいは、要素画像の貼り合わせ合成
後に輝度変換特性が修正された場合に、修正後の輝度変
換特性を用いて再び要素画像を輝度補正してから貼り合
わせ合成する（請求項７）、構成とされる。In addition, when an arbitrary element image is designated as a reference after or before combining and combining the element images, a luminance magnification based on the designated element image is calculated from the estimated luminance magnification. Then, based on the calculated luminance magnification, the element images are corrected for luminance again and then combined and combined (claim 6). Alternatively, when the luminance conversion characteristic is corrected after the composite synthesis of the element images, the element image is luminance-corrected again using the corrected luminance conversion characteristic, and then the composite is performed (claim 7). You.
【００１１】請求項８記載の画像処理方法にあっては、
基準に選ばれた要素画像に対する他の要素画像の輝度倍
率を推定し、推定された輝度倍率に基づいて要素画像を
輝度補正してから貼り合わせ合成することにより、要素
画像の元の階調数より大きな階調数を持つ合成画像を作
成する。そして、この合成画像の任意に指定される範囲
の画素値の分布を求め、この分布に基づいて指定範囲の
画像を合成画像より階調数の少ない画像、例えば要素画
像の元の階調数を持つ画像に変換し表示する、構成とさ
れる。[0011] In the image processing method according to claim 8,
By estimating the luminance magnification of the other element image with respect to the element image selected as the reference, correcting the luminance of the element image based on the estimated luminance magnification, and then combining and combining the element images, the original gradation number of the element image is obtained. Create a composite image with a larger number of tones. Then, a distribution of pixel values in an arbitrarily designated range of the composite image is obtained, and based on this distribution, the image in the designated range is converted to an image having a smaller number of gradations than the composite image, for example, the original gradation number of the element image. It is configured to convert the image into a displayed image and display it.
【００１２】なお、要素画像がカラー画像の場合、Ｒ，
Ｇ，Ｂ各色の輝度（画素値）を補正すればよい。ただ
し、デジタルカメラなどの自動ホワイトバランス補正機
構を作用させて要素画像を撮影した場合には、要素画像
ごとにＲ，Ｇ，Ｂのバランスが変化している可能性が高
いので、輝度補正前後のホワイトバランスの変化を防ぐ
ため、Ｒ，Ｇ，Ｂ各色別に輝度倍率の推定及び輝度補正
特性の決定を行うのがよい。他方、自動ホワイトバラン
ス補正機構を作用させずに要素画像を撮影した場合に
は、Ｒ，Ｇ，Ｂのバランスは固定しているから、ホワイ
トバランスを変化させないために、Ｇ画像に関して、輝
度倍率を推定し、また輝度変換特性を決定し、この輝度
変換特性と輝度倍率をＲ，Ｇ，Ｂ各色の輝度補正に用い
るのがよい。When the element image is a color image, R,
The luminance (pixel value) of each of the G and B colors may be corrected. However, when an element image is photographed by operating an automatic white balance correction mechanism such as a digital camera, there is a high possibility that the R, G, and B balances have changed for each element image. In order to prevent a change in white balance, it is preferable to estimate a luminance magnification and determine a luminance correction characteristic for each of R, G, and B colors. On the other hand, when the elemental image is taken without operating the automatic white balance correction mechanism, the R, G, and B balances are fixed. It is preferable to estimate and determine the luminance conversion characteristic, and use the luminance conversion characteristic and the luminance magnification for the luminance correction of each of the R, G, and B colors.
【００１３】また、請求項９記載の画像処理装置は、以
上に述べた画像処理方法の各処理を実行するための手段
を具備する構成とされ、請求項１０記載の情報記録媒体
は、以上に述べた画像処理方法の処理手順をコンピュー
タに実行させるためのプログラムが記録される構成とさ
れる。An image processing apparatus according to a ninth aspect of the present invention is configured to include means for executing each processing of the image processing method described above. A program for causing a computer to execute the processing procedure of the image processing method described above is recorded.
【００１４】[0014]
【発明の実施の形態】以下、添付図面を参照し、本発明
の実施の形態を説明する。Embodiments of the present invention will be described below with reference to the accompanying drawings.
【００１５】本発明を実施するためには、要素画像の輝
度倍率を推定するための手段、推定された輝度倍率に基
づいて要素画像を輝度補正するための手段、輝度補正後
の要素画像を貼り合わせ合成するための手段などが必要
である。このような手段を含む処理系は、専用のハード
ウェアとして実現することも、プログラム制御のプロセ
ッサを利用してプログラム処理により実現することも、
専用ハードウェアとプログラム処理との組合せにより実
現することも可能である。そのような処理系は、要素画
像を撮影するためのデジタルカメラなどに内蔵させるこ
とも可能であるし、デジタルカメラなどと独立した外部
装置として実現することも可能である。In order to carry out the present invention, means for estimating the luminance magnification of the element image, means for correcting the luminance of the element image based on the estimated luminance magnification, and pasting the element image after the luminance correction are attached. A means for combining and synthesizing is required. A processing system including such means can be realized as dedicated hardware, or can be realized by program processing using a program-controlled processor,
It can also be realized by a combination of dedicated hardware and program processing. Such a processing system can be built in a digital camera or the like for capturing an element image, or can be realized as an external device independent of the digital camera or the like.
【００１６】プログラム処理による処理系の一例を図１
に示す。図１に示す処理系は、一般的なコンピュータと
同様の構成であり、プログラム制御による各種演算や制
御を行うＣＰＵ１００、本発明の画像処理の各処理ステ
ップの手順を実行するための（換言すれば、各処理ステ
ップのための手段を実現するための）処理プログラム１
２０や制御プログラム１２１などを記憶するためのプロ
グラムメモリ１０１、ＣＰＵ１００のワークエリアなど
として利用されるデータメモリ１０２、ユーザインター
フェースのための画像表示装置１０４とマウスなどのポ
インティングデバイス１０５、フロッピーディスクなど
の情報記録媒体１０７の読み書きのためのドライブ１０
６、補助記憶装置やデジタルカメラ１１０などの外部装
置を接続するための外部インターフェイス部１０８，１
０９などをバス１１１で接続した構成である。FIG. 1 shows an example of a processing system by program processing.
Shown in The processing system shown in FIG. 1 has a configuration similar to that of a general computer, and includes a CPU 100 that performs various calculations and controls under program control, and executes a procedure of each processing step of image processing of the present invention (in other words, Processing program 1 for realizing means for each processing step)
20, a program memory 101 for storing a control program 121, etc., a data memory 102 used as a work area of the CPU 100, an image display device 104 for a user interface, a pointing device 105 such as a mouse, and information such as a floppy disk. Drive 10 for reading and writing of recording medium 107
6. External interface units 108 and 1 for connecting external devices such as an auxiliary storage device and a digital camera 110
09 and the like are connected by a bus 111.
【００１７】本発明の処理を実行するための処理プログ
ラム１２０は、例えば、同処理プログラムが記録された
情報記録媒体１０７よりドライブ１０６を介して、ある
いは外部の補助記憶装置から外部インターフェイス部１
０８を介してプログラムメモリ１０１にロードされる。
要素画像のデータ１２４は、例えば外部インターフェイ
ス部１０９を介してデジタルカメラ１１０から直接的に
データメモリ１０２に読み込まれ、あるいは、外部の補
助記憶装置などに一旦保存され、これが外部インターフ
ェイス部１０８を介してデータメモリ１０２に読み込ま
れる。本発明を実施するための処理系はこれに限らない
が、以下、この処理系を前提にして説明する。The processing program 120 for executing the processing of the present invention may be, for example, an external interface unit 1 from the information recording medium 107 on which the processing program is recorded via the drive 106 or from an external auxiliary storage device.
08 and loaded into the program memory 101.
The element image data 124 is read directly into the data memory 102 from the digital camera 110 via, for example, the external interface unit 109, or temporarily stored in an external auxiliary storage device or the like, and is temporarily stored via the external interface unit 108. The data is read into the data memory 102. The processing system for implementing the present invention is not limited to this, but the following description will be made on the premise of this processing system.
【００１８】図２に、本発明の第１の実施例の処理フロ
ーを示す。ここに示す各処理ステップを図１の処理系に
おいて実行するための処理プログラムは、前述のように
してプログラムメモリ１０１にロードされる。FIG. 2 shows a processing flow of the first embodiment of the present invention. A processing program for executing each processing step shown here in the processing system of FIG. 1 is loaded into the program memory 101 as described above.
【００１９】まず、ステップ２００において、処理対象
の複数の要素画像のデータが前述のようにしてデータメ
モリ１０２に読み込まれる。ここでは、例えば図５に示
すような３枚の要素画像１，２，３が読み込まれるとす
る。要素画像１，２，３は、この順番で、網掛けした部
分をオーバーラップさせて撮影されたものとする。First, in step 200, data of a plurality of element images to be processed are read into the data memory 102 as described above. Here, it is assumed that, for example, three element images 1, 2, 3 as shown in FIG. 5 are read. The element images 1, 2, and 3 are assumed to have been taken in this order with the shaded portions overlapping.
【００２０】次に、ステップ２０１において、要素画像
１，２，３の相対的な位置関係を入力する。この位置関
係の入力は、例えば、図１の処理系のユーザインターフ
ェイス機構を利用して行うことができる。すなわち、要
素画像を画像表示装置１０４の画面に表示し、マウスな
どのポインティングデバイス１０５の操作によって、画
面上で隣り合う要素画像のオーバーラップ部分がほぼ正
しく重なり合うように、すなわち同じ対象物が同じ位置
に来るように、各要素画像の表示位置を調整することに
より、各要素画像の相対的な位置関係を検出して入力す
る。図３はこのようにして位置合わせをした様子を示し
ており、３００は画面、３０１と３０２は例えば要素画
像１と要素画像２に対応する。３０３はポインティング
デバイス１０５の操作によって移動するカーソルであ
る。Next, in step 201, the relative positional relationship between the element images 1, 2, 3 is input. The input of the positional relationship can be performed using, for example, the user interface mechanism of the processing system in FIG. That is, the element images are displayed on the screen of the image display device 104, and by operating the pointing device 105 such as a mouse, overlapping portions of the adjacent element images on the screen almost overlap with each other, that is, the same object is positioned at the same position. The relative position of each element image is detected and input by adjusting the display position of each element image in such a manner as to come to the position. FIG. 3 shows a state where the positioning is performed in this manner, where 300 corresponds to the screen, and 301 and 302 correspond to, for example, the element image 1 and the element image 2. Reference numeral 303 denotes a cursor that is moved by operating the pointing device 105.
【００２１】要素画像の相対的な位置関係が既知の場合
は、その位置関係を利用すればよく、上に述べたような
入力操作は不要である。例えば、図４に示すように、デ
ジタルカメラ４００を回転台４０１に取り付け、一定の
角度ずつ撮影方位を変えながら要素画像を順に撮影し、
要素画像の撮影の順番と回転角度が既知である場合など
である。なお、任意の順番で任意の撮影方位で要素画像
を撮影する場合であっても、要素画像の撮影方位が要素
画像データのヘッダなどに記録されるようにしておき、
要素画像データとともに撮影方位の情報を入力し、その
撮影方位の情報から要素画像の位置関係を算出するよう
にしてもよい。When the relative positional relationship between the element images is known, the positional relationship may be used, and the input operation as described above is unnecessary. For example, as shown in FIG. 4, the digital camera 400 is attached to the turntable 401, and the element images are sequentially photographed while changing the photographing direction by a certain angle,
This is, for example, a case where the order of capturing the element images and the rotation angle are known. Even in the case of capturing an element image in an arbitrary shooting direction in an arbitrary order, the shooting direction of the element image is recorded in a header or the like of the element image data.
Information on the shooting direction may be input together with the element image data, and the positional relationship of the element images may be calculated from the information on the shooting direction.
【００２２】次に、ステップ２０２において、要素画像
の輝度倍率を推定する。図５に示す３枚の要素画像１，
２，３を例にして説明すると、各要素画像のオーバーラ
ップ部分（網掛け部分）の画素値の平均値Ａ１，Ａ２，
Ａ３，Ａ４を計算する。オーバーラップ部分は、要素画
像の相対的位置関係から知ることができる。そして、例
えば要素画像１を基準として、平均値Ａ１，Ａ２，Ａ
３，Ａ４から要素画像１，２，３の輝度倍率を計算す
る。すなわち、基準の要素画像１の輝度倍率を１とする
と、要素画像２の輝度倍率はＡ１／Ａ２、要素画像３の
輝度倍率は（Ａ１／Ａ２）＊（Ａ３／Ａ４）となる。た
だし、この輝度倍率は定数倍の自由度があり、上のよう
にして算出した輝度倍率の最低値が１となるように、す
べての要素画像の輝度倍率をスケーリングしてもよい。Next, in step 202, the luminance magnification of the element image is estimated. The three element images 1 and 2 shown in FIG.
To explain by taking 2 and 3 as an example, the average values A1, A2 and A2 of the pixel values of the overlapping portion (shaded portion) of each element image
A3 and A4 are calculated. The overlap portion can be known from the relative positional relationship between the element images. Then, for example, based on the element image 1, the average values A1, A2, A
The luminance magnification of the element images 1, 2, 3 is calculated from 3, A4. That is, assuming that the luminance magnification of the reference element image 1 is 1, the luminance magnification of the element image 2 is A1 / A2, and the luminance magnification of the element image 3 is (A1 / A2) * (A3 / A4). However, the luminance magnification has a degree of freedom of a constant multiple, and the luminance magnification of all element images may be scaled so that the minimum value of the luminance magnification calculated as described above is 1.
【００２３】隣り合う２枚の要素画像のオーバーラップ
部分には、ほぼ同じ対象が撮影されており、それらの撮
影条件が同じであれば、それらの画素値の平均値（例え
ばＡ１とＡ２）はほぼ同じになるはずである。したがっ
て、それらの平均値の比（Ａ１／Ａ２）は、ほぼ同じ対
象を撮影したデータが、２枚の要素画像データ中でどの
ような値を持っているかを表す、撮影条件の相対的な推
定値である。すなわち、ここで求めた輝度倍率は、基準
として選ばれた要素画像１に対する、各要素画像２，３
の相対的な撮影条件の推定値としての意味を持つ。Approximately the same object is photographed in the overlapping portion of two adjacent element images, and if the photographing conditions are the same, the average value of the pixel values (for example, A1 and A2) is Should be about the same. Therefore, the ratio of the average values (A1 / A2) is a relative estimation of the imaging conditions, which indicates what values of data obtained by capturing substantially the same object in the two element image data. Value. That is, the luminance magnification obtained here is the value of each of the element images 2 and 3 with respect to the element image 1 selected as a reference.
Has a meaning as an estimated value of the relative photographing condition.
【００２４】ところで、要素画像の撮影に用いられるデ
ジタルカメラなどの内部では、一般に、図１０に模式的
に示すように、輝度補正とガンマ補正が行われる。輝度
補正は、通常、光学系の絞り、シャッター、ＣＣＤセン
サの電子シャッターなどにより、光量を制限することに
より行われ、あるいは画像信号のアンプのゲイン調整に
よって等価的な光量制限が行われる。さらに、テレビモ
ニタなど撮影画像を最終的に表示する装置のガンマ特性
に合わせ、通常、１／２程度のガンマ係数でガンマ補正
が行われる。このガンマ補正は、画像信号をＡ／Ｄ変換
前に非線形変換する方法、Ａ／Ｄ変換後の画像データを
テーブル参照によって変換する方法などによって行われ
る。よって、記録される画像データＤと実際の光量との
関係は、 Ｉ＝gamma-1（Ｄ）／Ｋ によって表される。ただし、gamma-1（）はガンマ変換
の逆特性、Ｋは絞りなどによる光量制限の倍率であ。ガ
ンマ変換特性が単純なＤrの形式ならば、画像データＤ
に一定の係数を掛けることで絞りの影響を補正可能であ
る。しかし、ガンマ変換にはニー特性などがあり、画像
データは単純な比例関係にならない。特に、明るい部分
と黒等部分は、通常、ニー特性やつぶれ、飽和などのた
め比例関係から外れやすい。By the way, in a digital camera or the like used for photographing an element image, luminance correction and gamma correction are generally performed as schematically shown in FIG. The luminance correction is usually performed by restricting the light amount by using an aperture of an optical system, a shutter, an electronic shutter of a CCD sensor, or the like, or equivalently by controlling the gain of an image signal amplifier. Further, gamma correction is usually performed with a gamma coefficient of about 1/2 in accordance with the gamma characteristic of a device that finally displays a captured image such as a television monitor. This gamma correction is performed by a method of non-linearly converting an image signal before A / D conversion, a method of converting image data after A / D conversion by referring to a table, or the like. Therefore, the relationship between the recorded image data D and the actual light amount is represented by I = gamma -1 (D) / K. Here, gamma -1 () is the inverse characteristic of the gamma conversion, and K is the magnification for limiting the amount of light by the aperture or the like. If the gamma conversion characteristic is a simple Dr format, the image data D
Can be corrected by multiplying by a constant coefficient. However, gamma conversion has knee characteristics and the like, and image data does not have a simple proportional relationship. In particular, the bright portion and the black portion usually tend to be out of the proportional relationship due to knee characteristics, crushing, saturation and the like.
【００２５】その影響を受けにくくして、より正確に輝
度倍率を推定するため、本実施例では、ステップ２０２
でオーバーラップ部分の画素値の平均値を計算する際
に、一定の範囲に含まれる画素値だけを用いる。要素画
像を２５６階調（８ビット／画素）の画像とすると、例
えば、３２〜２２４の範囲内の画素値がオーバーラップ
部分の画素値の平均値の計算に用いられる。In this embodiment, in order to reduce the influence and to estimate the luminance magnification more accurately, in the present embodiment, step 202 is performed.
When calculating the average value of the pixel values in the overlap portion, only the pixel values included in a certain range are used. Assuming that the element image is an image of 256 gradations (8 bits / pixel), for example, pixel values in the range of 32 to 224 are used for calculating the average value of the pixel values of the overlapped portion.
【００２６】なお、要素画像の撮影時の絞り値、シャッ
タースピード、アンプゲインなど、撮影対象の輝度と画
像データの画素値を関係付ける撮影条件に関する情報が
要素画像データのヘッダなどに記録されている場合に
は、ステップ２０２において、各要素画像の絞り値など
の撮影条件の情報を用いて直接的に輝度倍率を計算する
こともできる。It should be noted that information on photographing conditions, such as the aperture value, shutter speed, and amplifier gain, at the time of photographing the elemental image, which associates the luminance of the photographing object with the pixel value of the image data, is recorded in the header of the elemental image data. In this case, in step 202, the luminance magnification can be directly calculated using the information of the photographing condition such as the aperture value of each element image.
【００２７】輝度倍率が推定されると、その輝度倍率に
基づいて各要素画像の輝度補正を行う。本実施例では、
まず輝度補正のための出力ガンマ特性を設定し（ステッ
プ２０３）、この出力ガンマ特性を用いて各要素画像の
ガンマ変換を行う（ステップ２０４）。When the luminance magnification is estimated, the luminance of each element image is corrected based on the luminance magnification. In this embodiment,
First, output gamma characteristics for luminance correction are set (step 203), and gamma conversion of each element image is performed using the output gamma characteristics (step 204).
【００２８】ステップ２０３においては、推定された輝
度倍率に従って画素値を変換した場合の要素画像の貼り
合わせ合成画像の画素値分布を推定し、その分布に基づ
いて出力ガンマ特性を設定する。In step 203, the pixel value distribution of the composite image obtained by combining the element images when the pixel values are converted according to the estimated luminance magnification is estimated, and the output gamma characteristic is set based on the distribution.
【００２９】具体的には、図５の３枚の要素画像１，
２，３の場合、オーバーラップ部分を除いて、要素画像
１はその画素値をそのまま、合成した時の仮画素値とし
て用い、要素画像２はその画素値に輝度倍率Ａ１／Ａ２
を掛けた値を合成した時の仮画素値として用い、要素画
像３はその画素値に輝度倍率Ａ１／Ａ２＊Ａ３／Ａ４を
掛けた値を仮画素値として用いる。要素画像１と要素画
像２とのオーバーラップ部分については、要素画像１の
各画素の画素値と、それに重なる要素画像２の各画素の
画素値に輝度倍率Ａ１／Ａ２を掛けた値との平均値を仮
画素値として用いる。要素画像２と要素画像３とのオー
バーラップ部分については、要素画像２の各画素の画素
値に輝度倍率Ａ１／Ａ２を掛けた値と、それに重なる要
素画像３の各画素の画素値に輝度倍率Ａ１／Ａ２＊Ａ３
／Ａ４を掛けた値との平均値を仮画素値として用いる。
ただし、２つの要素画像の重なる２画素は１画素として
カウントすることは当然である。このようにして計算し
た全要素画像の仮画素値のヒストグラムを求める。Specifically, the three element images 1 and 1 shown in FIG.
In the case of 2, 3, the pixel value of the element image 1 is used as it is as a temporary pixel value at the time of synthesis except for the overlapped portion, and the pixel value of the element image 2 is represented by the luminance magnification A1 / A2.
Is used as a temporary pixel value when combining, and the element image 3 uses a value obtained by multiplying the pixel value by a luminance magnification A1 / A2 * A3 / A4 as a temporary pixel value. Regarding the overlapping portion between the element image 1 and the element image 2, the average of the pixel value of each pixel of the element image 1 and the value obtained by multiplying the pixel value of each pixel of the element image 2 overlapping the pixel value by the luminance magnification A1 / A2 is obtained. The value is used as a temporary pixel value. As for the overlapping portion between the element image 2 and the element image 3, the value obtained by multiplying the pixel value of each pixel of the element image 2 by the luminance magnification A1 / A2 and the pixel value of each pixel of the element image 3 overlapping the luminance value are added to the luminance magnification. A1 / A2 * A3
The average value with the value multiplied by / A4 is used as the temporary pixel value.
However, it is natural that two pixels overlapping two element images are counted as one pixel. A histogram of temporary pixel values of all element images calculated in this way is obtained.
【００３０】そして、このヒストグラムを用いて、要素
画像の合成のための出力ガンマ特性を設定する。この
際、予め決められたニーポイント、ガンマ係数などを使
用する。例えば、合成画像の階調数を２５６（８ビット
／画素）とした場合、図６に例示するように、ヒストグ
ラムにおいて仮画素値の最大値から１０％の画素が存在
する仮画素値をニーポイントとして、その仮画素値を９
０％の出力階調つまり２３０の出力画素値に割り当て、
ニーポイント以上の領域は線形に２３０〜２５５の出力
画素値の範囲に納め、ニーポイントより下の領域はガン
マ係数０．５の曲線とした出力ガンマ特性を設定する。Then, an output gamma characteristic for synthesizing the element images is set using the histogram. At this time, a predetermined knee point, gamma coefficient and the like are used. For example, assuming that the number of gradations of the composite image is 256 (8 bits / pixel), as shown in FIG. 6, the temporary pixel value in which 10% of the pixels from the maximum temporary pixel value exist in the histogram is the knee point. And the temporary pixel value is 9
0% output gradation, that is, 230 output pixel values,
The region above the knee point is linearly contained in the range of output pixel values of 230 to 255, and the region below the knee point sets an output gamma characteristic as a curve with a gamma coefficient of 0.5.
【００３１】ステップ２０４では、各要素画像の輝度倍
率と設定された出力ガンマ特性から、各要素画像用のガ
ンマ変換テーブルを設定し、各要素画像の画素値のガン
マ変換を実行する。つまり、要素画像の輝度倍率をＡ、
出力ガンマ特性をＧout（）とすると、ガンマ変換テー
ブルの入力ｉｎ(変換前の画素値)に対する出力ｏｕｔ
（変換後の出力画素値）は ｏｕｔ＝Ｇout（Ａ＊ｉｎ） と表される。In step 204, a gamma conversion table for each element image is set from the luminance magnification of each element image and the set output gamma characteristic, and gamma conversion of the pixel value of each element image is executed. That is, the luminance magnification of the element image is A,
Assuming that the output gamma characteristic is Gout (), the output out with respect to the input in (pixel value before conversion) of the gamma conversion table
(Output pixel value after conversion) is expressed as out = Gout (A * in).
【００３２】このようにして輝度補正された要素画像に
ついて、ステップ２０５で高精度に貼り合わせ合成し、
合成画像をデータメモリ１０２上に作成する。この貼り
合わせ合成処理は、前記特願平９−３０３８９３号の明
細書に述べられているような、各要素画像を参照球面に
投影し、座標変換行列を用いて各要素画像を統一された
方位角度座標に変換するような方法や、前記従来技術の
ような適宜の方法で行うことができるので、これ以上の
説明は省略する。In step 205, the element images thus subjected to luminance correction are pasted and synthesized with high accuracy.
A composite image is created on the data memory 102. In this combining process, as described in the specification of Japanese Patent Application No. 9-303893, each element image is projected onto a reference spherical surface, and each element image is unified in an azimuth using a coordinate transformation matrix. Since it can be performed by a method of converting into angular coordinates or an appropriate method as in the above-described conventional technique, further description is omitted.
【００３３】作成された合成画像は、輝度変換特性の良
否の判断をオペレータに求めるため画像表示装置１０４
の画面に表示される（ステップ２０６）。オペレータが
肯定の判断を例えばポインティングデバイス１０５の操
作により入力した時には、合成画像は例えば外部インタ
ーフェイス部１０８を介して外部の補助記憶装置などに
出力され（ステップ２０７）、全体の処理が終了する。The created composite image is displayed on the image display device 104 in order to ask the operator to judge whether the luminance conversion characteristic is good or not.
(Step 206). When the operator inputs a positive determination, for example, by operating the pointing device 105, the composite image is output to, for example, an external auxiliary storage device via the external interface unit 108 (step 207), and the entire process ends.
【００３４】オペレータより否定の判断が入力された時
には、輝度補正の修正モードに入る。この修正モードは
本実施例ではモード（１）とモード（２）を選択でき
る。モード（１）が選択された場合、ステップ２０４で
前回用いられた出力ガンマ特性（図６参照）が画像表示
装置１０４の画面に表示され（ステップ２０８）、ユー
ザは画面上でポインティングデバイス１０５の操作によ
り出力ガンマ特性を直接的に修正することができる（ス
テップ２０９）。この修正が終わると、修正後の出力ガ
ンマ特性によるガンマ変換（ステップ２０４）、貼り合
わせ合成（ステップ２０５）、合成画像の表示（ステッ
プ２０６）が順に再実行される。この修正のループは必
要なだけ繰り返すことができる。When a negative judgment is input by the operator, the mode enters a correction mode for luminance correction. In this embodiment, a mode (1) and a mode (2) can be selected as the correction mode. When the mode (1) is selected, the output gamma characteristic (see FIG. 6) used last time is displayed on the screen of the image display device 104 in step 204 (step 208), and the user operates the pointing device 105 on the screen. Can directly modify the output gamma characteristic (step 209). When this correction is completed, the gamma conversion (step 204), the combining and synthesizing (step 205), and the display of the synthesized image (step 206) based on the corrected output gamma characteristic are sequentially executed again. This modification loop can be repeated as often as necessary.
【００３５】修正のモード（２）が選択された場合、オ
ペレータはポインティングデバイス１０５の操作によ
り、画面上で輝度補正の基準にしたい任意の要素画像を
指定することができる（ステップ２１０）。そうする
と、ステップ２０２で推定された輝度倍率から、ここで
指定された要素画像を基準とした輝度倍率が再計算され
る（ステップ２１１）。すなわち、例えば図５の要素画
像２が指定された場合、要素画像１と要素画像３の輝度
倍率（それぞれ１，Ａ１／Ａ２＊Ａ３／Ａ４）を要素画
像２の輝度倍率（Ａ１／Ａ２）で割り算することによっ
て、それぞれの輝度倍率が求められる。基準となった要
素画像２の輝度倍率は１とする。そして、再計算された
輝度倍率を用いて、ステップ２０３と同様にして出力ガ
ンマ特性が再設定される（ステップ２１２）。ただし、
合成画像の階調数を２５６とした場合、２５６以上の仮
画素値の出力画素値を２５５に飽和させるように出力ガ
ンマ特性が設定される。この再設定が終わると、再設定
された出力ガンマ特性によるガンマ変換（ステップ２０
４）、貼り合わせ合成（ステップ２０５）、合成画像の
表示（ステップ２０６）が順に再実行される。この修正
のループは必要なだけ繰り返すことができる。なお、最
初の合成処理（ステップ２０５）の前に任意の要素画像
を基準画像として指定できるようにし、その指定がなさ
れた場合には、指定された要素画像を基準画像として輝
度倍率の再計算を行わせ、しかる後に貼り合わせ合成と
表示（ステップ２０５，２０６）を行わせるようにして
もよい。When the correction mode (2) is selected, the operator can specify an arbitrary element image to be used as a reference for luminance correction on the screen by operating the pointing device 105 (step 210). Then, the luminance magnification based on the element image designated here is recalculated from the luminance magnification estimated in step 202 (step 211). That is, for example, when the element image 2 in FIG. 5 is designated, the luminance magnification of the element image 1 and the element image 3 (1, A1 / A2 * A3 / A4, respectively) is calculated by the luminance magnification of the element image 2 (A1 / A2). By dividing, each luminance magnification is obtained. The brightness magnification of the reference element image 2 is 1. Then, the output gamma characteristic is reset using the recalculated luminance magnification in the same manner as in step 203 (step 212). However,
When the number of tones of the composite image is 256, the output gamma characteristic is set so that the output pixel value of the temporary pixel value of 256 or more is saturated to 255. When the resetting is completed, gamma conversion based on the reset output gamma characteristic (step 20)
4), pasting and combining (step 205), and displaying of the combined image (step 206) are sequentially executed again. This modification loop can be repeated as often as necessary. An arbitrary element image can be designated as a reference image before the first synthesizing process (step 205). After that, the combination and display (steps 205 and 206) may be performed.
【００３６】図７及び図８に、本発明の第２の実施例の
処理フローを示す。ここに示す各処理ステップを図１の
処理系において実行するための処理プログラムは、前述
のようにしてプログラムメモリ１０１にロードされる。FIGS. 7 and 8 show the processing flow of the second embodiment of the present invention. A processing program for executing each processing step shown here in the processing system of FIG. 1 is loaded into the program memory 101 as described above.
【００３７】本実施例は、図９に示すように、複数の要
素画像を貼り合わせ、一度に表示できないような大きな
合成画像９００（パノラマ画像など）を作成して保存し
ておき、この合成画像の任意に指定される表示領域９０
１の画像を表示させるものである。In the present embodiment, as shown in FIG. 9, a plurality of element images are pasted together, and a large composite image 900 (such as a panoramic image) that cannot be displayed at a time is created and stored. Arbitrarily designated display area 90
One image is displayed.
【００３８】図７は、要素画像から合成画像を作成して
保存するための処理フローを示す。処理の流れを述べる
と、要素画像が入力され（ステップ７００）、入力され
た要素画像の相対的な位置関係が入力され（ステップ７
０１）、要素画像の輝度倍率が推定され（ステップ７０
２）、輝度倍率に基づいて出力ガンマ特性が設定され
（ステップ７０３）、出力ガンマ特性と輝度倍率に基づ
いて要素画像の画素値がガンマ変換され（ステップ７０
４）、ガンマ変換後の要素画像が貼り合わせ合成され
（ステップ７０５）、生成された合成画像が補助記憶装
置などに保存される（ステップ７０７）。これらの処理
ステップ７００，７０１，７０３，７０４，７０５，７
０７の処理内容は、図２中の対応した処理ステップ２０
０，２０１，２０２，２０３，２０４，２０５，２０７
と同様である。FIG. 7 shows a processing flow for creating and storing a composite image from elemental images. Describing the process flow, an element image is input (step 700), and the relative positional relationship of the input element image is input (step 7).
01), the luminance magnification of the element image is estimated (step 70)
2) An output gamma characteristic is set based on the luminance magnification (step 703), and the pixel value of the element image is gamma-converted based on the output gamma characteristic and the luminance magnification (step 70).
4) The element images after gamma conversion are combined and combined (step 705), and the generated combined image is stored in an auxiliary storage device or the like (step 707). These processing steps 700, 701, 703, 704, 705, 7
07 corresponds to the corresponding processing step 20 in FIG.
0, 201, 202, 203, 204, 205, 207
Is the same as
【００３９】ただし、階調のつぶれを避けるため、ステ
ップ７０２では輝度倍率の最低値を１とするように、必
要に応じ前述のようにして推定された輝度倍率をスケー
リングし、また、ステップ７０３では出力画素値の階調
数を要素画像の階調数より十分に大きくなるように（例
えば、要素画像が８ビット／画素の場合に、ガンマ変換
後の画像が１６ビット／画素となるように）出力ガンマ
特性を設定し、ステップ７０５では、その大きい階調数
の合成画像を生成する。However, in order to avoid the collapse of the gradation, in step 702, the luminance magnification estimated as described above is scaled as necessary so that the minimum value of the luminance magnification is 1, and in step 703, The gradation number of the output pixel value is set to be sufficiently larger than the gradation number of the element image (for example, when the element image is 8 bits / pixel, the image after gamma conversion is 16 bits / pixel). An output gamma characteristic is set, and in step 705, a composite image having the large number of tones is generated.
【００４０】図８は、以上のようにして作成され保存さ
れた合成画像を部分的に表示するための処理フローを示
す。まず、ステップ７０８で、外部の補助記憶装置など
から保存されている合成画像（要素画像ごとの撮影条件
の違いに対する輝度補正は済んでいる）がデータメモリ
１０２に読み込まれる。次にステップ７０９において、
オペレータによりポインティングデバイス１０５の操作
などによって視野と方位が指示され、見たい表示領域が
指定される（ステップ７０９）。FIG. 8 shows a processing flow for partially displaying the composite image created and stored as described above. First, in step 708, the composite image (the luminance correction for the difference in the imaging conditions for each element image has been completed) stored from an external auxiliary storage device or the like is read into the data memory 102. Next, in step 709,
The operator instructs the visual field and the azimuth by operating the pointing device 105 or the like, and specifies a display area to be viewed (step 709).
【００４１】合成画像は、その要素画像の撮影条件の違
いに対する輝度補正がなされているが、要素画像の元の
階調数より大きな階調数の画像であり、指定された表示
領域をそのまま切り出して表示したのでは、要素画像と
は明るさが異なった不自然な画像となってしまう。そこ
で、表示領域が指定されると、まずステップ７１０で合
成画像の表示領域内の画素値分布が計算される。ステッ
プ７１１で、前ステップ７１０で求められた分布に基づ
いて、ステップ７０３における出力ガンマ特性の設定と
同様の方法によって、表示用のガンマ特性（ただし要素
画像と同じ階調数、例えば２５６、つまり８ビット／画
素のためのガンマ特性）が設定される。そして、ステッ
プ７１２において、表示ガンマ特性を用いて、合成画像
から切り出された表示領域の画像の画素値がガンマ変換
されて、要素画像と同じ階調数の表示画像が作成され、
これがステップ７１３で画面表示装置１０４の画面に表
示される。オペレータがポインティングデバイス１０５
などによって終了を指示するまで、ステップ７０９〜ス
テップ７１３の処理を繰り返し、合成画像の様々な部分
を表示させることができる。なお、表示画像の階調数
は、一般的には、合成画像の階調数より小さな任意の階
調数に選ぶことが可能である。Although the composite image has been subjected to luminance correction for the difference in the photographing conditions of the element image, it is an image having a larger number of gradations than the original number of gradations of the element image, and the specified display area is cut out as it is. When displayed as an image, an unnatural image having a brightness different from that of the element image is obtained. Therefore, when the display area is designated, first, in step 710, the pixel value distribution in the display area of the composite image is calculated. In step 711, based on the distribution obtained in the previous step 710, a gamma characteristic for display (however, the same number of gradations as the elemental image, for example, 256, ie, 8 Gamma characteristic for bits / pixel) is set. Then, in step 712, the pixel value of the image in the display area cut out from the composite image is gamma-converted using the display gamma characteristic, and a display image having the same number of gradations as the element image is created.
This is displayed on the screen of the screen display device 104 in step 713. The operator operates the pointing device 105
Until the termination is instructed by, for example, the processing of steps 709 to 713 can be repeated to display various parts of the composite image. Note that the number of tones of the display image can be generally selected to be an arbitrary number of tones smaller than the number of tones of the composite image.
【００４２】なお、前記各実施例において、要素画像が
カラー画像の場合、Ｒ，Ｇ，Ｂ各色の輝度（画素値）を
補正すればよい。ただし、デジタルカメラなどの自動ホ
ワイトバランス補正機構を作用させて要素画像を撮影し
た場合には、要素画像ごとにＲ，Ｇ，Ｂのバランスが変
化している可能性が高いので、輝度補正前後のホワイト
バランスの変化を防ぐため、Ｒ，Ｇ，Ｂ各色別に輝度倍
率の推定（ステップ２０２，７０２），輝度倍率の再計
算（ステップ２１１）、出力ガンマ特性の決定（ステッ
プ２０３，２１２，７０３）を行うのがよい。他方、自
動ホワイトバランス補正機構を作用させずに要素画像を
撮影した場合には、Ｒ，Ｇ，Ｂのバランスは固定してい
るから、ホワイトバランスを変化させないために、Ｇ画
像に関して輝度倍率の推定や再計算、出力ガンマ特性の
決定を行い、この出力ガンマ特性と輝度倍率をＲ，Ｇ，
Ｂ各色のガンマ変換に用いるのがよい。In each of the above embodiments, when the elemental image is a color image, the luminance (pixel value) of each of the R, G, and B colors may be corrected. However, when an element image is photographed by operating an automatic white balance correction mechanism such as a digital camera, there is a high possibility that the R, G, and B balances have changed for each element image. In order to prevent a change in white balance, estimation of luminance magnification for each of R, G, and B colors (steps 202 and 702), recalculation of luminance magnification (step 211), and determination of output gamma characteristics (steps 203, 212 and 703) Good to do. On the other hand, when the element image is taken without operating the automatic white balance correction mechanism, since the balance of R, G, and B is fixed, the luminance magnification is estimated for the G image in order to keep the white balance unchanged. And recalculation and the output gamma characteristic are determined, and the output gamma characteristic and the luminance magnification are set to R, G,
It is good to use for gamma conversion of each B color.
【００４３】[0043]
【発明の効果】以上の説明から明らかなように、本発明
によれば次のような効果を得られる。As is apparent from the above description, the following effects can be obtained according to the present invention.
【００４４】（１）請求項１乃至８の各項記載の発明の
画像処理方法によれば、貼り合わせ合成の前に要素画像
の輝度倍率を推定して輝度補正を施すことにより、要素
画像の撮影条件の違いがあっても、明るさや色のむらの
少ない合成画像を作成できる。(1) According to the image processing method of the invention described in each of the first to eighth aspects, the luminance correction of the element image is performed by estimating the luminance magnification of the element image before combining and combining. Even if there is a difference in shooting conditions, a composite image with less unevenness in brightness and color can be created.
【００４５】（２）請求項２記載の発明の画像処理方法
によれば、各要素画像の撮影時の絞り値、シャッタース
ピード、アンプゲインなど、撮影条件が分かっていない
場合にも、要素画像のオーバーラップ部分の画素値の平
均値から輝度倍率を推定し、適切な輝度補正を行うこと
ができる。(2) According to the image processing method of the second aspect of the present invention, even when the photographing conditions such as the aperture value, shutter speed, and amplifier gain at the time of photographing each elemental image are not known, the image processing of the elemental image can be performed. The luminance magnification can be estimated from the average value of the pixel values in the overlap portion, and appropriate luminance correction can be performed.
【００４６】（３）請求項３記載の発明の画像処理方法
によれば、オーバーラップ部分の画素値の平均値を求め
る際に、一定範囲内の画素値だけを用いることにより、
要素画像の撮影に用いられたデジタルカメラなどで施さ
れるガンマ変換の影響を受けにくくし、より正確な輝度
倍率の推定が可能になる。(3) According to the image processing method of the third aspect of the present invention, when calculating the average value of the pixel values of the overlap portion, only the pixel values within a certain range are used.
This makes it less susceptible to the effects of gamma conversion performed by a digital camera or the like used for capturing an element image, and enables more accurate estimation of the luminance magnification.
【００４７】（４）請求項４記載の発明の画像処理方法
によれば、要素画像データとともに撮影時の絞り値、シ
ャッタースピード、アンプゲインなど、撮影対象の輝度
と画像データの画素値を関係付ける撮影条件に関する情
報が記録されるデジタルカメラなどが用いられた場合に
は、その絞り値などの撮影条件の情報を利用することに
より輝度倍率推定の処理を簡略化でき、また正確な推定
が可能になる。(4) According to the image processing method of the invention, the luminance of the object to be photographed and the pixel value of the image data such as the aperture value, shutter speed and amplifier gain at the time of photographing are associated with the elemental image data. When a digital camera or the like that records information about the shooting conditions is used, the processing of the brightness magnification estimation can be simplified by using the information of the shooting conditions such as the aperture value, and accurate estimation becomes possible. Become.
【００４８】（５）請求項５記載の発明の画像処理方法
によれば、輝度倍率に従って画素値を変換した場合の貼
り合わせ合成画像の画素値分布に基づいて輝度補正特性
を決定することにより、的確な輝度補正が可能になる。(5) According to the image processing method of the fifth aspect of the invention, the luminance correction characteristic is determined based on the pixel value distribution of the combined image when the pixel value is converted according to the luminance magnification. Accurate luminance correction becomes possible.
【００４９】（６）請求項６又は７記載の発明の画像処
理方法によれば、人が必要に応じて基準画像を任意に指
定することにより合成画像の輝度補正の適否を確認して
必要な輝度補正の修正が可能であり、より高品質の、ま
たは好ましい品質の合成画像を作成することができる。(6) According to the image processing method of the invention described in claim 6 or 7, a person can arbitrarily designate a reference image as necessary to confirm whether or not the luminance correction of the composite image is appropriate. Correction of the brightness correction is possible, and a higher quality or preferable quality composite image can be created.
【００５０】（７）請求項８記載の発明の画像処理方法
によれば、要素画像の撮影条件のちがいによる明るさや
色のむらが少なく、また階調のつぶれの少ないパノラマ
画像などの大きな画像を合成し、その任意の領域を高品
質な画像として表示することができる。(7) According to the image processing method of the present invention, a large image such as a panoramic image with less brightness and color unevenness due to the difference in the photographing conditions of the elemental image and with less loss of gradation is synthesized. Then, the arbitrary area can be displayed as a high-quality image.
【００５１】（８）請求項９記載の発明の画像処理装置
によれば、上記（１）乃至（７）に述べたような効果を
有する画像処理方法に従って、明るさや色のむらの少な
い高品質な合成画像を作成し、また表示することができ
る。(8) According to the image processing apparatus of the ninth aspect, according to the image processing method having the effects as described in the above (1) to (7), high-quality images with little unevenness in brightness and color are obtained. A composite image can be created and displayed.
【００５２】（９）請求項１０記載の発明の情報記録媒
体によれば、上記（１）乃至（７）に述べたような利点
を有する画像処理方法をコンピュータを利用して実施す
ることができる。(9) According to the information recording medium of the invention described in claim 10, the image processing method having the advantages described in the above (1) to (7) can be implemented using a computer. .
【図１】本発明をプログラム処理によって実施するため
の処理系の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of a processing system for implementing the present invention by program processing.
【図２】本発明の第１の実施例における処理フローを示
すフローチャートである。FIG. 2 is a flowchart showing a processing flow in the first embodiment of the present invention.
【図３】要素画像の相対的な位置関係の入力方法を説明
するための図である。FIG. 3 is a diagram for explaining a method of inputting a relative positional relationship between element images.
【図４】要素画像を一定の相対的位置関係で撮影する方
法の一例を説明するための図である。FIG. 4 is a diagram for explaining an example of a method of capturing an element image with a fixed relative positional relationship.
【図５】要素画像のオーバーラップ部分の画素値の平均
値から輝度倍率を推定する方法を説明するための図であ
る。FIG. 5 is a diagram for explaining a method of estimating a luminance magnification from an average value of pixel values of an overlapping portion of an element image.
【図６】画素値のヒストグラムと出力ガンマ特性を関連
付けて示す図である。FIG. 6 is a diagram showing a histogram of pixel values and an output gamma characteristic in association with each other.
【図７】本発明の第２の実施例において要素画像の入力
から合成画像の保存までの処理フローを示すフローチャ
ートである。FIG. 7 is a flowchart showing a processing flow from input of an element image to storage of a composite image in the second embodiment of the present invention.
【図８】本発明の第２の実施例において合成画像の任意
の領域を表示させるための処理フローを示すフローチャ
ートである。FIG. 8 is a flowchart showing a processing flow for displaying an arbitrary area of a composite image in the second embodiment of the present invention.
【図９】本発明の第２の実施例における合成画像と表示
領域の関係を示す図である。FIG. 9 is a diagram illustrating a relationship between a composite image and a display area according to a second embodiment of the present invention.
【図１０】デジタルカメラなどの内部における信号処理
の説明図である。FIG. 10 is an explanatory diagram of signal processing inside a digital camera or the like.
１００ ＣＰＵ １０１ プログラムメモリ １０２ データメモリ １０４ 画像表示装置 １０５ ポインティングデバイス １０６ 情報記録媒体のドライブ １０７ 情報記録媒体 １０８，１０９ 外部インターフェイス部 １１０ デジタルカメラ REFERENCE SIGNS LIST 100 CPU 101 program memory 102 data memory 104 image display device 105 pointing device 106 drive of information recording medium 107 information recording medium 108, 109 external interface unit 110 digital camera
Claims (10)
のが部分的にオーバーラップするように撮影された複数
の要素画像に関し、基準に選ばれた要素画像に対する他
の要素画像の輝度倍率を推定し、推定された輝度倍率に
基づいて各要素画像に輝度補正を施し、輝度補正後の要
素画像を貼り合わせ合成することを特徴とする画像処理
方法。1. A method of estimating a luminance magnification of another element image with respect to an element image selected as a reference for a plurality of element images photographed so that adjacent ones partially overlap with each other using a digital camera or the like. An image processing method for performing luminance correction on each element image based on the estimated luminance magnification, and pasting and combining the element images after the luminance correction.
各要素画像のオーバーラップ部分の画素値の平均値から
輝度倍率を推定することを特徴とする画像処理方法。2. The image processing method according to claim 1, wherein
An image processing method characterized by estimating a luminance magnification from an average value of pixel values of an overlap portion of each element image.
予め決められた一定範囲内の画素値だけを用いてオーバ
ーラップ部分の画素値の平均値を計算することを特徴と
する画像処理方法。3. The image processing method according to claim 2, wherein
An image processing method comprising calculating an average value of pixel values of an overlap portion using only pixel values within a predetermined range.
各要素画像に付加されている絞り値などの撮影条件に関
する情報から輝度倍率を推定することを特徴とする画像
処理方法。4. The image processing method according to claim 1, wherein
An image processing method comprising: estimating a luminance magnification from information about a shooting condition such as an aperture value added to each element image.
推定された輝度倍率に従って画素値を変換した場合の要
素画像の貼り合わせ合成画像の画素値分布を推定し、そ
の分布に基づいて輝度変換特性を決定し、この輝度変換
特性と輝度倍率を用いて各要素画像の画素値を変換する
ことにより各要素画像の輝度補正を行うことを特徴とす
る画像処理方法。5. The image processing method according to claim 1, wherein
Estimate the pixel value distribution of the combined image of the element images when the pixel values are converted according to the estimated luminance magnification, determine the luminance conversion characteristic based on the distribution, and use the luminance conversion characteristic and the luminance magnification. An image processing method, wherein a luminance value of each element image is corrected by converting a pixel value of each element image.
像処理方法において任意の要素画像が基準として指定さ
れた場合に、指定された要素画像を基準とした輝度倍率
を、推定された輝度倍率から算出し、算出された輝度倍
率に基づいて再び要素画像を輝度補正してから貼り合わ
せ合成することを特徴とする画像処理方法。6. An image processing method according to claim 1, wherein when an arbitrary element image is specified as a reference, the luminance magnification based on the specified element image is estimated. An image processing method comprising calculating from a luminance magnification, correcting the luminance of an element image again based on the calculated luminance magnification, and then combining and combining the element images.
要素画像の貼り合わせ合成後に輝度変換特性が修正され
た場合に、修正後の輝度変換特性を用いて再び要素画像
を輝度補正してから貼り合わせ合成することを特徴とす
る画像処理方法。7. The image processing method according to claim 5, wherein
An image processing method comprising: when a luminance conversion characteristic is corrected after combining and synthesizing element images, correcting the luminance of the element image again using the corrected luminance conversion characteristic, and then synthesizing the image.
のが部分的にオーバーラップするように撮影された複数
の要素画像に関し、基準に選ばれた要素画像に対する他
の要素画像の輝度倍率を推定し、推定された輝度倍率に
基づいて要素画像を輝度補正してから貼り合わせ合成す
ることにより、要素画像の元の階調数より大きな階調数
を持つ合成画像を作成し、この合成画像の任意に指定さ
れる範囲の画素値の分布を求め、この分布に基づいて合
成画像の指定範囲の画像を合成画像より階調数の少ない
画像に変換し表示することを特徴とする画像処理方法。8. Estimating the luminance magnification of another element image with respect to an element image selected as a criterion for a plurality of element images photographed so that adjacent ones partially overlap using a digital camera or the like. By correcting the luminance of the elemental image based on the estimated luminance magnification and then combining the elementary image, a composite image having a number of gradations larger than the original number of gradations of the elemental image is created. An image processing method comprising: obtaining a distribution of pixel values in a range specified in (1), converting an image in a specified range of the composite image into an image having a smaller number of tones than the composite image based on the distribution, and displaying the converted image.
像処理方法の各処理を実行するための手段を具備する画
像処理装置。9. An image processing apparatus comprising means for executing each processing of the image processing method according to claim 1. Description:
画像処理方法の処理手順をコンピュータに実行させるた
めのプログラムが記録された機械読み取り可能な情報記
録媒体。10. A machine-readable information recording medium on which a program for causing a computer to execute the processing procedure of the image processing method according to claim 1 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10045238A JPH11242737A (en) | 1998-02-26 | 1998-02-26 | Method for processing picture and device therefor and information recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10045238A JPH11242737A (en) | 1998-02-26 | 1998-02-26 | Method for processing picture and device therefor and information recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11242737A true JPH11242737A (en) | 1999-09-07 |
Family
ID=12713687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10045238A Pending JPH11242737A (en) | 1998-02-26 | 1998-02-26 | Method for processing picture and device therefor and information recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11242737A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004057531A1 (en) * | 2002-12-20 | 2004-07-08 | Jicoux Datasystems, Inc. | Image synthesizer and program |
| JP2004242048A (en) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | Wide-view angle and high resolution image photographing apparatus |
| US6943829B2 (en) | 2001-02-23 | 2005-09-13 | Canon Kabushiki Kaisha | Imaging apparatus controller and control method thereof, image processing apparatus and method thereof, and program code and storage medium |
| JP2005303972A (en) * | 2004-03-18 | 2005-10-27 | Mega Vision Corp | Processing apparatus and computer program for adjusting gamma value |
| JP2005537545A (en) * | 2002-08-28 | 2005-12-08 | ビーエーイー システムズ エアクラフト コントロールズ，インコーポレイティド | Image fusion system and method |
| JP2008263314A (en) * | 2007-04-10 | 2008-10-30 | Sony Corp | Imaging device and imaging method |
| JP2008263316A (en) * | 2007-04-10 | 2008-10-30 | Sony Corp | Imaging device and imaging method |
| JP2008263315A (en) * | 2007-04-10 | 2008-10-30 | Sony Corp | Imaging device and imaging method |
| WO2009051062A1 (en) * | 2007-10-15 | 2009-04-23 | Nippon Telegraph And Telephone Corporation | Image generation method, device, its program and recording medium stored with program |
| US7535499B2 (en) | 2004-07-28 | 2009-05-19 | Panasonic Corporation | Panorama image synthesis method, object detection method, panorama image synthesis system, image shooting apparatus, and panorama image synthesis program |
| JPWO2008072337A1 (en) * | 2006-12-15 | 2010-03-25 | リーダー電子株式会社 | Relative exposure measurement apparatus and method |
| US8346019B2 (en) | 2007-10-15 | 2013-01-01 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| JP2013029995A (en) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | Imaging system |
| JP2013175023A (en) * | 2012-02-24 | 2013-09-05 | Mitsubishi Electric Corp | Image positioning device and image positioning method |
| US9635286B2 (en) | 2014-11-06 | 2017-04-25 | Ricoh Company, Ltd. | Image processing apparatus and method for image processing |
| JP2020533701A (en) * | 2017-09-13 | 2020-11-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Camera and image calibration to identify the subject |
| JP7066082B1 (en) * | 2021-11-10 | 2022-05-12 | 三菱電機株式会社 | Information processing equipment, information processing methods, and information processing programs |
| WO2023119420A1 (en) * | 2021-12-21 | 2023-06-29 | 株式会社ソシオネクスト | Image processing device, image processing method, and image processing program |
-
1998
- 1998-02-26 JP JP10045238A patent/JPH11242737A/en active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6943829B2 (en) | 2001-02-23 | 2005-09-13 | Canon Kabushiki Kaisha | Imaging apparatus controller and control method thereof, image processing apparatus and method thereof, and program code and storage medium |
| JP2005537545A (en) * | 2002-08-28 | 2005-12-08 | ビーエーイー システムズ エアクラフト コントロールズ，インコーポレイティド | Image fusion system and method |
| WO2004057531A1 (en) * | 2002-12-20 | 2004-07-08 | Jicoux Datasystems, Inc. | Image synthesizer and program |
| JP2004242048A (en) * | 2003-02-06 | 2004-08-26 | Hitachi Ltd | Wide-view angle and high resolution image photographing apparatus |
| JP2005303972A (en) * | 2004-03-18 | 2005-10-27 | Mega Vision Corp | Processing apparatus and computer program for adjusting gamma value |
| KR101027992B1 (en) * | 2004-03-18 | 2011-04-13 | 메가 비전 코퍼레이션 | Processing apparatus and recording medium storing computer program for adjusting gamma value |
| US7535499B2 (en) | 2004-07-28 | 2009-05-19 | Panasonic Corporation | Panorama image synthesis method, object detection method, panorama image synthesis system, image shooting apparatus, and panorama image synthesis program |
| JPWO2008072337A1 (en) * | 2006-12-15 | 2010-03-25 | リーダー電子株式会社 | Relative exposure measurement apparatus and method |
| JP2008263314A (en) * | 2007-04-10 | 2008-10-30 | Sony Corp | Imaging device and imaging method |
| JP2008263316A (en) * | 2007-04-10 | 2008-10-30 | Sony Corp | Imaging device and imaging method |
| JP2008263315A (en) * | 2007-04-10 | 2008-10-30 | Sony Corp | Imaging device and imaging method |
| JPWO2009051062A1 (en) * | 2007-10-15 | 2011-03-03 | 日本電信電話株式会社 | Image generating method, apparatus, program thereof, and recording medium recording program |
| JP4578566B2 (en) * | 2007-10-15 | 2010-11-10 | 日本電信電話株式会社 | Image generating method, apparatus, program thereof, and recording medium recording program |
| WO2009051062A1 (en) * | 2007-10-15 | 2009-04-23 | Nippon Telegraph And Telephone Corporation | Image generation method, device, its program and recording medium stored with program |
| KR101136506B1 (en) | 2007-10-15 | 2012-04-17 | 니폰덴신뎅와 가부시키가이샤 | Image generation method, device, its program and recording medium stored with program |
| US8346019B2 (en) | 2007-10-15 | 2013-01-01 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| US8355596B2 (en) | 2007-10-15 | 2013-01-15 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| JP2013029995A (en) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | Imaging system |
| JP2013175023A (en) * | 2012-02-24 | 2013-09-05 | Mitsubishi Electric Corp | Image positioning device and image positioning method |
| US9635286B2 (en) | 2014-11-06 | 2017-04-25 | Ricoh Company, Ltd. | Image processing apparatus and method for image processing |
| JP2020533701A (en) * | 2017-09-13 | 2020-11-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Camera and image calibration to identify the subject |
| JP7066082B1 (en) * | 2021-11-10 | 2022-05-12 | 三菱電機株式会社 | Information processing equipment, information processing methods, and information processing programs |
| WO2023084644A1 (en) * | 2021-11-10 | 2023-05-19 | 三菱電機株式会社 | Information processing device, information processing method, and information processing program |
| WO2023119420A1 (en) * | 2021-12-21 | 2023-06-29 | 株式会社ソシオネクスト | Image processing device, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6995790B2 (en) | Image processing apparatus for joining a plurality of images | |
| JP5713752B2 (en) | Image processing apparatus and control method thereof | |
| JPH11242737A (en) | Method for processing picture and device therefor and information recording medium | |
| JP5408053B2 (en) | Image processing apparatus and image processing method | |
| JP5672796B2 (en) | Image processing apparatus and image processing method | |
| JP5300756B2 (en) | Imaging apparatus and image processing method | |
| JP4345940B2 (en) | Camera shake image correction method, recording medium, and imaging apparatus | |
| US9118844B2 (en) | Imaging apparatus, image processing apparatus, and imaging method for providing a special effect superimposing still image data on moving image data | |
| JP5126344B2 (en) | Imaging apparatus, imaging method, and program | |
| US8369654B2 (en) | Developing apparatus, developing method and computer program for developing processing for an undeveloped image | |
| JP6624889B2 (en) | Video processing apparatus, video processing method, and video processing program | |
| JP6648914B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH0646448A (en) | Image processing method/device | |
| WO2019026746A1 (en) | Image processing device and method, imaging device,, and program | |
| JP2004015205A (en) | Multi-projection system and correction data acquisition method in multi-projection system | |
| JP3984346B2 (en) | Imaging apparatus and image composition method | |
| JP2009282860A (en) | Developing processor and development processing method for undeveloped image data, and computer program for development processing | |
| JP2007334558A (en) | Image processor, method, and program | |
| JP3937924B2 (en) | Imaging apparatus and control method thereof | |
| JP3503655B2 (en) | Image synthesis device | |
| JP6210772B2 (en) | Information processing apparatus, imaging apparatus, control method, and program | |
| JP2001268345A (en) | Image synthesizing device | |
| JP2000013675A (en) | Digital camera | |
| US20040155972A1 (en) | Signal processing method, a signal processor circuit, and imaging apparatus | |
| JP5109804B2 (en) | Development processing apparatus for undeveloped image data, development processing method, and computer program for development processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060412 |