JP7247501B2 - Image processing device and program - Google Patents

Image processing device and program Download PDF

Info

Publication number
JP7247501B2
JP7247501B2 JP2018177197A JP2018177197A JP7247501B2 JP 7247501 B2 JP7247501 B2 JP 7247501B2 JP 2018177197 A JP2018177197 A JP 2018177197A JP 2018177197 A JP2018177197 A JP 2018177197A JP 7247501 B2 JP7247501 B2 JP 7247501B2
Authority
JP
Japan
Prior art keywords
image
brightness
light
irradiating
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018177197A
Other languages
Japanese (ja)
Other versions
JP2020047186A (en
Inventor
慎也 宮森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018177197A priority Critical patent/JP7247501B2/en
Priority to US16/286,620 priority patent/US11042972B2/en
Publication of JP2020047186A publication Critical patent/JP2020047186A/en
Application granted granted Critical
Publication of JP7247501B2 publication Critical patent/JP7247501B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置およびプログラムに関する。 The present invention relates to an image processing device and program.

下記特許文献１には、被写体に向けてフラッシュ光を発光するストロボ装置と、カメラのレリーズ操作に応じて、フラッシュ光を発光させないで撮影した第１画像とフラッシュ光を発光させて撮影した第２画像とを連続して取得する撮像装置と、第1画像と第２画像を比較し、相関の無い画像部分を検出する画像相関検出回路と、第２画像から相関の無い画像部分を切り取り、第１画像から相関の無い画像部分を除去し、除去したところに第２画像から切り取った画像部分を嵌め込んで第３画像を生成する補正画像生成回路と、を備えるデジタルカメラが開示されている。 Patent Document 1 below discloses a strobe device that emits flash light toward a subject, and a first image that is captured without flash light and a second image that is captured with flash light in response to the release operation of the camera. an imaging device that continuously acquires images; an image correlation detection circuit that compares the first image and the second image and detects an image portion having no correlation; A digital camera is disclosed that includes a corrected image generation circuit that removes uncorrelated image portions from one image and inserts image portions cut from a second image into the removed portions to generate a third image.

特開２０１０－７４６９３号公報JP 2010-74693 A

本発明の目的は、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能な画像処理装置およびプログラムを提供することである。 An object of the present invention is to reduce the influence caused by irradiating light from a light irradiating means as compared with an image obtained by simply irradiating an object with light from a light irradiating means and photographing it only once. An object of the present invention is to provide an image processing device and a program capable of obtaining an image.

請求項１に係る本発明は、
同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付ける受付手段と、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する生成手段と、
を備える画像処理装置である。
The present invention according to claim 1,
a receiving means for receiving a first image captured by irradiating the same subject with light from the light irradiating means and a second image captured without irradiating the same subject with light from the light irradiating means;
The second image is adjusted so that the value indicating the degree of brightness of the specific portion of the first image and the value indicating the degree of brightness of the corresponding specific portion of the second image are within a predetermined range . Adjusting the overall brightness of the image, and replacing the pixel values of the pixels in the first image that are brighter than the brightness-adjusted second image with the pixel values of the brightness-adjusted pixels of the second image. generating means for generating a composite image by
An image processing apparatus comprising

請求項２に係る本発明は、前記生成手段が、前記第１画像の画素値と前記明るさ調整後の第２画像の画素値のうちの明るくない方の画素値を選択することにより合成画像を生成する請求項１記載の画像処理装置である。
In the present invention according to claim 2 , the generating means selects the pixel value of the less bright one of the pixel value of the first image and the pixel value of the second image after the brightness adjustment, so that the synthesized image 2. The image processing apparatus according to claim 1, wherein the image processing apparatus generates:

請求項３に係る本発明は、前記生成手段が、前記第１画像の複数の特定箇所の明るさの度合いを示す値の平均値と前記第２画像の対応する複数の特定箇所の明るさの度合いを示す値の平均値とが予め定められた範囲内の値となるように前記第２画像全体の明るさを調整する請求項１又は２記載の画像処理装置である。
In the present invention according to claim 3 , the generating means generates an average value of values indicating degrees of brightness of a plurality of specific portions of the first image and brightness of a plurality of corresponding specific portions of the second image. 3. The image processing apparatus according to claim 1, wherein the brightness of the entire second image is adjusted so that the average value of the values indicating the degree is within a predetermined range.

請求項４に係る本発明は、前記特定箇所が前記第１画像および前記第２画像それぞれの中心領域から外れた複数個所である請求項３記載の画像処理装置である。
The present invention according to claim 4 is the image processing apparatus according to claim 3 , wherein the specific locations are a plurality of locations outside the central regions of the first image and the second image.

請求項５に係る本発明は、
撮影対象の画像を撮影する撮影手段と、
前記撮影手段により撮影対象を撮影する際に、当該撮影対象に光を照射する光照射手段と、をさらに備える請求項１から４のいずれか記載の画像処理装置である。
The present invention according to claim 5 ,
a photographing means for photographing an image of an object to be photographed;
5. The image processing apparatus according to any one of claims 1 to 4 , further comprising a light irradiation unit for irradiating the object to be photographed with light when the object to be photographed is photographed by the photographing unit.

請求項６に係る本発明は、同一の撮影対象を前記光照射手段による光を照射させて前記撮影手段により撮影した後に前記光照射手段による光を照射させずに前記撮影手段により撮影する請求項５記載の画像処理装置である。

According to a sixth aspect of the present invention, the same object to be photographed is photographed by the photographing means by irradiating light from the light irradiation means and then photographing by the photographing means without irradiating the light from the light irradiation means. 6. The image processing apparatus according to 5 .

請求項７に係る本発明は、
画像処理装置を構成するコンピュータに、
同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付けるステップと、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
を実行させるプログラムである。
The present invention according to claim 7 ,
A computer that configures the image processing device,
a step of receiving a first image captured by irradiating the same subject with light from the light irradiating means and a second image captured without irradiating the light from the light irradiating means;
The second image is adjusted so that the value indicating the degree of brightness of the specific portion of the first image and the value indicating the degree of brightness of the corresponding specific portion of the second image are within a predetermined range. adjusting the brightness of the entire image, and converting the pixel values of the pixels in the first image that are brighter than the brightness-adjusted second image to the pixel values of the pixels in the brightness-adjusted second image; generating a composite image by replacing;
is a program that executes

請求項８に係る本発明は、
撮影手段と光照射手段とを備える画像処理装置に、
同一の撮影対象に前記光照射手段の光を照射させて前記撮影手段により第１画像を撮影した後に前記光照射手段の光を照射させずに前記撮影手段により第２画像を撮影するステップと、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
を実行させるプログラムである。
The present invention according to claim 8 ,
An image processing device comprising a photographing means and a light irradiation means,
a step of irradiating the same subject with the light of the light irradiation means and photographing a first image with the photographing means, and then photographing a second image with the photographing means without irradiating the light of the light irradiation means;
The second image is adjusted so that the value indicating the degree of brightness of the specific portion of the first image and the value indicating the degree of brightness of the corresponding specific portion of the second image are within a predetermined range. adjusting the brightness of the entire image, and converting the pixel values of the pixels in the first image that are brighter than the brightness-adjusted second image to the pixel values of the pixels in the brightness-adjusted second image; generating a composite image by replacing;
is a program that executes

請求項１に係る本発明によれば、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能な画像処理装置を提供できる。特に、光照射手段による光の照射の影響を受けた明るすぎる画素を、光照射手段による光の影響を受けていない画素に置き換えることができる。
According to the first aspect of the present invention, the image generated by irradiating the light from the light irradiating means is compared with the image obtained by simply irradiating the light from the light irradiating means and photographing the object only once. It is possible to provide an image processing apparatus capable of obtaining a captured image with reduced influence. In particular, too bright pixels affected by light irradiation by the light irradiation means can be replaced with pixels not affected by light by the light irradiation means.

請求項２に係る本発明によれば、光照射手段による光の照射の影響を受けた明るすぎる画素を、光照射手段による光の影響を受けていない画素に置き換えることができる。
According to the second aspect of the present invention, it is possible to replace excessively bright pixels affected by light irradiation from the light irradiation means with pixels not affected by light from the light irradiation means.

請求項３に係る本発明によれば、特定箇所が一箇所だけの場合と比べ、当該特定箇所が光照射手段による光の影響や外光の影響を受けているような場合にその影響をより排除できる。
According to the present invention according to claim 3 , compared to the case where there is only one specific point, when the specific point is affected by the light from the light irradiation means or the influence of external light, the effect is more reduced. can be eliminated.

請求項４に係る本発明によれば、光照射手段による、撮影対象の特に中央付近における光の影響が合成画像に現れることを防止できる。
According to the fourth aspect of the present invention, it is possible to prevent the effect of the light from the light irradiating means from appearing in the composite image, especially near the center of the object to be photographed.

請求項５に係る本発明によれば、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能な画像処理装置を提供できる。
According to the fifth aspect of the present invention, the image generated by irradiating the light from the light irradiating means is compared with the image obtained by simply irradiating the light from the light irradiating means and photographing the object only once. It is possible to provide an image processing apparatus capable of obtaining a captured image with reduced influence.

請求項６に係る本発明によれば、略同一の位置で第１画像と第２画像を撮影することができる。
According to the sixth aspect of the present invention, the first image and the second image can be shot at substantially the same position.

請求項７に係る本発明によれば、他の端末装置で撮影した光照射手段による光の照射あり、なしの２枚の画像を入力とし、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した合成画像を出力することを可能とするプログラムを画像処理装置に実行させることができる。
According to the seventh aspect of the present invention, two images captured by another terminal device, with and without light irradiation by the light irradiation means, are input, and the object to be photographed is simply irradiated with light by the light irradiation means. It is possible to cause the image processing apparatus to execute a program that enables outputting a composite image in which the effect caused by the irradiation of light from the light irradiation means is reduced compared to an image that has been photographed only once. can.

請求項８に係る本発明によれば、単に光照射手段による光を照射して撮影対象を１回だけ撮影しただけの画像と比較して、光照射手段による光を照射させたことにより発生する影響を低減した撮影画像を得ることが可能であり、光照射手段による光の照射の影響を受けた明るすぎる画素を、光照射手段による光の影響を受けていない画素に置き換えることができるプログラムを画像処理装置に実行させることができる。 According to the eighth aspect of the present invention, the image generated by irradiating the light from the light irradiating means is compared with the image obtained by simply irradiating the light from the light irradiating means and photographing the object to be photographed only once. Provided is a program capable of obtaining a photographed image with reduced influence and replacing too bright pixels affected by light irradiation by a light irradiation means with pixels not affected by light by the light irradiation means. It can be executed by an image processing device.

図１（Ａ）は、本実施形態における画像処理装置２０の一例を示す外観斜視図であり、図１（Ｂ）は、画像処理装置２０を使用して撮影対象３０を撮影している状態を示す斜視図である。FIG. 1A is an external perspective view showing an example of an image processing device 20 according to the present embodiment, and FIG. It is a perspective view showing. 撮影対象３０をフラッシュ発光装置による光を照射させずに撮影した際の撮影対象３０の状態を示す。The state of the photographing object 30 when photographing the photographing object 30 without irradiating the light from the flash light emitting device is shown. 撮影対象３０をフラッシュ発光装置による光を照射させて撮影した際の撮影対象３０の状態を示す。The state of the object to be photographed 30 is shown when the object to be photographed 30 is photographed by irradiating it with light from the flash light emitting device. 本実施形態の画像処理装置２０のハードウェア構成を示す図である。2 is a diagram showing the hardware configuration of an image processing apparatus 20 of this embodiment; FIG. 図４の画像処理装置２０の機能ブロックを示す図である。5 is a diagram showing functional blocks of the image processing device 20 of FIG. 4; FIG. 本実施形態の画像処理装置２０における画像合成処理の流れを示すフローチャートである。4 is a flowchart showing the flow of image synthesizing processing in the image processing apparatus 20 of this embodiment. 図７（Ａ）は、フラッシュ光を撮影対象３０に照射させて撮影し、射影変換をおこなった後の第１画像の状態を示し、図７（Ｂ）は、フラッシュ光を撮影対象３０に照射させずに撮影し、射影変換を行った後の第２画像の状態を示す図である。FIG. 7A shows the state of the first image after photographing by irradiating the object 30 with flash light and performing projective transformation, and FIG. FIG. 10 is a diagram showing the state of a second image after being photographed without being rotated and after projective transformation; 本実施形態の画像合成処理の概念を示す説明図であり、図８（Ａ）は第１画像を図７（Ａ）のＶＩＩＩＡ－ＶＩＩＩＡ線、および第２画像を図７（Ｂ）のＶＩＩＩＡ－ＶＩＩＩＡ線で切断した場合の画素列の輝度を示し、図８（Ｂ）は、第２画像の明るさを調整した後の第１画像、第２画像の画素列の輝度を示し、図８（Ｃ）は、第１画像と第２画像を合成した後の合成画像の画素列の輝度を示す図である。FIG. 8A is an explanatory diagram showing the concept of image synthesizing processing according to the present embodiment, in which FIG. 8A shows the first image on line VIIIA-VIIIA of FIG. FIG. 8B shows the brightness of the pixel columns of the first image and the second image after adjusting the brightness of the second image, and FIG. C) is a diagram showing luminance of a pixel row of a synthesized image after synthesizing the first image and the second image. 本発明の変形実施形態における画像処理システム６０Ａの一例を示す概念図である。FIG. 11 is a conceptual diagram showing an example of an image processing system 60A in a modified embodiment of the present invention; 変形実施形態の端末装置２０Ａの機能ブロックを示す図である。It is a figure which shows the functional block of 20 A of terminal devices of deformation|transformation embodiment. 変形実施形態の画像処理システム６０Ａの画像処理サーバ８０Ａの構成を示し、図１１（Ａ）は、ハードウェア構成を示す図であり、図１１（Ｂ）は、機能ブロックを示す図である。FIG. 11A shows the configuration of an image processing server 80A of an image processing system 60A of a modified embodiment, FIG. 11A is a diagram showing a hardware configuration, and FIG. 11B is a diagram showing functional blocks. 変形実施形態の端末装置２０Ａにおける処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process in 20 A of terminal devices of deformation|transformation embodiment. 変形実施形態の画像処理サーバ８０Ａにおける処理の流れを示すフローチャートである。FIG. 11 is a flow chart showing the flow of processing in an image processing server 80A of a modified embodiment; FIG.

本発明の一実施形態における画像処理装置２０について、図１を参照して説明する。図１（Ａ）は、本実施形態における画像処理装置２０の一例を示す外観斜視図であり、図１（Ｂ）は、画像処理装置２０を使用して撮影対象３０を撮影している状態を示す斜視図である。図１に示すように、本実施形態における画像処理装置２０は例えばタブレット型コンピュータであるが、本発明はこれに限定されず、下記に説明する構成を有するものであれば、スマートフォンやデジタルカメラであってもよいし、カメラ装置を備えたノートブック型コンピュータなど他の端末装置であってもよい。画像処理装置２０の筐体２００には、裏面にカメラ２０６、フラッシュ発光装置２０７が設けられる。さらに、画像処理装置２０の筐体２００の表面にはその大部分を占めるようにディスプレイ２０４が設けられている。 An image processing apparatus 20 according to one embodiment of the present invention will be described with reference to FIG. FIG. 1A is an external perspective view showing an example of an image processing device 20 according to the present embodiment, and FIG. It is a perspective view showing. As shown in FIG. 1, the image processing apparatus 20 in this embodiment is, for example, a tablet computer, but the present invention is not limited to this, and can be a smartphone or a digital camera as long as it has the configuration described below. It may be a terminal device such as a notebook computer equipped with a camera device. A housing 200 of the image processing apparatus 20 is provided with a camera 206 and a flash light emitting device 207 on the back side. Furthermore, a display 204 is provided on the surface of the housing 200 of the image processing apparatus 20 so as to occupy most of the surface.

後述するが、撮影対象３０を撮影する際に、カメラ２０６によって捕捉される撮影対象３０の映像はディスプレイ２０４にリアルタイムに表示され、ユーザはディスプレイ２０４に映し出される撮影対象３０を視認しながらディスプレイ２０４上に配置された入力インタフェース（後述する）を操作して撮影対象３０を撮影することができる。 As will be described later, when photographing the object 30, the image of the object 30 captured by the camera 206 is displayed on the display 204 in real time, and the user can view the object 30 displayed on the display 204 while viewing the object 30 on the display 204. The imaging target 30 can be photographed by operating an input interface (described later) arranged in the .

なお、本実施形態において、撮影対象３０は、プリンタや複合機などの画像形成装置により出力されたテスト画像であり、このテスト画像は、例えば黒色、シアン、マゼンタ、イエローのうちの一色、あるいは混合した一色をある濃度で紙面全体に印刷した塗りつぶし画像、あるは全面ハーフトーン画像である。特に、ある一定の階調値の画像データを印刷出力した場合のむらの有無やバンディングの有無を確認することを可能とする画像を出力するテスト画像である。もちろん、本発明で撮影の対象とされるものはこの例に限定されず、他の画像であってもよい。 In the present embodiment, the object 30 to be photographed is a test image output by an image forming apparatus such as a printer or a multifunction machine. It is a filled image or a full-surface halftone image in which a single color is printed on the entire paper surface at a certain density. In particular, it is a test image for outputting an image that makes it possible to check the presence or absence of unevenness and the presence or absence of banding when image data with a certain gradation value is printed out. Of course, the object to be photographed in the present invention is not limited to this example, and other images may be used.

上述したような全面が同一色のいわゆる塗りつぶし画像（ベタ画像）を撮影対象として画像処理装置２０により撮影する場合、フラッシュ発光装置２０７による光を照射させずに撮影する場合、図２に示すように、撮影対象３０には、外部からの光によって生じる影、例えば画像処理装置２０自体の影や撮影者の手の影によって撮影対象３０に反射する光のむら、例えば輝度のむらが発生してしまう場合がある。 When the image processing apparatus 20 captures a so-called filled image (solid image) whose entire surface is the same color as described above, and when the image is captured without irradiating light from the flash light emitting device 207, as shown in FIG. In some cases, shadows caused by external light, such as the shadow of the image processing device 20 itself or the shadow of the photographer's hand, cause unevenness in light reflected on the subject 30, such as uneven brightness. be.

しかし、このような外部からの光による影の影響を受けない画像を撮影するためフラッシュ発光装置２０７による光を照射させて近距離から撮影対象３０を撮影する場合には、図３に示すように、撮影対象３０には、光が照射される場所を中心とした同心円状のグラデーションが発生してしまうという問題が発生する。このような問題が生じると、上述のようなある一定の階調値の画像データを印刷出力した場合のむらの有無やバンディングの有無を確認する際には不都合が生じるため、撮影時の影響を軽減したほうが良い。 However, when photographing the object 30 from a short distance by irradiating light from the flash light emitting device 207 in order to photograph an image that is not affected by shadows caused by such external light, as shown in FIG. , a problem arises in that a concentric gradation occurs on the object 30 to be photographed, centering on the place where the light is irradiated. If such a problem occurs, it will be inconvenient when checking the presence or absence of unevenness or banding when image data with a certain gradation value is printed out as described above. It's better to do it.

そのため、本実施形態の画像処理装置２０では、上述したようなフラッシュ発光装置２０７による光を照射させたことにより発生する影響を低減した撮影画像を得るために下記のような方法により撮影対象を撮影する。 Therefore, in the image processing apparatus 20 of the present embodiment, in order to obtain a photographed image in which the effects caused by the irradiation of light from the flash light emitting device 207 as described above are reduced, the photographing object is photographed by the following method. do.

図４を参照して、本実施形態の画像処理装置２０の構成について説明する。なお、図４は、本実施形態の画像処理装置２０のハードウェア構成を示す図である。 The configuration of the image processing apparatus 20 of this embodiment will be described with reference to FIG. Note that FIG. 4 is a diagram showing the hardware configuration of the image processing apparatus 20 of this embodiment.

図４に示すように、画像処理装置２０は、制御用マイクロプロセッサ２０１、メモリ２０２、記憶装置２０３、ディスプレイ２０４、入力インタフェース２０５、カメラ２０６、フラッシュ発光装置２０７を有し、それぞれ制御用バス２０８に接続される。 As shown in FIG. 4, the image processing apparatus 20 has a control microprocessor 201, a memory 202, a storage device 203, a display 204, an input interface 205, a camera 206, and a flash light emitting device 207, each connected to a control bus 208. Connected.

制御用マイクロプロセッサ２０１は、記憶装置２０３に記憶された制御プログラムに基づいて、画像処理装置２０の各部の動作を制御する。 The control microprocessor 201 controls the operation of each section of the image processing apparatus 20 based on control programs stored in the storage device 203 .

メモリ２０２には、カメラ２０６によって撮影された撮影対象３０の画像、および後述する画像生成部により生成される合成画像が一時的に記憶される。 The memory 202 temporarily stores an image of the imaging target 30 captured by the camera 206 and a composite image generated by an image generation unit, which will be described later.

記憶装置２０３は、ソリッド・ステート・ドライブ（ＳＤＤ）やハードディスク（ＨＤＤ）によって構成され、画像処理装置２０の各部を制御するための制御プログラムが格納される。 A storage device 203 is configured by a solid state drive (SDD) or hard disk (HDD), and stores a control program for controlling each section of the image processing apparatus 20 .

ディスプレイ２０４は、この画像処理装置２０の筐体２００の表面に設けられた液晶ディスプレイや有機ＥＬディスプレイで構成され、後述する表示制御部によって処理された情報が表示される。 A display 204 is composed of a liquid crystal display or an organic EL display provided on the surface of the housing 200 of the image processing apparatus 20, and displays information processed by a display control unit, which will be described later.

入力インタフェース２０５は、上記ディスプレイ２０４の表面に重ねて配置された透明なタッチパネルであり、画像処理装置２０を操作するユーザが指示を入力するための入力手段である。 The input interface 205 is a transparent touch panel superimposed on the surface of the display 204 and is an input means for the user who operates the image processing apparatus 20 to input instructions.

カメラ２０６は、画像処理装置２０の筐体２００の裏面に設けられ、ユーザが入力インタフェース２０５を操作することにより入力される指示、および後述するカメラ制御部の指示により撮影対象３０の画像を撮影し、撮影した画像をメモリ２０２に記憶する。 The camera 206 is provided on the rear surface of the housing 200 of the image processing apparatus 20, and captures an image of the imaging target 30 in accordance with an instruction input by the user operating the input interface 205 and an instruction from a camera control unit, which will be described later. , the captured image is stored in the memory 202 .

フラッシュ発光装置２０７は、ＬＥＤライトで構成されており、後述するカメラ制御部の指示により撮影対象３０を撮影する際に発光することによりフラッシュ光を撮影対象３０に対して照射する光照射手段として機能する。 The flash light emitting device 207 is composed of an LED light, and functions as light irradiation means for irradiating the photographing target 30 with flash light by emitting light when photographing the photographing target 30 in accordance with an instruction from the camera control unit, which will be described later. do.

次に、図５を参照して、本実施形態における画像処理装置２０の機能について説明する。図５は、図４の画像処理装置２０の機能ブロックを示す図である。図５に示すように、画像処理装置２０は、記憶装置２０３に記憶された制御プログラムを制御用マイクロプロセッサ２０１において実行することにより、カメラ制御部２１１、画像受付部２１２、画像生成部２１３、表示制御部２１４の各機能を発揮する。 Next, with reference to FIG. 5, functions of the image processing apparatus 20 in this embodiment will be described. FIG. 5 is a diagram showing functional blocks of the image processing device 20 of FIG. As shown in FIG. 5, the image processing apparatus 20 executes a control program stored in the storage device 203 in the control microprocessor 201 to control a camera control unit 211, an image reception unit 212, an image generation unit 213, a display Each function of the control unit 214 is exhibited.

カメラ制御部２１１は、カメラ２０６とフラッシュ発光装置２０７の動作を制御するものである。カメラ制御部２１１は、カメラ２０６によって捉えられた映像の中に撮影対象３０が所定の条件、例えば所定の大きさで認識された場合に、焦点を調節し、フラッシュ発光装置２０７を発光させることによりフラッシュ光を照射させて第１画像を撮影し、その後直ちにフラッシュ発光装置２０７を発光させずに第２画像を撮影し、それぞれの画像をメモリ２０２に記憶する。 A camera control unit 211 controls operations of the camera 206 and the flash light emitting device 207 . The camera control unit 211 adjusts the focus and causes the flash light emitting device 207 to emit light when the object 30 to be photographed is recognized under a predetermined condition, for example, a predetermined size, in the image captured by the camera 206. A first image is captured by irradiating the flash light, and then a second image is captured immediately without emitting the flash light emitting device 207 , and each image is stored in the memory 202 .

画像受付部２１２は、上記同一の撮影対象３０にフラッシュ発光装置２０７によるフラッシュ光を照射させて撮影した第１画像とフラッシュ発光装置２０７によるフラッシュ光を照射させないで撮影した第２画像とを受け付ける、つまりメモリ２０２から第１画像と第２画像を取得する。 The image receiving unit 212 receives a first image captured by irradiating the same subject 30 with flash light from the flash light emitting device 207 and a second image captured without irradiating the flash light from the flash light emitting device 207. That is, the first image and the second image are acquired from the memory 202 .

画像生成部２１３は、画像受付部２１２によりそれぞれ取得された第１画像と第２画像が指定の大きさとなるように補正つまり射影変換する。つまり、撮影対象３０を画像処理装置２０のカメラ２０６で撮影した場合、多くの場合に撮影対象３０はわずかに斜めに撮影されるため、撮影された画像を射影変換することによって歪みを除去するとともに画像の大きさを調節する。 The image generation unit 213 corrects, ie, performs projective transformation so that the first image and the second image respectively acquired by the image reception unit 212 have a designated size. That is, when the object 30 is photographed by the camera 206 of the image processing apparatus 20, the object 30 is often photographed slightly obliquely. Adjust image size.

さらに、画像生成部２１３は、画像受付部２１２によりそれぞれ取得され、射影変換された第１画像の特定箇所の明るさと第２画像の対応する特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整し、第１画像において、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素の画素値を、明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する。 Furthermore, the image generation unit 213 performs a second image generation process so that the brightness of the specific location in the first image obtained by the image reception unit 212 and subjected to projective transformation is approximately the same as the brightness of the corresponding specific location in the second image. The brightness of the entire image is adjusted, and the pixel values of the pixels in the first image that are affected by flash light irradiation from the flash light emitting device 207 are changed to the pixel values of the pixels in the second image after brightness adjustment. Generate a composite image by replacing.

具体的には、画像生成部２１３は、第１画像において、明るさ調整後の第２画像よりも明るい画素を、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素として、明るさ調整後の第２画像の画素値に置き換えることにより合成画像を生成する。あるいは、画像生成部２１３は、画像受付部２１２により取得された第１画像の画素値と明るさ調整後の第２画像の画素値のうちの明るくない方の画素値を選択することにより合成画像を生成する。 Specifically, the image generation unit 213 regards pixels in the first image that are brighter than the brightness-adjusted second image as pixels affected by flash light irradiation from the flash light emitting device 207, A synthesized image is generated by replacing the pixel values of the second image after adjustment. Alternatively, the image generation unit 213 selects the less bright pixel value from the pixel value of the first image acquired by the image reception unit 212 and the pixel value of the second image after the brightness adjustment, thereby generating a composite image. to generate

表示制御部２１４は、ディスプレイ２０４に表示する画像を処理するものである。表示制御部２１４は、カメラ２０６によって撮影対象を撮影する際にカメラ２０６が捉えている映像をディスプレイ２０４に表示したり、画像生成部２１３により生成された画像をディスプレイ２０４に表示したり、ユーザに対して様々な指示の入力を実行させるユーザインタフェース（ＵＩ）をディスプレイ２０４に表示させる制御を行う。 The display control unit 214 processes images displayed on the display 204 . The display control unit 214 displays an image captured by the camera 206 on the display 204 when the camera 206 captures an image of an object, displays an image generated by the image generation unit 213 on the display 204, and displays the image to the user. Control is performed to display a user interface (UI) for executing input of various instructions on the display 204 .

次に、図６～図８を参照して、本実施形態の画像処理装置２０における処理の流れを説明する。なお、図６は、本実施形態の画像処理装置２０における画像合成処理の流れを示すフローチャートである。図７は射影変換後の画像を示し、図７（Ａ）はフラッシュ光を照射して撮影対象を撮影した場合の第１画像を示す図であり、図７（Ｂ）はフラッシュ光を照射せずに撮影対象を撮影した場合の第２画像を示す図である。図８は、本実施形態の画像合成処理の概念を示す説明図であり、図８（Ａ）はフラッシュ発光装置２０７によるフラッシュ光を照射して撮影対象を撮影した場合とフラッシュ光を照射せずに撮影対象を撮影した場合の画像の画素列の輝度を示し、図８（Ｂ）は輝度の補正を行った状態の概念図を示し、図８（Ｃ）は合成後の画像の画素列の輝度を示す。 Next, the flow of processing in the image processing apparatus 20 of this embodiment will be described with reference to FIGS. 6 to 8. FIG. Note that FIG. 6 is a flowchart showing the flow of image composition processing in the image processing apparatus 20 of this embodiment. 7A and 7B show images after projective transformation, FIG. 7A is a diagram showing a first image when an object to be photographed is photographed by irradiating flash light, and FIG. FIG. 10 is a diagram showing a second image when an object is photographed without being shot; 8A and 8B are explanatory diagrams showing the concept of image synthesis processing according to the present embodiment. shows the luminance of the pixel row of the image when the object is photographed, FIG. 8(B) shows a conceptual diagram of the state after luminance correction, and FIG. 8(C) shows the pixel row of the combined image. Indicates luminance.

ステップＳ４０１において、ユーザからの指示によりカメラ制御部２１１はカメラ２０６を起動させる。カメラ２０６によって捉えられる映像は表示制御部２１４によりディスプレイ２０４に表示される。カメラ制御部２１１は、撮影しようとしている撮影対象３０が予め定められた条件を満たした状態で認識されたか否かを判断する。この条件は、例えば撮影対象３０が予め定められた大きさで認識されたか否かである。条件を満たさない場合は、カメラ２０６による撮影は実行ぜず、撮影対象３０の捕捉を継続して実行する。所定の時間が経過しても撮影対象３０が予め定められた条件を満たした状態で認識されない場合には処理を終了してもよい。 In step S401, the camera control unit 211 activates the camera 206 according to an instruction from the user. An image captured by camera 206 is displayed on display 204 by display control unit 214 . The camera control unit 211 determines whether or not the object 30 to be photographed has been recognized as satisfying a predetermined condition. This condition is, for example, whether or not the object 30 to be photographed is recognized to have a predetermined size. If the condition is not satisfied, the camera 206 does not perform photographing, and continues to capture the photographing object 30 . If the object 30 to be photographed is not recognized in a state that satisfies a predetermined condition even after a predetermined period of time has elapsed, the process may be terminated.

撮影しようとしている撮影対象３０が予め定められた条件を満たした状態で認識された場合、ステップＳ４０２に進み、カメラ制御部２１１は、当該撮影対象を、フラッシュ発光装置２０７を発光させることにより、フラッシュ光を照射させた撮影を行う。 If the object 30 to be photographed is recognized as satisfying the predetermined condition, the process advances to step S402, and the camera control unit 211 causes the flash light emitting device 207 to emit light on the object to be photographed so that the flash is emitted. Shoot with light.

ステップＳ４０３において、カメラ制御部２１１は、上記フラッシュ発光装置２０７によるフラッシュ光を照射させて撮影した画像を第１画像としてメモリ２０２に記憶する。 In step S403, the camera control unit 211 stores in the memory 202 an image captured by irradiating flash light from the flash light emitting device 207 as a first image.

ステップＳ４０４において、カメラ制御部２１１は、直ちに同一の撮影対象を、フラッシュ発光装置２０７を発光させずに撮影する。 In step S404, the camera control unit 211 immediately photographs the same subject without causing the flash light emitting device 207 to emit light.

ステップＳ４０５において、カメラ制御部２１１は、上記フラッシュ発光装置２０７によるフラッシュ光を照射させずに撮影した画像を第２画像としてメモリ２０２に記憶する。 In step S405, the camera control unit 211 stores in the memory 202 as a second image an image captured without irradiating flash light from the flash light emitting device 207. FIG.

ステップＳ４０６において、画像受付部２１２は、メモリ２０２から上記の第１画像および第２画像を取得する。ついで、画像生成部２１３は、第１画像と第２画像をそれぞれ射影変換し、同一の大きさの画像となるように補正する。この射影変換の際に、第１画像および第２画像の歪みが除去される。なお、射影変換の際に目的とする画像の大きさはユーザにより予め設定されているものとする。あるいは、射影変換の際に、表示制御部２１４によりユーザに対して画像の大きさの指定の入力を求め、ユーザが入力インタフェース２０５を操作することによって指定された画像の大きさに変換するようにしてもよい。 In step S<b>406 , the image reception unit 212 acquires the first image and the second image from the memory 202 . Next, the image generation unit 213 performs projective transformation on the first image and the second image, and corrects the images so that they have the same size. Distortions of the first image and the second image are removed during this projective transformation. It is assumed that the size of the target image for the projective transformation is set in advance by the user. Alternatively, during the projective transformation, the display control unit 214 prompts the user to specify the image size, and the user operates the input interface 205 to convert the image to the specified size. may

ステップＳ４０７において、画像生成部２１３は、射影変換後の第１画像の特定箇所の明るさと、同じく射影変換後の第２画像の特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整する。この特定箇所は、射影変換後の第１画像および射影変換後の第２画像のそれぞれ中心領域から外れた複数箇所、例えば、射影変換後の第１画像および射影変換後の第２画像のそれぞれ中心から画像の四隅までの３分の１の地点４箇所である。もちろん、上記複数箇所は他の地点であっても構わないし、４箇所に限らず、他の個数であっても構わない。 In step S<b>407 , the image generation unit 213 converts the entire second image so that the brightness of the specific portion of the first image after the projective transformation and the brightness of the specific portion of the second image after the projective transformation are approximately the same. adjust the brightness of the The specific location is a plurality of locations outside the respective central regions of the first image after projective transformation and the second image after projective transformation, for example, the respective centers of the first image after projective transformation and the second image after projective transformation. to four corners of the image. Of course, the plurality of locations may be other locations, and the number of locations is not limited to four, and may be any other number.

また、明るさとは、輝度値、階調値、明度など、画像の明るさの度合いを示す明るさ指数であればどんなものを採用してもよい。なお、以下の説明では輝度値を例として採用することとする。本実施形態においては、画像生成部２１３は、それぞれ射影変換後の第１画像と第２画像における上記４箇所の輝度値の平均値が同程度、具体的には予め定められた範囲内の値、好ましくは同一値となるように射影変換後の第２画像の全体の輝度値を調整する。なお、上記のように輝度値の平均以外にも、輝度やコントラストの分散を算出し、その値が予め定められた範囲内の値となるように第２画像を調整してもよい。 Also, the brightness may be any brightness index indicating the degree of brightness of an image, such as luminance value, gradation value, and lightness. In the following description, the luminance value will be used as an example. In the present embodiment, the image generation unit 213 determines that the average values of the luminance values of the four locations in the first image and the second image after projective transformation are approximately the same, specifically, values within a predetermined range. , preferably, the luminance value of the entire second image after projective transformation is adjusted so as to have the same value. In addition to averaging the brightness values as described above, the variance of brightness or contrast may be calculated, and the second image may be adjusted so that the values fall within a predetermined range.

上記ステップＳ４０７の処理を、図７、図８を用いて説明する。なお、図７（Ａ）は、フラッシュ光を撮影対象３０に照射させて撮影し、射影変換をおこなった後の第１画像の状態を示し、図７（Ｂ）は、フラッシュ光を撮影対象３０に照射させずに撮影し、射影変換を行った後の第２画像の状態を示す図である。また、図８（Ａ）は第１画像を図７（Ａ）のＶＩＩＩＡ－ＶＩＩＩＡ線、および第２画像を図７（Ｂ）のＶＩＩＩＡ－ＶＩＩＩＡ線で切断した場合の画素列の輝度を示し、図８（Ｂ）は、第２画像の明るさを調整した後の第１画像、第２画像の画素列の輝度を示し、図８（Ｃ）は、第１画像と第２画像を合成した後の合成画像の画素列の輝度を示す図である。 The process of step S407 will be described with reference to FIGS. 7 and 8. FIG. Note that FIG. 7A shows the state of the first image after photographing by irradiating the object 30 with the flash light and performing projective transformation, and FIG. FIG. 10 is a diagram showing the state of a second image after being photographed without irradiating light and after projective transformation; Further, FIG. 8A shows the luminance of the pixel row when the first image is cut along line VIIIA-VIIIA in FIG. 7A and the second image is cut along line VIIIA-VIIIA in FIG. FIG. 8B shows the brightness of the pixel rows of the first image and the second image after adjusting the brightness of the second image, and FIG. 8C shows the synthesized first and second images. FIG. 11 is a diagram showing luminance of a pixel row of a later synthesized image;

図７と図８を参照すると分かるように、図８に示す画素列の輝度の図において横軸は画像を横方向に切断した場合のＸ座標を示し、縦軸は輝度値を表している。図８（Ａ）に示すように、一般にフラッシュ発光装置２０７によるフラッシュ光を照射して撮影した場合の画像の輝度は、全体的に、フラッシュ光を照射せずに撮影された場合の画像の輝度よりも高くなる。さらに、フラッシュ光を照射して撮影された場合の画像の輝度は、中心付近が最も高く、周辺側が低い山形の形状となっている。図８（Ｂ）に示すように、画像生成部２１３は、それぞれ射影変換後の第１画像および第２画像の地点Ｐにおける輝度値が同一値となるように射影変換後の第２画像全体の輝度値を調整する（つまり、図８（Ｂ）では輝度値を全体的に底上げしている）。 As can be seen by referring to FIGS. 7 and 8, in the diagram of the luminance of the pixel row shown in FIG. 8, the horizontal axis indicates the X coordinate when the image is cut in the horizontal direction, and the vertical axis indicates the luminance value. As shown in FIG. 8A, generally, the brightness of an image captured with flash light emitted from the flash light emitting device 207 is generally the same as the brightness of an image captured without flash light. higher than Furthermore, the brightness of the image captured with the flash light is highest near the center and low on the peripheral side in a chevron shape. As shown in FIG. 8B, the image generating unit 213 generates the entire second image after the projective transformation so that the brightness values at the point P of the first image and the second image after the projective transformation are the same. Adjust the brightness value (that is, the brightness value is raised as a whole in FIG. 8B).

次に、図６のステップＳ４０８において、画像生成部２１３は、射影変換後の第１画像において、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素の画素値を、上記ステップＳ４０７において明るさを調整した後の第２画像の画素値に置き換えることにより合成画像を生成する。具体的には、射影変換後の第１画像において、明るさを調整した後の第２画像よりも明るい画素を、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素として、明るさを調整した後の第２画像の画素値に置き換える。あるいは、画像生成部２１３は、射影変換後の第１画像と明るさを調整した後の第２画像とを画素単位で比較し、明るくない方の画素値を選択することにより合成画像を生成するようにしてもよい。 Next, in step S408 in FIG. 6, the image generation unit 213 converts the pixel values of the pixels affected by flash light irradiation from the flash light emitting device 207 in the first image after projective transformation to A composite image is generated by replacing the pixel values of the second image after adjusting the brightness. Specifically, in the first image after projective transformation, pixels that are brighter than the second image after adjusting the brightness are treated as pixels that are affected by flash light irradiation from the flash light emitting device 207, and the brightness is is replaced by the pixel value of the second image after adjustment. Alternatively, the image generation unit 213 compares the first image after the projective transformation and the second image after adjusting the brightness on a pixel-by-pixel basis, and selects the less bright pixel value to generate a composite image. You may do so.

このときの状態が図８（Ｃ）に示されている。図８（Ｃ）の合成画像では、基本的には、特定地点Ｐよりも内側に位置する画素は、明るさ調整後の第２画像の画素が合成後の画像の画素として使用されているのに対して、特定地点Ｐよりも外側に位置する画素は、射影変換後の第１画像の画素が合成後の画像の画素として使用されている。 The state at this time is shown in FIG. 8(C). In the synthesized image of FIG. 8C, basically, for the pixels positioned inside the specific point P, the pixels of the second image after brightness adjustment are used as the pixels of the synthesized image. On the other hand, for pixels positioned outside the specific point P, the pixels of the first image after projective transformation are used as the pixels of the synthesized image.

図６のステップＳ４０９において、画像生成部２１３は、上記ステップＳ４０８において生成された合成画像をメモリ２０２に記憶するとともに、表示制御部２１４は、合成画像をディスプレイ２０４に表示し、ユーザが視認できるようにし、処理を終了する。 In step S409 of FIG. 6, the image generation unit 213 stores the composite image generated in step S408 in the memory 202, and the display control unit 214 displays the composite image on the display 204 so that the user can visually recognize it. and terminate the process.

なお、上記の例においては、射影変換後の第１画像において、明るさを調整した後の第２画像よりも明るい画素を、フラッシュ発光装置２０７によるフラッシュ光の照射の影響を受けている画素として、明るさを調整した後の第２画像の画素値に置き換える処理を行った場合を説明したが、本発明は上記の例に限定されず、置き換え対象となる領域の画素値とその周辺領域の画素の画素値を、射影変換後の第１画像の画素値と明るさ調整後の第２画像の画素値とを用いて算出された値に置き換えるようにしてもよい。この場合、対象となる画素の画素値を、例えばSoft Minimum関数を使用して射影変換後の第１画像の画素値と明るさ調整後の第２画像の画素値とを合成してもよい。 In the above example, pixels in the first image after projective transformation that are brighter than those in the second image after brightness adjustment are assumed to be pixels affected by flash light irradiation from the flash light emitting device 207. , the pixel values of the second image after adjusting the brightness have been described, but the present invention is not limited to the above example. The pixel value of the pixel may be replaced with a value calculated using the pixel value of the first image after projective transformation and the pixel value of the second image after brightness adjustment. In this case, the pixel value of the target pixel may be combined with the pixel value of the first image after projective transformation and the pixel value of the second image after brightness adjustment using, for example, the Soft Minimum function.

また、上記の実施形態においては、フラッシュ光を撮影対象に照射して第１画像を撮影した直後にフラッシュ光を撮影対象に照射せず第２画像を撮影した場合を説明したが、反対に、フラッシュ光を照射せずに第２画像を先に撮影した後にフラッシュ光を照射して第１画像を撮影するようにしてもよい。 Further, in the above embodiment, a case has been described in which the second image is captured without irradiating the subject with the flash light immediately after the first image is captured by irradiating the subject with the flash light. Alternatively, the first image may be captured with flash light after the second image is first captured without flash light irradiation.

次に、本発明の変形実施形態を、図９～図１３を参照して説明する。なお、図９は、本発明の変形実施形態における画像処理システム６０Ａの一例を示す概念図である。図１０は、変形実施形態の端末装置２０Ａの機能ブロックを示す図である。図１１は、変形実施形態の画像処理システム６０Ａの画像処理サーバ８０Ａの構成を示し、図１１（Ａ）は、ハードウェア構成を示す図であり、図１１（Ｂ）は、機能ブロックを示す図である。図１２は、変形実施形態の端末装置２０Ａにおける処理の流れを示すフローチャートである。図１３は、変形実施形態の画像処理サーバ８０Ａにおける処理の流れを示すフローチャートである。 A modified embodiment of the present invention will now be described with reference to FIGS. 9-13. Note that FIG. 9 is a conceptual diagram showing an example of an image processing system 60A according to a modified embodiment of the present invention. FIG. 10 is a diagram showing functional blocks of a terminal device 20A of a modified embodiment. 11 shows the configuration of an image processing server 80A of an image processing system 60A of a modified embodiment, FIG. 11A is a diagram showing a hardware configuration, and FIG. 11B is a diagram showing functional blocks. is. FIG. 12 is a flow chart showing the flow of processing in the terminal device 20A of the modified embodiment. FIG. 13 is a flow chart showing the flow of processing in the image processing server 80A of the modified embodiment.

上述の図１～図８を参照して説明した実施形態においては、撮影対象３０の撮影および画像の合成処理を、単一の画像処理装置２０において行ったが、図９～図１３の変形実施形態においては、撮影対象３０の撮影、および画像処理後の合成画像の表示を端末装置２０Ａにおいて行い、画像処理そのものは画像処理サーバ８０Ａにおいて行う。 In the embodiment described above with reference to FIGS. 1 to 8, the imaging of the imaging target 30 and the synthesizing processing of the images were performed by the single image processing device 20. However, the modifications shown in FIGS. In the embodiment, the terminal device 20A performs the imaging of the imaging target 30 and the display of the synthesized image after the image processing, and the image processing itself is performed in the image processing server 80A.

図９に示すように、変形実施形態の画像処理システム６０Ａは、端末装置２０Ａ、画像処理サーバ８０Ａより構成され、端末装置２０Ａと画像処理サーバ８０Ａはそれぞれネットワーク７０Ａに接続されている。本変形実施形態においては、端末装置２０Ａは、通信インタフェース（図示せず）を有する以外は実施形態の画像処理装置２０と略同じハードウェア構成のものを使用するものとし、同一の構成に対しては同一の参照符号を使用するものとし、詳細な説明を省略する。 As shown in FIG. 9, the image processing system 60A of the modified embodiment comprises a terminal device 20A and an image processing server 80A, and the terminal device 20A and the image processing server 80A are each connected to a network 70A. In this modified embodiment, the terminal device 20A has substantially the same hardware configuration as the image processing device 20 of the embodiment except for having a communication interface (not shown). shall use the same reference numerals, and detailed description thereof will be omitted.

また、本変形実施形態における端末装置２０Ａは、図１０に示すように、記憶装置２０３に記憶された制御プログラムを制御用マイクロプロセッサ２０１において実行することにより、カメラ制御部２１１Ａ、表示制御部２１２Ａ、画像送受信部２１３Ａの各機能を発揮するものとして構成される。なお、カメラ制御部２１１Ａと表示制御部２１２Ａは、上述の実施形態における画像処理装置２０のカメラ制御部２１１、表示制御部２１４と同様の機能であるので、詳細な説明は省略する。 In addition, as shown in FIG. 10, the terminal device 20A in this modified embodiment executes a control program stored in the storage device 203 in the control microprocessor 201 to control the camera control unit 211A, display control unit 212A, It is configured to exhibit each function of the image transmission/reception unit 213A. Note that the camera control unit 211A and the display control unit 212A have the same functions as the camera control unit 211 and the display control unit 214 of the image processing apparatus 20 in the above-described embodiment, so detailed description thereof will be omitted.

画像送受信部２１３Ａは、ユーザが入力インタフェース２０５を操作することにより入力される指示に基づき、メモリ２０２あるいは記憶装置２０３に記憶された、フラッシュ発光装置２０７を発光させて撮影した第１画像、およびフラッシュ発光装置２０７を発光させずに撮影した第２画像を、ネットワーク７０Ａを介して画像処理サーバ８０Ａに送信したり、画像処理サーバ８０Ａにおいて合成された合成画像を画像処理サーバ８０Ａからネットワーク７０Ａを介して受信したりする。 The image transmitting/receiving unit 213A transmits the first image captured by the flash light emitting device 207 and the flash light stored in the memory 202 or the storage device 203 based on the instruction input by the user operating the input interface 205. A second image captured without emitting light from the light emitting device 207 is transmitted to the image processing server 80A via the network 70A, and a composite image synthesized in the image processing server 80A is transmitted from the image processing server 80A via the network 70A. receive.

さらに、本変形実施形態の画像処理サーバ８０Ａは、図１１（Ａ）に示すように、制御用マイクロプロセッサ８０１Ａ、メモリ８０２Ａ、記憶装置８０３Ａ、通信インタフェース８０４Ａを有し、それぞれ制御用バス８０５Ａに接続される。 Further, as shown in FIG. 11A, the image processing server 80A of this modified embodiment has a control microprocessor 801A, a memory 802A, a storage device 803A, and a communication interface 804A, each of which is connected to a control bus 805A. be done.

制御用マイクロプロセッサ８０１Ａは、記憶装置８０３Ａに記憶された制御プログラムに基づいて、画像処理サーバ８０Ａの各部の動作を制御する。メモリ８０２Ａには、端末装置２０Ａから受信した、フラッシュ光を照射させて撮影した第１画像およびフラッシュ光を照射させずに撮影した第２画像が一時的に記憶される。記憶装置８０３Ａは、ハードディスク（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＤＤ）によって構成され、画像処理サーバ８０Ａの各部を制御するための制御プログラムが格納される。通信インタフェース８０４Ａは、画像処理サーバ８０Ａがネットワーク７０Ａを介して端末装置２０Ａと行うための通信を制御する。 The control microprocessor 801A controls the operation of each section of the image processing server 80A based on control programs stored in the storage device 803A. The memory 802A temporarily stores the first image captured with flash light irradiation and the second image captured without flash light irradiation received from the terminal device 20A. The storage device 803A is configured by a hard disk (HDD) or solid state drive (SDD), and stores control programs for controlling each section of the image processing server 80A. The communication interface 804A controls communication between the image processing server 80A and the terminal device 20A via the network 70A.

この画像処理サーバ８０Ａは、図１１（Ｂ）に示すように、記憶装置８０３Ａに記憶された制御プラグラムを制御用マイクロプロセッサ８０１Ａにおいて実行することにより、画像受付部８１１Ａ、画像生成部８１２Ａ、画像送信部８１３Ａの各機能を発揮する。 This image processing server 80A, as shown in FIG. 11B, executes a control program stored in a storage device 803A in a control microprocessor 801A to generate an image reception unit 811A, an image generation unit 812A, and an image transmission unit. Each function of the part 813A is exhibited.

画像受付部８１１Ａは、端末装置２０Ａから送信されてきたフラッシュ光を照射させて撮影した第１画像と、フラッシュ光を照射させないで撮影した第２画像とを受け付ける、つまり受信し、メモリ８０２Ａに一時的に保存する。 Image receiving unit 811A receives the first image captured with flash light and the second image captured without flash light transmitted from terminal device 20A. Save as desired.

画像生成部８１２Ａは、画像受付部８１１Ａによりそれぞれ取得された第１画像の特定箇所の明るさと第２画像の対応する特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整し、第１画像において、フラッシュ光の照射の影響を受けている画素の画素値を、明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する。なお、さらに具体的な処理については、上述した実施形態の画像処理装置２０の画像生成部２１３における処理と同様であるので、詳細な説明は省略する。 The image generation unit 812A adjusts the brightness of the entire second image so that the brightness of the specific locations of the first image acquired by the image reception unit 811A and the brightness of the corresponding specific locations of the second image are approximately the same. is adjusted, and the pixel values of the pixels affected by flash light irradiation in the first image are replaced with the pixel values of the pixels in the second image after the brightness adjustment, thereby generating a composite image. It should be noted that more specific processing is the same as the processing in the image generating unit 213 of the image processing apparatus 20 of the above-described embodiment, so detailed description will be omitted.

画像送信部８１３Ａは、画像生成部８１２Ａにおいて生成された合成画像を通信インタフェース８０４Ａによりネットワーク７０Ａを介して端末装置２０Ａに送信する。 The image transmission unit 813A transmits the synthesized image generated by the image generation unit 812A to the terminal device 20A via the network 70A using the communication interface 804A.

次に、変形実施形態の画像処理システム６０Ａにおける処理の流れについて説明する。まず、図１２を参照して端末装置２０Ａにおける処理の流れを説明する。図１２のステップＳ９０１において、端末装置２０Ａをユーザが操作することにより入力される指示によりカメラ制御部２１１Ａがカメラ２０６を起動させ、撮影対象を、フラッシュ発光装置２０７を発光させることにより、フラッシュ光を照射させて撮影し、第１画像としてメモリ２０２に一時的に記憶する。 Next, the flow of processing in the image processing system 60A of the modified embodiment will be described. First, the flow of processing in the terminal device 20A will be described with reference to FIG. In step S901 of FIG. 12, the camera control unit 211A activates the camera 206 according to an instruction input by the user operating the terminal device 20A, and flashes the object to be photographed by causing the flash light emitting device 207 to emit light. The light is irradiated, photographed, and temporarily stored in the memory 202 as a first image.

ステップＳ９０２において、画像送受信部２１３Ａは、上記第１画像を画像処理サーバ８０Ａに、ネットワーク７０Ａを介して送信する。 In step S902, the image transmission/reception unit 213A transmits the first image to the image processing server 80A via the network 70A.

ステップＳ９０３において、カメラ制御部２１１は、同一の撮影対象を、フラッシュ発光装置２０７を発光させずに撮影し、第２画像としてメモリ２０２に一時的に記憶する。 In step S<b>903 , the camera control unit 211 captures an image of the same subject without causing the flash light emitting device 207 to emit light, and temporarily stores the captured image in the memory 202 as a second image.

ステップＳ９０４において、画像送受信部２１３Ａは、上記第２画像を画像処理サーバ８０Ａに、ネットワーク７０Ａを介して送信する。なお、本変形実施形態では、第１画像と第２画像をそれぞれ撮影の都度画像処理サーバ８０Ａに送信する例を説明しているが、第１画像と第２画像の撮影が終了してからまとめて画像処理サーバ８０Ａに送信するようにしてもよい。 In step S904, the image transmission/reception unit 213A transmits the second image to the image processing server 80A via the network 70A. In this modified embodiment, an example is described in which the first image and the second image are transmitted to the image processing server 80A each time they are captured. may be transmitted to the image processing server 80A.

次いで、図１３において説明するが、画像処理サーバ８０Ａにおいて画像の合成処理が行われる。ステップＳ９０５において、画像送受信部２１３Ａは、画像処理サーバ８０Ａから合成画像を受信し、メモリ２０２に記憶する。 Next, as will be described with reference to FIG. 13, image composition processing is performed in the image processing server 80A. In step S905, the image transmission/reception unit 213A receives the composite image from the image processing server 80A and stores it in the memory 202. FIG.

ステップＳ９０６において、表示制御部２１２Ａは、上記ステップＳ９０５において受信した合成画像をディスプレイ２０４に表示し、ユーザが視認できるようにし、処理を終了する。 In step S906, the display control unit 212A displays the composite image received in step S905 on the display 204 so that the user can see it, and the process ends.

次に、図１３を参照して画像処理サーバ８０Ａにおける処理の流れを説明する。図１３のステップＳ１００１において、画像処理サーバ８０Ａの画像受付部８１１Ａは、端末装置２０Ａから第１画像および第２画像を取得する。なお、第１画像と第２画像の取得は、同時であってもよいし、時間差があってもよい。取得した第１画像および第２画像はメモリ８０２Ａに一時的に記憶される。 Next, the flow of processing in the image processing server 80A will be described with reference to FIG. In step S1001 of FIG. 13, the image reception unit 811A of the image processing server 80A acquires the first image and the second image from the terminal device 20A. The acquisition of the first image and the second image may be performed at the same time or with a time lag. The acquired first and second images are temporarily stored in memory 802A.

ステップＳ１００２において、画像生成部８１２Ａは、第１画像と第２画像をそれぞれ射影変換し、同一の大きさの画像となるようにする。なお、射影変換の際に目的とする画像の大きさはユーザによって予め設定されているものとし、第１画像および第２画像とともに端末装置２０Ａからその情報を取得するようにしてもよい。あるいは、射影変換の際に、端末装置２０Ａに対して画像の大きさの指定を求め、端末装置２０Ａにおいてユーザが入力インタフェース２０５を操作することによって画像の大きさを指定し、この情報を画像処理サーバ８０Ａに送り返されるようにしてもよい。 In step S1002, the image generator 812A performs projective transformation on the first image and the second image so that the images have the same size. It should be noted that the size of the target image for the projective transformation may be set in advance by the user, and that information may be acquired from the terminal device 20A together with the first image and the second image. Alternatively, at the time of projective transformation, the terminal device 20A is requested to specify the size of the image, the user operates the input interface 205 on the terminal device 20A to specify the size of the image, and this information is subjected to image processing. It may be sent back to server 80A.

ステップＳ１００３において、画像生成部８１２Ａは、射影変換後の第１画像の特定箇所の明るさと、同じく射影変換後の第２画像の特定箇所の明るさとが同程度となるように第２画像の全体の明るさを調整する。なお、詳細な処理については、上述の実施形態における画像処理装置２０の画像生成部２１３が図６のステップＳ４０７で行う処理と略同じであるので、説明を省略する。 In step S1003, the image generation unit 812A converts the entire second image so that the brightness of a specific portion of the first image after projective transformation is approximately the same as the brightness of a specific portion of the second image after projective transformation. adjust the brightness of the Note that detailed processing is substantially the same as the processing performed in step S407 of FIG. 6 by the image generation unit 213 of the image processing apparatus 20 in the above-described embodiment, so description thereof will be omitted.

ステップＳ１００４において、画像生成部８１２Ａは、射影変換後の第１画像において、フラッシュ光の照射の影響を受けている画素の画素値を、上記ステップＳ１００３において明るさを調整した後の第２画像の画素値に置き換えることにより合成画像を生成する。なお、なお、詳細な処理については、上述の実施形態における画像処理装置２０の画像生成部２１３が図６のステップＳ４０８で行う処理と略同じであるので、説明を省略する。 In step S1004, the image generation unit 812A converts the pixel values of the pixels affected by the irradiation of the flash light in the first image after the projective transformation to the pixel values of the second image after adjusting the brightness in step S1003. A composite image is generated by replacing with pixel values. It should be noted that detailed processing is substantially the same as the processing performed in step S408 of FIG.

ステップＳ１００５において、画像送信部８１３Ａは、上記ステップＳ１００４において生成された合成画像を通信インタフェース８０４Ａによりネットワーク７０Ａを介して端末装置２０Ａへ送信し、処理を終了する。 In step S1005, the image transmission unit 813A transmits the composite image generated in step S1004 to the terminal device 20A via the network 70A using the communication interface 804A, and ends the process.

なお、上記の変形実施形態においては、第１画像と第２画像を端末装置２０Ａで撮影し、逐次画像処理サーバ８０Ａに送信し、合成画像を生成した場合について説明したが、本発明は上記の例に限定されず、事前に撮影され、端末装置２０Ａの記憶装置２０３に記憶されている第１画像と第２画像を事後に画像処理サーバ８０Ａにより取得し、合成画像を生成するようにしてもよい。 In the modified embodiment described above, the case where the first image and the second image are captured by the terminal device 20A and sequentially transmitted to the image processing server 80A to generate a composite image has been described. Without being limited to the example, the first image and the second image captured in advance and stored in the storage device 203 of the terminal device 20A may be acquired by the image processing server 80A afterward to generate a composite image. good.

２０ 画像処理装置
２００ 筐体
２０１ 制御用マイクロプロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ ディスプレイ
２０５ 入力インタフェース
２０７ フラッシュ発光装置
２０８ 制御用バス
２１２ 画像受付部
２１３ 画像生成部
２１４ 表示制御部
２０Ａ 端末装置
６０Ａ 画像処理システム
７０Ａ ネットワーク
８０Ａ 画像処理サーバ
２１１Ａ カメラ制御部
２１２Ａ 表示制御部
２１３Ａ 画像送受信部
８０１Ａ 制御用マイクロプロセッサ
８０２Ａ メモリ
８０３Ａ 記憶装置
８０４Ａ 通信インタフェース
８０５Ａ 制御バス
８１１Ａ 画像受付部
８１２Ａ 画像生成部
８１３Ａ 画像送信部
20 image processing device 200 housing 201 control microprocessor 202 memory 203 storage device 204 display 205 input interface 207 flash light emitting device 208 control bus 212 image reception unit 213 image generation unit 214 display control unit 20A terminal device 60A image processing system 70A Network 80A Image processing server 211A Camera control unit 212A Display control unit 213A Image transmission/reception unit 801A Control microprocessor 802A Memory 803A Storage device 804A Communication interface 805A Control bus 811A Image reception unit 812A Image generation unit 813A Image transmission unit

Claims (8)

同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付ける受付手段と、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成する生成手段と、
を備える画像処理装置。 a receiving means for receiving a first image captured by irradiating the same subject with light from the light irradiating means and a second image captured without irradiating the same subject with light from the light irradiating means;
The second image is adjusted so that the value indicating the degree of brightness of the specific portion of the first image and the value indicating the degree of brightness of the corresponding specific portion of the second image are within a predetermined range. Adjusting the overall brightness of the image, and replacing the pixel values of the pixels in the first image that are brighter than the brightness-adjusted second image with the pixel values of the brightness-adjusted pixels of the second image. generating means for generating a composite image by
An image processing device comprising: 前記生成手段は、前記第１画像の画素値と前記明るさ調整後の第２画像の画素値のうちの明るくない方の画素値を選択することにより合成画像を生成する請求項１記載の画像処理装置。 2. The image according to claim 1, wherein said generating means generates a composite image by selecting a less bright pixel value from among pixel values of said first image and pixel values of said brightness-adjusted second image. processing equipment. 前記生成手段は、前記第１画像の複数の特定箇所の明るさの度合いを示す値の平均値と前記第２画像の対応する複数の特定箇所の明るさの度合いを示す値の平均値とが予め定められた範囲内の値となるように前記第２画像全体の明るさを調整する請求項１又は２記載の画像処理装置。 The generating means generates an average value of values indicating the degree of brightness of the plurality of specific portions of the first image and an average value of values indicating the degree of brightness of the corresponding plurality of specific portions of the second image. 3. The image processing apparatus according to claim 1, wherein the brightness of the entire second image is adjusted so that the value falls within a predetermined range. 前記特定箇所が前記第１画像および前記第２画像それぞれの中心領域から外れた複数個所である請求項３記載の画像処理装置。 4. The image processing apparatus according to claim 3 , wherein said specific locations are a plurality of locations outside the respective central regions of said first image and said second image. 撮影対象の画像を撮影する撮影手段と、
前記撮影手段により撮影対象を撮影する際に、当該撮影対象に光を照射する光照射手段と、をさらに備える請求項１から４のいずれか記載の画像処理装置。 a photographing means for photographing an image of an object to be photographed;
5. The image processing apparatus according to any one of claims 1 to 4 , further comprising a light irradiation unit for irradiating the object to be photographed with light when the object to be photographed is photographed by the photographing unit. 同一の撮影対象を前記光照射手段による光を照射させて前記撮影手段により撮影した後に前記光照射手段による光を照射させずに前記撮影手段により撮影する請求項５記載の画像処理装置。 6. The image processing apparatus according to claim 5 , wherein the same object to be photographed is photographed by said photographing means while being irradiated with light from said light irradiation means, and then photographed by said photographing means without being irradiated with light from said light irradiation means. 画像処理装置を構成するコンピュータに、
同一の撮影対象に光照射手段による光を照射させて撮影した第１画像と光照射手段による光を照射させずに撮影した第２画像とを受け付けるステップと、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
を実行させるプログラム。 A computer that configures the image processing device,
a step of receiving a first image captured by irradiating the same subject with light from the light irradiating means and a second image captured without irradiating the light from the light irradiating means;
The second image is adjusted so that the value indicating the degree of brightness of the specific portion of the first image and the value indicating the degree of brightness of the corresponding specific portion of the second image are within a predetermined range. adjusting the brightness of the entire image, and converting the pixel values of the pixels in the first image that are brighter than the brightness-adjusted second image to the pixel values of the pixels in the brightness-adjusted second image; generating a composite image by replacing;
program to run. 撮影手段と光照射手段とを備える画像処理装置に、
同一の撮影対象に前記光照射手段の光を照射させて前記撮影手段により第１画像を撮影した後に前記光照射手段の光を照射させずに前記撮影手段により第２画像を撮影するステップと、
前記第１画像の特定箇所の明るさの度合いを示す値と前記第２画像の対応する特定箇所の明るさの度合いを示す値とが予め定められた範囲内の値となるように前記第２画像の全体の明るさを調整し、前記第１画像において、前記明るさ調整後の前記第２画像よりも明るい画素の画素値を、前記明るさ調整後の第２画像の画素の画素値に置き換えることにより合成画像を生成するステップと、
を実行させるプログラム。
An image processing device comprising a photographing means and a light irradiation means,
a step of irradiating the same subject with the light of the light irradiation means and photographing a first image with the photographing means, and then photographing a second image with the photographing means without irradiating the light of the light irradiation means;
The second image is adjusted so that the value indicating the degree of brightness of the specific portion of the first image and the value indicating the degree of brightness of the corresponding specific portion of the second image are within a predetermined range. adjusting the brightness of the entire image, and converting the pixel values of the pixels in the first image that are brighter than the brightness-adjusted second image to the pixel values of the pixels in the brightness-adjusted second image; generating a composite image by replacing;
program to run.
JP2018177197A 2018-09-21 2018-09-21 Image processing device and program Active JP7247501B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018177197A JP7247501B2 (en) 2018-09-21 2018-09-21 Image processing device and program
US16/286,620 US11042972B2 (en) 2018-09-21 2019-02-27 Image processing apparatus, and non-transitory computer readable medium for reducing undesirable effect during image capturing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018177197A JP7247501B2 (en) 2018-09-21 2018-09-21 Image processing device and program

Publications (2)

Publication Number Publication Date
JP2020047186A JP2020047186A (en) 2020-03-26
JP7247501B2 true JP7247501B2 (en) 2023-03-29

Family

ID=69883285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177197A Active JP7247501B2 (en) 2018-09-21 2018-09-21 Image processing device and program

Country Status (2)

Country Link
US (1) US11042972B2 (en)
JP (1) JP7247501B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489448B (en) * 2019-01-24 2024-08-20 宏达国际电子股份有限公司 Method for detecting real world light source, mixed reality system and recording medium
JP7475148B2 (en) * 2020-01-31 2024-04-26 キヤノン株式会社 Image capture device, image capture system, and control method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014039222A (en) 2012-08-20 2014-02-27 Canon Inc Image processing apparatus, control method and control program of the same and imaging apparatus
JP2014239396A (en) 2013-06-10 2014-12-18 キヤノン株式会社 Imaging apparatus and control method for imaging apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
EP1566142A1 (en) * 2004-02-19 2005-08-24 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Imaging of buried structures
JP2008026879A (en) * 2006-06-19 2008-02-07 Seiko Epson Corp Display system and method
US7826652B2 (en) * 2006-12-19 2010-11-02 Cytyc Corporation Method for forming an optimally exposed image of cytological specimen
US8194119B2 (en) * 2007-05-10 2012-06-05 Chroma3D Systems, Inc. Display of generalized anaglyphs without retinal rivalry
JP2010074693A (en) 2008-09-22 2010-04-02 Fujifilm Corp Digital camera, corrected image generating method and storage medium
US20100157079A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
US20110122146A1 (en) * 2009-11-25 2011-05-26 Fujifilm Corporation Systems and methods for matching medical images
JP5367640B2 (en) * 2010-05-31 2013-12-11 パナソニック株式会社 Imaging apparatus and imaging method
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
JP6287352B2 (en) * 2014-03-04 2018-03-07 株式会社リコー Image processing apparatus, image processing program, image processing method, and image processing system
JP6121368B2 (en) * 2014-06-27 2017-04-26 富士フイルム株式会社 MEDICAL IMAGE PROCESSING DEVICE, ITS OPERATION METHOD, AND ENDOSCOPE SYSTEM
US10805553B2 (en) * 2017-04-14 2020-10-13 Canon Kabushiki Kaisha Imaging apparatus and imaging method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014039222A (en) 2012-08-20 2014-02-27 Canon Inc Image processing apparatus, control method and control program of the same and imaging apparatus
JP2014239396A (en) 2013-06-10 2014-12-18 キヤノン株式会社 Imaging apparatus and control method for imaging apparatus

Also Published As

Publication number Publication date
JP2020047186A (en) 2020-03-26
US11042972B2 (en) 2021-06-22
US20200098099A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
US7373017B2 (en) System and method for capturing adjacent images by utilizing a panorama mode
CN109547691B (en) Image capturing method and image capturing apparatus
JP5108093B2 (en) Imaging apparatus and imaging method
US7197192B2 (en) System and method for capturing adjacent images by utilizing a panorama mode
US9019413B2 (en) Method of image preview in a digital image pickup apparatus
JP2009171318A (en) Image processor, image processing method, and imaging device
US10121271B2 (en) Image processing apparatus and image processing method
CN104253948A (en) Method and apparatus for distributed image processing in cameras for minimizing artifacts in stitched images
JP5870639B2 (en) Image processing system, image processing apparatus, and image processing program
KR102207633B1 (en) Image photographing apparatus and control methods thereof
JP7247501B2 (en) Image processing device and program
JP2010016826A (en) System and method for efficiently performing image processing operations
JP2004200971A (en) Image processor, image processing program, image processing method, and electronic camera
JP2008187362A (en) Projector and projected image adjustment method
JP2010199727A (en) Imager
KR20140106221A (en) Photographing method and apparatus using multiple image sensors
JP2007049226A (en) Image input device, method and program, and recording medium
JP2010062673A (en) Image processing apparatus, and method thereof
JP7397640B2 (en) Image processing device and image processing method
JP2012169936A (en) Imaging apparatus and image processing method of the same
JP2021175166A (en) Projection system, projection method, and program
JP5566679B2 (en) Imaging apparatus and imaging method
CN110458768A (en) Image processing method, computer equipment and readable storage medium storing program for executing
JP5295289B2 (en) Imaging apparatus and control method thereof
JP2006279459A (en) Device, method and program for image photography, and recording medium

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7247501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150