JP6833110B2 - Image correction device, image correction method, and image correction program - Google Patents
Image correction device, image correction method, and image correction program Download PDFInfo
- Publication number
- JP6833110B2 JP6833110B2 JP2020521117A JP2020521117A JP6833110B2 JP 6833110 B2 JP6833110 B2 JP 6833110B2 JP 2020521117 A JP2020521117 A JP 2020521117A JP 2020521117 A JP2020521117 A JP 2020521117A JP 6833110 B2 JP6833110 B2 JP 6833110B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- moving image
- image data
- lens
- data obtained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000003702 image correction Methods 0.000 title claims description 47
- 238000003384 imaging method Methods 0.000 claims description 217
- 238000012937 correction Methods 0.000 claims description 59
- 230000003287 optical effect Effects 0.000 claims description 28
- 230000002093 peripheral effect Effects 0.000 claims description 16
- 230000004075 alteration Effects 0.000 claims description 14
- 238000009966 trimming Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Description
本開示は、画像補正装置、画像補正方法、及び画像補正プログラムに関する。
The present disclosure relates to an image correction device, an image correction method, and an image correction program.
従来、共通の被写体を同期して撮像する複数の撮像装置の中で、各撮像装置の撮像条件を連携させる処理の親機となる撮像装置を、共通の被写体の撮像に関する各撮像装置の状態に基づいて選択する技術が開示されている（特許文献１参照）。この技術では、選択された親機となる撮像装置による共通の被写体の撮像に際して取得される親機関連情報に基づいて、複数の撮像装置の撮像条件を決定する。
Conventionally, among a plurality of imaging devices that simultaneously image a common subject, the imaging device that is the master unit of the process of linking the imaging conditions of each imaging device is changed to the state of each imaging device related to the imaging of a common subject. A technique for selecting based on is disclosed (see Patent Document 1). In this technique, the imaging conditions of a plurality of imaging devices are determined based on the master unit-related information acquired when imaging a common subject by the selected imaging device as the master unit.
また、撮像者の操作により被写体を撮像して撮像画像を生成する主撮像装置から、主撮像装置の撮像タイミングを取得し、取得した撮像タイミングに基づいて、被写体を撮像して撮像画像を生成する補助撮像装置が開示されている（特許文献２参照）。
In addition, the imaging timing of the main imaging device is acquired from the main imaging device that captures the subject and generates the captured image by the operation of the imager, and the subject is imaged and the captured image is generated based on the acquired imaging timing. Auxiliary imaging devices are disclosed (see Patent Document 2).
また、目標のノイズ量であるノイズ目標量に基づいて、撮影パラメータにより特定される撮影条件を決定する技術が開示されている（特許文献３参照）。
Further, a technique for determining a shooting condition specified by a shooting parameter based on a noise target amount, which is a target noise amount, is disclosed (see Patent Document 3).
ところで、共通の被写体を複数の撮像装置の各々によって撮像し、各撮像装置による撮像により得られた動画像を１つの動画像にまとめることが一般的に行われている。複数の撮像装置は、例えば、それぞれが製造された年代の違い等に起因して、撮像レンズの光学性能が異なる場合がある。この場合、各撮像装置による撮像により得られた動画像間の画質の差異が比較的大きくなってしまう、という問題点があった。また、この結果、各撮像装置による撮像により得られた動画像をまとめることによって得られた１つの動画像は、映像に統一感のない動画像になってしまう。
By the way, it is generally practiced that a common subject is imaged by each of a plurality of imaging devices, and the moving images obtained by the imaging by each imaging device are combined into one moving image. The optical performance of the imaging lens may differ between the plurality of imaging devices, for example, due to differences in the age of manufacture of the plurality of imaging devices. In this case, there is a problem that the difference in image quality between the moving images obtained by imaging by each imaging device becomes relatively large. Further, as a result, one moving image obtained by collecting the moving images obtained by imaging by each imaging device becomes a moving image having no sense of unity in the image.
特許文献１〜３に記載の技術は、撮像時に撮像条件を決定することについては考慮されているものの、撮像レンズの光学性能が異なる複数の撮像装置の各々に対し、画質の差異が低減されるような撮像条件が決定できない場合がある。この場合、上記問題点を解決することはできない。
Although the techniques described in Patent Documents 1 to 3 take into consideration determining the imaging conditions at the time of imaging, the difference in image quality is reduced for each of a plurality of imaging devices having different optical performances of the imaging lenses. It may not be possible to determine such imaging conditions. In this case, the above problem cannot be solved.
本開示は、以上の事情を鑑みて成されたものであり、複数の撮像装置の各々による撮像により得られた動画像間の画質の差異を低減することができる画像補正装置、画像補正方法、及び画像補正プログラムを提供することを目的とする。
The present disclosure has been made in view of the above circumstances, and is an image correction device, an image correction method, which can reduce a difference in image quality between moving images obtained by imaging by each of a plurality of image pickup devices. And an image correction program is provided.
上記目的を達成するために、本開示の画像補正装置は、複数の撮像装置の各々による撮像により得られた動画像データを取得する取得部と、動画像データが第１の撮像装置による撮像により得られた動画像データであるか、又は第２の撮像装置による撮像により得られた動画像データであるかを判別する判別部と、動画像データが第２の撮像装置による撮像により得られた動画像データであると判別された場合、第１の撮像装置の撮像レンズの光学性能に関するレンズ情報データ及び第２の撮像装置の撮像レンズの光学性能に関するレンズ情報データを用いて、第２の撮像装置による撮像により得られた動画像データに対し、第１の撮像装置による撮像により得られた動画像データの画質に合わせる補正を行う補正部と、を備えている。
In order to achieve the above object, the image correction device of the present disclosure includes an acquisition unit that acquires moving image data obtained by imaging by each of a plurality of imaging devices, and the moving image data is imaged by the first imaging device. A discriminating unit for determining whether the moving image data is the obtained moving image data or the moving image data obtained by imaging by the second imaging device, and the moving image data was obtained by imaging by the second imaging device. When it is determined to be moving image data, a second image pickup is performed using the lens information data regarding the optical performance of the image pickup lens of the first image pickup device and the lens information data regarding the optical performance of the image pickup lens of the second image pickup device. It is provided with a correction unit that corrects the moving image data obtained by imaging by the apparatus to match the image quality of the moving image data obtained by imaging by the first imaging device.
なお、本開示の画像補正装置は、レンズ情報データが、周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つを含んでもよい。
In the image correction device of the present disclosure, the lens information data may include at least one of peripheral dimming amount, image pickup lens resolution, chromatic aberration amount, and color fog amount.
また、本開示の画像補正装置は、第１の撮像装置のレンズ情報データにおける周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つが、第２の撮像装置よりも光学性能が低くてもよい。
Further, in the image correction device of the present disclosure, at least one of the peripheral dimming amount, the resolution of the image pickup lens, the chromatic aberration amount, and the color cast amount in the lens information data of the first image pickup device has more optical performance than the second image pickup device. May be low.
また、本開示の画像補正装置は、第２の撮像装置による撮像により得られた動画像データに対する補正部による補正が、動画の撮像中に行われてもよい。
Further, in the image correction device of the present disclosure, correction by the correction unit may be performed on the moving image data obtained by the image pickup by the second image pickup device during the image pickup of the moving image.
また、本開示の画像補正装置は、動画の撮像中に、補正部による補正を経た動画像データが示す動画を表示部に表示する制御を行う表示制御部を更に備えてもよい。
Further, the image correction device of the present disclosure may further include a display control unit that controls the display of the moving image indicated by the moving image data corrected by the correction unit during the imaging of the moving image.
また、本開示の画像補正装置は、第２の撮像装置による撮像により得られた動画像データに対してトリミング処理を行う場合、補正部が、トリミング処理後の動画像データに対して補正を行ってもよい。
Further, in the image correction device of the present disclosure, when trimming the moving image data obtained by imaging by the second imaging device, the correction unit corrects the moving image data after the trimming processing. You may.
一方、上記目的を達成するために、本開示の画像補正方法は、複数の撮像装置の各々による撮像により得られた動画像データを取得し、動画像データが第１の撮像装置による撮像により得られた動画像データであるか、又は第２の撮像装置による撮像により得られた動画像データであるかを判別し、動画像データが第２の撮像装置による撮像により得られた動画像データであると判別した場合、第１の撮像装置の撮像レンズの光学性能に関するレンズ情報データ及び第２の撮像装置の撮像レンズの光学性能に関するレンズ情報データを用いて、第２の撮像装置による撮像により得られた動画像データに対し、第１の撮像装置による撮像により得られた動画像データの画質に合わせる補正を行う処理をコンピュータが実行するものである。
On the other hand, in order to achieve the above object, the image correction method of the present disclosure acquires moving image data obtained by imaging by each of a plurality of imaging devices, and the moving image data is obtained by imaging by the first imaging device. It is determined whether the moving image data is the obtained moving image data or the moving image data obtained by the imaging by the second imaging device, and the moving image data is the moving image data obtained by the imaging by the second imaging device. If it is determined to be present, it is obtained by imaging with the second imaging device using the lens information data regarding the optical performance of the imaging lens of the first imaging device and the lens information data regarding the optical performance of the imaging lens of the second imaging device. The computer executes a process of correcting the obtained moving image data according to the image quality of the moving image data obtained by imaging by the first imaging device.
また、上記目的を達成するために、本開示の画像補正プログラムは、複数の撮像装置の各々による撮像により得られた動画像データを取得し、動画像データが第１の撮像装置による撮像により得られた動画像データであるか、又は第２の撮像装置による撮像により得られた動画像データであるかを判別し、動画像データが第２の撮像装置による撮像により得られた動画像データであると判別した場合、第１の撮像装置の撮像レンズの光学性能に関するレンズ情報データ及び第２の撮像装置の撮像レンズの光学性能に関するレンズ情報データを用いて、第２の撮像装置による撮像により得られた動画像データに対し、第１の撮像装置による撮像により得られた動画像データの画質に合わせる補正を行う処理をコンピュータに実行させるためのものである。
Further, in order to achieve the above object, the image correction program of the present disclosure acquires moving image data obtained by imaging by each of a plurality of imaging devices, and the moving image data is obtained by imaging by the first imaging device. It is determined whether the moving image data is the obtained moving image data or the moving image data obtained by the imaging by the second imaging device, and the moving image data is the moving image data obtained by the imaging by the second imaging device. If it is determined to be present, it is obtained by imaging with the second imaging device using the lens information data regarding the optical performance of the imaging lens of the first imaging device and the lens information data regarding the optical performance of the imaging lens of the second imaging device. This is for causing a computer to perform a process of correcting the obtained moving image data according to the image quality of the moving image data obtained by imaging by the first imaging device.
本開示によれば、複数の撮像装置の各々による撮像により得られた動画像間の画質の差異を低減することができる。
According to the present disclosure, it is possible to reduce the difference in image quality between moving images obtained by imaging by each of a plurality of imaging devices.
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
Hereinafter, examples of embodiments for carrying out the technique of the present disclosure will be described in detail with reference to the drawings.
まず、図１を参照して、本実施形態に係る撮像システム１０の構成を説明する。図１に示すように、撮像システム１０は、被写体Ｓを撮像する第１の撮像装置１２及び第２の撮像装置１４Ａ、１４Ｂと、画像補正装置１６とを含む。第１の撮像装置１２及び第２の撮像装置１４Ａは、有線によって画像補正装置１６に接続され、第２の撮像装置１４Ｂは、無線によって画像補正装置１６に接続されている。第１の撮像装置１２、及び第２の撮像装置１４Ａ、１４Ｂの各々による撮像により得られた動画像データは、画像補正装置１６に出力される。
First, the configuration of the imaging system 10 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the image pickup system 10 includes a first image pickup device 12 and second image pickup devices 14A and 14B for photographing the subject S, and an image correction device 16. The first image pickup device 12 and the second image pickup device 14A are connected to the image correction device 16 by wire, and the second image pickup device 14B is wirelessly connected to the image correction device 16. The moving image data obtained by imaging by each of the first imaging device 12 and the second imaging devices 14A and 14B is output to the image correction device 16.
本実施形態では、第１の撮像装置１２の撮像レンズは、第２の撮像装置１４Ａ、１４Ｂの撮像レンズよりも古いレンズであり、オールドレンズとも称される。具体的には、第１の撮像装置１２の撮像レンズは、１９９７年以前に製造されたレンズである。これに対し、第２の撮像装置１４Ａ、１４Ｂの撮像レンズは、比較的新しいレンズである。
In the present embodiment, the image pickup lens of the first image pickup device 12 is a lens older than the image pickup lenses of the second image pickup devices 14A and 14B, and is also referred to as an old lens. Specifically, the image pickup lens of the first image pickup device 12 is a lens manufactured before 1997. On the other hand, the image pickup lenses of the second image pickup devices 14A and 14B are relatively new lenses.
また、第１の撮像装置１２の記憶部には、第１の撮像装置１２の撮像レンズの光学性能に関するレンズ情報データＬ１が記憶されている。また、第２の撮像装置１４Ａ、１４Ｂの記憶部には、第２の撮像装置１４Ａ、１４Ｂの撮像レンズの光学性能に関するレンズ情報データＬ２Ａ、Ｌ２Ｂが記憶されている。レンズ情報データＬ１、Ｌ２Ａ、Ｌ２Ｂは、それぞれ対応する撮像レンズの光学性能に関する情報として、周辺減光量を含む。レンズ情報データＬ１における周辺減光量は、レンズ情報データＬ２Ａ、Ｌ２Ｂにおける周辺減光量よりも光学性能が低い。具体的には、レンズ情報データＬ１における周辺減光量は、レンズ情報データＬ２Ａ、Ｌ２Ｂにおける周辺減光量よりも大きい。
Further, in the storage unit of the first image pickup device 12, lens information data L1 relating to the optical performance of the image pickup lens of the first image pickup device 12 is stored. Further, in the storage unit of the second imaging devices 14A and 14B, lens information data L2A and L2B relating to the optical performance of the imaging lenses of the second imaging devices 14A and 14B are stored. The lens information data L1, L2A, and L2B include peripheral dimming amount as information regarding the optical performance of the corresponding imaging lenses. The peripheral dimming amount in the lens information data L1 has lower optical performance than the peripheral dimming amount in the lens information data L2A and L2B. Specifically, the peripheral dimming amount in the lens information data L1 is larger than the peripheral dimming amount in the lens information data L2A and L2B.
また、本実施形態では、第１の撮像装置１２がメインの撮像装置であり、第２の撮像装置１４Ａ、１４Ｂがサブの撮像装置である。なお、以下では、第２の撮像装置１４Ａ、１４Ｂを総称する場合は、「第２の撮像装置１４」といい、レンズ情報データＬ２Ａ、Ｌ２Ｂを総称する場合は、「レンズ情報データＬ２」という。
Further, in the present embodiment, the first image pickup device 12 is the main image pickup device, and the second image pickup devices 14A and 14B are the sub image pickup devices. In the following, when the second imaging devices 14A and 14B are generically referred to, they are referred to as "second imaging device 14", and when the lens information data L2A and L2B are collectively referred to, they are referred to as "lens information data L2".
次に、図２を参照して、本実施形態に係る画像補正装置１６のハードウェア構成を説明する。図２に示すように、画像補正装置１６は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、画像補正装置１６は、液晶ディスプレイ等の表示部２３、キーボードとマウス等の入力部２４を含む。また、画像補正装置１６は、第１の撮像装置１２と第２の撮像装置１４Ａとが接続される外部Ｉ／Ｆ（InterFace）２５、及び第２の撮像装置１４Ｂが接続される通信Ｉ／Ｆ２６を含む。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２３、入力部２４、外部Ｉ／Ｆ２５、及び通信Ｉ／Ｆ２６は、バス２７に接続される。画像補正装置１６の例としては、パーソナルコンピュータ及びサーバコンピュータ等が挙げられる。
Next, the hardware configuration of the image correction device 16 according to the present embodiment will be described with reference to FIG. As shown in FIG. 2, the image correction device 16 includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a non-volatile storage unit 22. Further, the image correction device 16 includes a display unit 23 such as a liquid crystal display and an input unit 24 such as a keyboard and a mouse. Further, the image correction device 16 includes an external I / F (InterFace) 25 to which the first image pickup device 12 and the second image pickup device 14A are connected, and a communication I / F 26 to which the second image pickup device 14B is connected. including. The CPU 20, the memory 21, the storage unit 22, the display unit 23, the input unit 24, the external I / F25, and the communication I / F26 are connected to the bus 27. Examples of the image correction device 16 include a personal computer, a server computer, and the like.
記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、画像補正プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から画像補正プログラム３０を読み出してからメモリ２１に展開し、展開した画像補正プログラム３０を実行する。
The storage unit 22 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The image correction program 30 is stored in the storage unit 22 as a storage medium. The CPU 20 reads the image correction program 30 from the storage unit 22, expands it into the memory 21, and executes the expanded image correction program 30.
ところで、前述したように、第１の撮像装置１２の撮像レンズの光学性能は、第２の撮像装置１４Ａ、１４Ｂの撮像レンズの光学性能よりも低い。従って、一例として図３に示すように、第１の撮像装置１２による撮像により得られた動画像Ｄ１は、第２の撮像装置１４Ａ、１４Ｂによる撮像により得られた動画像Ｄ２、Ｄ３よりも周辺減光が目立つものとなる。これらの動画像をまとめることによって１つの動画像とした場合、その動画像は、映像に統一感が無いものとなってしまう。
By the way, as described above, the optical performance of the image pickup lens of the first image pickup device 12 is lower than the optical performance of the image pickup lenses of the second image pickup devices 14A and 14B. Therefore, as shown in FIG. 3 as an example, the moving image D1 obtained by the imaging by the first imaging device 12 is more peripheral than the moving images D2 and D3 obtained by the imaging by the second imaging devices 14A and 14B. The dimming becomes noticeable. When these moving images are combined into one moving image, the moving image has no sense of unity in the image.
一方で、ユーザは、独特の趣がある動画像を得るために、第１の撮像装置１２による撮像により得られた動画像の画質に合わせた動画像を生成したいこともある。そこで、本実施形態に係る画像補正装置１６は、第２の撮像装置１４による撮像により得られた動画像データに対し、第１の撮像装置１２による撮像により得られた動画像データの画質に合わせる補正を行う機能を備えている。
On the other hand, the user may want to generate a moving image that matches the image quality of the moving image obtained by imaging by the first imaging device 12 in order to obtain a moving image having a unique taste. Therefore, the image correction device 16 according to the present embodiment matches the image quality of the moving image data obtained by the imaging by the second imaging device 14 with the image quality of the moving image data obtained by the imaging by the first imaging device 12. It has a function to make corrections.
次に、図４を参照して、本実施形態に係る画像補正装置１６の機能的な構成について説明する。図４に示すように、画像補正装置１６は、取得部４０、判別部４２、及び補正部４４を含む。ＣＰＵ２０が画像補正プログラム３０を実行することで、取得部４０、判別部４２、及び補正部４４として機能する。
Next, with reference to FIG. 4, the functional configuration of the image correction device 16 according to the present embodiment will be described. As shown in FIG. 4, the image correction device 16 includes an acquisition unit 40, a discrimination unit 42, and a correction unit 44. When the CPU 20 executes the image correction program 30, it functions as an acquisition unit 40, a discrimination unit 42, and a correction unit 44.
取得部４０は、第１の撮像装置１２による撮像により得られた動画像データを第１の撮像装置１２から取得する。また、取得部４０は、第２の撮像装置１４Ａによる撮像により得られた動画像データを第２の撮像装置１４Ａから取得する。また、取得部４０は、第２の撮像装置１４Ｂによる撮像により得られた動画像データを第２の撮像装置１４Ｂから取得する。
The acquisition unit 40 acquires moving image data obtained by imaging by the first imaging device 12 from the first imaging device 12. In addition, the acquisition unit 40 acquires moving image data obtained by imaging by the second imaging device 14A from the second imaging device 14A. Further, the acquisition unit 40 acquires the moving image data obtained by the imaging by the second imaging device 14B from the second imaging device 14B.
また、取得部４０は、第１の撮像装置１２からレンズ情報データＬ１を取得する。また、取得部４０は、第２の撮像装置１４Ａからレンズ情報データＬ２Ａを取得する。また、取得部４０は、第２の撮像装置１４Ｂからレンズ情報データＬ２Ｂを取得する。
Further, the acquisition unit 40 acquires the lens information data L1 from the first image pickup apparatus 12. Further, the acquisition unit 40 acquires the lens information data L2A from the second image pickup apparatus 14A. Further, the acquisition unit 40 acquires the lens information data L2B from the second image pickup apparatus 14B.
判別部４２は、取得部４０により取得された動画像データが、第１の撮像装置１２による撮像により得られた動画像データであるか、又は第２の撮像装置１４Ａ、１４Ｂの何れかによる撮像により得られた動画像データであるかを判別する。
In the determination unit 42, the moving image data acquired by the acquiring unit 40 is the moving image data obtained by the imaging by the first imaging device 12, or the imaging by either of the second imaging devices 14A and 14B. It is determined whether or not the moving image data is obtained by.
補正部４４は、判別部４２により動画像データが第２の撮像装置１４Ａによる撮像により得られた動画像データであると判別された場合、レンズ情報データＬ１及びレンズ情報データＬ２Ａを用いて、以下に示す補正を行う。すなわち、この場合、補正部４４は、レンズ情報データＬ１及びレンズ情報データＬ２Ａを用いて、第２の撮像装置１４Ａによる撮像により得られた動画像データに対し、第１の撮像装置１２による撮像により得られた動画像データの画質に合わせる補正を行う。
When the determination unit 42 determines that the moving image data is the moving image data obtained by imaging by the second imaging device 14A, the correction unit 44 uses the lens information data L1 and the lens information data L2A to perform the following. Make the correction shown in. That is, in this case, the correction unit 44 uses the lens information data L1 and the lens information data L2A to perform imaging by the first imaging device 12 with respect to the moving image data obtained by imaging by the second imaging device 14A. Correction is performed according to the image quality of the obtained moving image data.
具体的には、補正部４４は、以下の（１）式に従って、第２の撮像装置１４Ａによる撮像により得られた動画像データの各フレームの各画素値を変換することによって、上記補正を行う。なお、（１）式における（ｘ、ｙ）は、画像内の画素の座標を表し、Ｌ’（ｘ、ｙ）は、補正部４４による補正後の座標（ｘ、ｙ）の画素の画素値を表す。また、Ｌ（ｘ、ｙ）は、第２の撮像装置１４Ａによる撮像により得られた動画像データ（すなわち、補正前の動画像データ）の座標（ｘ、ｙ）の画素の画素値を表す。また、（１）式におけるＳＨＤｍａｉｎ（ｘ、ｙ）は、レンズ情報データＬ１に含まれる第１の撮像装置１２の撮像レンズにおける座標（ｘ、ｙ）の画素の減光量を表す。また、（１）式におけるＳＨＤｓｕｂ（ｘ、ｙ）は、レンズ情報データＬ２Ａに含まれる第２の撮像装置１４Ａの撮像レンズにおける座標（ｘ、ｙ）の画素の減光量を表す。
Ｌ’（ｘ、ｙ）＝Ｌ（ｘ、ｙ）×ＳＨＤｍａｉｎ（ｘ、ｙ）÷ＳＨＤｓｕｂ（ｘ、ｙ）
・・・（１）
Specifically, the correction unit 44 performs the above correction by converting each pixel value of each frame of the moving image data obtained by imaging by the second imaging device 14A according to the following equation (1). .. In the equation (1), (x, y) represents the coordinates of the pixels in the image, and L'(x, y) is the pixel value of the pixels of the coordinates (x, y) corrected by the correction unit 44. Represents. Further, L (x, y) represents the pixel value of the pixel of the coordinates (x, y) of the moving image data (that is, the moving image data before correction) obtained by the imaging by the second imaging device 14A. Further, SHDmine (x, y) in the equation (1) represents the amount of dimming of the pixels of the coordinates (x, y) in the image pickup lens of the first image pickup apparatus 12 included in the lens information data L1. Further, the SHDsub (x, y) in the equation (1) represents the amount of dimming of the pixels of the coordinates (x, y) in the image pickup lens of the second image pickup apparatus 14A included in the lens information data L2A.
L'(x, y) = L (x, y) x SHDmine (x, y) ÷ SHDsub (x, y)
... (1)
また、補正部４４は、第２の撮像装置１４Ｂによる撮像により得られた動画像データについても同様に、レンズ情報データＬ１及びレンズ情報データＬ２Ｂを用いて第１の撮像装置１２による撮像により得られた動画像データの画質に合わせる補正を行う。なお、本実施形態では、補正部４４は、上記の補正をＲＡＷデータに対して行うか、もしくは、上記補正をガンマ変換後のノンリニアな信号に対して行う場合は、逆ガンマ変換を行うことによりリニアな信号に戻してから行う。また、補正部４４は、リニアな信号に戻してから上記補正を行った場合は、補正後にガンマ変換を行うことによって、ノンリニアな信号に戻す。
Further, the correction unit 44 also obtains the moving image data obtained by the image pickup by the second image pickup device 14B by the image pickup by the first image pickup device 12 using the lens information data L1 and the lens information data L2B. Make corrections to match the image quality of the moving image data. In the present embodiment, the correction unit 44 performs the above correction on the RAW data, or when the above correction is performed on the non-linear signal after the gamma conversion, the correction unit 44 performs the inverse gamma conversion. Perform after returning to a linear signal. Further, when the correction unit 44 returns the signal to a linear signal and then performs the above correction, the correction unit 44 returns the signal to a non-linear signal by performing gamma conversion after the correction.
そして、補正部４４は、上記の補正により得られた動画像データを記憶部２２に記憶する。以上説明した補正部４４による補正により、一例として図５に示すように、画質の差異が低減された動画像が生成される。
Then, the correction unit 44 stores the moving image data obtained by the above correction in the storage unit 22. By the correction by the correction unit 44 described above, as shown in FIG. 5 as an example, a moving image in which the difference in image quality is reduced is generated.
次に、図６を参照して、本実施形態に係る画像補正装置１６の作用を説明する。ＣＰＵ２０が画像補正プログラム３０を実行することによって、図６に示す画像補正処理が実行される。図６に示す画像補正処理は、例えば、第１の撮像装置１２、及び第２の撮像装置１４Ａ、１４Ｂの何れかによる撮像により得られた動画像データが画像補正装置１６に入力された場合に実行される。
Next, the operation of the image correction device 16 according to the present embodiment will be described with reference to FIG. When the CPU 20 executes the image correction program 30, the image correction process shown in FIG. 6 is executed. The image correction process shown in FIG. 6 is performed when, for example, moving image data obtained by imaging by any of the first imaging device 12 and the second imaging devices 14A and 14B is input to the image correction device 16. Will be executed.
図６のステップＳ１０で、取得部４０は、画像補正装置１６に入力された動画像データを取得する。ステップＳ１２で、判別部４２は、ステップＳ１０の処理により取得された動画像データが、第１の撮像装置１２による撮像により得られた動画像データであるか、又は第２の撮像装置１４Ａ、１４Ｂの何れかによる撮像により得られた動画像データであるかを判別する。判別部４２が、ステップＳ１０の処理により取得された動画像データが第１の撮像装置１２による撮像により得られた動画像データであると判別した場合、ステップＳ１２の判定が肯定判定となり、処理はステップＳ１４に移行する。判別部４２が、ステップＳ１０の処理により取得された動画像データが第２の撮像装置１４Ａ、１４Ｂの何れかによる撮像により得られた動画像データであると判別した場合、ステップＳ１２の判定が否定判定となり、処理はステップＳ１６に移行する。
In step S10 of FIG. 6, the acquisition unit 40 acquires the moving image data input to the image correction device 16. In step S12, the discriminating unit 42 determines that the moving image data acquired by the process of step S10 is the moving image data obtained by the imaging by the first imaging device 12, or the second imaging devices 14A and 14B. It is determined whether the moving image data is obtained by imaging by any of the above. When the determination unit 42 determines that the moving image data acquired by the processing of step S10 is the moving image data obtained by imaging by the first imaging device 12, the determination in step S12 becomes an affirmative determination, and the processing is performed. The process proceeds to step S14. When the determination unit 42 determines that the moving image data acquired by the process of step S10 is the moving image data obtained by imaging by any of the second imaging devices 14A and 14B, the determination in step S12 is denied. The determination is made, and the process proceeds to step S16.
ステップＳ１４で、取得部４０は、ステップＳ１０の処理により取得された動画像データを記憶部２２に記憶する。ステップＳ１４の処理が終了すると、画像補正処理が終了する。
In step S14, the acquisition unit 40 stores the moving image data acquired by the process of step S10 in the storage unit 22. When the process of step S14 is completed, the image correction process is completed.
一方、ステップＳ１６で、取得部４０は、第１の撮像装置１２からレンズ情報データＬ１を取得する。ステップＳ１８で、取得部４０は、ステップＳ１０の処理により取得された動画像データに対応する第２の撮像装置１４からレンズ情報データＬ２を取得する。
On the other hand, in step S16, the acquisition unit 40 acquires the lens information data L1 from the first image pickup apparatus 12. In step S18, the acquisition unit 40 acquires the lens information data L2 from the second imaging device 14 corresponding to the moving image data acquired by the process of step S10.
ステップＳ２０で、補正部４４は、前述したように、ステップＳ１６の処理により取得されたレンズ情報データＬ１及びステップＳ１８の処理により取得されたレンズ情報データＬ２を用いて、上記（１）式に従って、ステップＳ１０の処理により取得された動画像データに対する補正を行う。ステップＳ２２で、補正部４４は、ステップＳ２０の処理による補正後の動画像データを記憶部２２に記憶する。ステップＳ２２の処理が終了すると、画像補正処理が終了する。
In step S20, as described above, the correction unit 44 uses the lens information data L1 acquired by the process of step S16 and the lens information data L2 acquired by the process of step S18 according to the above equation (1). The moving image data acquired by the process of step S10 is corrected. In step S22, the correction unit 44 stores the moving image data corrected by the process of step S20 in the storage unit 22. When the process of step S22 is completed, the image correction process is completed.
以上説明したように、本実施形態によれば、レンズ情報データＬ１及びレンズ情報データＬ２を用いて、第２の撮像装置１４による撮像により得られた動画像データに対し、第１の撮像装置１２による撮像により得られた動画像データの画質に合わせる補正を行っている。従って、複数の撮像装置の各々による撮像により得られた動画像間の画質の差異を低減することができる。
As described above, according to the present embodiment, the first image pickup device 12 is used with respect to the moving image data obtained by the image pickup by the second image pickup device 14 using the lens information data L1 and the lens information data L2. Corrections are made to match the image quality of the moving image data obtained by imaging with. Therefore, it is possible to reduce the difference in image quality between the moving images obtained by imaging by each of the plurality of imaging devices.
なお、上記実施形態では、レンズ情報データＬ１、Ｌ２Ａ、Ｌ２Ｂに、撮像レンズの光学性能に関する情報として、周辺減光量が含まれる場合について説明したが、これに限定されない。例えば、レンズ情報データＬ１、Ｌ２Ａ、Ｌ２Ｂに、撮像レンズの光学性能に関する情報として、撮像レンズの解像度が含まれる形態としてもよい。この場合、補正部４４は、上記（１）式に代えて、以下の（２）式に従って、第２の撮像装置１４による撮像により得られた動画像データに対する補正を行う形態が例示される。なお、（２）式におけるＲｍａｉｎ（ｘ、ｙ）は、レンズ情報データＬ１に含まれる第１の撮像装置１２の撮像レンズにおける座標（ｘ、ｙ）の画素の解像度を表す。また、（２）式におけるＲｓｕｂ（ｘ、ｙ）は、レンズ情報データＬ２に含まれる第２の撮像装置１４の撮像レンズにおける座標（ｘ、ｙ）の画素の解像度を表す。
Ｌ’（ｘ、ｙ）＝Ｌ（ｘ、ｙ）×Ｒｍａｉｎ（ｘ、ｙ）÷Ｒｓｕｂ（ｘ、ｙ）・・・（２）
In the above embodiment, the case where the lens information data L1, L2A, and L2B includes the peripheral dimming amount as the information regarding the optical performance of the image pickup lens has been described, but the present invention is not limited to this. For example, the lens information data L1, L2A, and L2B may include the resolution of the image pickup lens as information regarding the optical performance of the image pickup lens. In this case, instead of the above equation (1), the correction unit 44 exemplifies a mode in which the moving image data obtained by imaging by the second imaging apparatus 14 is corrected according to the following equation (2). In addition, Rmain (x, y) in the equation (2) represents the resolution of the pixel of the coordinate (x, y) in the image pickup lens of the first image pickup apparatus 12 included in the lens information data L1. Further, Rsub (x, y) in the equation (2) represents the resolution of the pixels of the coordinates (x, y) in the image pickup lens of the second image pickup device 14 included in the lens information data L2.
L'(x, y) = L (x, y) x Rmain (x, y) ÷ Rsub (x, y) ... (2)
また、例えば、レンズ情報データＬ１、Ｌ２Ａ、Ｌ２Ｂに、撮像レンズの光学性能に関する情報として、色かぶり量が含まれる形態としてもよい。この場合、補正部４４は、上記（１）式に代えて、以下の（３）式に従って、第２の撮像装置１４による撮像により得られた動画像データに対する補正を行う形態が例示される。なお、（３）式におけるＣＦｍａｉｎ（ｘ、ｙ）は、レンズ情報データＬ１に含まれる第１の撮像装置１２の撮像レンズにおける座標（ｘ、ｙ）の画素の色かぶり量を表す。また、（３）式におけるＣＦｓｕｂ（ｘ、ｙ）は、レンズ情報データＬ２に含まれる第２の撮像装置１４の撮像レンズにおける座標（ｘ、ｙ）の画素の色かぶり量を表す。
Ｌ’（ｘ、ｙ）＝Ｌ（ｘ、ｙ）×ＣＦｍａｉｎ（ｘ、ｙ）÷ＣＦｓｕｂ（ｘ、ｙ）・・・（３）
Further, for example, the lens information data L1, L2A, and L2B may include a color cast amount as information on the optical performance of the imaging lens. In this case, instead of the above equation (1), the correction unit 44 exemplifies a mode in which the moving image data obtained by imaging by the second imaging apparatus 14 is corrected according to the following equation (3). The CFmain (x, y) in the equation (3) represents the amount of color cast of the pixels at the coordinates (x, y) in the image pickup lens of the first image pickup device 12 included in the lens information data L1. Further, CFsub (x, y) in the equation (3) represents the amount of color cast of the pixels of the coordinates (x, y) in the image pickup lens of the second image pickup device 14 included in the lens information data L2.
L'(x, y) = L (x, y) x CFmain (x, y) ÷ CFsub (x, y) ... (3)
また、例えば、レンズ情報データＬ１、Ｌ２Ａ、Ｌ２Ｂに、撮像レンズの光学性能に関する情報として、色収差量が含まれる形態としてもよい。この場合、補正部４４は、上記（１）式に代えて、以下の（４−１）、（４−２）式に従って、第２の撮像装置１４による撮像により得られた動画像データに対する補正を行う形態が例示される。なお、（４−１）式におけるＣＡｍａｉｎ（ｘ、ｙ）は、レンズ情報データＬ１に含まれる第１の撮像装置１２の撮像レンズにおける座標（ｘ、ｙ）の画素の倍率色収差量を表す。また、（４−１）式におけるＣＡｓｕｂ（ｘ、ｙ）は、レンズ情報データＬ２に含まれる第２の撮像装置１４の撮像レンズにおける座標（ｘ、ｙ）の画素の倍率色収差量を表す。また、（４−２）式におけるＣＡｍａｉｎ（ｘ、ｙ、ｌ、ｄ）は、レンズ情報データＬ１に含まれる第１の撮像装置１２の撮像レンズにおける座標（ｘ、ｙ）の画素の軸上色収差量を表す。
また、（４−２）式におけるＣＡｓｕｂ（ｘ、ｙ、ｌ、ｄ）は、レンズ情報データＬ２に含まれる第２の撮像装置１４の撮像レンズにおける座標（ｘ、ｙ）の画素の軸上色収差量を表す。また、（４−２）式におけるｌは、第２の撮像装置１４から合焦している面までの距離を表し、ｄは、合焦している面から被写体までの距離を表す。
Ｌ’（ｘ、ｙ）＝Ｌ（ｘ、ｙ）×ＣＡｍａｉｎ（ｘ、ｙ）÷ＣＡｓｕｂ（ｘ、ｙ）・・・（４−１）
Ｌ’（ｘ、ｙ）＝Ｌ（ｘ、ｙ）×ＣＡｍａｉｎ（ｘ、ｙ、ｌ、ｄ）÷ＣＡｓｕｂ（ｘ、ｙ、ｌ、ｄ）・・・（４−２）
Further, for example, the lens information data L1, L2A, and L2B may include a chromatic aberration amount as information regarding the optical performance of the imaging lens. In this case, the correction unit 44 corrects the moving image data obtained by imaging by the second imaging device 14 according to the following equations (4-1) and (4-2) instead of the above equation (1). Is illustrated. The CAmain (x, y) in the equation (4-1) represents the amount of chromatic aberration of magnification of the pixels of the coordinates (x, y) in the image pickup lens of the first image pickup device 12 included in the lens information data L1. Further, CAsub (x, y) in the equation (4-1) represents the amount of chromatic aberration of magnification of the pixels of the coordinates (x, y) in the image pickup lens of the second image pickup apparatus 14 included in the lens information data L2. Further, the CAmain (x, y, l, d) in the equation (4-2) is the axial chromatic aberration of the pixels of the coordinates (x, y) in the image pickup lens of the first image pickup device 12 included in the lens information data L1. Represents a quantity.
Further, the CAsub (x, y, l, d) in the equation (4-2) is the axial chromatic aberration of the pixels of the coordinates (x, y) in the image pickup lens of the second image pickup device 14 included in the lens information data L2. Represents a quantity. Further, l in the equation (4-2) represents the distance from the second imaging device 14 to the in-focus surface, and d represents the distance from the in-focus surface to the subject.
L'(x, y) = L (x, y) x CAmain (x, y) ÷ CAsub (x, y) ... (4-1)
L'(x, y) = L (x, y) x CAmain (x, y, l, d) ÷ CAsub (x, y, l, d) ... (4-2)
また、補正部４４は、前述した周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の２つ以上を用いて、第２の撮像装置１４による撮像により得られた動画像データに対する補正を行う形態としてもよい。
Further, the correction unit 44 corrects the moving image data obtained by imaging by the second imaging device 14 by using two or more of the peripheral dimming amount, the resolution of the imaging lens, the chromatic aberration amount, and the color fog amount described above. It may be in the form of performing.
また、上記実施形態において、第２の撮像装置１４による撮像により得られた動画像データに対してトリミング処理を行う形態としてもよい。この形態例における画像補正処理のフローチャートの一例を図７に示す。なお、図７における図６と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。
Further, in the above embodiment, the moving image data obtained by the imaging by the second imaging device 14 may be trimmed. FIG. 7 shows an example of a flowchart of image correction processing in this embodiment. The steps for executing the same processing as in FIG. 6 in FIG. 7 are given the same step numbers and the description thereof will be omitted.
図７のステップＳ３０で、補正部４４は、ステップＳ１０の処理により得られた動画像データに対してトリミング処理を実行するか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ２０に移行し、肯定判定となった場合は、処理はステップＳ３２に移行する。
In step S30 of FIG. 7, the correction unit 44 determines whether or not to execute the trimming process on the moving image data obtained by the process of step S10. If this determination is a negative determination, the process proceeds to step S20, and if this determination is affirmative, the process proceeds to step S32.
ステップＳ３２で、補正部４４は、ステップＳ１０の処理により得られた動画像データに対してトリミング処理を実行する。ステップＳ３４で、補正部４４は、トリミング処理により得られた動画像データに対し、元の動画像のサイズと同じサイズにするための拡大処理を行う。この場合、次のステップＳ２０では、トリミング処理及び拡大処理を経た動画像データに対して補正が行われる。
In step S32, the correction unit 44 executes a trimming process on the moving image data obtained by the process of step S10. In step S34, the correction unit 44 performs an enlargement process for making the moving image data obtained by the trimming process the same size as the original moving image. In this case, in the next step S20, correction is performed on the moving image data that has undergone the trimming process and the enlargement process.
この形態例では、一例として図８の左側に示すように、トリミング処理後の動画像データに対して補正部４４による補正が行われる。従って、図８の右側に示すように、補正部４４による補正後にトリミング処理が行われる場合に比較して、複数の撮像装置の各々による撮像により得られた動画像間の画質の差異をより低減することができる。
In this embodiment, as shown on the left side of FIG. 8 as an example, the correction unit 44 corrects the moving image data after the trimming process. Therefore, as shown on the right side of FIG. 8, the difference in image quality between the moving images obtained by imaging by each of the plurality of imaging devices is further reduced as compared with the case where the trimming process is performed after the correction by the correction unit 44. can do.
また、上記実施形態において、動画の撮像中に、リアルタイムに各フレームの画像に対して上記の補正部４４による補正を行ってもよい。また、この場合、上記の補正部４４による補正が完了したフレームの画像を順次表示部２３に表示する形態が例示される。この形態例では、ＣＰＵ２０が補正部４４による補正を経た動画像データが示す動画を表示部２３に表示する制御を行う表示制御部として機能する。
Further, in the above embodiment, the correction unit 44 may perform correction on the image of each frame in real time during the imaging of the moving image. Further, in this case, a mode is exemplified in which the images of the frames for which the correction by the correction unit 44 has been completed are sequentially displayed on the display unit 23. In this embodiment, the CPU 20 functions as a display control unit that controls the display of the moving image indicated by the moving image data corrected by the correction unit 44 on the display unit 23.
また、上記実施形態において、撮像システム１０に含まれる全ての撮像装置が、最新レンズ等の比較的新しい撮像レンズを備えてもよい。この場合、全ての撮像装置による撮像により得られた動画像データに対し、上記の補正部４４による補正を行う形態が例示される。
Further, in the above embodiment, all the imaging devices included in the imaging system 10 may be provided with a relatively new imaging lens such as the latest lens. In this case, a mode in which the correction unit 44 corrects the moving image data obtained by imaging with all the imaging devices is exemplified.
また、上記実施形態において画像補正装置１６が実行した画像補正処理を第２の撮像装置１４Ａ、１４Ｂの何れかが実行してもよい。
Further, any of the second image pickup devices 14A and 14B may execute the image correction process executed by the image correction device 16 in the above embodiment.
また、上記実施形態でＣＰＵがソフトウェア（プログラム）を実行することにより実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
Further, various processors other than the CPU may execute various processes executed by the CPU executing software (program) in the above embodiment. In this case, the processor is a PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing an FPGA (Field-Programmable Gate Array) or the like, and an ASIC (Application Specific Integrated Circuit) or the like in order to execute a specific process. An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for the purpose. Further, the above-mentioned various processes may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs and a combination of a CPU and an FPGA). Etc.). Further, the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
また、上記実施形態では、画像補正プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像補正プログラム３０は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像補正プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
Further, in the above embodiment, the mode in which the image correction program 30 is stored (installed) in the storage unit 22 in advance has been described, but the present invention is not limited to this. The image correction program 30 is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. May be good. Further, the image correction program 30 may be downloaded from an external device via a network.
１０ 撮像システム
１２ 第１の撮像装置
１４Ａ、１４Ｂ 第２の撮像装置
１６ 画像補正装置
２０ ＣＰＵ
２１ メモリ
２２ 記憶部
２３ 表示部
２４ 入力部
２５ 外部Ｉ／Ｆ
２６ 通信Ｉ／Ｆ
２７ バス
３０ 画像補正プログラム
４０ 取得部
４２ 判別部
４４ 補正部
Ｄ１、Ｄ２、Ｄ３ 動画像
Ｌ１、Ｌ２Ａ、Ｌ２Ｂ レンズ情報データ
Ｓ 被写体
10 Imaging system
12 First imaging device
14A, 14B Second imaging device
16 Image correction device
20 CPU
21 memory
22 Memory
23 Display
24 Input section
25 External I / F
26 Communication I / F
27 bus
30 Image correction program
40 Acquisition department
42 discrimination unit
44 Correction unit
D1, D2, D3 video
L1, L2A, L2B lens information data
S subject
Claims (6)
前記動画像データが第１の撮像装置による撮像により得られた動画像データであるか、又は第２の撮像装置による撮像により得られた動画像データであるかを判別する判別部と、
前記動画像データが前記第２の撮像装置による撮像により得られた動画像データであると判別された場合、前記第１の撮像装置の撮像レンズの光学性能に関するレンズ情報データ及び前記第２の撮像装置の撮像レンズの光学性能に関するレンズ情報データを用いて、前記第２の撮像装置による撮像により得られた動画像データに対し、前記第１の撮像装置による撮像により得られた動画像データの画質に合わせる補正を行う補正部と、
を備え、
前記レンズ情報データは、周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つを含み、
前記第１の撮像装置のレンズ情報データにおける周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つは、前記第２の撮像装置よりも光学性能が低い
画像補正装置。 An acquisition unit that acquires moving image data obtained by imaging with each of a plurality of imaging devices,
A discriminating unit for determining whether the moving image data is moving image data obtained by imaging by the first imaging device or moving image data obtained by imaging by the second imaging device.
When it is determined that the moving image data is the moving image data obtained by the imaging by the second imaging device, the lens information data relating to the optical performance of the imaging lens of the first imaging device and the second imaging Using the lens information data related to the optical performance of the imaging lens of the apparatus, the image quality of the moving image data obtained by the imaging by the first imaging device is compared with the moving image data obtained by the imaging by the second imaging apparatus. A correction unit that makes corrections according to
Equipped with a,
The lens information data includes at least one of peripheral dimming amount, image pickup lens resolution, chromatic aberration amount, and color cast amount.
At least one of the peripheral dimming amount, the resolution of the image pickup lens, the amount of chromatic aberration, and the amount of color cast in the lens information data of the first image pickup device has lower optical performance than that of the second image pickup device.
Image correction device.
請求項１に記載の画像補正装置。 The image correction device according to claim 1, wherein the correction unit corrects the moving image data obtained by imaging by the second image pickup device, which is performed during the imaging of a moving image.
請求項２に記載の画像補正装置。 The image correction device according to claim 2 , further comprising a display control unit that controls the display of the moving image indicated by the moving image data corrected by the correction unit during the imaging of the moving image.
請求項１から請求項３の何れか１項に記載の画像補正装置。 When performing the trimming process on the moving image data obtained by the imaging by the second imaging device, the correction unit performs the correction on the moving image data after the trimming process. Claims 1 to 3. The image correction device according to any one of the above.
前記動画像データが第１の撮像装置による撮像により得られた動画像データであるか、又は第２の撮像装置による撮像により得られた動画像データであるかを判別し、
前記動画像データが前記第２の撮像装置による撮像により得られた動画像データであると判別した場合、前記第１の撮像装置の撮像レンズの光学性能に関するレンズ情報データ及び前記第２の撮像装置の撮像レンズの光学性能に関するレンズ情報データを用いて、前記第２の撮像装置による撮像により得られた動画像データに対し、前記第１の撮像装置による撮像により得られた動画像データの画質に合わせる補正を行う
処理をコンピュータが実行する画像補正方法であって、
前記レンズ情報データは、周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つを含み、
前記第１の撮像装置のレンズ情報データにおける周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つは、前記第２の撮像装置よりも光学性能が低い
画像補正方法。 Acquire moving image data obtained by imaging with each of a plurality of imaging devices,
It is determined whether the moving image data is the moving image data obtained by the imaging by the first imaging device or the moving image data obtained by the imaging by the second imaging device.
When it is determined that the moving image data is the moving image data obtained by imaging by the second imaging device, the lens information data relating to the optical performance of the imaging lens of the first imaging device and the second imaging device. Using the lens information data related to the optical performance of the imaging lens of the above, the image quality of the moving image data obtained by the imaging by the first imaging device is compared with the moving image data obtained by the imaging by the second imaging device. This is an image correction method in which a computer executes the process of correcting to match.
The lens information data includes at least one of peripheral dimming amount, image pickup lens resolution, chromatic aberration amount, and color cast amount.
At least one of the peripheral dimming amount, the resolution of the image pickup lens, the amount of chromatic aberration, and the amount of color cast in the lens information data of the first image pickup device has lower optical performance than that of the second image pickup device.
Image correction method.
前記動画像データが第１の撮像装置による撮像により得られた動画像データであるか、又は第２の撮像装置による撮像により得られた動画像データであるかを判別し、
前記動画像データが前記第２の撮像装置による撮像により得られた動画像データであると判別した場合、前記第１の撮像装置の撮像レンズの光学性能に関するレンズ情報データ及び前記第２の撮像装置の撮像レンズの光学性能に関するレンズ情報データを用いて、前記第２の撮像装置による撮像により得られた動画像データに対し、前記第１の撮像装置による撮像により得られた動画像データの画質に合わせる補正を行う
処理をコンピュータに実行させるための画像補正プログラムであって、
前記レンズ情報データは、周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つを含み、
前記第１の撮像装置のレンズ情報データにおける周辺減光量、撮像レンズの解像度、色収差量、及び色かぶり量の少なくとも１つは、前記第２の撮像装置よりも光学性能が低い
画像補正プログラム。 Acquire moving image data obtained by imaging with each of a plurality of imaging devices,
It is determined whether the moving image data is the moving image data obtained by the imaging by the first imaging device or the moving image data obtained by the imaging by the second imaging device.
When it is determined that the moving image data is the moving image data obtained by imaging by the second imaging device, the lens information data relating to the optical performance of the imaging lens of the first imaging device and the second imaging device. Using the lens information data related to the optical performance of the imaging lens of the above, the image quality of the moving image data obtained by the imaging by the first imaging device is compared with the moving image data obtained by the imaging by the second imaging device. An image correction program that allows a computer to perform matching correction processing.
The lens information data includes at least one of peripheral dimming amount, image pickup lens resolution, chromatic aberration amount, and color cast amount.
At least one of the peripheral dimming amount, the resolution of the image pickup lens, the amount of chromatic aberration, and the amount of color cast in the lens information data of the first image pickup device has lower optical performance than that of the second image pickup device.
Image correction program.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018096912 | 2018-05-21 | ||
| JP2018096912 | 2018-05-21 | ||
| PCT/JP2019/016999 WO2019225255A1 (en) | 2018-05-21 | 2019-04-22 | Image correction device, image correction method, and image correction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019225255A1 JPWO2019225255A1 (en) | 2021-02-18 |
| JP6833110B2 true JP6833110B2 (en) | 2021-02-24 |
Family
ID=68615696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020521117A Active JP6833110B2 (en) | 2018-05-21 | 2019-04-22 | Image correction device, image correction method, and image correction program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6833110B2 (en) |
| WO (1) | WO2019225255A1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4848230B2 (en) * | 2006-08-30 | 2011-12-28 | 株式会社リコー | Image processing method, imaging apparatus, image processing apparatus, and program |
| JP5364845B2 (en) * | 2010-05-31 | 2013-12-11 | 株式会社Ｐｆｕ | Overhead scanner device, image processing method, and program |
| JP5888873B2 (en) * | 2011-05-12 | 2016-03-22 | オリンパス株式会社 | Image transmitting apparatus and imaging display system |
| US9900505B2 (en) * | 2014-07-23 | 2018-02-20 | Disney Enterprises, Inc. | Panoramic video from unstructured camera arrays with globally consistent parallax removal |
| WO2018087856A1 (en) * | 2016-11-10 | 2018-05-17 | 三菱電機株式会社 | Image synthesis device and image synthesis method |
-
2019
- 2019-04-22 JP JP2020521117A patent/JP6833110B2/en active Active
- 2019-04-22 WO PCT/JP2019/016999 patent/WO2019225255A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019225255A1 (en) | 2019-11-28 |
| JPWO2019225255A1 (en) | 2021-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5984493B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
| JP6319972B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6579868B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6104010B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP7212554B2 (en) | Information processing method, information processing device, and program | |
| JP5534832B2 (en) | Image processing apparatus, image processing method, and program | |
| US11308592B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network | |
| JP6320053B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2015115733A (en) | Image processing method, image processor, imaging device, and image processing program | |
| US10122939B2 (en) | Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium | |
| JP6415063B2 (en) | Image processing apparatus, image processing method, control program, and recording medium | |
| JP6833110B2 (en) | Image correction device, image correction method, and image correction program | |
| EP3474532B1 (en) | Image processing apparatus, image processing method, and program | |
| US9710897B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2017103756A (en) | Image data processing apparatus and method | |
| JP2021047827A (en) | Device, system, control method, and program | |
| JP6468751B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6648918B2 (en) | Image processing device, imaging device, image processing method, image processing program, and storage medium | |
| JP6521763B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and recording medium | |
| US9648232B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
| JP5539561B2 (en) | Image processing apparatus and method | |
| US11711607B2 (en) | Information processing apparatus capable of applying image processing based on evaluation results, image processing apparatus, and method of controlling the same | |
| JP6639120B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2021150854A (en) | Imaging apparatus, control method of imaging apparatus, image capturing system, and program | |
| JP6150558B2 (en) | Tracking processing apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201019 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201019 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201019 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6833110 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |