JP6263623B2 - Image generation method and dual lens apparatus - Google Patents
Image generation method and dual lens apparatus Download PDFInfo
- Publication number
- JP6263623B2 JP6263623B2 JP2016536587A JP2016536587A JP6263623B2 JP 6263623 B2 JP6263623 B2 JP 6263623B2 JP 2016536587 A JP2016536587 A JP 2016536587A JP 2016536587 A JP2016536587 A JP 2016536587A JP 6263623 B2 JP6263623 B2 JP 6263623B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing parameter
- acquired
- captured
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 72
- 230000009977 dual effect Effects 0.000 title claims description 70
- 238000012545 processing Methods 0.000 claims description 142
- 238000004091 panning Methods 0.000 claims description 40
- 206010034960 Photophobia Diseases 0.000 claims description 20
- 208000013469 light sensitivity Diseases 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000009966 trimming Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 206010034972 Photosensitivity reaction Diseases 0.000 description 8
- 230000036211 photosensitivity Effects 0.000 description 8
- 206010044565 Tremor Diseases 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0018—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
Description
本発明は、画像処理技術の分野に関し、特に画像生成方法及びデュアルレンズ装置に関する。 The present invention relates to the field of image processing technology, and more particularly to an image generation method and a dual lens device.
現在、従来の写真撮影によって取得された画像と比較すると、異なる露出量を有するＬＤＲ（Low Dynamic Range、低ダイナミックレンジ画像処理）画像の複数のフレームは、ＨＤＲ（High Dynamic Range、高ダイナミックレンジ画像処理）画像を使用することによって合成され、その結果、より広いダイナミックレンジ、及びより多くの画像詳細が提供されることができ、実際の環境における視覚効果が更によく反映されることができる。したがって、この技術は、スマート端末のＣａｍｅｒａ（カメラ）写真撮影領域に広く適用される。 Currently, multiple frames of LDR (Low Dynamic Range image processing) images having different exposure amounts are compared to HDR (High Dynamic Range, High Dynamic Range image processing) images compared to images acquired by conventional photography. ) Synthesized by using images, so that a wider dynamic range and more image details can be provided, and the visual effects in the actual environment can be better reflected. Therefore, this technology is widely applied to the camera (camera) photography area of the smart terminal.
異なる露出量を有する画像の複数のフレームはＨＤＲ技術においてキャプチャされる必要があるので、そしてＣａｍｅｒａ写真撮影システムの最大フレームレートの制限に起因して、画像のこれらの複数のフレームの間には写真撮影時間間隔が存在する。時間間隔内において、もし手が震えるか、又は、例えば風が枝に吹きつけ、そして人物が歩くように、シーン内の物体が動くならば、これらの画像における画像内容が変化し、画像合成の間に“ゴースト”現象が発生する。一般に、ゴーストは写真においてしばしば発生し、そして、特に逆光写真撮影の間が最も一般的である。光学的画像処理システムにおいて、像点と同様の１つ又は複数の画像は像点の周辺に存在し、その像点を除く他の像点は集合的に“ゴースト”と言われる。例えば、図１において、図１における右側の画像は、正常な写真撮影の間の実在人物Ａであり、そして左側の画像は、現れるゴーストＢである。動きの速いシーンを写真撮影することに対して、この現象はとりわけ顕著である。したがって、いかに“ゴースト”を取り除くかが、ＨＤＲ技術における困難のうちの１つになり、そしてＨＤＲ画像の品質に対して大きな重要性を有している。
Because multiple frames of an image with different exposures need to be captured in HDR technology, and due to limitations in the maximum frame rate of the Camera photography system, during these multiple frames of the image There is a shooting time interval. Within a time interval, if the hand shakes, or if an object in the scene moves, for example, the wind blows on a branch and a person walks, the image content in these images changes, and the image composition In between, a “ghost” phenomenon occurs. In general, ghosts often occur in photography and are most common during backlit photography. In an optical image processing system, one or more images similar to an image point exist around the image point, and the other image points other than the image point are collectively referred to as “ghost”. For example, in FIG. 1, the right side of the image in FIG. 1 is a real person A between the normal photography, and left images are appearing ghost B. This phenomenon is particularly noticeable for taking pictures of fast moving scenes. Thus, how to remove “ghost” becomes one of the difficulties in HDR technology and has great importance on the quality of HDR images.
“ゴースト”を取り除くために、従来技術には下記の２つの方法がある。 In order to remove “ghost”, there are the following two methods in the prior art.
方法１：Ｃａｍｅｒａコンポーネント上で、異なる露出量が交互の行及び／又は列における感知ユニットに対して使用され、そしてＨＤＲ画像は、デジタル補間技術及び画像融合アルゴリズムを使用することにより取得される。
Method 1: On the Camera component, different exposures are used for sensing units in alternating rows and / or columns, and HDR images are acquired by using digital interpolation techniques and image fusion algorithms.
この解決法では、“ゴースト”問題は上手に解決されることができるが、しかし、交互の行／列における露出量及びデジタル補間が使用されるので、画像解像度が比較的低い。 In this solution, the “ghost” problem can be solved well, but the image resolution is relatively low because exposure and digital interpolation in alternating rows / columns are used.
方法２：画像融合アルゴリズムが使用される前に、画像位置合わせアルゴリズム及びゴースト排除アルゴリズムが加えられ、その結果、画像融合に対する手の震え及びシーンの動きの影響が減少する。 Method 2: Before the image fusion algorithm is used, an image registration algorithm and a ghost rejection algorithm are added, so that the effects of hand tremors and scene motion on image fusion are reduced.
この解決法では、ゴースト問題はある程度改善することができる。しかしながら、アルゴリズムの複雑さが増大し、いくつかのシナリオでは、位置合わせアルゴリズム及びゴースト排除アルゴリズムは失敗するか、又は誤りが導入され、ＨＤＲ画像における“ゴースト”が上手に取り除かれることができない。図２において示されたように、実在人物Ａに加えて、ゴーストＢがまだ存在する。 With this solution, the ghost problem can be improved to some extent. However, the complexity of the algorithm increases and in some scenarios, the registration and ghost rejection algorithms fail or errors are introduced and “ghosts” in HDR images cannot be successfully removed. As shown in FIG. 2, in addition to the real person A, the ghost B still exists.
要するに、従来技術には、ＨＤＲ画像におけるゴーストを取り除く比較的良い方法がまだ存在しない。 In short, the prior art does not yet have a relatively good way to remove ghosts in HDR images.
したがって、従来技術に存在する技術的な問題は、写真撮影の間に手が震えるか、及び／又はシーン内の物体が動く場合に、“ゴースト”現象が時分割画像の複数のフレームを融合させることにより生成された高ダイナミックレンジ画像に存在する、ということである。 Thus, the technical problem that exists in the prior art is that the “ghost” phenomenon fuses multiple frames of time-division images when hands shake during photography and / or when objects in the scene move. It exists in the high dynamic range image produced | generated by this.
本発明は、画像生成方法及びデュアルレンズ装置を提供し、それは、写真撮影の間に手が震えるか、及び／又はシーン内の物体が動く場合に、“ゴースト”現象が時分割画像の複数のフレームを融合させることにより生成された高ダイナミックレンジ画像に存在する、という従来技術における問題を解決するために使用される。 The present invention provides an image generation method and a dual-lens device, where the “ghost” phenomenon causes multiple images of time-division images when the hand shakes during photography and / or when an object in the scene moves. It is used to solve the problems in the prior art that exist in high dynamic range images generated by fusing frames.
第１の態様によれば、デュアルレンズ装置に適用される画像生成方法が説明され、前記デュアルレンズ装置が前記デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含み、当該方法は、第１の処理パラメータ及び第２の処理パラメータを判定するステップであって、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ステップと、前記第１の処理パラメータに従って、前記第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するステップと、前記第２の処理パラメータに従って、前記第２のレンズに対応する第２の画像センサにより前記第１の瞬間にキャプチャされた第２の画像を獲得するステップと、写真撮影操作命令が受信される場合に、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するステップとを含む。 According to a first aspect, an image generation method applied to a dual lens device is described, the dual lens device comprising a first lens and a second lens arranged in the same plane of the dual lens device, The method is a step of determining a first processing parameter and a second processing parameter, wherein the first processing parameter is different from the second processing parameter, and according to the first processing parameter, Acquiring a first image captured at a first moment by a first image sensor corresponding to the first lens; and a second corresponding to the second lens according to the second processing parameter. A second image captured at the first moment by the first image sensor and generating a picture when a photography operation command is received. To, and combining the first second image image and said been acquired of the were acquired for.
第１の態様に関連して、第１の可能な実施方法において、第１の処理パラメータ及び第２の処理パラメータを判定する前記ステップは、ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するステップか、又は、前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定するとともに、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するステップを含み、前記第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータは第２の露出量又は第２の光感度を含み、前記第１の露出量は前記第２の露出量と異なり、前記第１の光感度は前記第２の光感度と異なる。 In connection with the first aspect, in a first possible implementation method, the step of determining a first processing parameter and a second processing parameter receives a user instruction, and the first processing parameter and the Determining the first processing parameter according to a step of presetting a second processing parameter, or according to a result of image scene recognition performed before the first image is acquired, and the second image; Determining the second processing parameter according to a result of image scene recognition performed before is acquired, wherein the first processing parameter includes a first exposure amount or a first light sensitivity; The second processing parameter includes a second exposure amount or a second photosensitivity, the first exposure amount is different from the second exposure amount, and the first photosensitivity is the second exposure amount. Different from the light sensitivity.
第１の態様及び第１の可能な実施方法に関連して、第２の可能な実施方法において、画像を生成するために、処理された第１の画像及び処理された第２の画像を合成する前記ステップの前に、当該方法は、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得するステップと、前記処理された第１の画像を参照画像として選択するステップと、前記パンニング量に従って前記処理された第２の画像に対してパンニング動作を実行し、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定するステップを更に含む。 In connection with the first aspect and the first possible implementation method, in the second possible implementation method, the processed first image and the processed second image are combined to generate an image. Prior to the step, the method obtains a panning amount between the processed first image and the processed second image, and refers to the processed first image. A step of selecting as an image, and performing a panning operation on the processed second image according to the panning amount, and a region of a common image of the processed first image and the processed second image The method further includes the step of determining.
第２の可能な実施方法に関連して、第３の可能な実施方法において、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得する前記ステップは、具体的に、Ｌ＝（ｆ×（ｔ／ｄ））／ｕに基づいて前記パンニング量を取得するステップであって、ここで、Ｌは前記処理された第１の画像と前記処理された第２の画像との間の前記パンニング量を表し、ｆは焦点距離を表し、ｔは前記第１のレンズと前記第２のレンズとの間の光学的な中心距離を表し、ｄは前記第１の画像のピクセルサイズを表し、前記第１の画像の前記ピクセルサイズは前記第２の画像のピクセルサイズと同じであり、ｕは被写体距離を表す。 In relation to the second possible implementation method, in the third possible implementation method, the step of obtaining a panning amount between the processed first image and the processed second image comprises: Specifically, obtaining the panning amount based on L = (f × (t / d)) / u, where L is the processed first image and the processed The amount of panning between the second image, f represents the focal length, t represents the optical center distance between the first lens and the second lens, and d represents the first image. 1 represents the pixel size of one image, the pixel size of the first image is the same as the pixel size of the second image, and u represents the subject distance .
第２の可能な実施方法に関連して、第４の可能な実施方法において、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定する前記ステップのあとに、当該方法は、前記共通画像に基づいて前記処理された第１の画像及び前記処理された第２の画像の領域をトリミングするとともに、前記のトリミングされた第１の画像及び前記のトリミングされた第２の画像を取得するステップを更に含む。 In connection with the second possible implementation method, in the fourth possible implementation method, after the step of determining a region of a common image of the processed first image and the processed second image. In addition, the method trims the region of the processed first image and the processed second image based on the common image, and the trimmed first image and the trimmed image. The method further includes obtaining a second image.
第２の可能な実施方法に関連して、第５の可能な実施方法において、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成する前記ステップは、具体的に、画像を生成するために、前記処理された第１の画像及び前記処理された第２の画像の前記共通画像の前記領域に従って、前記処理された第１の画像及び前記処理された第２の画像を合成するステップである。 In connection with the second possible implementation, in a fifth possible implementation, the acquired first image and the acquired second image are combined to generate an image. The step specifically includes the processing the first image and the processed first image according to the region of the common image of the processed first image and the processed second image to generate an image. A step of synthesizing the processed second image;
第２の態様によれば、デュアルレンズ装置が説明され、前記デュアルレンズ装置は、前記デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含み、前記デュアルレンズ装置は、プロセッサ、前記第１のレンズに対応する第１の画像センサ、そして前記第２のレンズに対応する第２の画像センサを更に含み、前記プロセッサは、第１の処理パラメータ及び第２の処理パラメータを判定し、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ように構成され、前記第１のレンズに対応する前記第１の画像センサは、前記第１の処理パラメータに従って、前記第１のレンズに対応する前記第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するように構成され、前記第２のレンズに対応する前記第２の画像センサは、前記第２の処理パラメータに従って、前記第２のレンズに対応する前記第２の画像センサにより前記第１の瞬間にキャプチャされた第２の画像を獲得するように構成され、前記プロセッサは、写真撮影操作命令が受信される場合に、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するように更に構成される。 According to a second aspect, a dual lens device is described, the dual lens device comprising a first lens and a second lens arranged in the same plane of the dual lens device, the dual lens device comprising: The apparatus further includes a processor, a first image sensor corresponding to the first lens, and a second image sensor corresponding to the second lens, wherein the processor includes a first processing parameter and a second processing parameter. The first processing parameter is different from the second processing parameter, and the first image sensor corresponding to the first lens has the first processing parameter in accordance with the first processing parameter. Configured to acquire a first image captured at a first moment by the first image sensor corresponding to one lens, The second image sensor is configured to acquire a second image captured at the first moment by the second image sensor corresponding to the second lens according to the second processing parameter. The processor is further configured to combine the acquired first image and the acquired second image to generate an image when a photography manipulation instruction is received. Composed.
第２の態様に関連して、第１の可能な実施方法において、前記プロセッサは、具体的に、ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するように構成されるか、又は、具体的に、前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定し、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するように構成され、前記第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータは第２の露出量又は第２の光感度を含み、前記第１の露出量は前記第２の露出量と異なり、前記第１の光感度は前記第２の光感度と異なる。 In connection with the second aspect, in a first possible implementation manner, the processor specifically receives a user instruction and pre-sets the first processing parameter and the second processing parameter. Or, specifically, determining the first processing parameter according to a result of image scene recognition performed before the first image is acquired, and the second image is acquired. And determining the second processing parameter according to a result of image scene recognition performed before the first processing parameter includes a first exposure amount or a first light sensitivity, and The second processing parameter includes a second exposure amount or a second light sensitivity, the first exposure amount is different from the second exposure amount, and the first light sensitivity is different from the second light sensitivity. .
第１の可能な実施方法に関連して、第２の可能な実施方法において、前記プロセッサは、中央処理装置又は画像信号プロセッサを含む。 In connection with the first possible implementation manner, in a second possible implementation manner, the processor comprises a central processing unit or an image signal processor.
第１の可能な実施方法に関連して、第３の可能な実施方法において、前記プロセッサは、中央処理装置及び画像信号プロセッサを含む。
In relation to the first possible implementation, in a third possible implementation, the processor includes a Chuo processing equipment and images the signal processor.
第２の態様、第１の可能な実施方法、第２の可能な実施方法及び第３の可能な実施方法に関連して、第４の可能な実施方法において、前記プロセッサは、前記処理された第１の画像と前記処理された第２の画像との間のパンニング量を取得し、前記処理された第１の画像を参照画像として選択し、前記パンニング量に従って前記処理された第２の画像に対してパンニング動作を実行するとともに、前記処理された第１の画像及び前記処理された第２の画像の共通画像の領域を判定するように更に構成される。 In connection with the second aspect, the first possible implementation method, the second possible implementation method and the third possible implementation method, in a fourth possible implementation method, the processor is the processed A panning amount between a first image and the processed second image is acquired, the processed first image is selected as a reference image, and the processed second image according to the panning amount Is further configured to perform a panning operation on the image and determine a common image region of the processed first image and the processed second image.
第４の可能な実施方法に関連して、第５の可能な実施方法において、前記プロセッサは、画像を生成するために、前記処理された第１の画像及び前記処理された第２の画像の前記共通画像の前記領域に従って、前記処理された第１の画像及び前記処理された第２の画像を合成するように更に構成される。 In connection with a fourth possible implementation manner, in a fifth possible implementation manner, the processor is configured to generate an image of the processed first image and the processed second image. Further configured to combine the processed first image and the processed second image according to the region of the common image.
前述の技術的解決法のうちの１つ又は複数の技術的解決法は、下記の技術的な効果又は利点を有している。 One or more of the foregoing technical solutions have the following technical effects or advantages.
本発明において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置はデュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含むので、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。 In the present invention, a dual lens device is used to solve the ghost problem, and the dual lens device includes a first lens and a second lens arranged in the same plane of the dual lens device, so that images are captured simultaneously. When done, ghosts caused by hand tremors and / or relative movement of objects in the scene do not occur in the captured first image and the captured second image. Therefore, the technical problem of “ghost” caused when images are synthesized by using time division multi-frame synthesis algorithm is solved, which has great importance for improving the HDR effect. doing.
下記は、本発明の実施例における添付図面を参照して、本発明の実施例における技術的解決法を明確かつ十分に説明する。明らかに、説明される実施例は本発明の実施例の全てではなく単に一部である。創作的な努力なしで本発明の実施例に基づいて当業者により取得される他の全ての実施例は、本発明の保護範囲に含まれるものとする。 The following clearly and fully describes the technical solutions in the embodiments of the present invention with reference to the accompanying drawings in the embodiments of the present invention. Apparently, the described embodiments are merely a part rather than all of the embodiments of the present invention. All other embodiments obtained by a person of ordinary skill in the art based on the embodiments of the present invention without creative efforts shall fall within the protection scope of the present invention.
写真撮影の間に手が震えるか、及び／又はシーン内の物体が動く場合に、“ゴースト”現象が時分割画像の複数のフレームを融合させることにより生成された高ダイナミックレンジ画像に存在する、という従来技術における問題を解決するために、本発明の実施例は、画像生成方法及びデュアルレンズ装置を提供し、本発明の実施例における技術的解決法についての一般的なアイデアは、下記のとおりである。 A “ghost” phenomenon is present in high dynamic range images generated by fusing multiple frames of time-division images when hands shake during photography and / or objects in the scene move, In order to solve the above-described problems in the prior art, the embodiment of the present invention provides an image generation method and a dual lens apparatus. The general idea of the technical solution in the embodiment of the present invention is as follows. It is.
本発明において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。このデュアルレンズ設計に起因して、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。 In the present invention, a dual lens device is used to solve the ghost problem, and the dual lens device includes a first lens and a second lens arranged in the same plane of the dual lens device. Due to this dual lens design, when images are captured simultaneously, ghosts caused by hand tremors and / or relative movement of objects in the scene are captured in the first captured image and captured It does not occur in the second image. Therefore, the technical problem of “ghost” caused when images are synthesized by using time division multi-frame synthesis algorithm is solved, which has great importance for improving the HDR effect. doing.
本発明の実施例において提供された画像生成方法は、様々な端末装置に適用され得るとともに、端末装置は、携帯電話及びＰＡＤのような携帯型の端末装置を含み得る。 The image generation method provided in the embodiments of the present invention may be applied to various terminal devices, and the terminal devices may include portable terminal devices such as mobile phones and PADs.
図３は、本発明の一実施例による画像生成方法のフローチャートであるとともに、画像生成方法が提案される。画像生成方法は、デュアルレンズを有する端末装置に適用され、デュアルレンズ端末装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。デュアルレンズ装置の２枚のレンズのうちの一方は、前部に面したレンズであり得るとともに、もう一方は、後部に面したレンズであり得る。ユーザの要求に従って、同じ内容を有する画像が写真撮影されることを保証するために、２枚のレンズのうちの一方は、このレンズともう一方のレンズが同じ平面に配置されるように、ひっくり返され得る。デュアルレンズ装置の２枚のレンズの光軸は、平行であり、そしてしっかりと結合されており、光軸は、キャプチャされた第１の画像とキャプチャされた第２の画像との間の動きがパンニング移動であることを保証するために平行であり、パンニング移動は補正されることができ、計算量は少ない。もし２枚のレンズの光軸が平行ではないならば、画像は、相互の間で歪められてカバーされるとともに、補正が複雑になり、それにより、画像がマルチフレームアルゴリズムを使用することにより合成される場合に、“ゴースト”が生成される原因になる。 FIG. 3 is a flowchart of an image generation method according to an embodiment of the present invention, and an image generation method is proposed. The image generation method is applied to a terminal device having a dual lens, and the dual lens terminal device includes a first lens and a second lens arranged on the same plane of the dual lens device. One of the two lenses of the dual lens device can be a front facing lens and the other can be a rear facing lens. To ensure that an image with the same content is photographed according to the user's requirements, one of the two lenses is turned over so that this lens and the other lens are placed in the same plane. Can be. The optical axes of the two lenses of the dual lens device are parallel and tightly coupled so that the optical axis moves between the captured first image and the captured second image. Parallel to ensure that it is a panning movement, the panning movement can be corrected and the amount of computation is small. If the optical axes of the two lenses are not parallel, the image is distorted and covered between each other and the correction becomes complicated, so that the image is synthesized by using a multi-frame algorithm. If so, a “ghost” is generated.
図３において示されたように、画像生成方法は下記のステップを含む。 As shown in FIG. 3, the image generation method includes the following steps.
Ｓ３０１．第１の処理パラメータ及び第２の処理パラメータを判定する。第１の処理パラメータは、第２の処理パラメータと異なる。 S301. A first processing parameter and a second processing parameter are determined. The first processing parameter is different from the second processing parameter.
Ｓ３０２．第１の処理パラメータに従って、第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得し、第２の処理パラメータに従って、第２のレンズに対応する第２の画像センサにより第１の瞬間にキャプチャされた第２の画像を獲得する。 S302. According to the first processing parameter, a first image captured at a first moment by a first image sensor corresponding to the first lens is obtained, and according to the second processing parameter, corresponding to the second lens. A second image captured at a first moment by the second image sensor is acquired.
Ｓ３０３．写真撮影操作命令が受信される場合に、画像を生成するために、獲得された第１の画像及び獲得された第２の画像を合成する。 S303. When a photography operation instruction is received, the acquired first image and the acquired second image are combined to generate an image.
図４は、本発明の一実施例によるデュアルレンズの概略図である。 FIG. 4 is a schematic diagram of a dual lens according to an embodiment of the present invention.
図４において示されたように、２枚のレンズは並んで配置される。左側のレンズは第１のレンズ１であり、右側のレンズは第２のレンズ２である。２枚のレンズは、コネクタ３により、しっかりと一緒に結合されており、そして２枚のレンズの光軸は平行である。固定された結合の利点は、ユーザが２枚のレンズを使用するプロセスにおいて、たとえ２枚のレンズが落とされて圧迫されるとしても、２枚のレンズの相対的な位置が変わらないということが保証されているという点にある。
As shown in FIG. 4, the two lenses are arranged side by side. The left lens is the
Ｓ３０１を実施するプロセスにおいて、第１の処理パラメータは第２の処理パラメータと異なる。 In the process of performing S301, the first processing parameter is different from the second processing parameter.
第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、第２の処理パラメータは第２の露出量又は第２の光感度を含み、第１の露出量は第２の露出量と異なり、第１の光感度は第２の光感度と異なる。 The first processing parameter includes the first exposure amount or the first light sensitivity, the second processing parameter includes the second exposure amount or the second light sensitivity, and the first exposure amount is the second exposure amount. Unlike the exposure amount, the first photosensitivity is different from the second photosensitivity.
もし露出量が一例として使用されるならば、そして第１の露出量が＋２ｅｖに設定されると仮定すれば、第２の露出量は、−２ｅｖに設定され得る。 If the exposure amount is used as an example, and assuming that the first exposure amount is set to + 2ev, the second exposure amount can be set to -2ev.
本発明を実施する別のプロセスにおいて、第１の処理パラメータ及び第２の処理パラメータは、下記の方法で、携帯電話、タブレット又は一眼レフカメラのような電子装置により判定され得る。 In another process embodying the present invention, the first processing parameter and the second processing parameter may be determined by an electronic device such as a mobile phone, a tablet, or a single lens reflex camera in the following manner.
方法１：ユーザ命令が受信され、第１の処理パラメータ及び第２の処理パラメータが事前設定される。この方法では、２枚のレンズにより必要とされる露出量は、＋２ｅｖ及び−２ｅｖのようなデフォルト設定によりマニュアルで設定される。 Method 1: A user command is received and a first processing parameter and a second processing parameter are preset. In this method, the exposure amount required by the two lenses is manually set by default settings such as + 2ev and -2ev.
方法２：第１の処理パラメータが、第１の画像が獲得される前に実行される画像シーン認識の結果に従って判定されるとともに、第２の処理パラメータが、第２の画像が獲得される前に実行される画像シーン認識の結果に従って判定される。 Method 2: The first processing parameter is determined according to the result of image scene recognition performed before the first image is acquired, and the second processing parameter is determined before the second image is acquired. It is determined according to the result of the image scene recognition executed at the same time.
具体的には、第１の画像が一例として使用される。第１の画像が獲得される前に、プレビュー画像が第１のレンズを使用することにより、前もって写真撮影される。その場合に、プレビュー画像が第１のレンズを使用することにより写真撮影される場合に設定される露出量は、プレビュー画像の画像シーン認識に基づいて分析される。第１の画像の前に実行される画像シーン認識の分析によって取得される結果に従って、第１の画像を写真撮影するためにデュアルレンズにより必要とされる露出量が判定される。第２のレンズの設定は同様であり、詳細は本発明では繰り返して説明されない。 Specifically, the first image is used as an example. Before the first image is acquired, the preview image is photographed in advance by using the first lens. In this case, the exposure amount set when the preview image is photographed by using the first lens is analyzed based on the image scene recognition of the preview image. The amount of exposure required by the dual lens to photograph the first image is determined according to the result obtained by the analysis of the image scene recognition performed before the first image. The setting of the second lens is similar and details are not repeated in the present invention.
確かに、更に、デュアルレンズ装置の露出量は、別の方法において同様に設定され得る。例えば、プレビュー画像は第１のレンズを使用することにより写真撮影され、そしてデュアルレンズ装置の２枚のレンズの露出量は、プレビュー画像の画像シーン認識に従って設定される。例えば、２枚のレンズのうちの一方の露出量は、シーンの影の部分における詳細をキャプチャするために＋２ＥＶに設定され、そしてもう一方のレンズの露出量は、シーンの明るい部分における詳細をキャプチャするために−２ＥＶに設定される。 Indeed, furthermore, the exposure of the dual lens device can be similarly set in another way. For example, the preview image is photographed by using the first lens, and the exposure amount of the two lenses of the dual lens device is set according to the image scene recognition of the preview image. For example, the exposure of one of the two lenses is set to + 2EV to capture details in the shadow portion of the scene, and the exposure of the other lens captures details in the bright portion of the scene. In order to do this, it is set to -2EV.
光感度を設定するための方法は、露出量を設定するための方法と同様であり、詳細は繰り返してここでは説明されない。 The method for setting the photosensitivity is the same as the method for setting the exposure amount, and details will not be repeated here.
第１の処理パラメータ及び第２の処理パラメータが判定されたあとで、ステップＳ３０２が実行される。 After the first processing parameter and the second processing parameter are determined, step S302 is executed.
Ｓ３０２を実施するプロセスにおいて、デュアルレンズ装置が写真撮影のために使用される場合に、第１のレンズに対応する第１の画像センサは、第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするとともに、同時に、第２のレンズに対応する第２の画像センサは、第２の処理パラメータに従って第１の瞬間に第２の画像をキャプチャする。 In the process of performing S302, when a dual lens device is used for taking a picture, the first image sensor corresponding to the first lens has a first moment at a first moment according to a first processing parameter. At the same time as capturing the image, the second image sensor corresponding to the second lens captures the second image at a first moment according to the second processing parameter.
具体的には、第１の画像及び第２の画像がキャプチャされたあとで、プロセッサは、第１の画像及び第２の画像を獲得し、そして第１の画像及び第２の画像を処理する。 Specifically, after the first image and the second image are captured, the processor obtains the first image and the second image and processes the first image and the second image. .
実際のアプリケーションでは、第１の画像及び第２の画像はＬＤＲ画像であり、第１の画像及び第２の画像は、同じ画像キャプチャ領域においてキャプチャされる。すなわち、デュアルレンズのビューファインダフレームは同じ領域に照準を合わせる。画像獲得の同時性に起因して、手の震え及び／又はシーン内の物体の移動により引き起こされるゴーストは、第１の画像及び第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に生成される“ゴースト”が取り除かれる。 In an actual application, the first image and the second image are LDR images, and the first image and the second image are captured in the same image capture area. That is, the dual lens viewfinder frame is aimed at the same area. Due to the simultaneous acquisition of images, ghosts caused by hand tremors and / or movement of objects in the scene do not occur in the first and second images. Thus, the “ghost” that is generated when an image is synthesized by using a time division multi-frame synthesis algorithm is removed.
例えば、人物が手を急速に振る場合に、デュアルレンズ装置が画像を獲得するために使用される。人物が手を振る場合に、デュアルレンズは、第１の画像及び第２の画像を獲得するために、この領域に同時に照準を合わせる。写真撮影されたシーンにおける人物が手を急速に振るけれど、左側のレンズ及び右側のレンズの画像獲得の同時性に起因して、手の位置及びジェスチャーは完全に同じになる。このように、動くシーン又は複雑なシーンが写真撮影される場合にゴースト問題がないということが、ＨＤＲ画像処理の信号源から保証される。 For example, a dual lens device is used to acquire an image when a person shakes his hand rapidly. When the person shakes his hand, the dual lens aims at this area simultaneously to acquire the first image and the second image. Although the person in the photographed scene shakes his hand rapidly, the hand position and gesture are exactly the same due to the simultaneous acquisition of the left and right lens images. In this way, it is assured from the HDR image processing signal source that there is no ghost problem when moving or complex scenes are photographed.
同様に、左側のレンズ及び右側のレンズの画像獲得の同時性に起因して、たとえもしハンドヘルド端末が不安定になり、写真撮影の間に震えるとしても、２枚のレンズは、震える方向及び震える振幅において完全に同じである。したがって、手の震えの間のゴースト問題がないということが、ＨＤＲ画像処理の信号源から保証される。 Similarly, due to the simultaneous image acquisition of the left and right lenses, even if the handheld terminal becomes unstable and shakes during photography, the two lenses will shake and shake. It is completely the same in amplitude. Thus, it is assured from the HDR image processing signal source that there are no ghosting problems during hand tremors.
さらに、プロセッサが第１の画像及び第２の画像を処理する場合に、ステップＳ３０３が実行される。 Further, step S303 is executed when the processor processes the first image and the second image.
Ｓ３０３を実施するプロセスにおいて、写真撮影操作命令が受信される場合に、プロセッサは、画像を生成するために、獲得された第１の画像及び獲得された第２の画像を合成する。 In the process of performing S303, when a photography operation command is received, the processor combines the acquired first image and the acquired second image to generate an image.
任意に、写真撮影操作命令は、ユーザが物理的なボタンを押す場合に生成される写真撮影操作命令であり得るか、又は、ユーザがスクリーンをタッチアンドホールドする場合に生成される写真撮影操作命令であり得るか、又は、写真撮影のために設定された時間が満了した場合に生成される写真撮影操作命令であり得る。写真撮影操作命令の信号源は、このアプリケーションにおいて限定されない。 Optionally, the photography operation instruction may be a photography operation instruction generated when the user presses a physical button, or a photography operation instruction generated when the user touches and holds the screen Or a photo manipulation instruction generated when the time set for photography has expired. The signal source of the photography operation command is not limited in this application.
任意に、生成された画像は、具体的に、高ダイナミックレンジ画像である。本発明の別の実施例において、２枚のレンズの取り付け位置の間の差は、獲得された第１の画像及び獲得された第２の画像の異なる画像領域をもたらす。一方のレンズが左側にあり、もう一方のレンズが右側にあるので、２枚のレンズの間の光学的な中心距離は長くないけれども、２枚のレンズが写真撮影する視野はまだ異なる。例えば、図５Ａは、獲得された第１の画像の概略図であるとともに、図５Ｂは、獲得された第２の画像の概略図である。図５Ａ及び図５Ｂにおいて、第１の画像及び第２の画像における囲まれた領域は、第１の画像及び第２の画像の共通の部分である。 Optionally, the generated image is specifically a high dynamic range image. In another embodiment of the present invention, the difference between the mounting positions of the two lenses results in different image areas of the acquired first image and the acquired second image. Since one lens is on the left side and the other lens is on the right side, the optical center distance between the two lenses is not long, but the field of view taken by the two lenses is still different. For example, FIG. 5A is a schematic diagram of the acquired first image, and FIG. 5B is a schematic diagram of the acquired second image. In FIGS. 5A and 5B, the enclosed area in the first image and the second image is a common part of the first image and the second image.
したがって、本発明の別の実施例において、第１の画像及び第２の画像が合成される場合に、下記のステップが更に実行され得る。図６を参照すると、それらのステップは具体的に下記のとおりである。 Thus, in another embodiment of the present invention, the following steps may be further performed when the first image and the second image are combined. Referring to FIG. 6, the steps are specifically as follows.
Ｓ６０１．処理された第１の画像と処理された第２の画像との間のパンニング量を取得する。 S601. A panning amount between the processed first image and the processed second image is acquired.
デュアルレンズの光軸は平行であり、そして相対的な取り付け位置は固定されて知られているので、第１の画像と第２の画像との間の画像パンニング量は、既知の相対的な位置に従って計算されることができ、すなわち、画像パンニング量は、画像の写真撮影の前に、前もって計算され得る。ここで、画像パンニング量は、下記の方法において取得され得る。 Since the optical axis of the dual lens is parallel and the relative mounting position is known to be fixed, the amount of image panning between the first image and the second image is known relative position. In other words, the amount of image panning can be calculated in advance before taking a picture of the image. Here, the image panning amount can be acquired by the following method.
方法１：
パンニング量は、Ｌ＝（ｆ×（ｔ／ｄ））／ｕを使用することにより取得され、ここで、Ｌは処理された第１の画像と処理された第２の画像との間のパンニング量を表し、ｆは焦点距離を表し、ｔは第１のレンズと第２のレンズとの間の光学的な中心距離を表し、ｄは第１の画像のピクセルサイズを表し、第１の画像のピクセルサイズは第２の画像のピクセルサイズと同じであり、ｕは被写体距離を表す。
Method 1:
The panning amount is obtained by using L = (f × (t / d)) / u, where L is the panning between the processed first image and the processed second image. F represents the focal length, t represents the optical center distance between the first lens and the second lens, d represents the pixel size of the first image, and the first image Is the same as the pixel size of the second image, and u represents the subject distance .
方法２：
ｔ、ｆ及びｄの実際の値と理論値との間に差があるので、下記のデュアルレンズ較正方法が同様に使用され得るとともに、デュアルレンズ較正方法は具体的に下記のとおりである。最初に、第１のレンズに対応する第１の画像センサが第１の画像をキャプチャし、次に、第２のレンズに対応する第２の画像センサが第２の画像をキャプチャする。
Method 2:
Since there is a difference between the actual and theoretical values of t, f and d, the following dual lens calibration method can be used as well, and the dual lens calibration method is specifically as follows. First, the first image sensor corresponding to the first lens captures the first image, and then the second image sensor corresponding to the second lens captures the second image.
最初に、キャプチャの間、第１の画像センサ及び第２の画像センサは、同時にチェスボードキャプチャを実行することができ、第１の画像において表示される内容及び第２の画像において表示される内容は、チェスボードであり、そして、パンニング量が、第１の画像におけるチェスボードと第２の画像におけるチェスボードとの間の差に従った測定によって取得される。それから、測定によって取得されたパンニング量は、小型カメラモジュールコンフィギュレーションテーブルに書き込まれ（小型カメラモジュールコンフィギュレーションテーブルはＲＯＭメモリに記憶され得る）、写真撮影の間、第１の画像と第２の画像との間のパンニング量は、コンフィギュレーションテーブルに基づいて読み取られる。 Initially, during capture, the first image sensor and the second image sensor can simultaneously perform chessboard capture, content displayed in the first image and content displayed in the second image. Is a chess board and the amount of panning is obtained by measuring according to the difference between the chess board in the first image and the chess board in the second image. Then, the panning amount obtained by the measurement is written into the small camera module configuration table (the small camera module configuration table can be stored in ROM memory), and during photography, the first image and the second image The panning amount between is read based on the configuration table.
この方法の利点は、バッチ生産の不整合性、すなわち理論的設計からの偏差が異なるデュアルレンズモジュールの間に存在するかもしれないので、デュアルレンズモジュールの各グループが出荷前に較正され、その結果精度が高くなることにある。 The advantage of this method is that batch production inconsistencies, i.e. deviations from the theoretical design, may exist between the dual lens modules, so each group of dual lens modules is calibrated before shipment, resulting in The accuracy is high.
Ｓ６０２．処理された第１の画像を参照画像として選択する。 S602. The processed first image is selected as a reference image.
Ｓ６０３．パンニング量に従って処理された第２の画像に対してパンニング動作を実行し、処理された第１の画像及び処理された第２の画像の共通画像の領域を判定する。 S603. A panning operation is performed on the second image processed according to the panning amount, and a common image area of the processed first image and the processed second image is determined.
パンニング動作が実行されたあとで、処理された第１の画像及び処理された第２の画像の共通領域の領域が判定され得る。 After the panning operation is performed, the area of the common area of the processed first image and the processed second image can be determined.
更に、画像を生成するために、処理された第１の画像及び処理された第２の画像は、処理された第１の画像及び処理された第２の画像の共通画像の領域に従って、合成され得る。 Further, to generate an image, the processed first image and the processed second image are combined according to the common image region of the processed first image and the processed second image. obtain.
処理された第１の画像及び処理された第２の画像が処理された第１の画像及び処理された第２の画像の共通画像の領域に従って合成されるということは、具体的に、処理された第１の画像及び処理された第２の画像の共通画像の領域に従ってトリミングするとともに、トリミングされた第１の画像及びトリミングされた第２の画像を取得し、そして、画像を生成するために、トリミングされた第１の画像及びトリミングされた第２の画像を合成することである。 That the processed first image and the processed second image are combined according to the common image region of the processed first image and the processed second image is specifically processed. Cropping according to a region of the common image of the first image and the processed second image, obtaining the cropped first image and the cropped second image, and generating the image , Combining the trimmed first image and the trimmed second image.
合成を実施するプロセスにおいて、画像融合は、放射領域方法又は画像領域方法を使用することにより実行され得る。実際の場合において、画像融合は複数の方法を含み、そして画像融合のための具体的な方法は本発明では限定されない。 In the process of performing the composition, image fusion can be performed by using a radial region method or an image region method. In actual cases, image fusion includes multiple methods, and the specific method for image fusion is not limited in the present invention.
本発明のこの実施例において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。このデュアルレンズ設計に起因して、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。 In this embodiment of the invention, a dual lens device is used to solve the ghost problem, and the dual lens device includes a first lens and a second lens located in the same plane of the dual lens device. Due to this dual lens design, when images are captured simultaneously, ghosts caused by hand tremors and / or relative movement of objects in the scene are captured in the first captured image and captured It does not occur in the second image. Therefore, the technical problem of “ghost” caused when images are synthesized by using time division multi-frame synthesis algorithm is solved, which has great importance for improving the HDR effect. doing.
同じ発明概念に基づいて、デュアルレンズ装置が下記の実施例で説明される。 Based on the same inventive concept, a dual lens device is illustrated in the following examples.
本発明の別の実施例において、デュアルレンズ装置が説明される。 In another embodiment of the present invention, a dual lens device is described.
図７は、本発明の一実施例によるデュアルレンズ装置の概略図である。図７において示されたように、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズ、プロセッサ００１、第１のレンズ１に対応する第１の画像センサ１１、そして第２のレンズ２に対応する第２の画像センサ１２を含む。
FIG. 7 is a schematic diagram of a dual lens apparatus according to an embodiment of the present invention. As shown in FIG. 7, the dual lens device includes a first lens and a second lens, a
プロセッサ００１は、第１の処理パラメータ及び第２の処理パラメータを判定し、第１の処理パラメータが第２の処理パラメータと異なる、ように構成される。具体的には、プロセッサ００１は、ユーザ命令を受け取り、そして第１の処理パラメータ及び第２の処理パラメータを事前設定するとともに、第１の画像が獲得される前に実行される画像シーン認識の結果に従って第１の処理パラメータを判定し、第２の画像が獲得される前に実行される画像シーン認識の結果に従って第２の処理パラメータを判定するように更に構成され、第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、第２の処理パラメータは第２の露出量又は第２の光感度を含み、第１の露出量は第２の露出量と異なり、第１の光感度は第２の光感度と異なる。
The
第１のレンズ１に対応する第１の画像センサ１１は、第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするように構成される。
A
第２のレンズ２に対応する第２の画像センサ１２は、第２の処理パラメータに従って第１の瞬間に第２の画像をキャプチャするように構成される。
A
プロセッサ００１は、写真撮影操作命令が受信される場合に、画像を生成するために、第１のレンズ１に対応する第１の画像センサ１１により獲得された第１の画像及び第２のレンズ２に対応する第２の画像センサ１２により獲得された第２の画像を合成するように更に構成される。具体的には、プロセッサ００１は、ユーザが物理的なボタンを押す場合に生成される写真撮影操作命令を受信するように構成され得るか、又は、ユーザがスクリーンをタッチアンドホールドする場合に生成される写真撮影操作命令を受信するように構成され得るか、又は、設定された時間が満了した場合に生成される写真撮影操作命令を受信するように構成され得る。
The
さらに、デュアルレンズ装置は、画像、第１の処理パラメータ及び第２の処理パラメータを記憶するように構成されるメモリ１３と、生成された画像を表示するように構成されるディスプレイ１４とを更に含む。
The dual lens device further includes a
図８は、本発明の別の実施例によるデュアルレンズ装置の概略図である。図８において示されたように、本発明の別の実施例において、プロセッサ００１は、中央処理装置１５及び画像信号プロセッサ１６を含む。
FIG. 8 is a schematic view of a dual lens apparatus according to another embodiment of the present invention. As shown in FIG. 8, in another embodiment of the present invention, the
中央処理装置１５は、写真撮影操作命令が受信される場合に、画像を生成するために、第１のレンズ１に対応する第１の画像センサ１１によりキャプチャされた獲得された第１の画像及び第２のレンズ２に対応する第２の画像センサ１２によりキャプチャされた獲得された第２の画像を合成するように構成される。
The
画像信号プロセッサ１６は、第１の処理パラメータ及び第２の処理パラメータを判定し、第１の処理パラメータが第２の処理パラメータと異なる、ように構成される。
The
図９は、本発明の別の実施例によるデュアルレンズ装置の概略図である。図９において示されたように、画像信号プロセッサ１６は、具体的に、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を含み、第１の画像信号プロセッサ１７は第１の処理パラメータを判定するように構成されるとともに、第２の画像信号プロセッサ１８は第２の処理パラメータを判定するように構成され、第１の処理パラメータは、第２の処理パラメータと異なる。
FIG. 9 is a schematic diagram of a dual lens apparatus according to another embodiment of the present invention. As shown in FIG. 9, the
本発明の別の実施例において、中央処理装置１５は、処理された第１の画像と処理された第２の画像との間のパンニング量を取得し、処理された第１の画像を参照画像として選択し、パンニング量に従って処理された第２の画像に対してパンニング動作を実行するとともに、処理された第１の画像及び処理された第２の画像の共通画像の領域を判定するように更に構成される。
In another embodiment of the present invention, the
画像信号プロセッサ１６は、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を含み得る。
The
本発明の別の実施例において、図１０において示されたように、プロセッサ００１は、具体的に、中央処理装置１５又は画像信号プロセッサ１６である。
In another embodiment of the present invention, as shown in FIG. 10, the
プロセッサ００１が具体的に中央処理装置１５である場合に、中央処理装置１５は、プロセッサ００１により実行される全てのステップを実施し得る。プロセッサ００１が具体的に画像信号プロセッサ１６である場合に、画像信号プロセッサ１６は、プロセッサ００１により実行される全てのステップを実施する。具体的には、画像信号プロセッサ１６は、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を更に含み得る。
When the
デュアルレンズ装置の作動原理は、プロセッサ００１が具体的に中央処理装置１５である一例を使用することにより説明される。
The operating principle of the dual lens device is explained by using an example in which the
中央処理装置１５は、第１の処理パラメータ及び第２の処理パラメータを判定するように構成される。任意に、中央処理装置１５は、ユーザ命令を受け取り、そして第１の処理パラメータ及び第２の処理パラメータを事前設定するように構成されるか、又は、第１の画像が獲得される前に実行される画像シーン認識の結果に従って第１の処理パラメータを判定し、第２の画像が獲得される前に実行される画像シーン認識の結果に従って第２の処理パラメータを判定するように構成され、第１の処理パラメータは第１の露出量又は第１の光感度を含むとともに、第２の処理パラメータは第２の露出量又は第２の光感度を含み、第１の露出量は第２の露出量と異なり、第１の光感度は第２の光感度と異なる。
The
第１のレンズ１に対応する第１の画像センサ１１は、中央処理装置１５により判定された第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするように構成される。同時に、第２のレンズ２に対応する第２の画像センサ１２は、中央処理装置１５により判定された第２の処理パラメータに従って第１の瞬間に第２の画像をキャプチャするように構成される。
The
中央処理装置１５は、第１のレンズ１に対応する第１の画像センサ１１により第１の瞬間にキャプチャされた第１の画像を獲得するとともに、第２のレンズ２に対応する第２の画像センサ１２により第１の瞬間にキャプチャされた第２の画像を獲得するように構成される。
The
中央処理装置１５は、写真撮影操作命令が受信される場合に、画像を生成するために、第１のレンズ１に対応する第１の画像センサ１１により獲得された第１の画像及び第２のレンズ２に対応する第２の画像センサ１２により獲得された第２の画像を合成するように構成される。特定の実施プロセスにおいて、中央処理装置１５は、処理された第１の画像と処理された第２の画像との間のパンニング量を取得し、処理された第１の画像を参照画像として選択し、パンニング量に従って処理された第２の画像に対してパンニング動作を実行するとともに、処理された第１の画像及び処理された第２の画像の共通画像の領域を判定し、そして画像を生成するために、処理された第１の画像及び処理された第２の画像の共通画像の領域に従って、処理された第１の画像及び処理された第２の画像を合成するように更に構成される。
The
別の実施例において、ディスプレイ１４は、中央処理装置１５により合成によって取得された画像を表示するように構成される。メモリ１３は、中央処理装置１５により合成によって取得された画像を記憶するように構成され、さらに、メモリ１３は、中央処理装置１５により判定された第１の処理パラメータ及び第２の処理パラメータを記憶するように更に構成される。
In another embodiment, the
プロセッサ００１が中央処理装置１５である場合に、中央処理装置１５により実行される全てのステップは、画像信号プロセッサ１６により実行されることができるか、又は、中央処理装置１５と画像信号プロセッサ１６により共同で実行されることができ、画像信号プロセッサ１６は、第１の画像信号プロセッサ１７及び第２の画像信号プロセッサ１８を含み得る。本発明のこの実施例では、詳細は繰り返して説明されない。下記の技術的効果が、本発明の１つ又は複数の実施例を使用することにより達成され得る。
When the
本発明において、デュアルレンズ装置は、ゴースト問題を解決するために使用され、デュアルレンズ装置は、デュアルレンズ装置の同じ平面に配置される第１のレンズ及び第２のレンズを含む。このデュアルレンズ設計に起因して、画像が同時にキャプチャされる場合に、手の震え及び／又はシーン内の物体の相対的な動きにより引き起こされるゴーストは、キャプチャされた第１の画像及びキャプチャされた第２の画像において発生しない。したがって、画像が時分割マルチフレーム合成アルゴリズムを使用することにより合成される場合に引き起こされる“ゴースト”の技術的な問題が解決され、それは、ＨＤＲ効果を向上させることに対して大きな重要性を有している。 In the present invention, a dual lens device is used to solve the ghost problem, and the dual lens device includes a first lens and a second lens arranged in the same plane of the dual lens device. Due to this dual lens design, when images are captured simultaneously, ghosts caused by hand tremors and / or relative movement of objects in the scene are captured in the first captured image and captured It does not occur in the second image. Therefore, the technical problem of “ghost” caused when images are synthesized by using time division multi-frame synthesis algorithm is solved, which has great importance for improving the HDR effect. doing.
当業者は、本発明の実施例が、方法、システム、又はコンピュータプログラム製品として提供され得ることを理解するべきである。したがって、本発明は、ハードウェアのみの実施例、ソフトウェアのみの実施例、又は、ソフトウェアとハードウェアの組み合わせによる実施例の形式を使用し得る。さらに、本発明は、コンピュータが使用可能なプログラムコードを含む（ディスクメモリ、ＣＤ−ＲＯＭ、光メモリなどを含むが、それに限定されない）１つ又は複数のコンピュータが使用可能な記憶媒体によって実施されるコンピュータプログラム製品の形式を使用し得る。 Those skilled in the art should understand that embodiments of the present invention may be provided as a method, system, or computer program product. Thus, the present invention may use a hardware-only embodiment, a software-only embodiment, or a combination of software and hardware embodiments. Furthermore, the present invention is a computer implemented by a storage medium that can be used by one or more computers (including but not limited to disk memory, CD-ROM, optical memory, etc.) including program code usable by the computer. A program product format may be used.
本発明は、本発明の実施例による方法、装置（システム）、並びにコンピュータプログラム製品のフローチャート及び／又は構成図を参照して説明される。コンピュータプログラム命令が、フローチャート及び／又は構成図における各処理及び／又は各ブロック、並びにフローチャート及び／又は構成図における処理及び／又はブロックの組み合わせを実施するために使用され得る、ということが理解されるべきである。これらのコンピュータプログラム命令は、機械を生成するために、汎用コンピュータ、専用コンピュータ、埋込み型プロセッサ、又はあらゆる他のプログラム可能データ処理装置のプロセッサに提供されることができ、それにより、コンピュータ、又はあらゆる他のプログラム可能データ処理装置のプロセッサにより実行された命令は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施するための装置を生成する。 The present invention is described with reference to flowchart illustrations and / or block diagrams of methods, apparatus (systems) and computer program products according to embodiments of the invention. It is understood that computer program instructions can be used to implement each process and / or block in the flowchart and / or block diagram, and combinations of processes and / or blocks in the flowchart and / or block diagram. Should. These computer program instructions may be provided to a general purpose computer, special purpose computer, embedded processor, or processor of any other programmable data processing device to generate a machine, thereby enabling the computer or any The instructions executed by the processor of the other programmable data processing device implement a specific function of one or more processes in the flowchart and / or a specific function of one or more blocks in the block diagram. To create a device for.
これらのコンピュータプログラム命令は、同様に、コンピュータ又はあらゆる他のプログラム可能データ処理装置に具体的な方法において機能するように指示することができるコンピュータ読み取り可能メモリに記憶されることができ、それにより、コンピュータ読み取り可能メモリに記憶される命令は、命令装置を含む人工物を生成する。命令装置は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施する。 These computer program instructions can also be stored in a computer readable memory that can instruct a computer or any other programmable data processing device to function in a specific manner, thereby The instructions stored in the computer readable memory generate an artifact that includes the instruction device. The instruction device performs a specific function of one or more processes in the flowchart and / or a specific function of one or more blocks in the configuration diagram.
これらのコンピュータプログラム命令は、同様に、コンピュータ又はあらゆる他のプログラム可能データ処理装置にロードされることができ、その結果、コンピュータ実施処理を生成するために、一連の動作及びステップがコンピュータ又はあらゆる他のプログラム可能データ処理装置上で実行される。したがって、コンピュータ又はあらゆる他のプログラム可能データ処理装置上で実行された命令は、フローチャートにおける１つ若しくは複数の処理の具体的な機能、及び／又は構成図における１つ若しくは複数のブロックの具体的な機能を実施するためのステップを提供する。 These computer program instructions can likewise be loaded into a computer or any other programmable data processing device so that a series of operations and steps are performed by the computer or any other to generate a computer-implemented process. On a programmable data processing device. Thus, instructions executed on a computer or any other programmable data processing device may cause specific functions of one or more processes in the flowchart and / or specific blocks of one or more blocks in the block diagram. Provides steps for performing the function.
明らかに、当業者は、本発明の精神及び範囲からはずれずに、本発明に様々な修正及び変更を行うことができる。本発明は、これらの修正及び変更が添付の請求項及びそれらの同等の技術により定義された保護範囲内に含まれる限り、これらの修正及び変更をカバーすることを意図している。
Obviously, those skilled in the art can make various modifications and changes to the present invention without departing from the spirit and scope of the present invention. The present invention is intended to cover these modifications and changes so long as they fall within the scope of protection defined by the appended claims and their equivalents.
Claims (10)
第１の処理パラメータ及び第２の処理パラメータを判定するステップであって、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ステップと、
前記第１の処理パラメータに従って、前記第１のレンズに対応する第１の画像センサにより第１の瞬間にキャプチャされた第１の画像を獲得するステップと、
前記第２の処理パラメータに従って、前記第２のレンズに対応する第２の画像センサにより前記第１の瞬間にキャプチャされた第２の画像を獲得するステップと、
前記の獲得された第１の画像と前記の獲得された第２の画像との間のパンニング量を取得するステップと、
前記の獲得された第１の画像を参照画像として選択するステップと、
前記パンニング量に従って前記の獲得された第２の画像に対してパンニング動作を実行し、前記の獲得された第１の画像及び前記の獲得された第２の画像の共通画像の領域を判定するステップと、
写真撮影操作命令が受信される場合に、画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するステップとを含み、
前記の獲得された第１の画像と前記の獲得された第２の画像との間のパンニング量を取得する前記ステップが、メモリに前記デュアルレンズ装置の出荷時に事前に記憶されたパンニング量を、前記メモリから読み取るステップを含む、方法。 An image generation method applied to a dual lens device, wherein the dual lens device comprises a first lens and a second lens arranged on the same plane of the dual lens device, the method comprising:
Determining a first processing parameter and a second processing parameter, wherein the first processing parameter is different from the second processing parameter;
Obtaining a first image captured at a first moment by a first image sensor corresponding to the first lens according to the first processing parameter;
Obtaining a second image captured at the first moment by a second image sensor corresponding to the second lens according to the second processing parameter;
Obtaining a panning amount between the acquired first image and the acquired second image;
Selecting the acquired first image as a reference image;
Performing a panning operation on the acquired second image according to the panning amount to determine a region of a common image of the acquired first image and the acquired second image; When,
When the photographing operation command is received, in order to generate an image, viewing including the step of synthesizing the second image is the first image and the acquisition of the were acquired in,
The step of obtaining a panning amount between the acquired first image and the acquired second image includes a panning amount stored in advance in a memory when the dual lens apparatus is shipped. Reading from said memory .
ユーザ命令を受け取り、そして前記第１の処理パラメータ及び前記第２の処理パラメータを事前設定するステップか、又は、
前記第１の画像が獲得される前に実行される画像シーン認識の結果に従って前記第１の処理パラメータを判定するとともに、前記第２の画像が獲得される前に実行される画像シーン認識の結果に従って前記第２の処理パラメータを判定するステップを含み、
前記第１の処理パラメータが第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータが第２の露出量又は第２の光感度を含み、
前記第１の露出量が前記第２の露出量と異なり、前記第１の光感度が前記第２の光感度と異なる、請求項１に記載の方法。 Said step of determining a first processing parameter and a second processing parameter comprises:
Receiving a user command and pre-setting the first processing parameter and the second processing parameter, or
The first processing parameter is determined according to the result of the image scene recognition executed before the first image is acquired, and the result of the image scene recognition executed before the second image is acquired Determining the second processing parameter according to:
The first processing parameter includes a first exposure amount or first light sensitivity, and the second processing parameter includes a second exposure amount or second light sensitivity;
The method according to claim 1, wherein the first exposure amount is different from the second exposure amount, and the first light sensitivity is different from the second light sensitivity.
Ｌが前記の獲得された第１の画像と前記の獲得された第２の画像との間の前記パンニング量を表し、ｆが焦点距離を表し、ｔが前記第１のレンズと前記第２のレンズとの間の光学的な中心距離を表し、ｄが前記第１の画像のピクセルサイズを表し、前記第１の画像の前記ピクセルサイズが前記第２の画像のピクセルサイズと同じであり、ｕが被写体距離を表す、請求項１に記載の方法。 Said step of obtaining a panning amount between said acquired first image and said acquired second image is based on L = (f × (t / d)) / u Further comprising obtaining a quantity, wherein:
L represents the amount of panning between the acquired first image and the acquired second image, f represents the focal length, t represents the first lens and the second Represents the optical center distance from the lens, d represents the pixel size of the first image, the pixel size of the first image is the same as the pixel size of the second image, u The method of claim 1 , wherein represents a subject distance .
前記共通画像に基づいて前記の獲得された第１の画像及び前記の獲得された第２の画像をトリミングするとともに、前記のトリミングされた第１の画像及び前記のトリミングされた第２の画像を取得するステップを更に含む、請求項１に記載の方法。 After the step of determining a region of a common image of the acquired first image and the acquired second image, the method comprises:
Trimming the acquired first image and the acquired second image based on the common image, and combining the trimmed first image and the trimmed second image. further comprising the method of claim 1 the step of acquiring.
画像を生成するために、前記の獲得された第１の画像及び前記の獲得された第２の画像の前記共通画像の前記領域に従って、前記の獲得された第１の画像及び前記の獲得された第２の画像を合成するステップである、請求項１に記載の方法。 Synthesizing the acquired first image and the acquired second image to generate an image;
In order to generate an image, the acquired first image and the acquired image according to the region of the common image of the acquired first image and the acquired second image. The method of claim 1 , wherein the method is a step of synthesizing the second image.
前記プロセッサが、第１の処理パラメータ及び第２の処理パラメータを判定し、前記第１の処理パラメータが前記第２の処理パラメータと異なる、ように構成され、
前記第１のレンズに対応する前記第１の画像センサが、前記第１の処理パラメータに従って第１の瞬間に第１の画像をキャプチャするように構成され、
前記第２のレンズに対応する前記第２の画像センサが、前記第２の処理パラメータに従って前記第１の瞬間に第２の画像をキャプチャするように構成され、
前記プロセッサが、写真撮影操作命令が受信される場合に、画像を生成するために、前記第１のレンズに対応する前記第１の画像センサによりキャプチャされた前記のキャプチャされた第１の画像及び前記第２のレンズに対応する前記第２の画像センサによりキャプチャされた前記のキャプチャされた第２の画像を合成するように更に構成され、
前記プロセッサが、前記のキャプチャされた第１の画像と前記のキャプチャされた第２の画像との間のパンニング量を取得し、前記のキャプチャされた第１の画像を参照画像として選択し、前記パンニング量に従って前記のキャプチャされた第２の画像に対してパンニング動作を実行するとともに、前記のキャプチャされた第１の画像及び前記のキャプチャされた第２の画像の共通画像の領域を判定するように更に構成され、
前記プロセッサにより、前記のキャプチャされた第１の画像と前記のキャプチャされた第２の画像との間のパンニング量を取得することが、メモリに前記デュアルレンズ装置の出荷時に事前に記憶されたパンニング量を、前記プロセッサにより前記メモリから読み取ることを含む、デュアルレンズ装置。 A dual lens device, wherein the dual lens device comprises a first lens and a second lens arranged in the same plane of the dual lens device, wherein the dual lens device is a processor and the first lens. A corresponding first image sensor, and a second image sensor corresponding to the second lens,
The processor is configured to determine a first processing parameter and a second processing parameter, the first processing parameter being different from the second processing parameter;
The first image sensor corresponding to the first lens is configured to capture a first image at a first moment according to the first processing parameter;
The second image sensor corresponding to the second lens is configured to capture a second image at the first moment according to the second processing parameter;
The captured first image captured by the first image sensor corresponding to the first lens to generate an image when the processor receives a photo manipulation instruction, and Further configured to combine the captured second image captured by the second image sensor corresponding to the second lens ;
The processor obtains a panning amount between the captured first image and the captured second image, and selects the captured first image as a reference image; Performing a panning operation on the captured second image according to a panning amount, and determining a region of a common image of the captured first image and the captured second image Further configured
Obtaining a panning amount between the captured first image and the captured second image by the processor is pre-stored in memory at the time of shipment of the dual lens device Reading a quantity from the memory by the processor .
前記第１の処理パラメータが第１の露出量又は第１の光感度を含むとともに、前記第２の処理パラメータが第２の露出量又は第２の光感度を含み、
前記第１の露出量が前記第２の露出量と異なり、前記第１の光感度が前記第２の光感度と異なる、請求項６に記載のデュアルレンズ装置。 The processor receives a user command and presets the first processing parameter and the second processing parameter or results of an image scene recognition performed before the first image is captured And further configured to determine the second processing parameter according to a result of image scene recognition performed before the second image is captured,
The first processing parameter includes a first exposure amount or first light sensitivity, and the second processing parameter includes a second exposure amount or second light sensitivity;
The dual lens device according to claim 6 , wherein the first exposure amount is different from the second exposure amount, and the first light sensitivity is different from the second light sensitivity.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2013/088783 WO2015081563A1 (en) | 2013-12-06 | 2013-12-06 | Method for generating picture and twin-lens device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017505004A JP2017505004A (en) | 2017-02-09 |
| JP6263623B2 true JP6263623B2 (en) | 2018-01-17 |
Family
ID=53272782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016536587A Active JP6263623B2 (en) | 2013-12-06 | 2013-12-06 | Image generation method and dual lens apparatus |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10306165B2 (en) |
| EP (1) | EP3073733A4 (en) |
| JP (1) | JP6263623B2 (en) |
| CN (1) | CN105340267A (en) |
| WO (1) | WO2015081563A1 (en) |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113472989A (en) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | Multi-aperture imaging system and method for acquiring images by multi-aperture imaging system |
| CN109040553B (en) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | Double-aperture zooming digital camera |
| CN108388005A (en) | 2013-07-04 | 2018-08-10 | 核心光电有限公司 | Small-sized focal length lens external member |
| CN109120823B (en) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | Thin multi-aperture imaging system with auto-focus and method of use thereof |
| CN105556935B (en) * | 2014-05-15 | 2019-04-19 | 华为技术有限公司 | Method and terminal for multiframe noise reduction |
| US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| CN112327463B (en) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | Miniature telephoto lens module and camera using the same |
| CN104580912B (en) * | 2015-01-19 | 2018-01-09 | 宇龙计算机通信科技(深圳)有限公司 | A kind of image pickup method, device and terminal |
| US11381747B2 (en) | 2015-02-13 | 2022-07-05 | Apple Inc. | Dual camera magnet arrangement |
| US9781345B1 (en) | 2015-02-13 | 2017-10-03 | Apple Inc. | Dual camera magnet arrangement |
| WO2016156996A1 (en) | 2015-04-02 | 2016-10-06 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
| ES2907810T3 (en) | 2015-04-16 | 2022-04-26 | Corephotonics Ltd | Autofocus and optical image stabilization in a compact folding camera |
| EP3304161B1 (en) | 2015-05-28 | 2021-02-17 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization in a digital camera |
| KR102263924B1 (en) | 2015-08-13 | 2021-06-11 | 코어포토닉스 리미티드 | Dual aperture zoom camera with video support and switching/non-switching dynamic control |
| EP3335077B1 (en) | 2015-09-06 | 2019-08-14 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
| US10063783B2 (en) | 2015-09-30 | 2018-08-28 | Apple Inc. | Mobile zoom using multiple optical image stabilization cameras |
| US10382698B2 (en) | 2015-09-30 | 2019-08-13 | Apple Inc. | Mobile zoom using multiple optical image stabilization cameras |
| US10264188B2 (en) | 2015-09-30 | 2019-04-16 | Apple Inc. | Mobile zoom using multiple optical image stabilization cameras |
| KR102187146B1 (en) | 2015-12-29 | 2020-12-07 | 코어포토닉스 리미티드 | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
| KR20170123125A (en) | 2016-04-28 | 2017-11-07 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
| CN111965919B (en) | 2016-05-30 | 2022-02-08 | 核心光电有限公司 | Rotary ball guided voice coil motor |
| KR102521406B1 (en) | 2016-06-19 | 2023-04-12 | 코어포토닉스 리미티드 | Frame synchronization in a dual-aperture camera system |
| US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
| WO2018007981A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
| US11531209B2 (en) | 2016-12-28 | 2022-12-20 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
| KR102164655B1 (en) | 2017-01-12 | 2020-10-13 | 코어포토닉스 리미티드 | Compact folded camera |
| IL290630B2 (en) | 2017-02-23 | 2023-10-01 | Corephotonics Ltd | Folded camera lens designs |
| KR102493673B1 (en) | 2017-03-03 | 2023-01-31 | 니폰 제온 가부시키가이샤 | Diarylamine Compounds, Anti-aging Agents, and Polymer Compositions |
| CN114137790A (en) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | System with panoramic scanning range, mobile electronic device and method thereof |
| CN108924527A (en) * | 2017-03-31 | 2018-11-30 | 深圳市易快来科技股份有限公司 | A kind of twin-lens 3D shooting is to realize method, apparatus and the mobile terminal of the depth of field |
| US10681273B2 (en) | 2017-08-24 | 2020-06-09 | Samsung Electronics Co., Ltd. | Mobile device including multiple cameras |
| US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
| US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
| KR102261024B1 (en) | 2017-11-23 | 2021-06-04 | 코어포토닉스 리미티드 | Compact folded camera structure |
| JP2019110471A (en) * | 2017-12-19 | 2019-07-04 | キヤノン株式会社 | Imaging apparatus |
| KR102091369B1 (en) | 2018-02-05 | 2020-05-18 | 코어포토닉스 리미티드 | Reduced height penalty for folded cameras |
| CN113467031B (en) | 2018-02-12 | 2023-07-14 | 核心光电有限公司 | Folded camera with optical image stabilization, digital camera and method |
| CN111885295A (en) * | 2018-03-26 | 2020-11-03 | 华为技术有限公司 | Shooting method, device and equipment |
| US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
| CN111936908B (en) | 2018-04-23 | 2021-12-21 | 核心光电有限公司 | Optical path folding element with extended two-degree-of-freedom rotation range |
| WO2020031005A1 (en) | 2018-08-04 | 2020-02-13 | Corephotonics Ltd. | Switchable continuous display information system above camera |
| WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
| CN111919057B (en) | 2019-01-07 | 2021-08-31 | 核心光电有限公司 | Rotating mechanism with sliding joint |
| WO2020183312A1 (en) | 2019-03-09 | 2020-09-17 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
| JP2020167517A (en) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | Image processing apparatus, image processing method, program, and imaging apparatus |
| CN110213503A (en) * | 2019-06-28 | 2019-09-06 | Oppo广东移动通信有限公司 | Image processing method, device, storage medium and electronic equipment |
| KR102365748B1 (en) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | System and method for creating background blur in camera panning or motion |
| US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
| US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| CN114641983A (en) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | System and method for obtaining intelligent panoramic image |
| WO2021165764A1 (en) | 2020-02-22 | 2021-08-26 | Corephotonics Ltd. | Split screen feature for macro photography |
| WO2021220080A1 (en) | 2020-04-26 | 2021-11-04 | Corephotonics Ltd. | Temperature control for hall bar sensor correction |
| KR102495627B1 (en) | 2020-05-17 | 2023-02-06 | 코어포토닉스 리미티드 | Image stitching in the presence of a full-field reference image |
| CN111586305B (en) | 2020-05-27 | 2021-11-02 | 维沃移动通信（杭州）有限公司 | Anti-shake method, anti-shake device and electronic equipment |
| KR20240001277A (en) | 2020-05-30 | 2024-01-03 | 코어포토닉스 리미티드 | Systems and methods for obtaining a super macro image |
| US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
| EP4202521A1 (en) | 2020-07-15 | 2023-06-28 | Corephotonics Ltd. | Point of view aberrations correction in a scanning folded camera |
| EP4065934A4 (en) | 2020-07-31 | 2023-07-26 | Corephotonics Ltd. | Hall sensor-magnet geometry for large stroke linear position sensing |
| KR102480820B1 (en) | 2020-08-12 | 2022-12-22 | 코어포토닉스 리미티드 | Optical Image Stabilization of Scanning Folded Cameras |
| CN112634160A (en) * | 2020-12-25 | 2021-04-09 | 北京小米松果电子有限公司 | Photographing method and device, terminal and storage medium |
| WO2022259154A2 (en) | 2021-06-08 | 2022-12-15 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
| CN117241131B (en) * | 2023-11-16 | 2024-04-19 | 荣耀终端有限公司 | Image processing method and device |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
| JP2004120527A (en) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | Twin-lens digital camera |
| US7424218B2 (en) * | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
| US7729602B2 (en) * | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
| US20090086074A1 (en) | 2007-09-27 | 2009-04-02 | Omnivision Technologies, Inc. | Dual mode camera solution apparatus, system, and method |
| JP5230376B2 (en) | 2008-11-28 | 2013-07-10 | 三星電子株式会社 | Imaging apparatus and imaging method |
| US8339475B2 (en) | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
| CN101808250B (en) | 2009-02-13 | 2012-10-24 | 北京邮电大学 | Dual vision-based three-dimensional image synthesizing method and system |
| KR101604068B1 (en) * | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | High dynamic range imaging apparatus and method |
| JP2012019392A (en) | 2010-07-08 | 2012-01-26 | Nikon Corp | Image processing apparatus, electronic camera, and image processing program |
| US9204026B2 (en) * | 2010-11-01 | 2015-12-01 | Lg Electronics Inc. | Mobile terminal and method of controlling an image photographing therein |
| JP5411842B2 (en) | 2010-12-07 | 2014-02-12 | シャープ株式会社 | Imaging device |
| US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US9210322B2 (en) * | 2010-12-27 | 2015-12-08 | Dolby Laboratories Licensing Corporation | 3D cameras for HDR |
| US8803990B2 (en) * | 2011-01-25 | 2014-08-12 | Aptina Imaging Corporation | Imaging system with multiple sensors for producing high-dynamic-range images |
| JP5843454B2 (en) | 2011-03-15 | 2016-01-13 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| CN102739949A (en) | 2011-04-01 | 2012-10-17 | 张可伦 | Control method for multi-lens camera and multi-lens device |
| US9270875B2 (en) * | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
| JP2013078090A (en) | 2011-09-30 | 2013-04-25 | Sharp Corp | Photographing device, photographing device control method, control program, and recording medium |
| KR20150014453A (en) | 2012-05-18 | 2015-02-06 | 톰슨 라이센싱 | Native three-color images and high dynamic range images |
-
2013
- 2013-12-06 EP EP13898880.3A patent/EP3073733A4/en not_active Withdrawn
- 2013-12-06 JP JP2016536587A patent/JP6263623B2/en active Active
- 2013-12-06 CN CN201380077824.2A patent/CN105340267A/en active Pending
- 2013-12-06 US US15/102,226 patent/US10306165B2/en active Active
- 2013-12-06 WO PCT/CN2013/088783 patent/WO2015081563A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015081563A1 (en) | 2015-06-11 |
| EP3073733A1 (en) | 2016-09-28 |
| CN105340267A (en) | 2016-02-17 |
| JP2017505004A (en) | 2017-02-09 |
| EP3073733A4 (en) | 2017-04-05 |
| US20170214866A1 (en) | 2017-07-27 |
| US10306165B2 (en) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6263623B2 (en) | Image generation method and dual lens apparatus | |
| CN110166695B (en) | Camera anti-shake method and device, electronic equipment and computer readable storage medium | |
| CN109194876B (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| CN111246089B (en) | Jitter compensation method and apparatus, electronic device, computer-readable storage medium | |
| EP3067746B1 (en) | Photographing method for dual-camera device and dual-camera device | |
| CN110278360B (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
| JP4957759B2 (en) | Imaging apparatus and imaging method | |
| JP4356621B2 (en) | Imaging apparatus and imaging method | |
| JP5843454B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2009200560A (en) | Imaging apparatus, imaging method, and program | |
| US20220180484A1 (en) | Image processing method, electronic device, and computer-readable storage medium | |
| CN109559352B (en) | Camera calibration method, device, electronic equipment and computer-readable storage medium | |
| CN112991245A (en) | Double-shot blurring processing method and device, electronic equipment and readable storage medium | |
| TWI520604B (en) | Image pickup device and image preview system and image preview method thereof | |
| CN109584311B (en) | Camera calibration method, device, electronic equipment and computer-readable storage medium | |
| JP5248951B2 (en) | CAMERA DEVICE, IMAGE SHOOTING SUPPORT DEVICE, IMAGE SHOOTING SUPPORT METHOD, AND IMAGE SHOOTING SUPPORT PROGRAM | |
| TW201824178A (en) | Image processing method for immediately producing panoramic images | |
| JP2017103695A (en) | Image processing apparatus, image processing method, and program of them | |
| US11792511B2 (en) | Camera system utilizing auxiliary image sensors | |
| CN112104796B (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
| CN104811602A (en) | Self-shooting method and self-shooting device for mobile terminals | |
| CN110875998A (en) | Panoramic photographic device and image mapping combination method thereof | |
| JP2019040004A (en) | Photographing system and photographing method | |
| JP2006295329A (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2017130890A (en) | Image processing device and control method and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170922 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6263623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |