JP6802372B2 - 端末のための撮影方法及び端末 - Google Patents

端末のための撮影方法及び端末 Download PDF

Info

Publication number
JP6802372B2
JP6802372B2 JP2019522768A JP2019522768A JP6802372B2 JP 6802372 B2 JP6802372 B2 JP 6802372B2 JP 2019522768 A JP2019522768 A JP 2019522768A JP 2019522768 A JP2019522768 A JP 2019522768A JP 6802372 B2 JP6802372 B2 JP 6802372B2
Authority
JP
Japan
Prior art keywords
image
color
monochrome
camera lens
cropping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019522768A
Other languages
English (en)
Other versions
JP2019533957A (ja
Inventor
リ,ジャンウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2019533957A publication Critical patent/JP2019533957A/ja
Application granted granted Critical
Publication of JP6802372B2 publication Critical patent/JP6802372B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Description

本願は「端末のための撮影方法及び端末」と題する2016年10月28日付で中国特許庁に出願された第201610964290.0号、及び「端末のための撮影方法及び端末」と題する2016年12月1日付で中国特許庁に出願されたPCT/CN2016/108271号による優先権を主張しており、それらは全体的にリファレンスに組み込まれる。
本発明の実施形態は画像処理分野に関し、そして特に、モノクロ・カメラ・レンズとカラー・カメラ・レンズとを有する端末の撮影方法、及び端末に関する。
移動電話機の撮影効果は、様々な移動電話機のユーザーによる選択に影響を及ぼす重要なファクターであり、そしてより良い撮影効果を有する移動電話機は消費者によりいっそう好まれる。焦点距離は移動電話機の撮影効果に大きく影響する。85mm焦点距離は画像に対する適切なキャラクタ及び環境描写を提供し得る。85mm焦点距離を利用することによりポートレートが撮影される場合、半分の長さのポートレートと全部の長さのポートレートとの間で切り替えを実行することは比較的便利であるかもしれず、最小限の射影歪が存在し、そして形は殆ど歪まない。更に、他の異なる焦点距離と比較して、85mm焦点距離は、ワイド・アパーチャを使用することにより、浅い被写界深度効果を容易に作り出す。更に、視野(Field of view、略称FOV)はまた、移動電話機の撮影効果に影響を及ぼす重要なファクターである。視野の大きさはカメラ・レンズの焦点距離に関連する。
従来技術において、アイフォン7プラスは、12メガピクセルの2つの背面カラー・カメラ・レンズを有する。広角カメラ・レンズの等価焦点距離は28mmであり、そして絞り値はf/1.8である。ロング・フォーカス・カメラ・レンズの等価焦点距離は56mmであり、そして絞り値はf/2.8である。ポートレート・モードにおいて、ロング・フォーカス・カメラ・レンズは浅い被写界深度効果を有し、そして広角カメラ・レンズは鮮明なフォアグラウンド画像を取得する。2カメラ・レンズにより、アイフォン7プラスは2×光学ズームを実現し、そして56mm焦点距離のポートレート撮影効果を達成することが可能である。
従来技術において、ポートレート・モードでアイフォン7プラスは56mm焦点距離のロング・フォーカス・カメラ・レンズに基づいて2×光学ズームを実現する。ロング・フォーカス・カメラ・レンズの等価焦点距離は広角カメラ・レンズのものの2倍であるため、アイフォン7プラスはズーム比率2×における光学ズーム効果のみを実現でき、そして可変ズーム比率でのズーム効果は実現できず、なぜならアイフォン7プラスのズーム比率2×は光学レンズの焦点距離によって制限されるからである。
本発明の実施形態は、様々なズーム比率におけるズーム効果とワイド・アパーチャ効果とを実現する、端末のための撮影方法及び端末を提供する。
本発明の実施形態の第1態様は、少なくとも2つのカメラ・レンズを含む端末のための撮影方法を提供し:1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、及びモノクロ・カメラ・レンズとカラー・カメラ・レンズとは端末の同じ側で平行に配置される。ターゲット・ズーム比率は、ユーザーにより実行されるズームに基づいて取得され、そしてターゲット・シーンのカラー画像とモノクロ画像とが同時に撮影される。カラー・カメラ・レンズの解像度はブラック・カメラ・レンズのものより低いので、モノクロ画像は、カラー画像により表現されるものよりも詳細な、ターゲット・シーンの情報を表現する。そして、カラー画像とモノクロ画像とはターゲット・ズーム比率に基づいて相応にクロップされ、及びクロッピングにより取得されたカラー画像とクロッピングにより取得されたモノクロ画像とが同じ視野を有することが保証される。最終的に、カラー・ズーム画像を取得するために、クロッピングにより取得されたカラー画像とクロッピングにより取得されたモノクロ画像とにフュージョンが実行される。
本発明のこの実施形態における方法は以下の利点を有することを上記の技術的ソリューションから学ぶことができる:
同時に撮影された及びターゲット・シーンの複数のモノクロ画像と複数のカラー画像とはターゲット・ズーム比率に基づいて相応にクロップされ、及びそしてカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンが実行される。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とに対応する視野は、光学ズームにより取得されたものと同じであり、光学ズームのズーム比率はターゲット・ズーム比率であり、及びモノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
本発明の実施形態の第1態様に関し、本発明の実施形態の第1態様の第1実装において、撮影方法は、更に:
ターゲット・シーンの深度情報に基づいて、取得したカラー・ズーム画像に背景ブラーリング処理を実行するステップを含む。
深度情報に基づいて、カラー・ズーム画像に背景ブラーリング処理が実行された後、撮影された対象はより鮮明になることが可能であり、そして背景は暈され、それにより撮影された対象はより明らかになる。
本発明の実施形態の第1態様の第1実装に関し、本発明の実施形態の第1態様の第2実装において、撮影方法は、更に:
ジャイロ・センサーにより収集された情報に基づいて、撮影環境が相対的に静的な状態にあるか否かを決定するステップを含み、その場合において、画像のコントラスト情報は、鮮明度、詳細表現、及び画像のグレースケール・レベル表現に関連し、モノクロ画像のより大きなコントラスト情報は、画像のより明らかな詳細表現及びグレースケール・レベル表現を示し、及びカラー・画像のより大きなコントラスト情報はより鮮明でより人目を引く画像及びより明るい色を示す。
従って、少なくとも2つのブラック画像が存在する場合に、先ず、高い画像品質を有する1つのターゲット・モノクロ画像が、ジャイロ・センサーにより収集された情報とモノクロ画像のコントラスト情報とに基づいて、クロッピングにより取得されたモノクロ画像から決定される。同様に、少なくとも2つのカラー画像が存在する場合に、高い画像品質を有する1つのターゲット・カラー画像が、ジャイロ・センサーにより収集された情報とカラー画像のコントラスト情報とに基づいて、クロッピングにより取得されたカラー画像から決定される。そして、深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算が実行される。
高い画像品質を有するターゲット・カラー画像と高い画像品質を有するターゲット・モノクロ画像とは、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とを使用することにより選択され、それにより、高品質の画像を使用することにより計算される深度情報はより正確になる。
選択的に、本発明の実施形態の第1態様は更に或る実装を提供し、カラー・ズーム画像が取得された後に、方法は更に:カラー・ズーム画像において関心領域ROIを識別するステップ;及びカラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行するステップを含む。この方法では、ワイド・アパーチャ・ブラーリング効果が実現されることが可能である。
選択的に、本発明の実施形態の第1態様は或る実装を提供し、カラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行するステップは、具体的に:両眼立体視原理に従ってカラー・ズーム画像のシーン深度情報を計算するステップ;及びカラー・ズーム画像のフォアグラウンド情報と、モノクロ・カメラ・レンズ及びカラー・カメラ・レンズ各々の絞り値FUMと、シーン深度情報とに基づいて、カラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行するステップである。
選択的に、本発明の実施形態の第1態様は或る実装を更に提供し、少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、両眼立体視原理に従ってカラー・ズーム画像のシーン深度情報を計算するステップは、具体的に:モノクロ画像及びカラー画像から、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報と、端末のジャイロスコープにより収集された情報とに基づいて、最小のジッタ情報及び/又は最大のコントラスト情報を有する1つのモノクロ画像と1つのカラー画像とを選択し、及び、選択されたモノクロ画像と、選択されたカラー画像と、両眼立体視原理とに基づいてカラー・ズーム画像のシーン深度情報を計算するステップである。
本発明の実施形態の第2態様は端末を提供し、端末は:
少なくとも2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行である、少なくとも2つのカメラ・レンズ;
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュールであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、撮影モジュール;
ターゲット・ズーム比率を決定するように構成される第1決定モジュール;
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするように構成されるクロッピング・モジュールであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール;及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するように構成されるフュージョン・モジュールを含む。
本発明のこの実施形態における方法は以下の利点を有することを上記の技術的ソリューションから学ぶことができる:
撮影モジュールは、ターゲット・シーンの複数のモノクロ画像と複数のカラー画像とを同時に撮影し、クロッピング・モジュールはターゲット・ズーム比率に基づいて相応にクロッピングを実行し、及びそしてフュージョン・モジュールは、カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とは同じ視野を有し、及びモノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
本発明の実施形態の第2態様に関し、本発明の実施形態の第1態様の第1実装において、端末は更に:
ターゲット・シーンの深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行するように構成されるブラーリング・モジュールを含む。
背景ブラーリング・モジュールは、カラー・ズーム画像に背景ブラーリング処理を実行してもよく、それにより、背景ブラーリング処理が実行される画像はより鮮明になり、そしてより明るい色を有する。
本発明の実施形態の第2態様の第1実装に関し、本発明の実施形態の第1態様の第2実装において、方法は更に:
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定するように構成される第2決定モジュール;及び
深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行するように構成される計算モジュールを含む。
深度の計算は、第2決定モジュールにより決定される高品質ターゲット・カラー画像と高品質ターゲット・モノクロ画像とを使用することにより実行され、それにより、深度情報の精度は効果的に改善されることが可能である。
本発明の実施形態の第2態様において提供される端末は、第1態様の全ての実装において説明される方法を実行し得る。
本発明の実施形態の第3態様は端末を提供し、端末は:
プロセッサと、メモリと、少なくとも2つのカメラ・レンズとを含み、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行であり、
プロセッサは、メモリに保存される動作命令を起動することにより:
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ;
ターゲット・ズーム比率を決定するステップ;
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ;及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するステップを実行するように構成される。
本発明の実施形態の第3態様において提供される端末は、第1態様の全ての実装における方法を実行し得る。
本発明のこの実施形態における方法は以下の利点を有することを上記の技術的ソリューションから学ぶことができる:
プロセッサは、同時に撮影された及びターゲット・シーンの複数のモノクロ画像と複数のカラー画像とを、ターゲット・ズーム比率に基づいて相応にクロップし、及びそしてカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とは同じ視野を有し、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
本発明の実施形態の第3態様に関し、本発明の実施形態の第3態様の可能な第1実装において、プロセッサは:
ターゲット・シーンの深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行するステップを実行するように更に構成される。
プロセッサは、カラー・ズーム画像に背景ブラーリング処理を実行し、それにより背景ブラーリング処理が実行される画像はより鮮明になり、そしてより明るい色を有する。
本発明の実施形態の第3態様の可能な第1実装に関し、本発明の実施形態の第3態様の可能な第2実装において、プロセッサは:
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定するステップ;及び
深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行するステップを実行するように更に構成される。
プロセッサは、高品質のターゲット・カラー画像と高品質のターゲット・モノクロ画像と決定した後に、ジャイロ・センサーにより取得された情報とコントラスト情報とに基づいて深度計算を実行し、それにより、深度情報の精度は効果的に改善される。
図1は本発明の実施形態による端末のための撮影方法の実施形態の概略図である。
図2は本発明の実施形態によりブラック・カメラ・レンズによって撮影されたモノクロ画像である。
図3は本発明の実施形態によるカラー・カメラ・レンズによって撮影されたカラー画像である。
図4は本発明の実施形態による画像クロッピングの概略図である。
図5は本発明の実施形態によるクロッピングにより取得されたモノクロ画像である。
図6は本発明の実施形態によるクロッピングにより取得されたカラー画像である。
図7は本発明の実施形態による画像フュージョンの概略図である。
図8は本発明の実施形態によるカラー・ピクセルの概略図である。
図9は本発明の実施形態によるカラー・ピクセル・コンビネーション・プロセスの概略図である。
図10は本発明の実施形態によるモノクロ・ピクセルの概略図である。
図11は本発明の実施形態による背景ブラーリングの概略図である。
図12は本発明の実施形態による被写界深度−距離曲線図である。
図13は本発明の実施形態によるツイン・カメラ・レンズの配置の概略図である。
図14は本発明の実施形態による端末の実施形態の概略図である。
図15は本発明の実施形態による端末の別の実施形態の概略図である。
図16は本発明の実施形態による端末の別の実施形態の概略図である。
図17は本発明の実施形態によるターゲット・ズーム比率を取得する概略図である。
本発明の実施形態は、様々なズーム比率におけるズーム効果とワイド・アパーチャ効果とを実現する、端末のための撮影方法及び端末を提供する。
本発明の明細書、請求項、及び添付図面において、用語「第1」、「第2」、「第3」、「第4」等々(存在する場合)は同様な対象を区別するように意図されているが、必ずしも特定の順番又は順序を示すものではない。そのような方法で言及されるデータは、ここで説明される本発明の実施形態がここで示される又は説明される順番以外の順番で実装されることが可能であるように、適切な状況において可換であることが理解されるべきである。更に、用語「含む」、「有する」及び他の任意の変形は、非排他的な包含をカバーすることを意味し、例えば、ステップ又はユニットのリストを含むプロセス、方法、システム、プロダクト、又はデバイスは、明示的にリストされているそれらのステップ又はユニットに必ずしも限定されず、そのようなプロセス、方法、プロダクト、又はデバイスに明示的にリストされていない又は固有の他のステップ又はユニットを含んでよい。
移動電話機は、人々の日常生活で不可欠の電子製品となっており、そして移動電話機の撮影能力は人々に好まれている。移動電話機のより高度なピクセルはより良い撮影効果をもたらす。撮影プロセスにおいて、開口及び焦点距離は、通常、撮影される対象物をより鮮明にするように調整され得る。受け入れられる光量は開口に依存し、開口はまた被写界深度がそれに依存する重要なファクターである。より大きな開口はより小さな絞り値に対応し且つより浅い被写界深度を示し、及びより小さな開口はより大きな絞り値に対応し且つより深い被写界深度を示す。撮影される対象物の撮像サイズは焦点距離に依存する。撮影中、焦点距離は調整されてもよく、即ちズームが実行されてもよい。ズームの仕方は光学ズームとディジタル・ズームとの2種類に分類され得る。写真のピクセルは、撮影される対象物がより鮮明になるように、ズームにより改善されることが可能である。
本発明の実施形態における端末のための撮影方法の理解を促すために、以下、本発明の実施形態における端末のための撮影方法の実施形態を説明する。
端末は移動電話機であることが一例として使用される。図1を参照すると、本発明の実施形態における撮影方法の実施形態が詳細に説明されており、そして以下のステップを含む。
101。移動電話機がターゲット・ズーム比率を取得する。
この実施形態では、図17に示されるように、ユーザーはカメラ・アプリケーションを開始し、そして移動電話機はカメラのプレビュー・インターフェースを提示する。ユーザーは2本の指で摘むことによりプレビュー・インターフェースでターゲット・ズーム比率を調整してもよい。図17に示されるように、ターゲット・ズーム比率は2×である。ユーザーがズームを実行しない場合、ターゲット・ズーム比率はデフォルトにより1×である。ユーザーがズームを実行する場合、カメラのプレビュー・インターフェースはそれに応じて変わり、例えば、プレビュー・インターフェースにおける画像はズーム・イン又はズーム・アウトされる。
102。移動電話機がターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影する。
この実施形態では、移動電話機は2つのカメラ・レンズを有し、一方のレンズはモノクロ・カメラ・レンズであり、そして他方のレンズはカラー・カメラ・レンズである。ブラック・カメラ・レンズの解像度はカラー・カメラ・レンズのものの少なくとも1.6倍である。2つのカメラ・レンズは、2つのカメラ・レンズの光軸が平行であるように、平行に配置される。移動電話機のカラー・カメラ・レンズはカラー画像を撮影し、及びモノクロ・カメラ・レンズはモノクロ画像を同時に撮影し、モノクロ画像の撮影シーンはカラー・画像のものに一致している。最終的に、移動電話機は少なくとも1つのカラー画像と少なくとも1つのモノクロ画像とを取得し、例えば8フレームのカラー・画像と8フレームのモノクロ画像とを取得する。ユーザーがズームを実行する場合、ユーザーがズームを実行した後に得られる比率に基づいて画像が撮影される。ユーザーがズームを実行しない場合、撮影は、2つのカメラ・レンズのデフォルト設定に基づいて実行される。デフォルト設定は、カメラ・アプリケーション開始後にユーザーはズームを実行しないことであってもよい。
モノクロ・カメラ・レンズにより撮影されたモノクロ画像が図2に示されている。カラー・カメラ・レンズにより撮影されたカラー画像が図3に示されている(カラー画像が出願ファイルで使用できないので、図3に示されるカラー画像はグレースケール画像として表示されている)。図2に示されるモノクロ画像の解像度は、図3に示される画像のものの約1.6倍である。
103。移動電話機がターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロップする。
この実施形態において、移動電話機は撮影されたカラー画像の複数のフレームと撮影されたブラック画像の複数のフレームとをクロップする。具体的には、ターゲット・ズーム比率において、中心エリアが同じ視野を有することを保証するように、クロッピングが、カラー画像及びモノクロ画像の中心エリアで実行される。クロッピングの概略図が図4に示されている。ターゲット・ズーム比率がn×である場合に、カラー画像の解像度がcH*cWであり、そして対応するサイズがC*Dであると仮定すると、サイズが(C/2n)*(D/2n)である画像が、カラー画像の中心におけるクロッピングにより取得され、それはクロッピングにより取得されたカラー画像であり、及びクロッピングにより取得されたカラー画像の解像度は(cH/2n)*(cW/2n)に変化する。同様に、モノクロ画像の解像度がmH*mWであり、そして対応するサイズがM*Nであると仮定すると、サイズが(M/2n)*(N/2n)である画像が、モノクロ画像の中心におけるクロッピングにより取得され、それはクロッピングにより取得されたモノクロ画像であり、及びクロッピングにより取得された画像の解像度は(mH/2n)*(mW/2n)に変化する。そのようなクロッピングの後、クロッピングにより取得された画像に対応する視野は、ズーム比率がn×である光学ズームにより取得されたものと同じであり、そしてクロッピングにより取得されたモノクロ画像の解像度とクロッピングにより取得されたカラー画像のものとの間の倍数関係は、ブラック・カメラ・レンズの解像度とカラー・カメラ・レンズのものとの間の倍数関係と依然として同じであり、即ち、ブラック・カメラ・レンズの解像度がカラー・カメラ・レンズのものの1.6倍である場合、クロッピングにより取得されたモノクロ画像の解像度もまた、クロッピングにより取得されたカラー画像のものの1.6倍である。
ターゲット・ズーム比率nが3である場合に、図2におけるモノクロ画像と図3におけるカラー画像とが上記のクロッピング方法に従って相応にクロップされた後、図5に示されるモノクロ画像と図6に示されるカラー画像とが取得される(カラー画像は出願ファイルで使用できないので、図6に示されるカラー画像はグレースケール画像として表示されている)。上記のクロッピングの後、図5に示されるモノクロ画像の解像度は、依然として図6に示されるカラー画像のものの1.6倍である。
104。移動電話機が、カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。
この実施形態では、ステップ103においてカラー画像とモノクロ画像とにクロッピング処理が実行された後に、図7に示されるように、移動電話機は先ず超解像度モジュールを使用して、クロッピングにより取得されたカラー画像及びクロッピングにより取得されたモノクロ画像の各々に超解像度処理を実行し、オリジナル画像の解像度を改善し、そして次にカラー及びモノクロ・フュージョン・モジュールを使用して、超解像度処理が実行された後に取得された画像にフュージョンを実行し、カラー・ズーム画像を取得する。超解像度モジュールは、クロッピングにより取得されたカラー画像の解像度とクロッピングにより取得されたモノクロ画像の解像度とを、補間アルゴリズムを使用することにより改善するモジュールである。カラー・カメラ・レンズのピクセル分布については図8に示されるベイヤー・アレイを参照されたい。ベイヤー・アレイは、RGBR配置及びRGBW配置の2つの異なる配置を含む。図9に示されるように、ベイヤー・アレイでは、到来光が各ピクセルに入射するプロセスにおいて、幾つかの色は各ピクセルに対応する光フィルタにより選別され、及び幾つかの色の強度のみが各ピクセルで維持される。従って、後者の撮像プロセスでは、4つのRGBR又はRGBWピクセル毎をグループとして使用することにより、デ・ベイヤー処理が実行される必要があり、そして次に隣接ピクセルのカラー強度及びレッド・グリーン・ブルーの組み合わせ原理を参照して、撮影された対象物のオリジナル色を再生するためにコンビネーションが実行される。図9に示されるピクセル・コンビネーション・プロセスにおいて、到来光がピクセルに入射する場合に、ほぼ70%のエネルギーが失われる。モノクロ・カメラ・レンズのピクセル分布図については、図10を参照されたい。各々のピクセルは、撮影された対象物の画像のグレースケール情報を保存し、そして画像の詳細な情報が最大限に維持される。従って、クロッピングにより取得されたモノクロ画像の詳細解像能力は、クロッピングにより取得されたカラー画像のものより遙かに高い。結論として、一態様では、クロッピングにより取得されたモノクロ画像の画像解像度及び画像詳細解像能力の双方が、クロッピングにより取得されたカラー画像のものより高く、及び他の態様では、ターゲット・ズーム比率に基づいてクロッピングにより取得された画像に対応する視野は、同じズーム比率で光学ズームにより取得されたものに等しく、それにより、フュージョンにより最終的に得られるカラー・ズーム画像の詳細解像能力は著しく改善され、そしてこれは同じズーム比率における光学ズーム効果と等価である。
更に、この実施形態において、クロッピングにより取得されたカラー画像に対応する視野が、クロッピングにより取得されたモノクロ画像に対応する視野と同じであることは、具体的には:2つの視野の間の差が所定の誤差範囲内に収まる場合、2つの視野は同じであることと等価である。
105。移動電話機が、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定する。
この実施形態では、少なくとも2つのブラック画像が存在する場合に、移動電話機は、ジャイロ・センサーにより収集された情報とモノクロ画像のコントラスト情報とに基づいて、高い画像品質を有し且つ比較的静的な環境で撮影されたターゲット・モノクロ画像を選択する。同様に、少なくとも2つのカラー画像が存在する場合に、移動電話機は、ジャイロ・センサーにより収集された情報とモノクロ画像のコントラスト情報とに基づいて、ターゲット・カラー画像を選択する。
ジャイロスコープは、ユーザーが撮影を実行する場合に存在するジッタ情報を検出するように構成される。一般に、より小さなジッタ情報は、撮影により取得される、より鮮明な写真を示す。コントラストは画像の詳細度を反映するファクターである。一般に、より大きなコントラストを有する画像はより鮮明である。
更に、1つのブラック画像が存在する場合に、移動電話機はブラック画像をターゲット・モノクロ画像として直接的に決定することに留意すべきである。同様に、1つのカラー画像が存在する場合に、移動電話機はカラー画像をターゲット・カラー画像として直接的に決定する。
106。移動電話機が、深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行する。
この実施形態では、ターゲット・モノクロ画像とターゲット・カラー画像とを選択した後に、移動電話機は、両眼立体視原理を使用することにより、撮影シーンに対応する両眼被写界深度マップ、即ち図12に示される被写界深度−距離曲線図を計算する。被写界深度−距離曲線図は、被写界深度と距離との間における及び異なる絞り値、即ち深度情報に対応する関係曲線を含む。図12において、曲線1に対応する絞り値は、曲線2に対応する絞り値より大きい。両眼立体視は、対象物を見るために、2つのカメラ・レンズを利用することで人の両目を模倣する原理であり、そしてその原理はターゲット・シーンの深度情報を計算するために使用される。本発明のこの実施形態では、2つのカメラ・レンズの一方がモノクロMONOカメラ・レンズであり、及び他の一方がカラー・カメラ・レンズである。
両眼立体視原理を用いて両眼被写界深度マップを取得することにより深度計算が実行されることは、具体的には次のとおりである:ターゲット・モノクロ画像とターゲット・カラー画像とが選択された後に、先ず、ターゲット・カラー画像及びターゲット・モノクロ画像の各々に対応するピクセル視差マップが、ターゲット画像に対応する光学的流れ場を利用することにより計算され、それにより、ターゲット・モノクロ画像及びターゲット・カラー画像の各ピクセルに対応するピクセル視差値が得られ;そして次にシーン深度情報が、両眼立体視原理を利用することにより取得される計算式d=f*T/cに従って計算される。Tはモノクロ・カメラ・レンズとカラー・カメラ・レンズとの間の距離であり、cは対応するピクセルのピクセル視差値であり、及びfは実際の焦点距離である。ブラック・カメラ・レンズとカラー・カメラ・レンズとが同時に同じ対象物に焦点を合わせる場合、焦点合わせを実行した後、モノクロ・カメラ・レンズの焦点距離は、カメラ撮像原理に従ってカラー・カメラ・レンズのもの、即ち実際の焦点距離fに等しい。
更に、オリジナル画像の解像度がdH*dWである場合、有効シーン深度マップの解像度は(dH/m)*(dW/m)(m≧23)であり、及びワイド・アパーチャの有効深度範囲はLメートルである。ズームが実行されない場合、シーン深度計算パフォーマンスを改善するために、ダウンサンプリングが入力画像に関して直接的に実行され、解像度が(cH/m)*(dH/m)であるシーン計算オリジナル・マップを生成してもよく、そして次に両眼被写界深度マップが計算される。X×ズームが実行された後に、クロッピングにより取得された画像の解像度が、クロッピングが実行される前に存在する画像の解像度の(1/m)*(1/m)倍未満であるとすると、解像度が(dH/m)*(dW/m)であるシーン深度計算オリジナル・マップに深度計算が実行された後に取得される両眼被写界深度マップの深度精度は影響されず、シーン深度計算オリジナル・マップは、クロッピングにより取得された画像にダウンサンプリングを実行することにより取得される。この場合、ワイド・アパーチャの有効深度範囲はオリジナル有効深度範囲のX倍、即ちXLメートルである。具体的に、ターゲット・カラー画像が一例として使用される。mが8に等しい場合、ターゲット・カラー画像の解像度は3968*2976である。通常のワイド・アパーチャ・モードにおいて、ズームが実行されない場合、ターゲット・カラー画像にダウンサンプリングが実行され、解像度が496*372であるシーン深度計算オリジナル・マップを生成し、そして解像度が496*372であるシーン深度計算オリジナル・マップで深度計算が実行され、解像度が496*372である両眼深度マップを取得する。このケースでは、ワイド・アパーチャの有効距離は2メートルである。ターゲット・ズーム比率3×に基づいてズームが実行され、及びクロッピングがステップ103で実行された後、クロッピングにより取得されたターゲット・カラー画像の解像度は496*372であること、及びターゲット・カラー画像の解像度は有効範囲内に該当することが決定されてもよい。解像度が496*372であるシーン計算オリジナル・マップに深度計算が実行された後に取得される両眼深度マップの深度精度は影響されず、ターゲット・カラー画像にダウンサンプリングを実行することにより、シーン計算オリジナル・マップが取得される。このケースでは、ワイド・アパーチャの有効距離は2*3=6メートルであり、及び3×がターゲット・ズーム比率である。ターゲット・ズーム比率が3×である場合、モノクロ・カメラ・レンズ及びカラー・カメラ・レンズの等価焦点距離は75mmと85mmとの間にある。等価焦点距離は、モノクロ・カメラ・レンズとカラー・カメラ・レンズとが全体として使用される場合の等価的なカメラ・レンズの焦点距離であり、即ち1つのカメラ・レンズと等価である。
107。移動電話機が、深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行する。
この実施形態では、組み合わせによりワイド・アパーチャ・ブラーリング効果を生成するために、深度情報に基づいてカラー・ズーム画像に背景ブラーリングが実行される。図11に示されるように、被写界深度−距離曲線図が取得された後に、被写界深度制御モジュールは、焦点合わせにより選択されるフォアグラウンド位置情報に基づいてフォアグラウンド被写界深度を決定し;曲線1等のワイド・アパーチャ値に対応する被写界深度−距離曲線に基づいて、各ピクセルに対応するシーン深度値を取得し;及び曲線1を使用することにより対応するブラーリング半径を取得し、特定のフィルタを使用することによりカラー・ズーム画像にガウシアン・ブラーリング等のブラーリングを実行し、背景ブラーリングが実行されたカラー・ズーム画像を取得する。
更に、この実施形態において移動電話機のカメラ・レンズを配置する方法が図13に示される。モバイル電話機の背面におけるカラー・カメラ・レンズ1とモノクロ・カメラ・レンズ2とは、平行に配置され且つ同じ測沿線に配置される。移動電話機の正面におけるカラー・カメラ・レンズ3とモノクロ・カメラ・レンズ4とは、平行に配置され且つ同じ水平線に配置される。図13に示される配置方法は配置方法の1つでしかなく、及び上記の配置方法と同じ技術的効果を達成することが可能な他の配置方法はここで限定されないことに留意すべきである。
この実施形態において、一態様では、フュージョンにより取得されるカラー・画像の詳細解像能力は大幅に改善され、及びこれは同じズーム比率における光学ズーム効果と等価であるとしてよく;及び他の態様では、フォーカシングにより選択されるフォアグラウンド位置情報に基づいてフォアグラウンド被写界深度が決定され、ワイド・アパーチャ値に対応する曲線1等の被写界深度−距離曲線に基づいて各ピクセルに対応するシーン深度値が取得され、及び対応するブラーリング半径が曲線1を使用することにより取得され、特定のフィルタを使用することによりカラー・ズーム画像にガウシアン・ブラーリング等のブラーリングを実行し、それにより、同じターゲット・ズーム比率における光学ズーム効果とワイド・アパーチャ背景ブラーリング効果とが実現される。したがって、本発明のこの実施形態における移動電話機の撮影方法では、より鮮明な画像が取得されることが可能であり、及び移動電話機の撮影効果が改善されることが可能である。
ステップ104の後、本発明のこの実施形態は以下のステップを更に含んでもよい。
201。カラー・ズーム画像において関心領域ROIを識別する。
202。カラー・ズーム画像における関心領域以外の領域にブラーリング処理を実行する。
画像処理の分野において、関心領域(ROI、フル・ネームはregion of interestである)は、画像から選択される画像領域であり、及び領域は画像分析中の焦点である。例えば、画像の前景は人であり、そして背景は犬である。ユーザーが画像中の人に焦点を合わせる場合、画像中の人がROIであり;又はユーザーが画像中の犬に焦点を合わせる場合、画像中の犬がROIである。
関心領域以外の領域にブラーリング処理を実行することにより、ワイド・アパーチャ効果が実現される。ワイド・アパーチャ効果は、一眼レフカメラを模倣することにより得られる撮影効果である。例えば、一眼レフカメラを利用することにより撮影する間にユーザーが人に焦点を合わせる場合、画像中の人は鮮明である一方、画像中の犬は暈かされる。本発明のこの実施形態で説明されるワイド・アパーチャ効果は、一眼レフカメラ・レンズの撮影効果を模倣することにより得られる。
本発明の実施形態における端末のための撮影方法は、上記の実施形態で詳細に説明されており、そして、以下、本発明の実施形態における端末を詳細に説明する。
図14を参照すると、本発明の実施形態における端末を詳細に説明するために、移動電話機が一例として使用される。移動電話機は:
2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行である、2つのカメラ・レンズ;
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュール1401であって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、撮影モジュール;
ターゲット・ズーム比率を決定するように構成される第1決定モジュール1402;
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするように構成されるクロッピング・モジュール1403であって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール;及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するように構成されるフュージョン・モジュール1404を含む。
本発明のこの実施形態におけるモジュールは方法の実施形態における方法に対応しており、そして詳細はここでは説明されない。
この実施形態において、撮影モジュール1401は、ターゲット・シーンの複数のモノクロ画像と複数のカラー画像とを同時に撮影し、クロッピング・モジュール1403は第1決定モジュール1402により決定されたターゲット・ズーム比率に基づいて相応にクロッピングを実行し、そして次にフュージョン・モジュール1404はカラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行する。一態様では、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とは同じ視野を有し、及びモノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高いので、クロッピングにより取得されたモノクロ画像がクロッピングにより取得されたカラー画像と比較される場合、クロッピングにより取得されたモノクロ画像の解像度はカラー画像のものより依然として高いことが理解され得る。従って、フュージョンにより取得されるカラー・ズーム画像はより高い詳細解像能力を有し、及びこのことは同じズーム比率における光学ズーム効果と等価である。従って、本発明のこの実施形態では、様々なズーム比率におけるズーム効果が実現されることが可能である。
更に、図15に示されるように、移動電話機は更に:
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、クロッピングにより取得されたモノクロ画像及びクロッピングにより取得されたカラー画像から、高い画像品質を有する1つのターゲット・モノクロ画像と高い画像品質を有する1つのターゲット・カラー画像とを、ジャイロ・センサーにより収集された情報と、モノクロ画像のコントラスト情報と、カラー画像のコントラスト情報とに基づいて決定するように構成される第2決定モジュール1505;
深度情報を取得するために、ターゲット・モノクロ画像及びターゲット・カラー画像に深度計算を実行するように構成される計算モジュール1506;及び
少なくとも2つのブラック画像及び/又は少なくとも2つのカラー・画像が存在する場合に、ターゲット・シーンに対応する深度情報に基づいてカラー・ズーム画像に背景ブラーリングを実行するように構成される背景ブラーリング・モジュール1507を含む。
この実施形態では、深度の計算は、第2決定モジュール1505により決定される高品質ターゲット・カラー画像と高品質ターゲット・モノクロ画像とを使用することにより実行され、それにより、深度情報の精度は効果的に改善されることが可能である。背景ブラーリング・モジュール1507は、カラー・ズーム画像に背景ブラーリング処理を実行してもよく、それにより、背景ブラーリング処理が実行される画像はより鮮明になり、そしてより明るい色を有する。
図16を参照すると、本発明の実施形態における端末が説明されており、そして移動電話機16は:
入力デバイス1610と、出力デバイス1620と、プロセッサ1630と、メモリ1640と、バス1650とを含む。
メモリ1640は、リード・オンリ・メモリとランダム・アクセス・メモリとを含み、そして命令及びデータをプロセッサ1630に提供し得る。メモリ1640の一部は不揮発性ランダム・アクセス・メモリ(Nonvolatile Random Access Memory、略称NVRAM)を更に含んでもよい。
メモリ1640は以下の要素を保存する:実行モジュール又はデータ構造、又はそれらの一部、又はそれらの拡張セット:
様々なオペレーション命令を含み、及び様々なオペレーションを実現するために使用されるオペレーション命令;及び
様々なシステム・プログラムを含み、及び様々な基本サービスを実現し、及びハードウェアに基づくタスクを処理するために使用されるオペレーティング・システム。
更に、入力デバイス1610は具体的には2つのカメラ・レンズであってもよく、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、モノクロ・カメラ・レンズはモノクロ画像を撮影するように構成され、カラー・カメラ・レンズはカラー画像を撮影するように構成され、モノクロ・カメラ・レンズの解像度はカラー・カメラ・レンズの解像度より高く、及びモノクロ・カメラ・レンズの光軸はカラー・カメラ・レンズのものと平行である。
本発明のこの実施形態において、プロセッサ1630は:
ターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、モノクロ画像の解像度はカラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー・画像とが存在する、ステップ;
ターゲット・ズーム比率を決定するステップ;
ターゲット・ズーム比率に基づいてモノクロ画像とカラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ;及び
カラー・ズーム画像を取得するために、クロッピングにより取得されたモノクロ画像とクロッピングにより取得されたカラー画像とにフュージョンを実行するステップのために構成される。
プロセッサ1630は、移動電話端末16の動作を制御し、及びプロセッサ1630はまた中央処理ユニット(Central Processing Unit、略称CPU)として言及されてもよい。メモリ1640は、リード・オンリ・メモリとランダム・アクセス・メモリとを含み、そして命令及びデータをプロセッサ1630に提供してもよい。メモリ1640の一部はNVRAMを更に含んでもよい。特定のアプリケーションにおいて、第1端末16の全てのコンポーネントはバス・システム1650を使用することによりともに結合され、及びデータ・バスに加えて、バス・システム1650は電力バス、制御バス、ステータス信号バス等を更に含んでもよい。しかしながら、説明の明確性のため、図中、様々なバスはバス・システム1650としてマークされている。
本発明のこの実施形態における装置は方法の実施形態の方法に対応しており、そして詳細はここでは説明されない。
本発明の上記の実施形態で開示される方法は、プロセッサ1630に適用されてもよいし、又はプロセッサ1630により実装されてもよい。プロセッサ1630は集積回路チップであってもよく、そして信号処理能力を有する。実装プロセスにおいて、上記の方法におけるステップは、プロセッサ1630におけるハードウェアの集積論理回路又はソフトウェア形式の命令により完了されてもよい。プロセッサ1630は、汎用プロセッサ、ディジタル信号プロセッサ(Digital Signal Processor、略称DSP)、特定用途向け集積回路(Application-Specific Integrated Circuit、略称ASIC)、フィールド・プログラマブル・ゲート・アレイ(Field-Programmable Gate Array、略称FPGA)又は他のプログラマブル論理デバイス、ディスクリート・ゲート又はトランジスタ論理デバイス、又はディスクリート・ハードウェア・アセンブリであってもよく;及び本発明の実施形態で開示される方法、ステップ、及び論理ブロック図を実装又は実行し得る。汎用プロセッサはマイクロプロセッサであってもよいし、又はプロセッサは任意の従来のプロセッサ等であってもよい。本発明の実施形態を参照して開示される方法のステップは、ハードウェア・デコーディング・プロセッサを使用することにより直接的に実行されそして完了されてもよいし、又はハードウェアとデコーディング・プロセッサにおけるソフトウェア・モジュールとの組み合わせを使用することにより実行されそして完了されてもよい。ソフトウェア・モジュールは、ランダム・アクセス・メモリ、フラッシュ・メモリ、リード・オンリ・メモリ、プログラム可能なリード・オンリ・メモリ、電気的に消去可能なプログラマブル・メモリ、又はレジスタ等の当該技術分野で成熟しているストレージ媒体に配置されてもよい。ストレージ媒体はメモリ1640に配置される。プロセッサ1630は、メモリ1640内の情報を読み込み、そしてプロセッサ1630のハードウェアとの組み合わせにおいて上記の方法のステップを完了する。
図16の関連する説明については、理解のため図1の方法の部分の関連する説明及び効果を参照されたい。詳細はここでは説明されない。
簡便及び簡潔な説明の目的により、上記のシステム、装置、及びユニットの詳細な動作プロセスについては上記の方法の実施形態における対応するプロセスを参照し、そして詳細はここで再び説明されないことは、当業者により明確に理解され得る。
本願で提供される幾つかの実施形態において、開示されるシステム、装置、及び方法は他の仕方で実装されてもよいことが理解されるべきである。例えば、説明される装置の実施形態は一例であるだけである。例えば、ユニットの分け方は論理的な機能的な分け方であるだけであり、及び実際の実装では他の分け方であってもよい。例えば、複数のユニット又はコンポーネントは別のシステムに組み合わせられ又は統合されてもよいし、又は幾つかの特徴は無視され又は実行されなくてもよい。更に、示される又は議論される相互のカップリング又は直接的なカップリング又は通信コネクションは、幾つかのインターフェースを使用することにより実装されてもよい。装置又はユニット間の間接的なカップリング又は通信コネクションは、電子的、機械的、又は他の形式で実装されてもよい。
個々のパーツとして説明されるユニットは物理的に個別的であってもなくてもよく、及びユニットとして示されるパーツは物理的なユニットであってもなくてもよく、一箇所に配置されてもよいし、又は複数のネットワーク・ユニットに分散されてもよい。ユニットの全部又は一部は、実施形態のソリューションの課題を達成するために実際の条件に基づいて選択されてよい。
更に、本発明の実施形態における機能ユニットは1つの処理ユニットに統合されてもよいし、又は各々のユニットは物理的に孤立して存在してもよいし、又は2つ以上のユニットが1つのユニットに統合される。統合されるユニットは、ハードウェアの形式で実装されてもよいし、又はソフトウェア機能ユニットの形式で実装されてもよい。
統合されるユニットがソフトウェア機能ユニットの形式で実装され、そして独立した製品として販売又は使用される場合、統合されるユニットはコンピュータ読み取り可能なストレージ媒体に保存されてもよい。そのような理解に基づいて、本発明の技術的ソリューションは本質的に、又は従来技術に貢献する部分は、又は技術的ソリューションの全部又は一部は、ソフトウェア・プロダクトの形式で実装されてもよい。ソフトウェア・プロダクトは、ストレージ媒体に保存され、及び本発明の実施形態で説明される方法のステップの全部又は一部を実行するようにコンピュータ・デバイス(パーソナル・コンピュータ、サーバー、ネットワーク・デバイス等であってもよい)を命令する幾つかの命令を含む。上記のストレージ媒体は:USBフラッシュ・ドライブ、リムーバブル・ハードディスク、リード・オンリ・メモリ(ROM、Read-Only Memory)、ランダム・アクセス・メモリ(RAM、Random Access Memory)、磁気ディスク、又は光ディスク等のプログラム・コードを保存することが可能な任意の媒体を含む。
上記の実施形態は本発明の技術的ソリューションを説明するように意図されているだけであり、本発明を限定しない。本発明は上記の実施形態に関連して詳細に説明されているが、本発明の実施形態の技術的ソリューションの精神及び範囲から逸脱することなく、当業者は、上記の実施形態で説明される技術的ソリューションに変形を更に施し得ること、又はその幾つかの技術的特徴に均等な置換を施し得ることを、当業者は理解すべきである。

Claims (9)

  1. 端末のための撮影方法であって、前記端末は少なくとも2つのカメラ・レンズを含み、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行であり、及び前記撮影方法は:
    ターゲット・ズーム比率を取得するステップ;
    前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー画像とが存在する、ステップ;
    前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ
    解像度が改善されるように前記モノクロ画像と前記カラー画像とに超解像度処理を実行するステップ;及び
    カラー・ズーム画像を取得するために、クロッピングにより取得され超解像度処理された前記モノクロ画像とクロッピングにより取得され超解像度処理された前記カラー画像とにフュージョンを実行するステップ;
    を含む方法。
  2. クロッピングにより取得された前記モノクロ画像に対応する前記視野が、クロッピングにより取得された前記カラー画像に対応する前記視野と同じである場合に、クロッピングにより取得された前記モノクロ画像の解像度は、クロッピングにより取得された前記カラー画像の解像度の少なくとも1.6倍である、請求項1に記載の方法。
  3. 前記ターゲット・ズーム比率は3×であり、及び前記モノクロ・カメラ・レンズと前記カラー・カメラ・レンズとの等価焦点距離は75mmと85mmとの間にある、請求項1に記載の方法。
  4. 前記カラー・ズーム画像が取得された後に、前記撮影方法は:
    前記カラー・ズーム画像において関心領域ROIを識別するステップ;及び
    前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するステップ;
    を更に含む、請求項1に記載の方法。
  5. 前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行する前記ステップは:
    両眼立体視原理に従って前記カラー・ズーム画像のシーン深度情報を計算するステップ;及び
    前記カラー・ズーム画像のフォアグラウンド情報と、前記モノクロ・カメラ・レンズ及び前記カラー・カメラ・レンズ各々の絞り値FUMと、前記シーン深度情報とに基づいて、前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するステップ;
    を含む、請求項4に記載の方法。
  6. 少なくとも2つのモノクロ画像及び/又は少なくとも2つのカラー画像が存在する場合に、両眼立体視原理に従って前記カラー・ズーム画像のシーン深度情報を計算する前記ステップは:
    前記モノクロ画像及び前記カラー画像から、前記モノクロ画像のコントラスト情報と、前記カラー画像のコントラスト情報と、前記端末のジャイロスコープにより収集された情報とに基づいて、最小のジッタ情報及び/又は最大のコントラスト情報を有する1つのモノクロ画像と1つのカラー画像とを選択し、及び、選択された前記モノクロ画像と、選択された前記カラー画像と、両眼立体視原理とに基づいて前記カラー・ズーム画像の前記シーン深度情報を計算するステップ;
    を含む、請求項5に記載の方法。
  7. 少なくとも2つのカメラ・レンズであって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、及び前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行である、少なくとも2つのカメラ・レンズ;
    ターゲット・ズーム比率を取得するように構成される取得モジュール;
    前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するように構成される撮影モジュールであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー画像とが存在する、撮影モジュール;
    前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロップするように構成されるクロッピング・モジュールであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、クロッピング・モジュール;及び
    解像度が改善されるように前記モノクロ画像と前記カラー画像とに超解像度処理を実行するように構成される超解像度モジュール;及び
    カラー・ズーム画像を取得するために、クロッピングにより取得され超解像度処理された前記モノクロ画像とクロッピングにより取得され超解像度処理された前記カラー画像とにフュージョンを実行するように構成されるフュージョン・モジュール;
    を含む端末。
  8. 前記端末は、更に:
    前記カラー・ズーム画像において関心領域ROIを識別するように構成される識別モジュール;及び
    前記カラー・ズーム画像における前記関心領域以外の領域にブラーリング処理を実行するように構成されるブラーリング・モジュール;
    を含む請求項7に記載の端末。
  9. プロセッサと、メモリと、少なくとも2つのカメラ・レンズとを含む端末であって、1つのレンズはモノクロ・カメラ・レンズであり、他のレンズはカラー・カメラ・レンズであり、前記モノクロ・カメラ・レンズは静的又は動的なモノクロ画像を撮影するように構成され、前記カラー・カメラ・レンズは静的又は動的なカラー画像を撮影するように構成され、前記モノクロ・カメラ・レンズの解像度は前記カラー・カメラ・レンズの解像度より高く、及び前記モノクロ・カメラ・レンズの光軸は前記カラー・カメラ・レンズのものと平行であり、
    前記プロセッサは、前記メモリに保存される動作命令を起動することにより:
    ターゲット・ズーム比率を取得するステップ;
    前記ターゲット・ズーム比率に基づいてターゲット・シーンのモノクロ画像とカラー画像とを同時に撮影するステップであって、前記モノクロ画像の解像度は前記カラー画像のものより高く、及び少なくとも1つのモノクロ画像と少なくとも1つのカラー画像とが存在する、ステップ;
    前記ターゲット・ズーム比率に基づいて前記モノクロ画像と前記カラー画像とを相応にクロッピングするステップであって、クロッピングにより取得されたモノクロ画像に対応する視野は、クロッピングにより取得されたカラー画像に対応する視野と同じである、ステップ
    解像度が改善されるように前記モノクロ画像と前記カラー画像とに超解像度処理を実行するステップ;及び
    カラー・ズーム画像を取得するために、クロッピングにより取得され超解像度処理された前記モノクロ画像とクロッピングにより取得され超解像度処理された前記カラー画像とにフュージョンを実行するステップ;
    を実行するように構成される、端末。
JP2019522768A 2016-10-28 2016-12-05 端末のための撮影方法及び端末 Active JP6802372B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610964290 2016-10-28
CN201610964290.0 2016-10-28
CN2016108271 2016-12-01
CNPCT/CN2016/108271 2016-12-01
PCT/CN2016/108606 WO2018076460A1 (zh) 2016-10-28 2016-12-05 一种终端的拍照方法和终端

Publications (2)

Publication Number Publication Date
JP2019533957A JP2019533957A (ja) 2019-11-21
JP6802372B2 true JP6802372B2 (ja) 2020-12-16

Family

ID=62023014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019522768A Active JP6802372B2 (ja) 2016-10-28 2016-12-05 端末のための撮影方法及び端末

Country Status (6)

Country Link
US (1) US10827107B2 (ja)
EP (1) EP3525447B1 (ja)
JP (1) JP6802372B2 (ja)
KR (1) KR102229811B1 (ja)
CN (1) CN109906599B (ja)
WO (1) WO2018076460A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3787274A4 (en) * 2018-05-30 2021-06-16 Ningbo Sunny Opotech Co., Ltd. CAMERA MODULARRAY AND METHOD OF ASSEMBLING THEREOF
CN111951199A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 一种图像融合方法及设备
KR20210042588A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 영상을 압축 또는 복원하기 위한 방법 및 장치
US11297286B1 (en) * 2019-11-13 2022-04-05 Facebook Technologies, Llc Monochrome cameras with sparsely arranged clusters of color filters for coloration of content
CN111294517B (zh) * 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端
CN111429350B (zh) * 2020-03-24 2023-02-24 安徽工业大学 一种手机拍照快速超分辨处理方法
CN113660456A (zh) * 2021-07-12 2021-11-16 无锡安科迪智能技术有限公司 可变焦阵列摄像机协同获取不同分辨率多目标视频方法
JP2023106862A (ja) * 2022-01-21 2023-08-02 株式会社リコー 撮像装置、撮像方法、プログラム、および撮像システム
US11727537B1 (en) * 2022-03-24 2023-08-15 Qualcomm Incorporated Bokeh effect in variable aperture (VA) camera systems
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946730A (ja) * 1995-07-28 1997-02-14 Canon Inc 立体形状抽出装置
CA2264777A1 (en) 1996-09-30 1998-04-09 Karl L. Chase Reduced cost high resolution color camera
CN101150731B (zh) * 2006-09-22 2012-05-23 罗罡 用于数字成像的彩色滤波阵列及其成像方法
US7924312B2 (en) 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
WO2010116366A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
JP4991887B2 (ja) 2010-01-13 2012-08-01 シャープ株式会社 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体
JP2012015620A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 立体撮像装置
WO2012051720A2 (en) 2010-10-22 2012-04-26 University Of New Brunswick Camera imaging systems and methods
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
KR101792641B1 (ko) 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
JP5701785B2 (ja) * 2012-02-03 2015-04-15 株式会社東芝 カメラモジュール
CN103546730A (zh) * 2012-07-11 2014-01-29 北京博雅华录视听技术研究院有限公司 基于多摄像头的图像感光度增强方法
KR20140035000A (ko) * 2012-09-11 2014-03-21 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
KR101389865B1 (ko) 2013-02-28 2014-04-29 주식회사 펀진 이미지 인식 시스템 및 그를 이용한 이미지 인식 방법
US20140320611A1 (en) 2013-04-29 2014-10-30 nanoLambda Korea Multispectral Multi-Camera Display Unit for Accurate Color, Multispectral, or 3D Images
CN104424640B (zh) * 2013-09-06 2017-06-20 格科微电子(上海)有限公司 对图像进行虚化处理的方法和装置
US9443335B2 (en) * 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
JP6516410B2 (ja) * 2014-02-21 2019-05-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103856719A (zh) * 2014-03-26 2014-06-11 深圳市金立通信设备有限公司 一种拍照方法及终端
JP2015197745A (ja) 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN103986867B (zh) 2014-04-24 2017-04-05 宇龙计算机通信科技(深圳)有限公司 一种图像拍摄终端和图像拍摄方法
KR102251483B1 (ko) 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
CN104363375B (zh) * 2014-11-28 2018-03-27 广东欧珀移动通信有限公司 一种照片降噪的方法、装置及终端
CN105847660A (zh) 2015-06-01 2016-08-10 维沃移动通信有限公司 一种动态变焦方法、装置及智能终端
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
CN106060412A (zh) 2016-08-02 2016-10-26 乐视控股(北京)有限公司 拍照处理方法和装置
US10142543B1 (en) * 2017-05-12 2018-11-27 Mediatek Inc. Power reduction in a multi-sensor camera device by on-demand sensors activation

Also Published As

Publication number Publication date
KR102229811B1 (ko) 2021-03-18
CN109906599A (zh) 2019-06-18
KR20190068618A (ko) 2019-06-18
EP3525447A4 (en) 2019-12-25
WO2018076460A1 (zh) 2018-05-03
EP3525447A1 (en) 2019-08-14
JP2019533957A (ja) 2019-11-21
US20190253593A1 (en) 2019-08-15
EP3525447B1 (en) 2023-10-25
US10827107B2 (en) 2020-11-03
CN109906599B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
JP6802372B2 (ja) 端末のための撮影方法及び端末
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
CN107948519B (zh) 图像处理方法、装置及设备
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
KR102306283B1 (ko) 이미지 처리 방법 및 장치
KR102306304B1 (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
US10009540B2 (en) Image processing device, image capturing device, and image processing method for setting a combination parameter for combining a plurality of image data
KR102266649B1 (ko) 이미지 처리 방법 및 장치
WO2017045558A1 (zh) 景深调节方法、装置及终端
CN112087580B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110225330A (zh) 用于多视点降噪和高动态范围的系统和方法
CN110324532B (zh) 一种图像虚化方法、装置、存储介质及电子设备
WO2008075159A2 (en) Image stabilization using multi-exposure pattern
CN112866549B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20080226278A1 (en) Auto_focus technique in an image capture device
CN112991245B (zh) 双摄虚化处理方法、装置、电子设备和可读存储介质
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
CN109644258B (zh) 用于变焦摄影的多相机系统
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
CN111835968B (zh) 图像清晰度还原方法及装置、图像拍摄方法及装置
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201126

R150 Certificate of patent or registration of utility model

Ref document number: 6802372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150