JP6736471B2 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP6736471B2
JP6736471B2 JP2016559561A JP2016559561A JP6736471B2 JP 6736471 B2 JP6736471 B2 JP 6736471B2 JP 2016559561 A JP2016559561 A JP 2016559561A JP 2016559561 A JP2016559561 A JP 2016559561A JP 6736471 B2 JP6736471 B2 JP 6736471B2
Authority
JP
Japan
Prior art keywords
focus
images
depth
depth planes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016559561A
Other languages
English (en)
Other versions
JP2017517794A (ja
Inventor
晶 徐
晶 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2017517794A publication Critical patent/JP2017517794A/ja
Application granted granted Critical
Publication of JP6736471B2 publication Critical patent/JP6736471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本出願は、参照によりその全体が本明細書に組み入れられる、2014年5月28日付で中国特許庁に出願された、「IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS」という名称の中国特許出願第201410230506．1号の優先権を主張するものである。
本発明は、画像処理技術の分野に関し、詳細には、画像処理方法および画像処理装置に関する。
一般的な写真技術では、被写体シーンを強調するために、被写体シーンはセンサ上に鮮明に画像化されるが別の深度面内の物体の画像はぼやけるように、カメラは普通、被写体シーンが位置する深度面上に焦点を合わせられる。
ディジタルイメージング技術、画像処理、およびマシンビジョンが発展するにつれて、リフォーカシング技術が浮上してきている。リフォーカシング技術によれば、画像が形成された後で、ユーザの必要に応じて、焦点面または被写界深度を再選択することができ、被写界深度とは撮像デバイスが鮮明な画像化を提供することのできる範囲をいう。
例えば、リフォーカシング技術はライト・フィールド・カメラで用いられる。ライト・フィールド・カメラにはマイクロ・レンズ・アレイが含まれる。撮影が行われるときに、マイクロ・レンズ・アレイ内の各マイクロレンズはセンサ上に画像を形成し、したがって、画像アレイが得られる。加えて、画像アレイは、深度面の焦点変更画像を得るように、リフォーカシングアルゴリズムを用いて処理することもできる。焦点変更画像が形成された後で、ユーザは、その都度必要に応じてある深度面におけるシーンの合焦画像を得ることができる。このようにして、ユーザにはある深度面においてのみシーンの鮮明な画像が見え、別の深度面におけるシーンのユーザに見える画像はぼやける。
本発明の実施形態は、複数の深度面におけるシーンの鮮明な画像を同時に得ることができるような、画像処理方法および画像処理装置を提供する。
第1の態様によれば、画像処理方法が提供され、本画像処理方法は、複数の深度面の深度情報を決定するステップであって、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される、複数の深度面の深度情報を決定するステップと、深度情報に従って複数の深度面の焦点変更画像を生成するステップであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、深度情報に従って複数の深度面の焦点変更画像を生成するステップと、を含む。
第1の態様に関連して、第1の可能な実施態様において、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、深度情報に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定するステップと、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成するステップであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成するステップと、を含む。
第1の可能な実施態様に関連して、第2の可能な実施態様において、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成するステップは、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行うステップと、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせるステップと、を含む。
第2の可能な実施態様に関連して、第3の可能な実施態様において、複数の焦点変更画像を組み合わせるステップは、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせるステップ、を含む。
第3の可能な実施態様に関連して、第4の可能な実施態様において、複数の焦点変更画像の画素の点広がり関数を決定するステップと、画素の点広がり関数に従って融合重みテンプレートを生成するステップであって、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい、画素の点広がり関数に従って融合重みテンプレートを生成するステップと、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行うステップと。
第2から第4のいずれか1つの可能な実施態様に関連して、第5の可能な実施態様において、複数の焦点変更画像内の各焦点変更画像は合焦部分および非合焦部分を含み、複数の焦点変更画像を組み合わせるステップは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、合焦部分と非合焦部分とをつなぎ合わせるステップと、を含む。
第1から第5のいずれか1つの可能な実施態様に関連して、第6の可能な実施態様において、複数の深度面の深度情報および複数の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定するステップと、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成するステップと、合焦部分と非合焦部分とをつなぎ合わせるステップと、を含む。
第1の態様、または、第1から第6のいずれか1つの可能な実施態様に関連して、第7の可能な実施態様において、第1の態様の方法は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像を生成するステップであって、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応する、すべての深度面に対応する焦点変更画像を生成するステップ、をさらに含み、深度情報に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択するステップと、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップと、を含む。
第7の可能な実施態様に関連して、第8の可能な実施態様において、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、すべての焦点変更画像の画素の点広がり関数を決定するステップと、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成するステップであって、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成するステップと、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行うステップと、を含む。
第7または第8の可能な実施態様に関連して、第9の可能な実施態様において、複数の深度面の複数の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、合焦部分と非合焦部分とをつなぎ合わせるステップと、を含む。
第7から第9のいずれか１つの可能な実施態様に関連して、第10の可能な実施態様において、第1の態様の方法は、深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるステップであって、合焦部分および非合焦部分は、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに記憶されている、クエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるステップ、をさらに含み、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせるステップ、を含む。
第5、第6、第9、または第10の可能な実施態様に関連して、第11の可能な実施態様において、合焦部分と非合焦部分とをつなぎ合わせるステップは、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行うステップ、を含む。
第1の態様または前述の可能な実施態様のいずれか1つに関連して、第12の可能な実施態様において、第1の態様の方法は、複数の焦点変更画像内の焦点変更画像を表示するステップと、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップであって、複数のユーザ入力は複数の深度面に対応する、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップと、複数の深度面の生成された焦点変更画像を表示装置上で出力するステップと、をさらに含み、複数の深度面の深度情報を決定するステップは、複数のユーザ入力に従って複数の深度面の深度情報を決定するステップ、を含む。
第12の可能な実施態様に関連して、第13の可能な実施態様において、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
第1の態様または前述の可能な実施態様のいずれか1つに関連して、第14の可能な実施態様において、複数の深度面の深度情報を決定するステップは、既定の入力に従って、既定の入力に対応する複数の深度面を決定するステップ、を含み、本方法は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するステップ、をさらに含む。
第2の態様によれば、画像処理装置が提供され、本画像処理装置は、複数の深度面の深度情報を決定するように構成された決定モジュールであって、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される、決定モジュールと、深度情報に従って複数の深度面の焦点変更画像を生成するように構成された生成モジュールであって、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む、生成モジュールと、を含む。
第2の態様に関連して、第1の可能な実施態様において、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、生成モジュールは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
第1の可能な実施態様に関連して、第2の可能な実施態様において、生成モジュールは、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせる。
第2の態様の第2の可能な実施態様に関連して、第3の可能な実施態様において、生成モジュールは、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせる。
第2の態様の第3の可能な実施態様に関連して、第4の可能な実施態様において、生成モジュールは、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行い、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。
第2の態様の第2から第4のいずれか1つの可能な実施態様に関連して、第5の可能な実施態様において、生成モジュールは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
第2の態様の第1から第5のいずれか1つの可能な実施態様に関連して、第6の可能な実施態様において、生成モジュールは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成し、合焦部分と非合焦部分とをつなぎ合わせる。
第2の態様、または、第2の態様の第1から第6のいずれか1つの可能な実施態様に関連して、第7の可能な実施態様において、生成モジュールは、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像を生成し、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応し、生成モジュールは、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
第2の態様の第7の可能な実施態様に関連して、第8の可能な実施態様において、生成モジュールは、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行い、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい。
第2の態様の第7または第8の可能な実施態様に関連して、第9の可能な実施態様において、生成モジュールは、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
第2の態様の第7から第9のいずれか1つの可能な実施態様に関連して、第10の可能な実施態様において、第2の態様の画像処理装置は、深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるように構成された、問い合わせモジュール、をさらに含み、合焦部分および非合焦部分は深度面の深度または画素座標をインデックスとして用いてクエリテーブルに記憶されており、生成モジュールは、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせる。
第5、第6、第9、または第10の可能な実施態様に関連して、第11の可能な実施態様において、生成モジュールは、つなぎ合わせを行うときに、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う。
第2の態様または前述の可能な実施態様のいずれか1つに関連して、第12の可能な実施態様において、第2の態様の画像処理装置は、複数の焦点変更画像内の焦点変更画像を表示するように構成された、表示モジュールと、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、取得モジュールと、をさらに含み、複数のユーザ入力は複数の深度面に対応し、表示モジュールは、複数の深度面の生成された焦点変更画像を表示装置上で出力し、決定モジュールは、複数のユーザ入力に従って複数の深度面の深度情報を決定する。
第12の可能な実施態様に関連して、第13の可能な実施態様において、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
第2の態様または前述の可能な実施態様のいずれか1つに関連して、第14の可能な実施態様において、決定モジュールは、既定の入力に従って、既定の入力に対応する複数の深度面を決定し、本画像処理装置は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するように構成された、表示モジュール、をさらに含む。
本発明の技術的解決策においては、複数の深度面の焦点変更画像を深度情報に従って生成することができる。複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含むため、複数の焦点変更画像の合焦部分を同時に表示することができ、したがって、複数の深度面内のシーンの鮮明な画像を同時に得ることができる。
本発明の実施形態における技術的解決策をより明確に説明するために、以下で、本発明の実施形態を説明するのに必要とされる添付の図面について簡単に説明する。明らかに、以下の説明における添付の図面は単に本発明のいくつかの実施形態を示すにすぎず、当業者は、これら添付の図面から難なく他の図面をさらに導出することができる。
本発明の一実施形態による画像処理方法の概略的流れ図である。 本発明の別の実施形態による画像処理プロセスの概略的流れ図である。 深度面とユーザ入力との対応関係を示す概略図である。 本発明の一実施形態による二重平面表現法における2つの平面の概略図である。 本発明の一実施形態による合成画像写真技術の原理の概略図である。 本発明の一実施形態による合成画像写真技術の原理モデルの幾何関係の概略図である。 本発明の別の実施形態による画像処理プロセスの概略的流れ図である。 本発明の別の実施形態による画像処理プロセスの概略的流れ図である。 本発明の別の実施形態による画像処理プロセスの概略的流れ図である。 本発明の一実施形態による画像処理装置の概略的構造図である。 本発明の別の実施形態による画像処理装置の概略的構造図である。
以下で、本発明の実施形態における添付の図面に関連して、本発明の実施形態における技術的解決策を明確かつ十分に説明する。明らかに、説明される実施形態は本発明の実施形態の全部ではなく一部にすぎない。本発明の実施形態に基づいて当業者によって難なく得られる他のすべての実施形態は、本発明の保護範囲内に含まれるものとする。
本発明の実施形態において、深度はシーンとカメラとの距離を指す場合がある。複数の深度面は深度が連続する場合もあり、これらは本発明の実施形態においては限定されず、例えば、複数の深度面は深度が不連続である場合もある。各深度面は1つの焦点面に対応する場合もあり、1つの被写界深度に対応する場合もあることを理解すべきである。本明細書における「複数の」は2以上を含むものであることに留意すべきである。
本発明の実施形態はカメラに適用することもでき、または、別のユーザ端末（例えば携帯電話やコンピュータ）に適用することもでき、カメラまたは別のユーザ端末は、複数の深度面の焦点変更画像を生成するように、焦点変更画像の生データを処理するように構成されている。
図1は、本発明の一実施形態による画像処理方法の概略的流れ図である。図1の方法は画像処理装置によって実行することができる。図1の方法は以下の内容を含む。
110．複数の深度面の深度情報を決定し、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される。
深度情報は、深度面に関する情報、画素座標に関する情報、画素色に関する情報、画素の点広がり関数に関する情報、画素に対応する光線の光照射野情報、または画素に対応する光線のトレース情報、またはこれらの情報の任意の組み合わせのうちの少なくとも1つを含むことができる。複数の深度面の深度情報を決定するための方法は本発明の本実施形態では限定されない。深度情報はユーザ入力から得ることもでき、または、事前定義することもできる。
画像処理装置は、ユーザ入力または既定の入力に従って、焦点変更を必要とする領域に対応する深度面を得ることができる。例えば、焦点変更を必要とする領域に対応する深度面は、ユーザインターフェース上でのユーザのリアルタイムの入力または選択に従って決定される。ユーザがユーザインターフェース上で複数の領域を選択するときに、それら複数の領域は深度面に対応しており、画像処理装置は、これに従って、焦点変更を必要とする領域に対応する深度面を知ることができる。本発明の本実施形態によれば、複数の深度面の深度情報を決定するための方法はそれだけに限定されず、画像処理装置は既定の情報に従って複数の深度面の深度情報を決定することもできる。
120．深度情報に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
例えば、各深度面に対応する焦点変更画像において、画像の一部分は焦点が合っており、すなわち、画像の一部分は鮮明であるが、画像の別の部分は焦点が合っておらず、すなわち、画像の別の部分はぼやけている。複数の深度面の深度情報を決定することは、含まれる画像が焦点変更を必要とする深度面を決定することである。その場合、複数の深度面の焦点変更画像を生成するプロセスは、複数の深度面に対応する合焦部分を組み合わせることとすることができる。加えて、複数の深度面の生成された焦点変更画像において、複数の深度面に対応する合焦部分と非合焦部分とを組み合わせることができ、したがって、完全な画像を提示することができる。
本発明の本実施形態によれば、深度情報に従って複数の深度面の焦点変更画像を生成することができる。複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含むため、複数の焦点変更画像の合焦部分を同時に表示することができ、したがって、複数の深度面内のシーンの鮮明な画像を同時に得ることができる。
120で、画像処理装置は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成することができ、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
例えば、深度面に対応する焦点変更画像の生データをユーザによって入力された深度情報に従って決定することもでき、または、焦点変更を必要とする深度面および深度面に対応する焦点変更画像の生データを既定の深度情報に従って決定することもできる。ユーザ入力または既定の入力に従って焦点変更深度面に関する情報を得るための方法は、生データの種類によって異なりうる。
画像処理装置は、焦点変更画像の生データに従って合焦部分を生成することもでき、焦点変更画像の生データに従って非合焦部分を生成することもでき、または、焦点変更画像の生データに従って合焦部分と非合焦部分の両方を生成することもできる。例えば、生データは、マイクロ・レンズ・アレイを備えるカメラモジュール（例えばライト・フィールド・カメラ）による撮影によって得ることができる。各深度面は深度面の焦点変更画像の生データを有し、生データは、必要に応じて、深度面に対応する焦点変更画像を生成するのに用いられる。
本発明の本実施形態によれば、複数の深度面の焦点変更画像を複数の深度面に対応する複数の焦点変更画像の生データに従って生成することができる。複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含むため、複数の焦点変更画像の合焦部分を同時に表示することができ、したがって、複数の深度面内のシーンの鮮明な画像を同時に得ることができる。加えて、複数の深度面のものであり、前述の複数の深度空間に対応する焦点変更画像が深度情報に従って生データに基づいて生成されるため、すべての焦点変更画像を生成する必要がない。したがって、大量の記憶空間が節約される。
前述の焦点変更画像の生データは、それだけに限らないが、以下の画像データまたは以下の画像データの組み合わせを含む、焦点変更画像を生成するのに用いられる任意のデータとすることができる。
例えば、前述の生データは一般的なカメラモジュールによって撮影された1つまたは複数の画像とすることができる。前述の複数の画像は、異なる撮影パラメータ設定、例えば、異なる焦点距離、異なる絞り、異なる露光、および異なる感知波長の下で同じシーンについて撮影された画像をいい、または異なる位置で同じシーンについて撮影された画像をいう。
あるいは、別の実施形態において、前述の生データは、開口マスクプレート、位相マスクプレート、または別の種類のマスクプレートを備えるカメラモジュールによって撮影された1つまたは複数の開口符号化画像とすることもできる。さらに、前述の生データはさらに、様々な画像処理アルゴリズムを用いて開口符号化画像を処理することによって得られた画像とすることもできる。
あるいは、別の実施形態において、前述の生データは、マイクロ・レンズ・アレイまたは開口アレイを備えるカメラモジュールによって撮影された1つまたは複数の画像アレイとすることもできる。さらに、前述の生データはさらに、様々な画像処理アルゴリズムを用いて画像アレイを処理することによって得られた画像、例えば、単一深度面の焦点変更画像、全焦点画像、および仮想ピンホール画像とすることもできる。
あるいは、別の実施形態において、前述の生データは、同じ構成または異なる構成を備える複数のカメラモジュールによって構成された画像撮影アレイによって撮影された1つまたは複数の画像アレイとすることもできる。さらに、前述の生データはさらに、様々な画像処理アルゴリズムを用いて画像アレイを処理することによって得られた画像とすることもできる。
あるいは、別の実施形態において、前述の生データは、同じシーンについて深度感知デバイスとカメラモジュールとによってそれぞれ得られた深度情報と画像との組み合わせとすることもできる。深度感知デバイスは、光の飛行時間、光の位相差、構造化光の照明といった原理を用いて深度感知を実施するあらゆるデバイスを含む。
120で、画像処理装置は、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせることができる。
本発明の本実施形態によれば、リフォーカシングアルゴリズムは、畳み込みアルゴリズム、逆畳み込みアルゴリズム、融合アルゴリズム、スプライシングアルゴリズム、光線トレースアルゴリズム、フィルタリングアルゴリズム、単一深度面の別のリフォーカシングアルゴリズム、またはこれらのアルゴリズムの組み合わせとすることができる。
120で、複数の焦点変更画像の合焦部分は画像融合（Image Fusion）法を用いて組み合わせられる。
例えば、画像融合法は画像解析法である。画像処理装置は画像融合法を用いて2つ以上の画像を組み合わせて1つの画像にすることができる。同じシーンの複数の画像に関する情報は冗長で、相補的であるため、画像融合法を用いて得られる合成画像は画像をより広範囲にわたって正確に表すことができる。画像融合法は、グレースケールベースのアルゴリズム（例えば、直接平均法、加重平均法、中央値フィルタリング法、多分解能スプライン技術）、関心対象の領域に基づく画像融合アルゴリズム、色空間変換に基づく融合アルゴリズム、および変換領域に基づく融合アルゴリズムを含む。
120で、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせるときに、画像処理装置は、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行うことができ、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。すなわち、画素の合焦度は融合重みに比例する。このようにして、複数の深度空間に対応する合焦部分が鮮明に提示される。
例えば、合焦度は鮮明度とも呼ばれ、合焦度のレベルは点広がり関数を用いて測定することができる。加えて、合焦度は合焦評価関数を用いて評価することもできる。
本発明の本実施形態によれば、複数の焦点変更画像内の各焦点変更画像は合焦部分および非合焦部分を含む。120で、複数の焦点変更画像が組み合わされるときに、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択することができ、合焦部分と非合焦部分とはつなぎ合わされる。例えば、合焦部分および非合焦部分は、複数の焦点変更画像内の各焦点変更画像から選択することができる。
あるいは、画像をランダムに選択することもでき、複数の深度面に対応する複数の焦点変更画像の合焦部分は、合焦部分と非合焦部分との間の遷移がより自然になるように、各画像と融合される。
120では、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分が複数の焦点変更画像の生データに従って生成され、合焦部分と非合焦部分とがつなぎ合わされる。
すなわち、合焦部分および非合焦部分は生データに基づいて直接生成される。その場合には、合焦部分および非合焦部分を取り込むステップが省かれ、画像処理が簡素化される。
本発明の本実施形態によれば、120で、画像処理装置は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像をさらに生成し、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成することができ、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
すなわち、深度情報が決定され、複数の深度面の焦点変更画像が生成される前に、すべての焦点変更画像が事前生成される。このようにして、対応する焦点変更画像を、深度情報が決定された後で事前生成された焦点変更画像の中から選択することができ、それによって、複数の深度面の焦点変更画像を生成する時間が短縮され、ユーザ体験が向上する。
本発明の本実施形態によれば、120で、画像処理装置は、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成することができ、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きく、また画像処理装置は、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行うことができる。
すなわち、複数の焦点変更画像のものであり、深度情報に従って決定される融合重みは、その他の焦点変更画像の重みより大きく、複数の焦点変更画像について、画素の合焦度は融合重みに比例する。このようにして、複数の深度空間に対応する合焦部分が鮮明に提示される。
本発明の本実施形態によれば、120で、画像処理装置は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせることができる。
あるいは、別の実施形態において、図1の方法は、すべての焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに合焦部分および非合焦部分を記憶するステップと、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせるステップと、をさらに含み、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成するステップは、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせるステップ、を含む。
例えば、深度面の深度は、各深度面と基準面（例えばカメラ）との距離であり、各深度面は1つの深度距離に対応しうる。画像上にある、各深度面に対応する部分は複数の画素を含みうる。各画素の座標は1つの深度面に対応しうる。各深度面は複数の画素の座標に対応しうる。深度面の深度もしくは画素座標と合焦部分との間の対応関係および／または深度面の深度もしくは画素座標と非合焦部分との間の対応関係を、合焦部分と非合焦部分とがつなぎ合わされる前に確立することができ、前述の対応関係はクエリテーブルに記憶される。対応関係を確立するためのタイミングは本発明の本実施形態では限定されず、例えば、対応関係は撮影プロセスにおいて、または撮影プロセス後に確立することができ、または、合焦部分と非合焦部分とがつなぎ合わされる前にいつでも確立することができる。例えば、すべての深度面の合焦部分と深度面の深度または画素座標との間の対応関係、およびすべての深度面の非合焦部分と深度面の深度または画素座標との間の対応関係を事前に確立することができる。このようにして、ユーザ入力がユーザインターフェース上で受け取られたときに、深度面の深度または画素座標をユーザ入力に従ってまず決定することができ、次いで、深度面の深度または画素座標に従ってクエリテーブルから合焦部分および非合焦部分を取得することができ、合焦部分と非合焦部分とは複数の深度面の焦点変更画像へとつなぎ合わされ、それによってユーザ体験が向上する。加えて、記憶空間を節約するために、ユーザによって選択された深度面に対応する生データのものである合焦部分と非合焦部分との対応関係および深度面の深度または画素座標を単独で記憶することもできる。
本発明の本実施形態によれば、合焦部分と非合焦部分とがつなぎ合わされるときに、合焦部分の画像および非合焦部分の画像に対して、前処理、画像位置合わせ、および画像融合を行うことができる。
あるいは、別の実施形態において、図1の方法は、複数の焦点変更画像内の焦点変更画像を表示するステップと、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップと、複数の深度面の生成された焦点変更画像を表示装置上で出力するステップと、をさらに含み、複数のユーザ入力は複数の深度面に対応し、深度情報が決定されるときには、複数のユーザ入力に従って複数の深度面の深度情報を決定することができる。
例えば、複数の深度面の焦点変更画像が表示される前に、単一深度面の焦点変更画像をユーザインターフェース上で表示することができる。画像処理装置は、ユーザの必要に応じて複数の異なる深度面内のオブジェクトまたは複数の不連続の深度面内のオブジェクトに対してリフォーカシングを行い、複数の深度面の焦点変更画像を表示装置上で出力し、または異なる深度面内の焦点変更シーンの画像を出力することができる。本発明の本実施形態では、複数の深度面の生成された焦点変更画像を単独で表示することもでき、または複数の深度面の焦点変更画像が完全に生成される前に、元の画像および／または、異なる深度面のものであり、中間状態で生成された焦点変更画像を表示することもできる。
任意選択で、別の実施形態において、複数の深度面の焦点変更画像が生成された後で、複数の深度面の焦点変更画像はユーザインターフェース上で直ちに表示される。
本発明の本実施形態によれば、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
110で、既定の入力に対応する複数の深度面を既定の入力に従って決定することができる。図1の方法は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するステップ、をさらに含む。
以下で、本発明の実施形態を、具体例を参照してより詳細に説明する。
図2は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図2の実施形態は図1の画像処理方法の一例である。図3は、深度面とユーザ入力との対応関係を示す概略図である。
210．ユーザインターフェース上で画像を表示する。
例えば、ユーザデバイス（例えばカメラ）のユーザインターフェース上で画像を表示することができる。画像は一般的な画像とすることができる。画像は異なる深度面に位置するシーンを表示することができるが、鮮明に表示することができるのはただ1つの深度面におけるシーンだけである。ユーザデバイスは、異なる深度面の焦点変更画像の生データを記憶することができる。画像上の各シーンの領域または位置は当該シーンが位置する深度面に対応する。
220．ユーザインターフェース上でユーザ入力を取得する。
例えば、ユーザがユーザインターフェース上に表示された画像の複数の領域または位置をタップし、またはタッチするときに、ユーザ入力を複数の領域または位置において受け取ることができる。前述のユーザ入力は、入力デバイスを用いてユーザによって入力された不連続の命令、例えば、マウスのクリック、マウスのダブルクリック、ボタンを押すこと、またはタッチスクリーン上でスタイラスを軽く押すこと、とすることができる。あるいは、前述のユーザ入力は、入力デバイスを用いてユーザによって入力された連続した命令、例えば、単にマウスを動かしてマウスの位置を記録し、それによって連続クリック動作を実施すること、とすることもできる。本発明の本実施形態における入力デバイスは、マウス、タッチパッド、多指感知タッチスクリーン、タブレットもしくは画面上で用いられるスタイラス、視線追跡デバイス、ジョイスティック、4方向ボタンナビゲーション制御、感圧方向ナビゲーション制御、スライダ、スクロールホイール、円形タッチパッド、赤外線体性感覚デバイスなどとすることができる。
複数の深度面は深度間隔を構成しうることを理解すべきである。したがって、複数の深度面は、複数の深度間隔を選択する方法で選択することができる。図3を参照すると、ユーザインターフェース上に表示された画像上のものである領域1および領域2はそれぞれ深度間隔1および深度間隔2に対応する。このようにして、ユーザは、2つの深度間隔に対応する領域を選択することにより、2つの深度間隔に対応する深度面を選択することができる。ユーザは、より多くの深度面の焦点変更画像を得るように、画像上のより多くの領域または位置を選択し、またはタップすることもできることを理解すべきである。
230．ユーザ入力に従って複数の深度面の深度情報を決定する。
深度情報は、位置変更を必要とする複数の深度面に関する情報を指示するのに用いられる。深度情報は、深度面に関する情報、画素座標に関する情報、画素色に関する情報、画素の点広がり関数に関する情報、画素に対応する光線の光照射野情報、または画素に対応する光線のトレース情報、またはこれらの情報の任意の組み合わせのうちの1つを含むことができる。
焦点変更画像の生データは、マイクロ・レンズ・アレイもしくは開口アレイを備えるカメラモジュールによって撮影された1つもしくは複数の画像アレイ、同じ構成もしくは異なる構成を備える複数のカメラモジュールによって構成された画像撮影アレイによって撮影された1つもしくは複数の画像アレイ、または異なる位置において同じシーンについて単一のカメラモジュールによって撮影された複数の画像、とすることができる。画像アレイ内の視覚的差異はシーンの深度情報を含むため、必要な深度面情報を得るために、ブロックマッチング法、グラフカット（Graph Cuts）法、マルチベースライン（Multi−Baseline）法といった方法を用いて画素の深度情報を得ることができる。各画素に対応するオブジェクト点に関する深度情報（例えば、深度と画素座標との間の対応関係）を、深度抽出法を用いて得ることができる。ユーザ入力は選択画素の座標を指示することができる。選択された深度面に関する情報は、ユーザによって選択された画素の座標に基づいて得ることができる。
焦点変更画像の生データは、単一の一般的なカメラモジュールによって撮影された複数の画像とすることができる。複数の画像とは異なるパラメータ設定、例えば、レンズの異なる焦点距離、異なる絞り、異なる露光、レンズとセンサとの異なる距離、レンズ間の異なる距離、レンズの異なる曲率、または異なる感知波長の下で同じシーンについて撮影された画像をいう。シーンが異なる深度面にあるときには画像の合焦度および／または光強度情報が異なるため、そうした情報を用いて必要とされる深度面情報を得ることができる。例えば、ユーザ入力は画素座標に関する情報を指示する。画素の異なる合焦度は異なる深度情報に対応し、したがって、ユーザによって選択された深度面に関する情報をユーザ入力に従って得ることができる。
焦点変更画像の生データは、開口マスクプレート、位相マスクプレート、または別の種類のマスクプレートを備えるカメラモジュールによって撮影された1つまたは複数の開口符号化画像とすることもできる。オブジェクトが異なる深度面にあるときには符号化画像が異なるため、そうした情報を用いて必要とされる深度面情報を得ることができる。例えば、ユーザ入力は画素座標に関する情報を指示し、異なる深度の画素に基づいて生成された符号化画像が異なり、画素の深度情報を符号化画像の特徴から推定することができる。
焦点変更画像の生データは、同じシーンについて深度感知デバイスとカメラモジュールとによってそれぞれ得られた深度情報と画像との組み合わせとすることができる。深度感知デバイスは、光の飛行時間、光の位相差、構造化光の照明といった原理を用いて深度感知を実施するあらゆるデバイスとすることができる。したがって、深度感知デバイスによって提供された深度マップを用いて必要とされる深度面情報を得ることができる。例えば、ユーザ入力は選択された画素座標に関する情報を指示し、ユーザによって選択された深度面に関する情報は、画素座標に関する情報と画素の深度情報との対応関係（すなわち深度マップ）が決定されることを条件として決定することができる。
前述のいくつかの方法においては、画素座標に関する情報と画素の深度情報とのマッピング関係または対応関係が異なる方法で得られる。
240．決定された深度情報に従って対応する生データを決定する。
焦点変更を必要とする深度面は決定された深度情報に従って決定することができ、したがって、焦点変更を必要とするそれら深度面に対応する生データを決定することができる。
250．決定された生データに基づいて、異なる深度面（または平面）の焦点変更画像を生成するためにリフォーカシング操作を行う。
異なる深度面の焦点変更画像を生成するための方法は、畳み込みアルゴリズム、逆畳み込みアルゴリズム、融合アルゴリズム、スプライシングアルゴリズム、光線トレースアルゴリズム、フィルタリングアルゴリズム、単一深度面のリフォーカシングアルゴリズム、または前述のアルゴリズムの任意の組み合わせを含む。異なるリフォーカシングアルゴリズムに従って、異なる深度面の焦点変更画像が生成される前に、画素の合焦度、錯乱円の半径、点広がり関数、勾配、強度差、または構造テンソル、またはそれらの任意の組み合わせを取得することができる。画素の合焦度、錯乱円の半径、点広がり関数、勾配、強度差、および構造テンソルは、畳み込み、逆畳み込み、フーリエ変換、逆フーリエ変換、補間、もしくは導出、もしくはそれらの任意の組み合わせによって計算することもでき、または、機械学習、統計、理論エミュレーションといった方法を用いて得ることもできる。
本発明の本実施形態では、異なる深度面の焦点変更画像を、光照射野再構築、3次元再構築、合成開口といった技術を用いて得ることができる。リフォーカシング操作の具体例に関する詳細については、図6の実施形態を参照されたい。
操作を減らすために、ユーザ入力が受け取られたときに、ユーザ入力に従って選択された複数の深度面に対応する焦点変更画像のみが生成される。本発明の本実施形態はそれだけに限定されず、例えば、すべての深度面の焦点変更画像を事前生成することができ、次いで、ユーザ入力が受け取られたときに、ユーザ入力に従って選択された複数の深度面の焦点変更画像をこれらの焦点変更画像の中から直接選択することもできる。
260．複数の深度面の焦点変更画像を得るように、複数の焦点変更画像を組み合わせる。
本発明の本実施形態では、画像融合法を用いて複数の焦点変更画像を組み合わせることができる。画像融合法では、重みベースの融合を用いることができる。本発明の本実施形態では、異なる深度面の焦点変更画像が融合される前に融合重みを計算することができる。計算を減らすために、選択された複数の深度面に対応する焦点変更画像だけが融合される。融合重みに関する情報を焦点変更画像と同じファイルに記憶することもでき、または、融合重みテンプレートもしくはクエリテーブルを別に形成し、別のファイルに分けて記憶することもできる。
あるいは、本発明の本実施形態では、画像スプライシング法を用いて複数の焦点変更画像を組み合わせることもできる。
270．複数の深度面の生成された焦点変更画像を表示する。
例えば、異なる深度面の焦点変更画像を生成した後で、カメラは複数の深度面の生成された焦点変更画像をユーザインターフェース上で直ちに表示することができる。加えて、複数の深度面の生成された焦点変更画像が表示されるときに、複数の深度面の焦点変更画像が完全に生成される前に、元の画像および／または、異なる深度面のものであり、中間状態で生成された焦点変更画像を表示することもできる。例えば、複数の画像を同じユーザインターフェース上に分割画面方式で表示することもできる。
異なる深度面の焦点変更画像を生成するステップは、複数の深度面の焦点変更画像が合成によって得る前の任意のステップにおいて行うことができ、例えば、撮影プロセスにおいて行うこともでき、撮影プロセスが完了した後で直ちに行うこともでき、または、複数の深度面の焦点変更画像が合成によって得られる必要があるときに行うこともできる、これは本発明の本実施形態では限定されないことを理解すべきである。
以下で、一例としてライト・フィールド・カメラを用いて異なる深度面の焦点変更画像をどのようにして生成すべきか説明する。図4は、本発明の一実施形態による二重平面表現法における2つの平面の概略図である。図5は、本発明の一実施形態による合成画像写真技術の原理の概略図である。図6は、本発明の一実施形態による合成画像写真技術の原理モデルの幾何関係の概略図である。
ライト・フィールド・カメラは、マスタレンズとイメージセンサ（図示されていない）とを含み、マスタレンズとイメージセンサとの間にマイクロ・レンズ・アレイが配置されている。イメージセンサは各マイクロ・レンズ・アレイで形成された小画像を記録し、複数の小画像は画像アレイを構成する。ライト・フィールド・カメラは、記録された画像アレイを再構築して、ユーザに受け入れられうる一般的な画像形態にし、異なる深度面上で合焦を行った結果および異なる視点からシーンを見た結果を提示するように、対応する画像処理ソフトウェアをさらに備えることができる。撮影プロセスが完了した後で、ライト・フィールド・カメラは、ユーザの必要に応じて、ソフトウェアを用いて、ユーザによって選択された深度面上でリフォーカシングを行うことができる。画像の焦点深度は固定されない場合があり、ユーザの必要に応じて変更されうる。光線の強度情報を記録することに加えて、ライト・フィールド・カメラは光線の角度情報も記録する。光線の角度情報はシーンにおけるシーンの深度情報を含む。すなわち、ライト・フィールド・カメラはシーンに関する3次元情報（例えば3次元光照射野データ）を収集する。シーンに関する3次元情報を取得した後で、ライト・フィールド・カメラは、ユーザの必要に応じて、リフォーカシングアルゴリズムを用いて異なる深度面に別々の焦点を合わせることができる。ユーザがユーザインターフェース上に表示された画像内の（シーン内の深度面に対応する）領域を選択したときに、カメラはリフォーカシングアルゴリズムを用いて画像を処理し、最終的には選択された深度面に合焦する効果を示すことができる。ユーザがユーザインターフェース上に表示された画像内の複数の領域を選択したときに、カメラは、複数の深度面の焦点変更画像が生成される前に、生データに従って、複数の領域に対応する複数の深度面の焦点変更画像をまず生成し、次いで、焦点変更画像を融合し、またはつなぎ合わせて、複数の深度面の焦点変更画像を得ることができる。
図4に示すように、二重平面表現法は光照射野を表すのに用いることができ、すなわち、光線Lの座標は、光線が2つの平行な平面u−vおよびs−tにあるときに形成される交点の座標である。例えば、ライト・フィールド・カメラによって収集された光照射野情報がL（u，v，s，t）を用いて表され、ライト・フィールド・カメラの合成光照射野の光照射野情報がL’（u’，v’，s’，t’）を用いて表される。ライト・フィールド・カメラによって収集された光照射野情報と合成光照射野の光照射野情報との関係が図5に示されている。
合成画像面の放射照度画像の値は、
Figure 0006736471
であり、式中、Dは合成画像面と合成開口との距離であり、Aは開口関数であり、例えば、開口内側の値は1であり、開口外側の値は0であり、θは合成画像面と光線（u’，v’，s’，t’）との間の入射角である。近軸近似の原理によれば、前述の式内のcos4θは無視することができ、1／D2が無視された後で、以下の式が得られる。
Figure 0006736471
LとL’との関係が図6に示されており、フィールド情報L（u，v，s，t）は式（2）を表すのに用いることができる。合成画像写真技術の原理によれば、LとL’との関係は以下のように得ることができる。
Figure 0006736471
Figure 0006736471
式中、αは、マスタレンズ面と合成画像面との距離の比例係数を表し、βは、合成開口面とマイクロレンズ面との距離の比例係数を表す。
合成画像写真技術の式は式（4）および式（2）に従って得られる。
Figure 0006736471
異なる深度面の焦点変更画像は、式（5）に従って画像を描くことによって得ることができる。
図7は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図7の実施形態は図1の画像処理方法の一例であり、ここでは詳細な説明を適宜省略する。図7のステップ710からステップ740はそれぞれ図2のステップ210からステップ240と同様であり、ここでは詳細を省略する。
710．ユーザインターフェース上で画像を表示する。
720．ユーザインターフェース上でユーザ入力を取得する。
730．ユーザ入力に従って対応する深度情報を決定する。
740．異なる深度面の焦点変更画像を生成するように、生データに基づき、深度情報を用いてリフォーカシング操作を行う。
745．複数の焦点変更画像の画素の点広がり関数を決定する。
750．画素の点広がり関数に従って融合重みテンプレートを生成する。
760．融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行う。
770．複数の深度面の生成された焦点変更画像を表示する。
ステップ745の画素の点広がり関数を決定するステップは、画素の合焦度、錯乱円の半径、勾配、強度差、構造テンソル、画素に対応する光線の光照射野情報、または画素に対応する光線のトレース情報、またはそれらの任意の組み合わせを決定するステップで置き換えることができることを理解すべきである。すなわち、点広がり関数はこれらのパラメータで置き換えることができる。
点広がり関数を決定するステップは、融合重みテンプレートが生成される前の任意のステップにおいて行うことができることを理解すべきである。
図8は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図8の実施形態は図1の画像処理方法の一例であり、ここでは詳細な説明を適宜省略する。図8のステップ810からステップ840はそれぞれ図2のステップ210からステップ240と同様であり、ここでは詳細を省略する。
810．ユーザインターフェース上で画像を表示する。
820．ユーザインターフェース上でユーザ入力を取得する。
830．ユーザ入力に従って対応する深度情報を決定する。
840．異なる深度面の焦点変更画像を生成するように、生データに基づき、深度情報を用いてリフォーカシング操作を行う。
850．焦点変更画像の画素の合焦度に従って画素の融合重みを決定し、高合焦度の画素の融合重みは同じ焦点変更画像内の低合焦度の画素の融合重みより大きい。
860．複数の深度面の融合重みに従って複数の焦点変更画像に対して画像融合を行う。
870．複数の深度面の生成された焦点変更画像を表示する。
図9は、本発明の別の実施形態による画像処理プロセスの概略的流れ図である。図9の実施形態は図1の画像処理方法の一例であり、ここでは詳細な説明を適宜省略する。
910．ユーザインターフェース上で画像を表示する。ステップ910は図2のステップ210と同様であり、ここでは詳細を述べない。
920．ユーザインターフェース上でユーザ入力を取得する。ステップ920は図2のステップ220と同様であり、ここでは詳細を述べない。
930．ユーザ入力に従って対応する深度情報を決定する。
例えば、深度情報は深度面の深度または画素座標を含むことができ、深度面および画素座標は各ユーザ入力領域に対応する。画素座標は当該領域内の任意の画素の座標とすることができ、例えば、当該領域の中央点の座標とすることができる。
940．異なる深度面の焦点変更画像を生成するように、生データに基づき、深度情報を用いてリフォーカシング操作を行う。
945．異なる深度面の焦点変更画像から合焦部分および非合焦部分を取り込み、それらの合焦部分および非合焦部分をそれぞれ合焦部分クエリテーブルおよび非合焦部分クエリテーブルに記憶する。
あるいは、別の実施形態においては、すべての深度面の焦点変更画像を生データに従って（例えば、ユーザ入力が受け取られる前に）事前生成することができ、次いで、合焦部分および非合焦部分がすべての深度面の焦点変更画像から取り込まれ、合焦部分クエリテーブルおよび非合焦部分クエリテーブルにそれぞれ記憶され、または、すべての深度面のものである合焦部分および非合焦部分が生データに従って事前生成され、合焦部分および非合焦部分は合焦部分クエリテーブルおよび非合焦部分クエリテーブルにそれぞれ記憶される。その場合には、ステップ940およびステップ945を省略することができる。
前述の合焦部分クエリテーブルには、深度面の深度または画素座標と合焦部分との対応関係が記憶される。前述の非合焦部分クエリテーブルには、深度面の深度または画素座標と非合焦部分との対応関係が記憶される。
950．深度情報に従って、各ユーザ入力の深度面の深度または画素座標を決定し、深度面の深度または画素座標に従ってクエリテーブルに問い合わせることによって、ユーザ入力に対応する深度面のものである合焦部分および非合焦部分を得る。
960．複数の深度面に対応する合焦部分と非合焦部分を組み合わせて複数の深度面の焦点変更画像にする。
本発明の本実施形態では、複数の深度面に対応する合焦部分と非合焦部分とを、画像スプライシング法を用いて組み合わせて複数の深度面の焦点変更画像にすることができる。例えば、合焦領域および非合焦領域を画像から取り込むことができ、複数の深度面の焦点変更画像は前述の領域をつなぎ合わせることによって生成される。各合焦領域および各非合焦領域は少なくとも1つの画素を別個に含む。画像スプライシングプロセスは主に、前処理、位置合わせ、および融合という3つのステップを含む。前処理は、画像ノイズ除去、画像補正、および画像投影を含む。画像投影は、平面投影法、球体投影法、立方体投影法、または円筒投影法を用いて行うことができる。画像ノイズ除去は、近隣平均法、空間領域低域フィルタリング法、または空間領域非線形フィルタリング法を用いて行うことができる。画像補正は、グレースケール値偏差についての補正、または幾何変形についての補正とすることができる。例えば、グレースケール値偏差についての補正法は以下のとおりである。正規化画像グレースケール値は、
Figure 0006736471
であり、式中、fは、基準画像のグレースケールを表し、μfは、基準画像の平均グレースケールを表し、σfは、基準画像の標準偏差を表し、gは、つなぎ合わされるべき画像のグレースケールを表し、μgは、つなぎ合わされるべき画像の平均グレースケールを表し、σgは、つなぎ合わされるべき画像の標準偏差を表す。画像位置合わせのための方法は、ブロック・マッチング・アルゴリズム、高速フーリエ変換に基づく画像位置合わせ法、フーリエ変換に基づく位相相関画像位置合わせ法、輪郭特徴に基づくアルゴリズム、コーナ検出アルゴリズム、スケール不変特徴量変換（Scale−invariant feature transform、SIFT）アルゴリズム、スピード・アップ・ロバスト特徴（Speeded Up Robust Features、SURF）アルゴリズム、オプティカルフローに基づく方法、またはSIFTフローに基づく方法とすることができる。つなぎ合わされるべき画像の対応する位置は位置合わせアルゴリズムを用いて決定することができ、画像間の変形関係が決定された後で再サンプリングが行われ、次いで、画像をつなぎ合わせることができる。画像変形モデルは、画像の変換、回転、変倍、反射、または、せん断またはそれらの任意の組み合わせとすることができる。
970．複数の深度面の生成された焦点変更画像を表示する。ステップ970は図2のステップ270と同様であり、ここでは詳細を述べない。
以上では本発明の実施形態による画像処理方法および画像処理プロセスを説明した。本発明の実施形態による画像処理装置を、図10および図11に関連して以下で説明する。
図10は、本発明の一実施形態による画像処理装置1000の概略的構造図である。画像処理装置1000は、決定モジュール1010と生成モジュール1020とを含む。
決定モジュール1010は、複数の深度面の深度情報を決定するように構成されており、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成される。生成モジュール1020は、深度情報に従って複数の深度面の焦点変更画像を生成するように構成されており、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
本発明の本実施形態によれば、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、生成モジュール1020は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
生成モジュール1020は、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせる。
本発明の本実施形態によれば、生成モジュール1020は、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせる。
本発明の本実施形態によれば、生成モジュール1020は、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行い、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。
本発明の本実施形態によれば、生成モジュール1020は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を取り込み、合焦部分と非合焦部分とをつなぎ合わせる。
本発明の本実施形態によれば、生成モジュール1020は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成し、合焦部分と非合焦部分とをつなぎ合わせる。
本発明の本実施形態によれば、生成モジュール1020は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像をさらに生成し、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応する。生成モジュール1020は、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
本発明の本実施形態によれば、生成モジュール1020は、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行い、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい。
本発明の本実施形態によれば、生成モジュール1020は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
任意選択で、別の実施形態において、画像処理装置1000は、記憶モジュール1030と、選択モジュール1040と、問い合わせモジュール1050と、をさらに含む。選択モジュール1040は、すべての焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するように構成されている。記憶モジュール1030は、深度面の深度または画素座標をインデックスとして用いて合焦部分および非合焦部分をクエリテーブルにそれぞれ記憶するように構成されている。問い合わせモジュール1050は、深度面の深度または画素座標をインデックスとして用いてクエリテーブルに複数の深度面の焦点変更画像のものである合焦部分および非合焦部分を問い合わせる。生成モジュール1020は、複数の深度面の焦点変更画像のものである合焦部分と非合焦部分とをつなぎ合わせる。
本発明の本実施形態によれば、生成モジュール1020は、つなぎ合わせを行うときに、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う。
任意選択で、別の実施形態において、画像処理装置1000は、複数の焦点変更画像内の焦点変更画像を表示するように構成された、表示モジュール1070と、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、取得モジュール1060と、をさらに含み、複数のユーザ入力は複数の深度面に対応する。表示モジュール1030は、複数の深度面の焦点変更画像を表示装置上で出力する。決定モジュール1010は、複数のユーザ入力に従って複数の深度面の深度情報を決定する。
本発明の本実施形態によれば、ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
任意選択で、本発明の別の実施形態において、決定モジュール1010は、既定の入力に従って、既定の入力に対応する複数の深度面を決定する。画像処理装置1000は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するように構成された、表示モジュール1030、をさらに含む。
画像処理装置1000の各ユニットの動作および機能については、図1の方法を参照することができる。反復を避けるために、ここでは詳細を述べない。
図11は、本発明の別の実施形態による画像処理装置1100の概略的構造図である。画像処理装置1100は、プロセッサ1110と、メモリ1120と、通信バス1130と、を含む。
通信バス1130を用いてメモリ1120に記憶されたコードを呼び出すことによって、プロセッサ1110は、複数の深度面の深度情報を決定するように構成されており、複数の深度面の深度情報は複数の深度面を指示するのに用いられ、複数の深度面は複数の深度面の複数の焦点変更画像にそれぞれ対応し、複数の焦点変更画像は複数の焦点変更画像の生データに基づいて生成され、またプロセッサ1110は、深度情報に従って複数の深度面の焦点変更画像を生成するように構成されており、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
本発明の本実施形態によれば、複数の深度面は複数の焦点変更画像の生データにそれぞれ対応し、プロセッサは、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて複数の焦点変更画像の生データに基づいてリフォーカシング処理を行い、複数の深度面の焦点変更画像を生成するように、複数の焦点変更画像を組み合わせる。
本発明の本実施形態によれば、プロセッサ1110は、画像融合法を用いて複数の焦点変更画像の合焦部分を組み合わせる。
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像の画素の点広がり関数を決定し、画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従って複数の焦点変更画像に対して画像融合を行い、融合重みテンプレートは画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい。
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
本発明の本実施形態によれば、プロセッサ1110は、複数の深度面の深度情報に従って複数の焦点変更画像の生データを決定し、複数の焦点変更画像の生データに従って、複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を生成し、合焦部分と非合焦部分とをつなぎ合わせる。
本発明の本実施形態によれば、プロセッサ1110は、すべての深度面の焦点変更画像の生データに従って、すべての深度面に対応する焦点変更画像をさらに生成し、すべての深度面はすべての深度面の焦点変更画像にそれぞれ対応する。プロセッサ1110は、複数の深度面の深度情報に従ってすべての深度面の焦点変更画像の中から複数の深度面の焦点変更画像を選択し、複数の深度面の焦点変更画像に従って複数の深度面の焦点変更画像を生成し、複数の深度面の焦点変更画像は複数の焦点変更画像の合焦部分を含む。
本発明の本実施形態によれば、プロセッサ1110は、すべての焦点変更画像の画素の点広がり関数を決定し、すべての焦点変更画像の画素の点広がり関数に従って融合重みテンプレートを生成し、融合重みテンプレートに従ってすべての焦点変更画像に対して画像融合を行い、融合重みテンプレートはすべての焦点変更画像の画素の融合重みを含み、複数の焦点変更画像の画素の融合重みはすべての焦点変更画像内のそれら複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、複数の焦点変更画像内の高合焦度の画素の融合重みは複数の焦点変更画像内の低合焦度の画素の融合重みより大きい。
本発明の本実施形態によれば、プロセッサ1110は、複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、合焦部分と非合焦部分とをつなぎ合わせる。
本発明の本実施形態によれば、プロセッサ1110は、つなぎ合わせを行うときに、合焦部分の画像および非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う。
任意選択で、別の実施形態において、画像処理装置1100は、複数の焦点変更画像内の焦点変更画像を表示するように構成された、モニタ1140と、表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、入力インターフェース1150と、をさらに含み、複数のユーザ入力は複数の深度面に対応する。モニタ1140は、複数の深度面の生成された焦点変更画像を出力する。プロセッサ1110は、複数のユーザ入力に従って複数の深度面の深度情報を決定する。
本発明の本実施形態によれば、ユーザ入力は、ユーザによるモニタ1140のタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである。
任意選択で、別の実施形態において、プロセッサ1110は、既定の入力に従って、既定の入力に対応する複数の深度面を決定する。本方法は、表示装置上で、既定の入力に対応する複数の深度面の焦点変更画像を出力するように構成された、モニタ1140、をさらに含む。
画像処理装置1100の各ユニットの動作および機能については、図1の方法を参照することができる。反復を避けるために、ここでは詳細を述べない。
本明細書で開示される実施形態において記述される例と組み合わせて、各ユニットおよびアルゴリズムステップを電子ハードウェアによって、またはコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現することができることを、当業者は理解するであろう。各機能が果たされるのがハードウェアによってか、それともソフトウェアによってかは、技術的解決策の個々の用途および設計上の制約条件に依存する。当業者は、様々な方法を使用して個々の用途ごとに記述された機能を実現することができるが、そうした実施態様は本発明の範囲を超えるものとみなすべきではない。
説明を簡便にするために、前述のシステム、装置、およびユニットの詳細な作動プロセスについては、前述の方法実施形態における対応するプロセスを参照することができることを当業者は明確に理解することができ、ここでは詳細を述べない。
本出願において提供されるいくつかの実施形態においては、開示のシステム、装置、および方法を他のやり方で実現することもできることを理解すべきである。例えば、説明された装置実施形態は単なる例示にすぎない。例えば、ユニット分割は単なる論理的機能分割にすぎず、実際の実装に際しては他の分割も可能である。例えば、複数のユニットまたはコンポーネントが組み合わされ、または統合されて別のシステムになる場合もあり、いくつかの特徴が無視され、または実行されない場合もある。加えて、表示された、または論じられた相互結合または直接結合または通信接続を、いくつかのインターフェースを使用して実現することもできる。装置間またはユニット間の間接結合または通信接続は、電子的形態、機械的形態、または他の形態として実現することができる。
別々の部品として記述されたユニットは物理的に分離している場合もそうでない場合もあり、ユニットとして表示された部品は、物理的ユニットである場合もそうでない場合もあり、一箇所に位置する場合もあり、複数のネットワークユニット上に分散される場合もある。ユニットの一部または全部を、各実施形態の解決策の目的を達成するための実際の必要に従って選択することもできる。
加えて、本発明の各実施形態における機能ユニットが1つの処理ユニットへ統合される場合もあり、ユニットの各々が物理的に独立して存在する場合もあり、または2つ以上のユニットが1つのユニットへ統合される。
各機能がソフトウェア機能ユニットの形態で実現され、独立した製品として販売され、または使用される場合に、それらの機能は、コンピュータ可読記憶媒体に記憶することができる。そうした理解に基づき、本発明の技術的解決策を本質的に、または先行技術に寄与する部分を、または技術的解決策の一部を、ソフトウェア製品の形態で実現することができる。ソフトウェア製品は記憶媒体に記憶され、（パーソナルコンピュータ、サーバ、ネットワークデバイスなどとすることができる）コンピュータデバイスに、本発明の実施形態において記述されている方法のステップの全部または一部を実行するよう命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、取り外し可能ハードディスク、読取り専用メモリ（ROM、Read−Only Memory）、ランダム・アクセス・メモリ（RAM、Random Access Memory）、磁気ディスク、光ディスクといった、プログラムコードを記憶することができる任意の媒体を含む。
以上の説明は、単に、本発明の具体的実施態様であるにすぎず、本発明の保護範囲を限定するためのものではない。本発明で開示される技術範囲内で当業者によって容易に考案されるいかなる変形も置換も、本発明の保護範囲内に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うべきものとする。
1000 画像処理装置
1010 決定モジュール
1020 生成モジュール
1030 記憶モジュール
1040 選択取り込みモジュール
1050 問い合わせモジュール
1060 取得モジュール
1070 表示モジュール
1100 画像処理装置
1110 プロセッサ
1120 メモリ
1130 通信バス
1140 モニタ
1150 入力インターフェース

Claims (26)

  1. 複数の深度面の深度情報を決定するステップであって、前記複数の深度面の前記深度情報は前記複数の深度面を指示するのに用いられ、前記複数の深度面は前記複数の深度面の複数の焦点変更画像にそれぞれ対応し、前記複数の焦点変更画像は前記複数の焦点変更画像の生データに基づいて生成される、複数の深度面の深度情報を決定するステップと、
    前記深度情報に従って前記複数の深度面の焦点変更画像を生成するステップであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の合焦部分を含む、前記深度情報に従って前記複数の深度面の焦点変更画像を生成するステップと、
    を含み、
    前記複数の深度面は前記複数の焦点変更画像の前記生データにそれぞれ対応し、前記深度情報に従って前記複数の深度面の焦点変更画像を生成する前記ステップは、
    前記複数の深度面の前記深度情報に従って前記複数の焦点変更画像の前記生データを決定するステップと、
    前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成するステップであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含む、前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成するステップと、
    を含み、
    前記複数の焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
    前記複数の焦点変更画像の前記生データに従って、前記複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を直接生成するステップと、
    前記合焦部分と前記非合焦部分とをつなぎ合わせるステップと、
    を含む、画像処理方法。
  2. 前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
    前記複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて前記複数の焦点変更画像の前記生データに基づいてリフォーカシング処理を行うステップと、
    前記複数の深度面の前記焦点変更画像を生成するように、前記複数の焦点変更画像を組み合わせるステップと、
    を含む、請求項1に記載の画像処理方法。
  3. 前記複数の焦点変更画像を組み合わせる前記ステップは、
    画像融合法を用いて前記複数の焦点変更画像の前記合焦部分を組み合わせるステップ、
    を含む、請求項2に記載の画像処理方法。
  4. 画像融合法を用いて前記複数の焦点変更画像の前記合焦部分を組み合わせる前記ステップは、
    前記複数の焦点変更画像の画素の点広がり関数を決定するステップと、
    前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップであって、前記融合重みテンプレートは前記画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい、前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップと、
    前記融合重みテンプレートに従って前記複数の焦点変更画像に対して画像融合を行うステップと、
    を含む、請求項3に記載の画像処理方法。
  5. 前記複数の焦点変更画像内の各焦点変更画像は合焦部分および非合焦部分を含み、前記複数の焦点変更画像を組み合わせる前記ステップは、
    前記複数の焦点変更画像内の各焦点変更画像から前記合焦部分および前記非合焦部分を選択するステップと、
    前記合焦部分と前記非合焦部分とをつなぎ合わせるステップと、
    を含む、請求項2から4のいずれか一項に記載の画像処理方法。
  6. すべての深度面の焦点変更画像の生データに従って、前記すべての深度面に対応する前記焦点変更画像を生成するステップであって、前記すべての深度面は前記すべての深度面の前記焦点変更画像にそれぞれ対応する、前記すべての深度面に対応する前記焦点変更画像を生成するステップ、
    をさらに含み、前記深度情報に従って前記複数の深度面の焦点変更画像を生成する前記ステップは、
    前記複数の深度面の前記深度情報に従って前記すべての深度面の前記焦点変更画像の中から前記複数の深度面の前記焦点変更画像を選択するステップと、
    前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成するステップであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含む、前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成するステップと、
    を含む、請求項1から5のいずれか一項に記載の画像処理方法。
  7. 前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
    前記すべての焦点変更画像の画素の点広がり関数を決定するステップと、
    前記すべての焦点変更画像の前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップであって、前記融合重みテンプレートは前記すべての焦点変更画像の前記画素の融合重みを含み、前記複数の焦点変更画像の画素の融合重みは前記すべての焦点変更画像内の前記複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、前記複数の焦点変更画像内の高合焦度の画素の融合重みは前記複数の焦点変更画像内の低合焦度の画素の融合重みより大きい、前記すべての焦点変更画像の前記画素の前記点広がり関数に従って融合重みテンプレートを生成するステップと、
    前記融合重みテンプレートに従って前記すべての焦点変更画像に対して画像融合を行うステップと、
    を含む、請求項6に記載の画像処理方法。
  8. 前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
    前記複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択するステップと、
    前記合焦部分と前記非合焦部分とをつなぎ合わせるステップと、
    を含む、請求項6または7に記載の画像処理方法。
  9. 深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに前記複数の深度面の前記焦点変更画像のものである前記合焦部分および非合焦部分を問い合わせるステップであって、前記合焦部分および前記非合焦部分は、前記深度面の前記深度または前記画素座標を前記インデックスとして用いて前記クエリテーブルに記憶されている、前記クエリテーブルに前記複数の深度面の前記焦点変更画像のものである前記合焦部分および非合焦部分を問い合わせるステップ、
    をさらに含み、前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成する前記ステップは、
    前記複数の深度面の前記焦点変更画像のものである前記合焦部分と前記非合焦部分とをつなぎ合わせるステップ、
    を含む、請求項6から8のいずれか一項に記載の画像処理方法。
  10. 前記合焦部分と前記非合焦部分とをつなぎ合わせる前記ステップは、
    前記合焦部分の画像および前記非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行うステップ、
    を含む、請求項1から5、8、または9のいずれか一項に記載の画像処理方法。
  11. 前記複数の焦点変更画像内の焦点変更画像を表示するステップと、
    前記表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップであって、前記複数のユーザ入力は前記複数の深度面に対応する、前記表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するステップと、
    前記複数の深度面の前記生成された焦点変更画像を表示装置上で出力するステップと、
    をさらに含み、複数の深度面の深度情報を決定する前記ステップは、
    前記複数のユーザ入力に従って前記複数の深度面の前記深度情報を決定するステップ、
    を含む、請求項1から10のいずれか一項に記載の画像処理方法。
  12. 前記ユーザ入力は、
    ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；
    入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または
    入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、
    のうちの1つである、請求項11に記載の画像処理方法。
  13. 複数の深度面の深度情報を決定する前記ステップは、
    既定の入力に従って、前記既定の入力に対応する前記複数の深度面を決定するステップ、
    を含み、前記方法は、
    表示装置上で、前記既定の入力に対応する前記複数の深度面の前記焦点変更画像を出力するステップ、
    をさらに含む、請求項1から10のいずれか一項に記載の画像処理方法。
  14. 複数の深度面の深度情報を決定するように構成された決定モジュールであって、前記複数の深度面の前記深度情報は前記複数の深度面を指示するのに用いられ、前記複数の深度面は前記複数の深度面の複数の焦点変更画像にそれぞれ対応する、決定モジュールと、
    前記深度情報に従って前記複数の深度面の焦点変更画像を生成するように構成された生成モジュールであって、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の合焦部分を含む、生成モジュールと、
    を含み、
    前記複数の深度面は前記複数の焦点変更画像の生データにそれぞれ対応し、前記生成モジュールは、前記複数の深度面の前記深度情報に従って前記複数の焦点変更画像の前記生データを決定し、前記複数の焦点変更画像の前記生データに従って前記複数の深度面の前記焦点変更画像を生成し、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含み、
    前記生成モジュールは、前記複数の深度面の前記深度情報に従って前記複数の焦点変更画像の前記生データを決定し、前記複数の焦点変更画像の前記生データに従って、前記複数の焦点変更画像内の各焦点変更画像のものである合焦部分および非合焦部分を直接生成し、前記合焦部分と前記非合焦部分とをつなぎ合わせる、画像処理装置。
  15. 前記生成モジュールは、前記複数の焦点変更画像を生成するように、リフォーカシングアルゴリズムを用いて前記複数の焦点変更画像の前記生データに基づいてリフォーカシング処理を行い、前記複数の深度面の前記焦点変更画像を生成するように、前記複数の焦点変更画像を組み合わせる、請求項14に記載の画像処理装置。
  16. 前記生成モジュールは、画像融合法を用いて前記複数の焦点変更画像の前記合焦部分を組み合わせる、請求項15に記載の画像処理装置。
  17. 前記生成モジュールは、前記複数の焦点変更画像の画素の点広がり関数を決定し、前記画素の前記点広がり関数に従って融合重みテンプレートを生成し、前記融合重みテンプレートに従って前記複数の焦点変更画像に対して画像融合を行い、前記融合重みテンプレートは前記画素の融合重みを含み、高合焦度の画素の融合重みは低合焦度の画素の融合重みより大きい、請求項16に記載の画像処理装置。
  18. 前記生成モジュールは、前記複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、前記合焦部分と前記非合焦部分とをつなぎ合わせる、請求項15から17のいずれか一項に記載の画像処理装置。
  19. 前記生成モジュールは、すべての深度面の焦点変更画像の生データに従って、前記すべての深度面に対応する前記焦点変更画像をさらに生成し、前記複数の深度面の前記深度情報に従って前記すべての深度面の前記焦点変更画像の中から前記複数の深度面の前記焦点変更画像を選択し、前記複数の深度面の前記焦点変更画像に従って前記複数の深度面の前記焦点変更画像を生成し、前記すべての深度面は前記すべての深度面の前記焦点変更画像にそれぞれ対応し、前記複数の深度面の前記焦点変更画像は前記複数の焦点変更画像の前記合焦部分を含む、請求項14から18のいずれか一項に記載の画像処理装置。
  20. 前記生成モジュールは、前記すべての焦点変更画像の画素の点広がり関数を決定し、前記すべての焦点変更画像の前記画素の前記点広がり関数に従って融合重みテンプレートを生成し、前記融合重みテンプレートに従って前記すべての焦点変更画像に対して画像融合を行い、前記融合重みテンプレートは前記すべての焦点変更画像の前記画素の融合重みを含み、前記複数の焦点変更画像の画素の融合重みは前記すべての焦点変更画像内の前記複数の焦点変更画像を除く他の焦点変更画像の画素の融合重みより大きく、前記複数の焦点変更画像内の高合焦度の画素の融合重みは前記複数の焦点変更画像内の低合焦度の画素の融合重みより大きい、請求項19に記載の画像処理装置。
  21. 前記生成モジュールは、前記複数の焦点変更画像内の各焦点変更画像から合焦部分および非合焦部分を選択し、前記合焦部分と前記非合焦部分とをつなぎ合わせる、請求項19または20に記載の画像処理装置。
  22. 深度面の深度または画素座標をインデックスとして用いて、クエリテーブルに前記複数の深度面の前記焦点変更画像のものである前記合焦部分および非合焦部分を問い合わせるように構成された問い合わせモジュール、をさらに含み、前記合焦部分および前記非合焦部分は前記深度面の前記深度または前記画素座標を前記インデックスとして用いて前記クエリテーブルに記憶されており、前記生成モジュールは、前記複数の深度面の前記焦点変更画像のものである前記合焦部分と前記非合焦部分とをつなぎ合わせる、
    請求項19から21のいずれか一項に記載の画像処理装置。
  23. 前記生成モジュールは、前記つなぎ合わせを行うときに、前記合焦部分の画像および前記非合焦部分の画像に対して前処理、画像位置合わせ、および画像融合を行う、請求項14から18、21、または22のいずれか一項に記載の画像処理装置。
  24. 前記複数の焦点変更画像内の焦点変更画像を表示するように構成された、表示モジュールと、
    前記表示された焦点変更画像の複数の領域において複数のユーザ入力を取得するように構成された、取得モジュールと、
    をさらに含み、前記複数のユーザ入力は前記複数の深度面に対応し、前記表示モジュールは、前記複数の深度面の前記生成された焦点変更画像を表示装置上で出力し、前記決定モジュールは、前記複数のユーザ入力に従って前記複数の深度面の前記深度情報を決定する、請求項14から23のいずれか一項に記載の画像処理装置。
  25. 前記ユーザ入力は、ユーザによるタッチスクリーン上でのシングルポイントタップ入力、マルチポイントタップ入力、シングルポイントスライド入力、もしくはマルチポイントスライド入力；入力デバイス上の姿勢センサによって検出されたユーザ姿勢；または入力デバイス上の動作追跡モジュールによって検出されたユーザ動作、のうちの1つである、請求項24に記載の画像処理装置。
  26. 前記決定モジュールは、既定の入力に従って、前記既定の入力に対応する前記複数の深度面を決定し、前記画像処理装置は、
    表示装置上で、前記既定の入力に対応する前記複数の深度面の前記焦点変更画像を出力するように構成された、表示モジュール、
    をさらに含む、請求項14から25のいずれか一項に記載の画像処理装置。
JP2016559561A 2014-05-28 2015-05-28 画像処理方法および画像処理装置 Active JP6736471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410230506.1A CN105335950B (zh) 2014-05-28 2014-05-28 图像处理方法和图像处理装置
CN201410230506.1 2014-05-28
PCT/CN2015/080021 WO2015180659A1 (zh) 2014-05-28 2015-05-28 图像处理方法和图像处理装置

Publications (2)

Publication Number Publication Date
JP2017517794A JP2017517794A (ja) 2017-06-29
JP6736471B2 true JP6736471B2 (ja) 2020-08-05

Family

ID=54698118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016559561A Active JP6736471B2 (ja) 2014-05-28 2015-05-28 画像処理方法および画像処理装置

Country Status (6)

Country Link
US (1) US20170076430A1 (ja)
EP (1) EP3101624B1 (ja)
JP (1) JP6736471B2 (ja)
KR (1) KR101893047B1 (ja)
CN (1) CN105335950B (ja)
WO (1) WO2015180659A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
FR3037756B1 (fr) * 2015-06-18 2020-06-19 Lens Correction Technologies Procede et dispositif de production d'une image numerique
JP2017050662A (ja) * 2015-09-01 2017-03-09 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP2017191071A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
WO2018129692A1 (en) * 2017-01-12 2018-07-19 Intel Corporation Image refocusing
CN106898048B (zh) * 2017-01-19 2019-10-29 大连理工大学 一种可适应复杂场景的无畸变集成成像三维显示方法
CN107230192B (zh) 2017-05-31 2020-07-21 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
US11227405B2 (en) 2017-06-21 2022-01-18 Apera Ai Inc. Determining positions and orientations of objects
CN107525945B (zh) * 2017-08-23 2019-08-02 南京理工大学 基于集成成像技术的3d-3c粒子图像测速系统及方法
CN108389223B (zh) * 2018-02-06 2020-08-25 深圳市创梦天地科技股份有限公司 一种图像处理方法及终端
CN108337434B (zh) * 2018-03-27 2020-05-22 中国人民解放军国防科技大学 一种针对光场阵列相机的焦外虚化重聚焦方法
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
CN110602397A (zh) * 2019-09-16 2019-12-20 RealMe重庆移动通信有限公司 图像处理方法、装置、终端及存储介质
CN111260561A (zh) * 2020-02-18 2020-06-09 中国科学院光电技术研究所 一种可用于掩模版缺陷检测的快速多图拼接方法
CN113516614A (zh) 2020-07-06 2021-10-19 阿里巴巴集团控股有限公司 脊柱影像的处理方法、模型训练方法、装置及存储介质
CN112241940B (zh) * 2020-09-28 2023-12-19 北京科技大学 一种多张多聚焦图像融合方法及装置
US11721001B2 (en) 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring
TWI799828B (zh) * 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統
US11832001B2 (en) 2021-12-20 2023-11-28 Visera Technologies Company Limited Image processing method and image processing system
CN116847209B (zh) * 2023-08-29 2023-11-03 中国测绘科学研究院 一种基于Log-Gabor与小波的光场全聚焦影像生成方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
CN102314683B (zh) * 2011-07-15 2013-01-16 清华大学 一种非平面图像传感器的计算成像方法和成像装置
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
JP6207202B2 (ja) * 2012-06-08 2017-10-04 キヤノン株式会社 画像処理装置及び画像処理方法
US20130329068A1 (en) * 2012-06-08 2013-12-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP5818828B2 (ja) * 2013-01-29 2015-11-18 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
CN104281397B (zh) * 2013-07-10 2018-08-14 华为技术有限公司 多深度区间的重聚焦方法、装置及电子设备

Also Published As

Publication number Publication date
EP3101624A4 (en) 2017-05-17
EP3101624B1 (en) 2019-12-04
EP3101624A1 (en) 2016-12-07
CN105335950B (zh) 2019-02-12
KR101893047B1 (ko) 2018-08-29
WO2015180659A1 (zh) 2015-12-03
CN105335950A (zh) 2016-02-17
KR20160121569A (ko) 2016-10-19
JP2017517794A (ja) 2017-06-29
US20170076430A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6736471B2 (ja) 画像処理方法および画像処理装置
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
JP6047807B2 (ja) リフォーカスを実現するための方法および電子装置
CN106170822B (zh) 3d光场相机和摄影方法
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20130335535A1 (en) Digital 3d camera using periodic illumination
Guo et al. Enhancing light fields through ray-space stitching
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN110213491B (zh) 一种对焦方法、装置及存储介质
US10957021B2 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
US20190102056A1 (en) User interface for manipulating light-field images
JPWO2012086362A1 (ja) 画像処理装置、そのプログラム、および画像処理方法
Wang et al. Light field imaging based accurate image specular highlight removal
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6611531B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6263024B2 (ja) 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置
Gledhill 3D panoramic imaging for virtual environment construction
CN113132715B (zh) 一种图像处理方法、装置、电子设备及其存储介质
Tao Unified Multi-Cue Depth Estimation from Light-Field Images: Correspondence, Defocus, Shading, and Specularity
Coelho Application for Light Field Inpainting
Guo Combining learning and computational imaging for 3D inference
JP2014230172A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190305

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190319

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200715

R150 Certificate of patent or registration of utility model

Ref document number: 6736471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250