JP6162971B2 - Image processing apparatus, image processing method, imaging apparatus, and control method thereof - Google Patents
Image processing apparatus, image processing method, imaging apparatus, and control method thereof Download PDFInfo
- Publication number
- JP6162971B2 JP6162971B2 JP2013021800A JP2013021800A JP6162971B2 JP 6162971 B2 JP6162971 B2 JP 6162971B2 JP 2013021800 A JP2013021800 A JP 2013021800A JP 2013021800 A JP2013021800 A JP 2013021800A JP 6162971 B2 JP6162971 B2 JP 6162971B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- refocusable
- image processing
- information
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、リフォーカス可能な画像データからリフォーカス可能範囲の判定と表示を行う撮像装置に関する。 The present invention relates to an imaging apparatus that determines and displays a refocusable range from refocusable image data.
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置(ライトフィールドカメラ)が提案されている。 2. Description of the Related Art In recent years, an imaging apparatus (light field camera) that can acquire not only the intensity distribution of light but also information on the incident direction of light has been proposed in an imaging apparatus such as an electronic camera.
例えば非特許文献1によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に取得される。このように取得された画素信号(光線情報)に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面(リフォーカス面)にピントを合わせた画像を撮影後に再構成することができる。 For example, according to Non-Patent Document 1, a microlens array is arranged between a photographic lens and an image sensor, and one microlens is associated with a plurality of pixels of the image sensor, thereby allowing light that has passed through the microlens. Are obtained for each incident direction by a plurality of pixels. In addition to generating a normal captured image with respect to the pixel signal (light ray information) acquired in this way, a technique called “Light Field Photography” is applied to any image plane (refocus plane). A focused image can be reconstructed after shooting.
ユーザーがリフォーカスによる画像の再構成を必要とするケースとして、撮影後に画像を確認すると所望の被写体にピントが合っていなかった場合が考えられる。従来のカメラであれば所望の被写体にピントが合っていない場合は撮り直す必要があったが、ライトフィールドカメラで撮影した画像信号を用いてリフォーカス面を再構成することで撮り直すことなく所望の被写体にピントが合った画像が得られる。 As a case where the user needs to reconstruct an image by refocusing, there may be a case where the desired subject is not in focus when the image is confirmed after shooting. With conventional cameras, it was necessary to re-shoot when the desired subject was not in focus, but it was desirable without re-taking by reconstructing the refocus plane using the image signal taken with the light field camera. An image in which the subject is in focus is obtained.
また特許文献1に記載の技術は、ライトフィールドカメラではないが、複数のピント位置で撮影した複数の画像を合成することで任意のリフォーカス面にピントを合わせた画像を生成することが可能である。 Although the technique described in Patent Document 1 is not a light field camera, it is possible to generate an image in which an arbitrary refocus plane is focused by combining a plurality of images taken at a plurality of focus positions. is there.
しかしながら、従来のライトフィールドカメラでは撮影前にリフォーカス可能な画像データからリフォーカスできる範囲をユーザーが確認することができないという問題がある。そしてリフォーカス可能範囲にない被写体はリフォーカス可能な画像データからその被写体にフォーカスを合わせたリフォーカス画像を生成することができない。そのためユーザーが撮影後に所望の被写体にフォーカスを合わせようしても、撮影時においてリフォーカス範囲にその被写体を収めずに撮影してしまったために、リフォーカスできない可能性がある。 However, the conventional light field camera has a problem that the user cannot confirm the refocusable range from the refocusable image data before shooting. A subject that is not within the refocusable range cannot generate a refocus image in which the subject is focused from refocusable image data. Therefore, even if the user tries to focus on a desired subject after shooting, there is a possibility that refocusing cannot be performed because the user has shot without placing the subject in the refocus range at the time of shooting.
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減することである。 The present invention has been made in view of the above-described problems, and an object thereof is to reduce shooting failures by allowing a user to grasp a refocusable range before shooting.
本発明に係わる画像処理装置は、撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、を備えることを特徴とする。
また、本発明に係わる撮像装置は、1つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段と、前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段と、前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理手段と、を備えることを特徴とする。
An image processing apparatus according to the present invention includes an acquisition unit that acquires image data that is captured by an imaging unit and can be refocused after being captured, and characteristic information of the imaging unit, and a depth in the refocusable image data. Distance acquisition means for acquiring distance information indicating a distance in a direction; refocus range calculation means for calculating information on a refocusable distance range of the refocusable image data based on the characteristic information; and the distance Image processing means for performing image processing on an image corresponding to the refocusable image data based on the information and information on the refocusable distance range to generate a display image to be displayed on a display means; It is characterized by providing.
An image pickup apparatus according to the present invention includes an image pickup unit including an image pickup element in which a plurality of pixels are arranged for one microlens, and image data that can be refocused after being picked up by the image pickup unit. And acquisition means for acquiring the characteristic information of the imaging means, refocus image generation means for generating a refocus image at a target focal position using the refocusable image data, and the refocusing possible Distance acquisition means for acquiring distance information indicating the distance in the depth direction in correct image data, and refocus range calculation for calculating refocusable distance range information of the refocusable image data based on the characteristic information And refocusing image data based on the distance information and the refocusable distance range information. An image processing means for generating a display image to be displayed on the display means, which can distinguish an area where an image focused by refocusing can be obtained and an area where the image cannot be obtained. .
本発明によれば、撮影前にユーザーがリフォーカス可能範囲を把握できるようにして撮影の失敗を削減することが可能となる。 According to the present invention, it is possible to reduce shooting failures by allowing the user to grasp the refocusable range before shooting.
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図1は本発明の一実施形態に係わる撮像装置の構成を示すブロック図である。図1において、100は撮像装置、101は撮像部、102はリフォーカス画像生成部である。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. In FIG. 1, 100 is an imaging device, 101 is an imaging unit, and 102 is a refocus image generation unit.
103は距離取得部、104はリフォーカス可能範囲算出部、105はリフォーカス判定部、106は画像処理部、107は表示部、108は操作部、109は人物検出部である。
撮像部101は光学系と撮像素子とピントの位置や絞りを制御する制御系で構成され、リフォーカス可能な画像データを生成して出力する。また撮像部101はリフォーカス可能な画像データ取得時の光学系の特性情報(フォーカス位置や撮像素子の仕様など)を出力する。
The
リフォーカス画像生成部102は撮像部101が出力するリフォーカス可能な画像データと光学系の特性情報から光学系の目的とする焦点位置にフォーカスを合わせたリフォーカス画像を生成する。
The refocus
距離取得部103はリフォーカス可能な画像データを複数の領域に分け、それぞれの領域で撮像装置100からその領域内の被写体までの距離情報を出力する。リフォーカス可能範囲算出部104は撮像部101が出力する特性情報を元にリフォーカス画像が生成可能な画像データ取得時のリフォーカス可能範囲情報を出力する(リフォーカス範囲算出)。リフォーカス判定部105は距離情報とリフォーカス範囲情報からリフォーカス判定情報を出力する。
The
操作部108はユーザーからの指示を撮像装置100に入力するためのボタン、タッチパネル、モードダイヤルなどで構成される。人物検出部109はリフォーカス画像内から人物が存在する領域を検出して人物検出情報を出力する。
The
画像処理部106はリフォーカス判定情報からリフォーカス画像に画像処理を行い、表示画像を生成して出力する。オプションとして指示情報や人物検出情報に基づいて画像処理の方法を変更して表示画像を生成して出力することもできる。表示部107は液晶画面などで構成され、画像処理部106が出力する表示画像を出力する。
The
次に本実施形態の撮像装置の動作について図2のフローチャートを用いて説明する。S200〜S204について図3を参照しながら説明する。図3はリフォーカス画像データとその距離情報を示す図である。図3(a)はリフォーカス画像と被写体を示す図、図3(b)は距離マップを示す図である。300はリフォーカス画像、301は被写体a、302は被写体b、303は被写体cである。 Next, the operation of the imaging apparatus of the present embodiment will be described using the flowchart of FIG. S200 to S204 will be described with reference to FIG. FIG. 3 is a diagram showing refocus image data and distance information thereof. FIG. 3A shows a refocus image and a subject, and FIG. 3B shows a distance map. 300 is a refocus image, 301 is a subject a, 302 is a subject b, and 303 is a subject c.
304は距離情報マップ、305は被写体aの距離情報、306は被写体bの距離情報、307は被写体cの距離情報、308は距離マップを構成する領域である。
S200では撮像部101がリフォーカス可能な画像データを取得して出力する。リフォーカス可能な画像データを取得するための、光学系、撮像素子、制御系の詳細については非特許文献1に記載されているのでここでは説明を省略する。
In S200, the
S201ではリフォーカス画像生成部102がリフォーカス可能な画像データと光学系の特性情報から光学系の焦点位置のリフォーカス画像300を生成して出力する。リフォーカス画像の生成についても非特許文献1に記載されているのでここでは説明を省略する。
In S201, the refocus
S202では距離取得部103がリフォーカス可能な画像データを複数の距離マップを構成する領域308に分ける。距離マップを構成する領域308は後述する図4の一つのマイクロレンズ900を通過して撮像された画素の集合毎に設定すると良いが、複数のマイクロレンズ900を通過して撮像された画素の集合体としても良い。
In S202, the
S203では距離取得部103が距離マップを構成する領域308毎に被写体までの距離を算出して距離マップを作成する。距離の算出方法はリフォーカス可能な画像データから視差のある画像を作成して、距離マップを構成する領域308毎に位相差を利用して求めても良い。ここでは特に限定しない。
In S203, the
本実施形態では、説明を分かりやすくするために、撮像装置100から各被写体までの距離を近距離、中距離、遠距離とグルーピングしているが、特にグルーピングするための距離や個数は限定しない。
In this embodiment, in order to make the explanation easy to understand, the distance from the
S204では距離取得部103が距離マップを距離情報として出力する。S205で、リフォーカス可能範囲算出部104は撮像部101が出力する特性情報からリフォーカス可能範囲を算出して出力する。リフォーカス可能範囲の算出はフォーカスされている距離に最大リフォーカス量を加えることで算出できる。
In S204, the
最大リフォーカス量の算出について図4を用いて説明する。図4は最大リフォーカス量を説明する図である。900はマイクロレンズ、901は撮像素子である。マイクロレンズ900を通して撮像素子901に光が入射される様子を示している。
The calculation of the maximum refocus amount will be described with reference to FIG. FIG. 4 is a diagram for explaining the maximum refocus amount.
図9に示すように角度分解能Δθ、角度分割数Nθ、画素ピッチΔxとすると、最大リフォーカス量dmaxは、次の式(1)で計算される。 As shown in FIG. 9, assuming that the angle resolution Δθ, the number of angle divisions Nθ, and the pixel pitch Δx, the maximum refocus amount dmax is calculated by the following equation (1).
dmax=Nθ ・Δx/tan(Δθ) …(1)
つまりリフォーカス可能な画像データを撮影した時のフォーカスした距離を中心とし光軸に沿って前後にそれぞれ距離dmaxの範囲内に存在する被写体はリフォーカスが可能である。
dmax = Nθ · Δx / tan (Δθ) (1)
That is, the subject existing within the range of the distance dmax along the optical axis around the focused distance when refocusable image data is taken can be refocused.
S206ではリフォーカス判定部105が距離情報とリフォーカス範囲情報からリフォーカス判定情報を作成して出力する。
In S206, the
リフォーカス判定情報の作成方法について図3、図5を用いて説明する。図5はリフォーカス可能範囲と被写体の距離情報を説明する図である。600はリフォーカス可能範囲、601は被写体a301とリフォーカス可能範囲の境界までの距離da、602は被写体b302とリフォーカス可能範囲の境界までの距離db、603は被写体c303とリフォーカス可能範囲の境界までの距離dcである。 A method of creating refocus determination information will be described with reference to FIGS. FIG. 5 is a diagram for explaining refocusable range and subject distance information. 600 indicates a refocusable range, 601 indicates a distance da between the subject a301 and the refocusable range, 602 indicates a distance db between the subject b302 and the refocusable range, and 603 indicates a boundary between the subject c303 and the refocusable range. Distance dc.
本来は距離マップを構成する領域308の全てについて判定を行うが、説明を分かりやすくするため被写体a301と被写体b302と被写体c303に絞って説明を行う。リフォーカス判定情報は距離マップを構成する領域308がリフォーカス可能範囲に存在する場合は1、存在しない場合(リフォーカス可能範囲外)は0のフラグ情報である。オプションとしてリフォーカス可能範囲の境界からの差分距離(距離の程度)を付加させても良い。本実施形態では、リフォーカス判定情報がフラグ情報のみかフラグ情報と差分距離の2つの場合について説明する。
Originally, the determination is made for all the
被写体aの距離情報305にある距離マップを構成する領域308はリフォーカス可能範囲600に存在しないのでフラグ情報は0、差分距離も付け加える設定ならば差分距離da601を判定情報に加える。
Since the
被写体bの距離情報306にある距離マップを構成する領域308はリフォーカス可能範囲600に存在するのでフラグ情報は1、差分距離も付け加える設定ならば差分距離db602を判定情報に加える。差分距離はリフォーカス可能範囲の2つの境界の近い方を選択しているが逆でも良い。
Since the
被写体cの距離情報307にある距離マップを構成する領域308はリフォーカス可能範囲600に存在しないのでフラグ情報は0、差分距離も付け加える設定ならば差分距離dc603を判定情報に加える。
Since the
S207では画像処理部106が表示画像を生成する。表示画像の生成方法については図6の表示画像生成のフローチャートを用いて説明する。
In S207, the
S400では、撮像装置の動作モードがポートレイトモードであるか確認する。モードの選択は操作部108から行う。ポートレイトモードはS405で説明を行う。ポートレイトモードである際はS405に進み、ポートレイトモードでない際はS401に進む。
In S400, it is confirmed whether the operation mode of the imaging apparatus is the portrait mode. The mode is selected from the
S401ではユーザー指定モードであるか確認する。ユーザー指定モードについてはS403で説明する。ユーザー指定モードである時はS403に進み、ユーザー指定モードでない時はS402に進む。 In step S401, it is confirmed whether the user designation mode is set. The user designation mode will be described in S403. When it is in the user designation mode, the process proceeds to S403, and when it is not the user designation mode, the process proceeds to S402.
S402では画像処理部106がリフォーカス判定情報から表示画像を生成する。表示画像の生成について図7を用いて説明する。図7はリフォーカス判定情報から表示画像を生成するための画像処理領域を示す図である。
In S402, the
500は被写体aの距離情報305に施す画像処理領域、501は被写体bの距離情報306に施す画像処理領域、502は被写体cの距離情報307に施す画像処理領域である。それぞれを被写体a画像処理領域500、被写体b画像処理領域501、被写体c画像処理領域502と呼ぶ。
画像処理について説明する。リフォーカス判定情報がフラグ情報のみの場合はフラグ情報が1の箇所と0の箇所で処理を分ける。フラグ情報が1の箇所は被写体b画像処理領域501、フラグ情報が0の箇所は被写体a画像処理領域500と被写体c画像処理領域502になる。
Image processing will be described. When the refocus determination information is only flag information, the process is divided into a location where the flag information is 1 and a location where the flag information is 0. Where the flag information is 1, the subject b
フラグ情報が1の箇所のみある色で塗りつぶしたり、透過性がある色で塗りつぶしたりする。またはフラグ情報が0の箇所のみ白黒にしても良い(第1の画像処理)。または目視でフラグ情報が1の箇所と0の箇所が分かるように少なくてもどちらかにぼかし等の画像処理を入れても良い。上記の画像処理はフラグ情報の0と1の箇所で画像処理を逆にしても良い。 The flag information is painted with a color having only one location, or is painted with a transparent color. Alternatively, only portions where the flag information is 0 may be black and white (first image processing). Alternatively, image processing such as blurring may be added to at least one of the flag information so that the location where the flag information is 1 and 0 can be seen visually. The above image processing may be reversed at the 0 and 1 locations of the flag information.
リフォーカス判定情報にフラグ情報だけではなく差分距離がある場合は、差分距離に応じて画像処理の強弱をつけても良い。例えば被写体a画像処理領域500と被写体c画像処理領域502では差分距離が違う。そのため、フラグ情報が0の箇所に色をつける場合、差分距離da601は差分距離dc603よりも値が小さいので、色の濃さや明るさを被写体c画像処理領域502よりも小さくしても良い。差分距離に応じて画像処理を変えていれば、具体的な内容については限定しない。
When the refocus determination information includes not only the flag information but also a difference distance, image processing strength may be added according to the difference distance. For example, the difference distance is different between the subject a
S403はユーザーが操作部108で指定する領域を出力する。ここでユーザー指定モードについて図8を用いて説明をする。図8はユーザー指定モードの表示画像生成を示す図である。図8(a)はリフォーカス画像300と選択領域700を示す。図8(b)はリフォーカス画像300に選択された領域を示した図である。701は選択された領域である。図8(c)は選択された領域の判定情報から表示画像を生成した一例である。702はコメントである。
In step S <b> 403, an area designated by the user using the
ユーザー指定モードはユーザーが画面内の被写体を操作部108で選択して、選択した被写体がリフォーカス可能かどうか確認できる表示画像を生成するモードである。ユーザーが操作部108を用いてリフォーカス可能か確認したい被写体が含まれる選択領域700を選択する。ここでは、例えばユーザーが被写体a301を選択したとして説明する。
The user designation mode is a mode in which a user selects a subject on the screen using the
S404では選択された領域701と同じ位置のリフォーカス判定情報を元に、選択された領域701がリフォーカス可能かどうかが分かるように表示画像を生成する。リフォーカス判定情報からの表示画像の生成はS402と同じ方法で良いが、画像処理を行う領域は選択された領域701のみとする(第2の画像処理)。更にはリフォーカス判定情報からリフォーカス画像300内にコメント702を任意の位置に合成して表示画像を生成しても良い。その際コメント702には判定情報に差分距離があれば、差分距離を文字に埋め込んだりしてユーザーにリフォーカス範囲までの距離を表示しても良い(第4の画像処理)。
In S404, based on the refocus determination information at the same position as the selected
S405では人物検出部109がリフォーカス画像300から人物が存在する領域を検出して人物検出情報を出力する。S406ではリフォーカス判定情報から人物検出情報の領域の表示画像をその領域がリフォーカス可能かどうかが分かるように生成する。リフォーカス判定情報からの表示画像の生成はS402と同じで良いが、画像処理を行う領域を人物検出領域のみとする。
In step S405, the
S407では人物検出領域以外の領域の表示画像を生成する。人物検出領域以外の領域は画像処理で明るさを一律で下げたり、白黒にしたりする(第3の画像処理)。もし撮像装置100に操作部108と人物検出部109が無い構成であればS400,S401を飛ばしてS402から始める。また撮像装置100に人物検出部109が無い構成であればS400を飛ばしてS401から始める。
In S407, a display image of an area other than the person detection area is generated. In areas other than the person detection area, the brightness is uniformly reduced or black and white by image processing (third image processing). If the
S208では表示部107が表示画像を表示する。表示方法については図9を用いて説明する。図9は表示画像の表示動作のフローチャートである。
In S208, the
S800では画像処理部106が操作部108の表示ボタンが押された時に表示する設定であるか確認する。表示する設定であればS802に進む。表示する設定でなければS801へ進む。
In S800, the
S801では画像処理部106は生成した表示画像を表示部107に出力する。表示部107は入力された表示画像を次の入力があるまで表示する。画像処理部106は所定の時間がたったらリフォーカス画像300に画像処理をすることなく表示画像として出力してもよい。
In step S <b> 801, the
S802では表示ボタンが押下されたか確認する。押下された場合はS801へ進み、押下されない場合はS803へ進む。ここでは所定の時間入力を待っても良い。 In step S802, it is confirmed whether the display button is pressed. If the button has been pressed, the process proceeds to S801. If the button has not been pressed, the process proceeds to S803. Here, input for a predetermined time may be awaited.
S803では画像処理部106はリフォーカス画像300に画像処理を施すことなく、リフォーカス画像を表示画像として出力する。表示部107は入力された表示画像を次の入力があるまで表示する。
In step S803, the
S209では撮影がされたか確認をする。撮影されていいない場合はS200へ戻る。撮影された場合はフローチャートを終了する。 In step S209, it is confirmed whether shooting has been performed. If it is not photographed, the process returns to S200. If the image has been shot, the flowchart ends.
以上のように、ユーザーが撮影前にリフォーカス可能な画像データのリフォーカス可能範囲を表示部107で確認することができる。また特定の被写体や人物のみといった限定した被写体のみのリフォーカス可能範囲を表示部107で表示することができる。
As described above, the refocusable range of image data that can be refocused by the user before shooting can be confirmed on the
以上、本発明の好ましい実施形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
Claims (22)
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、
を備えることを特徴とする画像処理装置。 An acquisition means for acquiring image data captured by the imaging means and refocusable after being imaged, and characteristic information of the imaging means;
Distance acquisition means for acquiring distance information indicating a distance in a depth direction in the refocusable image data;
Refocus range calculation means for calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
Image processing means for performing image processing on an image corresponding to the refocusable image data based on the distance information and the refocusable distance range information to generate a display image to be displayed on the display means; ,
An image processing apparatus comprising:
前記画像処理手段は、前記指示に基づいて、前記指定された領域がリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られるか否かを区別可能な表示画像を生成することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 An operation unit that receives an instruction from a user that specifies an image area of the refocusable image data;
Based on the instruction, the image processing unit generates a display image that can distinguish whether or not an image focused by refocusing is obtained in an image corresponding to image data in which the designated region can be refocused. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記画像処理手段は、前記被写体検出手段により特定の被写体が検出された領域がリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られるか否かを区別可能な表示画像を生成することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 Subject detection means for detecting a specific subject from an image corresponding to the refocusable image data;
The image processing means is a display image capable of distinguishing whether or not an image focused by refocusing is obtained in an image corresponding to refocusable image data in a region where a specific subject is detected by the subject detection means. The image processing apparatus according to claim 1, wherein the image processing apparatus generates an image.
前記撮像手段と、
を備えることを特徴とする撮像装置。 The image processing apparatus according to any one of claims 1 to 10,
The imaging means;
An imaging apparatus comprising:
前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段と、
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理手段と、
を備えることを特徴とする撮像装置。 An image pickup means including an image pickup element in which a plurality of pixels are arranged with respect to one microlens;
Acquisition means for acquiring image data captured by the imaging means and refocusable after being imaged, and characteristic information of the imaging means;
Refocus image generation means for generating a refocus image at a target focal position using the refocusable image data;
Distance acquisition means for acquiring distance information indicating a distance in a depth direction in the refocusable image data;
Refocus range calculation means for calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
Based on the distance information and the information on the refocusable distance range, an image corresponding to the refocusable image data is distinguished from an area where an image focused by refocus can be obtained and an area where the image cannot be obtained. Image processing means for generating a display image to be displayed on the display means,
An imaging apparatus comprising:
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得工程と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出工程と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理工程と、
を備えることを特徴とする画像処理方法。 An acquisition step of acquiring image data captured by the imaging unit and refocusable after being captured, and characteristic information of the imaging unit;
A distance acquisition step of acquiring distance information indicating a distance in a depth direction in the refocusable image data;
A refocus range calculation step of calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
An image processing step of performing image processing on an image corresponding to the refocusable image data based on the distance information and the refocusable distance range information to generate a display image to be displayed on a display unit; ,
An image processing method comprising:
前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得工程と、
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成工程と、
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得工程と、
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出工程と、
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理工程と、
を有することを特徴とする撮像装置の制御方法。 A control method for controlling an image pickup apparatus having an image pickup unit including an image pickup element in which a plurality of pixels are arranged for one microlens,
An acquisition step of acquiring image data captured by the imaging unit and refocusable after being captured, and characteristic information of the imaging unit;
Using the refocusable image data, a refocus image generation step of generating a refocus image at a target focal position;
A distance acquisition step of acquiring distance information indicating a distance in a depth direction in the refocusable image data;
A refocus range calculation step of calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
Based on the distance information and the information on the refocusable distance range, an image corresponding to the refocusable image data is distinguished from an area where an image focused by refocus can be obtained and an area where the image cannot be obtained. An image processing step of generating a display image to be displayed on the display means,
A method for controlling an imaging apparatus, comprising:
前記リフォーカス可能な画像データ内の複数の被写体の奥行き方向の位置を示す位置情報を取得する情報取得手段と、Information acquisition means for acquiring position information indicating positions in a depth direction of a plurality of subjects in the refocusable image data;
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な奥行き方向の範囲の情報を算出するリフォーカス範囲算出手段と、Refocus range calculation means for calculating refocusable range information in the depth direction of the refocusable image data based on the characteristic information;
前記位置情報と前記リフォーカス可能な奥行き方向の範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、Image processing for generating a display image to be displayed on a display unit by performing image processing on an image corresponding to the refocusable image data based on the position information and the range information in the refocusable depth direction. Means,
を備えることを特徴とする画像処理装置。An image processing apparatus comprising:
前記リフォーカス可能な画像データ内の複数の被写体の奥行き方向の位置を示す位置情報を取得する情報取得工程と、An information acquisition step of acquiring position information indicating positions in a depth direction of a plurality of subjects in the refocusable image data;
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な奥行き方向の範囲の情報を算出するリフォーカス範囲算出工程と、A refocus range calculation step of calculating information on a refocusable depth direction range of the refocusable image data based on the characteristic information;
前記位置情報と前記リフォーカス可能な奥行き方向の範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理工程と、Image processing for generating a display image to be displayed on a display unit by performing image processing on an image corresponding to the refocusable image data based on the position information and the range information in the refocusable depth direction. Process,
を有することを特徴とする画像処理方法。An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021800A JP6162971B2 (en) | 2013-02-06 | 2013-02-06 | Image processing apparatus, image processing method, imaging apparatus, and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021800A JP6162971B2 (en) | 2013-02-06 | 2013-02-06 | Image processing apparatus, image processing method, imaging apparatus, and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014154981A JP2014154981A (en) | 2014-08-25 |
JP2014154981A5 JP2014154981A5 (en) | 2016-03-24 |
JP6162971B2 true JP6162971B2 (en) | 2017-07-12 |
Family
ID=51576460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013021800A Active JP6162971B2 (en) | 2013-02-06 | 2013-02-06 | Image processing apparatus, image processing method, imaging apparatus, and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6162971B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6566800B2 (en) * | 2014-09-30 | 2019-08-28 | キヤノン株式会社 | Imaging apparatus and imaging method |
US9967451B2 (en) * | 2014-09-30 | 2018-05-08 | Canon Kabushiki Kaisha | Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters |
JP6611531B2 (en) * | 2015-09-16 | 2019-11-27 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, and program |
JP6567384B2 (en) * | 2015-10-01 | 2019-08-28 | 株式会社東芝 | Information recognition apparatus, information recognition method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022796A (en) * | 2009-07-15 | 2011-02-03 | Canon Inc | Image processing method and image processor |
JP5906062B2 (en) * | 2010-12-17 | 2016-04-20 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP5875839B2 (en) * | 2011-11-21 | 2016-03-02 | オリンパス株式会社 | Plenoptic camera |
-
2013
- 2013-02-06 JP JP2013021800A patent/JP6162971B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014154981A (en) | 2014-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102225617B1 (en) | Method of setting algorithm for image registration | |
JP6548367B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
JP6047025B2 (en) | Imaging apparatus and control method thereof | |
JP2015035658A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
KR20110059247A (en) | Apparatus and method for processing image using light field data | |
JP2014023083A (en) | Display device, imaging device, and image editing program | |
JP6162971B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and control method thereof | |
JP6611531B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
US9319579B2 (en) | Image processing apparatus, control method, and program for the same with focus state specification and deletion confirmation of image data | |
JP2016001853A (en) | Image processing system, imaging device, control method, and program | |
JP6529360B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
TWI508554B (en) | An image focus processing method based on light-field camera and the system thereof are disclosed | |
JP6400152B2 (en) | REPRODUCTION DEVICE, IMAGING DEVICE, AND REPRODUCTION DEVICE CONTROL METHOD | |
JP2020193820A (en) | Measurement device, imaging device, control method, and program | |
KR20160123757A (en) | Image photographig apparatus and image photographing metheod | |
KR100736565B1 (en) | Method of taking a panorama image and mobile communication terminal thereof | |
JP2018074362A (en) | Image processing apparatus, image processing method, and program | |
JP6157290B2 (en) | REPRODUCTION DEVICE, REPRODUCTION DEVICE CONTROL METHOD, AND PROGRAM | |
JP6728005B2 (en) | Imaging device, imaging method, and program | |
US11463619B2 (en) | Image processing apparatus that retouches and displays picked-up image, image processing method, and storage medium | |
US20150365599A1 (en) | Information processing apparatus, image capturing apparatus, and control method | |
JP6120535B2 (en) | Information processing apparatus, information processing method, and program | |
JP6622555B2 (en) | Image processing apparatus and control method therefor, imaging apparatus, program, and storage medium | |
JP6590561B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP6097587B2 (en) | Image reproducing apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6162971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |