JP6711428B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6711428B2 JP6711428B2 JP2019014450A JP2019014450A JP6711428B2 JP 6711428 B2 JP6711428 B2 JP 6711428B2 JP 2019014450 A JP2019014450 A JP 2019014450A JP 2019014450 A JP2019014450 A JP 2019014450A JP 6711428 B2 JP6711428 B2 JP 6711428B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- depth
- processing apparatus
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
[装置の構成について]
本技術に係る表示装置の構成を説明する。表示装置にはリフォーカス画像を撮像する撮像装置が含まれていてもよい。最初に、撮像装置の構成について説明する。
図1は、本技術の一実施の形態に係る撮像装置1の全体構成を表すものである。撮像装置1は、撮像対象物2を撮像して画像処理を施すことにより画像データDoutを出力するものである。撮像装置1は、開口絞り10を有する撮像レンズ11と、マイクロレンズアレイ12と、撮像素子13と、画像処理部14と、撮像素子駆動部15と、制御部16とから構成されている。
次に、表示装置の全体構成を説明する。図3は、撮像装置1を搭載したタッチパネル式の表示装置2の全体構成を表す機能ブロック図である。
なお、上記の説明では、表示装置2に撮像装置1が含まれる構成としたが、撮像装置1と表示装置2Bとが分かれている構成でもよい。その場合、表示装置2Bには、外部にある撮像装置1や、クラウド上にあるサーバなどから、撮像データDoutおよびDMが供給される。
また、変形例1の表示装置2Bから、距離情報算出部151、リフォーカス係数設定部149、並び替え処理部144、ノイズ低減部145、輪郭強調部146、ホワイトバランス調整部147、およびガンマ補正部148を除いた表示装置2Cを用いる構成でもよい。その場合、表示装置2Cには、最初、クラウド上のサーバから撮像データDoutが供給され、タッチパネル150の表示パネルに画像IMG0が表示される。
次に、リフォーカス時の合焦位置および被写界深度を指定するUIについて、詳細を説明する。
最初に、本技術のUIにおける、合焦位置の指定方法について説明する。ユーザが所望する位置でリフォーカスするための合焦位置の指定は、ユーザがタッチパネル150上に表示されている画像IMG0上で、合焦させたい被写体にタッチすることにより指定する。
UIとして表示パネル上に表示されるものでは無いが、タッチパネル150上でユーザがタッチした座標位置に基づき、距離dを求めるためのデプスマップDMの例を図5に示す。
次に、本技術のUIにおける、被写界深度の指定方法について説明する。ユーザが所望する被写界深度でリフォーカスするための被写界深度の指定は、ユーザが合焦位置を指定するために最初にタッチした位置P0の周囲に描画されるサークルCIR0の大きさを変更することにより行われる。大きさの変更は、次にタッチした位置P1をドラッグして位置P0とP1の間の距離を変更することにより行われる。
以上、リフォーカス用のUIについて説明した。
次に、本技術のリフォーカス用UIの処理の流れについて説明する。図8は、リフォーカス用UIの処理の流れについて説明するフローチャートである。
最初に、1点目、次いで2点目をタッチする場合の処理について説明する。
まず、画像処理部14が、合焦位置および被写界深度のパラメータを初期値に設定し、これらの初期値を用いて撮像データDoutを生成する。(ステップS1)
以上、2点をタッチする場合の処理について説明した。
ステップS3において、1点目の接触が無い場合(ステップS3のNo)、次に、タッチパネル150の位置検知部は、1点目の接触が無いまま一定時間が経過したか否かを判断する。(ステップS11)
以上、1点目の接触が無い場合の処理について説明した。
ステップS8において、2点目の接触が無い場合(ステップS8のNo)、次に、タッチパネル150の位置検知部は、1点目の接触が保持されているか否かを判断する。(ステップS13)
上記の説明では、1点目のタッチを行った際に、サークルが表示されるとしたが、サークルを描画する際、同時に、タッチした被写体までの距離を表示させる構成でもよい。
上記の説明では、タッチした1点目を中心とし、タッチした2点目と1点目との距離を半径とするサークルを描いたが、タッチした2点の距離を直径とするサークルを描いてもよい。この構成では、タッチした2点を結ぶ線分の中点の位置が、合焦させる位置として指定される。なお、2点のタッチは、同時であってもよいし、1点ずつ順次タッチされてもよい。
上記の説明では、被写界深度の相対的な深さを表すために、サークルを描画したが、これに限らず、例えば線分の長さや、他の図形の大きさにより被写界深度の相対的な深さを表してもよい。
上記の説明では、サークルの大きさが、相対的な被写界深度の深さを表すとしたが、サークルの大きさは、被写界深度ではなく、カメラのレンズの絞り値を表現するものであってもよい。この場合、サークルが小さくなると絞りが絞られたとし被写界深度が深くなり、サークルが大きくなると絞りが開かれたとし被写界深度が浅くなる。
上記の変形例3では、1点目のタッチ位置近傍に距離を表示するとしたが、設定されている被写界深度に対応した絞り値を表示してもよい。
初期値の被写界深度に対応して表示されるサークルの大きさは、タッチパネル150の表示パネルの大きさや解像度により、適切な大きさが選択される構成でもよい。
上記の説明では、最初、1点目にタッチした際の被写界深度は初期値として設定されたものが使用されリフォーカス画像が再構築されるとしたが、この初期値は、ユーザが設定により変更出来るものであってもよい。この構成によると、1点目にユーザがタッチした際の既定のぼけ方をユーザは好みのぼけ方に変更することが出来る。
本技術のUIには、ユーザが任意の合焦位置および被写界深度によりリフォーカス画像を表示パネル上に表示させた後、ユーザが明示的に合焦位置および被写界深度を初期値にリセットするための指示を受け付けるリセット領域を設けてもよい。
本技術のUIでは、ユーザが合焦位置および被写界深度を指定するためにタッチパネル150をタッチして操作を行った後、タッチパネル150から手を離しても、指定された被写界深度の画像を一定時間表示する構成でもよい。
この構成により、ユーザはタッチパネル150から指を離し、表示パネル上に遮蔽物が無い状態でリフォーカス画像を鑑賞することが出来る。
本技術のUIでは、ユーザが一定時間タッチパネル150に触れなかった場合、リフォーカス画像の合焦位置と被写界深度を初期値にリセットする構成でもよい。
本技術のUIでは、ユーザが指定する被写界深度の深さが所定の値を超えた場合、表示装置2は、リフォーカス画像として、全焦点画像を生成する構成でもよい。
上記の説明では、ユーザがタッチパネル150上をタッチする度に、リフォーカス画像の再構築を行ったが、この構成に限らず、多視点画像から、予めユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚構築し、表示装置またはサーバに設けた記憶部に保存しておく構成でもよい。
変形例14では、多視点画像から、予めユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚構築する構成としたが、これに限らず、通常のカメラを用いて、ユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚撮像し、表示装置またはサーバに設けた記憶部に保存しておく構成でもよい。
上記の説明では、ユーザがタッチパネル150にタッチすることにより、合焦位置および被写界深度の指定を行ったが、これに限らず、合焦位置および被写界深度の指定は、非接触式の位置検出装置により行われてもよいし、マウスを用いて行われてもよい。
上記の説明では、被写界深度を指定するために、ユーザがタッチパネル150上で、1点目のタッチにより表示されたサークルの円周上をタッチし、タッチしたまま指をスライドさせることにより被写界深度の変更を行った。しかし、この構成に限らず、ユーザがサークルの円周上をタッチしなくても、タッチパネル150上でいずれかタッチした位置を2点目のタッチ位置として受け付けてもよい。
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
2〜2C…表示装置
10…開口絞り
11…撮像レンズ
12…マイクロレンズアレイ
13…撮像素子
14…画像処理部
15…撮像素子駆動部
16…制御部
141…欠陥補正部
142…クランプ処理部
143…距離情報抽出部
144…並べ替え処理部
145…ノイズ低減部
146…輪郭強調部
147…ホワイトバランス調整部
148…ガンマ補正部148
149…リフォーカス係数設定部
150…タッチパネル
151…距離情報算出部
Claims (21)
- 撮像装置から出力された撮像画像に対してユーザにより指定されたリフォーカス画像の合焦位置又はこの合焦位置の周辺に被写界深度又はカメラのレンズの絞り値の遷移を表現する図形を表示し、ユーザの入力に基づく前記図形の変形に応じて、前記リフォーカス画像の被写界深度を変更する画像処理部
を備える画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記図形は、カメラのレンズの絞り値を表現する図形であり、
前記画像処理部は、前記図形を小さくするにつれて前記リフォーカス画像の被写界深度を深くし、前記図形を大きくするにつれて前記リフォーカス画像の被写界深度を浅くする
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記図形は、前記撮像画像の被写界深度を表現する図形であり、
前記画像処理部は、前記図形を大きくするにつれて前記リフォーカス画像の被写界深度を深くし、前記図形を小さくするにつれて前記リフォーカス画像の被写界深度を浅くする
画像処理装置。 - 請求項1乃至3のいずれか1項に記載の画像処理装置であって、
前記画像処理部は、前記撮像画像に対する前記合焦位置とは異なる位置への前記ユーザの入力に基づいて、前記図形を変形させる
画像処理装置。 - 請求項4に記載の画像処理装置であって、
前記合焦位置は、ユーザにより指定された被写体の前記撮像装置からの距離により得られる
画像処理装置。 - 請求項1乃至5のいずれか1項に記載の画像処理装置であって、
前記画像処理部は、ユーザにより指定されたリフォーカス画像の合焦位置を囲うように前記図形を表示する
画像処理装置。 - 請求項1乃至6のいずれか1項に記載の画像処理装置であって、
前記撮像画像を構成する撮像データはライト・フィールド・カメラによって得られた撮像データであり、
前記画像処理部は前記撮像データから得られる距離情報に基づいて撮像データの並べ替えを行うことにより前記リフォーカス画像を生成する
画像処理装置。 - 請求項1乃至7のいずれか1項に記載の画像処理装置であって、
さらに、前記リフォーカス画像と前記図形を表示する表示部
を備える画像処理装置。 - 請求項8に記載の画像処理装置であって、
前記表示部はタッチパネルを有し、
前記画像処理部は、ユーザが前記タッチパネルをタッチしたままスライドする入力に基づいて、前記図形を変形する
画像処理装置。 - 請求項9に記載の画像処理装置であって、
前記画像処理部は、ユーザが前記タッチパネル上でタッチした位置を前記合焦位置とし、ユーザが次に前記タッチパネルをタッチしたままスライドする入力に基づいて、前記図形を変形する
画像処理装置。 - 請求項8に記載の画像処理装置であって、
前記表示部はタッチパネルを有し、
前記画像処理部は、ユーザが前記タッチパネルをタッチした第1の位置および第2の位置に基づいて前記合焦位置を算出し、ユーザが前記タッチパネルをタッチしたまま前記第1の位置または第2の位置の少なくともいずれか一方をスライドする入力に基づいて、前記図形を変形する
画像処理装置。 - 請求項11に記載の画像処理装置であって、
前記画像処理部は、前記第1の位置と前記第2の位置との中間点を前記合焦位置として算出し、前記第1の位置と前記第2の位置との距離に基づいて前記リフォーカス画像の被写界深度を算出する
画像処理装置。 - 請求項8乃至12のいずれか1項に記載の画像処理装置であって、
前記撮像装置から前記合焦位置の被写体までの距離又は前記レンズの絞り値が前記表示部に表示される
画像処理装置。 - 請求項1乃至13のいずれか1項に記載の画像処理装置であって、
前記撮像画像を構成する撮像データは撮像装置から複数枚撮像されたデータである
画像処理装置。 - 請求項1乃至14のいずれか1項に記載の画像処理装置であって、
前記画像処理部は、前記ユーザの入力が所定の値を超えた場合に全焦点画像の画像を生成する
画像処理装置。 - 画像処理部が、撮像装置から出力された撮像画像に対してユーザにより指定されたリフォーカス画像の合焦位置又はこの合焦位置の周辺に被写界深度又はカメラのレンズの絞り値の遷移を表現する図形を表示し、ユーザの入力に基づく前記図形の変形に応じて、前記リフォーカス画像の被写界深度を変更する
画像処理方法。 - 撮像装置から出力された撮像画像に対してユーザにより指定されたリフォーカス画像の合焦位置又はこの合焦位置の周辺に被写界深度又はカメラのレンズの絞り値の遷移を表現する図形を表示し、ユーザの入力に基づく前記図形の変形に応じて、前記リフォーカス画像の被写界深度を変更する画像処理部としてコンピュータを機能させるプログラム。
- 撮像装置から出力された撮像画像に対してユーザにより指定されたリフォーカス画像の合焦位置又はこの合焦位置の周辺にカメラの絞り羽根を模した図形を表示し、ユーザの入力に基づいて、前記絞り羽根の開口に相当するサークルが大きくなるにつれて前記リフォーカス画像の被写界深度を浅くし、前記サークルが小さくなるにつれて前記リフォーカス画像の被写界深度を深くする画像処理部
を備える画像処理装置。 - 請求項18に記載の画像処理装置であって、
さらに、前記リフォーカス画像と前記図形を表示する表示部
を備える画像処理装置。 - 画像処理部が、撮像装置から出力された撮像画像に対してユーザにより指定されたリフォーカス画像の合焦位置又はこの合焦位置の周辺にカメラの絞り羽根を模した図形を表示し、ユーザの入力に基づいて、前記絞り羽根の開口に相当するサークルが大きくなるにつれて前記リフォーカス画像の被写界深度を浅くし、前記サークルが小さくなるにつれて前記リフォーカス画像の被写界深度を深くする
画像処理方法。 - 撮像装置から出力された撮像画像に対してユーザにより指定されたリフォーカス画像の合焦位置又はこの合焦位置の周辺にカメラの絞り羽根を模した図形を表示し、ユーザの入力に基づいて、前記絞り羽根の開口に相当するサークルが大きくなるにつれて前記リフォーカス画像の被写界深度を浅くし、前記サークルが小さくなるにつれて前記リフォーカス画像の被写界深度を深くする画像処理部としてコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014450A JP6711428B2 (ja) | 2019-01-30 | 2019-01-30 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019014450A JP6711428B2 (ja) | 2019-01-30 | 2019-01-30 | 画像処理装置、画像処理方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017212526A Division JP6515978B2 (ja) | 2017-11-02 | 2017-11-02 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019115048A JP2019115048A (ja) | 2019-07-11 |
JP6711428B2 true JP6711428B2 (ja) | 2020-06-17 |
Family
ID=67221666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019014450A Active JP6711428B2 (ja) | 2019-01-30 | 2019-01-30 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6711428B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020106824A1 (en) | 2018-11-20 | 2020-05-28 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253998A (ja) * | 2005-03-10 | 2006-09-21 | Casio Comput Co Ltd | 撮像装置および撮像方法 |
JP4900723B2 (ja) * | 2008-03-14 | 2012-03-21 | ソニー株式会社 | 画像処理装置、画像処理プログラムおよび表示装置 |
JP5657343B2 (ja) * | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | 電子機器 |
EP2667231B1 (en) * | 2011-01-18 | 2017-09-06 | FUJIFILM Corporation | Auto focus system |
JP5968107B2 (ja) * | 2011-09-01 | 2016-08-10 | キヤノン株式会社 | 画像処理方法、画像処理装置およびプログラム |
-
2019
- 2019-01-30 JP JP2019014450A patent/JP6711428B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019115048A (ja) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6244655B2 (ja) | 画像処理装置および画像処理方法 | |
US11722770B2 (en) | Image processing device, method of processing image, image processing program, and imaging device | |
JP6620394B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
US20200341237A1 (en) | Display control device and display control method | |
JP2016024489A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JPWO2012086362A1 (ja) | 画像処理装置、そのプログラム、および画像処理方法 | |
JP6611531B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
KR101597915B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP6711428B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2010288253A (ja) | 画像処理装置および方法並びにプログラム | |
JP6515978B2 (ja) | 画像処理装置および画像処理方法 | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
KR101219859B1 (ko) | 3d촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법 | |
JP2015041901A (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2012015777A (ja) | 立体視表示のための画像処理装置、方法、および、プログラム、並びに、画像表示装置 | |
US11375123B2 (en) | Image processing apparatus, image capturing apparatus, control method for image processing apparatus, and program storage medium with coordinated display of image and display of distribution information of evaluation value | |
JP2017220726A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
EP2624210A2 (en) | Multi-touch recognition apparatus and control method thereof | |
JP2021180407A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200511 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6711428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |