JP5957705B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5957705B2 JP5957705B2 JP2014237352A JP2014237352A JP5957705B2 JP 5957705 B2 JP5957705 B2 JP 5957705B2 JP 2014237352 A JP2014237352 A JP 2014237352A JP 2014237352 A JP2014237352 A JP 2014237352A JP 5957705 B2 JP5957705 B2 JP 5957705B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- image data
- image processing
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 86
- 238000012937 correction Methods 0.000 claims description 102
- 238000000034 method Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 12
- 239000000872 buffer Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Color Television Image Signal Generators (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
- Structure And Mechanism Of Cameras (AREA)
Description
〔1.概要〕
まず、撮像装置10の概要について図を用いて説明する。図1(a)及び(b)は、撮像装置10の概要を説明するための斜視図である。図2(a)及び(b)は、撮像装置10の使用例を示す図である。図3(a)及び(b)は、撮像装置10の表示部220に表示される画像例を示す図である。図1(a)、図2(a)及び図3(a)はサブカメラ300が状態1であるときに対応した図を示し、図1(b)、図2(b)及び図3(b)はサブカメラ300が状態2であるときに対応した図を示す。
続いて、撮像装置10の、メインカメラ100及びサブカメラ300の電気的構成、制御系統、画像処理について、図4を用いて説明する。
まず、図4を用いて、メインカメラ100の電気的構成について説明する。メインカメラ100は、1又は複数のレンズからなるメイン光学系110により形成された被写体像をCMOSイメージセンサ140で撮像する。CMOSイメージセンサ140で生成された画像データは、A/Dコンバータ(ADC)150でデジタル信号に変換された後、メイン画像処理部160で各種処理が施され、メモリカード200に格納される、或いは、表示部220に表示される。
次に、図4を用いて、サブカメラ300の電気的構成について説明する。サブカメラ300は、1又は複数のレンズからなるサブ光学系310により形成された被写体像をCMOSイメージセンサ340で撮像する。CMOSイメージセンサ340で生成された画像データは、A/Dコンバータ(ADC)350でデジタル信号に変換された後、サブ画像処理部360で各種処理が施され、メモリカード200に格納される、或いは、表示部220に表示される。
サブ画像処理部360は、各種処理が施された画像データを、PinP処理部390へと送る。そして、PinP処理された画像データはメモリカード200に格納される。或いは、PinP処理された画像データは、表示部220に表示される。
続いて、メイン画像処理部160やサブ画像処理部360で行われる画像処理の内、ホワイトバランス補正、露出補正、シャープネス補正を例に挙げて説明する。
まず、メイン画像処理部160やサブ画像処理部360で行われるホワイトバランス補正について説明する。メインカメラ100とサブカメラ300の各画像処理部は、画像の色味を調整することで画像データのホワイトバランスを補正する。コントローラ180は、画像データから光源を推定する。例えば、図7(a)に示すように、RデータとBデータの座標上において、複数の光源推定範囲が設定されている。図7(a)に示す例では、白熱灯、蛍光灯、晴天及び日陰の4つの光源推定範囲A1〜A4が設定されている。コントローラ180の光源推定部は、画像データの入力データが、いずれの光源推定範囲に分布しているかに基づいて、ホワイトバランス補正のために基準とする光源を推定できる。メイン画像処理部160やサブ画像処理部360は、光源推定部により推定された光源に基づいて、ホワイトバランス補正の追従範囲を制御する。このとき、光源推定範囲内に追従範囲が含まれることが望ましい。各画像処理部は、ホワイトバランス補正の追従範囲内でRゲイン、Bゲイン、Gゲインを調整することにより、画像の色味を調整する。例えば、画像が赤み掛かっているときは、各画像処理部はRゲインを下げてBゲインやGゲインを上げるなどの補正を行う。なお、図7(a)(b)に示すWB補正の詳細は後述する。
次に、メイン画像処理部160やサブ画像処理部360で行われる露出補正について説明する。各画像処理部は、画像の明るさを調整することで画像データの露出を補正する。コントローラ180は、画像データの輝度情報に基づき、画像の明るさを判断する。このとき、図示しない測光計を用いてもよいし、得られた画像データを解析してもよい。画像データから得られた輝度情報に応じて、各画像処理部は、画像が適正露出の基準値よりも明るすぎる場合(露出オーバー)は露出をマイナスに補正する。又、各画像処理部は、画像が適正露出の基準値よりも暗すぎる場合(露出アンダー)は露出をプラスに補正する。このような補正により、画像の露出を適正露出にする。露出を補正する方法としては、絞り114,314を調整する方法や、メイン画像処理部160、サブ画像処理部360でコントラスト値を調整する方法などが挙げられる。また、後述するように、適正露出を判断する際に、ユーザの設定により画像の一部に重みを付けてもよいし、画像全体を平均的に扱ってもよい。
最後に、メイン画像処理部160やサブ画像処理部360で行われるシャープネス補正について説明する。各画像処理部は、画像のコントラストを調整することで画像データのシャープネス(鮮明さ)を補正する。コントローラ180は、画像データの各画素の輝度差を解析する。各画像処理部は、画像を鋭くする場合は画像データの各画素間の輝度差を強調する。また、各画像処理部は、画像を柔らかくする場合は画像データの各画素間の輝度差を低減させる。風景などを撮像する場合は、画像の色を際立たせるために、画像データの各画素間の輝度差を強調することが望ましい。また、人物を撮像する場合は、顔の影や皺を目立たなくするために、画像データの各画素間の輝度差を低減させることが望ましい。
続いて、撮像装置10の動作を説明する。図5(a)はメインカメラ100の撮影動作を示すフローチャートであり、図5(b)はサブカメラ300の撮影動作を示すフローチャートである。
まずメインカメラ100の動作を、図5(a)を用いて説明する。なお、簡単のため、撮像装置10は撮影モードに設定されているとする。
次に、サブカメラ300の基本動作および、画像処理の詳細動作について説明する。
まず、サブカメラ300の基本動作を、図5(b)を用いて説明する。なお、ここで簡単のため、撮像装置10は撮影モードにすでに設定されているとして説明する。
まず、ホワイトバランス補正について説明する。撮像装置10では、サブ画像221に対して、サブカメラ300の状態に応じて異なるホワイトバランス補正を行うことができる。図6(a)を用いて以下で詳細を説明する。
次に、露出補正について説明する。撮像装置10では、サブ画像221に、サブカメラ300の状態に応じて異なる自動露出(AE)補正を行うことができる。図8はAE補正の際、画像の測光箇所に重みづけを設定した図である。図8において、数字が小さくなるほど強い重みがつけられている。図6(b)、図8を用いて以下で詳細を説明する。
最後に、シャープネス補正について説明する。撮像装置10は、サブ画像221に対して、サブカメラ300の状態に応じて異なるシャープネス(SP)補正を行うことができる。図6(c)を用いて以下で詳細を説明する。
本実施の形態では、メインカメラ100に対して回動可能なサブカメラ300を設けた撮像装置について、サブカメラ300の撮影方向に応じて、最適な画像処理を施すことで、例えば、撮影者の顔を適切に表現することや、PinP処理した際に違和感のない画像の撮影を可能にする。
なお、本実施の形態では、サブカメラ300は表示部に取付けられているが、本開示はこれに限定するものではない。軸回りに回動可能であれば、撮像装置において、表示部以外の場所に取り付けられていてもよい。
100 メインカメラ
110 メイン光学系
111 ズームレンズ
112 手振れ補正レンズ
113 フォーカスレンズ
114 絞り
120 メインレンズ駆動部
140、340 CMOSイメージセンサ
150、350 A/Dコンバータ
160 メイン画像処理部
170、370 バッファ
180 コントローラ
190 カードスロット
200 メモリカード
210 操作部材
220 表示部
221 サブ画像
222 メイン画像
240 内部メモリ
300 サブカメラ
310 サブ光学系
313 フォーカスレンズ
314 絞り
320 サブレンズ駆動部
360 サブ画像処理部
380 向きセンサ
390 PinP処理部
Claims (7)
- 被写体を撮像し、第1画像データを生成する第1撮像部と、
前記第1撮像部に対して撮影方向を回転可能に取り付け、第2画像データを生成する第2撮像部と、
前記第2撮像部の撮影方向を検出する検出部と、
前記第1撮像部及び前記第2撮像部で生成された第1画像データと第2画像データそれぞれに画像処理を施す処理部と、
前記検出部で検出された撮影方向に応じて前記処理部で第2画像データに与える画像処理パラメータの設定方法を変更する制御部と、を有し、
前記検出部は、少なくとも第1の撮影方向と第2の撮影方向とを検出し、
前記第1の撮影方向は前記第1撮像部の撮影方向に近く、前記第2の撮影方向は前記第1の撮影方向に比べて撮影者側に近く、
前記制御部は、前記検出部で検出された撮影方向が前記第1の撮影方向であるときは、前記第1撮像部によって前記第1画像データに対して設定される画像処理パラメータを用いて前記第2画像データに対する画像処理パラメータを設定し、
前記制御部は、前記検出部で検出された撮影方向が前記第2の撮影方向であるときは、前記第2撮像部によって前記第2画像データに対する画像処理パラメータを設定する、撮像装置。 - 前記制御部は、前記検出部で検出された撮影方向が前記第2の撮影方向であるときは、人物の顔に対応した画像処理パラメータの設定方法を用いる、
請求項1に記載の撮像装置。 - 前記制御部は、前記検出部で検出された撮影方向が前記第2の撮影方向であるときは、前記処理部がホワイトバランス補正を行う際に低色温度側追従範囲に制限を設けた画像処理パラメータの設定方法を用いる、
請求項2に記載の撮像装置。 - 前記制御部は、前記検出部で検出された撮影方向が前記第2の撮影方向であるときは、前記処理部が露出補正を行う際に画像の中心部を重点的に測光する画像処理パラメータの設定方法を用いる、
請求項2に記載の撮像装置。 - 前記制御部は、前記検出部で検出された撮影方向が前記第2の撮影方向であるときは、前記第2画像データの画素間の輝度差を低減させた画像処理パラメータの設定方法を用いる、
請求項2に記載の撮像装置。 - 更に表示部を備え、
前記表示部は、前記第1画像データと前記第2画像データを重畳して共に表示する、
請求項1に記載の撮像装置。 - 前記処理部は、前記第1画像データに対する画像処理を行う第1処理部と、前記第2画像データに画像処理を行う第2処理部とで構成される、
請求項1に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014237352A JP5957705B2 (ja) | 2013-12-20 | 2014-11-25 | 撮像装置 |
US14/562,811 US9491358B2 (en) | 2013-12-20 | 2014-12-08 | Imaging device for performing image processing based on photographing direction |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013263435 | 2013-12-20 | ||
JP2013263435 | 2013-12-20 | ||
JP2014237352A JP5957705B2 (ja) | 2013-12-20 | 2014-11-25 | 撮像装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015145483A Division JP5934954B2 (ja) | 2013-12-20 | 2015-07-23 | 撮像装置 |
JP2016104747A Division JP6123079B2 (ja) | 2013-12-20 | 2016-05-26 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015136096A JP2015136096A (ja) | 2015-07-27 |
JP5957705B2 true JP5957705B2 (ja) | 2016-07-27 |
Family
ID=53401508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014237352A Active JP5957705B2 (ja) | 2013-12-20 | 2014-11-25 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9491358B2 (ja) |
JP (1) | JP5957705B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5877406B2 (ja) * | 2013-12-06 | 2016-03-08 | パナソニックIpマネジメント株式会社 | 撮像装置及び撮像システム |
US9749510B2 (en) | 2014-12-25 | 2017-08-29 | Panasonic Intellectual Property Management Co., Ltd. | Imaging unit and imaging apparatus |
US9686468B2 (en) * | 2015-10-15 | 2017-06-20 | Microsoft Technology Licensing, Llc | Imaging apparatus |
CN107343158A (zh) * | 2017-07-25 | 2017-11-10 | 广东欧珀移动通信有限公司 | 加快aec收敛的方法及装置、终端设备 |
JP2020167518A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラムと撮像装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3850113B2 (ja) | 1997-09-30 | 2006-11-29 | 京セラ株式会社 | デジタル電子カメラ |
JP2003032542A (ja) | 2001-07-19 | 2003-01-31 | Mitsubishi Electric Corp | 撮像装置 |
JP3541820B2 (ja) * | 2001-07-04 | 2004-07-14 | ミノルタ株式会社 | 撮像装置及び撮像方法 |
US20030026611A1 (en) * | 2001-08-03 | 2003-02-06 | Cho Frederick Yi-Tung | Camera that takes two simultaneous pictures one of which is a picture of the photographer |
US7298412B2 (en) * | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
JP2003189168A (ja) | 2001-12-21 | 2003-07-04 | Nec Corp | 携帯電話用カメラ |
JP3513506B2 (ja) * | 2002-02-20 | 2004-03-31 | キヤノン株式会社 | ホワイトバランス補正装置およびそれを搭載した撮像装置、及びホワイトバランス補正方法 |
KR20040032724A (ko) * | 2002-10-09 | 2004-04-17 | 삼성전자주식회사 | 디지털 스틸 카메라 일체형 디지털 캠코더 |
KR100873437B1 (ko) * | 2002-11-28 | 2008-12-11 | 삼성전자주식회사 | Pip화면을 이용한 듀얼모드 신호처리장치 |
JP4182864B2 (ja) * | 2003-01-09 | 2008-11-19 | 株式会社ニコン | 電子カメラ |
JP2004282296A (ja) * | 2003-03-14 | 2004-10-07 | Sony Corp | 撮像装置 |
JP2008537661A (ja) * | 2005-03-30 | 2008-09-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 回転カメラユニットを備える携帯型電子装置 |
JP2007184887A (ja) | 2005-12-05 | 2007-07-19 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム |
KR101010988B1 (ko) | 2006-04-25 | 2011-01-26 | 캐논 가부시끼가이샤 | 촬상장치 및 그 제어 방법 |
JP4993670B2 (ja) * | 2006-06-13 | 2012-08-08 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5262696B2 (ja) | 2008-12-26 | 2013-08-14 | パナソニック株式会社 | 撮像装置 |
WO2012029298A1 (ja) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | 撮影装置および画像処理方法 |
KR101899877B1 (ko) * | 2012-04-04 | 2018-09-19 | 삼성전자주식회사 | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 |
JP5877406B2 (ja) * | 2013-12-06 | 2016-03-08 | パナソニックIpマネジメント株式会社 | 撮像装置及び撮像システム |
-
2014
- 2014-11-25 JP JP2014237352A patent/JP5957705B2/ja active Active
- 2014-12-08 US US14/562,811 patent/US9491358B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9491358B2 (en) | 2016-11-08 |
US20150181120A1 (en) | 2015-06-25 |
JP2015136096A (ja) | 2015-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5136669B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8023009B2 (en) | Imaging apparatus for correcting optical distortion and wide-angle distortion | |
JP4615458B2 (ja) | 露出制御方法及び撮像装置 | |
JP5957705B2 (ja) | 撮像装置 | |
WO2017043190A1 (ja) | 制御システム、撮像装置、およびプログラム | |
JP5498087B2 (ja) | 撮像装置および撮像方法、プログラム | |
US20130120635A1 (en) | Subject detecting method and apparatus, and digital photographing apparatus | |
US11245852B2 (en) | Capturing apparatus for generating two types of images for display from an obtained captured image based on scene luminance and exposure | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5105139B2 (ja) | 撮像装置および表示方法、並びにプログラム | |
JP2012222387A (ja) | 撮像装置 | |
US9998676B2 (en) | Image adjustment apparatus, method, and imaging apparatus to determine a boundary in an image based on a position of a light source | |
US8773568B2 (en) | Imaging apparatus and method for improving manipulation of view finders | |
JP6123079B2 (ja) | 撮像装置 | |
JP2018056941A (ja) | 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。 | |
KR20090059512A (ko) | 렌즈부 셰이딩 현상을 보정하는 영상 처리 장치 및 그 제어방법 | |
JP2013192088A (ja) | 撮像装置、制御方法および制御プログラム | |
JP2013127548A (ja) | 表示装置、および表示制御プログラム | |
KR20100112788A (ko) | 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈 | |
JP5448391B2 (ja) | 撮像装置及び赤目補正方法 | |
JP2005167465A (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
JP2010141458A (ja) | 撮像装置および撮像装置の制御方法 | |
JP4066148B2 (ja) | デジタルカメラ | |
JP5828632B2 (ja) | 撮像装置及び映像処理方法 | |
JP2001330868A (ja) | 電子カメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150723 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150723 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5957705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |