JP6579369B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP6579369B2 JP6579369B2 JP2015159924A JP2015159924A JP6579369B2 JP 6579369 B2 JP6579369 B2 JP 6579369B2 JP 2015159924 A JP2015159924 A JP 2015159924A JP 2015159924 A JP2015159924 A JP 2015159924A JP 6579369 B2 JP6579369 B2 JP 6579369B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moire
- color
- image processing
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の一実施形態に係る撮影装置1の構成を示すブロック図である。図1に示されるように、撮影装置1は、システムコントローラ100、操作部102、駆動回路104、撮影レンズ106、絞り108、シャッタ110、像振れ補正装置112、信号処理回路114、画像処理エンジン116、バッファメモリ118、カード用インタフェース120、LCD(Liquid Crystal Display)制御回路122、LCD124、ROM(Read Only Memory)126、ジャイロセンサ128、加速度センサ130、地磁気センサ132及びGPS(Global Positioning System)センサ134を備えている。なお、撮影レンズ106は複数枚構成であるが、図1においては便宜上一枚のレンズとして示す。また、撮影レンズ106の光軸AXと同じ方向をZ軸方向と定義し、Z軸方向と直交し且つ互いに直交する二軸方向をそれぞれX軸方向(水平方向)、Y軸方向(垂直方向)と定義する。
像振れ補正装置112は、振れ補正部材を駆動させる。本発明の一実施形態において、振れ補正部材は、固体撮像素子112aである。なお、振れ補正部材は、固体撮像素子112aに限らず、撮影レンズ106内に含まれる一部のレンズなど、光軸AXを基準として物理的に動かされることにより、固体撮像素子112aの受光面112aa上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子112aのうち2つ以上の部材を組み合わせた構成であってもよい。
ジャイロセンサ128は、像振れ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ128は、撮影装置1に加わる二軸周り(X軸周り、Y軸周り)の角速度を検出し、検出された二軸周りの角速度をXY平面内(換言すると、固体撮像素子112aの受光面112aa内)の振れを示す振れ検出信号としてシステムコントローラ100に出力する。
次に、LPF駆動に関する説明を行う。本発明の一実施形態において、像振れ補正装置112は、ボイスコイルモータVCMYR、VCMYL、VCMXD、VCMXUに所定の駆動電流を流すことにより、一回の露光期間に対して、XY平面内において所定の軌跡を描くように可動ステージ112c(固体撮像素子112a)を駆動して、被写体像を固体撮像素子112aの検出色(R、G又はB)の異なる複数の画素に入射させる。これにより、光学的なLPFと同様の効果が得られる。
次に、本発明の一実施形態において撮影画像内に発生する、モアレの一種である偽色を検出する方法及び検出された偽色をユーザに報知する方法について説明する。図5A及び図5Bは、システムコントローラ100により実行される偽色処理フローを示す。図5A及び図5Bに示される偽色処理フローは、例えば、レリーズスイッチが半押しされた時点、すなわち、AFの指示操作が行われた時点で開始される。
本処理ステップS11では、レリーズスイッチが半押しされたことにより、AE制御及びAF制御が行われる。
本処理ステップS12では、撮影装置1が静止状態であるか否かが判定される。例示的には、ジャイロセンサ128より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置1の静止状態として、典型的には、撮影装置1が三脚に固定された状態が挙げられる。
本処理ステップS13では、振れ補正部材(固体撮像素子112a)のLPF駆動に関する情報として、LPF駆動の設定モードの情報が読み込まれる。
図6(a)、図7(a)は、撮影される被写体の一部であって、それぞれ異なる部分を拡大して示す図である。図6(a)に示される被写体は、固体撮像素子112aの画素PIXの画素ピッチPと同ピッチで明暗が交互に現れる斜め縞模様であり、図7(a)に示される被写体は、画素ピッチPと同ピッチで明暗が交互に現れる縦縞模様である。説明の便宜上、図6(a)に示される被写体のうち太実線で囲まれた6×6マスの被写体を「斜め縞被写体6a」と記し、図7(a)に示される被写体のうち太実線で囲まれた6×6マスの被写体を「縦縞被写体7a」と記す。
本処理ステップS15では、処理ステップS14(第一画像の撮影)にて撮影された第一画像がLCD124の表示画面にスルー画として表示される。
本処理ステップS16では、可動ステージ112cが駆動されて、固体撮像素子112aが1画素分の距離だけ右方向(図6のX軸の矢じり側の方向)にシフトされる。
本処理ステップS17においても、第一画像撮影時のAE制御及びAF制御に基づいて被写体画像(第二画像)が撮影される。第二画像の撮影完了後、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されてもよい。
本発明の一実施形態では、詳しくは後述するが、第一色差信号と第二色差信号との信号差分値や信号加算値に基づいて偽色の発生が検出される。しかし、コントラストの高いエッジ部分では、偽色が発生していなくても、第一色差信号と第二色差信号との信号差分値が大きくなることがある。この場合、エッジ部分において偽色が発生していると誤検出される虞がある。
本発明の一実施形態では、撮影画像内において偽色が発生する偽色発生領域が画素単位で検出される。この場合、偽色の検出精度を向上させるため、同一の被写体像が入射される注目画素同士で信号差分値や信号加算値を演算することが望ましい。
斜め縞被写体6a及び縦縞被写体7aは、固体撮像素子112aの画素PIXの画素ピッチPと同ピッチの高周波成分を含む。そのため、斜め縞被写体6a及び縦縞被写体7aの画像信号が処理ステップS14(第一画像の撮影)、処理ステップS17(第二画像の撮影)においてデモザイク処理されると、偽色が発生する。
プロット6b:(Cb,Cr)=(−M,−N)
プロット6c:(Cb,Cr)=(M,N)
プロット7b:(Cb,Cr)=(M’,−N’)
プロット7c:(Cb,Cr)=(−M’+α,N’+β)
但し、M,N,M’,N’,α,βは何れも正数である。
Cbsub=Cb1−Cb2
Crsub=Cr1−Cr2
本処理ステップS21では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との色空間内での距離(第一の距離情報Saturation_sub)が次式により演算される。
Saturation_sub=√(Cbsub 2+Crsub 2)
本処理ステップS22では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との加算値(Cb’add,Cr’add)が演算される。
Cbadd=Cb1+Cb2
Cradd=Cr1+Cr2
Cbmean=Cbadd/2
Crmean=Cradd/2
Cb’add=Cbadd−Cbmean
Cr’add=Cradd−Crmean
本処理ステップS23では、アドレスが同一の注目画素毎に、加算値(Cb’add,Cr’add)に基づいて色空間内における第二の距離情報Saturation_addが次式により演算される。
Saturation_add=√(Cb’add 2+Cr’add 2)
説明の便宜上、処理ステップS14(第一画像の撮影)にて撮影された第一画像の輝度信号Yを「第一輝度信号」と記し、処理ステップS17(第二画像の撮影)にて撮影された第二画像の輝度信号Yを「第二輝度信号」と記す。本処理ステップS24では、アドレスが同一の注目画素毎に、第一輝度信号と第二輝度信号との差分値Ydiffが演算される。具体的には、本処理ステップS24では、第一輝度信号をY1と定義し、第二輝度信号をY2と定義した場合に、差分値Ydiffが次式により演算される。
Ydiff=|Y1−Y2|
本処理ステップS25では、アドレスが同一の注目画素毎に、偽色発生領域であるか否かが判定される。具体的には、次の条件(1)〜(3)が全て満たされる場合に、当該画素が偽色発生領域であると判定される。
上述したように、第一の距離情報Saturation_subが大きいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該注目画素が偽色発生領域である可能性が高い。そこで、条件(1)は次のように規定される。
条件(1):Saturation_sub≧閾値T1
上述したように、第二の距離情報Saturation_addが小さいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該注目画素が偽色発生領域である可能性が高い。そこで、条件(2)は次のように規定される。
条件(2):Saturation_add≦閾値T2
条件(3):Ydiff≦閾値T3
本処理ステップS26では、偽色の有無が検出される。例示的には、処理ステップS25(偽色発生領域の判定)において偽色発生領域と判定された注目画素数(又は全有効画素数のうち偽色発生領域と判定された注目画素の割合)が所定の閾値以上である場合に、偽色有りという検出結果となり(S26:YES)、該注目画素数(又は割合)が所定の閾値未満である場合に、偽色無しという検出結果となる(S26:NO)。
本処理ステップS27では、偽色識別画面がLCD124の表示画面に表示される。
本処理ステップS28では、レリーズスイッチの半押しが解除されたか否かが判定される。
本処理ステップS29は、処理ステップS28(半押し操作解除判定)にてレリーズスイッチの半押しが解除されたと判定された場合(S28:YES)に実行される。本処理ステップS29では、LPF駆動のモード設定画面がLCD124の表示画面に表示される。ユーザは、操作部102を操作することにより、モード設定画面を通じてLPF駆動のモードを任意で設定変更することができる。
本処理ステップS30では、所定の条件下で(例えば、LPF駆動のモード設定画面に対する終了操作が行われてから所定時間経過するまでの間に)レリーズスイッチが半押しされたか否かが判定される。本処理ステップS30にて所定の条件下でレリーズスイッチが半押しされたと判定されると(S30:YES)、本フローチャートの処理は、処理ステップS11(AE制御及びAF制御)に戻る。
本処理ステップS31は、処理ステップS28(半押し操作解除判定)にてレリーズスイッチの半押しが解除されていないと判定された場合(S28:NO)に実行される。本処理ステップS31では、レリーズスイッチが全押しされたか否かが判定される。本処理ステップS31にてレリーズスイッチが全押しされていないと判定されると(S31:NO)、本フローチャートの処理は、処理ステップS11(AE制御及びAF制御)に戻る。
本処理ステップS32は、処理ステップS31(全押し操作判定)にてレリーズスイッチが全押しされたと判定される場合(S31:YES)に実行される。本処理ステップS32では、レリーズスイッチの全押し操作に従い、本撮影(全押しされた時点の静止画の取り込み)が行われる。なお、本撮影は、処理ステップS26(偽色の検出)にて偽色有りという検出結果が得られている場合には、LPF駆動下で行われてもよい。
本処理ステップS33では、処理ステップS32(本撮影)にて本撮影された本撮影画像がメモリカード200(又は撮影装置1に備えられる不図示の内蔵メモリ)に保存される。また、本撮影画像に代えて又は追加して、処理ステップS14(第一画像の撮影)にて撮影された第一画像及び処理ステップS17(第二画像の撮影)にて撮影された第二画像の少なくとも一方がメモリカード200(又は撮影装置1に備えられる不図示の内蔵メモリ)に保存されてもよい。
本処理ステップS34は、処理ステップSS30(半押し操作判定)にて所定の条件下でレリーズスイッチが半押しされていないと判定された場合(S30:NO)又は処理ステップS33(本撮影画像の保存)が行われた後に実行される。本処理ステップS34では、偽色識別画面の表示が停止、すなわち、スルー画に重畳されていた特定の情報(例えば特定の色の画像)が消去される。これにより、LCD124の表示画面の表示は通常のスルー画に戻る。
100 システムコントローラ
102 操作部
104 駆動回路
106 撮影レンズ
108 絞り
110 シャッタ
112 像振れ補正装置
112a 固体撮像素子
112aa (固体撮像素子の)受光面
112b 固定支持基板
112c 可動ステージ
114 信号処理回路
116 画像処理エンジン
118 バッファメモリ
120 カード用インタフェース
122 LCD制御回路
124 LCD
126 ROM
128 ジャイロセンサ
200 メモリカード
CYR、CYL、CXD、CXU 駆動用コイル
HYR、HYL、HXD、HXU ホール素子
MYR、MYL、MXD、MXU 磁石
PIX 画素
VCMYR、VCMYL、VCMXD、VCMXU ボイスコイルモータ
YYR、YYL、YXD、YXU ヨーク
Claims (12)
- 固体撮像素子と、
前記固体撮像素子の受光面と被写体像とを相対的に移動させる移動手段と、
前記移動手段による移動の前に撮像された第一画像と前記移動の後に撮像された第二画像とで互いの色が補色の関係となる画像内の領域をモアレ発生領域として検出する検出手段と、
検出されたモアレ発生領域とモアレの発生が無い領域の少なくとも一方の領域に対して所定の処理を施すことにより、互いの領域を識別可能にする識別処理手段と、
を備え、
前記移動手段は、
前記第一画像と前記第二画像の色が、前記モアレ発生領域で互いに補色の関係となるように、前記受光面と前記被写体像とを前記固体撮像素子の画素間隔に応じた距離だけ移動させる、
画像処理装置。 - 前記識別処理手段は、
前記検出手段により検出された前記画像内のモアレ発生領域又はモアレの発生が無い領域の少なくとも一方に特定の情報を重畳する、
請求項1に記載の画像処理装置。 - 前記特定の情報は、
特定の色の画像、特定のパターンの画像又はこれらの組み合わせよりなる画像である、
請求項2に記載の画像処理装置。 - 前記検出手段は、
前記モアレ発生領域内のモアレ強度を検出し、
前記識別処理手段は、
前記検出手段により検出されたモアレ強度に応じて前記モアレ発生領域に重畳すべき前記特定の情報を決定する、
請求項2又は請求項3に記載の画像処理装置。 - 前記識別処理手段は、
前記検出手段により検出されたモアレ強度に応じて濃度の異なる色の画像を前記モアレ発生領域に重畳する、
請求項4に記載の画像処理装置。 - 前記検出手段は、
撮像条件の異なる少なくとも一対の画像を取得し、
取得された対となる画像に基づいて前記モアレ発生領域の検出を行う、
請求項1から請求項5の何れか一項に記載の画像処理装置。 - 前記検出手段は、
前記対となる画像に基づいて所定の閾値判定を行い、
前記閾値判定の結果に基づいて前記モアレ発生領域の検出を行う、
請求項6に記載の画像処理装置。 - 前記対となる画像を電子シャッタを用いて撮像することが可能な撮像手段
を備える、
請求項6又は請求項7に記載の画像処理装置。 - 前記撮像手段により撮像された画像を所定の表示画面に表示させる表示手段と、
撮影操作を受けた時、前記撮像手段により撮像された画像を保存する保存手段と、
を備え、
前記表示手段は、
前記撮影操作を受ける前、前記識別処理手段による識別処理が施された画像を前記表示画面に表示する、
請求項8に記載の画像処理装置。 - 前記識別処理手段は、
自動焦点調節の指示操作が行われると、前記表示画面に表示されている画像内の前記モアレ発生領域又はモアレの発生が無い領域の少なくとも一方に識別処理を施し、
前記自動焦点調節の指示操作が解除されると、前記画像内の前記モアレ発生領域又はモアレの発生が無い領域の少なくとも一方に施されている識別処理を停止する、
請求項9に記載の画像処理装置。 - コンピュータに実行させる画像処理方法であって、
固体撮像素子の受光面と被写体像とを相対的に移動させる移動段階と、
前記移動段階での移動の前に撮像された第一画像と前記移動の後に撮像された第二画像とで互いの色が補色の関係となる画像内の領域をモアレ発生領域として検出する段階と、
検出されたモアレ発生領域とモアレの発生が無い領域の少なくとも一方の領域に対して所定の処理を施すことにより、互いの領域を識別可能にする段階と、
を含み、
前記移動段階にて、
前記第一画像と前記第二画像の色が、前記モアレ発生領域で互いに補色の関係となるように、前記受光面と前記被写体像とを前記固体撮像素子の画素間隔に応じた距離だけ移動させる、
画像処理方法。 - 請求項11に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159924A JP6579369B2 (ja) | 2015-08-13 | 2015-08-13 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015159924A JP6579369B2 (ja) | 2015-08-13 | 2015-08-13 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017038318A JP2017038318A (ja) | 2017-02-16 |
JP6579369B2 true JP6579369B2 (ja) | 2019-09-25 |
Family
ID=58048024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015159924A Active JP6579369B2 (ja) | 2015-08-13 | 2015-08-13 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6579369B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018148500A (ja) * | 2017-03-08 | 2018-09-20 | 株式会社リコー | 撮像システム、画像判定プログラム、画像撮像装置、及び、画像データ構造 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341369A (ja) * | 1998-05-29 | 1999-12-10 | Nikon Corp | 情報処理装置、並びに記録媒体 |
JP2001045506A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Photo Film Co Ltd | 撮像装置及び画像信号生成方法 |
JP2010010881A (ja) * | 2008-06-25 | 2010-01-14 | Olympus Imaging Corp | 撮影装置および画像中のモアレ有無の告知方法 |
JP2012175597A (ja) * | 2011-02-24 | 2012-09-10 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
-
2015
- 2015-08-13 JP JP2015159924A patent/JP6579369B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017038318A (ja) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6486656B2 (ja) | 撮像装置 | |
US11394881B2 (en) | Image processing apparatus, image processing method, storage medium, system, and electronic apparatus | |
JP5502205B2 (ja) | 立体撮像装置および立体撮像方法 | |
JP6841933B2 (ja) | 撮像装置、ファインダ装置、撮像装置の制御方法、ファインダ装置の制御方法、撮像装置の制御プログラム及びファインダ装置の制御プログラム | |
JP2007201534A (ja) | 撮像装置 | |
US11012633B2 (en) | Image capturing apparatus, image capturing method, and image processing apparatus | |
US9871964B2 (en) | Photographing apparatus, photographing controller, photographing control method, and photographing control program | |
US10057492B2 (en) | Photographing apparatus and photographing control method to generate a low-pass filter effect | |
US9955066B2 (en) | Imaging apparatus and control method of imaging apparatus | |
JP5595505B2 (ja) | 立体撮像装置および立体撮像方法 | |
JP6606838B2 (ja) | 撮像装置および撮像方法 | |
JP6579369B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2008113466A (ja) | 電子カメラ | |
WO2016031657A1 (ja) | 撮影装置、撮影装置における表示制御方法及び撮影装置の制御に用いられるコンピュータプログラム | |
JP6548141B2 (ja) | 画像検出装置、画像検出方法及び画像検出プログラム | |
JP6525139B2 (ja) | 画像検出装置、画像検出方法及び撮影装置 | |
JP6501106B2 (ja) | 画像検出装置、画像検出方法及び撮影装置 | |
JP2011071712A (ja) | 立体撮像装置及び立体撮像方法 | |
JP6489350B2 (ja) | 像振れ補正装置及び該像振れ補正装置における像振れ補正方法 | |
JP2018148500A (ja) | 撮像システム、画像判定プログラム、画像撮像装置、及び、画像データ構造 | |
JP6460395B2 (ja) | 撮影装置、及び撮影装置における表示制御方法 | |
JP2017200028A (ja) | 画像劣化検出装置 | |
JP2017200029A (ja) | 画像劣化検出装置 | |
JP2016208064A (ja) | 撮像装置及び撮像方法 | |
JP2016057328A (ja) | 撮影装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6579369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |