JPWO2007116636A1 - 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置 - Google Patents

静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置 Download PDF

Info

Publication number
JPWO2007116636A1
JPWO2007116636A1 JP2008509715A JP2008509715A JPWO2007116636A1 JP WO2007116636 A1 JPWO2007116636 A1 JP WO2007116636A1 JP 2008509715 A JP2008509715 A JP 2008509715A JP 2008509715 A JP2008509715 A JP 2008509715A JP WO2007116636 A1 JPWO2007116636 A1 JP WO2007116636A1
Authority
JP
Japan
Prior art keywords
image
camera shake
still image
shake
reference time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008509715A
Other languages
English (en)
Other versions
JP4893737B2 (ja
Inventor
大竹 與志知
與志知 大竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2008509715A priority Critical patent/JP4893737B2/ja
Publication of JPWO2007116636A1 publication Critical patent/JPWO2007116636A1/ja
Application granted granted Critical
Publication of JP4893737B2 publication Critical patent/JP4893737B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/686Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • G03B2205/003Movement of one or more optical elements for control of motion blur by a prism with variable angle or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本発明に係る静止画像取り込み装置は、撮像装置に生じる水平又は垂直振れを検出する振れ検出部5と、光を任意の方向に屈折させる光屈折手段10A、10Bと、光屈折手段による前記光の屈折方向を制御する手振れ制御手段6Aと、光屈折手段10A、10Bの制御量を検出する制御量検出手段8A、8Bと、検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段6Bと、算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段6Cと、決定した取り込み基準時の直後に対応する手振れ補正画像を静止画像として取り込む静止画処理部25とを備える。

Description

本発明は、画像の揺れを補正して撮影した画像から色収差による像ズレが最も少なくなるタイミングで静止画の取り込みを行う静止画像取り込み装置及び静止画像取り込み方法、並びに非光学的に色収差を補正する機能を有する画像揺れ補正装置に関する。
撮影画像の揺れを補正する画像揺れ補正装置として、従来、撮影時に画像の揺れを補正
する機能をカメラ本体に装備したものが知られている。特許文献1には、この画像揺れ補正の1つの方法としてプリズムを利用した方式が提案されている。
この方式に用いられるアクティブ・プリズムは、2枚のガラス板を特殊フィルムでできた伸縮自在の蛇腹で接続された2枚のガラス板の間に当該ガラス板とほぼ同一の光学屈折率を有する液体を注入した構造を有する。そして、このアクティブ・プリズムは、CCDイメージセンサとビデオカメラ本体の前面に設けられた対物レンズからCCDイメージセンサに被写体を導くレンズユニットの対物レンズとの間の位置に設けられており、ビデオカメラ本体の縦方向又は横方向に対する各ガラス版の傾き角を変化させて、画像揺れを補正する。
しかし、特許文献1に記載の画像揺れ補正装置のように屈折素子を用いて画像の揺れを補正する装置では、光学屈折率を利用して画像揺れ補正を行うので、光の波長ごとに異なる光学屈折率により光学像に色収差が発生する。これにより撮影した画像が色ごとにずれて劣化(以下、像ズレと称する)する傾向にあるので、利用者に対して撮影した画像を鮮明な画像で提供することができなかった。
そこで、この色収差を光学的に補正することが考えられる。しかしながら、通常のレンズでは光軸を中心に放射状に色収差が発生するのに対して、プリズムを用いて画像の揺れを補正する装置を用いると光軸に関係なく一方向に色収差が発生し、かつ時間的にその方向が変化し逆方向となるため通常のレンズのように光学的に色収差を補正することは困難であった。
また、撮影した画像から静止画像を取り込む静止画像取り込み装置として、利用者による静止画取り込み信号を受信した直後に、撮影した画像の中から静止画像を取り込むものが、一般的に知られている。
しかし、特許文献1に記載の画像揺れ補正装置を用いて補正した画像から上記の一般的な静止画像取り込み装置を用いて静止画を取り込む場合、画像の揺れの補正量が大きくなるにつれ、入射光の屈折角が大きくなるので、これに応じて取り込んだ静止画像の色収差による像ズレも大きくなる。
このため、上記のような一般的な静止画像取り込み装置では、画像揺れの補正量が最大のときに静止画取り込み信号を受信すると、取り込んだ画像の色収差による像ズレが最大になり、鮮明な静止画を取り込むことができなかった。
そこで、特許文献2には、動画撮像時の角変位の閾値を設け、閾値以下になった場合に静止画像の取り込みを可能とする撮像装置が提案されている。
特開平9−51469号公報 特許3548308号公報
しかし、特許文献2に記載の撮像装置では、動画撮像時の角変位に閾値を設け、閾値以下になった場合に静止画像の取り込みを行うので、補正動作時において常に色収差による像ズレが最も少ない静止画像を取り込むことが難しかった。また、この装置に対して閾値を設定できる構成にしたとしても、設定した閾値が低すぎると、補正量の極小値が閾値に満たなくなり、静止画像の取り込みができなくなる不具合が懸念される。この場合、この閾値の設定が非常に困難になり、色収差による像ズレを常に最小限に抑えることができなかった。
本発明は、上記課題に鑑みてなされたものであり、
(1)撮影した画像の中から静止画像を取り込む際に、色収差により生じる像ズレを最小限に抑える静止画像取り込み装置及び静止画像取り込み方法、及び、
(2)色収差により生じる像ズレを非光学的に補正する機能を搭載した画像揺れ補正装置、
を提供することを目的とする。
上記目的を達成するため、本発明に係る静止画像取り込み装置の第1の特徴は、
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
手振れ制御手段により制御される光屈折手段の制御量を検出する制御量検出手段と、
制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
静止画像の取り込みを要求する要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
本発明に係る静止画像取り込み装置の第2の特徴は、
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
振れ検出部により検出した振れから水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
静止画像取り込みの要求信号を受信したときに、手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
取り込み基準時決定手段により決定した取り込み基準時の直後に撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
本発明に係る静止画像取り込み装置の第3の特徴は、
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
振れ検出部で検出した振れを打ち消すように光屈折手段による光の屈折方向を制御する手振れ制御手段と、
手振れ制御手段により制御される光屈折手段の制御量を検出する制御量検出手段と、
制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
予め定めた所定の時間内に前記撮像素子から読み出された複数の手振れ補正画像と該複数の手振れ補正画像それぞれの撮影時期を特定する情報と手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角とを対応付けて記憶部に記憶する記憶手段と、
静止画像取り込みの要求信号を受信したときに、手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
第2の時点を静止画像の取り込み基準時として決定した場合に、前記取り込み基準時決定手段により決定した取り込み基準時の直後又は直前に撮像素子から読み出されて記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
本発明に係る静止画像取り込み装置の第4の特徴は、
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
撮像素子に入射するまでの光路上に配置され、光を任意の方向に屈折させる光屈折手段と、
振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
手振れ角算出手段にて算出した水平方向又は垂直方向の手振れ角がゼロである直後に前記撮像素子から読み出された手振れ補正画像と該複数の手振れ画像それぞれの撮影時期を特定する情報とを対応付けて記憶部に記憶する記憶手段と、
静止画像取り込みの要求信号を受信したときに、手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は記憶部に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
第2の時点を静止画像取り込み基準時として決定した場合に、取り込み基準時決定手段により決定した取り込み基準時の直後に撮像素子から読み出されて記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを要旨とする。
本発明に係る静止画像取り込み装置の第5の特徴は、
光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを該揺れに対応した補正量で補正された手振れ補正画像から、静止画像を取り込む静止画像取り込み装置において、
振れ補正量の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
を備えたことを特徴とする静止画像取り込み装置であることを要旨とする。
上記目的を解決するため、本発明に係る画像揺れ補正装置の第1の特徴は、
光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
撮影機器に生じる振れを検出する振れ検出手段と、
光学レンズの入射側に配置され、前記光学レンズに入射する光の屈折方向を変化させる一対の可動屈折素子と、
可動屈折素子をそれぞれ光軸回りに回動させる2つの回動手段と、
振れ検出手段で検出した振れを打ち消すように前記2つの回動手段を制御する回動制御手段と、
可動屈折素子の回動量を検出する回動量検出手段と、
得られた画像の画像データを3原色の画像に分離する色分離手段と、
色分離手段によって分離した各色画像を回動に伴い出力する際、各色画像の出力位置の像ズレ量を回動量検出手段によって検出した回動量から算出する像ズレ量算出手段と、
像ズレ量算出手段により各色画像間の相対的な像ズレを補正する色収差補正手段と
を備えたことを要旨とする。
本発明に係る画像揺れ補正装置の第2の特徴は、
光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
得られた画像の画像データを3原色の画像に分離する色分離手段と、
色分離手段により分離した各色画像を重ね合わせ、重ね合わせた色画像を上下左右1画素ずつずらし、画素ごとの出力値の差分を合計し、合計した差分値合計を最小とする各色画像の位置を決定する像ズレ量算出手段と、
像ズレ量算出手段により決定した各色画像の位置に基づいて各色画像の出力位置を補正する色収差補正手段と
を備えたことを要旨とする。
図1は、本発明の実施の形態に係る静止画像取り込み装置の構成を示すブロック図である。 図2は、図1に示す静止画像取り込み装置の補正部を示す概略図であり、図2(a)は概略正面図、図2(b)は概略側面図である。 図3は、補正部の構成図であり、図3(a)は正面図、図3(b)は図2(a)に示すB方向から見た断面図、図3(c)は図2(a)に示すA方向から見た断面図である。 図4は、図3に示す補正部が備える固定プリズムの斜視図である。 図5は、図3に示す補正部が備えるアクチュエータとセンサの配置図で、図5(a)は概略側面図、図5(b)は可動プリズム10Aのアクチュエータとセンサの配置図、図5(c)は可動プリズム10Bのアクチュエータとセンサの配置図である。 図6は、プリズムによる被写体像の移動について説明する図であり、図6(a)はプリズムによる光の屈折を説明する図、図6(b)は(a)においてプリズムを正面方向から見た図である。 図7は、可動プリズムが回転しない場合の像シフトベクトルを示す図である。 図8は、可動プリズムが回転した場合の被写体像の移動について説明する図であり、図8(a)は可動プリズムが回転した場合の像シフトベクトルを示す図、図8(b)は図8(a)に示す像シフトベクトルの変化量を取り出した図である。 図9は、被写体像(被写体)の平行移動の形態を示す図で、図9(a)は被写体像が第2象限に移動した図、図9(b)は被写体像が第1象限に移動した図、図9(c)は被写体像が第3象限に移動した図、図9(d)は被写体像が第4象限に移動した図である。 図10は、換算焦点距離とシフト面を説明する図であり、図10(a)は換算焦点距離を説明する図、図10(b)はシフト量を説明する図である。 図11は、手振れ補正について説明する図であり、図11(a)は手振れによる被写体像の移動を説明する図、図11(b)は手振れによる被写体像の移動に対する手振れ補正を説明する図である。 図12は、プリズムが光軸上にない場合における黒字に白で「A」の文字を撮像素子により撮像した像を示す図である。 図13は、プリズムが光軸上にある場合における黒字に白で「A」の文字を撮像素子により撮像した像を示す図である。 図14は、手振れ角がゼロとなる場合の手振れ角曲線を示した説明図である。 図15は、手振れ角の絶対値が極小値となる場合の手振れ角曲線を示した説明図である。 図16は、本発明の実施の形態に係る静止画像取り込み装置の処理フローを示す図である。 図17は、水平方向及び垂直方向の手振れの位相差がゼロの場合の手振れ角曲線を示す説明図である。 図18は、垂直方向の手振れ角の位相が水平方向の手振れ角の位相より45度マイナス方向にずれた場合の手振れ角曲線を示す説明図である。 図19は、手振れ角が予め定めた取り込み制限時間にゼロ、又は極小値とならない場合の手振れ角曲線を示した説明図である。 図20は、図1におけるレンズ系を示す図である。 図21は、図1に示す補正部とレンズ系とのその他の配置関係を示す図であり、図21(a)はレンズ系内に補正部を配置した図、図21(b)はレンズ系の後方に補正部を配置した図である。 図22は、本実施の形態に係る補正部のその他の構成として固定プリズムなしの補正部を示す図であり、図22(a)は正面図、図22(b)は平面図、図22(c)は側面図である。 図23は、本実施の形態に係るプリズムのその他の構成として固定プリズム2枚を備える補正部を示す図であり、図23(a)は正面図、図23(b)は平面図、図23(c)は側面図である。 図24は、本実施の形態に係るプリズムのその他の構成を示す図であり、図24(a)は単体プリズムを示す図、図24(b)は複合プリズムを示す図、図24(c)はプリズム効果を有する平行板を示す図である。 図25は、本発明の実施形態に係る画像揺れ補正装置の構成を示すブロック図である。 図26は、図25に示す画像揺れ補正装置の補正部を示す概略図で、図(a)は概略正面図、図(b)は概略側面図である。 図27は、図26に示す補正部の構成図であり、図27(a)は正面図、図27(b)は図26(a)に示すB方向から見た断面図、図27(c)は図26(a)に示すA方向から見た断面図である。 図28は、図27に示す補正部が備える固定プリズムの斜視図である。 図29は、図27に示す補正部が備えるアクチュエータとセンサの配置図であり、図29(a)は概略側面図、図29(b)は可動プリズム60Aのアクチュエータとセンサの配置図、図29(c)は可動プリズム60Bのアクチュエータとセンサの配置図である。 図30は、プリズムによる被写体像の移動について説明する図であり、図30(a)はプリズムによる光の屈折を説明する図、図30(b)は図30(a)においてプリズムを正面方向から見た図である。 図31は、可動プリズムが回転しない場合の像シフトベクトルを示す図である。 図32は、可動プリズムが回転した場合の被写体像の移動について説明する図であり、図32(a)は可動プリズムが回転した場合の像シフトベクトルを示す図、図32(b)は図32(a)に示す像シフトベクトルの変化量を取り出した図である。 図33は、被写体像(被写体)の平行移動の形態を示す図であり、図33(a)は被写体像が第2象限に移動した図、図33(b)は被写体像が第1象限に移動した図、図33(c)は被写体像が第3象限に移動した図、図33(d)は被写体像が第4象限に移動した図である。 図34は、換算焦点距離とシフト面を説明する図であり、図34(a)は換算焦点距離を説明する図、図34(b)はシフト量を説明する図である。 図35は、手振れ補正について説明する図であり、図35(a)は手振れによる被写体像の移動を説明する図、図35(b)は手振れによる被写体像の移動に対する手振れ補正を説明する図である。 図36は、プリズムが光軸上にない場合における黒字に白で「A」の文字を撮像素子により撮像した像を示す図である。 図37は、プリズムが光軸上にある場合における黒字に白で「A」の文字を撮像素子により撮像した像を示す図である。 図38は、本実施形態である画像揺れ装置における色収差による像ズレを補正する処理フローを示す図である。 図39は、色収差による像ズレが生じた場合のRGB出力画像の一例を示す図である。 図40は、3板式の本発明の画像揺れ補正装置の一実施の形態を示す。 図41(a)は、画素配列のアドレスを示す図である。図41(b)は、色収差による像ズレがない場合の画像の一部を拡大した図である。図41(c)は、図41(b)の場合の信号出力を示した図である。 図42は、本実施形態に係る画像揺れ補正装置における色収差補正の処理手順を示す色収差補正処理フローである。 図43(a)は、色収差による像ズレがある場合の白色の短形被写体画像の一部を拡大した一例を示した図である。図43(b)〜図43(d)は、R、G、B各々の出力画像の一例を示した図である。図43(e)〜図43(h)は、各々、図43(a)〜図43(d)に対応する信号出力の一例を示した図である。 図44(a)は、R、G、B出力画像の一例における差分を示す図である。図44(b)は、R、G出力画像の一例における差分を示す図である。図(c)は、G、B出力画像の一例における差分を示す図を示す。 図45(a)は、R出力画像を右へ1画素ずらしたときのR出力画像の一例を示した図である。図45(b)は、B出力画像を左へ1画素ずらしたときのB出力画像の一例を示した図である。図45(c)及び図45(d)は、図45(a)及び図45(b)に対応する信号出力の一例を示した図である。 図46(a)は、R、B出力画像を左右へ1画素ずつずらしたときのR、G、B出力画像の一例における差分を示す図である。図46(b)は、R、G出力画像の一例における差分を示す図である。図46(c)は、G、B出力画像の一例における差分を示す図である。図46(d)〜図46(f)は、各々、図46(a)〜図46(c)に対応する信号出力の一例を示した図である。 図47は、図25におけるレンズ系を示す図である。 図48は、図25に示す補正部とレンズ系とのその他の配置関係を示す図であり、図48(a)はレンズ系内に補正部を配置した図、図48(b)はレンズ系の後方に補正部を配置した図である。 図49は、本実施の形態に係る補正部のその他の構成として固定プリズムなしの補正部を示す図であり、図49(a)は正面図、図49(b)は平面図、図49(c)は側面図である。 図50は、本実施の形態に係る補正部のその他の構成として固定プリズム2枚を備える補正部を示す図であり、図50(a)は正面図、図50(b)は平面図、図50(c)は側面図である。 図51は、本実施の形態に係るプリズムのその他の構成を示す図であり、図51(a)は単体プリズムを示す図、図51(b)は複合プリズムを示す図、図51(c)はプリズム効果を有する平行板を示す図である。
以下、本発明の実施の形態について図面を参照して説明する。
<静止画像取り込み装置>
まず、静止画像取り込み装置の実施形態について説明する。本実施形態では、プリズムを用いて手振れを補正し、この手振れ補正した画像の中から静止画像を取り込む際、プリズムの色収差により生じる像ズレを最小限に抑える静止画像取り込み装置を例に挙げて説明する。
図1は、本発明に係る静止画像取り込み装置の一実施形態を示したブロック図である。本発明の静止画像取り込み装置は、例えば撮像装置であるビデオカメラ1内に設けられる。
本実施形態におけるビデオカメラ1は、固定プリズムと、光軸1aを回転中心として独立的に回動可能な一対の可動プリズムとを備える補正部2と、被写体を撮影するレンズ系3と、レンズ系3から入射した光を結像させ、結像させた被写体像を電気信号に変換するCCD部13と、CDS機能、AGC機能、及びA/D変換機能を備えた前処理用IC部19と、前処理用IC部19から入来した入力信号に各種デジタル処理を施すカメラDSP部20と、補正部2内の一対の可動プリズムをそれぞれ独立的に回動させるアクチュエータ4A,4Bと、手振れ等によるビデオカメラ1の角速度などにより振れを検出して手振れ信号を出力する手振れ検出部5と、手振れ検出部5からの手振れ信号に応じて振れを打ち消すようにアクチュエータ4A,4Bを回動制御するように制御信号を送信する回動制御部6Aとセンサ8A,8Bで検出した可動プリズムの回動量から手振れ角を算出する手振れ角算出部6Bと画像の取り込み基準時を決定する取り込み基準時決定部6Cとを有するCPU6と、CPU6の回動制御部6Aからの制御信号に応じてアクチュエータ4A,4Bを駆動させるモータ駆動電子回路(MDE)7と、補正部2内の一対の可動プリズムの回転状態を検知するセンサ8A,8Bと、撮影画像等を記憶する記憶部24と、静止画像を取り込む静止画処理部25と、外部操作系26とを備える。
本実施形態の静止画像取り込み装置では、補正部2とCPU6とを含む構成としているが、少なくとも回動制御部6Aと手振れ角算出部6Bと取り込み基準時決定部6Cとを含んでいれば良い。
図2は、図1に示す静止画像取り込み装置の補正部2を示す概略図で、図2(a)は概略正面図、図2(b)は概略側面図である。図3は補正部2の構成図で、図3(a)は正面図、図3(b)は図2(a)に示すB方向から見た断面図、図3(c)は図2(a)に示すA方向から見た断面図である。図4は、補正部2が備える固定プリズムの斜視図である。
図2に示すように、補正部2は、レンズ系3とこのレンズ系3の前面を覆うフード部1bとの間に配設されており、図3(a)〜(c)に示すように、補正部2は、固定して設置された固定プリズム9と、光軸を回転中心として回動可能な一対の可動プリズム10A,10Bとを備えている。
固定プリズム9は、図4に示すように、光軸1aに対して垂直な面である第1の面9aと、第1の面9aに対して微小な角度の傾きを有して対向する平面である第2の面9bとを形成した、アクリル等よりなるプリズムである。可動プリズム10A,10Bも同様の形状、材質である。
図5は、補正部2が備えるアクチュエータとセンサの配置図で、図5(a)は概略側面図、図5(b)は可動プリズム10Aのアクチュエータとセンサの配置図、図5(c)は可動プリズム10Bのアクチュエータとセンサの配置図である。
アクチュエータとセンサとは補正部2に取り付けられている。そして、図5(b),(c)に示すように、アクチュエータ4Aとセンサ8Aは可動プリズム10A用であり、アクチュエータ4Bとセンサ8Bは可動プリズム10B用である。
アクチュエータ4A,4BはCPU6の回動制御部6Aからの制御信号に応じて可動プリズム10A,10Bを回動させる。アクチュエータ4A,4Bは負荷トルクの小さい小型パルスモータや、小型リニアモータ、小型超音波モータ等により構成される。
センサ8A,8Bは小型フォトインタラプタ、MR素子、ホール素子等により構成され、可動プリズム10A,10Bの回動状態を検出して回動状態の情報をCPU6に出力する。
センサ8A,8Bとして小型フォトインタラプタを用いる場合には、パルスモータとの組で用い、可動プリズム10A,10Bの外周側をマスキングし、そのマスキング上にそれぞれ穴10a,10bを設ける。穴10a,10bは、可動プリズム10A,10Bが初期位置になったときにセンサ8A,8Bの位置に来るように設ける。
小型フォトインタラプタは、赤外線発光ダイオードとフォトトランジスタとを備え、可動プリズム10A又は10Bが赤外線発光ダイオードとフォトトランジスタとの間に配置されるように設置する。
小型フォトインタラプタは、電源ON時に可動プリズム10A,10Bを回動させ、穴10a,10bを通過した赤外線発光ダイオードの光をフォトトランジスタで受光することにより原点位置を検出する。可動プリズム10A,10Bの回動状態の情報は、原点位置でのパルスをゼロとして回動時のパルス数をカウントすることにより得られる。
また、センサ8A,8BとしてMR素子又はホール素子を用いる場合には、穴10a,10bを設ける替わりに、可動プリズム10A,10Bにそれぞれ磁性体を取り付ける。
MR素子又はホール素子は、可動プリズム10A,10Bの回動と共に回動する磁性体による磁界の変化を検出することにより回動状態の情報を検出する。
本実施形態の静止画像取り込み装置では、手振れ検出部5で検出した振れを打ち消すように可動プリズム10A,10Bを回動させることより手振れによる画像揺れを補正し、この可動プリズム10A,10Bの回転角を検出し、検出した回転角から手振れ角を算出し、手振れ角がゼロ又は最小となる直後に対応する画像を静止画像として取り込む。
そのため、以下に手振れ補正の処理について説明した後、静止画像取り込み処理について説明する。
≪手触れ補正≫
本実施形態の静止画像取り込み装置では、手振れ検出部5で検出した振れを打ち消すように可動プリズム10A,10Bを回動させることより手振れによる画像揺れを補正する。
図6は、プリズムによる被写体像の移動について説明する図であり、図6(a)はプリズムによる光の屈折を説明する図、図6(b)は図6(a)においてプリズムを正面方向(a方向)から見た図である。図6(b)では図6(a)に示すプリズム11をαだけ回転させている。図6(a),(b)に示すように、入射した光はプリズム11によって屈折角i´で屈折され、その結果、被写体Aの像がP点方向に向かってA´にシフト(平行移動)する。
図6(a),6(b)において、“i”はプリズム11のプリズム角(光の入射角)、“L”はプリズム長、“δ”はプリズム高さ、“δ”は最も薄い部分のプリズム高さ、“N”は屈折率、“i´”は光の屈折角、“θ”は像シフト角(偏角)、“α”はプリズム回転角、“Lα”はプリズム回転量、“vectore”は像シフト方向の単位ベクトル、“vectorθ”は像シフトベクトルである。なお、添え字“vector”はベクトル量を表すものとする。なお、図6〜11においては、これらのベクトル量を添え字“vector”の代わりに、太字で表している。
ここで、
vectorθ=θvectore (式1)
である。
図6(a)に示すように、プリズム角(入射角)iと屈折角i´と像シフト角(偏角)θとの間には、
θ=i´−i (式2)
が成り立つ。さらに、スネルの法則により、
sini´=Nsini (式3)
が成り立つ。
ここで、プリズム角iが小さいと仮定すると、(式3)は、
i´=Ni (式4)
と近似できるので、(式4)を(式2)に代入すると、
θ=(N−1)i (式5)
となる。
また、図6(b)より、プリズム回転量Lαとプリズム回転角αとの間には、
α=(L/2)α (式6)
つまり、
α=(2/L)Lα (式7)
が成り立つ。また、
δ=Ltani+δ (式8)
つまり、
L=(δ−δ)/tani (式9)
が成り立つ。
図7は、補正部2内の可動プリズム10A,10Bが回転していない場合(初期状態)の像シフトベクトルを示す図である。
図7において、vectorθvectorθvectorθはそれぞれ固定プリズム9、可動プリズム10A,10Bによる像シフトベクトルである。図7に示すように、vectorθvectorθの合成ベクトルをvectorθが打ち消すように固定プリズム9、可動プリズム10A,10Bの位置を設定する。これにより、固定プリズム9、可動プリズム10A,10Bの3枚で平行平板と等価となるため、補正部2の入射角と出射角とが同一となり、被写体の像は移動しない。
図8は、可動プリズム10A,10Bが回転した場合の被写体像の移動について説明する図であり、図8(a)は可動プリズムが回転した場合の像シフトベクトルを示す図、図8(b)は図8(a)に示す像シフトベクトルの変化量を取り出した図である。
図8(a)において、可動プリズム10A,10Bがそれぞれα,αだけ回転したときの像シフトベクトルをそれぞれvectorθ´,vectorθ´とする。ここで、図8(a)に示す回転方向をα,αの正(+)の方向とする。
また、
vectorθvectorθ´−vectorθ (式10)
vectorθvectorθ´−vectorθ (式11)
とする。
すると、図8(b)に示すように、被写体Aの像がA´に平行移動することになる。このとき、その像シフトベクトルはvectorθvectorθの合成ベクトルとして、
vectorθ=vectorθvectorθ=(θ,θ) (式12)
となる。
このとき、図8(a),(b)より
θ=θsinα−θ(1−cosα) (式13)
θ=θsinα−θ(1−cosα) (式14)
が成り立つ。ここで、θvectorθのスカラーを表し、θvectorθのスカラーを表す。
ここで、α,αを成分とするベクトルvectorα=(α,α)を考える。(式13)及び(式14)をα,αについて解くと、
α=±cos−1(C/D)+α (式15)
α=±cos−1{[(θ+θ)−θsinα]/θ} (式16)
を得る。ここで、
C=[A+B+θ −θ ]/2θ (式17)
D=(A+B1/2 (式18)
α =±cos−1(A/D) (Bの符号を選択) (式19)
A=(θ+θ) (式20)
B=(θ+θ) (式21)
である。
ここで、αの符号が−の場合、αの符号はθの符号を選択し、αの符号が+の場合、αの符号は+を選択する。
図9は被写体像(被写体)の平行移動の形態を示す図であり、図9(a)は被写体像が第2象限に移動した図、図9(b)は被写体像が第1象限に移動した図、図9(c)は被写体像が第3象限に移動した図、図9(d)は被写体像が第4象限に移動した図である。
被写体像が第1象限に移動する場合は、図9(b)に示すように、θ>0,θ>0であるため、α>0,α>0である。また、被写体像が第2象限に移動する場合は、図9(a)に示すように、θ<0,θ>0であるため、α<0,α>0である。また、被写体像が第3象限に移動する場合は、図9(c)に示すように、θ<0,θ<0であるため、α<0,α<0である。また、被写体像が第4象限に移動する場合は、図9(d)に示すように、θ>0,θ<0であるため、α>0,α<0である。
図10は、換算焦点距離とシフト量について説明する図であり、図10(a)は換算焦点距離を説明する図、図10(b)はシフト量を説明する図である。
図10(a)において、Sは被写体Aからレンズ系3の第1主点までの距離、fはレンズ系3の焦点距離である。このとき換算焦点距離fは、レンズ系3の第2主点から被写体像14Aを結像するCCD部13までの距離であり、
=f+S (式22)
=f/S (式23)
で表される。
次に、図10(b)に示すように、補正部2を挿入することによって被写体像14Aが被写体像14A´に移動し、その像シフト角をθとすると、シフト量Sは、
S=ftanθ (式24)
で表される。
図11は、手振れ補正について説明する図であり、図11(a)は手振れによる被写体像の移動を説明する図、図11(b)は手振れによる被写体像の移動に対する手振れ補正を説明する図である。
図11(a)に示すように、ビデオカメラ等の本体に対しレンズ系3が上方向に回転(図11の時計回り方向に回転)すると、被写体Aは相対的に下方向に回転(図11の反時計回り方向に回転)することになる。
このため、被写体像14Aが被写体像14A´にずれ、CCD部3からはみ出す。ここで、vectorθは手振れ角ベクトルであり、手振れ角をθ、手振れ方向の単位ベクトルをvector(=−vectore)とすると、
vectorθ=θ vector (式25)
である。
次に、図11(b)に示すように、レンズ系3の前方に補正部2を挿入すると、補正部2による像シフトベクトルvectorθと手振れ角ベクトルvectorθが手振れ補正条件
vectorθ=−vectorθ (式26)
を満たすとき、被写体像14A’が被写体像14Aの位置に移動して手振れが補正される。
次に、本実施形態の静止画像取り込み装置の動作を説明する。
センサ8A,8Bは、可動プリズム10A,10Bの回転状態を検出して回転状態の情報をCPU6の回動制御部6Aに出力する。
手振れ検出部5は手振れによるビデオカメラ1の振れを検出し、これを手振れ信号としてCPU6の回動制御部6Aに出力する。CPU6の回動制御部6Aではこの手振れ信号に基づいて、振れの大きさ及び方向を示す手振れ角ベクトルvectorθ
vectorθ=(θ ,θ ) (式27)
により計算する。ここで、(式26)より、
(θ,θ)=(−θ ,−θ ) (式28)
となる。
そして、CPU6の回動制御部6Aは、(式15)〜(式21)に基づいてベクトルvectorαを算出し、可動プリズム10A,10Bを回転角がα,αになるように制御信号をモータ駆動電子回路7に出力する。
モータ駆動電子回路7は、CPU6の回動制御部6Aからの制御信号に応じてアクチュエータ4A,4Bを駆動させ、アクチュエータ4A,4Bは、可動プリズム10A,10Bを回転角がα,αになるように回動させる。
このように本実施形態の静止画像取り込み装置は、手振れ検出部5で検出した振れを打ち消すように可動プリズム10A,10Bを回動させることより手振れによる画像揺れを補正する。
≪静止画像取り込み処理≫
次に、上記のようにして手振れ補正された被写体像からの静止画像取り込み処理ついて、以下に説明する。
上記のように可動プリズム10A,10Bを回動させることにより手振れによる画像揺れを補正することができるが、プリズムによる光学屈折率を利用して画像揺れ補正を行うので、光の波長ごとに異なる光学屈折率により被写体像に色収差が発生する。
図12は、プリズムが光軸上にない場合に、プリズムを介さずに、黒地に白の「A」の文字をRGBの各カラーフィルターを備えた撮像素子により撮像した像を示し、図13は、プリズムが光軸上に配置した場合に、黒地に白の「A」の文字を撮像素子によりプリズムを介して撮像した像を示す。ただし、図面上白黒反転させている。
図12の場合、像は白で「A」がはっきり見えるのに対し、図13の場合、プリズムにより光が屈折する際、光の波長によって屈折率が異なるため、R、G、Bの3種類の像がずれて現れる。これが色収差による像ズレである。
この色収差による像ズレは、振れを打ち消すために必要な画像の揺れの補正量が大きい程、即ち手振れ角が大きい程、大きくなる。
そこで、本実施形態の静止画像取り込み装置は、補正動作における可動プリズム10A,10Bの回転角を検出し、検出した回転角から手振れ角を算出し、手振れ角がゼロ又は最小となる直後に対応する画像を静止画像として取り込むことで、色収差により生じる像ズレを最小限に抑える。
具体的には、静止画像取り込み装置は、センサ8A及び8Bによって検出した補正動作における可動プリズム10A,10Bの回転角α10,α20から水平及び垂直方向の手振れ角を算出し、利用者のボタン操作や外部からの指示など静止画像取り込みの要求信号を受信したときに、この水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点を静止画像の取り込み基準時として決定し、取り込み基準時の直後に撮像素子から読み出された手振れ補正画像をカメラDSP部20から静止画像として取り込む。
図14は、手振れ角がゼロとなる場合を含む手振れ角曲線を示した説明図である。
図14から分かるように、手振れ角曲線301は利用者の手振れによって、時間と共に変化する(例えば、振動する)。一方、図14中の蓄積処理303に示すように、手振れ補正された画像をCCD部13へ蓄積するためには一定の時間を要するので、蓄積された画像情報を読み出して静止画像の取り込みが可能なタイミングは、各蓄積処理後、つまり図中の各蓄積処理303の両矢印の右端となる。
また、図14に示すPA1は静止画像取り込みの要求信号を受信したタイミング、PA2は静止画像の取り込み基準時、PA3は静止画像としての取り込み時を示している。
図14では、PA1時にCPU6の取り込み基準時決定部6Cが、外部操作系26の利用者の操作による静止画像取り込みの要求信号を受信している。これを受け、取り込み基準時決定部6Cは、手振れ角の絶対値がゼロ、又は極小値であるか否かを判断する動作を開始する。
図14では、CPU6の取り込み基準時決定部6Cは、PA2時において、手振れ角がゼロであることを検出する。このとき取り込み基準時決定部6Cは、手振れ角がゼロとなる時点を静止画像の取り込み基準時として決定し、PA2直後の蓄積処理後であるPA3時において、静止画処理部25が、カメラDSP部20から手振れ補正画像を静止画像として取り込む。
取り込み基準時決定部6Cは、振れ補正量である手振れ角の情報を連続して、又は所定時間間隔毎に取り込んで、手振れ角の絶対値がゼロ、又は極小値となる時点を検出する。
所定時間間隔毎に取り込んだ場合には、その手振れ角情報に基づいて手振れ角の絶対値がゼロ、又は極小値となる時点を求め、その時点直後、又は直前の取り込み時点を取り込み基準時として設定する。
図15は、手振れ角の絶対値が極小値となる場合の手振れ角曲線を示した説明図である。
図15に示すPB1は静止画像取り込みの要求信号を受信したタイミング、PB2は静止画像の取り込み基準時、PB3は静止画像として取り込み時を示している。
図15では、PB1時にCPU6の取り込み基準時決定部6Cが、外部操作系26の利用者の操作による静止画像の取り込みを要求する要求信号を受信している。これを受け、取り込み基準時決定部6Cは、手振れ角の絶対値がゼロ、又は極小値か否かの判断を開始
する。
図15では、CPU6の取り込み基準時決定部6Cは、PB2時において、手振れ角の絶対値が極小値であることを検出する。このとき取り込み基準時決定部6Cは、手振れ角の絶対値が極小となる時点を静止画像の取り込み基準時として決定し、PB2直後の蓄積処理後であるPB3時において、静止画処理部25が、カメラDSP部20から手振れ補正画像を静止画像として取り込む。
次に、本実施形態の静止画像取り込み装置の処理フローについて、図16のフローチャートを参照して以下に説明する。
まず、CPU6の手振れ角算出部6Bは、センサ8A及び8Bによって検出した可動プリズム10A,10Bの回転角α10、α20を受信する(ステップS201)。
次に、CPU6の手振れ角算出部6Bは、像シフトベクトルvectorθ=(θ,θ)を、
θ=θsinα10−(1−cosα20)θ (式29)
θ=θsinα20−(1−cosα10)θ (式30)
として算出する。ここで、θ、θは可動プリズム10A、10B各々の像シフト角である。
そして、CPU6の手振れ角算出部6Bは、この振れの大きさ及び方向を示す手振れ角ベクトルvectorθ=(θ ,θ )を、像シフトベクトルvectorθの成分であるθ,θを用いて、
(θ ,θ )=(−θ,−θ) (式31)
により算出する(ステップS203)。
次に、CPU6の取り込み基準時決定部6Cは、外部操作系26にて受け付けた利用者の押し釦操作等によって静止画像取り込みの要求信号を受信したときに(ステップS205)、CPU6の手振れ角算出部6Bにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる手振れ角に対応する時点を静止画像の取り込み基準時として決定する(ステップS207、S209)。
なお、CPU6の取り込み基準時決定部6Cは、水平方向又は垂直方向いずれかの手振れ角により静止画像の取り込み基準時を決定するので、手振れ角の水平方向又は垂直方向のいずれを優先して静止画像の取り込み基準時として決定するかを設定しておく必要がある。
例えば、画面が横長の為に横側周辺で光学レンズの水平解像度が低下していることを考慮して、画面水平方向の手振れ角を取り込み基準に設定することや、画面の垂直方向のコントラストを優先したい場合には画面垂直方向の手振れ角を取り込み基準として設定する。
次に、静止画処理部25は、CPU6の取り込み基準時決定部6Cより決定した取り込み基準時を受信し、その直後の読み出しタイミングに対応する手振れ補正画像、つまりCPU6の回動制御部6Aにより制御し撮影した画像をカメラDSP部20から静止画像として取り込む(ステップS211)。
これにより、本実施形態の静止画像取り込み装置は、画像の揺れを補正した画像の中から静止画像を取り込む際に、最も手振れ角の小さいタイミング直後の静止画像、即ち色収差により生じる像ズレが最も小さい静止画像を取り込むことができ、利用者に鮮明な静止画像を提供することができる。
なお、本実施形態の静止画像取り込み装置では、光屈折手段として可動プリズム10A,10Bを用い、この可動プリズム10A,10Bの回転角を検出し、検出した回転角から手振れ角を算出するが、他の光屈折方式として、例えば、プリズムを傾けたり、レンズをシフトしたりなどの周知の方式を用いることもできる。
そして、プリズムを傾ける方式の場合、撮影機器の縦方向又は横方向のいずれかの各異なる方向に対する傾き角を可変させて、画像揺れを補正し、このプリズムの傾き角(制御量)を検出し、検出した傾き角から手振れ角を算出することも可能である。
≪本実施形態の変形例≫
<変形例1>
本実施形態の静止画像取り込み装置では、可動プリズム10A,10Bの回転角を検出し、検出した回転角から手振れ角を算出し、手振れ角がゼロ又は最小となる直後の読み出し画像を静止画像として取り込むことで、色収差により生じる像ズレを最小限に抑えるようにした。
変形例1では、装置を簡素化するため、手振れ検出部5により検出した振れから直接的に水平及び垂直方向の手振れ角を算出する。
具体的には、手振れ検出部5が像シフト角を検出し、この像シフト角を手振れ角算出部6BがCPU6の回動制御部6Aを経由して受信し、この受信した像シフト角から(数式30)により手振れ角を算出する。
その後、取り込み基準時決定部6Cが、外部操作系26にて受け付けた利用者の押し釦操作等によって静止画像取り込みの要求信号を受信したときに、手振れ角算出部6Bにより算出した手振れ角の絶対値がゼロ、又は極小値となる手振れ角に対応する時点を静止画像の取り込み基準時として決定し、取り込み基準時決定部6Cにより決定した取り込み基準時の直後の時点に対応する手振れ補正画像、つまりCPU6の回動制御部6Aにより制御し撮影した画像を静止画像として取り込む。
これにより、手振れ検出部5により検出した像シフト角から直接的に手振れ角を算出するので、光屈折手段として汎用の光屈折構造を用いることができ、静止画像取り込み装置の構成を簡素化することができる。
<変形例2>
本実施形態の静止画像取り込み装置では、手振れ角がゼロ又は最小となる直後に読み出される画像をカメラDSP部20から直接的に静止画像として取り込むが、変形例2では、記憶部24に記憶された画像のなかから静止画像を選択して取り込むことを可能とする。
具体的には、この変形例2の静止画像取り込み装置は、記憶部24に予め定めた所定の時間分の手振れ補正画像と撮影時点を特定する情報とCPU6の手振れ角算出部6Bにより算出した水平及び垂直方向の手振れ角とを対応付けて記憶しておく。
そして、CPU6の取り込み基準時決定部6Cは、外部操作系26にて受け付けた利用者の押し釦操作等によって静止画像取り込みの要求信号を受信したときに、CPU6の手振れ角算出部6Bにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる時点、又は記憶部24に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる時点を静止画像の取り込み基準時として決定する。
その後、静止画処理部25が、CPU6の取り込み基準時決定部6Cにより決定した取り込み基準時の直後の時点に対応する画像をカメラDSP部20又は、記憶部24から静止画像として取り込む。
これにより、静止画像の取り込みの要求信号を受信する以前の直近の手振れ角の絶対値がゼロ又は、最小となるタイミングを含んだ静止画像を取り込むことができ、より手振れ角の小さいタイミングの静止画像、即ち色収差により生じる像ズレが最も小さい静止画像を取り込むことができる。
なお、手振れ補正画像を記憶部24へ記憶する時間は、予め設定しておく必要があり、例えばこの記憶する時間を1秒と設定すると、利用者が外部操作系26の押し釦操作を行う1秒前から読み出された複数の手振れ補正画像が記憶部24に記憶されることになる。そのためこの設定時間は、利用者に対し外部操作系26の押し釦操作を行ったときの画像と静止画として取り込んだ画像の違いに違和感を覚えさせない程度の長さに設定することが望ましい。
<変形例3>
本実施形態の静止画像取り込み装置では、手振れ角がゼロ又は最小となる直後に対応する画像をカメラDSP部20から直接的に静止画像として取り込むが、変形例3では、予め手振れ角がゼロとなる手振れ補正画像を記憶した記憶部24から静止画像を取り込むことを可能にする。
具体的には、静止画像取り込み装置は、記憶部24にCPU6の手振れ角算出部6Bにて算出した水平方向又は垂直方向の手振れ角がゼロである直後に読み出された手振れ補正画像と撮影時点を特定する情報とを対応付けて記憶しておく。
そして、CPU6の取り込み基準時決定部6Cは、静止画像取り込みの要求信号を受信したときに、手振れ角算出部6Bにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる時点、又は記憶部24に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の時点を静止画像の取り込み基準時として決定する。
その後、静止画処理部25が、取り込み基準時決定部6Cにより決定した取り込み基準時の直後の時点に対応する手振れ角がゼロである時点を含んで蓄積され読み出された手振れ補正画像をデジタル処理部20又は、記憶部24から静止画像として取り込む。
これにより、静止画像の取り込みの要求信号を受信する以前に手振れ角がゼロとなる場合においても、そのタイミングを含んで蓄積され読み出された静止画像を取り込むことができ、より手振れ角の小さいタイミングの静止画像、即ち色収差により生じる像ズレが最も小さい静止画像を取り込むことができる。
<変形例4>
本実施形態の静止画像取り込み装置では、水平方向又は垂直方向の手振れ角のうち、予め定めたいずれか一方がゼロ又は最小となる直後に対応する画像を静止画像として取り込むが、変形例4では、水平又は垂直方向の手振れ角のうち、取り込み要求信号を受信した後、先にゼロ又は最小となる直後に読み出された画像を静止画像として取り込む。
具体的には、CPU6の手振れ角算出部6Bが、水平方向及び垂直方向の両方の手振れ角を算出し、CPU6の静止画像取り込み部6Cが、水平方向及び垂直方向の手振れ角のうち、先にゼロ、又は極小値となる手振れ角に対応する時点を静止画像の取り込み基準時として決定する。
図17は、水平方向及び垂直方向の手振れの位相差がゼロの場合の手振れ角曲線を示す。
図17から分かるように、水平方向及び垂直方向の手振れ角曲線は、可動プリズム10A,10Bの回転角に応じて独立に描くことができる。そして、CPU6の取り込み基準時決定部6Cは、水平方向及び垂直方向の手振れ角のうち、先にゼロ、又は極小値となる手振れ角に対応する時間を静止画像の取り込み基準時として決定する。
図17では、水平方向及び垂直方向の手振れに位相差が生じていないので、外部操作系26にて受け付けた利用者の押し釦操作等によって静止画像取り込みの要求信号を受信した時点が、図17中のT2であるとすると、水平方向及び垂直方向の手振れ角がゼロとなるのは共にT5時である。そのため、図17に示す場合においては、水平方向、垂直方向のいずれを優先して取り込み基準時として決定しても同じ結果となる。
一方、水平方向、垂直方向の位相差が生じた場合は、いずれかを優先して取り込み基準時を決定することによって、より素早く手振れ角の小さいタイミングの静止画像、即ち色収差により生じる像ズレが最も小さい静止画像を取り込むことができる。
図18は、一例として図17に対し垂直方向の位相が45度マイナス方向にずれた場合の手振れ角曲線を示す。
図18から分かるように、外部操作系26にて受け付けた利用者の押し釦操作等によって静止画像取り込みの要求信号を受信した時点が、図18中のT2であるとすると、垂直方向の手振れ角がゼロとなるのはT4時であるのに対し、水平方向の手振れ角の絶対値が極小となるのはT5時である。この場合、水平方向又は垂直方向の手振れ角のうち、先にゼロ又は最小となるのは垂直方向であるから、垂直方向の手振れ角を優先し、垂直方向の手振れ角の絶対値がゼロとなった時点、つまりT4時を静止画像の取り込み基準時として決定する。
これにより、水平及び垂直方向のうち、カメラの手振れに応じて自動的にいずれか一方が設定されるため、より素早く手振れ角の小さいタイミングの静止画像、即ち色収差により生じる像ズレが最も小さい静止画像を取り込むことができる。
<変形例5>
本実施形態の静止画像取り込み装置では、手振れ角がゼロ又は最小となる直後に対応する画像をカメラDSP部20から直接的に静止画像として取り込むが、変形例5では、所定の時間を経過したとき、その直後を取り込み基準時として決定する。
具体的には、CPU6の取り込み基準時決定部6Cが、CPU6の手振れ角算出部6Bにより算出した手振れ角が予め定めた取り込み制限時間にゼロ、又は極小値とならない場合は、この取り込み制限時間経過時を静止画像の取り込み基準時として決定する。
図19は、手振れ角が予め定めた取り込み制限時間にゼロ、又は極小値とならない場合の手振れ角曲線を示した説明図である。
図19に示すPC1は静止画像取り込みの要求信号を受信したタイミング、PC2は静止画像の取り込み基準時、PC3は静止画像として取り込み時を示している。
図19では、PC1時にCPU6の取り込み基準時決定部6Cが、外部操作系26の利用者の操作による静止画像取り込みの要求信号を受信している。そこで、取り込み基準時決定部6Cは、手振れ角の絶対値がゼロ、又は極小値か否かを判断する。しかし、図19では、PC2時において、CPU6の手振れ角算出部6Bにより算出した手振れ角の絶対値がゼロ、又は極小値となることなく、取り込み制限時間を経過している。
そこで、取り込み基準時決定部6Cは、PC2時を静止画像の取り込み基準時として決定し、読み出しタイミングであるPC3時において、静止画処理部25が、カメラDSP部20から手振れ補正画像を静止画像として取り込む。
これにより、所定の時間内に手振れ角がゼロ、又は極小値とならない場合にも静止画像の取り込み基準時として決定でき、静止画像を取り込むことができる。
なお、この取り込み制限時間は、予め設定しておく必要があり、例えば取り込み制限時間を1秒に設定すると、利用者が釦操作した後の1秒間に手振れ角の絶対値がゼロ、又は極小値とならない場合は、利用者が釦操作した1秒後を静止画像の取り込み基準時として決定する。そのため、この取り込み制限時間は、利用者に対し外部操作系26の押し釦操作を行ったときの画像と静止画として取り込んだ画像の違いに違和感を覚えさせない程度の長さに設定することが望ましい。
<変形例6>
図1に示す本実施形態におけるビデオカメラ1では、レンズ系3は1つのブロックとして描いてあるが、複数枚のレンズ群として構成されていてもよい。図20は、図1におけるレンズ系3を示す図であり、図21は、図1に示す補正部2とレンズ系3とのその他の配置関係を示す図であり、図21(a)はレンズ系3内に補正部2を配置した図、図21(b)はレンズ系3の後方に補正部2を配置した図である。
レンズ系3は、第1〜第4レンズ群3a〜3dを備える。レンズ系3の後方には、図1では図示を省略したが、ノイズ(偽信号)を抑制する光学ローパスフィルタ16と、被写体像を結像するCCD部13が設けられる。
図1では、補正部2を図20に示すようにレンズ系3の前方に配置しているが、図21(a)に示すようにレンズ系3の内部に配置してもよく、また、図21(b)に示すようにレンズ系3の後方に配置してもよい。これにより、レンズ系3を通過中、又は通過後の光束の狭いところに補正部2を配置することになるので、補正部2を小型化することができる。
また、補正部2は、図3に示すように、固定プリズム9、可動プリズム10A,10Bを備える構成のものを説明したが、固定プリズム9を削除してもよく、また、固定プリズムを1枚追加した構成としてもよい。
図22は、補正部2のその他の構成として固定プリズムなしの補正部を示す図であり、図22(a)は正面図、図22(b)は平面図、図22(c)は側面図である。また、図23は、補正部2のその他の構成として固定プリズム2枚を備える補正部を示す図で、図23(a)は正面図、図23(b)は平面図、図23(c)は側面図である。
図23の場合は、初期状態における補正部2の入射角と出射角とが同一となるように各プリズムの位置を調整する。その他の動作は図22、図23のいずれの場合も上記実施の形態と同様であり、同様の効果が得られる。
なお、図22の場合、可動プリズム10A、10Bの2枚のみを備える構成としているので、図8(b)から分かるように、初期状態では像シフト角θだけ像がずれているが、これは画像揺れ補正とは直接の関係はない。
ただし、固定プリズム9を削除した図22の場合は図3、図23の場合に比べて色収差による像ズレが大きくなる。即ち、図3、図23の場合は、固定プリズム9により補正部2の入射角と出射角とが初期状態で同一となるように構成したが、これは画像揺れ補正時のプリズム作用による色収差の影響を最小限に抑え、色収差による像ズレ補正を低減するためである。
これに対して、図22の場合は固定プリズム9を削除していることから、入射角と出射角とが初期状態で同一とならない。そのため、図3、図23の場合に比べて色収差による像ズレが大きくなり、必要となる色収差による像ズレ補正量が大きくなる。その反面、図22に示す固定プリズムなしの構成では、補正部2の光軸方向の長さを短くして小型化することができる。
また、色収差による像ズレ補正量抑制と小型化双方の効果をバランス良く両立して得られる選択も可能である。色収差による像ズレ補正量が図22の場合ほど大きくなく、図3及び図23の場合より補正部2を小型にする、つまり図22の場合と図3及び図23の場合において色収差による像ズレ量が中間となるように、固定プリズム9のプリズム角を調整することも可能である。これにより、色収差による像ズレ補正の抑制と補正部2の小型化とのバランスを取ることができる。
また、図3、図22及び図23に示す実施形態における各プリズムを、単体にしてもよいし、複合プリズムにしてもよい。また、プリズム効果を有する平行板にしてもよい。図24は、本実施の形態に係るプリズムのその他の構成を示す図であり、図24(a)は単体プリズムを示す図、図24(b)は複合プリズムを示す図、図24(c)はプリズム効果を有する平行板を示す図である。
例えば、可動プリズム10Aを、図24(b)に示すような、微小角度を有する2枚のプリズム10Aa,10Abを貼り合わせた複合プリズムとしてもよい。複合プリズムにすると、プリズム単体の角度を大きくすることができ、単体プリズムでは難しい微小角のプリズムを容易に製作することができる。
また、図24(c)に示すように、屈折率Nが、例えば、N=1.5からN=1.4に変化し、プリズム効果を有する平行板17を各プリズムに替えて用いてもよい。プリズムは傾き角の生産管理が必要となるが、平行板17であれば容易に加工することができる。
<画像揺れ補正装置>
次に、画像揺れ補正装置の実施形態について説明する。本実施形態では、プリズムの色収差により生じる像ズレを非光学的に補正する画像揺れ補正装置を例に挙げて説明する。
図25は、本発明に係る画像揺れ補正装置の一実施形態を示したブロック図である。本発明の画像揺れ補正装置は、例えば周知のビデオカメラ51内に設けられる。
本実施形態の画像揺れ補正装置は、光軸51aを回転中心として独立的に回動可能な一対の可動プリズムと固定プリズムとを備える補正部52と、被写体を撮影するレンズ系53と、レンズ系53から入射した光を結像させ、結像させた被写体像を電気信号に変換するCCD部63と、CDS機能、AGC機能、及びA/D変換機能を備えた前処理用IC部69と、前処理用IC部69からの入力信号をRGBに色分離するRGB分離部70Aと信号の色収差による像ズレの補正処理を行う色収差補正部70Bを備えたカメラDSP部70と、補正部52内の一対の可動プリズムをそれぞれ光軸回りに回動させるアクチュエータ54A,54Bと、手振れ等によるビデオカメラ51の振れを検出して手振れ信号を出力する手振れ検出部55と、手振れ検出部55からの手振れ信号に応じて振れを打ち消すようにアクチュエータ54A,54Bを制御するように制御信号を送信する回動制御部56Aとセンサ58A,58Bで検出した可動プリズムの回動量から色収差によって発生する各色分離画像の位置座標の像ズレ量を算出する像ズレ量算出部56Bとを有するCPU56と、CPU56の回動制御部56Aからの制御信号に応じてアクチュエータ54A,54Bを駆動させるモータ駆動電子回路(MDE)57と、補正部52内の一対の可動プリズムの回転状態を検知するセンサ58A,58Bとを備える。
図26は、図25に示す画像揺れ補正装置の補正部52を示す概略図で、図26(a)は概略正面図、図26(b)は概略側面図である。図27は補正部52の構成図で、図27(a)は正面図、図27(b)は図26(a)に示すB方向から見た断面図、図27(c)は図26(a)に示すA方向から見た断面図である。図28は補正部52が備える固定プリズムの斜視図である。
図26に示すように、補正部52は、レンズ系53とこのレンズ系53の前面を覆うフード部51bとの間に配設されており、図27(a)〜(c)に示すように、補正部52は、固定して設置された固定プリズム59と、光軸を回転中心として回動可能な可動プリズム60A,60Bとを備えている。
固定プリズム59は、図28に示すように、光軸51aに対して垂直な面である第1の面59aと、第1の面59aに対して微小な角度の傾きを有して対向する平面である第2の面59bとを形成した、アクリル等よりなるプリズムである。可動プリズム60A,60Bも同様の形状、材質である。
図29は、補正部52が備えるアクチュエータとセンサの配置図であり、図29(a)は概略側面図、図29(b)は可動プリズム60Aのアクチュエータとセンサの配置図、図29(c)は可動プリズム60Bのアクチュエータとセンサの配置図である。
アクチュエータとセンサとは補正部52に取り付けられている。そして、図29(b),(c)に示すように、アクチュエータ54Aとセンサ58Aとは可動プリズム60A用であり、アクチュエータ54Bとセンサ58Bとは可動プリズム60B用である。
アクチュエータ54A,54BはCPU56の回動制御部56Aからの制御信号に応じて可動プリズム60A,60Bを回動させる。アクチュエータ54A,54Bは小型パルスモータ、小型リニアモータ、小型超音波モータ等により構成され、負荷トルクは小さい。
センサ58A,58Bは小型フォトインタラプタ、MR素子、ホール素子等により構成され、可動プリズム60A,60Bの回転状態を検出して回転状態の情報をCPU56の回動制御部56Aに出力する。
センサ58A,58Bとして小型フォトインタラプタを用いる場合には、パルスモータとの組で用い、可動プリズム60A,60Bの外周をマスキングし、そのマスキング上にそれぞれ穴60a,60bを設ける。穴60a,60bは、可動プリズム60A,60Bが初期位置になったときにセンサ58A,58Bの位置に来るように設ける。
小型フォトインタラプタは、赤外線発光ダイオードとフォトトランジスタとを備え、可動プリズム60A又は60Bが赤外線発光ダイオードとフォトトランジスタとの間に配置されるように設置する。
小型フォトインタラプタは、電源ON時に可動プリズム60A,60Bを回動させ、穴60a,60bを通過した赤外線発光ダイオードの光をフォトトランジスタで受光することにより原点位置を検出する。可動プリズム60A,60Bの回転状態の情報は、原点位置でのパルスをゼロとして回転時のパルス数をカウントすることにより得られる。
また、センサ58A,58BとしてMR素子又はホール素子を用いる場合には、穴60a,60bを設ける替わりに、可動プリズム60A,60Bにそれぞれ磁性体を取り付ける。
MR素子又はホール素子は、可動プリズム60A,60Bの回転と共に回転する磁性体による磁界の変化を検出することにより回転状態の情報を検出する。
本実施形態の画像揺れ補正装置では、手振れ検出部55で検出した振れを打ち消すように可動プリズム60A,60Bを回動させることより手振れによる画像揺れを補正し、この可動プリズム60A,60Bの回転角を検出し、検出した回転角から色収差によって発生する画像のズレを補正する。
そのため、以下に手振れ補正の処理について説明した後、色収差補正の処理について説
≪手触れ補正≫
本実施形態の画像揺れ補正装置では、手振れ検出部55で検出した振れを打ち消すように可動プリズム60A,60Bを回動させることより手振れによる画像揺れを補正する。
図30は、プリズムによる被写体像の移動を説明する図であり、図30(a)はプリズムによる光の屈折を説明する図、図30(b)は図30(a)においてプリズムを正面方向(a方向)から見た図である。図30(b)では図30(a)に示すプリズム61をαだけ回転させている。図30(a),(b)に示すように、入射した光はプリズム11によって屈折角i´で屈折され、被写体Aの像がA´にシフト(平行移動)する。
図30(a),30(b)において、“i”はプリズム11のプリズム角(光の入射角)、“L”はプリズム長、“δ”はプリズム高さ、“δ”は最も薄い部分のプリズム高さ、“i´”は光の屈折角、“N”は屈折率、“θ”は像シフト角(偏角)、“α”はプリズム回転角、“Lα”はプリズム回転量、“vectore”は像シフト方向の単位ベクトル、“vectorθ”は像シフトベクトルである。なお、添え字“vector”はベクトル量を表すものとする。なお、図30〜35においては、これらのベクトル量を添え字“vector”の代わりに太字で表している。
ここで、
vectorθ=θvectore (式32)
である。
図30(a)に示すように、プリズム角(入射角)iと屈折角i´と像シフト角(偏角)θとの間には、
θ=i´−i (式33)
が成り立つ。さらに、スネルの法則により、
sini´=Nsini (式34)
が成り立つ。
ここで、プリズム角iが小さいと仮定すると、(式33)は、
i´=Ni (式35)
と近似できるので、(式35)を(式33)に代入すると、
θ=(N−1)i (式36)
となる。
また、図30(b)より、プリズム回転量Lαとプリズム回転角αとの間には、
α=(L/2)α (式37)
つまり、
α=(2/L)Lα (式38)
が成り立つ。また、
δ=Ltani+δ (式39)
つまり、
L=(δ−δ)/tani (式40)
が成り立つ。
図31は、補正部52内の可動プリズム60A,60Bが回転していない場合(初期状態)の像シフトベクトルを示す図である。
図31において、vectorθvectorθvectorθはそれぞれ固定プリズム59、可動プリズム60A,60Bによる像シフトベクトルである。図31に示すように、vectorθvectorθの合成ベクトルをvectorθが打ち消すように固定プリズム59、可動プリズム60A,60Bの位置を設定する。これにより、固定プリズム59、可動プリズム60A,60Bの3枚で平行平板と等価となるため、補正部52の入射角と出射角とが同一となり、被写体の像は移動しない。
図32は、可動プリズム60A,60Bが回転した場合の被写体像の移動について説明する図であり、図32(a)は可動プリズムが回転した場合の像シフトベクトルを示す図、図32(b)は図32(a)に示す像シフトベクトルの変化量を取り出した図である。
図32(a)において、可動プリズム60A,60Bがそれぞれα,αだけ回転したときの像シフトベクトルをそれぞれvectorθ´,vectorθ´とする。なお、図32(a)に示す回転方向をα,αの正(+)の方向とする。
また、
vectorθvectorθ´−vectorθ (式41)
vectorθvectorθ´−vectorθ (式42)
とする。
すると、図32(b)に示すように、被写体Aの像がA´に平行移動することになる。このとき、その像シフトベクトルはvectorθvectorθの合成ベクトルvectorθとして、
vectorθ=vectorθvectorθ=(θ,θ) (式43)
となる。
このとき、図32(a),32(b)より、
θ=θsinα−θ(1−cosα) (式44)
θ=θsinα−θ(1−cosα) (式45)
が成り立つ。ここで、θvectorθのスカラーを表し、θvectorθのスカラーを表す。
ここで、α,αを成分とするベクトルvectorα=(α,α)を考える。(式44)及び(式45)をα,αについて解くと、
α=±cos−1(C/D)+α (式46)
α=±cos−1{[(θ+θ)−θsinα]/θ} (式47)
を得る。ここで、
C=[A+B+θ −θ ]/2θ (式48)
D=(A+B1/2 (式49)
α =±cos−1(A/D) (Bの符号を選択) (式50)
A=(θ+θ) (式51)
B=(θ+θ) (式52)
である。
ここで、αの符号が−の場合、αの符号はθの符号を選択し、αの符号が+の場合、αの符号は+を選択する。
図33は、被写体像(被写体)の平行移動の形態を示す図であり、図33(a)は被写体が第2象限に移動した図、図33(b)は被写体が第1象限に移動した図、図33(c)は被写体が第3象限に移動した図、図33(d)は被写体が第4象限に移動した図である。
被写体が第1象限に移動する場合は、図33(b)に示すように、θ>0,θ>0であるため、α>0,α>0である。また、被写体が第2象限に移動する場合は、図33(a)に示すように、θ<0,θ>0であるため、α<0,α>0である。また、被写体が第3象限に移動する場合は、図33(c)に示すように、θ<0,θ<0であるため、α<0,α<0である。また、被写体が第4象限に移動する場合は、図33(d)に示すように、θ>0,θ<0であるため、α>0,α<0である。
図34は、換算焦点距離とシフト量について説明する図であり、図34(a)は換算焦点距離を説明する図、図34(b)はシフト量を説明する図である。
図34(a)において、Sは被写体Aからレンズ系53の第1主点までの距離、fはレンズ系53の焦点距離である。このとき換算焦点距離fは、レンズ系53の第2主点から被写体像64Aを結像するCCD部63までの距離であり、
=f+S (式53)
=f/S (式54)
で表される。
次に、図34(b)に示すように、補正部52を挿入することによって被写体像64Aが被写体像64A´に移動し、その像シフト角をθとすると、シフト量Sは、
S=ftanθ (式55)
で表される。
図35は、手振れ補正について説明する図であり、図35(a)は手振れによる被写体像の移動を説明する図、図35(b)は手振れによる被写体像の移動に対する手振れ補正を説明する図である。
図35(a)に示すように、ビデオカメラ等の本体に対しレンズ系53が上方向に回転(図35の時計回り方向に回転)すると、被写体Aは相対的に下方向に回転(図35の反時計回り方向に回転)することになる。このため、被写体像64Aが被写体像64A´にずれ、CCD部63からはみ出す。ここで、vectorθは手振れ角ベクトルであり、手振れ角をθ、手振れ方向の単位ベクトルをvector(=−vectore)とすると、
vectorθ=θ vector (式56)
である。
次に、図35(b)に示すように、レンズ系53の前方に補正部52を挿入すると、補正部52による像シフトベクトルvectorθと手振れ角ベクトルvectorθが手振れ補正条件
vectorθ=−vectorθ (式57)
を満たすとき、被写体像14A´が被写体像14Aの位置に移動して手振れが補正される。
次に、本実施形態の画像揺れ補正装置の動作を説明する。
センサ58A,58Bは、可動プリズム60A,60Bの回転状態を検出して回転状態の情報をCPU56の回動制御部56Aに出力する。
手振れ検出部55は手振れによるビデオカメラ51の振れを検出し、これを手振れ信号としてCPU56の回動制御部56Aに出力する。CPU56の回動制御部56Aではこの手振れ信号に基づいて、振れの大きさ及び方向を示す手振れ角ベクトルvectorθ
vectorθ=(θ ,θ ) (式58)
により計算する。ここで、(式57)より、
(θ,θ)=(−θ ,−θ ) (式59)
となる。
そして、CPU56の回動制御部56Aは、(式46)〜(式52)に基づいてベクトルvectorαを算出し、可動プリズム60A,60Bを回転角がα,αになるように制御信号をモータ駆動電子回路57に出力する。
モータ駆動電子回路57は、CPU56の回動制御部56Aからの制御信号に応じてアクチュエータ54A,54Bを駆動させ、アクチュエータ54A,54Bは、可動プリズム60A,60Bを回転角がα,αになるように回動させる。
このように本実施形態の画像揺れ補正装置は、手振れ検出部55で検出した振れを打ち消すように可動プリズム60A,60Bを回動させることより手振れによる画像揺れを補正する。
≪色収差による像ズレ補正≫
次に、上記のようにして手振れ補正された被写体像の色収差よる像ズレ補正について、以下に説明する。
上記のように可動プリズム60A,60Bを回動させることにより手振れによる画像揺れを補正することができるが、プリズムによる光学屈折率を利用して画像揺れ補正を行うので、光の波長ごとに異なる光学屈折率により被写体像に色収差が発生する。
図36は、プリズムが光軸上にない場合に、プリズムを介さずに、黒地に白で「A」の文字をRGBの各カラーフィルターを備えた撮像素子により撮像した像を示し、図37は、プリズムが光軸上に配置した場合に、黒地に白で「A」の文字を撮像素子によりプリズムを介して撮像した像を示す。ただし、図面上白黒反転させている。
図36の場合、像は白で「A」がはっきり見えるのに対し、図37の場合、プリズムにより光が屈折する際、光の波長によって屈折率が異なるため、R、G、Bの3種類の像がずれて現れる。これが色収差による像ズレである。
このように、プリズムによって生じる色収差は、一般のレンズのように光軸を中心に放射状に発生するのではなく、一方向に色収差が発生するため、非光学的にこの色収差による像ズレを補正することが可能となる。
そこで、本実施形態の画像揺れ装置は、以下に示す非光学的に補正処理を行うことによって、色収差による像ズレを補正する。
具体的には、画像揺れ装置は、画像揺れ補正した画像を色ごとに分離し、色収差によって発生する各色分離画像の位置座標の像ズレ量をセンサ58A及び58Bによって検出した可動プリズム60A,60Bの回転角α10,α20から算出し、算出した像ズレ量をなくすように補正する。
次に、図25に示す本実施形態の画像揺れ装置のうち、色収差による像ズレ補正を行う箇所について説明する。
図25に示すように、上述のように手振れ補正された被写体像は、レンズ系53によりCCD部63の光電変換面(図示しない)に結像される。CCD部63の光電変換面の前にはフィルター(図示しない)を配置しており、CCD部63は光電変換面で被写体像を電気信号に変換する。
電気信号に変換された被写体像の信号は前処理用IC部69へ入力される。前処理用IC部69は、CDS、AGC、A/D変換機能を有しており、CDS機能により信号のノイズを除去し、AGC機能により信号を増幅し、A/D変換を行う。
カメラDSP部70のRGB分離部70Aは、前処理用IC部69からの入力された被写体像の信号をR(赤色)、G(緑色)、B(青色)に色分離する。そしてカメラDSP部70の色収差補正部70Bは、CPU56の像ズレ量算出部56Bにより算出した像ズレ量に基づいて、RGBに色分離した信号の色収差による像ズレ補正を行う。
次に、この色収差による像ズレ補正処理について、以下に説明する。
図38に本実施形態の画像揺れ装置における色収差による像ズレを補正する処理フローを示す。
まず、CPU56の像ズレ量算出部56Bは、センサ58A及び58Bによって検出した可動プリズム60A,60Bの回転角α10,α20を受信し、テーブル又は計算等により回転角を算出する(ステップS701)。
次に、CPU56の像ズレ量算出部56Bは、可動プリズム60AのR、G、B出力ごとの像シフト角θaR、θaG、θaBを、それぞれ、
θaR=−(1−NaR)i (式60)
θaG=−(1−NaG)i (式61)
θaB=−(1−NaB)i (式62)
により算出する(ステップS703)。ここで、NaR、NaG、NaBはR、G、B出力ごとの可動プリズム60Aの屈折率、iを可動プリズム60Aの頂角を表す。
同様に、NbR、NbG、NbBをR、G、B出力ごとの可動プリズム60Bの屈折率、iを可動プリズム10Bの頂角とすると、可動プリズム60BについてのR、G、B出力ごとの像シフト角θbR、θbG、θbGは、それぞれ、
θbR=−(1−NbR)i (式63)
θbG=−(1−NbG)i (式64)
θbB=−(1−NbB)i (式65)
により算出される。
次に、CPU56の像ズレ量算出部56Bは、ステップS701で受信した可動プリズム60A,60Bの回転角α10,α20と、ステップS703で算出したR出力の像シフト角とから可動プリズム60A、60Bを合わせた複合プリズムとして、R出力の像シフト角のx、y成分(θxR,θyR)を、
θxR=θaRsinα10−(1−cosα20)θbR (式66)
θyR=θbRsinα20−(1−cosα10)θaR (式67)
により算出する(ステップS705)。
同様に、G,B出力の像シフト角のx、y成分(θxG,θyB)、(θxB,θyB)についても、(式66),(式67)を用いて算出する。
次に、CPU56の像ズレ量算出部56Bは、ステップS705で算出したR出力の像シフト角のx、y成分(θxR,θyR)から像シフト量のx、y成分(SxR,SyR)を、
xR=f*tanθxR (式68)
yR=f*tanθyR (式69)
により算出する(ステップS707)。
同様に、G,B出力の像シフト量のx、y成分(SxG,SyG)、(SxB,SyB)ついても、(式68)、(式69)を用いて算出する。
ここで、本実施形態の画像揺れ装置においては、G出力を相対的な基準として、R、B出力をG出力の位置に補正する処理を行う。
そのため、CPU56の像ズレ量算出部56Bは、ステップS707で算出した像シフト量のx、y成分からGの像シフト量を基準としてR、Bの像シフト量がどの程度ずれて
ΔS=(SxR−SxG,SyR−SyG) (式70)
ΔS=(SxB−SxG,SyB−SyG) (式71)
により算出する(ステップS709)。
次に、色収差補正部70Bは、像ズレ量算出部56BによりステップS709で算出した像ズレ量ΔS、ΔSをなくすように色分離画像を補正する。具体的には、R出力について、像ズレ量ΔSの成分を(ΔSxR,ΔSyR)とすると、色収差補正前のR出力の位置座標(SxR,SyR)から(ΔSxR,ΔSyR)と分だけ差し引いた値を補正後のRの位置座標として新たに上書きすることで、補正を行う。即ち、補正後のR、B出力の位置座標を(newSxR,newSyR)、(newSxB,newSyB)とすると、これらの座標は、
(newSxR,newSyR)=(SxR−ΔSxR,SyR−ΔSyR) (式72)
(newSxB,newSyB)=(SxB−ΔSxB,SyB−ΔSyB) (式73)
と表される。
これにより色収差補正部70Bは、R、B出力の位置座標を決定し、R、Bの位置を相対的に補正することで、色収差により発生する像ズレを補正でき、利用者は撮影した画像をより鮮明に視認することができる。
位置の補正は、DSP70内に設けた第1のメモリ部に、まず、画像を記憶し、次に第2のメモリ部に補正を加えることにより行う。また、R、G、Bの各信号をディレイさせることにより補正することもできる。
≪本実施形態の変形例≫
<変形例1>
本実施形態の画像揺れ補正装置では、色収差によって発生するRGB出力画像の像ズレ量を算出し、撮像素子の素子ごとにリアルタイムに像ズレをなくすように補正を行うが、回路を簡素化するため、変形例1では、この色収差による像ズレ補正を画面単位で行うことを特徴とする。
例えば、可動プリズム60A,60Bの回転角α10、α20は時間ごとに変化するので、ある一定時間ごとに画面単位で色収差による像ズレ補正を行う。このとき可動プリズム60A,60Bの回転角α10,α20は一定時間内の平均値を用いる。
これにより、例えば手振れ周期が8Hzで画面周波数が60Hzである場合、画面周波数は手振れ周期より十分大きいので、色収差による像ズレ補正に対して、誤差は小さく十分な補正効果を得ることができる。
<変形例2>
本実施形態の画像揺れ補正装置では、可動プリズム60A,60Bの回転角α10,α20から色収差によって発生するRGB出力画像の位置座標の像ズレ量ΔS、ΔSを算出し、算出した像ズレ量をなくすように補正を行ったが、実際には、装置誤差等の影響により算出した像ズレ量と実際の像ズレ量との間に誤差が生じることがある。
そこで、変形例2では、装置誤差等を加味して像ズレ量を決定する。
具体的には、誤差を加味した像ズレ量をΔSRk、ΔSBkとすると、この誤差を加味した像ズレ量と算出した像ズレ量ΔS、ΔSとの間の誤差を吸収する誤差補正係数K、Kを設定する。この誤差補正係数K、Kは、実写テストを行った実験データ等を基に算出される。そして、この誤差補正係数K、Kを用いて、算出した像ズレ量ΔS、ΔSの代わりに
ΔSRk=K*ΔS (式74)
ΔSBk=K*ΔS (式75)
を用いて算出した新たな像ズレ量ΔSRk、ΔSBkにより色収差補正を行う。
さらに、この誤差補正係数K、Kを可変とし、利用者が入力したK、Kによって新たな像ズレ量ΔSRk、ΔSBkを算出し、これにより色収差補正を行うようにしてもよい。
<変形例3>
本実施形態の画像揺れ補正装置では、可動プリズム60A,60Bの回転角α10,α20から色収差によって発生するRGB出力画像の位置座標の像ズレ量を算出し、算出した像ズレ量をなくすように補正を行うため、図39に示すように画面の周囲部分にはR、G、B出力の一部しか出力されない領域が生じることになる。
そのため、カメラDSP部70の色収差補正部70Bは、R、G、Bの全てが出力されている共通領域を切り出し、共通領域の画像の寸法が画面に出力する際必要な大きさに満たない場合は、共通領域の画像を出力画面の大きさに拡大し、共通領域以外の部分のデータを削除する。
また、カメラDSP部70の色収差補正部70Bは、R、G、Bの全てが出力されている共通領域を切り出し、その他の領域については、R、G、B出力のうち出力されている少なくとも1つの出力から白黒画面を生成し、この白黒画面で共通領域の周辺画面を補完するようにしてもよい。
これらの方法によれば、補正量が小さく、共通領域の画像の寸法が画面に出力する際、必要な大きさを超えている場合に有効である。
<変形例4>
本実施形態の画像揺れ補正装置では、図25に示すCCD部63のように、1枚のCCD受光部をもつ単板式を例に挙げているので、カメラDSP部70のRGB分離部70Aにおいて、前処理用IC部69からの入力された被写体像の信号をR、G、B出力信号に色分離する必要があった。
そこで、変形例4では、R、G、B各々専用のCCD部を用いて色分離を行う3板式を採用する。
図40は、このような3板式を採用する変形例4を示したブロック図である。
図40の3板式の画像揺れ補正装置では、被写体像をレンズ系63によりR、G、Bの3つの光線に分離し、各々CCD部63R、CCD部63G、CCD部63Bの光電変換面に結像させる。光電変換面の前には他色の光線が入射されるのを防止するためR、G、Bの色フィルターが配置されている(図示しない)。そして、CCD部63R、CCD部63G、CCD部63Bの光電変換面で、結像させたR、G、B各々の被写体像を電気信号に変換する。さらに変換された電気信号は変換A/D変換部71R、71G、71B、画像メモリ72R、72G、72Bを経由して、カメラDSP部70の色収差補正部70Bに送信される。
カメラDSP部70の色収差補正部70Bは、CPU56の像ズレ量算出部56Bにより算出した像ズレ量に基づいて、色収差による像ズレ補正を行う。
また、色分離方式により色収差補正されたR、G、B出力から輝度信号を生成する場合と、R、G、B出力とは別に輝度信号を生成する場合がある。
そこで、R、G、B出力とは別に輝度信号を生成する場合、R、G、B出力の色収差補正を行った後、色補正を行ったR、G、B出力情報を輝度信号に加えることで、解像度の向上を図ることができる。
例えば、色収差補正されたR、G、B出力より輝度信号を生成し、元の輝度信号と一定比率で合成する。
<変形例5>
本実施形態の画像揺れ補正装置では、画像揺れ補正した画像の画像データを色ごとに分離し、センサ58A及び58Bによって検出した可動プリズム60A,60Bの回転角α10,α20から色収差によって発生するRGB出力画像の位置座標の像ズレ量を算出し、算出した像ズレ量をなくすように補正を行ったが、変形例5では、出力する画像から直接的に補正処理を行う。
具体的には、CPU56の像ズレ量算出部56Bが、RGB分離部70Aにより分離したRGB出力画像データを基に出力されるRGB出力画像を重ね合わせ、重ね合わせたRGB出力画像を上下左右1画素ずつずらし、画素ごとの出力値の差分を合計し、合計した差分値合計を最小とするRGB出力画像の位置を決定し、決定した位置に基づいて色収差補正部70Bが像ズレ補正を行う。
図41(a)は、画素配列のアドレスを示している。1から5の四角形で表現した1つ1つの画素が水平垂直の2次元に配列されおり、図中画素(m,n)はmラインのn番目のアドレスを示している。
図41(b)に色収差による像ズレがない場合の画像の一部を拡大した図を、図41(c)にこの場合の信号出力を示す。
図41(b)に示すように、色収差による像ズレがない場合は、全画素共にR、G、B出力値が一致している。
次に、図42の色収差補正処理フローに従って、色収差補正の処理手順について説明する。
まず、CPU56の像ズレ量算出部56Bは、G出力画像を基準としてR、B出力画像を画面に向かって左右方向へ1画素ずつずらし差分値合計を算出するため、R、B出力画像位置を基準位置に設定する(ステップS801)。ここで、基準位置とは、色収差による像ズレ補正前のR、B出力画像の左右方向における位置を指す。
この左右方向の基準位置からR、B出力画像を左右方向へ1画素ずつずらし、R、B出力画像両端までの差分値合計を算出することによって、後述する上下方向にR、B出力画像を1画素ずつずらした場合にも、その上下位置で、左右方向の全ての差分値合計を算出することができる。
即ち、ステップS801からS819までの上下方向へずらした場合の差分値合計を算出するループ処理で囲まれたステップS803からS817までの左右方向へずらした場合の差分値合計を算出するループ処理を行うことで、R、B出力画像を上下左右両端まで移動したときの全ての差分値合計を算出できる。
次にCPU56の像ズレ量算出部56Bは、差分値合計を算出するラインを設定する(ステップS803)。設定するラインは、固定ラインとしてもよいし、利用者が任意のラインを設定可能なようにしてもよい。
次にCPU56の像ズレ量算出部56Bは、ステップS805からステップS809において差分値合計を算出する。
この処理について、図43に示す具体例に基づいて説明する。
図43(a)は、色収差による像ズレがある場合の白色の短形被写体画像の一部を拡大した図を示す。
図43(b)から図43(d)は、R、G、B各々の出力画像を示す。図43(c)に示すG出力画像を基準とすると、色収差によって、図43(b)に示すR出力画像は左方向に2画素ずつずれ、図43(d)に示すB出力画像は右方向に2画素ずつずれている。
図43(e)から図43(h)までの図は、各々図43(a)から図43(d)に対応する信号出力を示している。
このように、色収差による像ズレが発生している場合、図43(a)に示す中央部分である座標(5,4)から座標(6,7)で囲む領域のみがR、G、B出力共に出力されており、その他の領域については、例えば、座標(3,4)から座標(4,7)で囲む領域のように、R、G、B出力の一部しか出力されていない。
そこで、CPU56の像ズレ量算出部56Bは、このR、G、B出力の一部しか出力されていない領域の数に相当する差分値合計を算出する(ステップS805〜S809)。
そのため、まずCPU56の像ズレ量算出部56Bは、R出力とG出力のうち、いずれか一方が出力されている部分であるRG差分値を算出する(ステップS805)。
図44(a)に、R、G、B出力画像の差分を示す図を、図44(b)に、R、G出力画像の差分を示す図を、図44(c)に、G、B出力画像の差分を示す図を示す。
CPU56の像ズレ量算出部56Bは、図44(b)から分かるように、1ライン当りのRG差分値を、“4”画素として算出する。
次に、CPU56の像ズレ量算出部56Bは、B出力画像とG出力画像のうち、いずれか一方が出力されている部分であるBG差分値を算出する(ステップS807)。具体的には、図44(c)に示すように、B出力とG出力のうち、いずれか一方が出力されている部分をBG差分値とすると、1ライン当りのBG差分値は、“4”画素となる。
そして、CPU56の像ズレ量算出部56Bは、ステップS805で求めた1ライン当りのRG差分値と、ステップS805で求めた1ライン当りのBG差分値の合計を1ライン当りの差分値合計として算出する(ステップS809)。
図44(a)では、CPU56の像ズレ量算出部56Bは、1ライン当りの差分値合計を、4+4=“8”画素として算出する。
次にCPU56の像ズレ量算出部56Bは、記憶部74から差分値合計を読み出す(ステップS811)。
このとき、読み出した差分値合計がnull値であるか、または読み出した差分値合計がnull値ではなく、かつステップS809で算出した差分値合計の値が読み出した差分値合計の値がより小さい場合は、ステップS809で算出した差分値合計を記憶部74へ記憶する(ステップS813、S815)。
これにより差分値合計の最小値を求めることができる。
次に、CPU56の像ズレ量算出部56Bは、G出力の画像を基準とし、R出力画像を右方向へ1画素ずらし、B出力画像を左方向へ1画素ずらす(ステップS817)。
図45(a)及び図45(b)は、R、B出力画像を左右へ1画素ずつずらしたときのR、B各々の出力画像を示し、図45(c)及び図45(d)は、各々図45(a)及び図45(b)に対応する信号出力を示す。
また、図46(a)は、R、B出力画像を左右へ1画素ずつずらしたときのR、G、B出力画像の差分を示す図を、図46(b)は、R、G出力画像の差分を示し、図46(c)は、G、B出力画像の差分を示す。
CPU56の像ズレ量算出部56Bは、図45(a)及び図45(b)のようにR、B出力画像を左右へ1画素ずつずらした後、図46(a)、図46(b)、図46(c)から差分値合計を算出する(ステップS805〜S809)。
CPU56の像ズレ量算出部56Bは、図46(b)から分かるように、1ライン当りのRG差分値を、“2”画素として算出する(ステップS805)。
次に、CPU56の像ズレ量算出部56Bは、図46(c)から分かるように、1ライン当りのBG差分値を、“2”画素として算出する(ステップS807)。
そして、CPU56の像ズレ量算出部56Bは、ステップS805で求めた1ライン当りのRG差分値と、ステップS807で求めた1ライン当りのBG差分値とを合計する。図46(a)の例では、1ライン当りの差分値合計は、2+2=“4”画素となる(ステップS809)。
そして、CPU56の像ズレ量算出部56Bは、算出した差分値合計とメモリから読み出した差分値合計とを比較する(ステップS813)。図46(a)の場合、算出した差分値合計“4”画素は、記憶部74から読み出した差分値合計“8”画素より小さいので、算出した差分値合計“4”画素を記憶部74へ上書きする(ステップS815)。
このようにして、CPU56の像ズレ量算出部56Bが、R、B、G出力画像を左右1画素ずつずらし、画素ごとの出力値の差分を合計する。
さらに、CPU56の像ズレ量算出部56Bは、R、G、B出力画像の位置が左右両端に達したとき、R、B、G出力画像を上下1画素ずつずらした後、同様にR、B、G出力画像を左右両端まで1画素ずつずらし、画素ごとの出力値の差分を合計する。
このようにして差分値合計を算出することで、R、B出力画像を上下左右両端まで移動させたときの全ての差分値合計を算出し、その最小値を求めることができる。
そして、CPU56の像ズレ量算出部56Bは、R、B出力画像を上下左右両端まで移動させたときに、記憶部74に記憶されている差分値合計を最小値として、その差分値合計の最小値に対応するR、B出力画像の位置を決定し(ステップS821、S823)、決定した位置に基づいて色収差補正部70Bが色収差による像ズレ補正を行う。
以上のように、出力する画像から直接的に色収差による像ズレ補正を行うことで、利用者は撮影した画像をより鮮明に視認することができる。
<変形例6>
図25に示す本実施形態の画像揺れ補正装置では、レンズ系53は1つのブロックとして描いてあるが、実際には複数枚のレンズ群として構成されている。
図47は図25におけるレンズ系53を示す図である。図48は、図25に示す補正部52とレンズ系53とのその他の配置関係を示す図であり、図48(a)はレンズ系内に補正部を配置した図、図48(b)はレンズ系の後方に補正部を配置した図である。
レンズ系53は、第1〜第4レンズ群53a〜53dを備える。レンズ系53の後方には、図25では図示を省略したが、ノイズ(偽信号)を抑制する光学ローパスフィルタ66と、被写体像を結像するCCD部63が設けられる。
図25では、補正部52を図47に示すようにレンズ系53の前方に配置しているが、図48(a)に示すようにレンズ系3の内部に配置してもよく、また、図48(b)に示すようにレンズ系53の後方に配置してもよい。これにより、レンズ系53を通過する光束の狭いところに補正部52を配置することになるので、補正部52を小型化することができる。
また、本実施形態の画像揺れ装置では、補正部52は、図27に示すように、固定プリズム59、可動プリズム60A,60Bを備える構成であったが、固定プリズム59を削除してもよく、また、固定プリズムを1枚追加した構成としてもよい。
図49は、補正部52のその他の構成として固定プリズムなしの補正部を示す図であり、図49(a)は正面図、図49(b)は平面図、図49(c)は側面図である。また、図50は、補正部52のその他の構成として固定プリズム2枚を備える補正部を示す図で、図50(a)は正面図、図50(b)は平面図、図50(c)は側面図である。
図50の場合は、初期状態における補正部52の入射角と出射角とが同一となるように各プリズムの位置を調整する。その他の動作は図49、図50のいずれの場合も上記実施の形態と同様であり、同様の効果が得られる。
なお、図49の場合、可動プリズム60A、60Bの2枚のみを備える構成としているので、図32(b)から分かるように、初期状態では像シフト角θだけ像がずれているが、これは画像揺れ補正とは直接の関係はない。
ただし、図49の場合は図27、図50の場合に比べて色収差による像ズレが大きくなる。図27、図50の場合は、固定プリズム59により補正部52の入射角と出射角とが初期状態で同一となるように構成したが、これは画像揺れ補正時のプリズム作用による色収差の影響を最小限に抑え、色収差による像ズレ補正を低減するためである。これに対して、図49の場合は固定プリズム59を削除していることから、入射角と出射角とが初期状態で同一とならない。そのため、図27、図50の場合に比べて色収差による像ズレが大きくなり、色収差による像ズレ補正量が大きくなる。その反面、図49に示す固定プリズムなしの構成では、補正部52の光軸方向の長さを短くして小型化することができる。
また、色収差による像ズレ補正量抑制と小型化の中間を選択することも可能である。色収差による像ズレ補正量が図49の場合ほど大きくなく、図27及び図50の場合より補正部2を小型にする、つまり図49の場合と図27及び図50の場合において色収差による像ズレ量が中間となるように、固定プリズム59のプリズム角を調整することも可能である。これにより、色収差による像ズレ補正の抑制と補正部52の小型化とのバランスを取ることができる。
また、図27、図49及び図50に示す実施形態における各プリズムを、単体にしてもよいし、複合プリズムにしてもよい。また、プリズム効果を有する平行板にしてもよい。図51は、本実施の形態に係るプリズムのその他の構成を示す図であり、図51(a)は単体プリズムを示す図、図51(b)は複合プリズムを示す図、図51(c)はプリズム効果を有する平行板を示す図である。
例えば、可動プリズム60Aを、図51(b)に示すような、微小角度を有する2枚のプリズム60Aa,60Abを貼り合わせた複合プリズムとしてもよい。複合プリズムにすると、プリズム単体の角度を大きくすることができ、単体プリズムでは難しい微小角のプリズムを容易に製作することができる。
また、図51(c)に示すように、屈折率Nが、例えば、N=1.5からN=1.4に変化し、プリズム効果を有する平行板17を各プリズムに替えて用いてもよい。プリズムは傾き角の生産管理が必要となるが、平行板17であれば容易に加工することができる。
以上に説明したことから明らかなように、本発明の静止画像取り込み装置によれば、画像の揺れを補正し撮影した画像の中から静止画像を取り込む際、色収差により生じる像ズレを最小限に抑えることができ、利用者に対して鮮明な静止画像を提供することができる。また、本発明の画像揺れ補正装置によれば、屈折素子の色収差により生じる像ズレを非光学的に補正でき、利用者は撮影した画像をより鮮明に視認することができる。

Claims (16)

  1. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
    前記撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
    前記振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
    前記手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
    前記制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
    静止画像の取り込みを要求する要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
    前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
    を備えたことを特徴とする静止画像取り込み装置。
  2. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
    前記振れ検出部により検出した振れから水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
    静止画像取り込みの要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
    前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
    を備えたことを特徴とする静止画像取り込み装置。
  3. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
    前記撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
    前記振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
    前記手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
    前記制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
    予め定めた所定の時間内に前記撮像素子から読み出された複数の手振れ補正画像と該複数の手振れ補正画像それぞれの撮影時期を特定する情報と前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角とを対応付けて記憶部に記憶する記憶手段と、
    静止画像取り込みの要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
    前記第2の時点を静止画像の取り込み基準時として決定した場合に、前記取り込み基準時決定手段により決定した取り込み基準時の直後、又は直前に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
    を備えたことを特徴とする静止画像取り込み装置。
  4. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み装置において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出部と、
    前記撮像素子に入射するまでの光路上に配置され、前記光を任意の方向に屈折させる光屈折手段と、
    前記振れ検出部で検出した振れを打ち消すように光屈折手段による前記光の屈折方向を制御する手振れ制御手段と、
    前記手振れ制御手段により制御される前記光屈折手段の制御量を検出する制御量検出手段と、
    前記制御量検出手段により検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出手段と、
    前記手振れ角算出手段にて算出した水平方向又は垂直方向の手振れ角がゼロである直後に前記撮像素子から読み出された手振れ補正画像と該複数の手振れ画像それぞれの撮影時期を特定する情報とを対応付けて記憶部に記憶する記憶手段と、
    静止画像取り込みの要求信号を受信したときに、前記手振れ角算出手段により算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定手段と、
    前記第2の時点を静止画像取り込み基準時として決定した場合に、前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理部と
    を備えたことを特徴とする静止画像取り込み装置。
  5. 前記取り込み基準時決定手段は、
    前記手振れ角算出手段により算出した水平又は垂直方向の手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角のうち、手振れ角の絶対値が先にゼロ、又は極小値となる手振れ角に対応する時点に基づき静止画像の取り込み基準時を決定する
    ことを特徴とする請求項1乃至4のいずれか1項記載の静止画像取り込み装置。
  6. 前記取り込み基準時決定手段は、
    前記手振れ角算出手段により算出した手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角が予め定めた取り込み制限時間内にゼロ、又は極小値にならない場合は、この取り込み制限時間経過時を静止画像の取り込み基準時として決定する
    ことを特徴とする請求項1乃至5のいずれか1項記載の静止画像取り込み装置。
  7. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを該揺れに対応した補正量で補正された手振れ補正画像から、静止画像を取り込む静止画像取り込み装置において、
    前記振れ補正量の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定手段と、
    前記取り込み基準時決定手段により決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理部と
    を備えたことを特徴とする静止画像取り込み装置。
  8. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
    前記撮像素子に入射するまでの光路上に配置された光屈折手段による前記光の屈折方向を前記振れ検出ステップで検出した振れを打ち消すように制御する手振れ制御ステップと、
    前記手振れ制御ステップにより制御される前記光屈折手段の制御量を検出する制御量検出ステップと、
    前記制御量検出ステップにより検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
    静止画像の取り込みを要求する要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定ステップと、
    前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理ステップと
    を有することを特徴とする静止画像取り込み方法。
  9. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
    前記振れ検出ステップにより検出した振れから水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
    静止画像取り込みの要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定ステップと、
    前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理ステップと
    を有することを特徴とする静止画像取り込み方法。
  10. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
    前記撮像素子に入射するまでの光路上に配置された光屈折手段による前記光の屈折方向を前記振れ検出ステップで検出した振れを打ち消すように制御する手振れ制御ステップと、
    前記手振れ制御ステップにより制御される前記光屈折手段の制御量を検出する制御量検出ステップと、
    前記制御量検出ステップにより検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
    予め定めた所定の時間内に前記撮像素子から読み出された複数の手振れ補正画像と該複数の手振れ補正画像それぞれの撮影時期を特定する情報と前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角とを対応付けて記憶部に記憶する記憶ステップと、
    静止画像取り込みの要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定ステップと、
    前記第2の時点を静止画像の取り込み基準時として決定した場合に、前記取り込み基準時決定ステップにより決定した取り込み基準時の直後、又は直前に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理ステップと
    を有することを特徴とする静止画像取り込み方法。
  11. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを補正し、補正した手振れ補正画像から静止画像を取り込む静止画像取り込み方法において、
    前記撮像装置に生じる水平又は垂直振れを検出する振れ検出ステップと、
    前記撮像素子に入射するまでの光路上に配置された光屈折手段による前記光の屈折方向を前記振れ検出ステップで検出した振れを打ち消すように制御する手振れ制御ステップと、
    前記手振れ制御ステップにより制御される前記光屈折手段の制御量を検出する制御量検出ステップと、
    前記制御量検出ステップにより検出した制御量から水平方向又は垂直方向の手振れ角を算出する手振れ角算出ステップと、
    前記手振れ角算出ステップにて算出した水平方向又は垂直方向の手振れ角がゼロである直後に前記撮像素子から読み出された手振れ補正画像と該複数の手振れ画像それぞれの撮影時期を特定する情報とを対応付けて記憶部に記憶する記憶ステップと、
    静止画像取り込みの要求信号を受信したときに、前記手振れ角算出ステップにより算出した水平方向又は垂直方向の手振れ角の絶対値がゼロ、若しくは極小値となる第1の時点、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角がゼロとなる最新の第2の時点を静止画像の取り込み基準時として決定する取り込み基準時決定ステップと
    前記第2の時点を静止画像取り込み基準時として決定した場合に、前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出されて前記記憶部に記憶された手振れ補正画像を静止画像として取り込む静止画処理ステップと
    を有することを特徴とする静止画像取り込み方法。
  12. 前記取り込み基準時決定ステップは、
    前記手振れ角算出ステップにより算出した水平又は垂直方向の手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角のうち、手振れ角の絶対値が先にゼロ、又は極小値となる手振れ角に対応する時点に基づき静止画像の取り込み基準時を決定することを特徴とする請求項8乃至11のいずれか1項記載の静止画像取り込み方法。
  13. 前記取り込み基準時決定ステップは、
    前記手振れ角算出ステップにより算出した手振れ角、又は前記記憶部に記憶された水平方向又は垂直方向の手振れ角が予め定めた取り込み制限時間内にゼロ、又は極小値にならない場合は、この取り込み制限時間経過時を静止画像の取り込み基準時として決定することを特徴とする請求項8乃至12のいずれか1項記載の静止画像取り込み方法。
  14. 光学レンズから入射した光による被写体像を撮像素子により電気信号へ変換して画像を得る撮像装置の振れに起因する前記画像の揺れを該揺れに対応した補正量で補正された手振れ補正画像から、静止画像を取り込む静止画像取り込み方法において、
    前記振れ補正量の絶対値がゼロ、又は極小値となる時点に基づき静止画像の取り込み基準時を決定する取り込み基準時決定ステップと、
    前記取り込み基準時決定ステップにより決定した取り込み基準時の直後に前記撮像素子から読み出された手振れ補正画像を静止画像として取り込む静止画処理ステップと
    を備えたことを特徴とする静止画像取り込み方法。
  15. 光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
    前記撮影機器に生じる振れを検出する振れ検出手段と、
    前記光学レンズの入射側に配置され、前記光学レンズに入射する光の屈折方向を変化させる一対の可動屈折素子と、
    前記可動屈折素子をそれぞれ光軸回りに回動させる2つの回動手段と、
    前記振れ検出手段で検出した振れを打ち消すように前記2つの回動手段を制御する回動制御手段と、
    前記可動屈折素子の回動量を検出する回動量検出手段と、
    前記得られた画像の画像データを3原色の画像に分離する色分離手段と、
    前記色分離手段によって分離した各色画像を回動に伴い出力する際、各色画像の出力位置の像ズレ量を前記回動量検出手段によって検出した回動量から算出する像ズレ量算出手段と、
    前記像ズレ量算出手段により前記各色画像間の相対的な像ズレを補正する色収差補正手段と
    を備えたことを特徴とする画像揺れ補正装置。
  16. 光学レンズから入射した撮像光を撮像素子により電気信号に変換して画像を得る撮影機器の撮影中の振れに起因する撮影画像の揺れを補正する画像揺れ補正装置において、
    前記得られた画像の画像データを3原色の画像に分離する色分離手段と、
    前記色分離手段により分離した各色画像を重ね合わせ、重ね合わせた色画像を上下左右1画素ずつずらし、画素ごとの出力値の差分を合計し、合計した差分値合計を最小とする各色画像の位置を決定する像ズレ量算出手段と、
    前記像ズレ量算出手段により決定した各色画像の位置に基づいて前記各色画像の出力位置を補正する色収差補正手段と
    を備えたことを特徴とする画像揺れ補正装置。
JP2008509715A 2006-03-22 2007-03-22 静止画像取り込み装置及び静止画像取り込み方法 Expired - Fee Related JP4893737B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008509715A JP4893737B2 (ja) 2006-03-22 2007-03-22 静止画像取り込み装置及び静止画像取り込み方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006079747 2006-03-22
JP2006079747 2006-03-22
JP2006094815 2006-03-30
JP2006094815 2006-03-30
JP2008509715A JP4893737B2 (ja) 2006-03-22 2007-03-22 静止画像取り込み装置及び静止画像取り込み方法
PCT/JP2007/055900 WO2007116636A1 (ja) 2006-03-22 2007-03-22 静止画像取り込み装置及び静止画像取り込み方法、並びに画像揺れ補正装置

Publications (2)

Publication Number Publication Date
JPWO2007116636A1 true JPWO2007116636A1 (ja) 2009-08-20
JP4893737B2 JP4893737B2 (ja) 2012-03-07

Family

ID=38580937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008509715A Expired - Fee Related JP4893737B2 (ja) 2006-03-22 2007-03-22 静止画像取り込み装置及び静止画像取り込み方法

Country Status (5)

Country Link
US (1) US8139149B2 (ja)
EP (1) EP2023610A4 (ja)
JP (1) JP4893737B2 (ja)
CN (1) CN101411180B (ja)
WO (1) WO2007116636A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114593672B (zh) * 2022-02-17 2023-06-23 阿尔法森紧固科技(常州)有限公司 一种铆钉紧固度检测装置及其使用方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8390724B2 (en) * 2009-11-05 2013-03-05 Panasonic Corporation Image capturing device and network camera system
CN102103301B (zh) * 2009-12-17 2014-03-05 深圳富泰宏精密工业有限公司 拍照装置及方法
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
JP5249377B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019145956A (ja) 2018-02-19 2019-08-29 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3135379B2 (ja) 1992-09-08 2001-02-13 キヤノン株式会社 像ブレ補正装置
JPH0832864A (ja) * 1994-07-12 1996-02-02 Canon Inc 撮像装置
JP3728608B2 (ja) 1995-04-28 2005-12-21 株式会社ニコン ブレ補正光学装置
JPH0951469A (ja) 1995-05-31 1997-02-18 Sony Corp 撮像装置及び画像揺れの補正方法
JP3548308B2 (ja) 1995-12-25 2004-07-28 キヤノン株式会社 撮像装置
US5790490A (en) * 1996-05-10 1998-08-04 Olympus Optical Co., Ltd. Anti-shake camera
JP4086332B2 (ja) 1996-07-26 2008-05-14 キヤノン株式会社 電子スチルカメラ
JP2000019576A (ja) * 1998-07-03 2000-01-21 Sony Corp 静止画撮像装置
US6930708B1 (en) * 1998-11-30 2005-08-16 Ricoh Company, Ltd. Apparatus and system for correction based upon detecting a camera shaking
JP2000338533A (ja) * 1999-05-28 2000-12-08 Olympus Optical Co Ltd 手ぶれ補正装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114593672B (zh) * 2022-02-17 2023-06-23 阿尔法森紧固科技(常州)有限公司 一种铆钉紧固度检测装置及其使用方法

Also Published As

Publication number Publication date
US8139149B2 (en) 2012-03-20
JP4893737B2 (ja) 2012-03-07
EP2023610A4 (en) 2010-09-22
US20100220200A1 (en) 2010-09-02
EP2023610A1 (en) 2009-02-11
CN101411180A (zh) 2009-04-15
CN101411180B (zh) 2011-05-18
WO2007116636A1 (ja) 2007-10-18

Similar Documents

Publication Publication Date Title
JP4893737B2 (ja) 静止画像取り込み装置及び静止画像取り込み方法
JP5012495B2 (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
JP4976310B2 (ja) 撮像装置
US8786676B2 (en) Imaging device for generating stereoscopic image
JP5157400B2 (ja) 撮像装置
JP2012226213A (ja) 撮像装置及びその制御方法
CN107534747B (zh) 拍摄元件以及拍摄装置
JP5217880B2 (ja) 撮像装置
JP5167783B2 (ja) 焦点検出装置および撮像装置
JP2008035282A (ja) 撮像装置と該撮像装置を備えた携帯機器
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
JPH0356924A (ja) 防振撮像装置
JP2017183992A (ja) 撮像素子、焦点検出装置および撮像装置
JP5634614B2 (ja) 撮像素子及び撮像装置
JPH09163215A (ja) 撮像装置
JPWO2007023718A1 (ja) 画像揺れ補正装置
KR20100085728A (ko) 촬영장치 및 이를 이용한 초점 검출 방법
JP5907668B2 (ja) 撮像装置及び撮像素子
JP5399627B2 (ja) 焦点検出装置、焦点調節装置および撮像装置
JP7397626B2 (ja) 撮像装置及びその制御方法
JP2016046774A (ja) 撮像装置
JP3495842B2 (ja) 撮像装置
JP5476702B2 (ja) 撮像素子および撮像装置
JPH0974512A (ja) 撮像装置
JP5691440B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

R150 Certificate of patent or registration of utility model

Ref document number: 4893737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees