JP5682291B2 - 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 - Google Patents

補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 Download PDF

Info

Publication number
JP5682291B2
JP5682291B2 JP2010282852A JP2010282852A JP5682291B2 JP 5682291 B2 JP5682291 B2 JP 5682291B2 JP 2010282852 A JP2010282852 A JP 2010282852A JP 2010282852 A JP2010282852 A JP 2010282852A JP 5682291 B2 JP5682291 B2 JP 5682291B2
Authority
JP
Japan
Prior art keywords
lens
correction value
unit
correction
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010282852A
Other languages
English (en)
Other versions
JP2012134609A (ja
Inventor
秀勇 高木
秀勇 高木
健志 後藤
健志 後藤
瀧口 雅史
雅史 瀧口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010282852A priority Critical patent/JP5682291B2/ja
Priority to US13/304,927 priority patent/US9077980B2/en
Priority to CN2011104149308A priority patent/CN102547354A/zh
Priority to EP11193169.7A priority patent/EP2466542B1/en
Publication of JP2012134609A publication Critical patent/JP2012134609A/ja
Application granted granted Critical
Publication of JP5682291B2 publication Critical patent/JP5682291B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法に関し、特に手ブレ補正に関連する演算を行う補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法に関する。
従来、撮像装置において手ブレ補正を行う技術は、光学式および電子式などに分類される。光学式の手ブレ補正は、撮像装置が、ジャイロセンサにより手ブレを検出し、手ブレを打ち消す方向にレンズを物理的に移動させるものである。電子式の手ブレ補正は、画像全体より狭い撮影可能領域のサイズを定めておき、撮像装置が最初に撮像した画像と2枚目以降に撮像した画像とを比較して、2枚目以降の画像における撮像可能領域をずらして手ブレを補正するものである。
ここで、近年、立体視可能な画像を撮像する複眼撮像装置が開発されているが、この複眼撮像装置において光学式の手ブレ補正を行う場合、複眼撮像装置は、右目用のレンズと左目用のレンズとを同じ距離だけ移動させる必要がある。各レンズの移動量が適切でないと、レンズの移動に伴う左目用の左側画像の量と右目用の右側画像の移動量との間にズレが生じ、立体視が困難となる。また、ユーザに不快感を与えてしまう。そこで、各レンズの防振性能を均等にして、各画像の間にズレが生じないようにする複眼撮像装置が提案されている(例えば、特許文献1参照。)。
この複眼撮像装置は、レンズLおよびRと、各レンズの位置を検出する2つの位置センサと、各レンズを移動させる2つのモータと、各モータに与える各目標値を補正する2つの補正回路とを備える。各モータは、目標値と位置センサが検出した位置とが一致するように各レンズを移動させる。各補正回路は、L側制御残差とR側制御残差とが一致するように目標値を補正する。L側制御残差は、一方のホールセンサが検出したレンズLの位置と目標値との間の差であり、R側制御残差は、他方のホールセンサが検出したレンズRの位置と目標値との間の差である。複眼撮像装置は、右側および左側においてホールセンサの検出位置と目標値との間の差分を一致させて各レンズの防振性能を均等にすることにより、画ズレの発生を防止している。
特開2010−109904号公報
しかしながら、上述の複眼撮像装置においても、レンズの移動に伴う左側画像の移動量と右側画像の移動量との間にズレが生じることがあった。上述の補正回路は、各位置センサの検出値において、実際のレンズの位置に対する誤差がないことを前提として、補正を行っている。しかし、位置センサの検出値は、正確でないことがある。例えば、位置センサの取り付け位置がずれていた場合、検出された位置は、その分だけ、ずれてしまう。取り付け位置が正確であっても、位置センサ自体の性能的限界により、検出値に誤差が生じることもある。
2つの位置センサの検出値に誤差があっても、それぞれの誤差の値が同一であれば、同じ誤差に基づいて各モータが各レンズを移動させるため、各画像の移動量のズレは生じない。ところが、実際には位置センサごとに性能や取り付け位置にばらつきがあり、位置センサごとに誤差の値が異なることが多い。このため、上述の複眼撮像装置において、各位置センサの誤差が異なる場合、左側画像の移動量と右側画像の移動量との間にズレが生じ、立体視が困難となるという問題があった。
本発明はこのような状況に鑑みてなされたものであり、2つの位置センサの検出値の誤差が異なる場合であっても、立体視が容易な画像を撮像する技術を提供することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、複数の位置を指示する複数の指示値に従って左側レンズが移動した場合に上記左側レンズにより結像された左側画像内の特徴点の基準点に対する相対位置を左側画素位置として上記指示値ごとに取得する左側画像処理部と、上記複数の指示値に従って右側レンズが移動した場合に上記右側レンズにより結像された右側画像内の特徴点の基準点に対する相対位置を右側画素位置として上記指示値ごとに取得する右側画像処理部と、上記複数の指示値に従って上記左側レンズが移動した場合に基準位置に対する上記左側レンズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出部と、上記複数の指示値に従って右側レンズが移動した場合に基準位置に対する上記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出部と、上記左側画素位置および上記左側レンズ検出位置に基づいて上記左側画素位置と上記左側レンズ検出位置との間の関係を示す特性を生成するとともに上記右側画素位置および上記右側レンズ検出位置に基づいて上記右側画素位置と上記右側レンズ検出位置との間の関係を示す特性を生成する特性生成部と、生成された上記特性における上記左側レンズ検出位置または上記右側レンズ検出位置の各々を補正対象位置として、上記補正対象位置に対応する上記左側画素位置および上記右側画素位置を結ぶ直線上の位置である調整位置を上記補正対象位置ごとに決定する調整位置決定部と、生成された上記特性において上記調整位置に対応する上記左側レンズ検出位置および上記右側レンズ検出位置と上記補正対象位置との間のそれぞれの差分である補正値を上記補正対象位置ごとに演算する補正値演算部とを具備する補正値演算装置、および、その制御方法である。これにより、補正対象位置ごとに、調整位置に対応する左側レンズ検出位置および右側レンズ検出位置と補正対象位置との間のそれぞれの差分を補正値として演算するという作用をもたらす。
また、この第1の側面において、上記調整位置決定部は、上記左側画素位置および上記右側画素位置の中間点を上記調整位置としてもよい。これにより、左側画素位置および右側画素位置の中間点から補正値を演算するという作用をもたらす。
また、この第1の側面において、上記調整位置決定部は、上記左側画素位置または上記右側画素位置を上記調整位置としてもよい。これにより、左側画素位置または右側画素位置から補正値を演算するという作用をもたらす。
また、この第1の側面において、上記調整位置決定部は、所定の直線と上記左側画素位置および上記右側画素位置を結ぶ直線との交点を上記調整位置としてもよい。これにより、所定の直線上の調整位置から補正値を演算するという作用をもたらす。
また、この第1の側面において、演算された上記補正値を上記補正対象位置ごとに記憶する補正値記憶部と、上記補正値の出力を指示する操作信号が入力され、かつ、いずれかの上記補正対象位置と一致する上記左側レンズ検出位置または上記右側レンズ検出位置が検出された場合に当該補正対象位置に対応する上記補正値を読み出して出力する補正値出力部とをさらに具備してもよい。これにより、補正対象位置に対応する補正値を出力するという作用をもたらす。
また、本発明の第2の側面は、左側レンズと、右側レンズと、複数の位置を指示する複数の指示値に従って上記左側レンズを移動させる左側レンズ駆動部と、上記複数の指示値に従って上記右側レンズを移動させる右側レンズ駆動部と、上記複数の指示値に従って左側レンズが移動した場合に上記左側レンズにより結像された左側画像内の特徴点の基準点に対する相対位置を左側画素位置として上記指示値ごとに取得する左側画像処理部と、上記複数の指示値に従って右側レンズが移動した場合に上記右側レンズにより結像された右側画像内の特徴点の基準点に対する相対位置を右側画素位置として上記指示値ごとに取得する右側画像処理部と、上記複数の指示値に従って左側レンズが移動した場合に基準位置に対する上記左側レンズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出部と、上記複数の指示値に従って右側レンズが移動した場合に基準位置に対する上記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出部と、上記左側画素位置および上記左側レンズ検出位置に基づいて上記左側画素位置と上記左側レンズ検出位置との間の関係を示す特性を生成するとともに上記右側画素位置および上記右側レンズ検出位置に基づいて上記右側画素位置と上記右側レンズ検出位置との間の関係を示す特性を生成する特性生成部と、生成された上記特性における上記左側レンズ検出位置または上記右側レンズ検出位置の各々を補正対象位置として、上記補正対象位置に対応する上記左側画素位置および上記右側画素位置を結ぶ直線上の位置である調整位置を上記補正対象位置ごとに演算する調整位置演算部と、生成された上記特性において上記調整位置に対応する上記左側レンズ検出位置および上記右側レンズ検出位置と前記補正対象位置との間のそれぞれの差分である補正値を前記補正対象位置ごとに決定する補正値決定部と演算された前記補正値を前記補正対象位置ごとに記憶する補正値記憶部と、前記補正値の出力を指示する操作信号が入力され、かつ、いずれかの前記補正対象位置と一致する前記左側レンズ検出位置または前記右側レンズ検出位置が検出された場合に当該補正対象位置に対応する前記補正値を読み出して出力する補正値出力部と、演算された前記補正値を前記指示値に加算して前記左側レンズ駆動部または前記右側レンズに出力する加算部とを具備する複眼撮像装置である。これにより、補正対象位置ごとに、調整位置に対応する左側レンズ検出位置および右側レンズ検出位置と補正対象位置との間のそれぞれの差分を補正値として演算するという作用をもたらす。
また、本発明の第3の側面は、左側レンズと、右側レンズと、複数の位置を指示する複数の指示値に従って上記左側レンズを移動させる左側レンズ駆動部と、上記複数の指示値に従って上記右側レンズを移動させる右側レンズ駆動部と、上記左側レンズにより結像された左側画像を撮像する左側画像処理部と、上記右側レンズにより結像された右側画像を撮像する右側画像処理部と、上記複数の指示値に従って左側レンズが移動した場合に基準位置に対する上記左側レンズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出部と、上記複数の指示値に従って右側レンズが移動した場合に基準位置に対する上記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出部と、補正値を補正対象位置ごとに記憶する補正値記憶部と、上記補正値の出力を指示する操作信号が入力され、かつ、いずれかの上記補正対象位置と一致する上記左側レンズ検出位置または上記右側レンズ検出位置が検出された場合に当該補正対象位置に対応する上記補正値を読み出して出力する補正値出力部と、演算された上記補正値を上記指示値に加算して上記左側レンズ駆動部または上記右側レンズに出力する加算部とを具備する複眼撮像装置である。これにより、補正対象位置に対応する補正値を加算して左側レンズ駆動部または右側レンズに出力するという作用をもたらす。
また、この第3の側面において、上記左側画像および上記右側画像において撮影可能領域のサイズを定めておき、当該撮影可能領域内に被写体が含まれるように上記左側画像および上記右側画像における上記撮影可能領域の位置を変更する手ブレ補正部をさらに具備してもよい。これにより、撮影可能領域内に被写体が含まれるように撮影可能領域の位置を変更するという作用をもたらす。
本発明によれば、2つの位置センサの検出値の誤差が異なる場合であっても、立体視が容易な画像を撮像するという優れた効果を奏し得る。
本発明の第1の実施の形態における複眼撮像装置の一構成例を示すブロック図である。 本発明の第1の実施の形態におけるレンズ位置指示部の一構成例を示すブロック図である。 本発明の第1の実施の形態における左側レンズ位置検出部の一構成例を示すブロック図である。 本発明の第1の実施の形態におけるホールセンサの一構成例を示す図である。 本発明の第1の実施の形態におけるセンサアンプにより調整されたホールセンサの出力電圧を示すグラフである。 本発明の第1の実施の形態におけるリニアライズされたホールセンサの出力電圧を示すグラフである。 本発明の第1の実施の形態における左側画像処理部の一構成例を示すブロック図である。 本発明の第1の実施の形態における補正値演算部の一構成例を示すブロック図である。 本発明の第1の実施の形態における左側画素位置をプロットしたグラフである。 本発明の第1の実施の形態における右側画素位置をプロットしたグラフである。 本発明の第1の実施の形態における左側画素位置および右側画素位置をプロットしたグラフである。 本発明の第1の実施の形態における各ホールセンサの特性を示すグラフである。 本発明の第1の実施の形態における補正値の一例である。 本発明の第1の実施の形態における複眼撮像装置の一構成例を示すブロック図である。 本発明の第1の実施の形態における調整処理の一例を示すフローチャートである。 本発明の第1の実施の形態の変形例における各ホールセンサの特性を示すグラフである。 本発明の第2の実施の形態における複眼撮像装置の一構成例を示すブロック図である。 本発明の第2の実施の形態における各ホールセンサの特性を示すグラフである。 本発明の第2の実施の形態における調整処理の一例を示すフローチャートである。 本発明の第3の実施の形態における複眼撮像装置の一構成例を示すブロック図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(中間値に基づいて補正する例)
2.第2の実施の形態(右側を左側に合わせて補正する例)
3.第3の実施の形態(電子式手ブレ補正をさらに行う例)
<1.第1の実施の形態>
[複眼撮像装置の構成例]
図1は、本発明の実施の形態における複眼撮像装置100の一構成例を示すブロック図である。複眼撮像装置100は、レンズ位置指示部110と、加算器120および150と、左側PIDサーボ130と、左側シフトレンズ140と、右側PIDサーボ160と、右側シフトレンズ170と、補正値演算装置200とを備える。補正値演算装置200は、左側レンズ位置検出部210と、左側画像処理部220と、右側画像処理部230と、右側レンズ位置検出部240と、補正値演算部250とを備える。
レンズ位置指示部110は、左側シフトレンズ140および右側シフトレンズ170の移動先の位置を指示するものである。レンズ位置指示部110は、複数の位置を指示する複数の指示値を生成して信号線501を介して加算器120および150と補正値演算部250とに出力する。それぞれの位置は、ピッチ軸上の座標とヨー軸上の座標とのうちの少なくも一方を含む。ここで、ピッチ軸は、左側シフトレンズ140および右側シフトレンズ170が露出した面を複眼撮像装置100の前面として左右方向に装置を貫通する軸である。ヨー軸は、複眼撮像装置100の上面から下面に向かって装置を貫通する軸である。そして、各指示値は、左側シフトレンズ140および右側シフトレンズ170の基準となる位置を原点とした座標を指示する。例えば、ピッチ軸においては、各シフトレンズの中心軸とピッチ軸とが交差する点の座標が、それぞれのシフトレンズの原点とされる。言い換えれば、指示値の示す位置は、基準位置に対する相対位置である。各位置の単位は、例えば、「μm」である。
また、レンズ位置指示部110は、操作信号を生成して信号線502を介して補正値演算装置200へ出力する。操作信号は、ユーザの操作に基づいて調整モードに移行するか否かを指示する信号である。調整モードは、指示値を補正するための補正値を補正値演算装置200が演算するモードである。
調整モードにおいては、指示値が出力されるたびに、所定の被写体が複眼撮像装置100により撮像される。この被写体は、特徴点を検出しやすいものが使用される。例えば、黒地に白い多角形を表示した試験用チャートが被写体として撮像され、この多角形の頂点が検出対象の特徴点とされる。この被写体が写った画像は、左側画像処理部220および右側画像処理部230により処理される。
加算器120は、指示値および補正値Cを加算するものである。加算器120は、レンズ位置指示部110から指示値を受け取り、補正値演算装置200から補正値Cを受け取る。補正値Cは、指示値を補正するための値である。補正値Cを導出するための演算方法については、後述する。加算器120は、指示値に補正値Cを加算して、その結果を目標値として左側PIDサーボ130へ出力する。
左側PIDサーボ130は、左側シフトレンズ140を目標値の示す位置に移動させるものである。左側PIDサーボ130は、加算器120から目標値を受け取り、左側レンズ位置検出部210が検出した左側シフトレンズ140の位置である左側レンズ検出位置を左側レンズ位置検出部210から受け取る。左側PIDサーボ130は、比例動作(Proportional Action:P動作)と、積分動作(Integral Action:I動作)と、微分動作(Derivative Action:D動作)の和を出力する。左側PIDサーボ130は、このPID制御により、左側レンズ検出位置が目標値となるように制御する。
左側シフトレンズ140は、左目用の画像を撮像素子に結像するレンズである。左側シフトレンズ140は、左側PIDサーボ130により、ピッチ軸およびヨー軸に沿って可動される。
加算器150は、指示値に補正値Cを加算するものである。補正値Cは、指示値を補正するための値である。補正値Cの導出するための演算方法については、後述する。加算器150は、指示値に補正値Cを加算して、その結果を目標値として右側PIDサーボ160へ出力する。
右側PIDサーボ160は、右側シフトレンズ170を目標値に移動させるものである。右側PIDサーボ160は、加算器150から目標値を受け取り、右側レンズ位置検出部240が検出した右側シフトレンズ170の位置である右側レンズ検出位置を右側レンズ位置検出部240から受け取る。右側PIDサーボ160は、比例動作と積分動作と微分動作との和を出力することにより、右側レンズ検出位置が目標値となるように制御する。
右側シフトレンズ170は、右目用の画像を撮像素子に結像するレンズである。右側シフトレンズ170は、右側PIDサーボ160により、ピッチ軸およびヨー軸に沿って、可動される。
左側レンズ位置検出部210は、左側シフトレンズ140の位置を検出するものである。左側レンズ位置検出部210は、ホールセンサなどの位置センサを使用して左側シフトレンズ140の位置を検出する。検出対象の位置は、左側シフトレンズ140の基準位置に対する相対位置である。左側レンズ位置検出部210は、検出した位置を左側レンズ検出位置として信号線513を介して左側PIDサーボ130および補正値演算部250に出力する。
この左側レンズ検出位置は、位置センサにより検出されている。しかし、前述したように位置センサの性能や取り付け位置のずれにより、左側レンズ検出位置には、実際の左側シフトレンズ140の位置に対する誤差が生じうる。
左側画像処理部220は、左側画素位置を取得するものである。左側画素位置とは、左側シフトレンズ140により結像された左側画像内の特徴点の位置である。特徴点は、例えば、各画像に写った被写体に対するエッジ検出処理により検出される。左側画像処理部220には、レンズ位置指示部110から複数の指示値が入力される。左側画像処理部220は、指示値が入力されるたびに左側画像を画像処理して左側画素位置を取得する。各左側画素位置の座標は、左側シフトレンズ140の基準位置に対応する特徴点の位置を基準点として、その基準点に対する相対座標である。左側画像処理部220は、取得した左側画素位置を補正値演算部250に信号線514を介して出力する。
ここで、特徴点は、左側画像において左側シフトレンズ140の移動に伴って変位する。このため、この特徴点の相対位置である左側画素位置から、左側シフトレンズ140の正確な位置が求められる。
右側画像処理部230は、右側画素位置を取得するものである。右側画素位置とは、右側シフトレンズ170により結像された右側画像内の特徴点の位置である。右側画像処理部230には、レンズ位置指示部110から複数の指示値が入力される。右側画像処理部230は、指示値が入力されるたびに右側画像を画像処理して右側画素位置を取得する。右側画像処理部230は、取得した右側画素位置を補正値演算部250に信号線515を介して出力する。
右側レンズ位置検出部240は、右側シフトレンズ170の位置を検出するものである。右側レンズ位置検出部240は、検出対象の位置は、右側シフトレンズ170の基準位置に対する相対位置である。右側レンズ位置検出部240は、検出した位置を右側レンズ検出位置として信号線516を介して右側PIDサーボ160および補正値演算部250に出力する。
補正値演算部250は、左側レンズ検出位置、左側画素位置、右側レンズ検出位置、および、右側画素位置に基づいて補正値を演算するものである。補正値演算部250は、左側レンズ位置検出部210、左側画像処理部220、右側画像処理部230、および、右側レンズ位置検出部240から左側レンズ検出位置、左側画素位置、右側レンズ検出位置、および、右側画素位置を受け取る。また、補正値演算部250は、レンズ位置指示部110から操作信号を受け取る。
操作信号が調整モードを指示する信号である場合、補正値演算部250は、右側レンズ検出位置および左側レンズ検出位置のいずれかを補正対象位置として、補正対象位置ごとに補正値CおよびCを演算する。補正値の演算方法については、後述する。補正値演算部250は、各補正値を補正対象位置ごとに記憶しておく。この調整モードにおける補正値の演算は、例えば、工場出荷前において、手ブレ補正における右側画像の移動量と左側画像の移動量との間のずれを軽減する目的で実行される。
操作信号が調整モードを指示する信号でない場合、補正値演算部250は、左側レンズ検出位置または右側レンズ検出位置が補正対象位置と一致するか否かを判断する。一致するのであれば、補正値演算部250は、その補正対象位置に対応する各補正値を読み出して加算器120および150に信号線511および512を介して出力する。
なお、左側シフトレンズ140は、特許請求の範囲に記載の左側レンズの一例である。右側シフトレンズ170は、特許請求の範囲に記載の右側レンズの一例である。左側PIDサーボ130は、特許請求の範囲に記載の左側レンズ駆動部の一例である。右側PIDサーボ160は、特許請求の範囲に記載の右側レンズ駆動部の一例である。
図2は、本発明の第1の実施の形態におけるレンズ位置指示部110の一構成例を示すブロック図である。レンズ位置指示部110は、ジャイロセンサ111、手ブレ補正値演算部112、調整指示値演算部113、操作部114、および、セレクタ115を備える。
ジャイロセンサ111は、複眼撮像装置100の角速度を検出するものである。ジャイロセンサ111は、検出した角速度を手ブレ補正値演算部112へ出力する。
手ブレ補正値演算部112は、手ブレを打ち消すための手ブレ補正値を演算するものである。手ブレ補正値演算部112は、ジャイロセンサ111により入力された角速度に基づいて手ブレを検出する。手ブレ補正値演算部112は、検出した手ブレを打ち消す方向に左側シフトレンズ140および右側シフトレンズ170を移動させるための手ブレ補正値を演算し、指示値としてセレクタ115に出力する。
調整指示値演算部113は、調整モードにおいて使用される指示値を演算するものである。調整指示値演算部113は、左側シフトレンズ140および右側シフトレンズ170の仕様に基づいて左側シフトレンズ140および右側シフトレンズ170の可動範囲内の複数の位置を指示する複数の指示値を演算する。調整指示値演算部113は、演算した各指示値をセレクタ115へ出力する。
操作部114は、ユーザの操作に従って操作信号を生成するものである。操作部114は、生成した操作信号をセレクタ115および補正値演算装置200へ出力する。
セレクタ115は、調整指示値演算部113からの指示値と手ブレ補正値演算部112からの指示値とのうちのいずれかを操作信号に基づいて選択するものである。操作信号が調整モードを指示する信号である場合、セレクタ115は、調整指示値演算部113からの指示値を選択する。操作信号が調整モードを指示する信号でない場合、セレクタ115は、手ブレ補正値演算部112からの指示値を選択する。セレクタ115は、選択した指示値を加算器120および150と補正値演算装置200とに出力する。
図3は、左側レンズ位置検出部210の一構成例を示すブロック図である。左側レンズ位置検出部210は、ホールセンサ211、センサアンプ212、A/Dコンバータ213、および、リニアライザ214を備える。右側レンズ位置検出部240の構成は、左側レンズ位置検出部210の構成と同様である。
ホールセンサ211は、ホール効果を利用して左側シフトレンズ140の位置を検出するものである。このホールセンサ211によって検出されたレンズ位置を示す電気信号の電圧は、測定値としてセンサアンプ212に供給される。
センサアンプ212は、ホールセンサ211の出力した電圧を調整するものである。調整において、左側シフトレンズ140がセンターにある場合のホールセンサ211の出力電圧が参照電圧Vrefとされる。センサアンプ212は、左側シフトレンズ140が可動範囲の左端および右端に位置する場合のホールセンサ211の各電圧と参照電圧Vrefとの間の差分が同一になるようにゲインおよびオフセットを調整する。センサアンプ212は、調整した電圧をA/Dコンバータ213に出力する。
A/Dコンバータ213は、アナログ信号をデジタル信号に変換するものである。A/Dコンバータ213は、センサアンプ212から出力されたアナログの電気信号をデジタル信号に変換してリニアライザ214へ出力する。
リニアライザ214は、ホールセンサ211の出力電圧と左側シフトレンズ140の位置との間の関係が線形になるように、その出力電圧に補正を行うものである。リニアライザ214は、例えば、所定の多項式に出力電圧の値を代入することにより、線形化(リニアライズ)を行う。リニアライザ214は、補正した出力電圧を左側レンズ検出位置として左側PIDサーボ130および補正値演算部250に出力する。
図4は、本発明の第1の実施の形態におけるホールセンサ211の一構成例を示す図である。ホールセンサ211は、磁石215およびホール素子216を備える。
磁石215は、左側シフトレンズ140の可動範囲内に、磁場が生成されるように設置される。ホール素子216は、ホール効果を利用して磁界の変化を電気信号に変換するものである。左側シフトレンズ140の移動に伴い、磁石215により生成された磁界が変化するため、その変化に応じて電気信号を出力することにより、ホール素子216は左側シフトレンズ140の位置を検出することができる。図4において、X軸は、ピッチ軸である。一点鎖線は、ピッチ軸における左側シフトレンズ140の可動範囲の中心(センター)を貫く線である。このセンターの位置が基準位置とされ、この基準位置に対する相対位置が指示値により指示される。図4において、ヨー軸における磁石およびホール素子は省略されている。
このホール素子216は、左側シフトレンズ140の中心軸上に取り付けられることが望ましい。しかしながら、ホールセンサの中には、レンズの中心軸からずれた位置にホール素子が取り付けられたものがある。位置ずれがあると、例えば、マイクロメートル単位での精密測定を行う場合には、無視できない誤差が生じうる。図4においては、ホール素子216は、レンズの中心軸からずれた位置に取り付けられている。
図5は、本発明の第1の実施の形態におけるセンサアンプ212により調整されたホールセンサ211の出力電圧を示すグラフである。同図における縦軸は、ホールセンサ211の出力電圧であり、横軸は左側シフトレンズ140のピッチ軸上の位置である。出力電圧の単位をVとし、位置の単位をμmとする。一点鎖線は、左側シフトレンズ140の可動範囲におけるセンターである。実線の曲線は、ホール素子の取り付け位置がレンズの中心軸からずれていない場合のホールセンサ211の出力電圧および位置の関係を示す曲線である。点線の曲線は、ホール素子の取り付け位置がレンズの中心軸からずれている場合のホールセンサ211の出力電圧および位置の関係を示す曲線である。前述したホールセンサ211における磁石やホール素子は、出力電圧と位置との関係を示す曲線がS字状となり、かつ、位置ずれがない場合にセンターにおいてS字の変曲点に対応する電圧が出力されるように取り付けられる。しかし、位置ずれが生じている場合、想定される磁場の変化と測定される磁場の変化との間に不一致が生じ、センターにおける出力電圧は、変曲点からずれてしまう。
図6は、リニアライザ214によってリニアライズされたホールセンサ211の出力電圧を示すグラフである。同図における縦軸は、ホールセンサ211の出力電圧であり、横軸は左側シフトレンズ140のピッチ軸上の位置である。出力電圧の単位をVとし、位置の単位をμmとする。一点鎖線は、左側シフトレンズ140の可動範囲におけるセンターである。リニアライズにおいて使用する多項式には、位置ずれがない場合を想定して、出力電圧および位置の関係が実線の直線になるように各係数が設定されている。このため、ホール素子の取り付け位置にずれがある場合に、この多項式を使用してリニアライズを実行すると、出力電圧および位置の関係は、点線に示すように曲線となってしまう。この結果、左側レンズ検出位置の値において、実際の左側シフトレンズ140の位置に対する誤差が生じる。この誤差は、曲線と実線との間の差分であり、曲線の形状により出力電圧ごとに差分が異なることが多いため、誤差は一定の値で無く、出力電圧ごとに異なった値の誤差が生じうる。
図7は、本発明の第1の実施の形態における左側画像処理部220の一構成例を示すブロック図である。左側画像処理部220は、撮像素子221およびエッジ検出部222を備える。右側画像処理部230の構成は、左側画像処理部220の構成と同様である。
撮像素子221は、左側シフトレンズ140から入射された光を電気信号に変換するものである。生成された電気信号が含む画像データの示す画像が左側画像である。撮像素子221は、その画像データをエッジ検出部222へ出力する。
エッジ検出部222は、左側画素位置を取得するものである。エッジ検出部222は、撮像素子221から画像データを受け取り、レンズ位置指示部110から指示値を受け取る。エッジ検出部222は、指示値が入力されるたびに画像データに対してエッジ検出処理を行うことにより、被写体の特徴点の位置である左側画素位置を取得する。エッジ検出部222は、左側画素位置を補正値演算部250に出力する。
図8は、補正値演算部250の一構成例を示すブロック図である。補正値演算部250は、特性生成部251、調整位置決定部252、補正値演算実行部253、補正値記憶部254、および、補正値出力部255を備える。
特性生成部251は、左側シフトレンズ140および右側シフトレンズ170のそれぞれに取り付けられた各ホールセンサの特性を生成するものである。特性生成部251は、左側画像処理部220からの左側画素位置と、右側画像処理部230からの右側画素位置と、左側レンズ位置検出部210からの左側レンズ検出位置と、右側レンズ位置検出部240からの右側レンズ検出位置とを取得する。そして、特性生成部251は、左側のホールセンサの特性と、右側のホールセンサの特性とを生成する。左側のホールセンサの特性は、左側画素位置と左側レンズ検出位置との間の関係を示す特性である。右側のホールセンサの特性は、右側画素位置と右側レンズ検出位置との間の関係を示す特性である。
ここで、図1において前述したように調整モードにおいては、補正値演算装置200から補正値は出力されない。このため、同一の指示値が左側PIDサーボ130および右側PIDサーボ160に入力される。各PIDサーボは、レンズ検出位置が指示値に等しくなるまで左側シフトレンズ140および右側シフトレンズ170を移動させるため、左側レンズ検出位置および右側レンズ検出位置は、いずれも指示値と等しい値となる。この左側レンズ検出位置および右側レンズ検出位置には、前述したように誤差が生じうるため、この誤差の影響を軽減するための補正を行う必要がある。このため、検出され左側レンズ検出位置および右側レンズ検出位置を補正対象位置と称する。
特性生成部251は、補正対象位置ごとに、左側画素位置および右側画素位置を対応付けて記憶する。特性生成部251は、各補正対象位置および各画素位置を調整位置決定部252および補正値演算実行部253に出力する。
調整位置決定部252は、調整位置を決定するものである。調整位置は、補正対象位置を調整するときに基準とされる位置である。具体的には、各ホールセンサの特性において、左側画素位置および右側画素位置を結ぶ直線上の点が調整位置とされる。例えば、調整位置決定部252は、補正対象位置ごとに、左側画素位置および右側画素位置のうちのいずれか一方を始点とし、他方を終点とする差分ベクトルを生成する。そして、調整位置決定部252は、その差分ベクトルの中間点を調整位置に決定し、補正対象位置ごとに調整位置を算出する。調整位置決定部252は、各調整位置を補正値演算実行部253に出力する。
補正値演算実行部253は、補正対象位置ごとに補正値を演算するものである。補正値演算実行部253は、特性生成部251により生成された特性と、調整位置決定部252からの調整位置と、レンズ位置指示部110からの操作信号とを取得する。操作信号が調整モードを指示する信号であれば、補正値演算実行部253は、補正対象位置ごとに、各ホールセンサの特性における調整位置に対応する左側レンズ検出位置および右側レンズ検出位置と補正対象位置との間の各差分を算出する。補正値演算実行部253は、算出した各差分を補正値CおよびCとして算出する。補正値演算実行部253は、演算した各補正値を補正値記憶部254に出力する。
補正値記憶部254は、補正値を記憶するものである。補正値記憶部254は、補正対象位置に対応付けて、補正値CおよびCを記憶する。
補正値出力部255は、補正対象位置に対応する補正値CおよびCを出力するものである。補正値出力部255は、レンズ位置指示部110から操作信号を受け取り、左側レンズ位置検出部210および右側レンズ位置検出部240から左側レンズ検出位置および右側レンズ検出位置を受け取る。補正値出力部255は、操作信号が調整モードを指示する信号でなければ、左側レンズ検出位置または右側レンズ検出位置が、補正対象位置のいずれかと等しいか否かを判断する。左側レンズ検出位置が補正対象位置のいずれかと等しければ、補正値出力部255は、その補正対象位置に対応する補正値Cを補正値記憶部254から読み出して加算器120へ出力する。右側レンズ検出位置が補正対象位置のいずれかと等しければ、補正値出力部255は、その補正対象位置に対応する補正値Cを補正値記憶部254から読み出して加算器150へ出力する。
図9乃至12を参照して、補正値の演算結果の一例について説明する。図9は、取得された各左側画素位置をピッチ軸およびヨー軸からなる座標系においてプロットしたグラフである。同図においてX軸がピッチ軸であり、Y軸がヨー軸である。測定点P[i](iは0乃至8の整数)は、左側画素位置である。測定点P[i]は、左側のホールセンサの検出値に誤差がない理想的な場合において取得される左側画素位置である。左側のホールセンサの検出値に誤差がある場合、測定点P[i]は、測定点P[i]に一致しない。両者の差分、すなわち誤差は、補正対象位置ごとに異なる値となっている。
図10は、取得された各右側画素位置をピッチ軸およびヨー軸からなる座標系においてプロットしたグラフである。同図においてX軸がピッチ軸であり、Y軸がヨー軸である。測定点P[i]は、右側画素位置である。測定点P[i]および測定点P[i]は一致しておらず、右側のホールセンサにおいても、誤差が生じている。
図11は、それぞれの右側画素位置および左画素位置をピッチ軸およびヨー軸からなる座標系においてプロットしたグラフである。右側および左側の各ホールセンサの検出値に誤差が生じ、しかも誤差の値がそれぞれ異なっているため、各補正対象位置において、測定点P[i]および測定点P[i]が一致しない状態となっている。調整位置決定部252は、補正対象位置ごとに、測定点P[i]およびP[i]を結ぶ直線上の点を調整位置とする。例えば、調整位置決定部252は、測定点P[i]およびP[i]の一方を始点とし、他方を終点とする差分ベクトルD[i]を生成し、各差分ベクトルの中点を調整位置として演算する。
図12は、本発明の第1の実施の形態における各ホールセンサの特性を示すグラフである。同図において縦軸はピッチ軸上の左側レンズ検出位置および右側レンズ検出位置であり、横軸はピッチ軸上の左側画素位置および右側画素位置である。図9乃至11におけるX軸が、図12における横軸に対応する。点線は、右側のホールセンサの特性であり、一点鎖線は、左側のホールセンサの特性である。実線は、検出値に誤差のない理想的なホールセンサの特性である。7番目に検出された測定点P[6]およびP[6]以外の測定点は図12において省略されている。Xp[6]は、7番目の補正対象位置である。測定点P[6]およびP[6]は、Xp[6]に対応する各特性曲線上の測定点である。Pc[6]は、Xp[6]に対応する調整位置である。図12において、Xp[6]以外の補正対象位置に対応する各測定点および調整位置は、省略されている。
図12に示すように、同じ値の補正対象位置、すなわち指示値に対して、測定点P[6]およびP[6]の画素位置XPL[6]およびXPR[6]が異なる。これは、各ホールセンサの検出値において、実際のシフトレンズの位置に対する誤差が生じているためである。例えば、補正対象位置X[6]において、左側画素位置XPL[6]が取得された場合を想定する。この値から推定される実際の左側シフトレンズ140の位置は、位置ずれのない理想的な直線における左側画素位置XPL[6]に対応する位置XSL[6]である。この場合、補正対象位置X[6]において、実際の左側シフトレンズ140の位置XSL[6]に対する誤差が生じていると推定される。また、右側画素位置XPR[6]から、右側シフトレンズ170の実際の位置に対しても誤差が生じていると推定される。このように、各レンズ検出位置に誤差が生じているため、補正対象位置Xp[6]が指示された場合に、各ホールセンサが異なる値を出力し、各シフトレンズは異なる位置に移動する結果、左側画像の移動量と右側画像の移動量と間にズレが生じうる。補正値演算部250は、この画ズレが生じないように、補正対象位置を補正する補正値を演算する。
具体的には、補正値演算部250は、各特性曲線において調整位置に対応する画像検出位置と補正対象位置との間の各差分を補正値として演算する。言い換えれば、調整位置Pc[6]を通過し、縦軸に平行な直線を引いた場合を想定し、その直線と各特性曲線との交点P[6]'およびP[6]'を求めてみる。これら交点の各レンズ検出位置XPL[6]およびXPR[6]と補正対象位置Xp[6]との間の差分XCL[6]およびXCR[6]が補正値CおよびCのピッチ軸上の値となる。
調整モード終了後に補正値演算部250が、これらの補正値を出力した場合、各加算器が指示値に各補正値を加算したXPL[6]'およびXPR[6]'を目標値として各PIDサーボに出力する。この結果、左側画像および右側画像の各特徴点は、いずれも調整位置Pc[6]に移動する。従って、左側画像の移動量と右側画像の移動量との間にズレが生じなくなる。補正値演算部250は、各補正対象位置について、同様の方法で補正値CおよびCを求める。
図13は、本発明の第1の実施の形態における各補正値の一例である。例えば、補正値記憶部254は、9点の補正対象位置Pのそれぞれに対応付けて9組の補正値CおよびCを記憶する。各補正対象位置Pは、X軸およびY軸上の座標を含み、各補正値は、X軸およびY軸上の補正値を含む。X軸はピッチ軸であり、Y軸はヨー軸である。例えば、9点を測定し、X、Yの各補正値を2バイトとする場合を想定する。この場合、補正値記憶部254の記憶容量は、9(測定点の数)×2(右側、左側)×2(X、Y)×2(バイト)=72バイトが少なくとも必要となる。
[補正値演算装置の動作]
次に図14および図15を参照して補正値演算装置200の動作について説明する。図14は、本発明の第1の実施の形態における補正値演算装置200の動作の一例を示すフローチャートである。この動作は、例えば、複眼撮像装置100に電源が投入されたとき、または、補正値を初期化するときなどに実行される。
補正値演算装置200は、補正値記憶部254を初期化する(ステップS910)。補正値演算装置200は、操作信号に基づいて調整モードであるか否かを判断する(ステップS920)。調整モードである場合(ステップS920:Yes)、補正値演算装置200は、補正値を演算するための調整処理を実行する(ステップS930)。調整モードでない場合(ステップS920:No)、補正値演算装置200は、補正対象位置と一致するレンズ検出位置の検出に応じて、その補正対象位置に対応する補正値CおよびCを出力する(ステップS940)。ステップS930およびS940の後、補正値演算装置200は、ステップS920に戻る。
図15は、本発明の第1の実施の形態における調整処理の一例を示すフローチャートである。補正値演算装置200は、各レンズ検出位置および各画素位置を含む測定点が全て入力されたか否かを判断する(ステップS931)。測定点が全て入力されていない場合(ステップS931:No)、補正値演算装置200は、ステップS931に戻る。
測定点が全て入力された場合(ステップS931:Yes)、補正値演算装置200は、各レンズ検出位置および各画素位置から、各ホールセンサの特性を生成する(ステップS932)。補正値演算装置200は、補正対象位置ごとに、左側画素位置および右側画素位置から調整位置を求める(ステップS933)。補正値演算装置200は、調整位置に基づいて補正対象位置ごとに補正値CおよびCを演算して記憶する(ステップS934)。ステップS934の後、補正値演算装置200は、調整処理を終了する。
このように、補正値演算装置200は、レンズ検出位置および画素位置の間の関係を示す特性を生成し、その特性における各画素位置から調整位置を補正対象位置ごとに求める。補正値演算装置200は、調整位置に対応する各レンズ検出位置と補正対象位置との間の差分を補正値として補正対象位置ごとに演算する。この補正値により指示値が補正されることによって、左側シフトレンズ140および右側シフトレンズ170の位置は、いずれも調整位置に移動される。このため、左側画像の移動量と右側画像の移動量との間におけるズレが軽減される。この結果、複眼撮像装置100は、各ホールセンサの検出値に誤差があっても、立体視が容易な画像を撮像することができる。
また、補正値演算装置200は、左側画素位置と右側画素位置との間の中間点を調整位置としている。いずれかのホールセンサに誤差がある場合、図16に示すように、誤差がない理想的な特性上の位置を調整位置とすれば、補正により見かけ上の特性が線形に近くなるため、より精密な制御が可能となる。しかし、いずれかの誤差が大きい場合、図16に示すような位置を調整位置にすると、補正値が大きな値となってしまう。補正値が大きいと、可動範囲のうち、調整のために使用される範囲が大きくなってしまう。この調整のために使用される範囲が大きいと、その分、手ブレ補正のために可動する範囲が狭くなってしまう。調整値を左側画素位置と右側画素位置との間の中間点とすることにより、補正値を最小限の値にすることができる。
なお、本発明の第1の実施の形態では、各PIDサーボが、PID制御により、左側シフトレンズ140および右側シフトレンズ170を移動させている。しかし、目標値とレンズ検出値とを比較して、各シフトレンズの位置を目標値に一致させる制御であれば、複眼撮像装置100が、PID以外の制御を行ってもよいのは勿論である。
また、複眼撮像装置100は、位置センサとしてホールセンサを使用しているが、ホールセンサ以外の位置センサを使用してもよい。
また、複眼撮像装置100は、リニアライズ後のホールセンサの出力電圧から、各ホールセンサの特性を生成して補正値を演算している。しかし、リニアライズがシフトレンズの制御に不要であれば、リニアライズ前のホールセンサの出力電圧から補正値を演算してもよい。
また、補正値演算装置200が、ピッチ軸およびヨー軸上の各位置を補正するための補正値を演算している。しかし、補正値演算装置200は、ピッチ軸、ヨー軸、および、ロール軸のうちのいずれかの軸上の補正値のみを演算してもよい。また、ピッチ軸、ヨー軸、および、ロール軸のうちの少なくとも1つを含むのであれば、補正値演算装置200は、ピッチ軸およびヨー軸以外の組合せの補正値を演算してもよい。
また、補正値演算装置200は、左側画素位置および右側画素位置の間の中間点を調整位置としているが、左側画素位置および右側画素位置を結ぶ直線上の位置であれば、中間点以外の位置を調整位置としてもよい。補正値演算装置200は、例えば、図16に示すように、左側画素位置および右側画素位置を結ぶ直線と、誤差のない理想的な特性を示す直線との交点を調整位置とすることもできる。
さらに、工場出荷前に補正値演算装置200が補正値の演算を実行することについて言及したが、工場出荷後に補正値演算装置200がユーザの操作に従って補正値を演算して、記憶している補正値を更新してもよい。この場合、特徴点を検出可能な被写体であれば、被写体は試験用チャートに限定されない。ただし、特徴点の検出対象とされる画像は、静止物が写った自然画などが望ましく、人や車などの動物体が写った画像は望ましくない。補正値を更新する場合、複眼撮像装置100は、各指示値に対応する各画像において特徴点を検出し、画像間における特徴点の移動方向および移動量を示す移動ベクトルを検出する。複数の特徴点が検出された場合、複眼撮像装置100は、それらの移動ベクトルの中から、移動方向が同じで、個数が比較的多いものを支配的なベクトルとして抽出する。複眼撮像装置100は、抽出した移動ベクトルの移動量の統計量(平均値など)を算出して、画像の移動量とする。このように、支配的なベクトルを抽出することにより、画像内の一部に動物体が含まれていても、その動物体の特徴点に基づいて画像の移動量を求めてしまうことを防止できる。
<2.第2の実施の形態>
[複眼撮像装置の構成例]
次に図17乃至19を参照して、本発明の第2の実施の形態について説明する。図17は、本発明の第2の実施の形態における複眼撮像装置101の一構成例を示すブロック図である。複眼撮像装置101の構成は、加算器120を備えず、補正値演算装置200の代わりに補正値演算装置201を備える点以外は、第1の実施の形態の複眼撮像装置100と同様の構成である。補正値演算装置201の構成は、補正値演算部250の代わりに補正値演算部260を備える点以外は、第1の実施の形態の補正値演算装置200と同様の構成である。
補正値演算部260は、図18に示すように、左側画素位置および右側画素位置のうちのいずれかを調整位置に決定する。例えば、左側画素位置が調整位置に決定される。補正値演算部260は、調整位置に基づいて補正対象位置ごとに補正値Cを演算して記憶する。
左側画素位置および右側画素位置のいずれを調整位置にするかは任意であるが、想定されるシフトレンズの使用頻度に基づいて決定してもよい。例えば、左側画像および右側画像の一方のみを撮像する2Dモードと、両方を撮像する3Dモードとのうちのいずれかをユーザが選択できる場合、2Dモードで使用される画像上の画素位置を調整位置とする。前述したように、補正値を加算する調整を行うことにより、手ブレ補正においてシフトレンズが可動する範囲が狭くなってしまう。このため、使用頻度の多いシフトレンズについては、なるべく調整を行わない方がよい。使用頻度が多くなると想定される2Dモードのシフトレンズに合わせて、使用頻度の少ない方のシフトレンズを調整することにより、使用頻度の多い方のシフトレンズを調整する必要がなくなる。
[補正値演算装置の動作]
次に図19を参照して補正値演算装置201の動作について説明する。図19は、本発明の第2の実施の形態における補正値演算装置201の動作の一例を示すフローチャートである。この動作は、ステップS940の代わりにステップS941を実行する点以外は、第1の実施の形態の補正値演算装置200の動作と同様である。
調整モードでない場合(ステップS920:No)、補正値演算装置201は、補正対象位置と一致するレンズ検出位置の検出に応じて、その補正対象位置に対応する補正値Cを出力する(ステップS941)。
このように、本発明の第2の実施の形態によれば、左側画素位置または右側画素位置を調整位置に決定することにより、記憶しておく補正値の数が半分になり、補正値記憶部254の記憶容量が半分で済む。また、補正値演算装置200は、差分ベクトルの中間点を求める演算を実行する必要がなくなる。
<3.第3の実施の形態>
[補正値演算装置の動作]
次に図20を参照して本発明の第3の実施の形態について説明する。図20は、本発明の第3の実施の形態における複眼撮像装置102の一構成例を示すブロック図である。複眼撮像装置102の構成は、電子式手ブレ補正部180をさらに備える点以外は、第1の実施の形態の複眼撮像装置100と同様の構成である。
電子式手ブレ補正部180は、電子式の手ブレ補正を行うものである。電子式手ブレ補正部180は、左側画像処理部220および右側画像処理部230から、左側画像および右側画像を示す各画像データを受け取り、レンズ位置指示部110から操作信号を受け取る。電子式手ブレ補正部180は、調整モードでない場合、1枚目の左側画像および右側画像において撮影可能領域を定めておき、その撮影可能領域内に被写体が含まれるように、2枚目以降の左側画像および右側画像における前記撮影可能領域の位置を変更する。
このように、本発明の第3の実施の形態によれば、電子式手ブレ補正をさらに実行することにより、手ブレ補正がより適切に実行されるようになる。この第3の実施の形態における電子式手ブレ補正を第2の実施の形態に適用してもよいのは勿論である。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100、101、102 複眼撮像装置
110 レンズ位置指示部
111 ジャイロセンサ
112 手ブレ補正値演算部
113 調整指示値演算部
114 操作部
115 セレクタ
120、150 加算器
130 左側PIDサーボ
140 左側シフトレンズ
160 右側PIDサーボ
170 右側シフトレンズ
180 電子式手ブレ補正部
200、201 補正値演算装置
210 左側レンズ位置検出部
211 ホールセンサ
212 センサアンプ
213 A/Dコンバータ
214 リニアライザ
215 磁石
216 ホール素子
220 左側画像処理部
221 撮像素子
222 エッジ検出部
230 右側画像処理部
240 右側レンズ位置検出部
250、260 補正値演算部
251 特性生成部
252 調整位置決定部
253 補正値演算実行部
254 補正値記憶部
255 補正値出力部

Claims (9)

  1. 複数の位置を指示する複数の指示値に従って左側レンズが移動した場合に前記左側レンズにより結像された左側画像内の特徴点の基準点に対する相対位置を左側画素位置として前記指示値ごとに取得する左側画像処理部と、
    前記複数の指示値に従って右側レンズが移動した場合に前記右側レンズにより結像された右側画像内の特徴点の基準点に対する相対位置を右側画素位置として前記指示値ごとに取得する右側画像処理部と、
    前記複数の指示値に従って前記左側レンズが移動した場合に基準位置に対する前記左側レンズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出部と、
    前記複数の指示値に従って右側レンズが移動した場合に基準位置に対する前記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出部と、
    前記左側画素位置および前記左側レンズ検出位置に基づいて前記左側画素位置と前記左側レンズ検出位置との間の関係を示す特性を生成するとともに前記右側画素位置および前記右側レンズ検出位置に基づいて前記右側画素位置と前記右側レンズ検出位置との間の関係を示す特性を生成する特性生成部と、
    生成された前記特性における前記左側レンズ検出位置または前記右側レンズ検出位置の各々を補正対象位置として、前記補正対象位置に対応する前記左側画素位置および前記右側画素位置を結ぶ直線上の位置である調整位置を前記補正対象位置ごとに決定する調整位置決定部と、
    生成された前記特性において前記調整位置に対応する前記左側レンズ検出位置および前記右側レンズ検出位置と前記補正対象位置との間のそれぞれの差分を、前記指示値に加算するための補正値として前記補正対象位置ごとに演算する補正値演算部と
    を具備する補正値演算装置。
  2. 前記調整位置決定部は、前記左側画素位置および前記右側画素位置の中間点を前記調整位置とする
    請求項1記載の補正値演算装置。
  3. 前記調整位置決定部は、前記左側画素位置または前記右側画素位置を前記調整位置とする
    請求項1記載の補正値演算装置。
  4. 前記調整位置決定部は、所定の直線と前記左側画素位置および前記右側画素位置を結ぶ直線との交点を前記調整位置とする
    請求項1記載の補正値演算装置。
  5. 演算された前記補正値を前記補正対象位置ごとに記憶する補正値記憶部と、
    前記補正値の出力を指示する操作信号が入力され、かつ、いずれかの前記補正対象位置と一致する前記左側レンズ検出位置または前記右側レンズ検出位置が検出された場合に当該補正対象位置に対応する前記補正値を読み出して出力する補正値出力部と
    をさらに具備する請求項1記載の補正値演算装置。
  6. 左側レンズと、
    右側レンズと、
    複数の位置を指示する複数の指示値に従って前記左側レンズを移動させる左側レンズ駆動部と、
    前記複数の指示値に従って前記右側レンズを移動させる右側レンズ駆動部と、
    前記複数の指示値に従って左側レンズが移動した場合に前記左側レンズにより結像された左側画像内の特徴点の基準点に対する相対位置を左側画素位置として前記指示値ごとに取得する左側画像処理部と、
    前記複数の指示値に従って右側レンズが移動した場合に前記右側レンズにより結像された右側画像内の特徴点の基準点に対する相対位置を右側画素位置として前記指示値ごとに取得する右側画像処理部と、
    前記複数の指示値に従って左側レンズが移動した場合に基準位置に対する前記左側レンズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出部と、
    前記複数の指示値に従って右側レンズが移動した場合に基準位置に対する前記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出部と、
    前記左側画素位置および前記左側レンズ検出位置に基づいて前記左側画素位置と前記左側レンズ検出位置との間の関係を示す特性を生成するとともに前記右側画素位置および前記右側レンズ検出位置に基づいて前記右側画素位置と前記右側レンズ検出位置との間の関係を示す特性を生成する特性生成部と、
    生成された前記特性における前記左側レンズ検出位置または前記右側レンズ検出位置の各々を補正対象位置として、前記補正対象位置に対応する前記左側画素位置および前記右側画素位置を結ぶ直線上の位置である調整位置を前記補正対象位置ごとに演算する調整位置演算部と、
    生成された前記特性において前記調整位置に対応する前記左側レンズ検出位置および前記右側レンズ検出位置と前記補正対象位置との間のそれぞれの差分である補正値を前記補正対象位置ごとに決定する補正値決定部と
    演算された前記補正値を前記補正対象位置ごとに記憶する補正値記憶部と、
    前記補正値の出力を指示する操作信号が入力され、かつ、いずれかの前記補正対象位置と一致する前記左側レンズ検出位置または前記右側レンズ検出位置が検出された場合に当該補正対象位置に対応する前記補正値を読み出して出力する補正値出力部と、
    演算された前記補正値を前記指示値に加算して前記左側レンズ駆動部または前記右側レンズに出力する加算部と
    を具備する複眼撮像装置。
  7. 左側レンズと、
    右側レンズと、
    複数の位置を指示する複数の指示値に従って前記左側レンズを移動させる左側レンズ駆
    動部と、
    前記複数の指示値に従って前記右側レンズを移動させる右側レンズ駆動部と、
    前記左側レンズにより結像された左側画像を撮像する左側画像処理部と、
    前記右側レンズにより結像された右側画像を撮像する右側画像処理部と、
    前記複数の指示値に従って左側レンズが移動した場合に基準位置に対する前記左側レン
    ズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出部と、
    前記複数の指示値に従って右側レンズが移動した場合に基準位置に対する前記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出部と、
    補正値を補正対象位置ごとに記憶する補正値記憶部と、
    前記補正値の出力を指示する操作信号が入力され、かつ、いずれかの前記補正対象位置と一致する前記左側レンズ検出位置または前記右側レンズ検出位置が検出された場合に当該補正対象位置に対応する前記補正値を読み出して出力する補正値出力部と、
    演算された前記補正値を前記指示値に加算して前記左側レンズ駆動部または前記右側レンズに出力する加算部と
    を具備する複眼撮像装置。
  8. 前記左側画像および前記右側画像において撮影可能領域のサイズを定めておき、当該撮影可能領域内に被写体が含まれるように前記左側画像および前記右側画像における前記撮影可能領域の位置を変更する手ブレ補正部をさらに具備する
    請求項7記載の複眼撮像装置。
  9. 左側画像処理部が、複数の位置を指示する複数の指示値に従って左側レンズが移動した場合に前記左側レンズにより結像された左側画像内の特徴点の基準点に対する相対位置を左側画素位置として前記指示値ごとに取得する左側画像処理手順と、
    右側画像処理部が、前記複数の指示値に従って右側レンズが移動した場合に前記右側レンズにより結像された右側画像内の特徴点の基準点に対する相対位置を右側画素位置として前記指示値ごとに取得する右側画像処理手順と、
    左側レンズ位置検出部が、前記複数の指示値に従って前記左側レンズが移動した場合に基準位置に対する前記左側レンズの相対位置を左側レンズ検出位置として検出する左側レンズ位置検出手順と、
    右側レンズ位置検出部が、前記複数の指示値に従って右側レンズが移動した場合に基準位置に対する前記右側レンズの相対位置を右側レンズ検出位置として検出する右側レンズ位置検出手順と、
    特性生成部が、前記左側画素位置および前記左側レンズ検出位置に基づいて前記左側画素位置と前記左側レンズ検出位置との間の関係を示す特性を生成するとともに前記右側画素位置および前記右側レンズ検出位置に基づいて前記右側画素位置と前記右側レンズ検出位置との間の関係を示す特性を生成する特性生成手順と、
    調整位置決定部が、生成された前記特性における前記左側レンズ検出位置または前記右側レンズ検出位置の各々を補正対象位置として、前記補正対象位置に対応する前記左側画素位置および前記右側画素位置を結ぶ直線上の位置である調整位置を前記補正対象位置ごとに演算する調整位置決定手順と、
    補正値演算部が、生成された前記特性において前記調整位置に対応する前記左側レンズ検出位置および前記右側レンズ検出位置と前記補正対象位置との間のそれぞれの差分を、前記指示値に加算するための補正値として前記補正対象位置ごとに演算する補正値演算手順と
    を具備する補正値演算装置の制御方法。
JP2010282852A 2010-12-20 2010-12-20 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 Expired - Fee Related JP5682291B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010282852A JP5682291B2 (ja) 2010-12-20 2010-12-20 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
US13/304,927 US9077980B2 (en) 2010-12-20 2011-11-28 Compound eye imaging apparatus and method with left image and right image processor to calculate correction value for lens position
CN2011104149308A CN102547354A (zh) 2010-12-20 2011-12-13 校正值计算设备及其控制方法以及复眼成像设备
EP11193169.7A EP2466542B1 (en) 2010-12-20 2011-12-13 Correction value calculation apparatus, compound eye imaging apparatus, and method of controlling correction value calculation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010282852A JP5682291B2 (ja) 2010-12-20 2010-12-20 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法

Publications (2)

Publication Number Publication Date
JP2012134609A JP2012134609A (ja) 2012-07-12
JP5682291B2 true JP5682291B2 (ja) 2015-03-11

Family

ID=45440167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010282852A Expired - Fee Related JP5682291B2 (ja) 2010-12-20 2010-12-20 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法

Country Status (4)

Country Link
US (1) US9077980B2 (ja)
EP (1) EP2466542B1 (ja)
JP (1) JP5682291B2 (ja)
CN (1) CN102547354A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013125048A (ja) 2011-12-13 2013-06-24 Semiconductor Components Industries Llc レンズ位置検出回路
JP5657175B2 (ja) * 2012-03-29 2015-01-21 富士フイルム株式会社 補正装置
TWI447506B (zh) * 2012-05-17 2014-08-01 Delta Electronics Inc 影像投影系統及其同步方法
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
US9299132B2 (en) * 2013-10-23 2016-03-29 Adobe Systems Incorporated Automatically determining the size of a blur kernel
CN104980534B (zh) * 2014-09-17 2018-01-19 广东欧珀移动通信有限公司 一种移动终端的外壳温度调整装置及方法
US11147647B2 (en) * 2016-03-30 2021-10-19 Sony Olympus Mrdical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program
JP2018146655A (ja) * 2017-03-02 2018-09-20 ローム株式会社 撮像装置およびアクチュエータドライバ
JP6917799B2 (ja) * 2017-05-29 2021-08-11 ローム株式会社 撮像装置
KR102412291B1 (ko) * 2017-08-18 2022-06-23 삼성전자 주식회사 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법
CN108615014B (zh) * 2018-04-27 2022-06-21 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质
CN108876739B (zh) * 2018-06-15 2020-11-24 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JP2006157432A (ja) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd 立体画像撮影装置及び立体画像の撮影方法
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
JP4639942B2 (ja) * 2005-05-11 2011-02-23 コニカミノルタオプト株式会社 振れ補正機構付き撮像装置
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP4488041B2 (ja) * 2007-08-02 2010-06-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
CN101680756B (zh) * 2008-02-12 2012-09-05 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
JP4626684B2 (ja) * 2008-07-31 2011-02-09 富士フイルム株式会社 複眼撮像装置及び像ブレ補正方法
JP5087519B2 (ja) * 2008-10-31 2012-12-05 富士フイルム株式会社 撮像装置
JP4852591B2 (ja) * 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
JP5305970B2 (ja) * 2009-02-17 2013-10-02 キヤノン株式会社 像振れ補正装置およびそれを備えた光学機器、撮像装置、ならびに像振れ補正装置の制御方法およびプログラム
JP4995854B2 (ja) * 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
JP5417568B2 (ja) 2009-06-04 2014-02-19 株式会社オプトデザイン 面照明光源装置及びその面照明光源装置を複数配置した面照明装置
JP5426262B2 (ja) * 2009-07-17 2014-02-26 富士フイルム株式会社 複眼撮像装置
JP5415170B2 (ja) * 2009-07-21 2014-02-12 富士フイルム株式会社 複眼撮像装置
JP2011045039A (ja) * 2009-07-21 2011-03-03 Fujifilm Corp 複眼撮像装置
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
JP2011048276A (ja) * 2009-08-28 2011-03-10 Fujifilm Corp 立体撮像装置
JP4763827B2 (ja) * 2009-11-26 2011-08-31 富士フイルム株式会社 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP4783465B1 (ja) * 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
US8502863B2 (en) * 2010-03-31 2013-08-06 Fujifilm Corporation Stereoscopic imaging apparatus
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
JP2014006340A (ja) * 2012-06-22 2014-01-16 Sony Corp 像振れ補正装置と像振れ補正方法および撮像装置
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras

Also Published As

Publication number Publication date
EP2466542A3 (en) 2013-08-21
EP2466542A2 (en) 2012-06-20
US20120154550A1 (en) 2012-06-21
CN102547354A (zh) 2012-07-04
US9077980B2 (en) 2015-07-07
EP2466542B1 (en) 2017-08-09
JP2012134609A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
JP5682291B2 (ja) 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
JP6682336B2 (ja) カメラシステム、及びカメラ本体
KR102036084B1 (ko) 흔들림 보정장치, 촬상 장치 및 흔들림 보정방법
JP5734082B2 (ja) 撮像装置及びその制御方法、並びにプログラム
US20160057445A1 (en) Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor
CN104469139A (zh) 图像捕获装置和图像捕获方法
US20190296062A1 (en) Image capturing device, image capturing method, image processing device, image processing method, and storage medium
JP2008180560A (ja) 位置検出回路及びその応用装置
JP6746364B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US11570361B2 (en) Lens unit, imaging device, control methods thereof, and storage medium
JP2013055381A (ja) 撮像装置及び撮像方法並びに携帯情報端末装置
KR20160095911A (ko) 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
WO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
KR101879261B1 (ko) 거리검출 장치, 촬상 장치, 및 거리검출 방법
JP2012147281A (ja) 画像処理装置
JP2014138331A (ja) 撮影装置及びプログラム
JP6867487B2 (ja) 撮像装置
JP2017194591A (ja) 距離測定装置、撮像装置、および距離測定方法
JP6459487B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
US11361465B2 (en) Image capturing apparatus and control method thereof, and orientation angle calculation apparatus for estimating orientation of image capturing apparatus
JP6476701B2 (ja) 撮像装置、レンズの位置ずれ補正方法及びプログラム
JP2017011571A (ja) 画像処理装置、画像処理システム、撮像装置、カメラシステム、および画像処理方法
JP6136248B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10776927B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141229

R151 Written notification of patent or utility model registration

Ref document number: 5682291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees