JP5789793B2 - 3次元撮像装置、レンズ制御装置、およびプログラム - Google Patents

3次元撮像装置、レンズ制御装置、およびプログラム Download PDF

Info

Publication number
JP5789793B2
JP5789793B2 JP2013529854A JP2013529854A JP5789793B2 JP 5789793 B2 JP5789793 B2 JP 5789793B2 JP 2013529854 A JP2013529854 A JP 2013529854A JP 2013529854 A JP2013529854 A JP 2013529854A JP 5789793 B2 JP5789793 B2 JP 5789793B2
Authority
JP
Japan
Prior art keywords
camera shake
correction
convergence point
image
operating range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013529854A
Other languages
English (en)
Other versions
JPWO2013027343A1 (ja
Inventor
基範 小倉
基範 小倉
隆宜 矢吹
隆宜 矢吹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013529854A priority Critical patent/JP5789793B2/ja
Publication of JPWO2013027343A1 publication Critical patent/JPWO2013027343A1/ja
Application granted granted Critical
Publication of JP5789793B2 publication Critical patent/JP5789793B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake

Description

本開示は、異なる複数の視点から撮像することによって視差を有する複数の画像を取得するための技術に関する。
両眼視差をもつ左右の画像を撮影によって取得し、それらの画像を独立して左右の目に投影できる表示装置に表示することにより、3次元(3D)画像を再現する技術が知られている。3次元画像の撮影にあたっては、撮影者の意図する視差表現のために輻輳角(輻輳点の位置)を変更できることが望ましい。
輻輳角を変化させる技術として、例えば、特許文献1は、輻輳角ブラケティング撮影を行うと同時に、手ぶれの補正を行うデジタルカメラを開示している。特許文献1に開示されたデジタルカメラは、複数の撮像手段を備え、撮像手段ごとに手振れ補正手段を制御することにより、輻輳角を変更しながら順次画像を撮影して複数の画像を取得する。これにより、ユーザが好ましいと感じる立体画像を選択することを可能にしている。また、特許文献2にも、輻輳点の調整を行う3次元立体映像を生成する撮像装置が開示されている。
特開2010−103895号公報 特開2011−124932号公報
撮影者の意図する視差表現のためには、輻輳点を変更でき、かつ手振れ補正をより適切に行なえることが望ましい。
本開示は、輻輳点を変更でき、かつ従来よりも手振れ補正を適切に行うことができる技術を提供する。
本開示における3次元撮像装置は、輻輳点の調整および手振れ補正の機能を備えている。3次元撮像装置は、第1および第2の撮像部と、輻輳点の位置を調整する輻輳点調整部と、輻輳点の位置に基づいて、手振れ補正の稼働範囲を設定する可動範囲設定部と、設定された稼働範囲内で手振れ補正を実行する手振れ補正部とを備える。第1の撮像部は、第1の光学系および第1の撮像素子を有し、第1の画像を生成するための第1の信号を出力するように構成されている。第2の撮像部は、第2の光学系および第2の撮像素子を有し、第1の画像に対して視差を有する第2の画像を生成するための第2の信号を出力するように構成されている。輻輳点調整部は、第1の光学系および第1の撮像素子の少なくとも一方、および第2の光学系および第2の撮像素子の少なくとも一方をシフトさせる光学シフト動作、および第1および第2の信号が示す画像からそれぞれ抽出される切り出し領域をシフトさせる電子シフト動作の少なくとも一方を実行することにより、輻輳点の位置を調整するように構成されている。手振れ補正部は、第1の光学系および第1の撮像素子の少なくとも一方、および第2の光学系および第2の撮像素子の少なくとも一方をシフトさせることによって撮影時の手振れを補正する光学式手振れ補正、および第1および第2の信号からそれぞれ抽出される切り出し領域をシフトさせることによって撮影時の手振れを補正する電子式手振れ補正の少なくとも一方を、設定された稼動範囲内で実行するように構成されている。
本開示における撮像装置、レンズ制御装置、およびプログラムによれば、輻輳点を変更でき、かつ従来よりも手振れ補正を適切に行うことができる。
実施の形態における基本構成を示すブロック図 実施の形態1におけるデジタルビデオカメラ1の電気的構成を示すブロック図 補正レンズの機能を模式的に示す第1の図 補正レンズの機能を模式的に示す第2の図 補正レンズの機能を模式的に示す第3の図 輻輳点の調整の概要を説明するための模式図 輻輳点が基準点に位置するときの、左右補正レンズの可動範囲と手振れ補正稼動範囲とを説明するためのイメージ図 輻輳点が基準点よりも遠くに位置するときの、左右補正レンズの可動範囲と手振れ補正稼動範囲とを説明するためのイメージ図 輻輳点が基準点よりも近くに位置するときの、左右補正レンズの可動範囲と手振れ補正稼動範囲とを説明するためのイメージ図 マクロ撮影モードのときの、左右補正レンズの可動範囲と手振れ補正稼動範囲とを説明するためのイメージ図 センサシフト方式のデジタルビデオカメラ2の電気的構成を示すブロック図 電子的方式における輻輳点の調整の概要を説明するための模式図 電子的方式のデジタルビデオカメラ3の電気的構成を示すブロック図 輻輳点調整および手振れ補正の方式の可能な組み合わせ例を示す表 輻輳点の位置に基づく手振れ補正の稼働範囲の設定の動作を示すフローチャート
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
具体的な実施の形態を説明する前に、以下の実施の形態における基本構成をまず説明する。
図1Aは、3次元撮像装置(以下、「撮像装置」)の基本構成を示すブロック図である。この撮像装置は、輻輳点の調整および手振れ補正の機能を備えている。撮像装置は、撮影によって3D画像を生成するための画像信号を出力する2つの撮像部10a、10bと、これらを制御する制御部20とを備えている。撮像部10a、10bは、それぞれ光学系11a、11bと、撮像素子15a、15bとを有している。撮像素子15a、15bは、撮影によって3D画像を生成するための画像信号を出力する。制御部20は、撮像部10a、10bの動作を制御するとともに、必要な画像処理を行うことによって3D画像を生成する。
制御部20は、撮像部10a、10bによって取得される一対の画像によって定まる輻輳点の位置を調整する輻輳点調整部21と、手振れ補正を実行する手振れ補正部23と、輻輳点の位置に基づいて、手振れ補正の稼働範囲を設定する稼動範囲設定部22とを有している。稼動範囲設定部22の働きにより、後述するように、手振れ補正をより適切に行うことができる。
撮像部10a、10bの構成、および輻輳点調整部21、手振れ補正部23による制御方法には、後述するように、多様な形態があり得る。いずれの形態においても、輻輳点の位置に応じて手振れ補正の稼働範囲が制御されることによって手振れ補正をより適切に行うことができるという共通の効果を有する。以下、具体的な実施の形態を説明する。
(実施の形態1)
まず、実施の形態1におけるデジタルビデオカメラについて、図面を参照しながら説明する。
[1−1.デジタルビデオカメラの構成]
まずは、本実施の形態のデジタルビデオカメラの構成を説明する。
図1Bは、本実施の形態におけるデジタルビデオカメラ1の物理構成を示すブロック図である。図1Bでは、要素間の電気的な接続関係が矢印で示されている。デジタルビデオカメラ1は、光学系110aおよび110b、ズームモータ120aおよび120b、OISアクチュエータ130aおよび130b、フォーカスモータ140aおよび140b、CCDイメージセンサ150aおよび150b、画像処理部160、メモリ200、コントローラ210、ジャイロセンサ220、カードスロット230、メモリカード240、操作部材250、液晶モニタ270、内部メモリ280を備える。
光学系110aは、ズームレンズ111a、OIS(Optical Image Stabilizer)112a、フォーカスレンズ113aを含む。また、光学系110bは、ズームレンズ111b、OIS112b、フォーカスレンズ113bを含む。光学系110aは、第1視点における被写体像をCCDイメージセンサ150aの撮像面に形成する。また、光学系110bは、第1視点とは異なる第2視点における被写体像をCCDイメージセンサ150bの撮像面に形成する。なお、図1Bでは光学系110aおよび110bの光軸が平行になるように描かれているが、実際にはこれらの光軸が1点で交差するように、光学系110aおよび110bは内側に傾いて配置される。
ズームレンズ111aおよび111bは、それぞれ光学系110aおよび110bの光軸に沿って移動することにより、それぞれCCDイメージセンサ150aおよび150bに結像する被写体像を拡大または縮小させることが可能である。ズームレンズ111aおよび111bは、それぞれズームモータ120aおよび120bによって制御される。なお、図1Bでは簡単のため、ズームレンズ110aおよび110bの各々は、単一のレンズとして描かれているが、典型的にはこれらは複数のレンズの組み合わせであり得る。
OIS112aおよび112bは、それぞれ内部に光軸に垂直な面内で移動可能な補正レンズ114aおよび114bを有する。OIS112aおよび112bは、撮影中、それぞれデジタルビデオカメラ1のブレを相殺する方向に補正レンズ114aおよび114bを駆動することにより、被写体像のブレを低減する。また、本実施の形態においては、OIS112aの補正レンズ114aおよびOIS112bの補正レンズ114bを、ともに中心側へシフト、或いは外側へシフトすることにより、輻輳点をデジタルビデオカメラ1から遠い側または近い側に調整することができる。ここで、輻輳点とは、フォーカスレンズ113aおよび113bの光軸に沿ってCCD150aに入射する2つの光線経路の交点(出射点)を意味する。また、輻輳点における当該2つの光線経路のなす角度を輻輳角と呼ぶ。
輻輳点が基準位置にある場合、すなわち、補正レンズ114aおよび114bの中心位置がデフォルトの位置(OIS112aおよび112bの中心)からシフトしていない場合、補正レンズ114aおよび114bは、それぞれOIS112aおよび112b内においてデフォルトの位置から距離aの範囲内で移動することができる。これに対し、輻輳点の調整のために補正レンズ114a、114bの中心位置がデフォルトの位置からシフトしている場合、シフト量に応じて手振れ補正の稼動範囲が変更される。ここで手振れ補正の「稼働範囲」とは、補正レンズ114aおよび114bが物理的に移動可能な範囲(以下、「可動範囲」と呼ぶことがある。)のうち、コントローラ210によって移動が制限された範囲をいう。このように、本実施形態では、撮影中、補正レンズ114aおよび114bは、コントローラ210によって設定された稼働範囲内でシフトすることによって手振れ補正を行う。輻輳点の調整に伴う補正レンズ114aおよび114bの手振れ補正の稼動範囲の変更については、詳細を後述する。OIS112aおよび112bは、それぞれOISアクチュエータ130aおよび130bによって駆動される。なお、補正レンズ114aおよび114bの各々は、図1Bでは単一のレンズとして描かれているが、複数のレンズの組み合わせによって構成されていてもよい。
フォーカスレンズ113aおよび113bは、それぞれ光学系110aおよび110bの光軸に沿って移動することにより、それぞれCCDイメージセンサ150aおよび150bの撮像面に形成される被写体像のピントを調整する。フォーカスレンズ113aおよび113bは、それぞれフォーカスモータ140aおよび140bによって制御される。なお、フォーカスレンズ113aおよび113bの各々についても、図1Bでは単一のレンズとして描かれているが、複数のレンズの組み合わせによって構成されていてもよい。
なお、以下の説明では、光学系110aおよび110bを総称して単に光学系110と記載することがある。ズームレンズ111、OIS112、補正レンズ114、フォーカスレンズ113、ズームモータ120、OISアクチュエータ130、フォーカスモータ140、CCDイメージセンサ150についても同様である。
ズームモータ120aおよび120bは、それぞれズームレンズ111aおよび111bを駆動制御する。ズームモータ120aおよび120bは、例えばパルスモータやDCモータ、リニアモータ、サーボモータなどで実現することができる。ズームモータ120aおよび120bは、カム機構やボールネジなどの機構を介してズームレンズ111aおよび111bを駆動するようにしてもよい。また、ズームレンズ111aとズームレンズ111bとを共通の駆動機構によって一体的に制御する構成にしてもよい。
OISアクチュエータ130aおよび130bは、それぞれOIS112a内の補正レンズ114aおよびOIS112b内の補正レンズ114bを光軸と垂直な面内で駆動制御する。OISアクチュエータ130aおよび130bは、例えば平面コイルや超音波モータなどで実現できる。
フォーカスモータ140aおよび140bは、フォーカスレンズ113aおよび113bを駆動制御する。フォーカスモータ140aおよび140bは、例えばパルスモータやDCモータ、リニアモータ、サーボモータなどで実現できる。あるいは、フォーカスモータ140aおよび140bは、カム機構やボールネジなどの機構を介してフォーカスレンズ113aおよび113bを駆動するようにしてもよい。
CCDイメージセンサ150aおよび150bは、それぞれ光学系110aおよび110bによって形成された被写体像を光電変換することによって電気信号を出力する。CCDイメージセンサ150aおよび150bによって出力される電気信号を、それぞれ第1視点信号および第2視点信号と呼ぶことがある。CCDイメージセンサ150aおよび150bは、露光、転送、電子シャッタなどの撮影に必要な各種動作を行う。なお、CCDイメージセンサの代わりに、例えばCMOSセンサのような他の撮像素子(イメージセンサ)を用いてもよい。
画像処理部160は、CCDイメージセンサ150aおよび150bによってそれぞれ生成された第1視点信号および第2視点信号に対して各種の処理を施す。画像処理部160は、第1視点信号および第2視点信号に対して処理を施し、液晶モニタ270に表示するための画像データ(以下、「レビュー画像」と称す)や、メモリカード240に格納するための画像データを生成する。例えば、画像処理部160は、第1視点信号および第2視点信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。
また、画像処理部160は、3D画像の処理において、第1視点信号および第2視点信号に対して切り出し(抽出)処理を行う。3D画像の第1視点信号と第2視点信号との間に垂直方向のずれが存在すると、観察者に違和感を与えてしまうが、垂直方向の切り出し位置を補正することにより、これを軽減することができる。このように第1視点信号および第2視点信号からそれぞれ切り出された一対の画像領域(切り出し領域)から、3D画像が生成される。なお、画像処理部160は、切り出し領域を拡大・縮小することにより、電子ズームを行う機能を備えていてもよい。
さらに、画像処理部160は、上記のように処理された第1視点信号および第2視点信号に対して、それぞれ所定のファイルシステム規格に準拠した圧縮形式により画像信号を圧縮する。第1視点信号および第2視点信号を圧縮して得られる2つの圧縮画像信号は関連付けられて、メモリカード240に記録される。また、圧縮する画像信号が動画の場合、H.264/MPEG4 AVC等の動画圧縮規格が適用される。また、2つの画像データを関連付けて保存するMPOファイルフォーマットのデータと、JPEG画像またはMPEG動画とを同時に記録する構成にしても構わない。
画像処理部160は、デジタルシグナルプロセッサ(DSP)やマイクロコントローラ(マイコン)などで実現可能である。なお、レビュー画像の解像度(画素数)は、液晶モニタ270の画面解像度に設定しても構わないし、JPEG規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。
メモリ200は、画像処理部160およびコントローラ210のワークメモリとして機能する。メモリ200は、例えば、画像処理部160で処理された画像信号、または画像処理部160で処理される前のCCDイメージセンサ150から出力される画像データを一時的に蓄積する。また、メモリ200は、撮影時における光学系110aおよび110b、CCDイメージセンサ150aおよび150bの撮影条件を示す情報を一時的に蓄積する。撮影条件は、被写体距離、画角情報、ISO感度、シャッタスピード、EV値、F値、レンズ間距離、撮影時刻、輻輳点の位置に対応するOISシフト量、および手振れ補正の稼働範囲(OISの許容シフト量)等を含む。メモリ200は、例えば、DRAM、強誘電体メモリなどで実現できる。
内部メモリ280は、フラッシュメモリや強誘電体メモリなどで構成され得る。内部メモリ280は、デジタルビデオカメラ1全体を制御するための制御プログラム等を記憶している。
コントローラ210は、全体を制御する制御手段である。コントローラ210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ210は、例えばマイコンなどで実現できる。
ジャイロセンサ220は、圧電素子等の振動材等で構成される。ジャイロセンサ220は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。コントローラ210がジャイロセンサ220から角速度情報を得て、この揺れを相殺する方向にOISアクチュエータ130を介してOIS112内の補正レンズ114を駆動させることにより、使用者によってビデオカメラ1に与えられる手振れは補正される。
カードスロット230は、メモリカード240を着脱可能に構成されたインターフェースである。カードスロット230は、機械的および電気的にメモリカード240と接続可能である。
メモリカード240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。カードスロット230に接続されたメモリカード240には、撮影した3D映像や静止画像が記録され得る。なお、メモリカード240はビデオカメラ1の構成要素ではない。
操作部材250は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材250は、例えば、使用者からの操作を受け付けるユーザ設定ボタン、操作ダイヤル、記録開始ボタンを備える。
ユーザ設定ボタンは、デジタルビデオカメラ1が備える各種機能について、ユーザがダイレクトに指示できるように、ユーザが任意に特定の機能との対応付けを設定できるボタンである。例えば、デジタルビデオカメラ1は、マクロ撮影モードを機能として有しており、ユーザ設定ボタンにマクロ撮影モードの機能を設定しておけば、ユーザは、このユーザ設定ボタンを押下するだけで、ダイレクトにマクロ撮影モードに移行させることができる。また、デジタルビデオカメラ1は、ユーザが任意に設定した被写体距離に適した撮影条件に即座に移行できる機能を有している。ユーザ設定ボタンにこの機能を設定しておけば、ユーザは、このユーザ設定ボタンを押下するだけで、設定した被写体距離に適した撮影条件をダイレクトに設定することができる。
操作ダイヤルは、ユーザによる回転操作を受け付けて、各種パラメータの調整を行うための操作部材である。例えば、ユーザは、操作ダイヤルを回転操作することにより、その回転角度に応じて、絞り値や、シャッタスピード、フォーカス位置、輻輳点の位置などを調整することができる。
記録開始ボタンは、デジタルビデオカメラ1の撮影待機中において、ユーザによる押下操作を受け付けて、動画記録を開始させるためのボタンである。また、記録開始ボタンは、デジタルビデオカメラ1の動画記録中において、ユーザによる押下操作を受け付けて、動画記録を停止させる機能も兼ねている。
液晶モニタ270は、CCDイメージセンサ150で生成された第1視点信号および第2視点信号や、メモリカード240から読み出された第1視点信号および第2視点信号を、2D表示または3D表示することが可能な表示デバイスである。また、液晶モニタ270は、デジタルビデオカメラ100の各種の設定情報を表示可能である。例えば、液晶モニタ270は、撮影時における撮影条件である、EV値、F値、シャッタスピード、ISO感度、輻輳点の位置等の設定情報を表示可能である。
なお、本実施形態では、光学系110aおよびCCDイメージセンサ150aの組み合わせが第1の撮像部、光学系110aおよびCCDイメージセンサ150aの組み合わせが第2の撮像部として機能する。また、OISアクチュエータ130a、130b、およびコントローラ210の組み合わせが輻輳点調整部および手振れ補正部として機能し、コントローラ210が稼動範囲設定部として機能する。
[1−2.動作]
以下、図2Aから図7を参照しながら、デジタルビデオカメラ1の輻輳点の制御および、輻輳点の制御に伴う手振れ補正の稼動範囲の変更について説明する。
図2A〜2Cは、OIS112における補正レンズ114の機能を説明するための模式図である。図2A〜2Cは、それぞれ補正レンズ114が一方の端、中央、他方の端に位置するときのフォーカスレンズ113の光軸に沿ってCCDイメージセンサ150に垂直に入射する光線の経路を例示している。補正レンズ112を当該光軸に垂直な方向にシフトさせることにより、フォーカスレンズ113の光軸に沿ってCCDイメージセンサ150に入射する光線が図に示すように変化する。このため、2つの補正レンズ114a、114bをともに内側または外側にシフトさせれば、輻輳点の位置を前後に移動させることができる。また、撮影中の手振れを相殺するように、補正レンズ114をシフトさせることにより、CCDイメージセンサ150の撮像面上に形成される像のぶれを補正することができる。
図3は、補正レンズ114a、114bをシフトさせることによって輻輳点が変化することを示す模式図である。なお、図3では、便宜上、デジタルビデオカメラ1の構成要素のうち、OIS112a、112bだけが描かれている。この例では、人物およびその後方に位置する木を撮影する場合を想定する。図3(a)および(b)は、輻輳点が木の位置にあるときの左眼用画像および右眼用画像をそれぞれ表している。一方、図3(c)および(d)は、輻輳点が人物の位置にあるときの左眼用画像および右眼用画像をそれぞれ表している。この例では、補正レンズ114a、114bが図3における実線で表される位置から点線で表される位置にシフトすると、輻輳点が人物の位置から木の位置に移動するものとしている。ユーザが、例えば輻輳点を人物の位置から木の位置に移動させるために操作ダイヤルを操作すると、補正レンズ114a、114bは実線の位置から点線の位置にシフトし、それに伴い、CCDイメージセンサ150a、150bの撮像面上に形成される像が水平方向にシフトする。その結果、左右の画像において視差がゼロになる被写体が人物から木に変化する。この動作により、人物については飛び出し感が増加し、木については奥行き感が減少するという調整が実現される。このような輻輳点の調整は、撮影前に行われるのみならず、動画の撮影中にも行われ得る。
上記のような輻輳点の位置の調整を行った上で、撮影が指示されると、デジタルビデオカメラ1は、撮影中に生じる手振れを補正しながら映像を記録する。コントローラ210は、ジャイロセンサ220を介して撮影時の手振れの方向および大きさを検出し、ブレを打ち消すようにOISアクチュエータ130を制御する。これにより、撮影時の手振れの影響による画像の劣化を抑えることができる。この際、上述のように、輻輳点の位置に応じて手振れ補正の稼働範囲が制御される。
以下、本実施形態における輻輳点の位置に応じた手振れ補正の稼働範囲の制御の動作を説明する。
図4は、輻輳点が基準点に位置するときの、左右の補正レンズ114a、114bの可動範囲と手振れ補正の稼動範囲とを説明するためのイメージ図である。図4でも、説明の便宜のため、OIS112a、112b以外の構成要素は図示されていない。また、図4では、補正レンズ114a、114bの移動に伴うフォーカスレンズ113a、113bの光軸に沿ってCCDイメージセンサ150に入射する光線の振れの幅を、便宜上補正レンズ114a、114bの可動範囲と同じ記号aで表現している。OIS112aおよびOIS112bをそれぞれ含む光学系110aおよび110bは、内側に傾いて配置されているため、それらの光軸は輻輳点で交差する。
ここで基準点とは、OIS112aの補正レンズ114aおよびOIS112bの補正レンズ114bの中心位置が、それぞれ光学系110aおよび光学系110bの光軸上にあるときの輻輳点である。このとき、補正レンズ114aおよび補正レンズ114bが手振れ補正のために移動できる範囲(可動範囲)は、図4の下図に示すように、補正レンズ114a、114bの中心位置に対して左右対称である。すなわち、補正レンズ114a(右レンズ)の可動範囲は、補正レンズ114aの中心位置から右方に距離a、左方も同様に距離aである。同様に、補正レンズ114b(左レンズ)の可動範囲は、補正レンズ114bの中心位置から右方に距離a、左方も同様に距離aである。
本実施の形態にかかるデジタルビデオカメラ1のように、複眼の光学系にて手振れ補正を行う場合、左右の補正レンズ114aおよび114bによって補正可能な手振れ範囲が同じである必要がある。仮に、左右の補正レンズ114aおよび114bによって補正可能な手振れ範囲が異なる場合、一方の目に対応する補正レンズでは補正可能であるが、他方の目に対応する補正レンズでは補正が不可能な手振れが発生した場合に、不都合が生じる。すなわち、このような場合、一方の補正レンズを介して得た画像については、手振れの影響が少ないものが得られるが、他方の補正レンズを介して得た画像については、手振れの影響が残ったものが得られるという不都合が生じる。手振れの影響が異なる(画像としてブレの度合が異なる)左右の画像を、3D画像として合成すると、視聴者にとって視認にしにくい仕上がりとなってしまう。従って、左右の画像への手振れの影響を同じにするために、本実施の形態にかかるデジタルビデオカメラ1では、左右の補正レンズ114aおよび114bの手振れ補正の稼動範囲が同じになるように制御される。
図4に示す状態の場合、OIS112aの補正レンズ114a(右レンズ)も、OIS112bの補正レンズ114b(左レンズ)も、その可動範囲は、中心位置から右方へも左方へもともに距離aである。従って、図4に示す状態の場合、補正レンズ114a(右レンズ)も、補正レンズ114b(左レンズ)も、手振れ補正の稼動範囲が、それぞれの可動範囲と同じになるように制御される。
以上の動作により、本実施の形態にかかるデジタルビデオカメラ1によれば、輻輳点が基準点に位置するときにおいて、適切な手振れ補正を行うことができる。
図5は、輻輳点が基準点よりも遠い側に位置するときの、左右の補正レンズ114a、114bの可動範囲と手振れ補正の稼動範囲とを説明するためのイメージ図である。
ユーザは、撮影モード中に操作ダイヤルを操作することにより、輻輳点を基準点に対して遠い側に移動させることができる。デジタルビデオカメラ1は、ユーザからの操作を受け付けて輻輳点を移動させることで、左右の画像から得られる3D画像の立体感を調整することができる。輻輳点に位置する被写体は3D画像上で視差が生じないため、この動作は、3D画像上で視差が生じない被写体を基準点に位置する被写体から、それよりも奥に位置する被写体に変更する動作と言える。この動作により、基準点よりも手前にある被写体の飛び出し感を高めることができる。
輻輳点の調整に際して、コントローラ210は、操作ダイヤルを介してユーザからの指示を受け、OISアクチュエータ130に補正レンズ114をシフトさせるための制御信号を送る。OISアクチュエータ130は、その制御信号に基づいて補正レンズ114をシフトさせることにより、輻輳点の位置を変化させる。輻輳点の位置を変化させる際、コントローラ210は、手振れ補正の稼働範囲を輻輳点の変化に応じて変更する。なお、上記では操作ダイヤルを介したユーザからの指示を受けて、コントローラ210は、OISアクチュエータ130に補正レンズ114をシフトされるための制御信号を送るようにしたが、これに限定されない。所定の状況になったときに、OISアクチュエータ130に補正レンズ114をシフトされるための制御信号を送るよう、コントローラ210が自動的に判断してもよい。
図5に示すように、輻輳点が基準点よりも遠い側に移動した場合、補正レンズ114a、114bの中心位置に対して可動範囲は左右非対称である。すなわち、OIS112aの補正レンズ114a(右レンズ)の可動範囲は、補正レンズ114aの中心位置から左方に距離bであるが、右方には距離cとなる。一方、OIS112bの補正レンズ114b(左レンズ)の可動範囲は、補正レンズ114bの中心位置から左方に距離cであるが、右方には距離bとなる。
上述のとおり、左右のOIS112a、112bの補正レンズ114a、114bの手振れ補正の稼動範囲を同じにする必要があるため、コントローラ210は、手振れ補正の稼動範囲を、補正レンズ114a、114bの左右の可動範囲のうち、距離が短い方に合わせる。図5に示す状態の場合、補正レンズ114a(右レンズ)の可動範囲は、距離cである右側範囲に比べ距離bである左側範囲の方が短い。そのため、コントローラ210は、手振れ補正の稼動範囲を距離bに合わせる。これにより、補正レンズ114a(右レンズ)において、手振れ補正の稼動範囲は左方に距離b、右方にも距離bとなるように制御される。同様に、OIS112bの補正レンズ114b(左レンズ)において、手振れ補正の稼動範囲は左方に距離b、右方にも距離bとなるように制御される。
以上の動作により、本実施の形態にかかるデジタルビデオカメラ1によれば、輻輳点が基準点よりも遠い側に位置するように補正レンズ114を移動させたとしても、適切な手振れ補正を行うことができる。
図6は、輻輳点が基準点よりも近い側に位置するときの、左右の補正レンズ114a、114bの可動範囲と手振れ補正の稼動範囲とを説明するためのイメージ図である。
ユーザは、撮影モード中に操作ダイヤルを操作することにより、輻輳点を基準点に対して近い側に移動させることができる。この動作は、3D画像上で視差が生じない被写体を基準点に位置する被写体から、それよりも手前に位置する被写体に変更する動作と言える。この動作により、基準点よりも手前にある被写体の飛び出しの程度が小さくなるため、当該被写体の立体感を抑えることができる。
この場合も、輻輳点の調整に際して、コントローラ210は、操作部材250に含まれる操作ダイヤルを介してユーザからの指示を受け、OISアクチュエータ130に補正レンズ114をシフトさせるための制御信号を送る。OISアクチュエータ130は、その制御信号に基づいて補正レンズ114をシフトさせることにより、輻輳点の位置を変化させる。輻輳点の位置を変化させる際、コントローラ210は、手振れ補正の稼働範囲を輻輳点の変化に応じて変更する。
図6に示すように、輻輳点が基準点よりも近い側に移動した場合、補正レンズ114の中心位置に対して可動範囲は左右非対称である。すなわち、補正レンズ114a(右レンズ)の可動範囲は、補正レンズ114aの中心位置から左方に距離dであるが、右方には距離eとなる。一方、補正レンズ114b(左レンズ)の可動範囲は、補正レンズ114bの中心位置から左方に距離eであるが、右方には距離dとなる。
上述のとおり、左右のOIS112a、112bの補正レンズ114a、114bの手振れ補正の稼動範囲を同じにする必要があるため、コントローラ210は、手振れ補正の稼動範囲を、補正レンズ114a、114bの可動範囲の距離が短い方に合わせる。図6に示す状態の場合、OIS112aの補正レンズ114a(右レンズ)の可動範囲は、距離dである左側範囲に比べ距離eである右側範囲の方が短い。そのため、コントローラ210は、手振れ補正の稼動範囲を距離eに合わせる。これにより、OIS112aの補正レンズ114a(右レンズ)において、手振れ補正の稼動範囲は左方に距離e、右方にも距離eとなるように制御される。同様に、OIS112bの補正レンズ114b(左レンズ)において、手振れ補正の稼動範囲は左方に距離e、右方にも距離eとなるように制御される。
以上の動作により、本実施の形態にかかるデジタルビデオカメラ1によれば、輻輳点が基準点よりも近い側に位置するように補正レンズ114を移動させたとしても、適切な手振れ補正を行うことができる。
図7は、マクロ撮影モードに設定されたときの、左右の補正レンズ114a、114bの可動範囲と手振れ補正の稼動範囲とを説明するためのイメージ図である。マクロ撮影モードにおいては、輻輳点が図6に示す例における輻輳点の位置よりも更に近い側に移動される。
ユーザは、操作ダイヤルを操作することにより、輻輳点を、図6に示す例における輻輳点の位置から更に近い側に移動させることができる。また、本実施の形態にかかるデジタルビデオカメラ1は、ユーザ設定ボタンを有している。ユーザ設定ボタンにマクロ撮影モードが設定されていれば、ユーザがユーザ設定ボタンを押下すれば、ダイレクトにマクロ撮影モードに移行し、コントローラ210は、OISアクチュエータ130に補正レンズ114をシフトさせるための制御信号を送る。OISアクチュエータ130は、その制御信号に基づいて補正レンズ114をシフトさせることにより、輻輳点の位置を変化させる。その結果、OIS112aの補正レンズ114aおよびOIS112bの補正レンズ114bは、図7に示す状態になる。この場合も、コントローラ210は、手振れ補正の稼働範囲を輻輳点の変化に応じて変更する。
図7に示すように、マクロ撮影モード時において、補正レンズ114の中心位置に対して可動範囲は左右非対称である。すなわち、OIS112aの補正レンズ114a(右レンズ)の可動範囲は、補正レンズ114aの中心位置から左方に距離fであるが、右方には距離gとなる。一方、OIS112bの補正レンズ114b(左レンズ)の可動範囲は、補正レンズ114bの中心位置から左方に距離gであるが、右方には距離fとなる。
上述のとおり、左右のOIS112a、112bの補正レンズ114a、114bの手振れ補正の稼動範囲を同じにする必要があるため、コントローラ210は、手振れ補正の稼動範囲を、補正レンズ114a、114bの可動範囲の距離が短い方に合わせる。図7に示す状態の場合、OIS112aの補正レンズ114a(右レンズ)の可動範囲は、距離fである左側範囲に比べ距離gである右側範囲の方が短い。そのため、コントローラ210は、手振れ補正の稼動範囲を距離gに合わせる。これにより、OIS112aの補正レンズ114a(右レンズ)において、手振れ補正の稼動範囲は左方に距離g、右方にも距離gとなるように制御される。同様に、OIS112bの補正レンズ114b(左レンズ)において、手振れ補正の稼動範囲は左方に距離g、右方にも距離gとなるように制御される。
マクロ撮影モード時においては、被写体距離(カメラからの距離)の近い被写体を撮影するために、OIS112aの補正レンズ114a(右レンズ)およびOIS112bの補正レンズ114b(左レンズ)は、輻輳点を設定可能な最至近の近くまで移動させた状態となる。このとき、輻輳点を物理的に移動可能な最至近まで移動させたとすると、OIS112a、112bの補正レンズは、手振れ補正のための稼動範囲を失ってしまう。そのため、本実施の形態にかかるデジタルビデオカメラ1においては、マクロ撮影モードにおいても、手振れ補正を行うために、手振れ補正の稼動範囲の限界値を設けている。この限界値は、例えば、ユーザが、歩いたり動いたりせず、立ち止まった状態において、デジタルビデオカメラ1を構えたときに、手振れ補正が十分に機能する限界の値に設定される。従って、本実施の形態にかかるデジタルビデオカメラ1においては、マクロ撮影時の輻輳点移動のためにOIS112a、112bの補正レンズ114a、114bを移動させたとしても、手振れ補正の稼動範囲は残しているため、手振れ補正を行うことができる。
以上の動作により、本実施の形態にかかるデジタルビデオカメラ1によれば、マクロ撮影モード時においても、適切な手振れ補正を行うことができる。
なお、本実施形態では、光軸に垂直に移動する補正レンズ114を用いて輻輳点の調整および手振れ補正を行うが、このような構成に限定されない。例えば、特許文献2に示されるように、光学系を回転させることによって輻輳点の調整や手振れ補正を行ってもよい。このように、輻輳点の調整および手振れ補正を実行するための光学構成はどのような構成であってもよい。
[1−3.効果等]
以上のように、本実施の形態において、デジタルビデオカメラ1は、光学系110と、CCDイメージセンサ150と、コントローラ210と、OISアクチュエータ130とを備える。コントローラ210は、輻輳点の位置に応じて手振れ補正の稼働範囲を適切に設定する。OISアクチュエータ130は、設定された稼働範囲内で光学系110に含まれる補正レンズ114を駆動する。これにより、輻輳点が基準点から変更されても、手振れ補正を適切に行うことができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。以下、他の実施の形態のいくつかの例を説明する。
[2−1.センサシフト方式]
上記実施の形態1では、OIS112a、112bの補正レンズ114a、114bが移動することにより基準点に対する輻輳点の位置が調整されるが、本開示における技術はこのような構成に限定されない。補正レンズ114a、114bの代わりにCCDイメージセンサ150a、150bを移動させることにより、基準点に対する輻輳点の位置を調整するようにしてもよい。この場合、手振れ補正についても、補正レンズ114a、114bの代わりにCCDイメージセンサ150がシフトするようにすればよい。補正レンズ114a、114bをシフトさせることと、CCDイメージセンサ150をシフトさせることとは、いずれもCCDイメージセンサ150の撮像面上の像を全体的にシフトさせるという共通の効果をもたらす。したがって、これらの動作はほぼ等価であり、互いに代替可能である。本明細書では、CCDイメージセンサ150等の撮像素子をシフトさせる方式を「センサシフト方式」と呼び、実施の形態1のように補正レンズ114をシフトさせる方式を「レンズシフト方式」と呼ぶことがある。これらの方式を総称して光学的方式と呼ぶこともある。
図8は、センサシフト方式による輻輳点の調整および手振れ補正を行うデジタルビデオカメラ2の構成例を示すブロック図である。この構成例では、図1Bに示す構成例とは異なり、OIS112およびOISアクチュエータ130が設けられていない代わりに、CCDイメージセンサ150a、150bをそれぞれ駆動するCCDアクチュエータ170a、170bが設けられている。CCDアクチュエータ170a、170bは、例えば超音波モータによって実現され得る。CCDアクチュエータ170a、170bは、コントローラ210からの指令を受けて、それぞれCCDイメージセンサ150a、150bの撮像面を含む部分を光軸に垂直な面内で駆動制御する。コントローラ210は、実施の形態1と同様の制御により、CCDアクチュエータ170a、170bを介してCCD150a、150bをシフトさせる。これにより、実施の形態1と同様の輻輳角の調整および手振れ補正が実現可能である。
本実施形態においても、コントローラ210は、輻輳点の調整結果に基づいて、手振れ補正の稼働範囲を設定する。すなわち、CCDイメージセンサ150が物理的に移動可能な範囲(可動範囲)のうち、手振れ補正のためにシフトすることが許容される範囲を設定し、その範囲内でCCDアクチュエータ170a、170bにCCDイメージセンサ150a、150bを駆動させる。
なお、本実施形態では、CCDアクチュエータ170a、170b、およびコントローラ210の組み合わせが輻輳点調整部および手振れ補正部として機能する。
[2−2.電子的方式]
上記の実施の形態では、光学的な方法、すなわち、OIS112a、112bの補正レンズ114a、114b、またはCCDイメージセンサ150a、150bを移動させることにより輻輳点の基準点に対する位置を調整するようにしたが、本開示はこれに限定されない。すなわち、電子的な方法により、輻輳点の基準点に対する位置を調整するようにしてもよい。例えば、左右の画像の切り出し位置を調整(シフト)させることにより、輻輳点の基準点に対する位置を調整するようにしてもよい。移動レンズ114やCCDイメージセンサ150をシフトさせることと、切り出し位置をシフトさせることとは、いずれも画像全体を一方向にスライドさせるという共通の効果をもたらすため、これらの処理はほぼ等価である。したがって、光学的方法と電子的方法とは互いに代替可能である。
図9は、電子式方法による輻輳点の調整の概念を説明するための図である。なお、図9では、光学系110a、110bを簡略化して1つのレンズとして表現している。この例では、光学系110a、110bの光軸は、人物の後方にある木の位置で交差している。図9(a)、(b)は、この状態においてCCDイメージセンサ150a、150bから出力される画像信号に対応する画像の例をそれぞれ示している。図中の破線は、画像処理部160によって抽出される切り出し領域の例を表している。
図9(c)、(d)は、図9(a)、(b)からそれぞれ切り出された領域から構成される画像であり、輻輳点が木の位置にある画像を示している。一方、図9(e)、(f)は、同様に図9(a)、(b)からそれぞれ切り出された領域から構成される画像であるが、輻輳点が人物の位置にある画像を示している。画像の切り出し領域の位置を、例えば図9(c)、(d)に対応する位置から図9(e)、(f)に対応する位置に変更することにより、輻輳点の位置を木の位置から人物の位置に変更することができる。
また、手振れ補正についても、同様に電子的方法を用いることができる。画像切り出し領域の位置のシフトによる手振れ補正(電子手振れ補正)を併用する場合、輻輳点の調整による左右の画像の切り出し位置のシフトに応じて、電子手振れ補正に使用可能な稼動範囲が短くなる。このため、光学的な方法による実施の形態と同様に、コントローラ210は、左右の手振れ補正の稼動範囲が同じになるように制御する。具体的には、左右の画像の切り出し領域をシフトさせる範囲を稼動範囲として設定する。本実施の形態における稼動範囲は、例えばシフト可能な画素数を示す数値で表され得る。ここで、輻輳点は左右の切り出し領域によって仮想的に定まる概念であり、左右の切り出し領域が示す画像において視差がゼロになる点を指す。以上の制御により、電子的な方法の場合であっても、輻輳点の移動調整を行いながら、手振れ補正も適切に行うことができる。
図10は、輻輳点の調整および手振れ補正を電子的な方法で行うデジタルビデオカメラ3の構成例を示すブロック図である。この構成例では、OIS112、OISアクチュエータ130、およびCCDアクチュエータ170は設けられていない。上記の輻輳点の調整および手振れ補正は、コントローラ210によって制御された画像処理部160によって実行される。すなわち、画像処理部160およびコントローラ210の組み合わせが輻輳点調整部および手振れ補正部として機能する。
[2−3.その他の方式]
上記の光学的な方法と電子的な方法とを併用することもできる。例えば、光学的な方法と電子的な方法とを併用して輻輳点の調整や手振れ補正を行ってもよい。輻輳点の調整と手振れ補正の方式の可能な組み合わせの例として、図11に示すパターンA〜Eが考えられる。
図11において、輻輳点調整および手振れ補正をともにレンズシフト方式で行うパターンAは、実施の形態1において例示した方式に対応する。また、輻輳点調整および手振れ補正をともにセンサシフト方式で行うパターンBは、上記[2−1]で示した方式に対応する。輻輳点調整および手振れ補正をともに電子式方法で行うパターンCは、上記[2−2]で示した方式に対応する。これらのパターン以外にも、輻輳点の調整および手振れ補正を、レンズシフト方式と電子式方式とを組み合わせて行うパターンDや、センサシフト方式と電子式方式とを組み合わせて行うパターンEを採用することもできる。
なお、図11に示すパターン以外にも、左右の撮像部(光学系および撮像素子を含む)の方式が異なっているようなパターンもあり得る。例えば、一方の撮像部は光学式の輻輳点調整および手振れ補正を行い、他方の撮像部は電子式の輻輳点調整および手振れ補正を行う構成が挙げられる。このように、左右非対称の撮像部構成であっても、本開示における輻輳点の位置に応じた手振れ補正の稼働範囲の制御を適用できる。また、各撮像部において、レンズシフト方式とセンサシフト方式とを併用する構成も考えられる。
さらに、輻輳点調整および手振れ補正をともに電子式方法で行うパターンCでは、必ずしも2眼の撮像系を用いる必要はない。いわゆる単眼3Dの構成を用いた場合でも、画像処理によって上記の制御を適用できる。
なお、実施の形態1のようにレンズシフト方式を用いた構成において、輻輳点の位置を至近距離に設定したマクロ撮影モードにおいては、手振れ補正の稼働範囲が非常に狭くなる。そのため、手振れ補正を十分に実行することができない場合がある。そのような場合、電子式の輻輳点調整を併用するようにすれば、手振れ補正の稼働範囲を十分に確保した上で、マクロ撮影を行うことができる。このような構成では、レンズシフト方式における接写限界を超えたマクロ撮影が可能になるというメリットもある。
[2−4.レンズ制御装置]
上記の実施形態では、デジタルビデオカメラの実施の形態を説明したが、本開示はこれに限定されない。すなわち、第1の光軸を有する第1の光学系であって、前記第1の光軸に交差する方向にシフト可能に構成された第1の補正レンズを有する第1の光学系と、前記第1の光軸に交差する第2の光軸を有する第2の光学系であって、前記第2の光軸に交差する方向にシフト可能に構成された第2の補正レンズを有する第2の光学系と、前記第1の補正レンズおよび前記第2の補正レンズをシフトさせることによって輻輳点の位置を変化させる輻輳点調整部と、前記輻輳点の位置に基づいて手振れ補正の稼動範囲を決定する稼動範囲設定部と、設定された前記稼動範囲内で、前記第1の補正レンズおよび前記第2の補正レンズをシフトさせることによって撮影時の手振れを補正する手振れ補正部と、を備えたレンズ制御装置を搭載したものであれば、交換レンズに対しても適用可能である。
[2−5.制御プログラム]
本開示はさらに、輻輳点の調整および手振れ補正が可能な3次元撮像装置に用いられる制御プログラムにも適用され得る。図12は、そのようなプログラムに規定される動作の概略を示すフローチャートの例である。
この例では、まず、ステップS1201において、輻輳点の変更指示の有無を判断する。変更指示があれば、ステップS1202に移り、輻輳点を変更する。続いて、ステップS1203において、変更後の輻輳点の位置に基づき、手振れ補正の稼働範囲を設定する。その後、ステップS1204において、稼動範囲内で手振れ補正を実行しながら撮影を行う。
このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。3Dデジタルカメラや3Dビデオカメラに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作が実現される。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれる。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちにそれらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、デジタルビデオカメラに限らず、3次元画像を取得する撮像装置に広く適用可能である。例えば、デジタルスチルカメラ、カメラ付き携帯機器等にも適用可能である。
10a、10b 撮像部
11a、11b 光学系
15a、15b 撮像素子
20 制御部
21 輻輳点調整部
22 稼動範囲設定部
23 手振れ補正部
110a、110b 光学系
111a、111b ズームレンズ
112a、112b OIS
113a、113b フォーカスレンズ
114a、114b 補正レンズ
120a、120b ズームモータ
130a、130b OISアクチュエータ
140a、140b フォーカスモータ
150a、150b CCDイメージセンサ
160 画像処理部
200 メモリ
210 コントローラ
220 ジャイロセンサ
230 カードスロット
240 メモリカード
250 操作部材
270 液晶モニタ
280 内部メモリ

Claims (10)

  1. 輻輳点の調整および手振れ補正が可能な3次元撮像装置であって、
    第1の光学系および第1の撮像素子を有し、第1の画像を生成するための第1の信号を出力するように構成された第1の撮像部と、
    第2の光学系および第2の撮像素子を有し、前記第1の画像に対して視差を有する第2の画像を生成するための第2の信号を出力するように構成された第2の撮像部と、
    前記第1の光学系および前記第2の光学系をシフトさせる第1方式、および前記第1の撮像素子よび前記第2の撮像素子をシフトさせる第2方式の少なくとも一方の方式による光学シフト動作、および前記第1および第2の信号が示す画像からそれぞれ抽出される切り出し領域をシフトさせる電子シフト動作の少なくとも一方の動作を実行することにより、輻輳点の位置を調整する輻輳点調整部と、
    前記輻輳点の位置に基づいて、手振れ補正の稼働範囲を設定する稼動範囲設定部と、
    前記第1方式および前記第2方式の少なくとも一方の方式によって撮影時の手振れを補正する光学式手振れ補正、および前記第1および第2の信号が示す画像からそれぞれ抽出される切り出し領域をシフトさせることによって撮影時の手振れを補正する電子式手振れ補正の少なくとも一方の手振れ補正を、設定された前記稼動範囲内で実行する手振れ補正部と、
    を備える3次元撮像装置。
  2. 前記第1の光学系は、前記第1の光学系の光軸に交差する方向にシフト可能な第1の補正レンズを有し、
    前記第2の光学系は、前記第2の光学系の光軸に交差する方向にシフト可能な第2の補正レンズを有し、
    前記輻輳点調整部は、前記第1の補正レンズおよび前記第2の補正レンズをシフトさせることによって前記輻輳点を移動させ、
    前記手振れ補正部は、設定された前記稼動範囲内で、前記第1の補正レンズおよび前記第2の補正レンズをシフトさせることによって撮影時の手振れを補正する、
    請求項1に記載の3次元撮像装置。
  3. 前記稼動範囲設定部は、手振れ補正の第1の方向の稼動範囲を、前記第1の補正レンズが前記第1の方向に移動できる距離および前記第2の補正レンズが前記第1の方向に移動できる距離のうちの短い方の距離に設定し、前記第1の方向とは逆の第2の方向の稼動範囲を、前記第1の補正レンズが前記第2の方向に移動できる距離および前記第2の補正レンズが前記第2の方向に移動できる距離のうちの短い方の距離に設定する、請求項2に記載の3次元撮像装置。
  4. 前記稼動範囲設定部は、前記輻輳点の位置に基づいて、手振れ補正の左右の稼動範囲を同じ範囲に設定する、請求項1から3のいずれかに記載の3次元撮像装置。
  5. 前記輻輳点調整部は、前記第1の撮像素子および前記第2の撮像素子をシフトさせることによって前記輻輳点を移動させ、
    前記手振れ補正部は、設定された前記稼動範囲内で、前記第1の撮像素子および前記第2の撮像素子をシフトさせることによって撮影時の手振れを補正する、
    請求項1に記載の3次元撮像装置。
  6. 前記稼動範囲設定部は、手振れ補正の第1の方向の稼動範囲を、前記第1の撮像素子が前記第1の方向に移動できる距離および前記第2の撮像素子が前記第1の方向に移動できる距離のうちの短い方の距離に設定し、前記第1の方向とは逆の第2の方向の稼動範囲を、前記第1の撮像素子が前記第2の方向に移動できる距離および前記第2の撮像素子が前記第2の方向に移動できる距離のうちの短い方の距離に設定する、請求項5に記載の3次元撮像装置。
  7. 前記輻輳点調整部は、前記第1の信号が示す画像から抽出する第1の画像領域、および前記第2の信号が示す画像から抽出する第2の画像領域をシフトさせることによって前記輻輳点を移動させ、
    前記手振れ補正部は、設定された前記稼動範囲内で、前記第1および第2の画像領域をシフトさせることによって撮影時の手振れを補正する、
    請求項1に記載の3次元撮像装置。
  8. 前記稼動範囲設定部は、手振れ補正の第1の方向の稼動範囲を、前記第1の画像領域が前記第1の方向に移動できる画像上の距離および前記第2の画像領域が前記第1の方向に移動できる画像上の距離のうちの短い方の距離に設定し、前記第1の方向とは逆の第2の方向の稼動範囲を、前記第1の画像領域が前記第2の方向に移動できる画像上の距離および前記第2の画像領域が前記第2の方向に移動できる画像上の距離のうちの短い方の距離に設定する、請求項7に記載の3次元撮像装置。
  9. 第1の光軸を有する第1の光学系であって、前記第1の光軸に交差する方向にシフト可能に構成された第1の補正レンズを有する第1の光学系と、
    前記第1の光軸に交差する第2の光軸を有する第2の光学系であって、前記第2の光軸に交差する方向にシフト可能に構成された第2の補正レンズを有する第2の光学系と、
    前記第1の補正レンズおよび前記第2の補正レンズをシフトさせることによって輻輳点の位置を変化させる輻輳点調整部と、
    前記輻輳点の位置に基づいて手振れ補正の稼動範囲を決定する稼動範囲設定部と、
    設定された前記稼動範囲内で、前記第1の補正レンズおよび前記第2の補正レンズをシフトさせることによって撮影時の手振れを補正する手振れ補正部と、
    を備えるレンズ制御装置。
  10. 輻輳点の調整および手振れ補正が可能な3次元撮像装置に用いられるプログラムであって、
    前記3次元撮像装置は、
    第1の光学系および第1の撮像素子を有し、第1の画像を生成するための第1の信号を出力するように構成された第1の撮像部と、
    第2の光学系および第2の撮像素子を有し、前記第1の画像に対して視差を有する第2の画像を生成するための第2の信号を出力するように構成された第2の撮像部と、
    を備え、
    前記プログラムは、コンピュータに対し、
    前記第1の光学系および前記第2の光学系をシフトさせる第1方式、および前記第1の撮像素子および前記第2の撮像素子をシフトさせる第2方式の少なくとも一方の方式による光学シフト動作、および前記第1および第2の信号が示す画像からそれぞれ抽出される切り出し領域をシフトさせる電子シフト動作の少なくとも一方の動作を実行することにより、輻輳点の位置を調整するステップと、
    前記輻輳点の位置に基づいて、手振れ補正の稼働範囲を設定するステップと、
    前記第1方式および第2方式の少なくとも一方の方式によって撮影時の手振れを補正する光学式手振れ補正、および前記第1および第2の信号が示す画像からそれぞれ抽出される切り出し領域をシフトさせることによって撮影時の手振れを補正する電子式手振れ補正の少なくとも一方の手振れ補正を、設定された前記稼動範囲内で実行するステップと、
    を実行させるプログラム。
JP2013529854A 2011-08-23 2012-08-02 3次元撮像装置、レンズ制御装置、およびプログラム Expired - Fee Related JP5789793B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013529854A JP5789793B2 (ja) 2011-08-23 2012-08-02 3次元撮像装置、レンズ制御装置、およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011181251 2011-08-23
JP2011181251 2011-08-23
JP2013529854A JP5789793B2 (ja) 2011-08-23 2012-08-02 3次元撮像装置、レンズ制御装置、およびプログラム
PCT/JP2012/004926 WO2013027343A1 (ja) 2011-08-23 2012-08-02 3次元撮像装置、レンズ制御装置、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2013027343A1 JPWO2013027343A1 (ja) 2015-03-05
JP5789793B2 true JP5789793B2 (ja) 2015-10-07

Family

ID=47746116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013529854A Expired - Fee Related JP5789793B2 (ja) 2011-08-23 2012-08-02 3次元撮像装置、レンズ制御装置、およびプログラム

Country Status (4)

Country Link
US (1) US9491439B2 (ja)
JP (1) JP5789793B2 (ja)
CN (1) CN103636191B (ja)
WO (1) WO2013027343A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950521B2 (ja) 2011-09-07 2016-07-13 キヤノン株式会社 立体映像撮影システム及びレンズ装置
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) * 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
FR3019316B1 (fr) * 2014-03-28 2017-08-11 Sagem Defense Securite Systeme de veille optronique a champ optique variable
US10554949B2 (en) * 2014-06-09 2020-02-04 Lg Innotek Co., Ltd. Camera module and mobile terminal including same
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
KR20160068407A (ko) * 2014-12-05 2016-06-15 삼성전기주식회사 촬영 장치 및 촬영 장치의 제어 방법
KR102406869B1 (ko) * 2015-11-05 2022-06-10 삼성전자 주식회사 복수의 카메라 렌즈를 포함하는 카메라 모듈, 이를 포함하는 전자 장치 및 카메라 모듈의 동작 제어 방법
KR102462711B1 (ko) * 2016-01-08 2022-11-04 삼성전자주식회사 전자 장치의 센서 동작 방법 및 장치
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
CN107665481B (zh) * 2017-09-21 2021-05-18 联想(北京)有限公司 图像处理方法、系统、处理设备及电子设备
CN107509070A (zh) * 2017-09-29 2017-12-22 歌尔科技有限公司 三维图像采集设备及方法
CN108337381B (zh) * 2018-03-14 2019-11-19 维沃移动通信有限公司 一种镜头控制方法及移动终端
CN109951638B (zh) * 2019-03-26 2021-02-02 Oppo广东移动通信有限公司 摄像头防抖系统、方法、电子设备和计算机可读存储介质
US11280630B2 (en) * 2019-11-27 2022-03-22 Zoox, Inc. Updating map data
KR20210093566A (ko) * 2020-01-20 2021-07-28 삼성전기주식회사 카메라 모듈
JP2021124980A (ja) * 2020-02-05 2021-08-30 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
CN111432117B (zh) * 2020-03-23 2021-08-10 北京迈格威科技有限公司 图像矫正方法、装置和电子系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3939127B2 (ja) 2001-10-25 2007-07-04 オリンパス株式会社 撮像装置
DE60327943D1 (de) * 2002-11-27 2009-07-23 Vision Iii Imaging Inc Abtastung der parallaxe durch manipulation der position der gegenstände in einer szene
JP2005045328A (ja) * 2003-07-22 2005-02-17 Sharp Corp 3次元画像撮像装置
CN100515040C (zh) * 2003-10-22 2009-07-15 松下电器产业株式会社 成像装置
JP3693120B2 (ja) 2004-06-16 2005-09-07 株式会社タイトー 二眼式立体映像を表示するゲーム機の両眼映像入射位置および輻輳点の調整装置
US20060023197A1 (en) * 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
JP2008028900A (ja) * 2006-07-25 2008-02-07 Fujifilm Corp 撮影システム
JP4875971B2 (ja) * 2006-12-08 2012-02-15 富士フイルム株式会社 撮影装置及びその調整方法
JP5229726B2 (ja) * 2008-08-20 2013-07-03 国立大学法人東京工業大学 遠距離視標探査カメラシステム
JP4914420B2 (ja) * 2008-10-27 2012-04-11 富士フイルム株式会社 撮像装置、複眼撮像装置及び撮像制御方法
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
CN201540451U (zh) * 2009-09-25 2010-08-04 深圳市掌网立体时代视讯技术有限公司 立体数码照相机光学防抖装置及防抖立体数码照相机
JP2011124932A (ja) 2009-12-14 2011-06-23 Panasonic Corp 撮影装置
CN101854485A (zh) * 2010-04-27 2010-10-06 中兴通讯股份有限公司 一种自动调节手持立体拍摄设备抖动的方法及装置
JP5688543B2 (ja) * 2010-07-20 2015-03-25 パナソニックIpマネジメント株式会社 立体画像撮像装置および立体画像撮像装置におけるレンズ駆動方法
JP5665402B2 (ja) * 2010-07-27 2015-02-04 キヤノン株式会社 撮像システム及びその制御方法
JP5572024B2 (ja) * 2010-07-27 2014-08-13 キヤノン株式会社 レンズ装置
CN103069324A (zh) * 2010-08-06 2013-04-24 松下电器产业株式会社 摄像装置
JP5661373B2 (ja) * 2010-08-20 2015-01-28 キヤノン株式会社 撮影システム、撮像装置及びその制御方法
US20120188343A1 (en) * 2011-01-24 2012-07-26 Panasonic Corporation Imaging apparatus

Also Published As

Publication number Publication date
CN103636191A (zh) 2014-03-12
US20140132738A1 (en) 2014-05-15
JPWO2013027343A1 (ja) 2015-03-05
WO2013027343A1 (ja) 2013-02-28
US9491439B2 (en) 2016-11-08
CN103636191B (zh) 2016-11-02

Similar Documents

Publication Publication Date Title
JP5789793B2 (ja) 3次元撮像装置、レンズ制御装置、およびプログラム
JP5938659B2 (ja) 撮像装置およびプログラム
WO2012002307A1 (ja) 単眼立体撮像装置
JP2011259168A (ja) 立体パノラマ画像撮影装置
US20130050532A1 (en) Compound-eye imaging device
JP6432038B2 (ja) 撮像装置
US20130050536A1 (en) Compound-eye imaging device
JP5611469B2 (ja) 立体撮像装置および方法
US9202315B2 (en) Three-dimensional video image processing device and three-dimensional video image processing method
WO2012014347A1 (ja) カメラ本体、交換レンズユニット、撮像装置、カメラ本体の制御方法、プログラムおよびプログラムを記録した記録媒体
JP2012114896A (ja) 3d撮像装置及び3d再生装置
US20130076867A1 (en) Imaging apparatus
JPWO2012017585A1 (ja) 撮像装置
JP2013062557A (ja) デジタル撮影装置及び、3d撮影方法
JP2006184434A (ja) 立体視画像撮影装置および方法
JP2012220603A (ja) 3d映像信号撮影装置
JP5325336B2 (ja) 3次元映像処理装置、方法、およびプログラム
JP2012054919A (ja) 撮像装置
JP5221827B1 (ja) 立体映像撮影装置及びズーム動作の制御方法
JP2012075079A (ja) シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置
WO2012017596A1 (ja) 撮像装置
JP2016178632A (ja) 撮像装置、画像処理装置および画像処理方法
JP2012151538A (ja) 3d撮像装置
JP2013162489A (ja) 3d画像撮像装置
JP2013044845A (ja) 撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150316

R151 Written notification of patent or utility model registration

Ref document number: 5789793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees