JP3829773B2 - 撮像装置およびセンタリング情報取得方法 - Google Patents

撮像装置およびセンタリング情報取得方法 Download PDF

Info

Publication number
JP3829773B2
JP3829773B2 JP2002212678A JP2002212678A JP3829773B2 JP 3829773 B2 JP3829773 B2 JP 3829773B2 JP 2002212678 A JP2002212678 A JP 2002212678A JP 2002212678 A JP2002212678 A JP 2002212678A JP 3829773 B2 JP3829773 B2 JP 3829773B2
Authority
JP
Japan
Prior art keywords
image
center position
image circle
circle
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002212678A
Other languages
English (en)
Other versions
JP2004056581A (ja
Inventor
幹夫 櫻井
万滋 高野
努 本田
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2002212678A priority Critical patent/JP3829773B2/ja
Publication of JP2004056581A publication Critical patent/JP2004056581A/ja
Application granted granted Critical
Publication of JP3829773B2 publication Critical patent/JP3829773B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像中の被写体像のぶれを補正する技術に関する。
【0002】
【従来の技術】
一般に、手によって撮像装置を保持して被写体の撮影を行う場合、微小な撮像装置の振動が生じることから、取得される画像中において手ぶれと呼ばれる被写体像のぶれが発生する。このため従来より、このような被写体像のぶれを補正する手ぶれ補正技術が知られている。
【0003】
例えば、撮像装置の振動を複数の角速度センサにより検出し、検出された角速度およびその向きに応じて撮像素子等を移動させる。これにより、撮影レンズによって結像される光像と、撮像素子により取得される画像との相対位置がぶれを抑制するように変更され、画像中の被写体像のぶれが補正される。
【0004】
【発明が解決しようとする課題】
ところで、このような手ぶれ補正技術を適用する場合、いずれの向きに撮像装置が振動するかは予測不可能である。このため、振動のあらゆる向きに均一に対応可能なように、手ぶれ補正前の初期状態において、イメージサークル(光像)の中心位置と撮像素子の有効画素群の中心位置(画像の中心位置)とは一致していることが好ましい。
【0005】
しかしながら、組立誤差等により撮像素子の取付状態において、イメージサークルの中心位置と撮像素子の有効画素群の中心位置とは一致していないことがある。このため、イメージサークルの中心位置と撮像素子の有効画素群の中心位置(画像の中心位置)とを一致させることができる技術が必要となっていた。
【0006】
また、これに伴って、イメージサークルの中心位置と撮像素子の有効画素群の中心位置(画像の中心位置)とを一致させるための情報を、容易に取得することができる技術が要望されていた。
【0007】
本発明は、上記課題に鑑みてなされたものであり、イメージサークルの中心位置と画像の中心位置とを一致させることができる技術を提供することを第1の目的とする。
【0008】
また、本発明は、イメージサークルの中心位置と画像の中心位置とを一致させるための情報を、容易に取得することができる技術を提供することを第2の目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、請求項1の発明は、撮影レンズを介して形成されるイメージサークルを含む結像平面の一部の領域を、画像として取得する撮像手段を有する撮像装置であって、前記イメージサークルと前記撮像手段との相対位置を移動する移動手段と、前記撮像装置の振動に応じて、前記移動手段に前記相対位置を移動させることにより、前記撮像手段により取得される画像中の被写体像のぶれを補正可能なぶれ補正手段と、前記イメージサークルの中心位置と、前記撮像手段により取得される画像の中心位置とを一致させるためのセンタリング情報が記憶される記憶手段と、を備えている。
【0010】
また、請求項2の発明は、請求項1に記載の撮像装置において、前記結像平面の前記イメージサークル外の領域を含むケラレ画像を、前記撮像手段に取得させるケラレ画像取得手段と、前記ケラレ画像に基づいて、前記イメージサークルの中心位置を特定することにより、前記センタリング情報を取得する情報取得手段と、をさらに備えている。
【0011】
また、請求項3の発明は、請求項1に記載の撮像装置において、前記センタリング情報に基づいて、前記イメージサークルの中心位置と、前記撮像手段により取得される画像の中心位置とが一致するように、前記移動手段に前記相対位置を移動させる位置合わせ手段と、前記位置合わせ手段により前記相対位置が移動された状態で前記撮像装置にて取得される画像に基づいて、前記イメージサークル中におけるシェーディング特性の分布中心位置を特定するシェーディング位置特定手段と、を備えている。
【0012】
また、請求項4の発明は、請求項2に記載の撮像装置において、前記ぶれ補正手段は、前記イメージサークル内の領域のみを前記撮像手段により取得される画像が含むように前記相対位置を移動させるものであり、前記ケラレ画像に基づいて、前記イメージサークルのサイズを取得するサイズ取得手段と、をさらに備えている。
【0013】
また、請求項5の発明は、撮像装置の撮影レンズを介して形成されるイメージサークルと、撮像手段により取得される画像の中心位置とを一致させるためのセンタリング情報を取得する方法であって、前記イメージサークルを含む結像平面の前記イメージサークル外の領域を含むケラレ画像を、前記撮像手段に取得させるケラレ画像取得工程と、前記ケラレ画像に基づいて、前記イメージサークルの中心位置を特定することにより、前記センタリング情報を取得する情報取得工程と、を備えている。
【0014】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【0015】
<1.第1の実施の形態>
<1−1.構成>
図1は、本発明の第1の実施の形態に係る撮像装置であるデジタルカメラの主たる構成を示す断面図である。このデジタルカメラ1aは、手ぶれによる画像中の被写体像のぶれを補正(抑制)する手ぶれ補正機能を有している。図に示すようにデジタルカメラ1aは、主としてカメラ本体部2と、カメラ本体部2に固設される撮影レンズ3とから構成される。なお、以下の説明においては、図に示すXYZ3次元直交座標系を適宜用いて、方向および向きを示すこととする。ここで、Z軸方向は撮影レンズ3の光軸Lに沿った方向であり、Z軸正方向は入射光の入射先となる向き(図において右向き)である。また、Y軸方向は鉛直方向であり、Y軸正方向は鉛直上向き(図において上向き)である。さらに、X軸方向は図面(紙面)に対しての垂直方向であり、X軸正方向は図面(紙面)に対する垂直下向きである。これらXYZ軸は、カメラ本体部2のハウジング2aに対して相対的に固定される。
【0016】
撮影レンズ3は主として、鏡胴31、ならびに、鏡胴31の内部に設けられる複数のレンズ群32および絞り33から構成される。撮影レンズ3はズームレンズとして構成され、レンズ群32の配置をZ軸方向に変更することにより、焦点距離(撮像倍率)を変更可能とされている。撮影レンズ3を介して形成される被写体の光像は、図2に示すように、結像されるXY平面(以下、「結像平面」という。)上において略円形の形状となり、イメージサークルICと呼ばれる。
【0017】
撮影レンズ3の光軸Lの後方(Z軸正方向側)には、カメラ本体部2のハウジング2aに収容されたCCD5が配置されている。CCD5は、カラーフィルタがそれぞれ付された微細な画素群で構成される撮像素子であり、撮影レンズ3によって結像される被写体の光像を、例えばRGBの色成分を有する画像信号に光電変換する。
【0018】
CCD5の受光面は結像平面と一致するように配置され、イメージサークルを含む結像平面の一部の領域が画像データ(本明細書中では、適宜単に「画像」ともいう。)として取得されることとなる。図2において、矩形の領域PAは結像平面上におけるCCD5の有効画素群の配置の例を示している。この領域は結像平面上にて画像として取得される領域であるため「画像取得領域」PAともいう。なお、結像平面においてイメージサークル外の領域OICも画像として取得可能ではあるが、この場合、画像中においてイメージサークル外の領域OICに相当する領域には、「ケラレ」と呼ばれる光量の低下現象が生じることとなる。以下、画像中においてケラレが発生する領域を、「ケラレ領域」と称する。
【0019】
CCD5はCCD移動部50内に固定されて配置される。CCD5は、このCCD移動部50によりZ軸に直交するXY平面内にて移動することが可能とされている。図3は、CCD5を含めたCCD移動部50の分解斜視図である。
【0020】
図3に示すように、CCD移動部50は主として、ハウジング2aに固設されるベース板51、ベース板51に対してX軸方向に移動する第1スライダ52、および、第1スライダ51に対してY軸方向に移動する第2スライダ53の3つの部材から構成される。
【0021】
ベース板51は、撮影レンズ3からの入射光を通過可能に中央部が開口しており、X軸方向に延設される第1アクチュエータ511、および、スプリング55を掛けるための第1スプリング掛け512を備えている。第2スライダ53は、CCD5を固定可能な開口部533がその中央部に形成されるとともに、Y軸方向に延設される第2アクチュエータ531、および、剛球54をZ軸方向両面に遊嵌する剛球受け532を備えている。また、第1スライダ52は中央部が開口しており、第1アクチュエータ511と対向する位置に第1摩擦結合部521、および、第2アクチュエータ531と対向する位置に第2摩擦結合部522がそれぞれ設けられ、さらに、第1スプリング掛け512と対向する位置に第2スプリング掛け523が設けられる。
【0022】
第1アクチュエータ511および第2アクチュエータ531はそれぞれ、圧電素子と延在方向に駆動可能な駆動ロッドとを備えており、圧電素子に印加される駆動パルスに応じた量および向きに駆動ロッドが移動するようになっている。
【0023】
CCD移動部50が組み上げられるときには、CCD5が第2スライダ53の開口部533に嵌合して固設されるとともに、第1アクチュエータ511の駆動ロッドと第1摩擦結合部521とが摩擦結合され、第2アクチュエータ531の駆動ロッドと第2摩擦結合部522とが摩擦結合される。また、ベース板51と第1スライダ52とは、スプリング55によって相互に接近する向きに付勢される。このとき、第2スライダ53は、ベース板51と第1スライダ52とに剛球54を介して挟み込まれた状態とされる。これにより、Z軸負方向側から正方向側に向かって、ベース板51、第2スライダ53、第1スライダ52の順に重なって、これら部材51,53,52が配置されることとなる。
【0024】
このようなCCD移動部50が組み上げられた状態で、第1アクチュエータ511の駆動ロッドが緩速で移動すると、これに摩擦結合する第1摩擦結合部521により第1スライダ52がベース板51に対してX軸方向に移動する。このとき、第1スライダ52の移動にあわせて第2スライダ53もベース板51に対してX軸方向に移動する。第1アクチュエータ511の駆動ロッドが急速に移動すると、慣性により第1スライダ52は停止する。また、第2アクチュエータ531の駆動ロッドが緩速で移動すると、これに摩擦結合する第2摩擦結合部522により第2スライダ53が第1スライダ52に対してY軸方向に移動する。このとき、第1スライダ52のベース板51に対する移動はなされないため、第2スライダ53は単独でベース板51に対してY軸方向に移動することとなる。第2アクチュエータ531の駆動ロッドが急速に移動すると、慣性により第2スライダ53は停止する。つまり、各圧電素子に与えられる駆動パルスによって各駆動ロッドが速度の異なる往動および復動(振動)を行うことにより、第2スライダ53がX軸・Y軸方向に移動することとなる。
【0025】
また、前述したように、ベース板51はカメラ本体部2のハウジング2aに固設され、CCD5は第2スライダ53に固設されることから、CCD5はカメラ本体部2のハウジング2aに対してXY平面内にて相対的に移動することとなる。これにより、撮影レンズ3により形成されるイメージサークルICと、CCD5との相対位置が変更可能とされ、イメージサークルIC中において画像として取得される領域が変更されることとなる。
【0026】
ところで、CCD移動部50による移動がなされないCCD5の取付状態において、CCD5の有効画素群の中心位置と、撮影レンズ3により形成されるイメージサークルの中心位置とは一致することが好ましい。しかしながら、一般に組立誤差等によって、CCD5の有効画素群の中心位置とイメージサークルの中心位置とは一致していないことがある。本実施の形態では、CCD5を取付けた状態(CCD5の取付状態)が図2に示す状態であったと仮定して説明する。すなわち、本実施の形態のデジタルカメラ1aにおいて、CCD5の有効画素群(画像取得領域PA)の中心位置(以下、「画像中心位置」という)5Cと、イメージサークルICの中心位置CCとは一致していない。
【0027】
デジタルカメラ1aのCCD移動部50は、手ぶれ補正動作を行う前に、この画像中心位置5Cとイメージサークルの中心位置CCとを一致させるように動作制御される。この動作制御にはセンタリング情報が用いられるが、デジタルカメラ1aはこのセンタリング情報を取得する機能も有している。これらの詳細は後述する。
【0028】
図1に戻り、CCD5のZ軸正方向側には、移動するCCD5の位置を検出するためのCCD位置センサ58が配置されている。CCD位置センサ58は、発光ダイオード等で構成される2つの投光部56a,56b、および、フォトダイオード等で構成される2つの受光部57a,57bを備えている。投光部56a,56bはCCD5の裏面側(Z軸正方向側)に固設される一方、受光部57a,57bは投光部56a,56bにそれぞれ対向するようにカメラ本体部2のハウジング2aに固設される。投光部56a,56bから投光された光は受光部57a,57bにて受光可能となっており、この受光部57a,57bにて受光する光の位置の変化から、CCD5の位置がXY座標位置として求められる。具体的には、第1投光部56aおよび第1受光部57aにてCCD5のX軸方向の位置を検出し、第2投光部56bおよび第2受光部57bにてCCD5のY軸方向の位置を検出するようになっている。
【0029】
また、カメラ本体部2のハウジング2aの内部には、デジタルカメラ1aの手ぶれによる振動を検出する振動センサ40が設けられている。振動センサ40は、2つの角速度センサ(第1角速度センサ41および第2角速度センサ42)を備えており、第1角速度センサ41にてX軸を中心とした回転振動(ピッチング)Piの角速度が検出され、第2角速度センサ42にてY軸を中心とした回転振動(ヨーイング)Yaの角速度が検出される。この振動センサ40により検出される2つの角速度に基づいて、CCD5がX軸およびY軸のそれぞれの方向に移動されることにより、画像中の被写体像のぶれの補正、すなわち、手ぶれ補正がなされることとなる。
【0030】
カメラ本体部2の上面側にはシャッタボタン61が設けられる。シャッタボタン61は、撮影準備の開始や撮像(露光開始)の指示をユーザから受け付けるボタンであり、半押し状態(S1状態)と全押し状態(S2状態)とが検出可能な2段階スイッチになっている。
【0031】
また、カメラ本体部2の背面側には、操作ボタン62、および、LCD63が設けられる。操作ボタン62は、デジタルカメラ1aの各種指示や設定をユーザから受け付けるものである。ユーザは、この操作ボタン62にて所定の操作を行うことにより、例えば、センタリング情報の取得の指示や撮影レンズ3の焦点距離の設定等を行うことができるようになっている。
【0032】
LCD63は、各種の情報や画像を表示するものである。このLCD63は撮影待機状態において、CCD5にて所定時間ごとに取得される画像を表示(ライブビュー表示)し、被写体像をユーザに確認させつつフレーミングを行わせるビューファインダとして機能する。
【0033】
また、カメラ本体部2の内部には、各種データを記録するメモリカード9(図4参照)を挿入して装着することが可能とされ、CCD5にて取得された画像はメモリカード9に記録されるようになっている。
【0034】
デジタルカメラ1aの手ぶれ補正機能やセンタリング情報取得機能等を含む各種の機能は、カメラ本体部2のハウジング2a内に設けられる全体制御部の制御に基づいて行われる。図4は、この全体制御部7を含めたデジタルカメラ1aの主たる機能構成を機能ブロックとして示す図である。
【0035】
図4に示すように、CCD5、CCD移動部50、CCD位置センサ58、振動センサ40、シャッタボタン61、操作ボタン62およびLCD63等のデジタルカメラ1aの各処理部は全体制御部7に電気的に接続され、全体制御部7の制御下にて動作することとなる。これとともに、CCD位置センサ58にて検出されるCCD5の位置、振動センサ40にて検出される角速度、シャッタボタン61の操作内容、および、操作ボタン62の操作内容等は、それぞれ信号として全体制御部7に入力される。
【0036】
撮影レンズ3は、ズーム・フォーカス駆動部321および絞り駆動部331を備えている。ズーム・フォーカス駆動部321は、ユーザにより設定される焦点距離となるように、また、焦点が合うように(フォーカシング)レンズ群32に含まれるレンズを適宜Z軸方向に駆動するものである。また、絞り駆動部331は、全体制御部7により設定される絞り値となるように絞り33の開口径を調整するものである。ズーム・フォーカス駆動部321および絞り駆動部331も電気的に全体制御部7に接続され、全体制御部7の制御下にて動作する。
【0037】
また、図4において、A/D変換部21、画像処理部22および画像メモリ23は、CCD5にて取得された画像を扱う処理部を示している。すなわち、CCD5にて取得されたアナログ信号の画像は、A/D変換部21にてデジタル信号に変換され、画像処理部22にて所定の画像処理がなされた後、画像メモリ23に格納される。画像メモリ23に格納された画像は、記録用画像としてメモリカード9へ記録されたり、ライブビュー表示用画像としてLCD63に表示されることとなる。このような画像に対する各種の処理も全体制御部7の制御に基づいて行われる。
【0038】
全体制御部7は、マイクロコンピュータを備えて構成される。すなわち、全体制御部7は、各種演算処理を行うCPU70と、演算を行うための作業領域となるRAM75と、制御プログラム等が記憶されるROM76とを備え、上述したようなデジタルカメラ1aの各処理部の動作を統括的に制御する。ROM76としては、例えば、データの追記が可能なEEPROMが採用される。これにより、ROM76は、データの追記が可能で、かつ、電源を落とした場合でもそのデータの内容を保持する。
【0039】
全体制御部7の各種の機能は、予めROM76内に記憶される制御プログラムに従ってCPU70が演算処理を行うことにより実現される。図4において、露出制御部71、操作受付部72、手ぶれ補正制御部73およびセンタリング情報取得部74は、制御プログラムに従ってCPU70が演算処理を行うことにより実現される機能の一部を模式的に示している。
【0040】
露出制御部71は、シャッタスピードと絞り値とを調節する露出制御を行うものである。A/D変換部21にてデジタル信号に変換された画像データは、全体制御部7にも入力される。露出制御部71は、この画像データから得られる被写体の輝度情報に基づいて露出値を決定し、さらに、決定した露出値に基づいてシャッタスピードおよび絞り値を設定する。なお、デジタルカメラ1aにおいてシャッタスピードはCCD5の露光時間(積分時間)に相当する。
【0041】
操作受付部72は、シャッタボタン61や操作ボタン62の操作内容(例えば、センタリング情報の取得指示や撮影レンズの焦点距離の設定など)を示す信号を受け付ける。操作の内容は、RAM75に記憶されるとともに、各処理部に入力される。これにより、デジタルカメラ1aの各処理部が操作に従って動作することとなる。
【0042】
手ぶれ補正制御部73は、手ぶれ補正機能のための制御を行う。具体的には、手ぶれ補正制御部73は、振動センサ40から入力される2つの角速度に基づいて、振動による被写体像のぶれ量およびその向きに対応するCCD5の移動すべき位置(以下、「移動先位置」という。)を導出する。この移動先位置は、画像中のケラレの発生を防止するため、画像取得領域PA(図2参照)が必ずイメージサークルIC内の領域に配置されるように決定される。
【0043】
さらに手ぶれ補正制御部73は、CCD位置センサ58から得られるCCD5の現状位置と、導出した移動先位置とを比較してCCD5の移動すべき移動量および向きを導出する。さらに、導出した移動量および向きに応じた駆動パルスを生成し、この駆動パルスをCCD移動部50のアクチュエータ511,531に送信することにより、CCD5を移動先位置に移動させる。このように、デジタルカメラ1aの振動に応じた移動先位置を導出し、CCD5の現状位置と移動先位置とを比較してCCD5の位置を移動先位置に順次移動させるクローズドループ制御が行われることにより、画像中の被写体像のぶれが補正されることとなる。
【0044】
センタリング情報取得部74は、センタリング情報を取得するための制御を行う。取得されたセンタリング情報は、比較的普遍性の高い情報であるためROM76に記憶されることとなる。
【0045】
<1−2.センタリング情報の取得動作>
次に、デジタルカメラ1aのセンタリング情報の取得動作について説明する。センタリング情報の取得動作は、操作ボタン62の所定の操作に応答して、センタリング情報取得部74の制御の下に行われる。図5は、センタリング情報取得動作の流れを示す図である。なお、前述したように、取付状態の画像中心位置5Cとイメージサークルの中心位置CCとは、図2に示す如く相違しているものとする。また、図2に示すXY座標系は結像平面上における座標系であり、この原点Oは取付状態の画像中心位置5Cとされる。
【0046】
まず、撮影レンズ3の絞り値が最小(開放)、かつ、焦点距離が最短(広角端)となるように、絞り駆動部331とズーム・フォーカス駆動部321に信号が送信される。イメージサークルのサイズは、撮影レンズ3の絞り値および焦点距離に応じて変化するという性質がある。一般に、撮影レンズ3の絞り値が大きいほどイメージサークルは大きくなり、焦点距離が長いほどイメージサークルは大きくなる。したがって、このように撮影レンズ3の光学的条件を変更する(絞り値を最小、焦点距離を最短にする)ことで、撮影レンズ3を介して形成されるイメージサークルのサイズを変更可能限度まで小さくすることができる(ステップST1)。
【0047】
次に、CCD移動部50に所定の信号が送信されてCCD5がY軸正方向に移動され、図6に示すように、画像取得領域PAがY軸正方向に所定量移動される(ステップST2)。
【0048】
続いて、移動された位置にてCCD5により画像が取得される。この撮影においては、イメージサークルとして結像される全被写体からの光量をほぼ均一とすることができるような白色板等を被写体として用いることが好ましい(ステップST3)。
【0049】
取得された画像は、A/D変換部21にてデジタル信号に変換された後、全体制御部7に入力される。そして、画像中にケラレ領域VAが含まれるか否かが判定される。この判定は、画像取得領域PA中に結像平面のイメージサークル外の領域OICが含まれるように、CCD5が移動されたか否かを判定することに相当する。
【0050】
ケラレは矩形となる画像中の頂点近傍に生じることから、この判定においては、画像の頂点近傍の画素値が参照される。そして、画素値が所定の閾値よりも低くなる領域が存在する場合は、ケラレ領域VAが含まれると判定される(ステップST4)。なお、ユーザがLCD63に表示される画像を参照することにより、画像中にケラレ領域VAが含まれているか否かを判定するようにしてもよい。
【0051】
ステップST4にて、画像中にケラレ領域VAが含まれていない場合は、ステップST2に戻る。そして、ケラレ領域VAを含む画像が取得されるまで、CCD5のY軸正方向への移動(ステップST2)と画像の取得(ステップST3)とが繰り返されることとなる。
【0052】
一方、画像中にケラレ領域VAが含まれていた場合(ステップST4にてYes)は、当該画像が第1ケラレ画像VD1として画像メモリ23に格納される。これとともに、この第1ケラレ画像VD1を取得した際のCCD5の位置がRAM75に記憶される。
【0053】
次に、CCD5がY軸負方向に移動され、図7に示すように、画像中心位置5Cが原点Oよりも所定量だけY軸負方向側となるように、画像取得領域PAが移動される(ステップST5)。そして上記と同様に、移動された位置にてCCD5により画像が取得され(ステップST6)、画像中のケラレ領域VAの有無が判定される(ステップST7)。このときも、画像中にケラレ領域VAが含まれていない場合はステップST7に戻り、ケラレ領域VAを含む画像が取得されるまで、CCD5のY軸負方向への移動(ステップST5)と画像の取得(ステップST6)とが繰り返される。
【0054】
一方、画像中にケラレ領域が含まれていた場合は、当該画像が第2ケラレ画像VD2として画像メモリ23に格納されるともに、この第2ケラレ画像VD2を取得した際のCCD5の位置がRAM75に記憶される。
【0055】
次に、図8に示すように、第1ケラレ画像VD1と第2ケラレ画像VD2とが、それぞれを取得した際のCCD5の位置に基づいて、取得した際と同様の座標位置となるように演算上設定されるXY座標上にて位置合わせがなされる。そして、この2つの画像VD1,VD2が座標上の位置関係を保つ状態で合成され、合成画像VD3が生成される(ステップST8)。
【0056】
次に、生成された合成画像VD3中のケラレ領域VAに基づいて、イメージサークルの中心位置CCが特定される(ステップST9)。理論的には、合成画像VD3中のケラレ領域VAとケラレの生じない他の領域GAとの境界線(以下、「領域境界線」という。)AEはイメージサークルの周縁の一部に相当する。このことから、この領域境界線AE上の全ての点から、同一距離となる点をイメージサークルの中心位置として求めることができる。しかしながら、これはあくまで領域境界線AEが理想円の一部となる場合であり、実際の合成画像VD3中の領域境界線AEは不明瞭で、かつ平滑していないことから、直接的にこのような点を求めることは難しい。
【0057】
このため、まず、合成画像VD3に対して二値化処理がなされて領域境界線AEが明確化され、さらに、モルフォロジ演算処理がなされ領域境界線AEの平滑化がなされる。そして、平滑化された領域境界線AEに適合する円ECの方程式が求められ、この円ECの中心位置がイメージサークルの中心位置CCとして求められる。
【0058】
なお、このようなイメージサークルの中心位置CCを求める手法は、この手法に限定されるものではなく、他の手法を採用してもよい。例えば、領域境界線AE上の全ての点からの距離の標準偏差が最も小さくなる点を、イメージサークルの中心位置CCとして求めるようにしてもよい。また、どのような手法を用いる場合であっても、図8に示すように、3つ以上のケラレ領域VAが含まれる合成画像VD3を用いることが精度上好ましいが、2つあるいは1つのケラレ領域のみが含まれる画像を用いてイメージサークルの中心位置CCを求めてもよい。
【0059】
イメージサークルの中心位置が求められると、この位置を示す情報がROM76に記憶される。このイメージサークルの中心位置は、図8に示すXY座標系における座標位置で表現されることとなるが、このXY座標系の原点Oは取付状態における画像中心位置5Cに相当する。すなわち、イメージサークルの中心位置CCは、画像中心位置5Cに対しての相対座標位置として表現されることから、画像中心位置5Cとイメージサークルの中心位置CCとの間におけるずれ量およびずれの向きを示すこととなる。したがって、ROM76に記憶されるイメージサークルの中心位置を示す情報は、画像中心位置とイメージサークルの中心位置とを一致させるためのセンタリング情報となる(ステップST10)。
【0060】
<1−3.撮影動作>
次に、デジタルカメラ1aの手ぶれ補正動作を伴う撮影動作について説明する。図9は、デジタルカメラ1aの撮影動作の流れを示す図である。
【0061】
デジタルカメラ1aは、電源が投入されると撮影待機状態となり、シャッタボタン61が半押し(S1)されるまでの間(ステップST12にてNoの間)、LCD63にてライブビュー表示が行われる。すなわち、所定時間ごとに、CCD5により取得された画像がA/D変換部21および画像処理部22にて所定の処理がなされた後、LCD63に表示される(ステップST11)。
【0062】
このような撮影待機状態において、ユーザは操作ボタン62を介して、センタリング情報の取得の指示や焦点距離の設定などを行うことができる。この操作内容は操作受付部72に受け付けられ、操作内容に応じたデジタルカメラ1aの動作が実行される。例えば、センタリング情報の取得の指示がなされた場合は、図5に示す動作が実行され、また、焦点距離の設定がなされた場合は、設定された焦点距離となるようにズーム・フォーカス駆動部321に信号が送信されてレンズ群32が駆動される。
【0063】
このような撮影待機状態にてシャッタボタン61が半押しされると(ステップST12にてYes)、続いて、フォーカシングが行われて焦点が合わせられ、さらに、露出制御部71によりシャッタスピードと絞り値とが設定される。設定された絞り値は絞り駆動部331に送信され、絞り値に応じた開口径となるように絞り33が駆動される。また、設定されたシャッタスピードおよび絞り値はRAM75に記憶される(ステップST13)。
【0064】
続いて、シャッタボタン61が全押し(S2)されたか否かが判定される(ステップST14)。このとき、シャッタボタン61の半押し状態が維持されている場合は(ステップST14にてNo,ステップST100にてYes)、ライブビュー表示を行い(ステップST110)、ステップST14に戻ってシャッタボタン61が全押しされるのを待機する。シャッタボタン61の操作が解除された場合は(ステップST14にてNo,ステップST100にてNo)、ステップST11に戻る。
【0065】
一方、シャッタボタン61が全押しされた場合は(ステップST14にてYes)、ROM76内に記憶されたセンタリング情報が参照されてCCD5が移動され、画像中心位置とイメージサークルの中心位置とが一致される。
【0066】
すなわち、センタリング情報に基づいて、取付状態における画像中心位置とイメージサークルの中心位置との間のずれ量およびずれの向きが取得される。そして、このずれ量およびずれの向きに基づいて、画像中心位置とイメージサークルの中心位置とを一致させるためのCCD5の移動量および向きが導出される。さらに、この移動量および向きに応じた駆動パルスがCCD移動部50のアクチュエータ511,531に送信され、画像中心位置とイメージサークルの中心位置とが一致される(ステップST15)。CCD5の移動後におけるイメージサークルとCCD5との位置関係は手ぶれ補正動作を行う前の初期状態とされる。したがって、イメージサークルの中心位置が、以降の手ぶれ補正動作におけるCCD5の移動の基準位置とされる。
【0067】
続いて、手ぶれ補正動作が開始される。すなわち、手ぶれ補正制御部73による振動センサ40からの角速度に応じたCCD5の移動制御が開始される(ステップST16)。また、これと同時にCCD5にて露光が開始され、手ぶれ補正動作が継続した状態にて、設定されたシャッタスピード(露光時間)の間CCD5にて露光が行われて記録用の画像が取得される(ステップST17)。
【0068】
この手ぶれ補正動作においては、取得される画像中におけるケラレの発生を防止するため、画像取得領域PAが必ずイメージサークル内の領域のみを含むようにCCD5の移動先位置が決定される。このようなCCD5の移動先位置の決定においてはイメージサークルのサイズが必要となるが、イメージサークルのサイズは、設定された焦点距離および絞り値に基づいて、ROM76等に予め記憶されるイメージサークルのサイズを示すデータ等を参照して取得するようにすればよい。
【0069】
前述したように、手ぶれ補正動作におけるCCD5の移動の基準位置は、イメージサークルの中心位置とされる。このため、あらゆる向きに対して均一にCCD5を移動させることができ、取得される画像中の被写体像のぶれを効果的に抑制することができることとなる。
【0070】
CCD5にて画像が取得されると、手ぶれ補正動作が終了される(ステップST18)。その一方で、取得された画像は、A/D変換部21および画像処理部22にて所定の処理がなされて画像メモリ23に格納され圧縮画像とされた後、メモリカード9に記録される(ステップST19)。その後、再度ステップST11に戻り、ライブビュー表示が行われることとなる。
【0071】
以上、第1の実施の形態について説明を行ったが、本実施の形態のデジタルカメラ1aは、イメージサークルの中心位置と、CCD5により取得される画像の中心位置とを一致させるためのセンタリング情報がROM76に記憶される。このため、イメージサークルの中心位置とCCD5により取得される画像の中心位置とを容易に一致させることができる。これにより、被写体像のぶれを補正する際におけるCCD5の移動可能な範囲を、向きにかかわらず均等にすることができ、被写体像のぶれを効果的に抑制することができる。
【0072】
また、CCD5を移動させて、結像平面上のイメージサークル外の領域を含む2枚のケラレ画像を取得し、この2枚のケラレ画像からイメージサークルの中心位置が特定される。これにより、外部計測装置を用いるなどの煩雑な作業を伴うことなく、センタリング情報を容易に取得することができる。
【0073】
<2.第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。第1の実施の形態においては、センタリング情報を取得する際にCCD5を移動させてケラレ画像を取得するようにしていたが、本実施の形態のデジタルカメラ1aにおいては、図10に示すように遮光材10を撮影レンズ3の先端に装着してイメージサークルのサイズを縮小することで、ケラレ画像を取得するようにしている。本実施の形態のデジタルカメラ1aの構成は、第1の実施の形態と同様であるため詳細な説明は省略する。
【0074】
遮光材10としては、撮影レンズ3への略円形断面となる入射光を周縁からほぼ均等な幅で遮蔽するものであればどのようなものを用いてもよい。例えば、図11に示すような中央部分のみの入射光を透過可能としたフィルタ10aや、図12に示すような画角を狭くさせるフード10bを遮光材10として用いることができる。いずれの遮光材10を採用した場合も、撮影レンズ3への入射光を周縁からほぼ均等な幅で遮蔽することにより、形成されるイメージサークルの中心位置を移動させることなく、そのサイズのみを縮小することができる。
【0075】
図13は、本実施の形態のデジタルカメラ1aのセンタリング情報取得動作の流れを示す図である。なお、この説明においても、取付状態の画像中心位置5Cとイメージサークルの中心位置CCとは、図2に示す如く相違しているものとする。
【0076】
まず、撮影レンズ3の光学的条件を変更する(絞り値を最小、焦点距離を最短にする)ことで、撮影レンズ3を介して形成されるイメージサークルのサイズを変更可能限度まで小さくさせる(ステップST21)。
【0077】
次に、デジタルカメラ1aは遮光材10の装着を待機する状態となる(ステップST22)。このとき、遮光材10の装着を指示をする旨の文字列がLCD63に表示され、ユーザはこの表示を参照して遮光材10を撮影レンズ3に装着する。遮光材10を装着した後、ユーザは操作ボタン62を介して所定の操作を行って、遮光材10を装着した旨をデジタルカメラ1aに認識させる。なお、撮影レンズ3にセンサ等を設けておき、このセンサからの信号により遮光材10を装着した旨を自動的に認識可能となっていてもよい。
【0078】
遮光材10が装着されると、次に、CCD5により画像が取得される。図14にて符号IC2にて示すように、イメージサークルICのサイズは遮光材10によって遮光材10を装着しない場合(符号IC1)よりも縮小される。このため、CCD5(すなわち、画像取得領域PA)を移動させることなく、ケラレ領域VAが含まれる画像を取得することができる(ステップST23)。取得された画像は、A/D変換部21にてデジタル信号に変換された後、ケラレ画像VD4として画像メモリに格納される。
【0079】
次に、図15に示すように、ケラレ画像VD4中のケラレ領域VAに基づいて、イメージサークルの中心位置CCが特定される。このイメージサークルの中心位置の特定手法としては、図5のステップST9と同様のものを採用すればよい(ステップST24)。
【0080】
次に、求められたイメージサークルの中心位置を示す情報が、センタリング情報としてROM76に記憶されることとなる(ステップST25)。
【0081】
以上、第2の実施の形態について説明を行ったが、本実施の形態のデジタルカメラ1aにおいては、撮影レンズ3への略円形断面となる入射光を周縁からほぼ均等な幅で遮蔽する遮光材10によりイメージサークルのサイズを縮小することで、ケラレ領域が含まれる画像を取得するようにしている。このため、CCD5を移動させるなどの複雑な制御が必要なく、比較的容易にセンタリング情報を取得することができる。
【0082】
<3.第3の実施の形態>
次に、本発明の第3の実施の形態について説明する。
【0083】
一般に、撮影レンズ3により形成されるイメージサークル中においては、シェーディングと呼ばれる(「周辺光量低下」とも呼ばれる。)周辺になるほど光量が低下する現象が生じる。
【0084】
図16は、イメージサークルIC中のシェーディング特性の分布を示す図である。この図において、XY座標系の原点Oはイメージサークルの中心位置CCとし、符号SDはシェーディング特性の分布を概念的に示している。すなわち、シェーディング特性の分布において実際には、周辺に向かって連続的に光量が変化するが、図ではこのような光量の変化を模式的に段階状に示している。シェーディング特性は点SCを中心として分布し、周辺になるほど光量の低下量が増加する。イメージサークルの中心位置CCとシェーディング特性の分布中心位置SCとは一致することが好ましいが、撮影レンズ3の製造上の誤差等により、図に示すように厳密には一致しないことがある。
【0085】
このような場合に、画像中心位置5Cとイメージサークルの中心位置CCとを一致させて画像IDを取得したとすると、この画像ID中のシェーディング特性の分布は非対称となるため、当該画像は不自然なものとなる。つまり、自然な画像を取得するためには、画像中心位置5Cとシェーディング特性の分布中心位置SCとを一致させる方が好ましいわけである。このため、本実施の形態のデジタルカメラ1aは、イメージサークルIC中のシェーディング特性の分布中心位置SCをさらに求めるようにしている。
【0086】
本実施の形態のデジタルカメラ1aの構成は第1の実施の形態と同様である。また、本実施の形態のデジタルカメラ1aは、センタリング情報取得動作を行った後、続けて、センタリング情報取得部74の制御の下、シェーディング特性の分布中心位置SCを求める動作を行うこととなる。センタリング情報取得動作としては、第1および第2の実施の形態のいずれの動作が採用されてもよい。
【0087】
図17は、シェーディング特性の分布中心位置を求める動作の流れを示す図である。まず、図9のステップST15と同様にして、ROM76内に記憶されたセンタリング情報が参照されてCCD5が移動され、画像中心位置とイメージサークルの中心位置とが一致される(ステップST31)。
【0088】
続いて、CCD5にて画像が取得される。この撮影においても、被写体としては白色板等を用いることが好ましい。また、入射光を拡散透過する磨りガラスやオパールガラスなどの拡散ガラスを備えたフィルタを撮影レンズ3に装着するようにしてもよい。このようなフィルタを装着することで撮影レンズ3への入射光が拡散されて、イメージサークルとして結像される全被写体からの光量をさらに均一とすることができ、イメージサークル中のシェーディング特性の影響を明瞭にすることができる。取得された画像は、A/D変換部21にてデジタル信号に変換された後、画像メモリに格納される(ステップST32)。
【0089】
次に、取得された画像中のシェーディング特性の分布に基づいて、シェーディング特性の分布中心位置SCが求められる。このシェーディング特性の分布中心位置SCを求める手法としては、例えば、画像中においてほぼ同一輝度となる画素群を参照し、この画素群の配置に適合する円の方程式を求め、この円の中心位置をシェーディング特性の分布中心位置SCとして求めるなどの手法を適用すればよい(ステップST33)。また、シェーディング特性の分布中心位置SCを求める前に、画像に対してコントラストを強調するコントラスト補正などを行うようにしてもよい。これによれば、より画像中のシェーディング特性の影響を強調させることができる。
【0090】
シェーディング特性の分布中心位置SCが求められると、この位置を示す情報がROM76内に記録されることとなる(ステップST34)。
【0091】
以上のように、本実施の形態においては、一旦、センタリング情報に基づいて画像中心位置とイメージサークルの中心位置とを一致させた後、画像を取得して、この画像からシェーディング特性の分布中心位置SCを求めるようにしている。このようにすれば、取付状態にて得られる画像よりも、画像中のシェーディング特性の分布を比較的対称とすることができるため、シェーディング特性の分布中心位置を比較的容易に特定することができる。
【0092】
取得されたシェーディング特性の分布中心位置SCは、例えば、手ぶれ補正動作におけるCCD5の移動の基準位置として採用してもよく、また、イメージサークルの中心位置CCとシェーディング特性の分布中心位置SCとの間でCCD5の移動の基準位置をユーザが選択できるようにしてもよい。
【0093】
<4.第4の実施の形態>
次に、本発明の第4の実施の形態について説明する。
【0094】
撮影レンズ3にフィルタやフード等の遮光材を装着した場合、形成されるイメージサークルのサイズが、設計上想定されているサイズから変更されることがある。また、遮光材によっては、イメージサークルのサイズの変更に伴って、イメージサークルの中心位置も移動することがある。
【0095】
撮影レンズ3への遮光材の装着によりイメージサークルの中心位置が移動される場合は、ROM76内に記憶されるセンタリング情報を用いることはできないため、遮光材の装着時のみに用いる一時的なセンタリング情報が必要となる。また、イメージサークルのサイズは、手ぶれ補正動作におけるCCD5の移動先位置の決定に係るものであるため、適切な手ぶれ補正を行うためには、遮光材を装着した場合におけるイメージサークルのサイズの特定が必要となる。
【0096】
このため、本実施の形態のデジタルカメラ1aは、このような撮影レンズ3への遮光材の装着によって生じるイメージサークルの中心位置およびサイズの変化を考慮するようにしている。本実施の形態のデジタルカメラ1aの構成は、第1の実施の形態と同様であるため、詳細な説明は省略する。
【0097】
本実施の形態のデジタルカメラ1aは、センタリング情報を取得する際に、さらに、イメージサークルのサイズも取得するようにしている。また、イメージサークルの中心位置およびサイズは撮影レンズ3の焦点距離に応じても変更されることから、撮影レンズ3の広角側および望遠側のそれぞれの焦点距離において、イメージサークルの中心位置およびサイズを求めるようにしている。
【0098】
図18は、本実施の形態におけるデジタルカメラ1aのセンタリング情報の取得動作の流れを示す図である。なお、この説明においては、予めユーザにより撮影に用いる遮光材が撮影レンズ3に装着されているものとする。
【0099】
まず、焦点距離が最短(広角端)となるように、ズーム・フォーカス駆動部321に信号が送信される(ステップST41)。次に、図5のステップST2〜ST8と同様にして、ケラレ領域を含む合成画像が取得される(ステップST42)。
【0100】
次に、図5のステップST9と同様にして、取得された合成画像中のケラレ領域に基づいてイメージサークルの中心位置CCが特定される。これとともに、このイメージサークルの中心位置を求める際に用いられた領域境界線AEに適合する円ECの直径が求められる(図8参照)。この直径は、イメージサークルのサイズに相当する(ステップST43)。
【0101】
焦点距離が最短である場合におけるイメージサークルの中心位置およびサイズが求められると、イメージサークルの中心位置を示す情報が広角側センタリング情報として、また、イメージサークルのサイズを示す情報が広角側サイズとしてそれぞれRAM75に記憶される(ステップST44)。
【0102】
次に、焦点距離が最長(望遠端)となるように、ズーム・フォーカス駆動部321に信号が送信される(ステップST45)。そして、焦点距離が最短である場合と同様に、ケラレ領域を含む合成画像が取得され(ステップST46)、取得された合成画像中のケラレ領域に基づいてイメージサークルの中心位置およびサイズが求められる(ステップST47)。
【0103】
焦点距離が最長である場合におけるイメージサークルの中心位置およびサイズが求められると、イメージサークルの中心位置を示す情報が望遠側センタリング情報として、また、イメージサークルのサイズを示す情報が望遠側サイズとしてそれぞれRAM75に記憶されることとなる(ステップST48)。
【0104】
ところで、本実施の形態において取得される広角側および望遠側センタリング情報は、遮光材を装着した場合のみに用いる一時的なものであるためRAM75に記憶されるが、ROM76に記憶されるようになっていてもよい。
【0105】
次に、本実施の形態のデジタルカメラ1aの手ぶれ補正動作を伴う撮影動作について説明する。図19は、本実施の形態のデジタルカメラ1aの撮影動作の流れを示す図である。図19においてステップST51〜ST54,ST120およびST130の動作は、図9におけるステップST11〜ST14,ST100およびST110と同様であるため、ステップST55以降(シャッタボタン61が全押しされた以降)の動作について説明する。
【0106】
シャッタボタン61が全押しされると、ユーザにより設定された焦点距離に応じたイメージサークルの中心位置およびイメージサークルのサイズが求められる。
【0107】
具体的には、RAM75に記憶された広角側および望遠側センタリング情報に基づいて、焦点距離とイメージサークルの中心位置との線形的な関係式が導出される。そして、この関係式にユーザにより設定された焦点距離を代入することで、イメージサークルの中心位置が求められる。さらに、RAM75に記憶された広角側および望遠側サイズに基づいて、焦点距離とイメージサークルのサイズとの線形的な関係式が導出される。そして同様に、この関係式にユーザにより設定された焦点距離を代入することで、イメージサークルのサイズが求められることとなる(ステップST55)。
【0108】
次に、求められたイメージサークルの中心位置と画像中心位置とが一致される(ステップST56)。そして、図9のステップST16〜ST19と同様にして、ステップST57〜ST60の動作が行われることとなる。ただし、CCD5の移動先位置の決定において必要となるイメージサークルのサイズは、ステップST55にて求められたイメージサークルのサイズが用いられることとなる。
【0109】
以上、第4の実施の形態のデジタルカメラ1aについて説明を行ったが、本実施の形態のデジタルカメラ1aにおいては、ケラレ画像に基づいて、イメージサークルの中心位置とともにイメージサークルのサイズを求めるようにしている。このため、フィルタやフード等の遮光材によりイメージサークルのサイズが変更される場合であっても、イメージサークルのサイズを容易に把握することができ、被写体像のぶれを補正する際におけるCCD5の移動可能範囲を容易に決定することができる。
【0110】
また、撮影レンズの広角側および望遠側のそれぞれ焦点距離において取得される2つのイメージサークルの2つのサイズに基づいて、実際の撮影レンズの焦点距離に応じたイメージサークルのサイズを導出するようにしている。このため、実際に取得するイメージサークルのサイズは2つのみでよく、全ての焦点距離においてメージサークルのサイズを取得する必要がない。
【0111】
<5.第5の実施の形態>
次に、本発明の第5の実施の形態について説明する。上記の実施の形態のデジタルカメラ1aにおいては、イメージサークルICとCCD5との相対位置を変更する際にCCD5を移動させていたが、撮影レンズ3内のレンズ群32を移動させることによってもイメージサークルICとCCD5との相対位置を変更することができる。このレンズ群32の移動は撮影レンズ3の鏡胴31に対して相対的に行われるが、撮影レンズ3がカメラ本体部2に固定されていることにより、この移動は、カメラ本体部2のハウジング2aに対して相対的にレンズ群32を移動させることと等価である。本実施の形態のデジタルカメラ1bは、撮影レンズ3のレンズ群32のうちの一のレンズを移動させるようにしている。
【0112】
図20は、本実施の形態のデジタルカメラ1bの主たる構成を示す断面図である。本実施の形態のデジタルカメラ1bの構成は、上記の実施の形態のデジタルカメラ1aの構成と近似することから、同一となる部位に関しては同一符号を付して詳細な説明は省略し、相違点を中心に説明を行う。
【0113】
図20に示すように、本実施の形態のデジタルカメラ1bにおいては、撮影レンズ3内のレンズ群32のうちの一の補正レンズ8が、補正レンズ移動部80に固定され、この補正レンズ移動部80によってXY平面内にて移動可能とされている。また、CCD5はカメラ本体部2のハウジング2aに対して固定されており移動することはない。すなわち、補正レンズ8の移動により、イメージサークルとCCD5との相対位置が変更され、イメージサークル中において画像として取得される領域が変更されることとなる。その他の構成は上記の実施の形態のデジタルカメラ1aと同様である。
【0114】
図21は、補正レンズ8を含めた補正レンズ移動部80の分解斜視図である。図21に示すように、補正レンズ移動部80は主として、撮影レンズ3の鏡胴31に固設されるベース枠81、ベース枠81に対してY軸方向に移動する第1スライド枠82、および、第1スライド枠82に対してX軸方向に移動する第2スライド枠83の3つの枠材から構成される。
【0115】
ベース枠81は、入射光を通過可能に中央部が開口しており、第1アクチュエータ811がY軸方向に延設され、さらに、その枠反対側に第1アクチュエータ811と平行に軸形状の第1摺動軸812を備えている。第1スライド枠82は、中央部が開口されるとともに、第1アクチュエータ811と対向する位置に第1摩擦結合部821、および、第1摺動軸812と対向する位置に第1摺動軸支持部822をそれぞれ備えている。さらに、第1スライド枠82には、第2アクチュエータ823がX軸方向に延設され、その枠反対側に第2アクチュエータ823と平行に軸形状の第2摺動軸824が設けられている。また、第2スライド枠83は、開口した中央部に補正レンズ8が嵌合固設されるとともに、第2アクチュエータ823と対向する位置に第2摩擦結合部831、および、第2摺動軸824と対向する位置に第2摺動軸支持部832をそれぞれ備えている。
【0116】
第1アクチュエータ811および第2アクチュエータ823はそれぞれ、圧電素子と延在方向に駆動可能な駆動ロッドとを備えており、圧電素子に印加される駆動パルスに応じた量および向きに駆動ロッドが駆動するようになっている。
【0117】
補正レンズ移動部80が組み上げられるときには、第1アクチュエータ811の駆動ロッドと第1摩擦結合部821とが摩擦結合され、第2アクチュエータ823の駆動ロッドと第2摩擦結合部831とが摩擦結合される。さらに、第1摺動軸812と第1摺動軸支持部822とが摺動可能に嵌合され、第2摺動軸824と第2摺動軸支持部832とが摺動可能に嵌合される。これにより、Z軸負方向側から正方向側に向かって、ベース枠81、第2スライド枠83、第1スライド枠82の順に重なって、これら枠材81,83,82が配置されることとなる。
【0118】
この補正レンズ移動部80の補正レンズ8を移動させる原理は、第1の実施の形態のCCD移動部50と同様である。すなわち、補正レンズ移動部80が組み上げられた状態で、第1アクチュエータ811の駆動ロッドが往動と復動とが相違する速度となるように移動すると、これに摩擦結合する第1摩擦結合部821により第1スライド枠82がベース枠81に対してY軸方向に移動する。このとき、第1スライド枠82の移動にあわせて第2スライド枠83もベース枠81に対してY軸方向に移動する。また、第2アクチュエータ823の駆動ロッドが往動と復動とが相違する速度となるように移動すると、これに摩擦結合する第2摩擦結合部831により第2スライド枠83が第1スライド枠82に対してX軸方向に移動する。このとき、第1スライド枠82のベース枠81に対する移動はなされないため、第2スライド枠83は単独でベース枠81に対してX軸方向に移動することとなる。
【0119】
また、前述したように、ベース枠81は鏡胴31に固設され、補正レンズ8は第2スライド枠83に固設され、さらに、鏡胴31はカメラ本体部2のハウジング2aに対して固定的に配置されることから、補正レンズ8はカメラ本体部2のハウジング2aに対してXY平面内にて相対的に移動することとなる。これにより、撮影レンズ3により形成されるイメージサークルと、CCD5との相対位置が変更可能とされ、結像平面上において画像として取得される領域が変更されることとなる。
【0120】
補正レンズ8の位置は、補正レンズ移動部80に設けられるレンズ位置センサ86によって検出される。レンズ位置センサ86は、発光ダイオード等で構成される2つの投光部84a,84b、および、フォトダイオード等で構成される2つの受光部85a,85bを備えている。投光部84a,84bは、第2スライド枠83のX軸負方向側およびY軸負方向側に設けられる突起部にそれぞれ固設される。一方、受光部85a,85bは、投光部84a,84bにそれぞれ対向するようにベース枠81に固設される。投光部84a,84bから投光された光は受光部85a,85bにて受光可能となっており、この受光部85a,85bにて受光する光の位置の変化から、第2スライド枠83の位置すなわち補正レンズ8の位置がXY座標位置として求められる。具体的には、第1投光部84aおよび第1受光部85aにて補正レンズ8のX軸方向の位置を検出し、第2投光部84bおよび第2受光部85bにて補正レンズのY軸方向の位置を検出するようになっている。
【0121】
図22は、本実施の形態のデジタルカメラ1bの主たる機能構成を機能ブロックとして示す図である。図22に示すように、補正レンズ移動部80およびレンズ位置センサ86は、全体制御部7に電気的に接続され全体制御部7の制御の下に動作する。そして、レンズ位置センサ86で検出される補正レンズ8の位置は、信号として全体制御部7に入力される。
【0122】
全体制御部7の手ぶれ補正制御部73は、振動センサ40からの角速度に基づいて、補正レンズ8の移動すべき移動先位置を導出し、レンズ位置センサ86から得られる補正レンズ8の現状位置と、導出した移動先位置とを比較して補正レンズ8の移動すべき移動量および向きを導出する。そして、導出された移動量および向きに応じた駆動パルスを生成し、この駆動パルスを補正レンズ移動部80のアクチュエータ811,823に送信することにより、補正レンズ8を移動先位置に移動させる。
【0123】
本実施の形態のデジタルカメラ1bは、移動させる部材がCCD5ではなく補正レンズ8であるという点は相違するが、上記第1ないし第4実施の形態に示したデジタルカメラ1aの動作のいずれにも適用することが可能である。イメージサークルとCCD5との相対的な移動関係は同様であることから、上記実施の形態と実質的に同様の動作を容易に行うことができる。
【0124】
<6.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【0125】
例えば、上記実施の形態の撮像装置は画像として静止画像を取得するものであったが、動画像を取得するものであってもよい。
【0126】
また、上記第1の実施の形態のデジタルカメラは、センタリング情報を取得する際においてイメージサークルのサイズを小さくするときに、撮影レンズ3の焦点距離および絞り値の双方を変更するようにしていたが、いずれか一方であってもよい。例えば、焦点距離が固定の撮像装置においては、絞り値のみを変更することで、撮影レンズ3を介して形成されるイメージサークルのサイズを変更可能限度まで小さくすることができる。
【0127】
また、上記第1の実施の形態のデジタルカメラは、手ぶれ補正動作の直前に、イメージサークルの中心位置と画像中心位置とを一致させるようにしていたが、ライブビュー表示を行う前に一致させるようにしてもよい。これによれば、ライブビュー表示による画像と取得される画像との間で構図を一致させることができる。
【0128】
また、上記実施の形態では、CPUがプログラムに従って演算処理を行うことにより各種機能が実現されると説明したが、これら機能の全部または一部は専用の電気的回路により実現されてもよい。特に、繰り返し演算を行う箇所をロジック回路にて構築することにより、高速な演算が実現される。
【0129】
◎なお、上述した具体的実施の形態には以下の構成を有する発明が含まれている。
【0130】
(1) 請求項2に記載の撮像装置において、
前記ケラレ画像取得手段は、前記撮像手段により取得される画像中に前記結像平面の前記イメージサークル外の領域が含まれるように、前記移動手段に前記相対位置を移動させる移動制御手段、
を備えることを特徴とする撮像装置。
【0131】
これによれば、イメージサークルと撮像手段との相対位置を移動させることで、ケラレ画像を容易に取得することができる。
【0132】
(2) 請求項2に記載の撮像装置において、
前記ケラレ画像取得手段は、前記撮影レンズへの略円形断面となる入射光を周縁からほぼ均等な幅で遮蔽する遮光手段、
を備えることを特徴とする撮像装置。
【0133】
これによれば、イメージサークルのサイズを小さくすることができ、ケラレ画像を容易に取得することができる。
【0134】
(3) 請求項2ならびに上記(1)および(2)のいずれかに記載の撮像装置において、
前記ケラレ画像取得手段は、前記イメージサークルのサイズを変更可能限度まで小さくなるように、前記撮影レンズの光学的条件を変更する光学条件調整手段、
を備えることを特徴とする撮像装置。
【0135】
これによれば、イメージサークルのサイズを小さくすることができ、ケラレ画像を容易に取得することができる。
【0136】
(4) 上記(3)に記載の撮像装置において、
前記光学的条件は、焦点距離および絞り値のうちの少なくとも1つを含むことを特徴とする撮像装置。
【0137】
これによれば、焦点距離および絞り値のうちの少なくとも1つによりイメージサークルのサイズを小さくすることができ、ケラレ画像を容易に取得することができる。
【0138】
(5) 請求項4に記載の撮像装置において、
前記サイズ取得手段により、前記撮影レンズの相違する2つの焦点距離において取得される前記イメージサークルの2つのサイズに基づいて、前記撮影レンズの焦点距離に応じた前記イメージサークルのサイズを導出するサイズ導出手段、をさらに備えることを特徴とする撮像装置。
【0139】
これによれば、2つのイメージサークルのサイズから、焦点距離に応じたイメージサークルのサイズを導出することができる。
【0140】
(6) 請求項1ないし4および上記(1)ないし(5)のいずれかに記載の撮像装置において、
前記移動手段は、前記撮像手段の位置を移動する手段であることを特徴とする撮像装置。
【0141】
これによれば、撮像手段の位置を移動する手段により被写体像のぶれの補正を行うときに、イメージサークルの中心位置と、画像の中心位置とを容易に一致させることができる。
【0142】
(7) 請求項1ないし4および上記(1)ないし(6)のいずれかに記載の撮像装置において、
前記移動手段は、前記撮影レンズに含まれるレンズ群の位置を移動する手段であることを特徴とする撮像装置。
【0143】
これによれば、撮影レンズに含まれるレンズ群の位置を移動する手段により被写体像のぶれの補正を行うときに、イメージサークルの中心位置と、画像の中心位置とを容易に一致させることができる。
【0144】
(8) 請求項5に記載のセンタリング情報取得方法において、
前記ケラレ画像取得工程は、前記撮像手段により取得される画像中に前記結像平面の前記イメージサークル外の領域が含まれるように、前記イメージサークルと前記撮像手段との相対位置を移動させる移動制御工程、
を備えることを特徴とするセンタリング情報取得方法。
【0145】
これによれば、イメージサークルと撮像手段との相対位置を移動させることで、ケラレ画像を容易に取得することができる。
【0146】
(9) 請求項5に記載のセンタリング情報取得方法において、
前記ケラレ画像取得工程は、前記撮影レンズへの略円形断面となる入射光を周縁からほぼ均等な幅で遮蔽する遮光工程、
を備えることを特徴とするセンタリング情報取得方法。
【0147】
これによれば、イメージサークルのサイズを小さくすることができ、ケラレ画像を容易に取得することができる。
【0148】
(10) 請求項5ならびに上記(8)および(9)のいずれかに記載のセンタリング情報取得方法において、
前記ケラレ画像取得工程は、前記イメージサークルのサイズを変更可能限度まで小さくなるように、前記撮影レンズの光学的条件を変更する光学条件調整工程、
を備えることを特徴とするセンタリング情報取得方法。
【0149】
これによれば、イメージサークルのサイズを小さくすることができ、ケラレ画像を容易に取得することができる。
【0150】
(11) 上記(10)に記載のセンタリング情報取得方法において、
前記光学的条件は、焦点距離および絞り値のうちの少なくとも1つを含むことを特徴とするセンタリング情報取得方法。
【0151】
これによれば、焦点距離および絞り値のうちの少なくとも1つによりイメージサークルのサイズを小さくすることができ、ケラレ画像を容易に取得することができる。
【0152】
【発明の効果】
以上、説明したように、請求項1の発明によれば、センタリング情報が記憶されるため、イメージサークルの中心位置と、画像の中心位置とを容易に一致させることができる。
【0153】
また、請求項2の発明によれば、センタリング情報を容易に取得することができる。
【0154】
また、請求項3の発明によれば、画像の中心位置とイメージサークルの中心位置とが一致していることにより、シェーディング特性の分布を明瞭に把握することができることから、シェーディング特性の分布中心位置を容易に特定することができる。
【0155】
また、請求項4の発明によれば、フィルタやフードなどによりイメージサークルのサイズが変更される場合であっても、イメージサークルのサイズを容易に取得することができる。その結果、被写体像のぶれを補正する際における相対位置の移動可能範囲を決定することができる。
【0156】
また、請求項5の発明によれば、センタリング情報を容易に取得することができる。
【図面の簡単な説明】
【図1】第1の実施の形態のデジタルカメラの主たる構成を示す断面図である。
【図2】結像平面上のイメージサークルおよび画像取得領域を示す図である。
【図3】CCD移動部の分解斜視図である。
【図4】第1の実施の形態のデジタルカメラの主たる機能構成を示す図である。
【図5】第1の実施の形態のセンタリング情報取得動作の流れを示す図である。
【図6】結像平面上のイメージサークルおよび画像取得領域を示す図である。
【図7】結像平面上のイメージサークルおよび画像取得領域を示す図である。
【図8】合成画像からイメージサークルの中心位置を求める手法を説明するための図である。
【図9】第1の実施の形態のデジタルカメラの撮影動作の流れを示す図である。
【図10】遮光材を装着したデジタルカメラを示す図である。
【図11】遮光材として用いるフィルタを示す図である。
【図12】遮光材として用いるフードを示す図である。
【図13】第2の実施の形態のセンタリング情報取得動作の流れを示す図である。
【図14】結像平面上のイメージサークルおよび画像取得領域を示す図である。
【図15】ケラレ画像からイメージサークルの中心位置を求める手法を説明するための図である。
【図16】イメージサークル中のシェーディング特性の分布を示す図である。
【図17】シェーディング特性の分布中心位置を求める動作の流れを示す図である。
【図18】第4の実施の形態のセンタリング情報の取得動作の流れを示す図である。
【図19】第4の実施の形態のデジタルカメラの撮影動作の流れを示す図である。
【図20】第5の実施の形態のデジタルカメラの主たる構成を示す断面図である。
【図21】補正レンズ移動部の分解斜視図である。
【図22】第5の実施の形態のデジタルカメラの主たる機能構成を示す図である。
【符号の説明】
1a デジタルカメラ
2a ハウジング
3 撮影レンズ
5 CCD
50 CCD移動部
5C 画像中心位置
CC イメージサークルの中心位置
PA 画像取得領域

Claims (5)

  1. 撮影レンズを介して形成されるイメージサークルを含む結像平面の一部の領域を、画像として取得する撮像手段を有する撮像装置であって、
    前記イメージサークルと前記撮像手段との相対位置を移動する移動手段と、
    前記撮像装置の振動に応じて、前記移動手段に前記相対位置を移動させることにより、前記撮像手段により取得される画像中の被写体像のぶれを補正可能なぶれ補正手段と、
    前記イメージサークルの中心位置と、前記撮像手段により取得される画像の中心位置とを一致させるためのセンタリング情報が記憶される記憶手段と、
    を備えることを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記結像平面の前記イメージサークル外の領域を含むケラレ画像を、前記撮像手段に取得させるケラレ画像取得手段と、
    前記ケラレ画像に基づいて、前記イメージサークルの中心位置を特定することにより、前記センタリング情報を取得する情報取得手段と、
    をさらに備えることを特徴とする撮像装置。
  3. 請求項1に記載の撮像装置において、
    前記センタリング情報に基づいて、前記イメージサークルの中心位置と、前記撮像手段により取得される画像の中心位置とが一致するように、前記移動手段に前記相対位置を移動させる位置合わせ手段と、
    前記位置合わせ手段により前記相対位置が移動された状態で前記撮像装置にて取得される画像に基づいて、前記イメージサークル中におけるシェーディング特性の分布中心位置を特定するシェーディング位置特定手段と、
    を備えることを特徴とする撮像装置。
  4. 請求項2に記載の撮像装置において、
    前記ぶれ補正手段は、前記イメージサークル内の領域のみを前記撮像手段により取得される画像が含むように前記相対位置を移動させるものであり、
    前記ケラレ画像に基づいて、前記イメージサークルのサイズを取得するサイズ取得手段と、
    をさらに備えることを特徴とする撮像装置。
  5. 撮像装置の撮影レンズを介して形成されるイメージサークルと、撮像手段により取得される画像の中心位置とを一致させるためのセンタリング情報を取得する方法であって、
    前記イメージサークルを含む結像平面の前記イメージサークル外の領域を含むケラレ画像を、前記撮像手段に取得させるケラレ画像取得工程と、
    前記ケラレ画像に基づいて、前記イメージサークルの中心位置を特定することにより、前記センタリング情報を取得する情報取得工程と、
    を備えることを特徴とするセンタリング情報取得方法。
JP2002212678A 2002-07-22 2002-07-22 撮像装置およびセンタリング情報取得方法 Expired - Fee Related JP3829773B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002212678A JP3829773B2 (ja) 2002-07-22 2002-07-22 撮像装置およびセンタリング情報取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002212678A JP3829773B2 (ja) 2002-07-22 2002-07-22 撮像装置およびセンタリング情報取得方法

Publications (2)

Publication Number Publication Date
JP2004056581A JP2004056581A (ja) 2004-02-19
JP3829773B2 true JP3829773B2 (ja) 2006-10-04

Family

ID=31935538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002212678A Expired - Fee Related JP3829773B2 (ja) 2002-07-22 2002-07-22 撮像装置およびセンタリング情報取得方法

Country Status (1)

Country Link
JP (1) JP3829773B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
JP4404822B2 (ja) 2004-08-31 2010-01-27 三洋電機株式会社 手ぶれ補正装置および撮像機器
JP2006349707A (ja) * 2005-06-13 2006-12-28 Canon Inc デジタルカメラ
JP4530961B2 (ja) 2005-06-30 2010-08-25 オリンパスイメージング株式会社 電子的ぶれ補正装置
JP4804166B2 (ja) * 2006-02-17 2011-11-02 キヤノン株式会社 撮像装置およびその制御方法
KR100769724B1 (ko) 2006-09-25 2007-10-24 삼성전기주식회사 카메라 모듈의 광축 검사 방법 및 비네팅 검출 방법
JP4875971B2 (ja) * 2006-12-08 2012-02-15 富士フイルム株式会社 撮影装置及びその調整方法
JP4682181B2 (ja) * 2007-11-19 2011-05-11 シャープ株式会社 撮像装置および電子情報機器
JP4982341B2 (ja) * 2007-11-30 2012-07-25 オンセミコンダクター・トレーディング・リミテッド 撮像装置の防振制御回路
TWI381242B (zh) * 2008-10-28 2013-01-01 Asia Optical Co Inc Adjustable anti - vibration image sensing module and its adjustment method
JP5448800B2 (ja) * 2009-12-25 2014-03-19 キヤノン株式会社 撮像装置及びその制御手段
KR101961479B1 (ko) * 2012-09-13 2019-07-17 엘지이노텍 주식회사 카메라 모듈의 렌즈 중심부 측정장치 및 방법
JP6022388B2 (ja) * 2013-03-22 2016-11-09 シャープ株式会社 校正装置、撮像装置、校正方法、および撮像装置の製造方法
EP3096512B1 (en) 2015-05-18 2017-03-22 Axis AB Method and camera for producing an image stabilized video
JP7019337B2 (ja) * 2017-08-02 2022-02-15 キヤノン株式会社 像ブレ補正装置、レンズ装置およびそれらの制御方法
JP7154950B2 (ja) * 2018-10-31 2022-10-18 キヤノン株式会社 レンズ装置、撮像装置、及びそれらの制御方法
US11336827B2 (en) 2017-11-09 2022-05-17 Canon Kabushiki Kaisha Imaging apparatus and interchangeable lens apparatus that utilize image circle information of an imaging optical system in the interchangeable lens apparatus
WO2020179832A1 (ja) 2019-03-05 2020-09-10 パナソニックIpマネジメント株式会社 撮像装置
JP7325216B2 (ja) * 2019-05-08 2023-08-14 キヤノン株式会社 防振制御装置及び方法、及び、撮像装置
JP7305455B2 (ja) * 2019-06-24 2023-07-10 キヤノン株式会社 防振制御装置、撮像装置及び防振制御方法
JP7466342B2 (ja) * 2019-10-30 2024-04-12 キヤノン株式会社 防振装置及び方法、及び撮像装置
JP7532046B2 (ja) 2020-03-03 2024-08-13 キヤノン株式会社 撮像装置およびその制御方法、撮像システム

Also Published As

Publication number Publication date
JP2004056581A (ja) 2004-02-19

Similar Documents

Publication Publication Date Title
JP3829773B2 (ja) 撮像装置およびセンタリング情報取得方法
JP5800611B2 (ja) 撮影装置
US20060051081A1 (en) Shake correction control apparatus and imaging apparatus using same shake correction control apparatus
JP5503347B2 (ja) 交換レンズ、カメラボディ及びカメラシステム
US20060055788A1 (en) Image capturing apparatus, and method of setting flash synchronization speed
JP2007128077A (ja) デジタル撮像システムでの自動焦点を改善するシステムおよび方法
US8190019B2 (en) Digital camera
JP2007286438A (ja) 撮像装置及びその制御方法
US8013896B2 (en) Imaging apparatus including shaking correction for a second imaging sensor
JP4500236B2 (ja) 撮影装置
JP7481925B2 (ja) 像ブレ補正制御装置及び方法、プログラム、記憶媒体
JP2004040298A (ja) 撮像装置および撮影レンズ
JP5293947B2 (ja) 撮像装置
JP2008028998A (ja) デジタルカメラ
JP2004104652A (ja) 撮像装置
JP6994665B1 (ja) 撮像装置
JP2005175796A (ja) デジタルカメラ
JP4865275B2 (ja) 焦点検出装置及び撮像装置
JP4845653B2 (ja) カメラシステム、カメラ本体、交換レンズユニットおよび像ブレ補正方法
JP2008070566A (ja) カメラシステム、カメラ本体、交換レンズユニットおよび像ブレ補正方法
JP2003043344A (ja) カメラおよびカメラシステム
JP2005175897A (ja) 撮像装置
JP2007057933A (ja) 電子ビューファインダを有するカメラ
JP2012186726A (ja) 撮影装置
JP2006145768A (ja) 像振れ補正装置及びその補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040917

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040917

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060703

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130721

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees