JP5769773B2 - カメラシステム及び焦点検出画素の補正方法 - Google Patents

カメラシステム及び焦点検出画素の補正方法 Download PDF

Info

Publication number
JP5769773B2
JP5769773B2 JP2013205951A JP2013205951A JP5769773B2 JP 5769773 B2 JP5769773 B2 JP 5769773B2 JP 2013205951 A JP2013205951 A JP 2013205951A JP 2013205951 A JP2013205951 A JP 2013205951A JP 5769773 B2 JP5769773 B2 JP 5769773B2
Authority
JP
Japan
Prior art keywords
focus detection
data
detection pixel
correction
interchangeable lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013205951A
Other languages
English (en)
Other versions
JP2015069180A (ja
Inventor
哲央 菊地
哲央 菊地
伊藤 一弥
一弥 伊藤
功刀 和正
和正 功刀
幸恵 山崎
幸恵 山崎
芳信 小俣
芳信 小俣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013205951A priority Critical patent/JP5769773B2/ja
Priority to CN201480053915.7A priority patent/CN105593739B/zh
Priority to PCT/JP2014/075278 priority patent/WO2015046246A1/ja
Priority to EP14847957.9A priority patent/EP3054336B1/en
Publication of JP2015069180A publication Critical patent/JP2015069180A/ja
Application granted granted Critical
Publication of JP5769773B2 publication Critical patent/JP5769773B2/ja
Priority to US15/082,139 priority patent/US9509899B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Description

本発明は、焦点検出画素を有する撮像素子を備えたカメラシステム及び焦点検出画素の補正方法に関する。
撮像素子の一部の画素を焦点検出素子として利用して焦点状態を検出する撮像装置が知られている。このような撮像装置は、撮像素子の一部の画素を焦点検出画素に設定し、撮影レンズの光軸中心に対して対称な異なる瞳領域を通過した被写体光束を複数の焦点検出画素に結像させ、この被写体光束の間の位相差を検出することによって撮影レンズの焦点状態を検出している。
ところで、撮像装置においては、撮影レンズの光学特性により、撮影レンズを通して入射される光束の量が、撮影レンズの光軸から距離が離れるにつれて少なくなることが知られている。このため、撮像素子に結像された被写体像における照度の不均一が生じる。このような照度の不均一性を補正するための処理は、照度補正やシェーディング補正等と呼ばれている。照度補正としては、例えば光軸からの距離に応じた補正係数を画素出力に乗じる手法が知られている。ここで、焦点検出画素については、その開口の仕方等の種々の条件によって受光量が異なるので、単純に光軸からの距離に応じた補正係数を乗じただけでは正しく画素出力を補正することができない。これに対し、特許文献1における撮像装置は、撮像画素用の補正係数とは別に焦点検出画素用の補正係数をカメラ本体に設けられたROM内に有しており、これらの補正係数を補正の対象となる画素に応じて使い分けるようにしている。
特開2009−244858号公報
ここで、特許文献1の手法は、焦点検出画素についての照度補正のための補正係数をカメラ本体に持たせておくようにしている。このような構成の場合、カメラ本体と交換レンズからなるカメラシステムの場合には、装着され得る交換レンズに応じた補正係数を持たせる必要が生じる。また、照度補正のための補正係数を交換レンズに持たせるようにした場合には、装着されるカメラ本体に内蔵された撮像素子の光学特性が変化した場合に、その光学特性に応じた補正係数を追加する必要が生じる。
本発明は、前記の事情に鑑みてなされたもので、交換レンズやカメラ本体の光学特性の仕様変更が行われても、データの追加をすることなく焦点検出画素の画素出力を補正可能なカメラシステム及び焦点検出画素の補正方法を提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様のカメラシステムは、フォーカスレンズを含む撮影光学系を有する交換レンズと、前記交換レンズが着脱されるカメラ本体とを有するカメラシステムであって、前記交換レンズは、像高に応じた瞳に関するデータを記憶するレンズ側記憶部を具備し、前記カメラ本体は、撮像用の複数の撮像画素と焦点検出用の複数の焦点検出画素とを有する撮像素子と、前記焦点検出画素の出力について、前記焦点検出画素への入射光による照度分布の不均一性を補正するための補正データを記憶する本体側記憶部と、前記レンズ側記憶部から前記瞳に関するデータを受信し、前記補正データと前記瞳に関するデータとに基づいて前記焦点検出画素の出力の照度分布の不均一性を補正する補正部とを具備し、前記瞳に関するデータは、前記交換レンズのF値に関するデータと射出瞳位置に関するデータであり、前記交換レンズのF値に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の範囲であり、前記交換レンズの射出瞳位置に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の中心光束と前記撮影光学系の光軸の交わる位置に関する情報であることを特徴とする。
前記の目的を達成するために、本発明の第2の態様の焦点検出画素の補正方法は、フォーカスレンズを含む撮影光学系を有し、像高に応じた瞳データを有する交換レンズと、前記交換レンズを着脱可能なカメラ本体であって、撮像用の複数の撮像画素と焦点検出用の複数の焦点検出画素を含む撮像素子を有するカメラ本体とを有するカメラシステムにて前記焦点検出画素の出力を補正する焦点検出画素の補正方法において、前記カメラ本体に記憶される、前記焦点検出画素の出力について前記焦点検出画素への入射光による照度分布の不均一性を補正するための補正データを読み出し、前記交換レンズから前記瞳データを受信し、前記補正データと前記瞳データとに基づいて前記焦点検出画素の出力の照度分布の不均一性を補正し、前記瞳データは、前記交換レンズのF値に関するデータと射出瞳位置に関するデータであり、前記交換レンズのF値に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の範囲であり、前記交換レンズの射出瞳位置に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の中心光束と前記撮影光学系の光軸の交わる位置に関する情報であることを特徴とする。
本発明によれば、交換レンズやカメラ本体の光学特性の仕様変更が行われても、データの追加をすることなく焦点検出画素の画素出力を補正可能なカメラシステム及び焦点検出画素の補正方法を提供することできる。
本発明の一実施形態に係るカメラシステムの一例の構成を示すブロック図である。 一例の撮像素子の焦点検出画素の配置を示した図である。 カメラシステムにおけるAF動作を示すフローチャートである。 焦点検出画素における受光量変化の例を示す図である。 像高xの焦点検出画素に対応した有効口径CFと結像光束の中心方向である結像光束入射角θcとの関係を示す図である。 照度補正1の処理を示すフローチャートである。 交換レンズで得られる補正射出瞳位置CEXPI及び補正F値CFnoの例である。 照度補正データの例を示す図である。 照度補正2について説明するための図である。 照度補正2の処理を示すフローチャートである。 信頼性の判断の例を示す図である。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るカメラシステムの一例の構成を示すブロック図である。ここで、図1において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。
図1に示すカメラシステム1は、交換レンズ100と、カメラ本体200とを有している。交換レンズ100は、カメラ本体200に着脱されるように構成されている。交換レンズ100がカメラ本体200に装着されたときに、交換レンズ100とカメラ本体200とが通信自在に接続される。
交換レンズ100は、撮影レンズ102と、駆動部104と、レンズCPU106と、レンズ側記憶部108とを有している。
撮影レンズ102は、被写体光束をカメラ本体200の撮像素子208に結像させるための撮影光学系である。この撮影レンズ102は、フォーカスレンズ1021と、絞り1022とを有している。フォーカスレンズ1021は、光軸方向に移動することによって、撮影レンズ102の焦点位置を調節するように構成されている。絞り1022は、フォーカスレンズ1021の光軸上に配置され、その口径が可変に構成されている。絞り1022は、フォーカスレンズ1021を通過した被写体光束の量を制限する。駆動部104は、レンズCPU106からの制御信号に基づいて、フォーカスレンズ1021、絞り1022を駆動させる。ここで、撮影レンズ102は、ズームレンズとして構成されていてもよく、この場合、駆動部104はズーム駆動も行う。
レンズCPU106は、インターフェイス(I/F)110を介してカメラ本体200のCPU216と通信自在に構成されている。このレンズCPU106は、CPU216の制御に従って駆動部104の制御を行う。また、レンズCPU106は、I/F110を介して絞り1022の絞り値(F値)やレンズ側記憶部108に記憶されているレンズデータといった情報をCPU216に送信することも行う。
レンズ側記憶部108は、交換レンズ100に関するレンズデータを記憶している。レンズデータは、例えば撮影レンズ102の焦点距離の情報や収差の情報を含む。さらに、本実施形態におけるレンズデータは、瞳データを含む。瞳データは、像高に応じたF値と射出瞳位置との対応付けデータである。瞳データの詳細については後で説明する。
カメラ本体200は、メカシャッタ202と、駆動部204と、操作部206と、撮像素子208と、撮像制御回路210と、アナログ処理部212と、アナログデジタル変換部(ADC)214と、CPU216と、画像処理部218と、画像圧縮展開部220と、焦点検出回路222と、表示部224と、バス226と、DRAM228と、本体側記憶部230と、記録媒体232とを有する。
メカシャッタ202は、開閉自在に構成され、撮像素子208への被写体からの被写体光束の入射時間(撮像素子208の露光時間)を調節する。メカシャッタ202としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用され得る。駆動部204は、CPU216からの制御信号に基づいてメカシャッタ202を駆動させる。
操作部206は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦といった各種の操作釦及びタッチパネル等の各種の操作部材を含む。この操作部206は、各種の操作部材の操作状態を検知し、検知結果を示す信号をCPU216に出力する。
撮像素子208は、撮影レンズ102の光軸上であって、メカシャッタ202の後方で、かつ、撮影レンズ102によって被写体光束が結像される位置に配置されている。撮像素子208は、画素を構成するフォトダイオードが二次元的に配置されて構成されている。また、画素を構成するフォトダイオードの前面には、例えばベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にR画素とG(Gr)画素が交互に配置されたラインと、G(Gb)画素とB画素が交互に配置されたラインを有している。撮像素子208を構成するフォトダイオードは、受光量に応じた電荷を生成する。フォトダイオードで発生した電荷は、各フォトダイオードに接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷は、撮像制御回路210からの制御信号に従って画像信号として読み出される。ここで、本実施形態における撮像素子208は、記録や表示のための画像を取得するための撮像画素と焦点検出をするための焦点検出画素とを有している。
撮像制御回路210は、CPU216からの制御信号に従って撮像素子208の駆動モードを設定し、設定した駆動モードに応じた読み出し方式に従って撮像素子208からの画像信号の読み出しを制御する。
アナログ処理部212は、撮像制御回路210の制御に従って撮像素子208から読み出された画像信号に対して増幅処理等のアナログ処理を行う。ADC214は、アナログ処理部212から出力された画像信号を、デジタル形式の画像信号(画素データ)に変換する。以下、本明細書においては、複数の画素データの集まりを撮像データと記す。
CPU216は、本体側記憶部230に記憶されているプログラムに従ってカメラシステム1の全体制御を行う。画像処理部218は、撮像データに対して各種の画像処理を施して画像データを生成する。例えば画像処理部218は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部218は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。さらに、画像処理部218は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。
画像圧縮展開部220は、画像データの記録時には、画像処理部218で生成された画像データ(静止画像データ又は動画像データ)を圧縮する。また、画像データの再生時には、記録媒体232に圧縮状態で記録された画像データを伸張する。
焦点検出回路222は、焦点検出画素からの画素データを取得し、取得した画素データに基づき、公知の位相差方式を用いてフォーカスレンズ1021の合焦位置に対するデフォーカス方向及びデフォーカス量を算出する。ここで、本実施形態における焦点検出回路222は、焦点検出に先立って、撮像データにおける照度分布の不均一性を補正する補正部2222を有している。
表示部224は、例えば液晶ディスプレイや有機ELディスプレイといった表示部であって、例えばカメラ本体200の背面に配置される。この表示部224は、CPU216の制御に従って画像を表示する。表示部224は、ライブビュー表示や記録済み画像の表示等に使用される。
バス226は、ADC214、CPU216、画像処理部218、画像圧縮展開部220、焦点検出回路222、DRAM228、本体側記憶部230、記録媒体232に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。
DRAM228は、電気的に書き換え可能なメモリであり、前述した撮像データ(画素データ)、記録用画像データ、表示用画像データ、CPU216における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてSDRAMが用いられてもよい。
本体側記憶部230は、CPU216で使用されるプログラム、カメラ本体200の調整値等の各種データを記憶している。ここで、本実施形態においては、本体側記憶部230は、補正部2222における照度補正のための補正データを記憶している。補正データの詳細については後で説明する。
記録媒体232は、カメラ本体200に内蔵されるか又は装填されるように構成されており、記録用画像データを所定の形式の画像ファイルとして記録する。
図2は、一例の撮像素子208の焦点検出画素の配置を示した図である。一例の撮像素子208は、図2に示すように、37点のAFエリアを有している。この37点のAFエリアは、3点のAFエリアを含むラインaと、5点のAFエリアを含むラインbと、7点のAFエリアを含むラインcと、7点のAFエリアを含むラインdと、7点のAFエリアを含むラインeと、5点のAFエリアを含むラインfと、3点のAFエリアを含むラインgの合計7つの画素ラインを有している。それぞれのAFエリアには、基準部の焦点検出画素の画素列と参照部の焦点検出画素の画素列とが配列されている。基準部の焦点検出画素の画素列と参照部の焦点検出画素の画素列とには、同数の焦点検出画素が配置されている。また、基準部の焦点検出画素の画素列と参照部の焦点検出画素の画素列とは、位相差を検出できるよう、異なる領域が開口されている。例えば、水平方向の位相差を検出できるように構成されている場合、基準部の焦点検出画素の左半面(又は右半面)の領域が開口されており、参照部の焦点検出画素の右半面(又は左半面)の領域が開口されている。
以下、本実施形態のカメラシステム1におけるAF動作を説明する。図3は、カメラシステム1におけるAF動作を示すフローチャートである。図3に示すフローチャートの処理は、本体側記憶部230に記憶されているプログラムに基づいてCPU216によって実行される。
図3のフローチャートの処理は、撮像データの取り込みが行われると開始される。撮像データの取り込み後、CPU216は、焦点検出回路222にAF処理を実行させる。これを受けて、焦点検出回路222は、撮像データにおける焦点検出画素の画素出力(画素データ)のサンプリングを実行する(ステップ101)。後の説明のために、サンプリングの結果として得られる、照度補正前のAFエリア毎の基準部の焦点検出画素の画素列の画素出力をb_dat0[area][el]とし、参照部の焦点検出画素の画素列の画素出力をr_dat0[area][el]としておく。ここで、areaは、AFエリアの位置を示している。図2の例の撮像素子208の場合、areaは0から36(例えばラインaの左端を0とし、ラインgの右端を36とする)の値を持つ。また、elは、それぞれのAFエリア内における焦点検出画素の位置を示している。例えば、それぞれのAFエリア内に100画素の焦点検出画素が配列されているとすると、elは0から99(例えば左端の焦点検出画素を0とし、右端の焦点検出画素を99とする)の値を持つ。
画素出力のサンプリング後、焦点検出回路222は、照度補正1の処理を行う(ステップS102)。以下、照度補正1の処理を説明する。照度補正1は、撮像データにおける照度分布の不均一性を補正するための処理である。
均一光が照射された場合であっても、交換レンズ100(撮影レンズ102)の特性により、撮像素子208に入射する被写体光束の光量は、光軸中心からの距離に応じて低下する。例えば、均一光が照射されたときの図2のラインdの受光量変化を図4に示す。図4の横軸xは光軸中心からの水平方向距離(像高)であり、図4の縦軸は受光量(画素データの値)を示している。なお、ラインdを構成する7つのAFエリアの中心の像高は、例えば-0.15、-0.1、-0.05、0、0.05、0.1、0.15である。
図4に示すような受光量の変化を起こす交換レンズ100の特性は、射出瞳位置EXPIとF値Fnoである。ただし、焦点検出画素は、撮影レンズ102の光軸上にないものもあり、撮影レンズ102の光軸外に位置する焦点検出画素については、像高に応じて補正した補正F値CFnoを用いる必要がある。同様に、射出瞳位置も像高に応じて補正した補正射出瞳位置CEXPIを用いる必要がある。補正F値CFno及び補正射出瞳位置CEXPIの算出手法について図5を参照して説明する。図5は、像高xの焦点検出画素に対応した有効口径CFと結像光束の中心方向である結像光束入射角θcとの関係を示す図である。図5に示すように、像高xの位置に結像する結像光束は、入射角θLからθUの範囲に存在している。ここで、入射角θLは光軸に近い側の最大の入射角であり、入射角θUは光軸に遠い側の最大の入射角である。そして、結像光束入射角θcは、入射角θLとθUの間の中心角である。したがって、入射角θL、入射角θU及び結像光束θcの間には、tanθc=(tanθL+tanθU)/2の関係が成立する。
撮像素子208の受光面への光線に入射角は、結像光束の中心を通る光線(図5の破線)と光軸との交点の位置と1対1に対応する。この位置、すなわち結像光束の中心を通る直線が光軸と交わる位置が、補正射出瞳位置CEXPI(図では受光面を基準とした長さで表されている)である。この補正射出瞳位置CEXPIは、以下の(式1)の関係で表される。なお、補正射出瞳位置CEXPIは、撮影レンズ102の本来の射出瞳位置EXPIとは異なることがある。
CEXPI=x/tanθc (式1)
また、像高xの位置の画素に入射する光束の範囲が有効口径CFであり、この有効口径CFは、CF=1/(tanθL−tanθU)と表される。有効口径CFをF値で表したものが補正F値CFnoである。したがって、補正F値CFnoは、以下の(式2)の関係で表される。
CFno=CEXPI/CF (式2)
(式1)及び(式2)からも分かるように、補正射出瞳位置CEXPI及び補正F値CFnoは、何れも像高x(すなわち入射角θL及び入射角θU)によって異なる値を持つ。したがって、像高xに応じた補正射出瞳位置CEXPI及び補正F値CFnoが既知であれば、これらの値から像高xにおける受光量の変化量が推定できる。そして、この受光量の変化に応じて補正を行うことにより、撮像データにおける照度分布の不均一性を補正することができる。したがって、本実施形態においては、代表値の像高(例えばそれぞれのAFエリアの中心)xに応じた補正射出瞳位置CEXPI及び補正F値CFnoを瞳データとしてレンズ側記憶部108に記憶させておくとともに、補正射出瞳位置CEXPI及び補正F値CFnoに応じた照度補正データを本体側記憶部230に記憶させておく。そして、AF時には、焦点検出回路222は、レンズ側記憶部108に記憶された像高xに応じた補正射出瞳位置CEXPI及び補正F値CFnoを取得し、取得した補正射出瞳位置CEXPI及び補正F値CFnoに応じた照度補正データを取得し、取得した照度補正データに応じて図5で示したような照度分布の不均一性を補正する。このような一連の処理が照度補正1の処理である。
以下、図6を参照して照度補正1の処理を具体的に説明する。ここでは、ラインdの照度分布の不均一性を補正する例を説明するが他のラインも同様の補正が可能である。また、カメラ本体200に現在装着されている交換レンズ100は、開放F値Fnoが2.0で射出瞳位置EXPIが60mmのレンズであるとする。そして、レンズ側記憶部108に記憶されている瞳データから算出される、現在装着されている交換レンズ100の像高毎の補正射出瞳位置CEXPI及び補正F値CFnoは図7に示すものであるとする。また、本体側記憶部230に記憶されている照度補正データhosei_b[area][CFno_index][CEXPI_index]及び照度補正データhosei_r[area][CFno_index][CEXPI_index]は、例えば4段階のF値CFno=2、4、6、8(CFno_index=0,1,2,3)及び3段階の射出瞳位置CEXPI=40mm、60mm、80mm(CEXPI_index=0,1,2)に対応した12段階の照度補正データであるとする。
照度補正1の処理として、焦点検出回路222は、代表値における照度補正データを算出する(ステップS201)。ここで、現在の交換レンズ100の代表値の像高xに応じた補正射出瞳位置CEXPI及び補正F値CFnoが図7で示されるものであるとき、像高x=±0.15のときのCEXPIは40mmであり、この値はCEXPI_index=0に対応している。一方、像高x=±0.15のときのCFnoは3であり、この値はCfno_index=0(CFno=2)とCfno_index=1(CFno=4)とを1:1に分ける値に対応している。したがって、焦点検出回路222は、図7の例の交換レンズ100が装着されたときの像高x=±0.15のときの照度補正データを、CEXPI_index=0でCFno_index=0のときの照度補正データとCEXPI_index=0でCFno_index=1のときの照度補正データの平均値とする。同様に、像高x=±0.1のときのCEXPIは40mmであり、この値はCEXPI_index=0に対応している。一方、像高x=±0.1のときのCFnoは2.5であり、この値はCfno_index=0とCfno_index=1とを3:1に分ける値に対応している。したがって、焦点検出回路222は、図7の例の交換レンズ100が装着されたときの像高x=±0.1のときの照度補正データを、CEXPI_index=0でCFno_index=0のときの照度補正データの3/4倍の値とCEXPI_index=0でCFno_index=1のときの照度補正データの1/4倍の値とを加算した値とする。さらに同様に、像高x=±0.05、0のときのCEXPIは40mmであり、この値はCEXPI_index=0に対応している。一方、像高x=±0.05、0のときのCFnoは2であり、この値はCfno_index=0に対応している。したがって、焦点検出回路222は、図7の例の交換レンズ100が装着されたときの像高x=±0.05、0のときの照度補正データを、CEXPI_index=0でCFno_index=0のときの照度補正データの値とする。このような照度補正データを図8に示す。図8の黒丸及び白丸の位置が代表値の像高における照度補正データである。図8に示す照度補正データは、例えば図5で示した光量(画素出力)を一定値とするように調整されたデータである。
代表値における照度補正データの算出後、焦点検出回路222は、代表値以外の像高x、すなわちAFエリアを構成するそれぞれの焦点検出画素の位置に対応した照度補正データを直線補間によって算出する(ステップS202)。以下、ステップS202の処理によって算出されたAFエリアの焦点検出画素毎の照度補正データを、照度補正データhosei_val_b[area][el]及び照度補正データhosei_val_r[area][el]と記す。
AFエリアの焦点検出画素毎の照度補正データの算出後、焦点検出回路222は、焦点検出画素の画素出力を補正する(ステップS203)。そして、焦点検出回路222は、照度補正1の処理を終了させる。ここで、照度補正1の後の基準部の焦点検出画素の画素出力をb_dat1[area][el]とし、参照部の焦点検出画素の画素出力をr_dat1[area][el]とすると、これらは以下の(式3)で表される。
b_dat1[area][el]=hosei_val_b[area][el]×b_dat0[area][el]
r_dat1[area][el]=hosei_val_r[area][el]×r_dat0[area][el] (式3)
ここで、図2の説明に戻る。照度補正1の処理の後、焦点検出回路222は、照度補正2の処理を行う(ステップS103)。以下、照度補正2の処理を説明する。照度補正2は、設計上起こり得る焦点検出画素等の個体ばらつきによる補正残りの影響を吸収するための処理である。照度補正1の処理により、図5で示した画素出力は、一定値に近づくように補正される。しかしながら、実際には焦点検出画素等の個体ばらつきにより、図9(a)で示すような補正残りが発生することがある。このような補正残りを基準部の焦点検出画素の画素出力と参照部の焦点検出画素の画素出力とのずれ量を検出することによって補正する。
以下、図10を参照して照度補正2の処理を具体的に説明する。照度補正2の処理として、焦点検出回路222は、基準部の画素出力と参照部の画素出力とのずれ量(例えば比率)を算出する(ステップS301)。ずれ量を算出するに際し、焦点検出回路222は、それぞれのAFエリアにおける基準部の焦点検出画素の画素出力の平均値Ave_b[area]と参照部の焦点検出画素の画素出力の平均値Ave_r[area]とを算出する。その後、焦点検出回路222は、ずれ量Balance[area]を以下の(式4)のようにして算出する。
Balance[area]=Ave_b[area]/Ave_r[area] (式4)
ずれ量の算出後、焦点検出回路222は、ずれ量を所定範囲内にクリップする(ステップS302)。クリップを施すのは、個体ばらつきや被写体像自体の明暗によって生じる基準部と参照部との画素出力のずれに起因するノイズが補正によって拡大されて偽合焦が生じるのを防止するためである。なお、クリップ値の上限CLIP_arufa_Max及び下限CLIP_arufa_Minは、設計上起こり得る個体ばらつきに起因するノイズの最大値によって決定される。また、シングルAF時とコンティニュアスAF時とではコンティニュアスAFのほうのクリップ値の範囲を広げるようにすることが望ましい。例えば、シングルAF時の上限CLIP_arufa_SAF_Maxを1.2とし、下限CLIP_arufa_SAF_Minを0.8としたとき、コンティニュアスAF時の上限CLIP_arufa_CAF_Maxを1.3とし、下限CLIP_arufa_CAF_Minを0.7とする。このように、シングルAF時のときにはクリップ値の範囲を狭くすることで偽合焦が生じる可能性を低減させてAF精度を向上させることができる。一方、コンティニュアスAF時のときにはクリップ値の範囲を広くすることで偽合焦が生じる可能性が高まるがAF速度を速くすることができる。
ずれ量をクリップした後、焦点検出回路222は、ずれ量Balance[area]を用いて基準部と参照部の何れかの焦点検出画素の画素出力を補正する(ステップS303)。例えば、参照部の焦点検出画素の画素出力を補正すると、照度補正2の後の参照部の画素出力r_dat2[area][el]は、以下の(式6)に従って得られる。なお、照度補正2の後の基準部及び参照部の焦点検出画素の画素出力を図9(b)に示す。照度補正2によって補正残りが少なくなって同一像高における基準部及び焦点検出部の画素出力が略一致する。
r_dat2[area][el]=Balance[area]×r_dat1[area][el] (式6)
ここで、図2の説明に戻る、照度補正2の処理の後、焦点検出回路222は、デフォーカス量を算出するための相関演算を行う(ステップS104)。相関演算は、基準部の画素出力b_dat1[area][el]と参照部の画素出力r_dat2[area][el]との間の相関演算である。基準部の画素出力b_dat1[area][el]と参照部の画素出力r_dat2[area][el]の相関演算の結果、最小の相関値Fが得られる画素ずらし量がデフォーカス量となる。相関演算の後、焦点検出回路222は、デフォーカス量の信頼性がOKであるか否かを判定する(ステップS105)。デフォーカス量の信頼性がOKであるか否かは例えば相関値Fによって判定される。デフォーカス量に対応した相関値である最小の相関値Fminが十分に小さく、かつ、最小の相関値付近の傾きが十分に大きい場合には信頼性がOKであると判定される。最小の相関値Fminが十分に小さいか否かは、図11(a)に示すように、最小の相関値Fmin≦FINTであるか否かを判定することによって行われる。ここで、FINTは、閾値である。図11(a)は、信頼性がNGの場合の例である。また、最小の相関値付近の傾きが十分に大きいか否かは、図11(b)に示すように、FS≧FSminであるか否かを判定することによって行われる。ここで、FSは、FM-FminとFP-Fminのうちの何れか大きいほうである。また、FMは、elがminよりも1だけ小さい画素位置の相関値であり、さらに、FPは、elがminよりも1だけ大きい画素位置の相関値である。
ステップS105においてデフォーカス量の信頼性がNGであると判定した場合に、焦点検出回路222は、合焦できないと判定して図2の処理を終了させる。このとき、焦点検出回路222は、例えば表示部224に現在が非合焦状態である旨を表示させる。ステップS105においてデフォーカス量の信頼性がOKであると判定した場合に、焦点検出回路222は、現在、撮影レンズ102が合焦状態であるか否かを判定する(ステップS106)。例えば、デフォーカス量が閾値よりも小さい場合に合焦状態であるとする。ステップS106において撮影レンズ102が合焦状態であると判定した場合に、焦点検出回路222は、合焦できたと判定して図2の処理を終了させる。このとき、焦点検出回路222は、例えば表示部224に現在が合焦状態である旨を表示させる。ステップS106において撮影レンズ102が合焦状態でないと判定した場合に、焦点検出回路222は、デフォーカス量をCPU216に送信する。このデフォーカス量に基づいて、CPU216は、レンズCPU106を制御して撮影レンズ102のフォーカスレンズ1021を合焦位置まで駆動させる(ステップS107)。その後、CPU216は、処理をステップS101に戻す。
以上説明したように本実施形態によれば、交換レンズ100に像高に応じた瞳データを持たせておき、カメラ本体200に瞳データに応じた照度補正データを持たせておくことにより、交換レンズ100に応じた照度補正を行うことが可能である。すなわち、交換レンズ100の仕様が変更されたとしても、カメラ本体の照度補正データテーブルの内容を変えることなく照度補正を行うことができる。
また、照度補正2によって参照部の画素出力を補正することにより、個体ばらつきや被写体像の影響を排した状態で照度補正を行うことができる。また、照度補正2の際には照度補正データをクリップすることにより、過補正によって偽合焦が生じる可能性を低減できる。
ここで、前述した例では、画素数やF値、射出瞳位置を単純化して記載しているが、実運用ではこの限りではない。また、一例では絞り開放でAFを開始しているが、絞り1022は必ずしも開放状態でなくてよい。また、代表値の像高もAFエリアの中心位置に限らない。また、1つのAFエリアに2つ以上の代表値があってもよい。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施形態による各処理は、CPU216に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、CPU216は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
100…交換レンズ、102…撮影レンズ、104…駆動部、106…レンズCPU、108…レンズ側記憶部、200…カメラ本体、202…メカシャッタ、204…駆動部、206…操作部、208…撮像素子、210…撮像制御回路、212…アナログ処理部、214…ADC、216…表示部、218…画像処理部、220…画像圧縮展開部、222…焦点検出回路、224…表示部、226…バス、230…本体側記憶部、232…記録媒体、1021…フォーカスレンズ、1022…絞り、2222…補正部

Claims (5)

  1. フォーカスレンズを含む撮影光学系を有する交換レンズと、前記交換レンズが着脱されるカメラ本体とを有するカメラシステムであって、
    前記交換レンズは、像高に応じた瞳に関するデータを記憶するレンズ側記憶部を具備し、
    前記カメラ本体は、
    撮像用の複数の撮像画素と焦点検出用の複数の焦点検出画素とを有する撮像素子と、
    前記焦点検出画素の出力について、前記焦点検出画素への入射光による照度分布の不均一性を補正するための補正データを記憶する本体側記憶部と、
    前記レンズ側記憶部から前記瞳に関するデータを受信し、前記補正データと前記瞳に関するデータとに基づいて前記焦点検出画素の出力の照度分布の不均一性を補正する補正部と、
    を具備し、
    前記瞳に関するデータは、前記交換レンズのF値に関するデータと射出瞳位置に関するデータであり、
    前記交換レンズのF値に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の範囲であり、
    前記交換レンズの射出瞳位置に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の中心光束と前記撮影光学系の光軸の交わる位置に関する情報であることを特徴とするカメラシステム。
  2. 前記複数の焦点検出画素は、位相差を検出するための基準部と参照部のいずれか一方に対応し、
    前記補正部は、前記焦点検出画素の前記基準部の出力と前記参照部の出力とのずれ量を検出して、前記ずれ量に基づいて前記焦点検出画素の出力の不均一性を補正する補正係数を算出することを特徴とする請求項1に記載のカメラシステム。
  3. 前記補正部は、前記補正係数が所定値を越える場合は、前記補正係数を前記所定値に制限することを特徴とする請求項2に記載のカメラシステム。
  4. 前記本体側記憶部は、複数の前記瞳に関するデータにそれぞれ対応する複数の補正データを有し、
    前記補正部は、前記瞳に関するデータに基づいて前記複数の補正データから代表的な補正データを算出して照度分布の不均一性を補正することを特徴とする請求項2に記載のカメラシステム。
  5. フォーカスレンズを含む撮影光学系を有し、像高に応じた瞳データを有する交換レンズと、前記交換レンズを着脱可能なカメラ本体であって、撮像用の複数の撮像画素と焦点検出用の複数の焦点検出画素を含む撮像素子を有するカメラ本体とを有するカメラシステムにて前記焦点検出画素の出力を補正する焦点検出画素の補正方法において、
    前記カメラ本体に記憶される、前記焦点検出画素の出力について前記焦点検出画素への入射光による照度分布の不均一性を補正するための補正データを読み出し、
    前記交換レンズから前記瞳データを受信し、
    前記補正データと前記瞳データとに基づいて前記焦点検出画素の出力の照度分布の不均一性を補正し、
    前記瞳データは、前記交換レンズのF値に関するデータと射出瞳位置に関するデータであり、
    前記交換レンズのF値に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の範囲であり、
    前記交換レンズの射出瞳位置に関するデータは、所定の像高に位置する前記焦点検出画素に入射する光束の中心光束と前記撮影光学系の光軸の交わる位置に関する情報であることを特徴とする焦点検出画素の補正方法。
JP2013205951A 2013-09-30 2013-09-30 カメラシステム及び焦点検出画素の補正方法 Active JP5769773B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013205951A JP5769773B2 (ja) 2013-09-30 2013-09-30 カメラシステム及び焦点検出画素の補正方法
CN201480053915.7A CN105593739B (zh) 2013-09-30 2014-09-24 照相机系统和焦点检测像素的校正方法
PCT/JP2014/075278 WO2015046246A1 (ja) 2013-09-30 2014-09-24 カメラシステム及び焦点検出画素の補正方法
EP14847957.9A EP3054336B1 (en) 2013-09-30 2014-09-24 Camera system and focal point detection pixel correction method
US15/082,139 US9509899B2 (en) 2013-09-30 2016-03-28 Camera system and method for correcting focus detection pixel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013205951A JP5769773B2 (ja) 2013-09-30 2013-09-30 カメラシステム及び焦点検出画素の補正方法

Publications (2)

Publication Number Publication Date
JP2015069180A JP2015069180A (ja) 2015-04-13
JP5769773B2 true JP5769773B2 (ja) 2015-08-26

Family

ID=52743381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013205951A Active JP5769773B2 (ja) 2013-09-30 2013-09-30 カメラシステム及び焦点検出画素の補正方法

Country Status (4)

Country Link
US (1) US9509899B2 (ja)
EP (1) EP3054336B1 (ja)
JP (1) JP5769773B2 (ja)
WO (1) WO2015046246A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6210824B2 (ja) * 2013-10-02 2017-10-11 オリンパス株式会社 焦点調節装置および焦点調節方法
WO2015146228A1 (ja) * 2014-03-25 2015-10-01 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6504969B2 (ja) * 2015-08-19 2019-04-24 キヤノン株式会社 撮像システム、撮像装置、レンズ装置、撮像システムの制御方法
US10225457B1 (en) * 2017-09-06 2019-03-05 Mitutoyo Corporation Stabilizing operation of a high speed variable focal length tunable acoustic gradient lens in an imaging system
JP7246961B2 (ja) * 2019-02-15 2023-03-28 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP2022089251A (ja) * 2020-12-04 2022-06-16 キヤノン株式会社 撮像装置、光電変換システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157457A (ja) * 2004-11-29 2006-06-15 Canon Inc 撮像装置及び撮像方法、並びに撮像プログラム
JP4984491B2 (ja) * 2005-10-31 2012-07-25 株式会社ニコン 焦点検出装置および光学システム
JP4946059B2 (ja) * 2006-01-11 2012-06-06 株式会社ニコン 撮像装置
JP5225151B2 (ja) 2008-03-11 2013-07-03 キヤノン株式会社 撮像装置及び画像処理方法
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
JP5147645B2 (ja) * 2008-10-30 2013-02-20 キヤノン株式会社 撮像装置
JP5486284B2 (ja) * 2009-12-08 2014-05-07 キヤノン株式会社 撮像装置
US8654228B2 (en) * 2010-03-17 2014-02-18 Panasonic Corporation Imaging apparatus, camera body and interchangeable lens
JP5293716B2 (ja) * 2010-09-30 2013-09-18 株式会社ニコン 交換レンズ、カメラボディおよびカメラシステム
US8810713B2 (en) * 2011-07-13 2014-08-19 Olympus Imaging Corp. Image pickup apparatus and image pickup device for performing auto-focusing
JP5885421B2 (ja) * 2011-08-10 2016-03-15 オリンパス株式会社 撮像装置

Also Published As

Publication number Publication date
WO2015046246A1 (ja) 2015-04-02
JP2015069180A (ja) 2015-04-13
EP3054336A4 (en) 2017-05-24
EP3054336B1 (en) 2019-11-06
US9509899B2 (en) 2016-11-29
US20160212325A1 (en) 2016-07-21
EP3054336A1 (en) 2016-08-10
CN105593739A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5212396B2 (ja) 焦点検出装置
JP6476065B2 (ja) 撮像装置及び撮像装置の制御方法
US9137436B2 (en) Imaging apparatus and method with focus detection and adjustment
JP5769773B2 (ja) カメラシステム及び焦点検出画素の補正方法
US20130314564A1 (en) Image capturing apparatus and image processing method
WO2018096816A1 (ja) 焦点調節装置、焦点調節装置の制御方法及び焦点調節プログラムを記憶した記録媒体
JP5572700B2 (ja) 撮像装置及び撮像方法
JP2016143022A (ja) 撮像装置及び撮像方法
JP2013218297A (ja) 焦点調節装置および焦点調節方法
JP5826901B2 (ja) 撮像装置及び光軸位置算出方法
US20150049216A1 (en) Image capturing apparatus
US10630882B2 (en) Image pickup apparatus having function of correcting defocusing and method for controlling the same
JP5701942B2 (ja) 撮像装置、カメラシステム及び画像処理方法
US9451175B2 (en) Imaging apparatus, information processing device, image pickup method, and non-transitory computer-readable storage medium storing a program therefor for obtaining light field information
JP5775918B2 (ja) 撮像装置、画像処理方法及び画像処理プログラム
US20200092489A1 (en) Optical apparatus, control method, and non-transitory computer-readable storage medium
JP2018101110A (ja) 焦点検出装置
JP2015114544A5 (ja)
JP2017227792A (ja) 焦点検出装置および焦点検出方法
JP2015176114A (ja) 撮像装置および撮像装置の制御方法
JP2019148668A (ja) 焦点調節装置及び焦点調節装置の制御方法
JP2014165785A (ja) 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2009159238A (ja) 自動焦点調節装置および撮像装置
US9565353B2 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150623

R151 Written notification of patent or utility model registration

Ref document number: 5769773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250