JP4792943B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4792943B2
JP4792943B2 JP2005345901A JP2005345901A JP4792943B2 JP 4792943 B2 JP4792943 B2 JP 4792943B2 JP 2005345901 A JP2005345901 A JP 2005345901A JP 2005345901 A JP2005345901 A JP 2005345901A JP 4792943 B2 JP4792943 B2 JP 4792943B2
Authority
JP
Japan
Prior art keywords
output signal
conversion
signal
unit
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005345901A
Other languages
English (en)
Other versions
JP2007151016A (ja
Inventor
和子 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005345901A priority Critical patent/JP4792943B2/ja
Publication of JP2007151016A publication Critical patent/JP2007151016A/ja
Application granted granted Critical
Publication of JP4792943B2 publication Critical patent/JP4792943B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は撮像装置に係り、特に、複数種類の光電変換特性を有する撮像素子を用いた撮像装置に関する。
従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。
このように複数種類の光電変換特性を有する撮像素子を使用すると、複数の特性によって変化する出力信号が得られるため、信号処理の演算が複雑になるという問題があった。そこで、撮像素子の出力信号を一つの変換特性により変換された状態に統一する特性変換処理が行われている。
しかし、出力信号の特性変換をするにあたり、撮像素子の各画素間で製造工程に由来する入出力特性のばらつきがあると、変換誤差が生じるという問題があった。そこで、各画素間の入出力特性のばらつきを補正する機能を備えた撮像装置が提案されている。
例えば、特許文献1には、補正手段として、複数の画素に共通した基準変曲点データを設定する基準変曲点設定手段と、各画素の変曲点データを記憶する変曲点データ記憶手段と、変曲点補正演算手段とを備え、基準変曲点データに基づいて各画素の変曲点データを補正する撮像装置が記載されている。
また、特許文献2には、各画素の出力信号の変曲点における出力値がばらついている場合に、対数領域の始点(変曲点)が揃うように補正することにより、対数特性を一致させる撮像装置が記載されている。
特開平11−298799号公報 特開2000−175108号公報
しかしながら、上記の撮像装置はいずれも各画素の出力信号が一定の入射光量で変曲することを前提としており、各画素間で変曲点における入射光量が異なる場合は光電変換特性を統一することはできなかった。このため、上記の撮像装置では、撮像素子の出力信号を一つの変換特性により変換された状態に統一する特性変換処理を行うと、各画素間で特性変換後の出力信号にばらつきが生じ、正確な特性変換を行うことができないという問題があった。
本発明の課題は、複数種類の光電変換特性を有する撮像素子において、各画素間の変曲出力信号値又は変曲点における入射光量が異なる場合でも、各画素の出力信号にばらつきがないよう、正確な特性変換を行うことを可能とする撮像装置を提供することである。
請求項1記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、前記画素の各々の出力信号の変換特性の切換点における出力信号値を記憶する記憶部と、前記撮像素子の出力信号に対して信号処理を行う信号処理部と、を備え、前記信号処理部は、前記撮像素子の複数画素各々からの出力信号の内、一つの特定画素からの出力信号である基準信号を一つの特性変換によって変換された状態に統一する、単一の特性変換部と、 前記記憶部から前記画素の各々の変換特性の切換点における出力信号値の内、前記特定画素からの出力信号である基準信号の変換特性の切換点における出力信号値を読み出し、前記特性変換部による特性変換前に前記基準信号の変換特性の切換点における出力信号値と前記特定画素以外の各画素の変換特性の切換点における出力信号値とを用いた演算をそれぞれ行う事により、前記特定画素以外の画素の各々の出力信号について前記基準信号に一致させるための補正を行うばらつき補正部と、を備える事ことを特徴とする。
請求項1記載の発明によれば、撮像素子の複数の画素間で光電変換特性がばらつく場合に、各画素間のばらつき補正及び特性変換を行うことから、撮像素子の出力信号を一つの特性に正確に統一することが可能となる。
請求項記載の発明は、請求項記載の撮像装置であって、前記ばらつき補正部は前記
画素の各々の変換特性の切換点における出力信号値と基準信号の変換特性の切換点におけ
る出力信号値との差を補正値として算出する補正値導出部を有する第1のばらつき補正部
を備えることを特徴とする。
請求項記載の発明によれば、ばらつき補正データに基づき、各画素間の出力信号のば
らつきを補正するための補正値を算出することが可能となる。
請求項記載の発明は、請求項記載の撮像装置であって、前記第1のばらつき補正部
は、前記特性変換部による特性変換前に、前記画素の各々の出力信号と基準信号との大き
さの比較結果に応じて、前記画素の各々の出力信号に前記補正値を加算する加算器及び前
記補正値を減算する減算器の双方又はいずれか一方を備えた演算部を有することを特徴と
する。
請求項記載の発明によれば、各画素の出力信号と基準信号との比較結果に応じて補正
値を加算又は減算することにより、各画素の切換点における出力信号値を基準信号の切換
点における出力信号値と一致させることが可能となる。また、演算により補正を行うこと
から、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが
可能となる。
請求項記載の発明は、請求項記載の撮像装置であって、前記ばらつき補正部は、前
記特性変換部による特性変換後の出力信号に対し、前記画素の各々の変換特性の切換点に
おける出力信号値を用いて乗算を行う乗算器及び基準信号の変換特性の切換点における出
力信号値を用いて除算を行う除算器を備え、前記画素の各々の出力信号を基準信号と同様
の傾き及び切片とする演算を行う演算部を有する第2のばらつき補正部を備えることを特
徴とする。
請求項記載の発明によれば、特性変換後の出力信号に対して基準信号と同様の傾き及
び切片を有するように演算を行うことにより、各画素の変換特性の切換点における入射光
量が異なる場合でも、その変換特性を基準信号と一致させることが可能となる。また、演
算により補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回
路規模を縮小することが可能となる。
請求項記載の発明は、請求項1記載の撮像装置であって、前記ばらつき補正データは
前記画素の各々の出力信号のオフセット値であることを特徴とする。
請求項記載の発明によれば、各画素の変換特性の切換点における出力信号値に加えて
各画素の出力信号のオフセット値をばらつき補正データとして記憶しておくことにより、
オフセット値を用いた演算によって、撮像素子の出力信号を一つの特性に正確に統一する
ことが可能となる。
請求項記載の発明は、請求項記載の撮像装置であって、前記ばらつき補正部は前記
画素の各々の出力信号のオフセット値と基準信号のオフセット値との差を補正値として算
出する補正値導出部を備えることを特徴とする。
請求項記載の発明によれば、ばらつき補正データに基づき、各画素間の出力信号のば
らつきを補正するための補正値を算出することが可能となる。
請求項記載の発明は、請求項記載の撮像装置であって、前記ばらつき補正部は、前
記特性変換部による特性変換前に、前記画素の各々の出力信号と基準信号との大きさの比
較結果に応じて、前記画素の各々の出力信号に前記補正値を加算する加算器及び前記補正
値を減算する減算器の双方又はいずれか一方を備えた演算部を有することを特徴とする。
請求項記載の発明によれば、各画素の出力信号と基準信号との比較結果に応じて補正
値を加算又は減算することにより、各画素の変換特性の切換点における出力信号値及び入
射光量の双方又はいずれか一方が異なる場合でも、その変換特性を基準信号と一致させる
ことが可能となる。また、演算により補正を行うことから、ルックアップテーブルにより
補正を行う場合と比較して回路規模を縮小することが可能となる。
請求項記載の発明は、請求項1〜請求項いずれか一項に記載の撮像装置であって、
前記信号処理部は、前記撮像素子の出力信号と前記画素の各々の変換特性の切換点におけ
る出力信号値とを比較して、前記撮像素子の出力信号が大きい場合は前記信号処理を行う
ことを特徴とする。
請求項記載の発明によれば、撮像素子の出力信号が所定の出力信号値より大きい場合
にのみ信号処理を行うことから、入射光に応じて変換特性が変化する撮像素子であれば、
高輝度側の特性により変換された出力信号についてのみ信号処理が行われるので、低輝度
側の特性変換を行う必要のない出力信号についてはばらつき補正や特性変換が行われるこ
とがなく、無駄な信号処理を省いて信号処理を高速化することが可能となる。
請求項記載の発明は、請求項1〜請求項いずれか一項に記載の撮像装置であって
、前記特性変換部はルックアップテーブルにより特性変換を行うことを特徴とする。
請求項記載の発明によれば、ルックアップテーブルにより特性変換を行うので、演
算によって特性変換を行う場合と比較して、特性変換部の構成を簡素化すると共に信号処
理を高速化することが可能となる。
請求項10記載の発明は、請求項1〜請求項いずれか一項に記載の撮像装置であっ
て、前記画素は入射光に応じて変化する2つの異なる光電変換特性を有することを特徴と
する。
請求項10記載の発明によれば、入射光に応じて変化する2つの異なる光電変換特性を
有する複数の画素を有する撮像素子を備えた撮像装置において、請求項1〜請求項
同様の作用を得ることができる。
請求項11記載の発明は、請求項1〜請求項いずれか一項に記載の撮像装置であっ
て、前記複数種類の変換特性は対数変換特性及び線形変換特性であり、前記特性変換部は
対数変換された出力信号を線形変換することを特徴とする。
請求項11記載の発明によれば、対数変換された出力信号を線形変換することにより、
撮像素子の出力信号を全体として線形変換された状態に統一することが可能となる。
請求項12記載の発明は、請求項1〜請求項いずれか一項に記載の撮像装置であっ
て、前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であり、前記特性変
換部は互いに傾きの異なる複数の線形変換された出力信号を一つの傾きを有する出力信号
に特性変換することを特徴とする。
請求項12記載の発明によれば、互いに傾きの異なる複数の線形変換された出力信号を
特性変換することにより、撮像素子の出力信号を全体として一つの傾きを有する出力信号
に統一することが可能となる。
請求項1記載の発明によれば、各画素間のばらつき補正及び特性変換により撮像素子の出力信号を一つの特性に正確に統一することが可能となる。
請求項記載の発明によれば、各画素間の出力信号のばらつきを補正するための補正値
を算出することが可能となる。
請求項記載の発明によれば、各画素の切換点における出力信号値を基準信号の切換点
における出力信号値と一致させることが可能となる。また、ルックアップテーブルを使用
せず回路規模を縮小することが可能となる。
請求項記載の発明によれば、各画素の変換特性の切換点における入射光量が異なる場
合でも、その変換特性を基準信号と一致させることが可能となる。また、ルックアップテ
ーブルを使用せず回路規模を縮小することが可能となる。
請求項記載の発明によれば、オフセット値を用いた演算によって、撮像素子の出力信
号を一つの特性に正確に統一することが可能となる。
請求項記載の発明によれば、各画素間の出力信号のばらつきを補正するための補正値
を算出することが可能となる。
請求項記載の発明によれば、各画素の変換特性の切換点における出力信号値及び入射
光量の双方又はいずれか一方が異なる場合でも、その変換特性を基準信号と一致させるこ
とが可能となる。また、ルックアップテーブルを使用せず回路規模を縮小することが可能
となる。
請求項記載の発明によれば、特性変換を行う必要のない出力信号についてはばらつき
補正や特性変換が行われることがなく、無駄な信号処理を省いて信号処理を高速化するこ
とが可能となる。
請求項記載の発明によれば、特性変換部の構成を簡素化すると共に信号処理を高速
化することが可能となる。
請求項10記載の発明によれば、入射光に応じて変化する2つの異なる光電変換特性を
有する複数の画素を有する撮像素子を備えた撮像装置において、請求項1〜請求項10と
同様の効果を得ることができる。
請求項11記載の発明によれば、撮像素子の出力信号を全体として線形変換された状態
に統一することが可能となる。
請求項12記載の発明によれば、撮像素子の出力信号を全体として一つの傾きを有する
出力信号に統一することが可能となる。
[実施の形態]
以下、図面を参照しつつ、本発明の実施の形態について説明する。
図1は、本発明に係る撮像装置1の概略構成を示すブロック図である。
図1に示すように、撮像装置1は、システム制御部2、レンズ系3、絞り4、絞り制御部5、撮像素子6、アンプ7、ADコンバータ(ADC)8、信号生成部9、黒基準設定部10、信号処理部11、ばらつき補正データ記憶部12、評価値検出部13及び画像処理部14を備えて構成されている。
システム制御部2はCPU(Central Processing Unit)、書き換え可能な半導体素子で構成されるRAM(Random Access Memory)及び不揮発性の半導体メモリで構成されるROM(Read Only Memory)から構成されている。
システム制御部2には絞り制御部5を介して絞り4が接続されており、また、信号生成部9を介して撮像素子6及びADコンバータ8が接続されている。また、システム制御部2には信号生成部9、ばらつき補正データ記憶部12、評価値検出部13及び画像処理部14がそれぞれ接続されている。そして、システム制御部2はROMに記録された処理プログラムをRAMに展開してCPUによりこの処理プログラムを実行することにより、これらの各構成部分を駆動制御するようになっている。
レンズ系3及び絞り4としては、従来から公知のものが用いられている。
絞り制御部5は、レンズ系3により集光される光の量を調整する絞り4を駆動制御するようになっている。すなわち、絞り制御部5は、システム制御部2から入力される制御値に基づき、撮像素子6の撮像動作開始直前に絞り4を開口させてから所定の露光時間の経過後に絞り4を閉塞させ、また、非撮像時は撮像素子6への入射光を遮断することによって、入射光量を制御するようになっている。
撮像素子6は、レンズ系3を透過した入射光を電気信号に光電変換して取り込むようになっている。
ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が特性切換点を介して連続的に変化するようになっている。
本実施形態の撮像素子6は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。すなわち、撮像素子6の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「特性切換点」の下位概念となる語である。
撮像素子6は、図2に示すように、行列配置(マトリクス配置)された複数の画素G11〜Gmn(但し、n,mは1以上の整数)を有している。
各画素G11〜Gmnは、入射光を光電変換して電気信号を出力するものである。これら画素G11〜Gmnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。
これら画素G11〜Gmnのレンズ系3側には、それぞれレッド(Red)、グリーン(Green)及びブルー(Blue)のうち何れか1色のフィルタ(図示せず)が配設されている。なお、色フィルタはシアン(Cyan)、マゼンタ(Magenta)及びイエロー(Yellow)などの他の色フィルタであってもよい。
また、画素G11〜Gmnには、図2に示すように、電源ライン20や信号印加ラインLA1〜LAn,LB1〜LBn,LC1〜LCn、信号読出ラインLD1〜LDmが接続されている。なお、画素G11〜Gmnにはクロックラインやバイアス供給ラインなどのラインも接続されているが、図2ではこれらの図示を省略している。
信号印加ラインLA1〜LAn,LB1〜LBn,LC1〜LCnは、画素G11〜Gmnに対して信号φv,φVPS(図3参照)を与えるようになっている。これら信号印加ラインLA1〜LAn,LB1〜LBn,LC1〜LCnには、垂直走査回路21が接続されている。この垂直走査回路21は、信号生成部9(図1参照)からの信号に基づいて信号印加ラインLA1〜LAn,LB1〜LBn,LC1〜LCnに信号を印加するものであり、信号を印加する対象の信号印加ラインLA1〜LAn,LB1〜LBn,LC1〜LCnをX方向に順次切り換えるようになっている。
信号読出ラインLD1〜LDmには、各画素G11〜Gmnで生成された電気信号が導出されるようになっている。これら信号読出ラインLD1〜LDmには定電流源D1〜Dm及び選択回路S1〜Smが接続されている。
定電流源D1〜Dmの一端(図中下側の端部)には、直流電圧VPSが印加されるようになっている。
選択回路S1〜Smは、各信号読出ラインLD1〜LDmを介して画素G11〜Gmnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路S1〜Smには水平走査回路22及び補正回路23が接続されている。水平走査回路22は、電気信号をサンプルホールドして補正回路23に送信する選択回路S1〜Smを、Y方向に順次切り換えるものである。また、補正回路23は、選択回路S1〜Smから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。
なお、選択回路S1〜Sm及び補正回路23としては、特開平2001−223948号公報に開示のものを用いることができる。また、本実施形態においては、選択回路S1〜Smの全体に対して補正回路23を1つのみ設けることとして説明するが、選択回路S1〜Smのそれぞれに対して補正回路23を1つずつ設けることとしてもよい。
続いて、本実施形態における画素G11〜Gmnについて説明する。
各画素G11〜Gmnは、図3に示すように、フォトダイオードP及びトランジスタT1〜T3を備えている。なお、トランジスタT1〜T3は、バックゲートの接地されたNチャネルのMOSトランジスタである。
フォトダイオードPには、レンズ系3及び絞り4を通過した光が当たるようになっている。このフォトダイオードPのカソードPkには直流電圧VPDが印加されており、アノードPAにはトランジスタT1のドレインT1D及びゲートT1Gと、トランジスタT2のゲートT2Gとが接続されている。
トランジスタT1のソースT1Sには信号印加ラインLC(図2のLC1〜LCnに相当)が接続されており、この信号印加ラインLCから信号φVPSが入力されるようになっている。ここで、信号φVPSは2値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタT1をサブスレッショルド領域で動作させるための電圧値VHと、トランジスタT1を導通状態にする電圧値VLとの2つの値をとるようになっている。
本実施形態の撮像素子6は、入射光量が所定の閾値を超えたときは各画素Gm1〜GmnのトランジスタT1をサブスレッショルド領域で動作させることによって、入射光を自然対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子6の出力信号は、図4に実線で示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。
また、図3に示すように、トランジスタT2のドレインT2Dには直流電圧VPDが印加されており、トランジスタT2のソースT2Sは行選択用のトランジスタT3のドレインT3Dに接続されている。
更に、トランジスタT3のゲートT3Gには信号印加ラインLA(図2のLA1〜LAnに相当)が接続されており、信号印加ラインLAから信号φVが入力されるようになっている。また、トランジスタT3のソースT3Sは信号読出ラインLD(図2のLD1〜LDmに相当)に接続されている。
なお、以上のような画素G11〜Gmnとしては、特開2002−77733号公報に開示のものを用いることができる。
ここで、撮像素子6の各画素間で入出力特性がばらついた場合における各画素の出力信号について説明する。
図5は、画素G〜Gの間で入出力特性がばらついた場合の出力信号の例を示すグラフである。図5に示すように、各画素G〜Gの出力信号では線形領域及び対数領域の傾きは一致しているが、線形領域と対数領域との境界である変曲点における入射光量及び変曲点における出力信号値(変曲出力信号値)は相違している。
ここで、信号(1)〜(3)はそれぞれ画素G〜Gの出力信号を示しており、信号(1)〜(3)の対数領域はそれぞれ下記式(1)〜(3)によって表され、線形領域は下記式(4)によって表される。なお、式中のa、b、c〜c及びd〜dは定数である。
Figure 0004792943
Figure 0004792943
Figure 0004792943
Figure 0004792943
図5からわかるように、画素G〜G間で上記式(1)〜(3)のオフセット値d〜dにはばらつきがある。
以下の説明では、図5における信号(1)を基準信号とするが、基準信号は全画素の平均特性、最大特性、最小特性又はそれ以外の特性であってもよい。
図1に戻り、撮像素子6にはアンプ7及びADコンバータ8が接続されている。また、撮像素子6及びADコンバータ8には信号生成部9が接続されており、ADコンバータ8には黒基準設定部10及び信号処理部11がこの順に接続されている。
アンプ7は、撮像素子6から出力された電気信号を所定の規定レベルに増幅して撮影画像のレベル不足を補償するようになっている。
ADコンバータ8は、アンプ7において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。
信号生成部9は、撮像素子6の撮影動作を制御するようになっている。すなわち、システム制御部2からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など)を生成して撮像素子6に出力するようになっている。また、信号生成部9はAD変換用のタイミング信号も生成するようになっている。
黒基準設定部10は、デジタル信号の最低レベルを設定するものである。
信号処理部11は、図6に示すように、セレクタ24、ばらつき補正部25、特性変換部26、ばらつき補正部27及び出力部28を備えて構成されており、セレクタ24には撮像素子6及び撮像素子6の各画素G11〜Gmnに対応して設けられたばらつき補正データ記憶部12が接続されている。
ばらつき補正データ記憶部12は変曲出力信号値記憶部29を備えて構成されており、変曲出力信号値記憶部29は、撮像素子6の各画素G11〜Gmnの変曲出力信号値を予め記憶するようになっている。
セレクタ24は、撮像素子6から入力された各画素G11〜Gmnの出力信号と、変曲出力信号値記憶部29に記憶された各画素G11〜Gmnの変曲出力信号値とを比較するようになっている。そして、撮像素子6から入力された各画素G11〜Gmnの出力信号がそれぞれの変曲出力信号値より大きい場合、すなわち対数変換された出力信号である場合は、その出力信号をばらつき補正部25に出力し、撮像素子6の出力信号が変曲出力信号値より小さい場合、すなわち線形変換された出力信号である場合は、その出力信号を出力部28に出力するようになっている。
ばらつき補正部25は、図6に示すように、補正値導出部30及び演算部31を備えて構成されている。
補正値導出部30は、基準信号の変曲出力信号値と、各画素G11〜Gmnの変曲出力信号値との差を算出するようになっている。例えば、本実施形態では基準信号を図5の信号(1)とするので、図5の信号(2)を補正する場合は、信号(1)の変曲出力信号値Pと、信号(2)の変曲出力信号値Pとの差|P−P|を算出する。また、図5の信号(3)を補正する場合は、|P−P|を算出する。
演算部31は、比較部32、加算器33及び減算器34を備えて構成されている。比較部32は、基準信号の変曲出力信号値Pと各画素の変曲出力信号値とを比較して大小を判断するようになっている。そして、その比較結果に応じ、基準信号の変曲出力信号値P≧各画素の変曲出力信号値である場合は加算器33を、基準信号の変曲出力信号値P<各画素の変曲出力信号値である場合は減算器34を使用して、各画素の変曲出力信号値に基準信号の変曲出力信号値Pとの差を加算又は減算することにより、各画素間のばらつきを補正して補正後の電気信号を出力するようになっている。
例えば、図5の信号(2)を補正する場合は、基準信号の変曲出力信号値P≧画素Gの変曲出力信号値Pなので、下記式(5)による演算を行う。また、図5の信号(3)を補正する場合は、基準信号の変曲出力信号値P<画素Gの変曲出力信号値Pなので、下記式(6)による演算を行う。なお、下記式(5)及び(6)においてy及びyは補正前の信号(2)及び(3)を示し、y´及びy´は補正後の信号を示す。
Figure 0004792943
Figure 0004792943
ばらつき補正部25が以上の補正を行うと、図7に信号(2A)として示すように、信号(2)の変曲出力信号値Pは、基準信号の変曲出力信号値Pと一致する。
次に、特性変換部26は、基準変換テーブル35を備えて構成されている。基準変換テーブル35は、図4に矢印Zで示すように、対数変換された出力信号を線形化することにより、撮像素子6の出力信号を線形変換動作由来の状態に統一するようになっている。なお、本実施形態では、12ビットの電気信号の対数出力信号を線形変換して、全体として24ビットの電気信号を得るものとしている。
この基準変換テーブル35は、各画素G11〜Gmnの出力信号の基準信号に対して正確な線形化処理を行うように設定されている。すなわち、本実施形態では、基準信号である図5の信号(1)に対して正確な線形化処理を行うようになっている。
ここで、対数変換された出力信号の線形化処理は、下記式(7)によって示され、基準変換テーブル35はこれを満たすものとなっている。なお、下記式(7)において、y´は特性変換部26への入力信号を示し、Yは信号(2)の線形化処理後の出力信号を示す。
Figure 0004792943
以上の補正により、図7の信号(2A)を線形化すると、図8に示す信号(2B)となる。
次に、ばらつき補正部27は演算部36を備えて構成されている。演算部36は各画素によってばらついている特性変換後の線形特性に対して、基準信号の変曲出力信号値P及び各画素の変曲出力信号値に基づき、下記式(8)の演算を行うことにより基準信号と一致させるようになっている。すなわち、図8の信号(2B)に下記式(8)の演算を行うことにより、図8に点線で示す基準信号の信号(1)と一致させるようになっている。なお、下記式(8)において、Yはばらつき補正部27への入力信号を示し、Y´はばらつき補正部27における補正後の出力信号を示す。
Figure 0004792943
出力部28は、セレクタ24又はばらつき補正部27から入力される電気信号を出力するものである。
以上の信号処理部11には、図1に示すように、評価値検出部13及びシステム制御部2がこの順に接続されると共に、画像処理部14が接続されている。
評価値検出部13は、ホワイトバランス処理(AWB処理)に用いられるAWB評価値や、露出制御処理(AE処理)に用いられるAE評価値を算出するものである。
画像処理部14は、画素G11〜Gmnからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、AWB処理部15、色補間部16、色補正部17、階調変換部18及び色空間変換部19を備えている。これらAWB処理部15、色補間部16、色補正部17、階調変換部18及び色空間変換部19は、信号処理部11に対してこの順に接続されている。
AWB処理部15は、画像データに対してホワイトバランス処理を行うものである。
色補間部16は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づき、これら近接画素間に位置する画素についてこの色の電気信号を補間演算するものである。
色補正部17は、画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素G11〜Gmnごとに補正するものである。
階調変換部18は、画像データの階調変換を行うものである。
色空間変換部19は、RGB信号をYCbCr信号に変換するものである。
続いて、撮像装置1の撮像動作について説明する。なお、以下は図5の信号(1)を基準信号として、信号(2)を補正する場合について説明する。
まず、撮像素子6の各画素G11〜Gmnは、信号生成部9からの制御信号により、レンズ系3を透過した入射光を電気信号に光電変換し、線形変換又は対数変換された電気信号をアナログ信号として出力する。具体的には、上述のように各画素G11〜Gmnが信号読出ラインLDに電気信号を出力すると、この電気信号を定電流源Dが増幅し、選択回路Sが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Sから補正回路23に送出されると、補正回路23がノイズを除去して電気信号を出力する。
次に、撮像素子6から出力されたアナログ信号をアンプ7が増幅し、ADコンバータ8がデジタル信号に変換する。次に、黒基準設定部10がデジタル信号の最低レベルを設定した後、そのデジタル信号を信号処理部11のセレクタ24に送信する。
次に、セレクタ24は、撮像素子6から入力された各画素G11〜Gmnの出力信号と、変曲出力信号値記憶部29に記憶された各画素G11〜Gmnの変曲出力信号値とを比較する。
そして、撮像素子6から入力された各画素G11〜Gmnの出力信号がそれぞれの変曲出力信号値より大きい場合、すなわち対数変換された出力信号である場合は、その出力信号をばらつき補正部25に出力する。
一方、撮像素子6の出力信号が変曲出力信号値より小さい場合、すなわち線形変換された出力信号である場合は、その出力信号は出力部28に出力され、出力部28は各画素G11〜Gmnの出力信号をそのまま信号処理部11の出力とする。
続いて、セレクタ24が出力信号をばらつき補正部25に出力すると、補正値導出部30は、信号(1)の変曲出力信号値Pと、信号(2)の変曲出力信号値Pとの差|P−P|を算出する。
続いて、演算部31が備える比較部32は、基準信号の変曲出力信号値Pと信号(2)の変曲出力信号値Pとを比較する。そして、図5に示すように基準信号の変曲出力信号値P≧各画素の変曲出力信号値であることから、加算器33を使用して上記式(5)による演算を行う。これにより、図7に信号(2A)として示すように、図5の信号(2)の変曲出力信号値Pは、基準信号の変曲出力信号値Pと一致する。
次に、特性変換部26は、基準変換テーブル35により、上記式(7)による演算を実現し、図4に矢印Zで示すように、対数変換された出力信号を線形化して、撮像素子6の出力信号を線形変換動作由来の状態に統一する。これにより、図7の信号(2A)は線形化されて図8に示す信号(2B)となる。
次に、ばらつき補正部27の演算部36は、特性変換後の出力信号に対して、上記式(8)の演算を行うことにより基準信号と一致させる。これにより、図8の信号(2B)は基準信号の信号(1)と一致する。
次に、出力部28は、ばらつき補正部27から入力された電気信号を出力する。
このようにして信号処理部11から信号処理後の電気信号が出力されると、評価値検出部13は、ホワイトバランス処理(AWB処理)に用いられるAWB評価値や、露出制御処理(AE処理)に用いられるAE評価値を算出する。
また、画像処理部14は、画素G11〜Gmnからの電気信号全体によって構成される画像データに対して画像処理を行う。すなわち、AWB処理部15はホワイトバランス処理を行い、色補間部16は近接画素間に位置する画素について電気信号を補間演算することにより補間処理を行い、色補正部17は画像データの色合いを補正する。また、階調変換部18は画像データの階調変換を行い、色空間変換部19は、RGB信号をYCbCr信号に変換する。
以上のように本実施形態の撮像装置1によれば、撮像素子6の画素G11〜Gmn間で光電変換特性がばらつく場合に、各画素間のばらつき補正及び特性変換を行うことから、撮像素子6の出力信号を一つの特性に正確に統一することが可能となる。
また、ばらつき補正データとして画素の各々の変換特性の切換点における出力信号値を使用することから、各画素間で変換特性の切換点がばらついている場合に、これらを統一する補正を行うことが可能となる。また、ばらつき補正データとしてオフセット値を記憶しておく必要がないため、回路規模を縮小することができる。
また、ばらつき補正データに基づき、各画素間の出力信号のばらつきを補正するための補正値を算出することが可能となる。
また、各画素の出力信号と基準信号との比較結果に応じて補正値を加算又は減算することにより、各画素の変曲出力信号値を基準信号の変曲出力信号値と一致させることが可能となる。また、演算により補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが可能となる。
また、特性変換後の出力信号に対して基準信号と同様の傾き及び切片を有するように演算を行うことにより、各画素の変曲点における入射光量が異なる場合でも、その変換特性を基準信号と一致させることが可能となる。また、演算によって補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが可能となる。
また、撮像素子6の出力信号が変曲出力信号値より大きい場合にのみ信号処理を行うことから、高輝度側の出力信号についてのみ信号処理が行われるので、低輝度側の出力信号についてはばらつき補正や特性変換が行われることがなく、無駄な信号処理を省いて信号処理を高速化することが可能となる。
また、ルックアップテーブルにより特性変換を行うので、演算によって特性変換を行う場合と比較して、特性変換部26の構成を簡素化すると共に信号処理を高速化することが可能となる。
また、対数変換された出力信号を線形変換することにより、撮像素子6の出力信号を全体として線形変換された状態に統一することが可能となる。
なお、本実施形態では、撮像素子6としてリニアログ変換型センサを使用し、特性変換部26において対数変換された出力信号を線形化する場合について説明したが、本発明の撮像素子は、複数種類の変換特性のうち少なくとも一つが対数変換特性又は線形変換特性である撮像素子や、変換係数が異なる複数の線形変換特性を有する撮像素子であってもよい。
したがって、例えば、変換係数が異なる2種類の線形変換特性を有し、図9に実線で示すような出力信号となる撮像素子を使用して、特性変換部26において、図9に点線で示すように一つの変換特性により変換された状態の出力信号に統一する場合についても、本発明を適用することが可能である。すなわち、画素G〜Gの出力信号が図10に信号(i)〜(iii)として示すように各画素G〜G間でばらつく場合は、上記式(1)〜(3)を下記式(9)〜(11)として、上記と同様の補正を行うことにより、各画素G〜G間の変換特性のばらつきを補正することができる。
Figure 0004792943
Figure 0004792943
Figure 0004792943
また、ばらつき補正部25は演算部31を備え、ばらつき補正部27は演算部36を備える構成としたが、ルックアップテーブルを備える構成としてもよい。
また、特性変換部26は基準変換テーブル35を備える構成としたが、基準変換の演算を行う演算器を備える構成としてもよい。
[実施形態の変形例]
次に、上記実施形態の変形例について図11及び図12を参照して説明する。
本変形例においては、上記実施形態と異なる信号処理部11及びばらつき補正データ記憶部12について説明する。なお、同様の構成要素には同一の符号を付し、その説明を省略する。
本変形例の信号処理部11は、図11に示すように、セレクタ24、ばらつき補正部25、特性変換部26及び出力部28を備えて構成されている。
また、本変形例のばらつき補正データ記憶部12は、変曲出力信号値記憶部29に加えて、オフセット値記憶部37を備えて構成されている。
オフセット値記憶部37は、各画素G11〜Gmnに対応して設けられており、各画素G11〜Gmnのオフセット値、すなわち、図5の信号(1)〜(3)を例にすると、上記式(1)〜(3)のd〜dを予め記憶するようになっている。
また、本変形例のばらつき補正部25が備える補正値導出部30は、基準信号のオフセット値と各画素G11〜Gmnのオフセット値との差を算出するようになっている。例えば、基準信号を図5の信号(1)とし、図5の信号(2)を補正する場合であれば、|d−d|を算出する。また、図5の信号(3)を補正する場合は、|d−d|を算出する。
演算部31の構成は上記実施形態と同様であり、本変形例の比較部32は、基準信号のオフセット値と各画素のオフセット値とを比較して大小を判断するようになっている。そして、その比較結果に応じて加算器33又は減算器34を使用し、各画素間のばらつきを補正する演算を行うようになっている。
例えば、図5の信号(2)を補正する場合は、基準信号のオフセット値d≧画素Gのオフセット値dなので、加算器33を使用して、下記式(12)による演算を行う。また、図5の信号(3)を補正する場合は、基準信号のオフセット値d<画素Gのオフセット値dなので、減算器34を使用して、下記式(13)による演算を行う。
Figure 0004792943
Figure 0004792943
以上の補正をばらつき補正部25が行うと、図5の信号(2)は、図12に示す信号(2C)の状態となる。更に、特性変換部26が特性変換を行うと、図8に点線で示すように、信号(2)の特性変換後の線形特性は、信号(1)の特性変換後の線形特性と一致する。
なお、セレクタ24、特性変換部26及び出力部28の構成は上記実施形態と同様である。
次に、本実施形態の撮像装置1の動作について説明する。なお、以下は図5の信号(1)を基準信号として、信号(2)を補正する場合について説明する。
信号処理部11において、セレクタ24からばらつき補正部25に出力信号が入力されると、補正値導出部30は、基準信号のオフセット値と画素Gのオフセット値dとの差|d−d|を算出して、演算部31に出力する。
次に、演算部31の比較部32は、基準信号のオフセット値と画素Gのオフセット値dとを比較して大小を判断する。そして、図5に示すように、基準信号のオフセット値d≧画素Gのオフセット値dであることから、加算器33を使用して、上記式(12)による演算を行う。これにより、図5の信号(2)は、図12に示す信号(2C)の状態となる。
続いて、特性変換部26が特性変換を行うと、図8に点線で示すように、信号(2)の特性変換後の線形特性は、信号(1)の特性変換後の線形特性と一致する。
以上のように本実施形態の撮像装置1によれば、各画素の変曲出力信号値に加えて各画素の出力信号のオフセット値をばらつき補正データとして記憶しておくことにより、オフセット値を用いた演算によって、撮像素子の出力信号を一つの特性に正確に統一することが可能となる。
また、ばらつき補正データに基づき、各画素間の出力信号のばらつきを補正するための補正値を算出することが可能となる。
また、各画素の出力信号と基準信号との比較結果に応じて補正値を加算又は減算することにより、各画素の変曲出力信号値及び変曲点における入射光量の双方又はいずれか一方が異なる場合でも、その変換特性を基準信号と一致させることが可能となる。また、演算により補正を行うことから、ルックアップテーブルにより補正を行う場合と比較して回路規模を縮小することが可能となる。
以上詳細に説明したように、本発明に係る撮像装置によれば、複数種類の光電変換特性を有する撮像素子において、各画素間の変曲出力信号値又は変曲点における入射光量が異なる場合でも、各画素の出力信号にばらつきがないよう、正確な特性変換を行うことが可能となる。
本実施形態に係る撮像装置の概略構成を示すブロック図である。 本実施形態に係る撮像素子の構成を示すブロック図である。 本実施形態に係る画素の構成を示す回路図である。 本実施形態に係る撮像素子の出力信号を示すグラフである。 本実施形態に係る撮像素子の各画素の出力信号を示すグラフである。 本実施形態に係る信号処理部の構成を示すブロック図である。 本実施形態に係る信号処理部による補正後の出力信号を示すグラフである。 本実施形態に係る信号処理部による特性変換後の出力信号を示すグラフである。 本実施形態に係る他の撮像素子の出力信号を示すグラフである。 本実施形態に係る他の撮像素子の各画素の出力信号を示すグラフである。 本実施形態の変形例に係る信号処理部の構成を示すブロック図である。 本実施形態変形例に係る信号処理部による特性変換後の出力信号を示すグラフである。
符号の説明
1 撮像装置
2 システム制御部
3 レンズ系
4 絞り
5 絞り制御部
6 撮像素子
7 アンプ
8 ADコンバータ
9 信号生成部
10 黒基準設定部
11 信号処理部
12 ばらつき補正データ記憶部
13 評価値検出部
14 画像処理部
15 AWB処理部
16 色補間部
17 色補正部
18 階調変換部
19 色空間変換部
24 セレクタ
25 ばらつき補正部
26 特性変換部
27 ばらつき補正部
28 出力部
29 変曲出力信号値記憶部
30 補正値導出部
31 演算部
32 比較部
33 加算器
34 減算器
35 基準変換テーブル
36 演算部
37 オフセット値記憶部

Claims (12)

  1. 複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、
    前記画素の各々の出力信号の変換特性の切換点における出力信号値を記憶する記憶部と、
    前記撮像素子の出力信号に対して信号処理を行う信号処理部と、を備え、前記信号処理部は、
    前記撮像素子の複数画素各々からの出力信号の内、一つの特定画素からの出力信号である基準信号を一つの特性変換によって変換された状態に統一する、単一の特性変換部と、
    前記記憶部から前記画素の各々の変換特性の切換点における出力信号値の内、前記特定画素からの出力信号である基準信号の変換特性の切換点における出力信号値を読み出し、前記特性変換部による特性変換前に前記基準信号の変換特性の切換点における出力信号値と前記特定画素以外の各画素の変換特性の切換点における出力信号値とを用いた演算をそれぞれ行う事により、前記特定画素以外の画素の各々の出力信号について前記基準信号に一致させるための補正を行うばらつき補正部と、
    を備える事を特徴とする撮像装置。
  2. 前記ばらつき補正部は前記画素の各々の変換特性の切換点における出力信号値と基準信号
    の変換特性の切換点における出力信号値との差を補正値として算出する補正値導出部を有
    する第1のばらつき補正部を備えることを特徴とする請求項1記載の撮像装置。
  3. 前記第1のばらつき補正部は、前記画素の各々の出力信号と前記基準信号との大きさの比較結果に応じて、前記画素の各々の出力信号に前記補正値を加算する加算器及び前記補正値を減算する減算器の双方又はいずれか一方を備えた演算部を有することを特徴とする請求項2記載の撮像装置。
  4. 前記ばらつき補正部は、前記特性変換部による特性変換後の出力信号に対し、前記画素
    の各々の変換特性の切換点における出力信号値を用いて乗算を行う乗算器及び基準信号の
    変換特性の切換点における出力信号値を用いて除算を行う除算器を備え、前記画素の各々
    の出力信号を前記基準信号と同様の傾き及び切片とする演算を行う演算部を有する第2のばらつき補正部を備えることを特徴とする請求項3記載の撮像装置。
  5. 前記ばらつき補正データは前記画素の各々の出力信号のオフセット値であることを特徴
    とする請求項1記載の撮像装置。
  6. 前記ばらつき補正部は前記画素の各々の出力信号のオフセット値と基準信号のオフセッ
    ト値との差を補正値として算出する補正値導出部を備えることを特徴とする請求項5記載
    の撮像装置。
  7. 前記ばらつき補正部は、前記特性変換部による特性変換前に、前記画素の各々の出力信
    号と基準信号との大きさの比較結果に応じて、前記画素の各々の出力信号に前記補正値を
    加算する加算器及び前記補正値を減算する減算器の双方又はいずれか一方を備えた演算部
    を有することを特徴とする請求項6記載の撮像装置。
  8. 前記信号処理部は、前記撮像素子の出力信号と前記画素の各々の変換特性の切換点にお
    ける出力信号値とを比較して、前記撮像素子の出力信号が大きい場合は前記信号処理を行
    うことを特徴とする請求項1〜請求項7いずれか一項に記載の撮像装置。
  9. 前記特性変換部はルックアップテーブルにより特性変換を行うことを特徴とする請求項
    1〜請求項8いずれか一項に記載の撮像装置。
  10. 前記画素は入射光に応じて変化する2つの異なる光電変換特性を有することを特徴とす
    る請求項1〜請求項9いずれか一項に記載の撮像装置。
  11. 前記複数種類の変換特性は対数変換特性及び線形変換特性であり、前記特性変換部は対
    数変換された出力信号を線形変換することを特徴とする請求項1〜請求項10いずれか一
    項に記載の撮像装置。
  12. 前記複数種類の変換特性は変換係数が異なる複数の線形変換特性であり、前記特性変換
    部は互いに傾きの異なる複数の線形変換された出力信号を一つの傾きを有する出力信号に
    特性変換することを特徴とする請求項1〜請求項11いずれか一項に記載の撮像装置。
JP2005345901A 2005-11-30 2005-11-30 撮像装置 Expired - Fee Related JP4792943B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005345901A JP4792943B2 (ja) 2005-11-30 2005-11-30 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005345901A JP4792943B2 (ja) 2005-11-30 2005-11-30 撮像装置

Publications (2)

Publication Number Publication Date
JP2007151016A JP2007151016A (ja) 2007-06-14
JP4792943B2 true JP4792943B2 (ja) 2011-10-12

Family

ID=38211835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005345901A Expired - Fee Related JP4792943B2 (ja) 2005-11-30 2005-11-30 撮像装置

Country Status (1)

Country Link
JP (1) JP4792943B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576307B2 (en) 2008-07-25 2013-11-05 Konica Minolta Opto, Inc. Imaging device having a characteristic converting section
US20120092537A1 (en) * 2009-06-15 2012-04-19 Tetsuya Katagiri Image Pickup Apparatus
WO2010146748A1 (ja) * 2009-06-15 2010-12-23 コニカミノルタオプト株式会社 撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223392A (ja) * 2001-01-26 2002-08-09 Minolta Co Ltd 固体撮像装置

Also Published As

Publication number Publication date
JP2007151016A (ja) 2007-06-14

Similar Documents

Publication Publication Date Title
US7545412B2 (en) Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion
JP4771092B2 (ja) 撮像装置
WO2012057277A1 (ja) 撮像装置及びその暗電流補正方法
JP5012796B2 (ja) 撮像装置
US8130288B2 (en) Image processing apparatus
JP2007158663A (ja) アナログ画像信号のオフセット調整方法
JP2007329655A (ja) 撮像装置
JP4792943B2 (ja) 撮像装置
JP2008085634A (ja) 撮像装置及び画像処理方法
JP4346289B2 (ja) 撮像装置
JP2008028623A (ja) 撮像装置
JP4710617B2 (ja) 撮像装置及び撮像方法
JP2000041179A (ja) 画像入力装置のシェーディング補正方法および画像入力 装置
JP2007324998A (ja) 撮像装置
JP2007318503A (ja) 撮像装置
JP2008028634A (ja) 撮像装置
JP4784397B2 (ja) 撮像装置
JP5588729B2 (ja) 画像信号処理装置
JP4853734B2 (ja) 撮像装置
JP4735820B2 (ja) 撮像装置の信号処理方法及び撮像装置
JP4725052B2 (ja) 撮像装置
JP2012049792A (ja) 撮像装置
JP2008219117A (ja) 画像処理装置および画像処理方法
JP2006237998A (ja) 撮像装置
JP2006180065A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110215

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees