JP6003578B2 - 画像生成方法及び装置 - Google Patents
画像生成方法及び装置 Download PDFInfo
- Publication number
- JP6003578B2 JP6003578B2 JP2012257601A JP2012257601A JP6003578B2 JP 6003578 B2 JP6003578 B2 JP 6003578B2 JP 2012257601 A JP2012257601 A JP 2012257601A JP 2012257601 A JP2012257601 A JP 2012257601A JP 6003578 B2 JP6003578 B2 JP 6003578B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- pupil
- focus
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 133
- 210000001747 pupil Anatomy 0.000 claims description 345
- 230000003287 optical effect Effects 0.000 claims description 224
- 238000003384 imaging method Methods 0.000 claims description 123
- 238000012545 processing Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 42
- 230000004075 alteration Effects 0.000 claims description 29
- 238000003707 image sharpening Methods 0.000 claims description 14
- 238000012888 cubic function Methods 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 description 133
- 238000009826 distribution Methods 0.000 description 74
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 60
- 230000006870 function Effects 0.000 description 48
- 230000000875 corresponding effect Effects 0.000 description 33
- 230000008859 change Effects 0.000 description 27
- 230000010354 integration Effects 0.000 description 20
- 239000002131 composite material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000005070 sampling Methods 0.000 description 11
- 239000007787 solid Substances 0.000 description 11
- 238000004088 simulation Methods 0.000 description 10
- 238000009827 uniform distribution Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 229910003460 diamond Inorganic materials 0.000 description 7
- 239000010432 diamond Substances 0.000 description 7
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 101100459261 Cyprinus carpio mycb gene Proteins 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 101150052583 CALM1 gene Proteins 0.000 description 1
- 102100036740 DNA replication complex GINS protein PSF3 Human genes 0.000 description 1
- 101001136564 Homo sapiens DNA replication complex GINS protein PSF3 Proteins 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- -1 cam5 Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical group [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Description
図3に示す多眼カメラ9は、光学瞳が二次元状に並ぶように、つまり撮影開口11がマトリクス状に配列されている。これらの開口ひとつずつに2次元の撮像素子が装着されており、文字通り多眼カメラとなっている。撮影開口11のx方向、及びy方向の間隔は、疑似ランダム系列であるM系列に従った所定の周期パターンに設定される。この場合、M系列の自己相関関数は、デルタ(δ)関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。自己相関関数がデルタ関数的であるので、パワースペクトルがフラット(周波数に依存せずに一定)になる。このことはボケを生成する際に特定の周波数成分を強調することがなくなるので望ましい性質である。
光学系による結像の点像PSFを光軸方向のデフォーカスによるボケも考慮すると、3次元のPSFを考える必要がある。物体も3次元で、アイソプラナティックな範囲ではシフト・インバリアントな結像と見なせ、物体面のどこでも同じPSFで結像を表すことができる。例えば像空間x,y,zに像点p1,p2が存在する場合、これらの点に対して、PSFがコンボリューションされた状態が結像状態となる。一般に物体は凹凸があり、図8に示すように、結像ではカメラから見える表面上の物点に対応する像点がそれぞれPSFでコンボリューションされた状態となる。同図に示す3次元のPSFは、3次元のボケカーネルと呼んでも良い。このような3次元結像状態を得る場合、通常のレンズの結像の場合、例えば図9に示すように、焦点距離5.34mm、F1.4、対角撮像範囲=像高×2=3.17mmの場合、近距離の530mmから無限遠までを結像したとしても像空間x,y,zの光軸方向zの結像位置は5.34mmと5.39mmで高々50μmの変化しか起こらず、この範囲をz方向にアイソプラナティックな範囲と見なすことができる。
合成開口法でのフォーカス合わせ(焦点合わせ)は、図10に示すように、距離Zにフォーカスする場合、中央のカメラからの距離を「s」とすれば、視差量=カメラ間隔×結像倍率=s×b/Zだけ像をシフトさせて、中央のカメラの像とフォーカス位置にある像点が重なるように行う。
視差量(z)=カメラ間隔(s0)×結像倍率=s0×b/Z
以上見たように、視差量は、ピンホールカメラまたは、パンフォーカスレンズの場合、[数7]に記載の式で示される。一方、図9に示すように単眼レンズでピント合わせをする場合を考える。この場合、レンズの入射瞳はある程度面積を持ち、レンズの瞳面(sp)内の任意の2点間の距離:s0とする。任意の2点間の距離:s0の最大は瞳径Apである。視差量z2は、物点までの距離をZ、焦点距離をfとすると[数8]に記載の式になる。また、多眼カメラの構成で各撮影レンズのピント合わせを行う場合も、[数8]に記載の式で示される。
視差量(z2)=結像倍率(m)×瞳面上の任意の2視点間の距離(s0)=f×s0/(Z−f)
x、y方向を等間隔に配したカメラから画像を取得する。これは2次元状に等間隔に配置した撮像センサによってサンプリングすることにより達成される。一方、視差量zは、2つのカメラ間に生じる視差のピクセルカウント(視差量/ピクセルピッチ(P))がリニア(等間隔)になるように分割して取得する。いいかえれば、視差量zがピクセルピッチの整数倍になるようにフォーカス位置を設定して複数の焦点状態の画像を合成開口法により合成する。これにより、計算誤差を低減することができる。ピクセルピッチは、撮像センサのピクセルピッチでも良いし、各カメラ(個眼撮像部)から出力される出力画像の画素ピッチでも良い。後者の場合、多画素化処理に本来の撮像センサの画素ピッチの整数分の「1」になっている。
ここで、合成開口法によるフォーカス合わせを行う回数、つまりフォーカス方向の分解能を決定する。瞳面上の2点間の距離s0を如何に決定するかを説明する。
単眼レンズで[数8]に記載の式で視差を決め、複数のフォーカスでの画像データを取得する際も任意の瞳上の2点間の距離:s0をAp/4程度にしてデータの間引きを行っても実用上問題ない。
図12は、2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは[数7]でs0=隣接カメラ間の間隔としたときの、カメラの配置によるボケカーネルの形状を表している。図10で表されるような等間隔の5×5の配置の場合の視差に対するボケ形状を表している。フォーカス方向は、視差が等間隔になるようにデータがあればよいので、図の黒丸がぼけ形状、又はボケカーネルを表すことになる。これをxy面内で表すと、図14に示すようになる。M系列では、図15、図16に示すようになる。これらを3次元PSFカーネルと呼ぶ。矢印は、デルタ関数的な重みを表す。焦点位置では矢印の強度は本数倍に大きくなる。これらのボケカーネルを視差方向(方向は物体の奥行き方向のZ(ラージゼット)方向と同じ。)で積分すると図17に示すようになる。これをフォーカススタックPSFカーネルと呼ぶ。
具体的なボケ生成の方法を多眼カメラによる合成開口法を用いる例で説明する。具体的には、撮影対象物体の3次元の強度分布をIo(X,Y,Z)とする。Z軸を撮影レンズ23の光軸方向、x,y方向を撮像素子20の横、縦方向とする。z軸は視差量(視差=カメラ間隔×焦点距離/Z、Zはレンズ瞳位置から被写体までの距離。)である。撮像センサの撮像面内の方向xyは、前述のように「x=X×f/Z,y=Y×f/Z」の式から分かるように倍率がかかって撮影される。レンズのボケ具合を表す点像強度分布の3次分布がPSFc(x,y,z)で表されるカメラで、ピント位置をカメラの光軸にそった視差zrにピントを合わせて撮影した像Ic(x,y,zr)は[数11]に記載の式に示すIc(x,y,z,zr)のx,y平面への投影で、式としては[数12]に記載の式で示される。[数11]の式にあるPSFc(x,y,z)は、例えば円形開口の場合光軸にそって円錐状の関数で円錐の頂点のピント位置が視差zr相当に来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は[数6]の式で示される。積分範囲(zmin〜zmax)は、物体の存在する領域と概ね一致させる。Io(x,y)は、シーンをボケのない理想ピンホールカメラで像面に投影された絵(全焦点画像)と等価である。
この場合、ボケを付与した画像の生成手段としては、図28に示すように、3次元デコンボリューション処理部45、2次元コンボリューション処理部46、及び画像生成部47とで構成すればよい。3次元デコンボリューション処理部45は、画像取得部48から取得した、視差が等間隔になっている多焦点画像(焦点を複数の位置に合わせて撮影した画像)を3次元データとみなし、3次元デコンボリューション処理を行って物体の強度分布を求める。2次元コンボリューション処理部46は、3次元デコンボリューション処理済みの画像に対して任意の3次元ボケカーネルによる2次元コンボリューション処理を行う。画像生成部47は、2次元コンボリューション処理済みの画像に対して平面に投影して任意のボケを付与した画像を生成する。
合成開口法のフォーカシングにより、複数のピント位置に合わせた多焦点画像群を用いて処理を行う点について以下に説明する。
ボケ生成カーネルとして円形開口のデフォーカスボケを生じさせる場合、3次元ボケカーネルPSFa(x,y,z)は、[数31]に記載の式で示される。任意に設定されるボケカーネルの半径ra(z)は、[数32]に記載の式で与えられる。定数Apaを任意に設定することで所望のボケの大きさが得られる。また、z方向にオフセット、例えばzrを与える(「z」を「z-zr」に置き換える)ことにより、任意のピント位置zrにピントを合わせることができる。
ガウスボケの場合は、[数33]に記載の式の3次元ボケカーネルPSFgss(x,y,z)を用いる。Cは定数。ガウスボケの大きさは、[数34]に記載の式によりσaを任意に設定することにより調整することができる。
任意視点の3次元PSFカーネルPSFshift(x,y,z)を用いれば、図31に示すように、任意視点のオールフォーカス像が得られる。ここで、定数axs,aysを任意に設定して視点を任意に設定する。(なお、s,t座標の原点が合成視点になるのでカメラ配置を任意のs,t座標の原点に設定しなおして視差量から3次元PSFカーネルを求めても同等の効果が得られる。図14、15、16の場合はs,t座標の原点が中心のカメラ位置に相当しているケースである。)
[輪帯光学系のボケアルゴリズムへの適用]
以上、撮影開口11、及び撮影レンズ23等を二次元状に配置した多眼カメラ9に対してボケアルゴリズムを適用した例を説明したが、以下では、図1で説明したように、撮影開口11、及び撮影レンズ23等を円周状に配置した輪帯光学系を有する多眼カメラ10に対して、前述したボケアルゴリズムを適用する例を説明する。
光学系 ボケカーネル コンボリューション結果
輪帯ガウス分布 均一分布 ≒ガウス分布
輪帯ガウス分布 ガウス分布 ≒ガウス分布
輪帯均一分布 均一分布 ≒ガウス分布
輪帯均一分布 ガウス分布 ≒ガウス分布
光学系 ボケカーネル コンボリューション結果
中実ガウス分布 均一分布 ≒ガウス分布
中実ガウス分布 ガウス分布 ≒ガウス分布
中実均一分布 均一分布 ≒ガウス分布〜均一分布
中実均一分布 ガウス分布 ≒ガウス分布〜均一分布
輪帯開口、輪帯カメラ配置は円形に限らず、仮想的な光軸または合成光軸を取り囲むような環状の開口、もしくは環状に配置されたカメラはボケアルゴリズムでボケを2次元コンボリューションした時点で必ず環状のガウス分布様になるという前提があるので、元から(2次元コンボリューション以前に)環状のガウス分布とみなして差し支えない。環状のガウス分布は上で見たように二つの大きさの近い中実のガウス分布の差と捉えられる。環状開口、または環状カメラ配置の光学系のPSFのフォーカススタックは元の中実のガウス分布のPSFのフォーカススタックと本質的には変わらない。中実のガウス分布はボケアルゴリズムで任意のボケを生成可能であることがわかっており、結論として、任意形状の輪帯開口、輪帯カメラ配置にボケアルゴリズムを組み合わせることにより、任意のボケを生成できることがわかった。
輪帯ボケのシミュレーションは次のように行った。図38において光学系のPSFはカメラ間隔またはst面上の2点の距離s=12mmとしたときの視差量をピクセルで表示している。輪帯光学系の瞳の大きさは外側直径48mm、内側直径43.2mmであるので、視差量10pixelで外側輪帯のボケ量の半径はその2倍で20pixelとなる。これが同図に示す光学系のPSFである。物体のチャートは、Z=10.7m、視差量19pixelの距離にあり、任意のボケカーネルは、円形開口で瞳上の直径36mmとした。視差量10pixelで直径ゼロから直径30pixelとなるボケカーネルとなる。視差量z=20pixelから0pixelまでに光学系のPSFのピント位置を位置させて、x,yの2次元コンボリューションを行う。実際には物体はz=19pixelにしかないので、この位置だけでコンボリューションを行えばよい。このようにして複数のピント位置に合焦した、いわゆるフォーカススイープした画像が20枚得られる。これらに任意のボケ直径を有する、任意の3次元ボケカーネルを任意のピント位置にフォーカス位置を合わせてx,y2次元コンボリューションを行う。今回は視差量z=9pixelにフォーカスさせてx,y2次元コンボリューションを行った。そのあとこれらをzで積分して。(x,y面への投影)いわゆるフォーカススタック画像を得る。フォーカススタック画像をフーリエ変換した、周波数スペクトルに[数42]に記載の式のフィルターを用いてデコンボリューション処理を行っている(フィルタリング+逆フーリエ変換)。
以下に、多眼化の可能性を検討する。図49〜図64は、方眼的配置の多眼カメラのボケ画像を示している。各図の左側の画像は、光学系のみの光学ボケ画像、右側の画像は、ボケアルゴリズムによる画像処理後のボケアルゴリズム画像を示す。各図に示すボケアルゴリズム画像を出力するカメラ配置について、以下に記載する。
(1)図49に示す左側の画像は、図46(4)に示すように、各光学系の瞳50を正方形の線上に隙間無く配置した多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。瞳50は、ピッチ(p)が12mmの方眼配置で、直径(k)12mmの円形になっている。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で18mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像ではボケ味に対して問題無し。
(4)図52に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で24mmの半径(r)にした円形のボケアルゴリズム画像である。右側の画像は、ボケ味に対して問題なく、ボケ量変化のシミュレーション画像である。
(11)図59に示す左側の画像は、図47(1)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で縦長矩形線上に配置した各光学系の瞳55を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で4.8mmの半径(r)にした円形のボケアルゴリズム画像である。
(14)図62に示す左側の画像は、図47(4)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で菱形の線上に配置した各光学系の瞳58を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で5.4mmの半径(r)にした円形のボケアルゴリズム画像である。
(16)図64に示す左側の画像は、図48(1)に示すように、直径(k)が12×(√2)mmの円形で、かつ12mmピッチ(P)で菱形の線上に配置した各光学系の瞳60を有する多眼カメラで撮像した画像から得られる合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図47(3)に示すように、ボケカーネル56の大きさを瞳面st面上で6×(√2)mmの半径(r)にした円形のボケアルゴリズム画像である。
(1)図65に示す左側の画像は、図46(1)に示すように、一辺の長さ(l)が12mmの正方で、かつ12mmピッチ(p)で正方形の線上に配置した各光学系の瞳53を有する多眼カメラで撮像した画像を用いて生成した合成開口ボケ画像である。同図に示す右側の画像は、同光学系で、図46(3)に示すように、ボケカーネル51の大きさを瞳面st面上で36mmの半径(r)にした円形のボケアルゴリズム画像である。
図69に示すように、入射瞳(Ent_p)は、レンズの前方の光学系(FE)による開口絞り(AS)の像である。射出瞳(Ext_p)はレンズの光学系(RE)による開口絞り(AS)の像である。同図で物体OBが像IMとして結像し、光軸OA上にレンズ前方光学系FEと後方光学系REが位置している。光軸はレンズの中心を通る光線とみなすこともでき、レンズの中心を通るため屈折されず直進する光線となる。物点が光軸上にある時、光軸が中心の光線になる。物点が有限の高さを持つときは,入射瞳の中心を通る光線が中心光線になる。これを主光線PL(principal ray またはchief ray) という。入射瞳と射出瞳は共役だから,主光線PLは像側では射出瞳の中心を通って,像面に到達する。瞳が円形である場合、光軸は瞳面の中心を通る。入射瞳の直径PDはFナンバーと焦点距離fよりPD=f/Fで求まる。入射瞳の位置は通常第1面からの距離LPで示される。入射瞳径PDは通常のカメラレンズのテッサータイプの場合、レンズ最大直径ODの80~90%程度になる。入射瞳の第1面からの距離LPは焦点距離45mmのテッサータイプのレンズの場合、LP=10mm程度となる。以下の実施例では複数のカメラレンズを配置するが、その場合カメラ面(または瞳面)に入射瞳を投影する。カメラ面と入射瞳は物体から見て等倍なので設計などに都合が良い。
複数のカメラレンズを配置する場合、カメラ面(s-t平面)に入射瞳を投影する。カメラ面と入射瞳は物体から見て等倍なので設計などに都合が良い。図70に示す例の場合、合成光軸がs-t平面の原点を通る。s-t面にカメラ1,2の入射瞳Ent_pを位置させる。各カメラの光軸は(s,t)=(0,t0)と(s,t)=(0,-t0)に位置している。原点(s,t)=(0,0)が合成視点である。
複数のカメラを多眼配置する場合、カメラ面s−t平面の原点(0,0)を通り、s―t平面に垂直な直線を合成開口法の光軸とみなし、合成光軸と呼ぶことにする。また原点(0,0)を合成視点と呼ぶことにする。合成開口法では数式4,5,6によって合成画像を出力する。合成開口法でのボケ量はカメラ面s−t平面の原点(0,0)からのカメラ距離に比例する。したがって、輪帯状にカメラを配置しても、合成開口法によるぼけのでき方はカメラ面s−t平面の原点(0,0)つまり合成視点の選択のしかたに依存する。合わせてカメラ配置に依存して決まるボケカーネルの形状も変わる。合成視点が偏ることによってボケカーネルが変化する例を図71に示す。なお、図71に示すように、輪帯状に多眼カメラを配置する場合は、任意の合成視点を選ぶことが可能であるが、以下で説明する例の場合には、基本的な配置として、合成視点が輪帯の中心となる場合を示す。合成視点を輪帯の中心とすると、生成ボケの大きさを大きくできるというメリットがある。それは図47の(1),(2)のカメラ配置の例で顕著なように、生成ボケの大きさは光学系の輪帯瞳径と同等程度までに限られるためである。生成ボケを光学系の輪帯瞳内に収まるように視点位置と生成ボケ量を調整しても良く、そうすることで輪帯瞳内での任意の視点で見た、ボケアルゴリズム像を生成しても良い。
先に説明した図10の例ではcam3がs-t平面の原点(0,0)に位置しており、合成視点となっている。
輪帯状の瞳形状を多眼カメラによって構成する場合、図72に示すように、半径rの円周上にカメラ配置する。カメラの撮影レンズが配置された面、または入射瞳が並んだ面をs,t平面とする。同図で撮影レンズC1〜C12の円形は入射瞳の大きさを表すとする。それぞれの対物レンズ(撮影レンズ)に2次元の撮像素子が装着されておりそれぞれカメラユニットを構成しており、これらが複数配置され、多眼カメラを構成している。(多眼カメラによる合成開口法によるフォーカス合わせ(焦点合わせ)は図10を用いて説明したとおり。合成開口出力は[数6]により各カメラの重みを1として計算。)
カメラ配置は、入射瞳が並んだ面をs,t平面とすると、図74に示すように、半径rの円周上に輪帯をなすように並置された場合、レンズにより集光される光が半径rの円弧の方向に切れ目がない方(角度で20%以下の切れ目の方)が望ましい。このため、カメラのレンズにより集光される情報がレンズCの内側いっぱいに取れることが望ましい。図73に示すように、2重にカメラレンズの入射瞳を同心円方向に配置しても良い。内外でレンズが千鳥状に配列にされている。円弧方向の切れ目が無く、均一性が高いほど良好である(詳細は、後述する図75で説明する)。実際にボケアルゴリズムによって再現するボケの大きさは任意であるが、瞳上でr(+開口幅の50%)程度の生成ボケ半径が大きい方が限界である。
MTFのピント位置による変化が問題となる場合、多少であれば画像先鋭化処理をピント位置に応じて適宜変えることで対応可能である。別の手段としては瞳を分割する多眼カメラの各々を無限遠から近距離までそれぞれピント位置を徐々に変えていくように初期調整しておいても良い。このように設定すると合成開口処理後の画像の合成PSFの特性がピント位置によりあまり変化しなくなる。
図76に示すように、方形開口を輪帯配置してももちろん構成可能である。この場合撮影レンズはハエの目レンズ状に接近する。C1〜C24がレンズの瞳形状を示している。図77に示すように、テッサーレンズを四角に切り出した場合、レンズ外形70に対して80〜90%程度の有効領域となる入射瞳71を得ることができ、少ないレンズで多眼カメラを構成することができる。
第2実施形態では、多重輪帯瞳として、同時に複数のフォーカス像を得ようという発明である。光学系は屈折系、反射屈折系、反射系が考えられる。フォーカスごとに撮像センサを用意する。完全に同時に複数フォーカスの画像を取得するには、多眼配置のほか複数輪帯瞳光学系を提案する。そのほか振幅分割して複数のフォーカス位置にそれぞれ撮像センサを配置しても同時に複数のフォーカスの画像が取得可能であることはいうまでも無い。この例を図78に示す。物体Oから発する、撮影レンズObによって集光された光は、ハーフミラーp1〜p5で振幅分割され、リレーレンズOr1〜Or5で撮像素子を含む撮像センサs1〜s5の受光面に結像する。撮像センサs1〜s5はそれぞれ所望のフォーカスオフセットが与えられている。このため同時に複数のフォーカス位置での像を取得可能である。なお、非同時であってもほぼ同時に取得するにはフォーカスセンサやレンズの一部を振動的にフォーカス方向に駆動し、撮像センサs1〜s5のフォーカス位置を連続的に変化させ、時間差をあけて複数のフォーカス画像をほぼ同時に取得してもよい。
次は、マイクロレンズアレイを用いる場合の実施形態を説明する。図81は、一般に知られているlight ray sensor(LLS)を有する撮像部を示す。LLSは、撮像センサsaの前に、マイクロレンズアレイMを配置している。マイクロレンズアレイMは、複数のマイクロレンズ(正レンズ)M1〜Mnを二次元状に並べて一体化したものである。撮像センサsaは、撮像面に複数の受光素子を有する。受光素子は、マイクロレンズM1〜Mnの後側に所定個ずつ配置される。このような構成では、マイクロレンズM1〜Mnが通常の撮像素子の一画素に相当する。
球面収差または像面での段差を用いてフォーカスオフセットをつける場合、瞳分割素子の輪帯光学系に対応する部分(マトリクス状に配した受光素子群seg2のうちの輪帯状になるように選択した受光素子群)は、同心円で分けられた領域の積分で十分なので、同図(2)に示すように、初めから同心円状に配置してもよい。その場合は、複数のフォーカスの像を同時に得るために合成開口法を行えなくなる。同心円状に配した受光素子の受光面に対してフォーカス方向に段差を与えておく。または、撮影レンズObに球面収差等の回転対称収差を与えておいて、この収差によってフォーカスオフセットをつけても良い。収差は、レンズ間隔を変更して収差量を変えられるようにしておくと、球面収差をプラスにするかマイナスにするかで、前ボケを大きくしたり、後ろボケを大きくしたりなど変化がつけられる。このように、受光素子をマイクロレンズM1〜Mnにより結像する像面に対応するセグメント毎に輪帯状に配置した撮像センサを用いる場合、受光素子の数を低減することが可能である。
第3実施形態は、図83(2’)に示すように、マイクロレンズ付きの合成開口可能なカメラを複数配置する形態である。同図(1’)は、カメラ面s-t平面状に入射瞳を投影している図である。同図(1’)に示すように、センサーレンズアレイHを瞳共役位置に有する合成開口によるフォーカシングの可能なカメラCnを配置する。
例えば三角形の瞳分割素子、六角形の瞳分割素子、千鳥配置の瞳分割素子など。
同図(1),(2)は瞳分割の仕方を(s,t)座標に応じて変えている。この例では各カメラの撮像素子を(s,t)座標に応じて傾けている。一方マイクロレンズはs,t座標に平行なままとする。この場合は追加で画像処理する必要がある。追加の画像処理は撮像素子を斜めにして撮像した画素から補間処理によりサブピクセルの瞳分割素子出力を生成するといった処理である。
通常の方眼配置のセンサーとマイクロレンズを利用する場合、同図(1’)、(2’)の組み合わせとなる。C1〜C11は市販のライトフィールドカメラを用いても良い。
図84では、U,V座標をカメラ座標とする。同図に示す例は、個眼撮像部を直径s1〜s5の輪帯状に配置した多眼カメラとなっている。これらを予め距離z1,z2,z3,z4,z5にフォーカスさせる。これらは、視差Z=s1*f/zが等間隔Z1になるように、例えばZ1=s1*f/z1,Z2=2*s1*f/z1、Z3=3*s1*f/z1、Z4=4*s1*f/z1、Z5=5*s1*f/z1の距離にフォーカスさせる。すなわちz2=z1/2,z3=z1/3、z4=z1/4,z5=z1/5とする。
図87は、例えば22個のカメラcam1〜cam22を円周上に配置した多眼カメラを示す。図88は、各カメラcam1〜cam4の要部を示す。各カメラcam1〜cam22は、対物レンズ(撮影レンズ)の外形を4角形に加工して、s,t座標の中心から発する直線を考え、直線によるスライスした受光領域の幅(線分の長さ)(受光領域が複数あり、同一方向の線分が複数ある場合はその合計の値)の直線の偏角による変動を抑えるため(図75参照)、レンズ同士の接する辺を動径と平行にならないように分割した形態になっている。この場合、レンズ同士の接する辺と動径の方向は、常に45度程度の角度をなす。レンズ外形に対して入射瞳は、80〜90%の有効領域を有する。内径r1、外径r2の輪帯瞳の光学系に近い瞳形状となっている。図89は、同様な考えからレンズの外形を三日月状に加工してあり、s,t座標の中心から発する直線によるスライスした受光領域の幅の直線の偏角による変動が抑えられる。このようにレンズを多角形や円以外の形状とすることで受光領域の幅の偏角による変動を抑えることが可能である。また、対物レンズを一枚の光学素子に加工することも可能である。例えば、図90に示すように、ガラス基板gkに光学素子gm1,gm2を接着しても良い。またgm1,gm2は、樹脂で成型し、ハイブリッドレンズとしても良い。また、これらを一体で射出成型したガラス、又は樹脂レンズとしても良い。
(1)[像面を傾けて撮影をした時に得られる画像を仮想的に生成する場合]
図91では、レンズLの光軸Zの原点がレンズにあるとして、物体空間を(X,Y,Z)で表す。像面ImpとレンズLの距離a0とを任意に設定する。像面Impと物面Obpとは共役関係になる。同図は、アオリ光学系になっており、像面Impが傾いているので物面Obpも傾いている。像面Impを傾けた時のレンズLから距離a0,a1,a2の像点I1,I2,I0を考える。像点I0,I1,I2に共役な物点O0,O1,O2までの距離b0,b1,b2をレンズの結像公式(1/a+1/b=1/f)により像点位置ごとに算出し、物点O0,O1,O2までの距離b0,b1,b2の最大値と最小値を求める。同図に示す例では距離b1が最大値、距離b2が最小値に相当する。物点O0,O1,O2までの距離の最小値b2と最大値b1の間がピントの合う範囲であるので、この間の距離を適当な間隔で分割し、分割した位置を複数のフォーカス距離として定める。なお、フォーカス距離としては、例えば前記ピントの合う範囲を等間隔に分割した位置に設定するのが好適である。次に、複数のフォーカス距離にピントを合わせた画像を、所望のボケ量でボケアルゴリズム処理を施して複数生成する。これらの画像はピントの合ったところに物体があるとボケが発生せず、ピントの合っていないところに物体があるとボケが発生した像になる。複数のフォーカス距離にピントの合った各画像から、前述した像面を傾けた時の像面Impの像点ごとのデータ(RGBの強度値。実際にはR、G、Bに対して同じ処理を別々に行うことはいうまでもない。)に基づいて、物面Obp上の共役な物点O0,O1,O2ごとの距離b0,b1,b2に対応するデータを抽出していく。このようにして一枚のアオリ写真のデータを得ることができる(アオリ撮影の場合、通常は興味の対象の物体はインフォーカス(ピントの合った状態)で撮影される。)
この場合は、傾ける面を物面Obpに設定するが、物面Obpと像面Impは共役関係であるため、どちらの面を先に設定してもその後の処理は、前述した[像面を傾けて撮影をした時に得られる画像を仮想的に生成する場合]と同じ処理を用いることで、一枚のアオリ写真のデータを得ることができる。
上記に詳述した発明の実施形態についての記載から把握されるとおり、本明細書は少なくとも以下に示す発明を含む多様な技術思想の開示を含んでいる。
前記画像先鋭化処理は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。
複数の撮影レンズにより結像する被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記多眼撮像部は、前記撮影レンズの瞳の仮想光軸を中心とした動径のスライスが、その偏角の略80%以上でゼロ以外となるような複数の領域に瞳分割したことを特徴とする画像生成方法。
被写体像を所定の結像面に結像させる撮影レンズと、前記結像面の近傍に二次元状に配列されたレンズアレイと、前記レンズアレイの各々に対応して前記レンズアレイの後側に所定個ずつ配置される複数の受光素子とを備え、前記各正レンズにより結像する像面に対応する領域に含まれる受光素子群のうち同心円上または矩形上の複数の受光素子から前記領域毎に取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
複数の撮影レンズにより焦点を変えて結像する被写体像を個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定した二次元フィルタを用いてボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成する画像生成方法において、前記ボケ処理は、前記ピント位置の前後で非対称にしたボケカーネルを用いてコンボリューションをすることを特徴とする画像生成方法。
11 撮影開口
20 撮像素子
23 撮影レンズ
25 画像処理部
36 ボケ処置部
39 画像鮮鋭化処理部
40 個眼撮像部
Claims (12)
- 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
- 請求項1に記載の画像生成方法において、
前記視点を取り囲むように配置された複数の瞳領域は、二重以上の同心円上に並ぶように配置されていることを特徴とする画像生成方法。 - 請求項1又は2に記載の画像生成方法において、
前記光学系は、キュービック関数の瞳波面収差を与えて焦点深度を増やしたEDOF(Extended Depth of Field)特性を有することを特徴とする画像生成方法。 - 請求項1から3のいずれか1項に記載の画像生成方法において、
前記視点を取り囲むように配置された複数の瞳領域は、全体を表す形状が、円形又は矩形であることを特徴とする画像生成方法。 - 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に撮像する多眼撮像部と、
前記多眼撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成するボケ画像生成部と、
を備えたことを特徴とする画像生成装置。 - 請求項5に記載の画像生成装置において、
前記複数の光学系は、前記各光学瞳が二重以上の同心円上に並ぶように配置されていることを特徴とする画像生成装置。 - 請求項6に記載の画像生成装置において、
前記光学系は、キュービック関数の瞳波面収差を与えて焦点深度を増やしたEDOF(Extended Depth of Field)特性を有することを特徴とする画像生成装置。 - 請求項5から7のいずれか1項に記載の画像生成装置において、
前記視点を取り囲むように配置された複数の瞳領域は、全体を表す形状が、円形又は矩形であることを特徴とする画像生成装置。 - 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に光電変換するする瞳分割素子アレイから取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
- 瞳面もしくはその共役面上で視点を取り囲むように配置された複数の瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、複数の瞳領域を通過する光束を光学系により結像させ被写体像を瞳領域ごとに個別に光電変換する瞳分割素子アレイを有し、該瞳分割素子アレイから取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成装置。
- 瞳面もしくはその共役面上で視点を取り囲むように配置された瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、瞳領域を通過する光束を光学系により結像させ被写体像を撮像する撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成方法。
- 瞳面もしくはその共役面上で視点を取り囲むように配置された瞳領域は、同一面上の視点から発する動径によりスライスしたとき、該動径の偏角の80%以上で存在し、瞳領域を通過する光束を光学系により結像させ被写体像を撮像する撮像部から取得する複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケを付与した画像を生成することを特徴とする画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012257601A JP6003578B2 (ja) | 2012-11-26 | 2012-11-26 | 画像生成方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012257601A JP6003578B2 (ja) | 2012-11-26 | 2012-11-26 | 画像生成方法及び装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016175387A Division JP6168220B2 (ja) | 2016-09-08 | 2016-09-08 | 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014107631A JP2014107631A (ja) | 2014-06-09 |
JP6003578B2 true JP6003578B2 (ja) | 2016-10-05 |
Family
ID=51028784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012257601A Active JP6003578B2 (ja) | 2012-11-26 | 2012-11-26 | 画像生成方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6003578B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016002578A1 (ja) * | 2014-07-04 | 2016-01-07 | ソニー株式会社 | 画像処理装置および方法 |
JP6674643B2 (ja) * | 2015-04-28 | 2020-04-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN107534730B (zh) * | 2015-04-28 | 2020-06-23 | 索尼公司 | 图像处理装置及图像处理方法 |
CN107534729B (zh) * | 2015-04-28 | 2020-08-21 | 索尼公司 | 图像处理装置和图像处理方法 |
JP2017021425A (ja) * | 2015-07-07 | 2017-01-26 | キヤノン株式会社 | 画像生成装置、画像生成方法、および画像生成プログラム |
JP7180074B2 (ja) * | 2017-01-31 | 2022-11-30 | 株式会社リコー | 撮像装置 |
JP6588675B2 (ja) * | 2017-03-10 | 2019-10-09 | 富士フイルム株式会社 | 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム |
JP7238381B2 (ja) * | 2017-12-21 | 2023-03-14 | 株式会社ニコン | 画像処理装置、画像処理プログラム、画像処理方法および顕微鏡 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3303128B2 (ja) * | 1998-04-15 | 2002-07-15 | 東京大学長 | 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置 |
JP2009216600A (ja) * | 2008-03-11 | 2009-09-24 | Funai Electric Co Ltd | 距離測定装置 |
JP2012044459A (ja) * | 2010-08-19 | 2012-03-01 | Fujifilm Corp | 光学デバイス |
JP2012147088A (ja) * | 2011-01-07 | 2012-08-02 | Nikon Corp | 撮像装置 |
JP5820257B2 (ja) * | 2011-02-18 | 2015-11-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2012227700A (ja) * | 2011-04-19 | 2012-11-15 | Canon Inc | 情報処理装置およびプログラム |
JP5924978B2 (ja) * | 2012-02-28 | 2016-05-25 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2012
- 2012-11-26 JP JP2012257601A patent/JP6003578B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014107631A (ja) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6003578B2 (ja) | 画像生成方法及び装置 | |
JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP5180407B2 (ja) | 立体撮像装置および視差画像復元方法 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP2013065280A (ja) | 画像処理方法、画像処理装置およびプログラム | |
JP2014103475A (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
US9911183B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
US9473700B2 (en) | Camera systems and methods for gigapixel computational imaging | |
WO2011099239A1 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
CN107431755B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
US10574906B2 (en) | Image processing apparatus and image processing method | |
US20150287208A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6168220B2 (ja) | 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム | |
JP6516510B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP5348258B2 (ja) | 撮像装置 | |
US10291899B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image | |
JP2014026051A (ja) | 撮像装置、画像処理装置 | |
JP6330955B2 (ja) | 撮像装置及び撮像方法 | |
JP6569769B2 (ja) | 任意視点画像合成方法及び画像処理装置 | |
JP7014175B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP7107224B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2013162369A (ja) | 撮像装置 | |
Oberdörster et al. | Digital focusing and refocusing with thin multi-aperture cameras | |
JP5553862B2 (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6003578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |