JP6036784B2 - 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 - Google Patents
画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 Download PDFInfo
- Publication number
- JP6036784B2 JP6036784B2 JP2014208527A JP2014208527A JP6036784B2 JP 6036784 B2 JP6036784 B2 JP 6036784B2 JP 2014208527 A JP2014208527 A JP 2014208527A JP 2014208527 A JP2014208527 A JP 2014208527A JP 6036784 B2 JP6036784 B2 JP 6036784B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- subject
- amount
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
1.第1の実施の形態(2眼式カメラを用いた場合の撮影情報に基づく視差制御処理の例)
2.第2の実施の形態(単眼式カメラを用いた場合の例)
3.変形例1(視差縮小処理の例)
4.変形例2(焦点距離のみを撮影情報として用いる場合の例)
[撮像装置1の全体構成]
図1は、本発明の第1の実施の形態に係る撮像装置(撮像装置1)の全体構成を表したものである。撮像装置1は、被写体を互いに異なる複数の視点方向から撮影し、動画(または静止画)として、複数の視点画像(ここでは、左右2つの視点画像)を時系列的に取得するものである。撮像装置1は、左右の各視点方向からの光線LL,LRを取得するための光路毎に、撮像レンズ10a1,10b、および撮像レンズ10a2,10bを有する、いわゆる2眼式カメラを用いたものである。尚、撮像レンズ10bは、各光路に共通の構成要素となっている。この撮像装置1は、また、光路毎にシャッター11a,11bを有すると共に、各光路に共通の構成要素としてイメージセンサ12を備え、更に画像処理部13、レンズ駆動部14、シャッター駆動部15、イメージセンサ駆動部16および制御部17を備えている。
画像処理部13は、イメージセンサ12から出力された撮像データに基づく撮像画像(左右の視点画像)に対し、所定の画像処理を施すと共に、画像処理前あるいは画像処理後の撮像データを記憶する各種メモリを含むものである。但し、画像処理後の画像データは、記録せずに外部のディスプレイ等に出力するようにしてもよい。
(1.基本動作)
上記のような撮像装置1では、制御部17の制御に基づき、レンズ駆動部14が所定のズーミングによる撮影条件で撮像レンズ10a1,10bを駆動すると共に、シャッター駆動部15がシャッター11aを開状態、シャッター11bを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部16がイメージセンサ12を受光駆動させる。これにより、左視点方向に対応する左光路が選択され(左光路に切り替えられ)、イメージセンサ12では、被写体側からの入射光線のうち光線LLに基づく受光がなされ、左視点画像データD0Lが取得される。
ここで、図3〜図5を参照して、左右の視点画像取得の原理について詳細に説明する。図3および図4は、撮像装置1を上方からみた図に等価であるが、簡便化のため、被写体からイメージセンサ12のセンサ面(受光面)S2までの光線を、ミラー等による光路変更を考慮せずに示してある。また、撮像レンズ10a1,10a2以外の構成要素の図示を省略しており、撮像レンズ10a1,10a2についても簡略化してある。尚、被写体としては、奥行き方向において互いに異なる位置に配置された2つの被写体、具体的には、撮像レンズ10a1,10a2のピント面S1にある被写体A(人物)と、被写体Aよりも奥側(撮像レンズと反対側)に位置する被写体B(山)を例に挙げる。
そのような位置関係にある2つの被写体A,Bに対し、光路を左右で切り替えた場合、センサ面S2への映り方は、次のようになる。例えば、図3に示したように、左視点方向に対応する左側の光路(撮像レンズ10a1への入射光を通過させる光路)が透過である場合には、右視点方向に対応する右側の光路は遮光される。この場合、センサ面S2上では、被写体Aは、位置A1Lにフォーカスした(ピントの合った)像として結像し、被写体Bは、位置B1Lにデフォーカスした(ぼやけた)像となって結像する。尚、各被写体の結像位置としては、各被写体像の重心位置を用いるものとする(以下、同様)。
一方、図4に示したように、右視点方向に対応する右側の光路(撮像レンズ10a2への入射光を通過させる光路)が透過である場合には、左側の光路は遮光される。この場合、センサ面S2上では、被写体Aは、位置A1Rにフォーカスした像として結像するが、被写体Bは位置B1Rにデフォーカスした像となって結像する。
上記のように、撮像装置1では、左視点方向および右視点方向のそれぞれに対応する2つの光路が切り替えられることにより、左視点画像および右視点画像を取得することができる。また、図5(A),(B)に模式的に示したように、得られた左視点画像L1および右視点画像R1では、デフォーカスした像(被写体Bの像)が、フォーカスした像(被写体Aの像)に対し、互いに水平方向逆向きにシフトした位置に配置される。
ここで、2眼式の撮像装置1では、上述のような被写体Aが基準面で観察されるように表示を行った場合の被写体Bの視差量Wb1は、位置B1L,B1R間の水平方向に沿った距離に相当する。この視差量Wb1は、撮影条件を用いて以下の式(1)のように定義できる。但し、基線長(撮像レンズ10a1,10a2間の光軸間距離)をL、撮像レンズ10a1,10a2の各焦点距離(詳細には撮像レンズ10a1,10bおよび撮像レンズ10a2,10bの各焦点距離)をf、被写体距離をS、被写体A,B間の距離をdepとする。実際の被写体Bについての立体感は、表示画面サイズ、観察者と表示画面との間の距離等に影響を受けるが、同一画面における被写体Bの被写体Aに対する相対的な立体感は、式(1)によって定まる。
本実施の形態では、画像処理部13が、上記のような左視点画像L1,右視点画像R1間の視差量を変更制御(ここでは拡大)する。具体的には、画像処理部13では、イメージセンサ12から入力された左視点画像データD0L,D0Rに対し、画像補正処理部130が、上述のようなノイズリダクション等の処理を施す。この後、画像補正処理部130による画像補正処理後の画像データD1(左視点画像データD1L,右視点画像データD1R)に対し、視差制御処理部131は、撮影情報Dfを用いて、視差量が所望の値に拡大されるように制御する。
ここで、本実施の形態の比較例に係る視差制御処理について説明する。比較例では、例えば被写体Bについての視差制御後の視差量をWb100とした場合、この視差量Wb100が、定数αを用いて以下の式(2)のように表される。但し、αは視差変更制御のために予め設定された固定値(定数)、または観察者によって手動で設定された値である。即ち、比較例では、被写体Bについての視差量Wb1の変更制御量(例えば拡大量)が、定数αによって一意的に設定される。
そこで、本実施の形態では、視差制御処理部131が、そのようなズーミングによる撮影条件を考慮して、各視点画像間の視差量の変更制御を行う。具体的には、上述の視差変更用の定数αと、例えば焦点距離fおよび被写体距離S等をパラメータとして含む係数α(S,f)を用いた以下の式(3)に基づいて、視差量を変更(拡大)制御する。即ち、変更制御後の視差量(出力画像の視差量)をWb2とした場合、この視差量Wb2が所望の値に拡大されるように、係数α(S,f)を設定する。
更に、本実施の形態では、上記のような撮影条件を考慮した視差制御処理に際し、上記ディスパリティマップ生成部133より供給されたマップデータDDを使用する。尚、以下では、上記被写体A(人物)および被写体B(山)の他、被写体Aよりも手前側(撮像レンズ10側)に配置された被写体C(花)の計3つの被写体を撮影した視点画像を例に挙げて説明する。即ち、図6(A),(B)に示したように、被写体B,Cの各視差量が拡大するように、左視点画像L1,右視点画像R1のそれぞれにおいて、被写体B,Cの像位置を水平方向(X方向)に沿ってシフトさせる。但し、ここでは、視差のない被写体Aの位置A1L,A1Rは変更せず(視差量0のまま変更せず)、左視点画像L2,右視点画像R2においても同位置に配置されるようにする。
図7は、左視点画像データD0L,右視点画像データD0Rに対応する左視点画像L1,R1における視差量および視差範囲を表す模式図であり、図8は、左視点画像L2,R2における視差量および視差範囲を表す模式図である。図7に示したように、左視点画像L1,右視点画像R1間において、被写体Bの視差量がWb1、被写体Cの視差量がWc1である場合、被写体A〜Cの各像の奥行き方向における観察位置は次のようになる。即ち、被写体Aの像は表示画面(基準面)S3上の位置A1’、被写体Bの像は、被写体Aより距離Dab1分だけ奥側の位置B1’、被写体Cの像は、被写体Aより距離Dac1分だけ手前側の位置C1’においてそれぞれ観察される。従って、拡大制御処理前の左視点画像L1,右視点画像R1間の視差範囲は、それらの距離Dab1,Dac1とを合計した距離D1となる。
[撮像装置3の全体構成]
図9は、本発明の第2の実施の形態に係る撮像装置(撮像装置3)の全体構成を表したものである。撮像装置3は、上記第1の実施の形態の撮像装置1と同様、被写体を複数(ここでは左右)の視点方向から撮影し、動画(または静止画)として、左右の視点画像を時系列的に取得するものである。但し、本実施の形態の撮像装置3は、いわゆる単眼式カメラを用いたものであり、シャッター制御によって左右の光路を切り替え可能となっている。この撮像装置3は、撮像レンズ10a,10b、シャッター11、イメージセンサ12、画像処理部13、レンズ駆動部18,シャッター駆動部19、イメージセンサ駆動部16および制御部17を備えている。以下では、上記第1の実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。
(1.基本動作)
撮像装置3では、制御部17の制御に基づき、レンズ駆動部18が撮像レンズ10a,10bを所定のズーミングによる撮影条件で駆動すると共に、シャッター駆動部19がシャッター11における左側領域を開状態、右側領域を閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部16がイメージセンサ12を受光駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ12では、左視点方向から入射した光線に基づく左視点画像データD0Lが取得される。
ここで、図10〜図12を参照して、単眼式カメラを用いた場合の左右の視点画像取得の原理について説明する。図10〜図12は、撮像装置3を上方からみた図に等価であるが、簡便化のため、撮像レンズ10a,10b、シャッター11およびイメージセンサ12以外の構成要素の図示を省略しており、撮像レンズ10a,10bについても簡略化してある。
このような位置関係にある3つの被写体A〜Cに対し、光路を左右で切り替えた場合、センサ面S2への映り方は、次のように変化する。例えば、シャッター駆動部19が、シャッター11の左側領域SLを開状態、右側領域SRを閉状態となるように駆動した場合には、図11に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面S1にある被写体Aに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面S2上にフォーカスして結像する(A0)。ところが、ピント面S1から外れた位置にある被写体B,Cについては、センサ面S2上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向(d1,d2)に移動したような像(B0',C0')として映る。
一方、シャッター駆動部19が、シャッター11の右側領域SRを開状態、左側領域SLを閉状態となるように駆動した場合には、図12に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面S1にある被写体Aは、センサ面S2上に結像し、ピント面S1から外れた位置にある被写体B,Cは、センサ面S2上において互いに逆の方向(d3,d4)に移動したような像(B0",C0")として映る。但し、これらの移動方向d3,d4は、上記左視点画像における移動方向d1,d2とそれぞれ逆向きとなる。
上記のように、撮像装置3においても、シャッター11における各領域の開閉を切り替えることにより、上記第1の実施の形態の撮像装置1と同様、左右の各視点方向に対応する光路が切り替えられ、左視点画像L1,右視点画像R1を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量(位相差)が視差量となる。例えば図14(A),(B)に示したように、被写体Bに注目した場合、左視点画像L1における像B0’の位置(B1L)と右視点画像R1における像B0”の位置(B1R)との水平方向の位置ずれ量Wb1が、被写体Bについての視差量となる。同様に、被写体Cに注目した場合、左視点画像L1における像C0’の位置(C1L)と右視点画像R1における像C0”の位置(C1R)との水平方向の位置ずれ量Wc1が、被写体Cについての視差量となる。
ここで、左視点画像L1,右視点画像R1間の被写体Bの視差量Wb1について注目した場合、単眼式の撮像装置3では、視差量Wb1は、撮影条件を用いて以下の式(6)のように定義できる。但し、図14(A)に示したように、撮像レンズ10a,10bの焦点距離をf、被写体距離をS、被写体A,B間の距離をdepとする。また、図14(B)に示したように、瞳面における左右の各領域の重心GL,GR間の距離をG(重心間距離)、瞳直径をDとする。このように、本実施の形態(単眼式)においても、視差量Wb1は、上記第1の実施の形態(2眼式)と同様の撮影条件を用いた式によって表され、上述の式(1)における基線長Lを重心間距離Gに置き換えたものに等価である。また、実際の被写体Bについての被写体Aに対する相対的な立体感は、式(6)によって定まる。
本実施の形態では、上記第1の実施の形態と同様、画像処理部13が、左視点画像L1,右視点画像R1間の視差量を変更制御する。具体的には、画像処理部13における視差制御処理部131が、左視点画像L1,右視点画像R1に対し、撮影情報Dfを用いて視差量および視差範囲を拡大制御する。
そして、本実施の形態においても、視差制御処理部131が、上述のようなズーミングによる撮影条件を考慮して、各視点画像間における視差量の拡大制御を行う。具体的には、例えば焦点距離fおよび被写体距離S等をパラメータとして含む係数α(S,f)を用いた以下の式(7)に基づいて、視差量を拡大制御する。即ち、例えば被写体Bに注目した場合、拡大制御後の視差量Wb2が、所望の値となるように係数α(S,f)を設定する。尚、この係数α(S,f)としては、上記第1の実施の形態と同様、視差量の値が撮影条件に起因して変化しないように、視差量を拡大したい場合、前述の式(4)によって表されるものを用いることができる。これにより、本実施の形態においても、上記のようなズーミングの途中で視差量(立体感)が不自然に変化することを抑制することができる。但し、重心間距離Gは瞳直径Dを用いて、以下の式(8)のように表され、更にこの瞳直径Dは焦点距離fとFナンバーFを用いて表されることから、式(9)のように表すこともできる。即ち、焦点距離f,被写体距離S以外にも、瞳直径DやFナンバーFをパラメータとして用いるようにしてもよい。
また、このような視差制御処理に際しては、上記第1の実施の形態と同様、マップデータDDを使用することにより、被写体毎にその視差量を拡大することができる。また、これにより、水平方向の視差量だけでなく、奥行き方向における視差範囲についても拡大することができる。よって、上記第1の実施の形態と同様、奥側にある被写体Bはより奥まって、手前側にある被写体Cはより飛び出して各々観察されるような、即ち被写体毎の立体感をより強調するような視差制御が可能となる。
上記第1,第2の実施の形態では、視差量の変更制御処理の一例として拡大制御処理を例に挙げて説明したが、逆に視差量を縮小するような変更制御を行うこともできる。即ち、上記と同様にして取得した左視点画像L1,右視点画像R1に対し、撮影情報Dfを用いた視差制御の際に、ディスパリティマップを利用して、次のような縮小制御を行ってもよい。即ち、図15(A),(B)に示したように、左視点画像L1,右視点画像R1において、それらの被写体B,Cの各視差量が縮小するように、被写体B,Cの像の位置を水平方向(X方向)に沿ってシフトさせる。但し、ここでも、視差のない被写体Aの位置A1L,A1Rは変更せず(視差量0のまま保持し)、左視点画像L2,右視点画像R2においても同位置に配置されるようにする。
また、上記第1,第2の実施の形態では、撮影情報Dfとして焦点距離fおよび被写体距離Sを使用し、これらS,fをパラメータとする係数α(S,f)を用いて、視差制御処理を行うようにしたが、撮影情報Dfとして使用するパラメータは、これらに限定されない。撮影情報Dfとしては、例えば、上述のように、他のパラメータを用いてもよいし、本変形例のように、焦点距離fのみを用いてもよい。
Claims (8)
- 異なる方向から撮影された複数の視点画像において、各視点画像を撮影する際の撮像レンズの焦点距離と、被写体距離、異なる被写体同士の間の距離、瞳直径またはFナンバーとを用いて各視点画像間の視差量を、被写体毎に変更する視差制御処理部
を備えた画像処理装置。 - 前記視差制御処理部は、各視点画像間における位相差に基づいて、各視点画像間の視差量を拡大または縮小する
請求項1に記載の画像処理装置。 - 前記視差制御処理部は、画素毎または複数の画素からなる画素ブロック毎に検出された位相差が各画素または各画素ブロックに対応づけられたディスパリティマップに基づいて、各視点画像間の奥行き方向における視差範囲を拡大または縮小する
請求項2に記載の画像処理装置。 - 前記複数の視点画像を取得する撮像部を備え、
前記視差制御処理部は、前記撮像部により取得された複数の視点画像において、各視点画像間の視差量を変更する
請求項1に記載の画像処理装置。 - 前記撮像部は、
撮像レンズと、
複数の光路のそれぞれにおいて透過および遮断を切り替えるシャッターと
を有する
請求項4に記載の画像処理装置。 - 異なる方向から撮影された複数の視点画像において、各視点画像を撮影する際の撮像レンズの焦点距離と、被写体距離、異なる被写体同士の間の距離、瞳直径またはFナンバーとを用いて各視点画像間の視差量を、被写体毎に変更するステップ
を含む
画像処理方法。 - 異なる方向から撮影された複数の視点画像において、各視点画像を撮影する際の撮像レンズの焦点距離と、被写体距離、異なる被写体同士の間の距離、瞳直径またはFナンバーとを用いて各視点画像間の視差量を、被写体毎に変更するステップ
をコンピュータに実行させる
画像処理プログラム。 - 異なる方向から撮影された複数の視点画像において、各視点画像を撮影する際の撮像レンズの焦点距離と、被写体距離、異なる被写体同士の間の距離、瞳直径またはFナンバーとを用いて各視点画像間の視差量を、被写体毎に変更するステップをコンピュータに実行させる画像処理プログラムが記録されている、
コンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014208527A JP6036784B2 (ja) | 2014-10-10 | 2014-10-10 | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014208527A JP6036784B2 (ja) | 2014-10-10 | 2014-10-10 | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010122254A Division JP5641200B2 (ja) | 2010-05-28 | 2010-05-28 | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015043607A JP2015043607A (ja) | 2015-03-05 |
JP6036784B2 true JP6036784B2 (ja) | 2016-11-30 |
Family
ID=52696902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014208527A Expired - Fee Related JP6036784B2 (ja) | 2014-10-10 | 2014-10-10 | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6036784B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3157384B2 (ja) * | 1994-06-20 | 2001-04-16 | 三洋電機株式会社 | 立体映像装置 |
JP3653790B2 (ja) * | 1995-05-23 | 2005-06-02 | 松下電器産業株式会社 | 立体電子ズーム装置及び立体画質制御装置 |
JP2003107601A (ja) * | 2001-10-01 | 2003-04-09 | Canon Inc | 立体画像撮影装置および立体画像撮影方法 |
JP2004208211A (ja) * | 2002-12-26 | 2004-07-22 | Canon Inc | 立体映像撮像装置 |
JP4657313B2 (ja) * | 2008-03-05 | 2011-03-23 | 富士フイルム株式会社 | 立体画像表示装置および方法並びにプログラム |
JP5035195B2 (ja) * | 2008-09-25 | 2012-09-26 | Kddi株式会社 | 画像生成装置及びプログラム |
-
2014
- 2014-10-10 JP JP2014208527A patent/JP6036784B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015043607A (ja) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5641200B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 | |
JP4635403B2 (ja) | 立体画像作成方法およびその装置 | |
JP5346266B2 (ja) | 画像処理装置、カメラ及び画像処理方法 | |
JP5594067B2 (ja) | 画像処理装置および画像処理方法 | |
JP5341286B1 (ja) | 深度拡大装置 | |
US8265477B2 (en) | Stereo camera with preset modes | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP5556448B2 (ja) | 撮像装置 | |
JP2012100101A5 (ja) | ||
JPWO2013038863A1 (ja) | 単眼立体撮影装置、撮影方法及びプログラム | |
JP2011142632A (ja) | カメラ装置、カメラシステムおよびカメラ構成方法 | |
US10574906B2 (en) | Image processing apparatus and image processing method | |
JP2012178688A (ja) | 立体画像撮影装置 | |
JP6113411B2 (ja) | 画像処理装置 | |
JP6004741B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP6036784B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 | |
JP2010231192A (ja) | ステレオ撮像装置 | |
WO2016199381A1 (en) | Image processing apparatus and image processing method | |
JP6057627B2 (ja) | 立体画像撮像装置、カメラシステム、立体画像撮像装置の制御方法、プログラム、記憶媒体 | |
JP2011244377A (ja) | 撮像装置、ならびに画像処理装置、画像処理方法および画像処理プログラム | |
JP5222718B2 (ja) | 立体画像再生装置、立体画像再生プログラム、撮像装置 | |
JP2013242378A (ja) | 撮像装置、表示方法、およびプログラム | |
JP7202449B2 (ja) | 仮想現実立体映像を生成するための光学配置 | |
JP2010226320A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6036784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |