JP6025031B2 - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP6025031B2 JP6025031B2 JP2012196474A JP2012196474A JP6025031B2 JP 6025031 B2 JP6025031 B2 JP 6025031B2 JP 2012196474 A JP2012196474 A JP 2012196474A JP 2012196474 A JP2012196474 A JP 2012196474A JP 6025031 B2 JP6025031 B2 JP 6025031B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- predetermined
- image
- detection
- detection points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
このように紙媒体をデジタルカメラによって読み取る技術としては、従来、例えば、第1の筐体と第2の筐体とがヒンジ部を介して回動可能(開閉可能)に取り付けられているノートパソコンにおいて、第1の筐体と第2の筐体とを開いた状態で、第1の筐体の近傍に置かれた資料(紙媒体)が、第2の筐体側に配設されているデジタルカメラによって撮影されと、その撮影画像に対して台形歪補正を施すようにした技術が提案されている(特許文献1参照)。
図1は、開閉式(見開き形式)の画像処理装置を開いた状態を示した概観斜視図である。図2は、この画像処理装置を見開いた状態において、その一側面から見た概略外観図で、画像処理装置を開いて被写体を撮影する際の様子を説明するための図ある。
画像処理装置は、撮像機能(デジタルカメラ)を備えたタブレット端末装置1と、このタブレット端末装置1が取り付けられているバインダ2を有する構成で、その筺体全体は、開閉可能(見開き可能)なバインダ構造となっている。タブレット端末装置1は、開閉可能なバインダ2に一体的に取り付けられているが、この場合、バンドなどの固定具(図示省略)を使用してバインダ2に着脱自在に取り付けるようにしてもよい。
第1の筐体2aの表面上(見開き平面上)においてヒンジ部2cの反対側端部には、その端辺に沿って直線的に複数のマークMが印刷形成されている。なお、図示の例では、この複数のマークMが第1の筐体2aの上部領域に配置されているため、便宜上、上マーク列(第1の指標)M−1と総称する。また、第1の筐体2aの見開き平面上においてその両側端部には、その端辺に沿って直線的に配列された複数のマークMが印刷形成されている。なお、図示の例では、この複数のマークMが第1の筐体2aの左部領域及び右部領域に配置されているため、便宜上、左マーク列(第2の指標)M−2及び右マーク列(第2の指標)M−3と総称する。
制御部11は、電源部(二次電池)12からの電力供給によって動作し、記憶部13内の各種のプログラムに応じてこのタブレット端末装置1の全体動作を制御するもので、この制御部11には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部13は、例えば、ROM、フラッシュメモリなどを有する構成で、図5〜図8に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ13aと、このタブレット端末装置1が動作するために必要となる各種の情報(例えば、フラグなど)を一時的に記憶するワークメモリ13bなどを有している。なお、記憶部13は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
先ず、タブレット端末装置1の制御部11は、書画モードに切り替えられている状態においてモードキーが操作されて書画モードが解除されたか(書画モードの終了か)を調べる(ステップA1)。いま、書画モードであれば(ステップA1でNO)、この書画カメラCから画像(スルー画像あるいはライブビュー画像)を取得(ステップA2)した後、その取得画像を解析することにより上マーク列M−1を検出する上マーク列検出処理を行う(ステップA3)。なお、上マーク列検出処理は、後述する射影変換のための検出に比べて簡易な検出であるために簡易検出処理と呼称する場合がある。
先ず、制御部11は、書画カメラCから取得した撮影画像(入力画像)を解析することによりその中からテンプレート(予め用意されているマークMの比較基準画像)に近似した画像部分が含まれているかを探し出す処理(テンプレートマッチング:パターンマッチング)を行うことによって撮影画像内の上マーク列M−1に対する個々のマークMを検出する(ステップB1)。その際、テンプレートに対して許容範囲内の変化(近似)であれば、マークMとして検出(認識)するようにしている。
マークMの個々は、複数の図形を交互にマトリックス状に配置した模様、つまり、二色(白黒)の正方形を2×2のマトリックス状に交互に配置した市松模様の指標であるが、このマークMのテンプレート(比較基準画像)Tは、この実際のマークMの全体形状とは異なり、実際のマークMの中心部分に近似した部分画像であり、実際のマークMの全体に対して模様的に自己相似となっている。
図中、「黒丸」は、直線上の各検出点を示し、「白丸」は、直線上の基準位置から等間隔に打った点を示し、更に、図示の例では、直線的に8個の検出点(黒丸)が並んでいる状態を示し、各検出点の列は、その一部が等間隔に並んでいない場合、つまり、誤検出(不検出)が発生している場合を例示している。図中、一行目の白丸列(打った点列)は、撮影画像の中心位置を基準位置b0とし、この基準位置b0から間隔d0毎に点を打った状態を示している。
図11は、第1の筐体2aの立ち上げ角度に応じて撮影画像内の上マーク列M−1の映り具合が変化している様子を説明するための図で、その一部拡大図を含む。
このようにして上マーク列M−1に対する処理が終わると、図8のフローに移り、左マーク列M−2、右マーク列M−3に対する処理(射影変換のための検出処理)を行う。
仮の固定点(仮想マーク)Fは、第1の筐体2aの立ち上げ角度がどのように変化しても常に同じ位置に存在している必要があるために、ヒンジ部2cの軸上に仮の固定点(仮想マーク)Fを設定するようにしているが、その際、ヒンジ軸の両端部に仮の固定点Fを一つずつ配置するようにしている。なお、ズーム機能に対応するためには、ズーム段毎に仮の固定点Fの座標を決めておき、現在のズーム段に対応する座標値を設定するようにしている。このようにヒンジ軸の両端部に仮の固定点Fを一つずつ配置することにより上マーク列M−1の検出点も含めて、4点以上の点が確保されることになる。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する取得手段と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する検出手段と、
前記検出手段により検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する特定手段と、
前記検出手段により検出された複数の検出点のうち、前記特定手段により特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う処理手段と、
を備えるようにしたことを特徴とする画像処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記処理手段は、複数の指標位置に基づいて前記被写体の状態あるいは前記撮影画像の状態を判定する判定処理を行う
ことを特徴とする画像処理装置である。
(請求項3)
請求項3に記載の発明は、請求項1あるいは請求項2に記載の画像処理装置において、
前記特定手段により前記複数の指標の並びに近似した配置関係にある各検出点が特定された場合に、前記処理手段による前記所定の処理を行わせる処理制御手段を更に備える、
ようにしたことを特徴とする画像処理装置である。
(請求項4)
請求項4に記載の発明は、請求項1〜請求項3のいずれかに記載の画像処理装置において、
前記特定手段は、前記複数の指標が直線状に所定間隔毎に並んで被写体に配置されている状態において、前記検出手段により検出された各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする画像処理装置である。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれかに記載の画像処理装置において、
前記特定手段は、前記複数の指標が所定の規則性を持った並びで被写体を囲むようにその周辺部に配置されている状態において、前記検出手段により検出された各検出点の中から被写体を囲むように前記所定の規則性を持った並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする画像処理装置である。
(請求項6)
請求項6に記載の発明は、請求項5に記載の画像処理装置において、
前記特定手段は、前記複数の指標が所定の間隔毎に並んで被写体を囲むように第1の方向及び第2の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第1の方向及に配置されている各検出点を認識してその方向に延びる直線を特定すると共に、前記第2の方向に配置されている各検出点を認識してその方向に延びる直線を特定した後、前記第1の方向の直線と前記第2の方向の直線との交点を基準として、その交点から前記所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする画像処理装置である。
(請求項7)
請求項7に記載の発明は、請求項6に記載の画像処理装置において、
前記特定手段は、前記複数の指標が所定間隔毎に並んで被写体を囲むように第1の方向、第2の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第1の方向に配置されている各検出点を認識してその方向に延びる直線を特定することができたが、前記第2の方向に配置されている各検出点を認識することができなかった場合に、前記第2の方向上の複数の所定位置に仮の固定点をそれぞれ設定し、前記仮の各固定点と前記第1の方向の複数の検出点を、前記撮影画像の状態判定用として特定する、
ようにしたことを特徴とする画像処理装置である。
(請求項8)
請求項8に記載の発明は、請求項1〜請求項7のいずれかに記載の画像処理装置において、
当該画像処理装置は、前記複数の指標が配置されている第1の筐体と、前記第1の筐体に装着されている被写体を撮影する撮像部を備えた第2の筐体と、前記第1の筐体と前記第2の筐体とを見開き状に開閉可能に連結する連結部とを備える、
ようにしたことを特徴とする画像処理装置である。
(請求項9)
請求項9に記載の発明は、請求項1〜請求項8のいずれかに記載の画像処理装置において、
前記判定手段は、前記被写体に対する撮影距離又は撮影角度が所定の範囲内に収まった状態を、前記被写体の状態として判定する、
ようにしたことを特徴とする画像処理装置である。
(請求項10)
請求項10に記載の発明は、請求項1〜請求項9のいずれかに記載の画像処理装置において、
前記判定手段は、前記撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、前記撮影画像の状態として判定する、
ようにしたことを特徴とする画像処理装置である。
(請求項11)
請求項11に記載の発明は、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得するステップと、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出するステップと、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するステップと、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行うステップと、
を含むことを特徴とする画像処理方法である。
(請求項12)
請求項12に記載の発明は、
コンピュータに対して、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する機能と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する機能と、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する機能と、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う機能と、
を実現させるためのプログラムである。
2 バインダ
2a 第1の筐体
2b 第2の筐体
2c ヒンジ部
3 紙媒体
11 制御部
13 記憶部
C 書画カメラ
M マーク
M−1 上マーク列
M−2 左マーク列
M−3 右マーク列
Claims (13)
- 複数の指標が所定の並びで配置されている被写体を撮影した場合にその撮影画像を取得する取得手段と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する検出手段と、
前記複数の指標が直線状に所定間隔毎に並んで前記被写体に配置されている状態において、前記検出された各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する特定手段と、
前記検出手段により検出された複数の検出点のうち、前記特定手段により特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う処理手段と、
を備えるようにしたことを特徴とする画像処理装置。 - 複数の指標が所定の並びで配置されている被写体を撮影した場合にその撮影画像を取得する取得手段と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する検出手段と、
前記複数の指標が所定の規則性を持った並びで前記被写体を囲むようにその周辺部に配置されている状態において、前記検出された各検出点の中から前記被写体を囲むように前記所定の規則性を持った並びに近似した配置関係にある各検出点の個々をそれぞれ特定する特定手段と、
前記検出手段により検出された複数の検出点のうち、前記特定手段により特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う処理手段と、
を備えるようにしたことを特徴とする画像処理装置。 - 前記処理手段は、複数の指標位置に基づいて前記被写体の状態あるいは前記撮影画像の状態を判定する判定処理を行う
ことを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記特定手段により前記複数の指標の並びに近似した配置関係にある各検出点が特定された場合に、前記処理手段による前記所定の処理を行わせる処理制御手段を更に備える、
ようにしたことを特徴とする請求項1〜請求項3のいずれかに記載の画像処理装置。 - 前記特定手段は、前記複数の指標が所定の間隔毎に並んで被写体を囲むように第1の方向及び第2の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第1の方向に配置されている各検出点を認識してその方向に延びる直線を特定すると共に、前記第2の方向に配置されている各検出点を認識してその方向に延びる直線を特定した後、前記第1の方向の直線と前記第2の方向の直線との交点を基準として、その交点から前記所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする請求項1に記載の画像処理装置。 - 前記特定手段は、前記複数の指標が所定間隔毎に並んで被写体を囲むように第1の方向、第2の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第1の方向に配置されている各検出点を認識してその方向に延びる直線を特定することができたが、前記第2の方向に配置されている各検出点を認識することができなかった場合に、前記第2の方向上の複数の所定位置に仮の固定点をそれぞれ設定し、前記仮の各固定点と前記第1の方向の複数の検出点を、前記撮影画像の状態判定用として特定する、
ようにしたことを特徴とする請求項5に記載の画像処理装置。 - 当該画像処理装置は、前記複数の指標が配置されている第1の筐体と、前記第1の筐体に装着されている被写体を撮影する撮像部を備えた第2の筐体と、前記第1の筐体と前記第2の筐体とを見開き状に開閉可能に連結する連結部とを備える、
ようにしたことを特徴とする請求項1〜請求項6のいずれかに記載の画像処理装置。 - 前記処理手段は、前記被写体に対する撮影距離又は撮影角度が所定の範囲内に収まった状態を、前記被写体の状態として判定する、
ようにしたことを特徴とする請求項3に記載の画像処理装置。 - 前記処理手段は、前記撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、前記撮影画像の状態として判定する、
ようにしたことを特徴とする請求項3に記載の画像処理装置。 - 複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得するステップと、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出するステップと、
前記複数の指標が直線状に所定間隔毎に並んで被写体に配置されている状態において、前記検出された各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するステップと、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行うステップと、
を含むことを特徴とする画像処理方法。 - 複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得するステップと、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出するステップと、
前記複数の指標が所定の規則性を持った並びで被写体を囲むようにその周辺部に配置されている状態において、前記検出された各検出点の中から被写体を囲むように前記所定の規則性を持った並びに近似した配置関係にある各検出点の個々をそれぞれ特定するステップと、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行うステップと、
を含むことを特徴とする画像処理方法。 - コンピュータに対して、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する機能と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する機能と、
前記複数の指標が直線状に所定間隔毎に並んで被写体に配置されている状態において、前記検出された各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する機能と、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う機能と、
を実現させるためのプログラム。 - コンピュータに対して、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する機能と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する機能と、
前記複数の指標が所定の規則性を持った並びで被写体を囲むようにその周辺部に配置されている状態において、前記検出された各検出点の中から被写体を囲むように前記所定の規則性を持った並びに近似した配置関係にある各検出点の個々をそれぞれ特定する機能と、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う機能と、
を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012196474A JP6025031B2 (ja) | 2012-09-06 | 2012-09-06 | 画像処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012196474A JP6025031B2 (ja) | 2012-09-06 | 2012-09-06 | 画像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014053738A JP2014053738A (ja) | 2014-03-20 |
JP6025031B2 true JP6025031B2 (ja) | 2016-11-16 |
Family
ID=50611820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012196474A Active JP6025031B2 (ja) | 2012-09-06 | 2012-09-06 | 画像処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6025031B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI342461B (en) * | 2006-12-11 | 2011-05-21 | Newsoft Technology Corp | System and method for assisting fixed-focus image-capturing device to focus |
JP2008158673A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 道路区画線認識装置 |
-
2012
- 2012-09-06 JP JP2012196474A patent/JP6025031B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014053738A (ja) | 2014-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5975281B2 (ja) | 画像処理装置及びプログラム | |
JP6098784B2 (ja) | 画像処理装置及びプログラム | |
JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
EP3072103B1 (en) | User feedback for real-time checking and improving quality of scanned image | |
JP6191511B2 (ja) | 画像シーケンスをキャプチャする方法、システム及びプログラム | |
JP2012185630A (ja) | 投影装置 | |
JP5817149B2 (ja) | 投影装置 | |
TW201305856A (zh) | 投影系統與其影像處理方法 | |
JP2010130181A (ja) | 画像取得装置 | |
JP4182937B2 (ja) | 撮影装置、撮影装置の画像処理方法及びプログラム | |
JP5796747B2 (ja) | 情報処理装置及びプログラム | |
JP6025031B2 (ja) | 画像処理装置及びプログラム | |
JP2017199288A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012205089A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP2013247531A (ja) | 画像処理装置およびこれを備えた原稿読取システム | |
JP2013074451A (ja) | 画像撮影装置 | |
JP5791557B2 (ja) | 連絡操作支援システム、連絡操作支援装置および連絡操作方法 | |
JP5458877B2 (ja) | 撮像装置、及び撮像プログラム | |
JP6312488B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5962975B2 (ja) | 情報処理装置及びプログラム | |
JP2018181244A (ja) | 線分抽出装置、線分抽出装置の制御方法及びプログラム | |
JP2018191094A (ja) | 原稿読取装置、原稿読取装置の制御方法、及びプログラム | |
JP2017182672A (ja) | 情報処理方法および情報処理装置、プログラム | |
JP6393114B2 (ja) | 情報処理システム、情報処理プログラム、情報処理方法および撮像装置 | |
JP2014175779A (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6025031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |