JP5322633B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5322633B2 JP5322633B2 JP2008334297A JP2008334297A JP5322633B2 JP 5322633 B2 JP5322633 B2 JP 5322633B2 JP 2008334297 A JP2008334297 A JP 2008334297A JP 2008334297 A JP2008334297 A JP 2008334297A JP 5322633 B2 JP5322633 B2 JP 5322633B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- peak value
- signal
- clock
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 230000010354 integration Effects 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 6
- 239000000758 substrate Substances 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Analogue/Digital Conversion (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
このような撮像装置においては、信号を一時記憶する等のために、アナログ信号からデジタル信号に変換するA/D変換が行われる。
例えば特開2004−96640号公報の第1の従来例には、アナログ信号をA/D変換クロック(A/Dクロックとも言う)に同期してA/D変換器でA/D変換する場合、A/Dクロックの位相を変化させて、アナログ信号に発生するノイズを最小とするように位相制御する構成が開示されている。
なお、特開2000−287132号公報の第2の従来例には、OB部に電荷を注入し、電荷が注入されたOB部の出力信号に基づいてA/Dクロックの位相を決定することが開示されている。
本発明は上述した点に鑑みてなされたもので、帯域制限手段を通した信号の場合においても、A/Dクロックを自動的に適切な位相に設定することを可能とする撮像装置を提供することを目的とする。
(第1の実施形態)
図1から図8は本発明の第1の実施形態に係り、図1は本発明の第1の実施形態を備えた内視鏡装置の全体構成を示し、図2は図1における撮像装置の構成を示し、図3はCDS回路から出力される映像信号波形例を示し、図4はLPFを通した映像信号波形例を示し、図5はA/Dクロック位相調整部の構成例を示す。
図6はA/Dクロック制御部の構成を示し、図7はA/Dクロック位相調整の動作手順を示し、図8は位相調整されるA/DクロックによるA/D変換のタイミングと、ピーク値が得られるA/Dクロックの位相状態を、映像信号波形を用いて示す。
図1に示すように内視鏡装置1は、被検体内に挿入され、内視鏡検査に使用される電子内視鏡2と、この電子内視鏡2が着脱自在に接続され、電子内視鏡2に内蔵された撮像装置により生成された映像信号に対する信号処理を行うビデオプロセッサ3と、このビデオプロセッサ3から出力される標準的な映像信号を表示するモニタ4とを有する。
挿入部6の先端部には、照明手段しての例えば発光ダイオード(LEDと略記)11と、このLED11からの照明光で照明された患部等を観察するための対物レンズ12及びその結像位置に配置された撮像素子としての例えば電荷結合素子(CCDと略記)13とが配置されている。
LED11は、例えばビデオプロセッサ3内のLED電源回路14から供給されるLED駆動電力により発光する。
CCD13は、入射光を光電変換する有効画素が2次元状に配列されて撮像面が形成されている。
CCD13は、挿入部6内に挿通された撮像ケーブル15の先端と接続され、この撮像ケーブル15の後端は、例えばコネクタ9内に設けたスコープ内基板16と接続されている。このスコープ内基板16は、図2に示すようにCCD13を駆動(ドライブ)すると共に、CCD出力信号に対するA/D変換を含む前処理を行うドライバ&前処理部17が形成されている。そして、CCD13とドライバ&前処理部17とにより、第1の実施形態の撮像装置が構成されている。
スコープ内基板16(ドライバ&前処理部17)は、ビデオプロセッサ3内の映像処理部19と接続される。図2に示すように、ビデオプロセッサ3(の映像処理部19)は、スコープ内基板16のドライバ&前処理部17にクロックを供給すると共に、通信を行う。また、映像処理部19には、ドライバ&前処理部17から映像出力信号が入力される。そして、映像処理部19により生成された標準的な映像信号がモニタ4に入力されることにより、モニタ4の表示面にはCCD13の撮像面に結像された患部等の被写体の光学像が内視鏡画像として表示される。
また、FPGA21は、このFPGA21が搭載された電子内視鏡2における各種のスコープ情報と、各電子内視鏡2に搭載されたCCD13に固有の白傷データ(具体的には撮像面における白傷画素の位置を特定する2次元アドレスデータ)等を格納したROM22と接続されている。
そして、FPGA21は、クロック及び同期信号に同期したタイミング信号をCCDドライバ23に出力し、CCDドライバ23は、このタイミング信号に同期して水平転送信号φH,垂直転送信号φV等のCCDドライブ信号と電源をCCD13に印加する。CCD13は、CCDドライブ信号の印加により、光電変換して蓄積した信号電荷をCCD出力信号として出力する。
このCDS回路25は、S/Hパルス生成部26からCCD出力信号におけるフィードスルー部分と信号成分部分とのタイミングで出力されるS/HパルスSHP、SHDが印加されることにより、両信号レベルの差分の信号成分を出力する。
S/Hパルス生成部26は、FPGA21から出力されるタイミング信号に基づいてS/HパルスSHP、SHDを生成する。
CDS回路25から出力される映像信号は、帯域制限手段としてのローパスフィルタ(LPF)27に入力され、折り返しノイズを除去するために高周波側がカットされて所定の周波数以下の帯域の映像信号が抽出される。例えば、図3に示す(CDS回路25から出力される)映像信号は、LPF27を通すことにより、図4に示すように波形が鈍った映像信号になる。
LPF27を通した帯域制限された映像信号は、A/D変換を行うA/D変換器28に入力される。このA/D変換器28には、A/Dクロック位相調整部29から出力されるA/Dクロックが印加され、A/D変換器28は、このA/Dクロックの例えば立ち上がりエッジのタイミングで、入力されるアナログの映像信号をデジタルの映像信号に変換する。なお、A/Dクロックの周波数は1画素の周期に一致するように設定されている。
上記A/Dクロック位相調整部29は、FPGA21からCCDドライブ信号等のタイミングと位相同期した状態で入力される基準のA/Dクロックから所定の時間遅延量の範囲内において任意の遅延量(ディレイ量)、つまり任意の位相でA/Dクロックを出力可能とする遅延回路を備えている。
図5は、遅延回路を備えたA/Dクロック位相調整部29の構成例を示す。基準のA/Dクロックは、複数のディレイ素子(DLと略記)31、31、…、31が例えば直列に接続された遅延回路32に入力される。
そして、マルチプレクサ33の共通接点から、(基準のA/DクロックからDL31の遅延量の数に応じて)位相調整されたA/DクロックがA/D変換器28に印加される。 なお、FPGA21は、A/Dクロック位相調整の動作を行う場合に、以下に説明するA/Dクロック制御部41のP/S変換回路43を介してマルチプレクサ33にディレイ量指示設定データを出力する。マルチプレクサ33は、ディレイ量指示設定データに応じて対応する接点iを選択する。なお、図5に示した構成に限らず、プログラマブルディレイラインなどによりA/Dクロック位相調整部29を構成することもできる。
A/Dクロック制御部41は、A/Dクロック位相調整部29のマルチプレクサ33の接点を切り替えてディレイ量を1ステップ分づつ増加する指示を行うディレイ量設定指定データを出力するディレイ量指定回路42を有し、このディレイ量設定指定データは例えばP/S変換回路43によりパラレル信号からシリアル信号に変換して出力される。
なお、マルチプレクサ33がパラレルのディレイ量設定指定データにより動作する場合には、P/S変換回路43は不要である。
また、このA/Dクロック制御部41は、上記ディレイ量設定指定データによるディレイ量のA/DクロックでA/D変換器28によりA/D変換されたA/D変換出力を取り込み、ピーク値を検出するピーク検出回路44を有する。
ピーク検出回路44は、内部にメモリを備え、白傷画素のA/D変換された信号データを取り込んだ場合に、メモリに格納されている1つ前のA/D変換された信号データと、その次に同じ白傷画素のA/D変換された信号データの比較を行うことにより、ピーク値を検出する。
そして、ピーク値の検出信号を保持指示信号としてディレイ量指定回路42に出力し、ディレイ量指定回路42は、ピーク値を検出した時のディレイ量設定指定データをROM制御部45に送る。ROM制御部45は、このピーク値を検出した時のディレイ量設定指定データをROM22に書き込む。
ビデオプロセッサ3は、電子内視鏡2のスコープ内基板16のFPGA21と通信を行う。そして、通信結果により、ステップS1に示すようにFPGA21は、A/Dクロック位相調整を行うべきA/Dクロック位相調整モードか否かの判定を行う。
例えば、FPGA21は、A/Dクロック位相調整を既に行っている場合には、A/Dクロック位相調整モードでないと判定して、図7の処理を終了する。一方、A/Dクロック位相調整を未だ行っていない場合には、A/Dクロック位相調整モードであると判定して、次のステップS2に進み、A/Dクロック位相調整の処理動作を開始する。
そして、ディレイ量が0の設定状態において、A/D変換器28はLPF27を通して入力されるCCD13側からの入力信号をA/D変換して出力する。
なお、このディレイ量0の場合における入力信号に対する位相Poを、図8の上の図において、例えば白傷の画素の入力信号部分において示している。
そして、ステップS3においてFPGA21のピーク検出回路44は、A/D変換器28から出力されるデジタル信号における(基準信号となる)白傷画素の信号データを、そのアドレスデータに対応したタイミングで取り込みむ。そして、ピーク検出回路44は、その内部のメモリに格納されている1つ前の画素の信号データと比較する。なお、最初に比較を行う場合には、メモリには例えばピーク値よりも小さい規定値、例えば0の値が格納されている。
この場合には、ステップS5に示すようにピーク検出回路44は、取り込んだ信号データをメモリに格納する。そして次のステップS6においてディレイ量指定回路42は、ディレイ量パラメータIを1大きくする。つまり、1ステップ分だけディレイ量を大きくする。
図5の例では、マルチプレクサ33の接点bが選択されるように制御する。そして、ステップS3の処理に戻る。
この場合(ディレイ量パラメータI=1)には、DL31のディレイ量の設定状態において、A/D変換器28はLPF27を通して入力されるCCD13側からの入力信号をA/D変換し、ピーク検出回路44は白傷画素のA/Dされた信号データを取り込む。
このような処理を繰り返すことにより、ピーク検出回路44のメモリ内に、ピーク値が格納されるようになる。そして、1ステップ分大きくされたディレイ量の状態で、ピーク検出回路44に白傷画素のA/D変換された信号データが入力されると、ピーク検出回路44は、メモリに格納された信号データの方が大きいと判定(つまりピーク値)と判定し、ステップS7に進む。
そして、それらの信号レベルの比較により、図8においては位相シフト範囲の中央付近の位相に設定した場合にピーク値の信号レベルを、A/D変換できる様子を示している。そして、図8の下側に示すようにピーク値が得られるディレイ量(位相量)のA/Dクロックが設定され、そのA/Dクロックにより、図8の中央に示す点でA/D変換が行われるようになる。
ステップS7においてピーク検出回路44は、ピーク値を検出した場合に保持信号をディレイ量指定回路42に出力する。ディレイ量指定回路42は対応するディレイ量パラメータIm或いはディレイ量Dmの情報をROM制御部45に送り、ROM制御部45は、その情報をROM22に書き込む。そして、このA/Dクロック位相調整の動作を終了する。
本実施形態によれば、簡単な構成でLPF27により鈍った波形の信号が入力された場合にも、そのピーク値となるタイミングでA/D変換される適切な位相状態に設定できる。従って、S/Nが最良の状態、換言すると解像度が最も良好な状態でA/D変換することができ、映像信号あるいは画像信号の品質を向上することができる。
なお、白傷画素が複数箇所存在する場合には、例えば最大又は大きな信号レベルを有する1つの白傷画素を基準画素に設定してピーク値を検出するようにしても良い。
また、1つの白傷画素からのA/D変換された信号データのピーク値を検出する場合、その白傷画素を含む(有効画素などの)複数画素からピーク値を検出するようにしても良い。また、白傷画素のアドレス(位置)指定は、白傷画素を検出し、その検出した白傷画素のアドレスを指定する方法でも良い。
次に図9から図11を参照して本発明の第2の実施形態を説明する。第1の実施形態においては、基準画素として白傷画素を用いていたが、本実施形態においては白傷画素の代わりに例えばOB画素を用いる。
本実施形態を備えた内視鏡装置の構成は図1と同じである。また、撮像装置の構成も図2と同様である。但し、本実施形態におけるFPGA21は、図6のA/Dクロック制御部41の代わりに図9に示すA/Dクロック制御部51を有する。
このA/Dクロック制御部51は、図6のA/Dクロック制御部41において、ピーク検出回路44の代わりにノイズ検出回路52を採用した構成である。
このノイズ検出回路52は、ROM制御部45により、例えば図10に示すOB画素部61のOB画素P11〜P14、P21〜24、…、の画素範囲(画素信号としてはその画素信号の期間)における(無信号のノイズに相当する)ノイズ信号データの最大値と最小値の差分量の積算を、ディレイ量を1ステップ分づつ、増加しながら繰り返し算出する。
なお、図10における例えばOB画素P11〜P14の画素数がより大きい場合には、その一部の画素範囲を用いるようにしても良い。
図10に示すようにOB画素部61の画素範囲として、複数の水平画素ラインにまたがる場合には、ノイズ検出回路52は、各水平画素ラインにおける最大値(又は正のピーク値)と最小値(又は負のピーク値)を算出する。また、ノイズ検出回路52は、その差分量を水平画素ライン数分にわたり積算して積算値を算出する。換言するとノイズ検出回路52は、差分量を積算する積算手段を備える。
そして、ノイズ検出回路52は、ディレイ量を変更しながら算出した積算値が最大のものをピーク値として検出し、その積算値が最大となる時に保持信号をディレイ量指定回路42に通知する。ディレイ量指定回路42は、その時のディレイ量(位相量)の情報を、ROM制御部45に送り、ROM制御部45はその時の、ディレイ量(位相量)の情報を、ROM22に書き込む。
図11は、A/Dクロック移動調整の動作のフローチャートを示す。図11におけるステップS1,S2は図7と同様であり、ステップS2の次のステップS11においてさらに水平画素ラインのパラメータjが1にセットされる。
そして、次のステップS12においてノイズ検出回路52は、OB画素部61の第j水平画素ラインのOB画素(図10ではP11〜P14)のノイズ信号データをA/D変換器28を介して取り込む。
そして、次のステップS14においてj=jend、つまりjが最終水平ラインjendに達したか否かの判定が行われ、これに該当しない場合には、ステップS15において、j=j+1(つまりj=2)の処理が行われてステップS11に戻る。
そして、OB画素部61の第2水平画素ラインに対して同様の処理が行われる。このようにして、最終水平ラインjendまで同様の処理が行われると、ステップS14からステップS16に移る。
これに該当しない場合には、ステップS11に戻り、1ステップ分増加したディレイ量の下で同様の処理が行われる。このようにして、最大のディレイ量パラメータ値Imaxまで同様の処理が繰り返されると、ステップS17からステップS18に移る。ステップS18においてノイズ検出回路52は、積算メモリに書き込まれた積算値において最大(又はピーク値)となるものを検出する。そして、ROM制御部45により、積算値が最大となる時のディレイ量情報がROM22に書き込まれる。
従って、第1の実施形態の場合とほぼ同様に帯域制限された鈍った信号の場合においても、そのピークとなるタイミングの適切な位相を精度良く検出することができる。
なお、本実施形態の場合には、画素に起因して発生するノイズを、基準信号として利用する。そして、その基準信号を上記のように各複数画素毎での最大値と最小値の差分量を算出し、さらに複数画素の数だけ積算して最大値となる場合のディレイ量を検出する。この場合、熱雑音のように、画素に起因しないランダムなノイズによる影響は、積算することにより殆ど排除できる。
なお、上記説明における、最大値と最小値との差分量の積算値が最大又はピーク値となるものの他に、最大値と最小値との一方、又は最大値のピーク値又は最小値となるピーク値を検出するようにしても良い。
また、OB画素の代わりに、実際の表示に用いられない無効画素としてのダミー画素を用いて同様に最大値と最小値との差分量を複数の画素ラインまたは画素信号期間で積算した積算値の最大値を算出した、対応するA/Dクロックの最適な位相を検出するようにしても良い。
また、一定の照明状態に保った状態において、例えば一部の有効画素を基準画素と見なして、上述した第1、第2の実施形態を適用しても良い。
また、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
Claims (6)
- 入射光を光電変換する有効画素と、基準信号を発生する特定の基準画素とを有する画素群が2次元状に配列された撮像面を有する撮像手段と、
前記有効画素及び基準画素から出力された信号から映像信号成分を抽出する映像信号成分抽出手段と、
前記映像信号成分抽出手段で抽出した映像信号成分の帯域を所定の周波数以下に制限する帯域制限手段と、
前記帯域制限手段で帯域制限した信号に対して、入力されるA/D変換クロックに同期してA/D変換を行うA/D変換手段と、
前記基準画素から出力され、前記帯域制限手段を通過した基準信号のピーク値を検出するピーク値検出手段と、
前記ピーク値検出手段のピーク値検出結果に応じて、前記A/D変換手段に供給される前記A/D変換クロックの位相を調整する位相設定手段と、
を備えことを特徴とする撮像装置。 - 前記基準画素は、白傷を有する欠陥画素であり、
前記撮像面上の前記欠陥画素の位置を表すデータを記憶する記憶手段をさらに備え、
前記ピーク値検出手段は、前記データに基づいて位置が特定された前記欠陥画素の出力信号のピーク値を検出することを特徴とする請求項1に記載の撮像装置。 - 前記基準画素は、オプティカルブラック画素又はダミー画素であり、
前記基準画素において発生するノイズ量を複数の期間にわたって積算する積算手段をさらに備え、
前記ピーク値検出手段は、前記積算手段の積算結果のピーク値を検出することを特徴とする請求項1に記載の撮像装置。 - 前記ノイズ量は、前記オプティカルブラック画素又はダミー画素からなる前記基準画素で発生するノイズ信号成分を含み、
前記ピーク値検出手段は、前記ノイズ信号成分の前記積算手段による積算結果の最大値又は最小値を前記ピーク値として検出することを特徴とする請求項3に記載の撮像装置。 - 前記積算手段は、前記複数の各期間における前記基準画素において発生するノイズ量の最大値と最小値との差分量を検出し、前記差分量を、前記複数の期間分だけ積算することを特徴とする請求項3に記載の撮像装置。
- 前記映像信号成分抽出手段は、相関二重サンプリング回路により構成されることを特徴とする請求項1から5のいずれか1つの請求項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008334297A JP5322633B2 (ja) | 2008-12-26 | 2008-12-26 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008334297A JP5322633B2 (ja) | 2008-12-26 | 2008-12-26 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010157849A JP2010157849A (ja) | 2010-07-15 |
JP5322633B2 true JP5322633B2 (ja) | 2013-10-23 |
Family
ID=42575430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008334297A Active JP5322633B2 (ja) | 2008-12-26 | 2008-12-26 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5322633B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014002732A1 (ja) * | 2012-06-27 | 2014-01-03 | オリンパスメディカルシステムズ株式会社 | 撮像装置および撮像システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0738695B2 (ja) * | 1988-03-22 | 1995-04-26 | シャープ株式会社 | ディジタルビデオカメラ |
JPH06292065A (ja) * | 1993-04-06 | 1994-10-18 | Sony Corp | アナログ−ディジタル変換用クロック信号発生装置 |
JPH10260653A (ja) * | 1997-03-19 | 1998-09-29 | Fujitsu General Ltd | サンプリング位相制御装置 |
JP2004096640A (ja) * | 2002-09-03 | 2004-03-25 | Canon Inc | アナログ・デジタルコンバータ、撮像装置及びアナログ・デジタルコンバータの制御方法 |
JP4164341B2 (ja) * | 2002-11-19 | 2008-10-15 | キヤノン株式会社 | 撮像装置 |
JP2008228037A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 位相調整装置、位相調整方法およびデジタルカメラ |
-
2008
- 2008-12-26 JP JP2008334297A patent/JP5322633B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010157849A (ja) | 2010-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2868255B1 (en) | Imaging device and imaging system | |
US9844312B2 (en) | Endoscope system for suppressing decrease of frame rate without changing clock rate of reading | |
US9137453B2 (en) | Control apparatus and imaging system | |
US20160269611A1 (en) | Image pickup apparatus | |
JP5245022B1 (ja) | 撮像装置 | |
CN106256123B (zh) | 处理装置、摄像装置以及内窥镜系统 | |
US20130307951A1 (en) | Imaging apparatus | |
JP5458223B1 (ja) | 撮像装置 | |
JP5847017B2 (ja) | 電子内視鏡装置及びその作動方法 | |
JP6430880B2 (ja) | 内視鏡システム、及び、内視鏡システムの作動方法 | |
JP2020005844A (ja) | 医療用画像処理装置及び医療用観察装置 | |
JP5322633B2 (ja) | 撮像装置 | |
JP2003204932A (ja) | 内視鏡撮像システム | |
JP5959331B2 (ja) | 内視鏡装置 | |
JP2020151090A (ja) | 医療用光源装置及び医療用観察システム | |
JP5538067B2 (ja) | 内視鏡システム | |
JP2011235021A (ja) | 電子内視鏡システム | |
JP5932191B1 (ja) | 伝送システムおよび処理装置 | |
JP4632761B2 (ja) | 電子内視鏡装置及び色ずれ補正装置 | |
US20100091145A1 (en) | Fixed-pattern noise reduction system, imaging system, and electronic endoscope unit | |
JP4415162B2 (ja) | 電子内視鏡装置 | |
KR101976812B1 (ko) | 토탈 셔터 이미지 센서를 이용하는 스트로보스코프 | |
JP3917982B2 (ja) | 内視鏡装置 | |
JP6312254B2 (ja) | 内視鏡システム及びその作動方法 | |
JP2005349004A (ja) | 電子内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130716 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5322633 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |