JP4309605B2 - オートセンタリング機能を有する撮像装置 - Google Patents
オートセンタリング機能を有する撮像装置 Download PDFInfo
- Publication number
- JP4309605B2 JP4309605B2 JP2001157489A JP2001157489A JP4309605B2 JP 4309605 B2 JP4309605 B2 JP 4309605B2 JP 2001157489 A JP2001157489 A JP 2001157489A JP 2001157489 A JP2001157489 A JP 2001157489A JP 4309605 B2 JP4309605 B2 JP 4309605B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- synchronization signal
- shift amount
- address
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
この発明はビデオカメラや電子内視鏡等の撮像装置における被写体画像のオートセンタリング機能に関する。
【0002】
【従来の技術】
内視鏡等の小型・軽量の撮像装置は医療用、工業用に広く普及している。図7は内視鏡の概略構成を示す図である。内視鏡は、体内の体腔部等の狭い隙間に挿入し患部など被写体からの反射光を取り込むスコープ11、プリズム13(3板式のみ使用)及び撮像素子3を含むカメラヘッド14、スコープ11をカメラヘッドを結合するためのアダプター12を構成要素として含んでいる。
【0003】
従来、内視鏡等において、スコープ11から得られる円状の被写体画像を表示画面の中心に合わせる位置合わせは、スコープ11、アダプタ12、プリズム13(3板式のみ使用)、撮像素子3の光軸が一直線上になるように、取りつけ機構部に高精度部品を使用し、調整機構部品を調整することにより行っていた。
【0004】
【発明が解決しようとする課題】
このように従来の内視鏡は、被写体画像を表示画面の中心に合わせるために、高精度部品を使用し、更に調整機構部品及び調整作業が必要なため、製品の製造コストが高い。又、スコープ、アダプターを交換した場合、スコープ、アダプターのばらつきにより、被写体画像が所望の位置である表示画面の中心からずれることがある。このように被写体画像が表示画面の所望の位置からずれている場合は、調整機構部品の再調整等を行う必要がある。
【0005】
例えば、特開2001−46331号公報には、内視鏡の表示画像を拡大して表示するときに、拡大ノブの操作等により被写体画像にずれが生じた場合、被写体画像のずれに応じてスコープ先端の湾曲部を湾曲させ、ずれを補正する技術が開示されている。しかしこの公報には、被写体画像が表示画面の所望の位置からずれているときの補正方法についてはなんら開示されていない。
【0006】
従って本発明は、光軸のずれにより被写体画像が表示画面の所望の位置に合わないときに、機構部品の調整を行うことなく被写体画像を表示画面の所望の位置に合うよう移動させることを目的とする。
【0007】
【課題を解決するための手段】
本発明の撮像装置は、光軸のずれにより被写体画像が表示画面の所望の位置に合わないときに、信号処理により被写体画像を表示画面の所望の位置に合うよう移動させる。撮像素子出力信号の輝度レベルの差により、被写体の位置を検出し、映像出力の同期信号に対し、被写体画像の開始位置を変化させ、表示画面の中心に合うよう移動する。
【0008】
即ち本発明は、撮像素子を使用し、該撮像素子の受光面に被写体像を結像し該被写体像に対応する映像出力信号を提供する撮像装置において、被写体を撮像し被写体画像信号を含む撮像素子出力信号を提供する撮像素子と、前記撮像素子出力信号のレベルの差異を利用して前記被写体画像信号とそれ以外の信号との境界位置のアドレスを検出する境界検出手段と、前記境界検出手段により検出された前記境界位置のアドレスに基づいて、前記被写体像が表示画面の所望の位置に表示されるために必要なシフト量を算出するシフト量算出手段と、前記映像出力信号の同期信号を発生する同期信号発生手段と、前記同期信号発生手段から発生される水平及び垂直同期信号の位相を、前記シフト量算出手段により算出された前記シフト量に応じてシフトする同期信号シフト手段と、前記同期信号シフト手段によりシフトされた水平及び垂直同期信号に基づいて、前記撮像素子の駆動パルスを発生し、前記撮像素子を駆動する駆動パルス発生手段と、前記撮像素子から提供される前記撮像素子出力に、前記同期信号発生手段により発生される同期信号を付加し、前記映像出力信号として提供する同期信号付加手段とを具備する。
【0009】
更に本発明の撮像装置は、前記撮像素子出力のブランキング部のノイズをマスクする手段を更に具備する
【0010】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【0011】
図1は本発明が適用される撮像装置の一実施形態としての内視鏡(3板式)の構成を示す図である。尚、プリズムが単板式でも本発明は適用可能である。
【0012】
この内視鏡は、体内の体腔部等の狭い隙間に挿入され患部など被写体からの反射光を取り込むスコープ11、プリズム13(3板式)及び撮像素子3を含むカメラヘッド14、スコープ11をカメラヘッドを結合するためのアダプター12、及びこのカメラヘッドの動作を制御し、スコープ11を通り撮像素子3により撮像された画像を映像出力信号として表示部に提供するカメラコントロールユニット15から構成され、カメラヘッド14とカメラコントロールユニット15はケーブル9により接続されている。
【0013】
図2は図1の内視鏡に適用される本発明のオートセンタリング機能を実施する信号処理システムの構成を示すブロック図である。この実施形態では内視鏡に本発明を適用した例を示すが、本発明はこれに限らず、ビデオカメラ等様々な撮像装置に適用することが可能である。
【0014】
図2に示すように、本システムはアドレス検出部1、シフト量算出部2、撮像部3、ブランキングノイズマスク回路4、シフト回路5、同期信号付加部6、同期信号パルス発生器7、撮像素子駆動パルス発生器8から構成される。このシステムは図3(a)のように撮像素子3を除き、図1のカメラコントロールユニット15内に設けることができ、又、撮像素子3及び撮像素子駆動パルス発生器8をカメラヘッド14に設け、他の構成ブロックをカメラコントロールユニット15内に設けてもよい。更にこのシステムは図3(b)のように、全ての構成ブロックを一体構造のカメラ16内に設けることもできる。
【0015】
次に図2に示すシステムの動作を説明する。スコープ11をアダプタ12を介してカメラヘッド14に取り付けた状態で、スコープ先端から光を入射し、表示画面に円状画像を表示する。図4(a)は表示部の表示画面10に表示された円状画像10aを示す。Hは表示画面10の水平方向サイズ、Vは垂直方向サイズである。図4(a)の場合、円状画像10aの中心が表示画面10の中心に対して右下にずれている。
【0016】
先ずアドレス検出動作について説明する。アドレス検出部1は撮像素子移動駆動パルス発生器8から入力される水平及び垂直同期信号HD’、VD’、及び撮像素子3の出力画素クロックを基に、撮像素子3から供給される各出力信号(画素信号)の表示画面におけるアドレスを生成する。アドレス検出部1は又、撮像素子3の出力信号振幅とスレッシュ値THとを比較し、被写体画像信号(円状画像10a)とそれ以外の信号との境界位置を検出する。更にアドレス検出部1は、図4(a)のように振幅がTHを超える信号の水平方向最小アドレスHMIN,最大アドレスHMAX、及び垂直方向の最小アドレスVMIN,最大アドレスVMAXを検出する。
【0017】
次にシフト量算出動作について説明する。シフト量算出部2は円状画像10aの水平方向シフト量ΔtH及び垂直方向シフト量ΔtVを以下のように求める。前述したようにHは水平方向画像サイズ、Vは垂直方向画像サイズである。
【0018】
ΔtH : (H/2)−(HMAX+HMIN)/2
ΔtV : (V/2)−(VMAX+VMIN)/2
水平方向シフト量ΔtHは、例えば”(H/2)−(HMAX+HMIN)/2”に撮像素子3の出力画素クロックの周期を乗じた時間である。又、垂直方向シフト量ΔtHは、例えば”(V/2)−(VMAX+VMIN)/2”に水平同期信号HD’の周期を乗じた時間である。
【0019】
次に位相シフト動作について説明する。シフト回路5は、同期信号パルス発生器7から出力される水平同期信号HD、垂直同期信号VDを、前述の水平方向及び垂直方向シフト量(ΔtH、ΔtV)分位相を変化させ、水平同期信号HD’、垂直同期信号VD’を発生し、撮像素子駆動パルス発生器8に出力する。撮像素子駆動パルス発生器8は、この水平及び垂直同期信号HD’、VD’に同期した撮像素子駆動パルスを発生し、撮像素子3を駆動する。
【0020】
同期信号パルス発生器7は、NTSC方式やPAL方式等の同期信号SYNCを同期信号付加部6に出力する。同期信号付加部6は同期信号SYNCを撮像素子3から得られる映像信号に付加する。これにより、撮像素子3の出力信号と映像出力信号の位相はΔtH、ΔtVだけずれる。尚、撮像素子3の出力信号にはブランキング部分にノイズがあるため、撮像素子出力のブランキング部分を黒レベルと同レベルに置換する。
【0021】
図5は未処理の映像信号波形及び本発明により処理された映像信号波形を示す。図5(a)は本発明の位相シフト処理が施されなかった場合の撮像素子3の出力信号波形であって、円状画像10aを含む映像信号にブランキング部のノイズNBが重畳している。tDは映像表示期間である。従って、ブランキング部のノイズNBは画面には現れない。
【0022】
しかし上記位相シフト処理を施すと、図5(b)のように位相がシフトし、ブランキング部のノイズNBが表示期間tDの中に含まれるようになり、ノイズNBが表示されてしまう。従ってブランキングノイズマスク回路4は、このノイズNBを図5(c)に示すように除去する。図5(d)は映像出力信号を示し、ノイズ除去された映像信号にNTSCやPAL方式での同期信号(この例では水平同期信号HS)が、同期信号付加部6により付加されている。
【0023】
以上の結果、図4(a)のように中心が表示画面10の中心に対してずれている円状画像10aは、図4(b)のように所望の位置である表示画面10の中心近傍にシフトされ、ノイズのない映像が表示される。
【0024】
このように本発明によれば、スコープ11とカメラヘッド14との結合部に高精度部品を使用する必要がないのでコストが削減でき、無調整でスコープとカメラ本体を結合できるので製造性を向上することができる。又、スコープ11、アダプター12を交換したとき、スコープ、アダプターの寸法誤差等のバラツキを吸収できる。又、画像拡大機能を有し、表示画面の中心を拡大の中心として拡大する内視鏡の場合、被写体画像が表示画面中心からずれていると、画像を拡大したとき被写体画像のずれは更に拡大する。例えば観察対象(例えば患部)の画像が被写体画像中心にあるが、被写体画像中心が表示画面中心からずれている場合、画像を3倍にすると、観察対象画像のずれも3倍となり、観察対象画像が表示画面に収まらなくなる場合がある。しかし本発明によれば、このような拡大を行った場合でも、被写体画像のずれの影響はない。
【0025】
次に本発明によるオートセンタリング機能を実施するシステムの第2の実施形態を説明する。この実施形態では、表示画面10に表示される円状画像10aの位相シフトがメモリを用いて行なわれる。
【0026】
図6は本実施形態に係るシステムの構成を示すブロック図である。撮像素子駆動パルス発生器8は同期信号パルス発生器7から出力される水平同期信号HD、垂直同期信号VDを基に撮像素子駆動パルスを発生し、撮像素子3を駆動する。撮像素子3は撮像素子の受光面に結像した画像に対応するアナログ映像信号を出力する。A/Dコンバータ16は撮像素子3から出力されたアナログ映像信号をA/D変換し、デジタル映像信号を出力する。このデジタル映像信号はメモリ17に制御部(図示せず)の制御の下に記録される。
【0027】
アドレス検出部1は第1の実施形態と同様に、撮像素子3からの映像信号の振幅値とスレッシュ値THとを比較し、円状画像10aの水平方向最小アドレスHMIN,最大アドレスHMAX、及び垂直方向の最小アドレスVMIN,最大アドレスVMAXを取得する。
【0028】
読出し位置算出部18は、前述のシフト量算出部2のように円状画像10aの水平及び垂直方向アドレスシフト量ΔaH、ΔaVを以下のように算出する。
【0029】
ΔaH=(H/2)−(HMAX+HMIN)/2
ΔaV=(V/2)−(VMAX+VMIN)/2
更に読出し位置算出部18は、メモリ17に書き込まれた1画面分の映像データを、水平及び垂直方向アドレスシフト量ΔaH、ΔaVだけ、読出しアドレスをシフトしてメモリ17から読み出す。メモリ17から読出された映像データはD/Aコンバータ19によりD/A変換され、同期信号付加部6により同期信号SYNCが付加される。これにより、映像出力の位相は、このような読出し位置補正を行わない場合に比べΔaH、ΔaVだけずれる。
【0030】
読出し開始タイミングをずらすことにより、映像データが書き込まれれていない領域のデータが、映像データとして出力されてしまう。従ってそのような領域のデータは、黒レベルと同レベルの固定値に置換してメモリより出力される。
【0031】
同期信号付加部6はメモリ17から入力される映像信号に同期信号SYNCを付加し、映像出力信号として提供する。
【0032】
【発明の効果】
以上説明したように本発明によれば、スコープとカメラ本体との結合部に高精度部品を使用する必要がないのでコストが削減でき、無調整でスコープとカメラ本体を結合できるので製造性を向上することができる。又、複数のスコープを取り替えて使用する場合のばらつきを吸収することができる。
【図面の簡単な説明】
【図1】本発明が適用される内視鏡の構成を示す図。
【図2】図1に示す内視鏡の信号処理システムの構成を示すブロック図。
【図3】図2に示す信号処理システムの具体的構成を示すブロック図。
【図4】表示画面に表示された円状画像10aを示す図。
【図5】未処理の映像信号波形及び本発明により処理された映像信号波形を示す。
【図6】第2の実施形態に係るシステムの構成を示すブロック図。
【図7】内視鏡の概略構成を示す図。
【符号の説明】
1…アドレス検出部、2…シフト量検出部、3…撮像素子、4…ブランキングノイズマスク回路、5…シフト回路、6…同期信号付加部、7…同期信号パルス発生器、8…撮像素子駆動パルス発生器、9…ケーブル、10…表示画面、11…スコープ、12…アダプタ、13…プリズム、14…カメラヘッド、15…カメラコントロールユニット。
Claims (3)
- 撮像素子を使用し、該撮像素子の受光面に被写体像を結像し該被写体像に対応する映像出力信号を提供する撮像装置において、
被写体を撮像し被写体画像信号を含む撮像素子出力信号を出力する撮像素子と、
前記撮像素子出力信号のレベルの差異を利用して前記被写体画像信号とそれ以外の信号との境界位置のアドレスを検出する境界検出手段と、
前記境界検出手段により検出された前記境界位置のアドレスに基づいて、前記被写体像が表示画面の所望の位置に表示されるために必要なシフト量を算出するシフト量算出手段と、
前記映像出力信号の同期信号を発生する同期信号発生手段と、
前記同期信号発生手段から発生される水平及び垂直同期信号の位相を、前記シフト量算出手段により算出された前記シフト量に応じてシフトする同期信号シフト手段と、
前記同期信号シフト手段によりシフトされた水平及び垂直同期信号に基づいて、前記撮像素子の駆動パルスを発生し、前記撮像素子を駆動する駆動パルス発生手段と、
前記撮像素子から提供される前記撮像素子出力に、前記同期信号発生手段により発生される同期信号を付加し、前記映像出力信号として提供する同期信号付加手段と、
を具備することを特徴とする撮像装置。 - 前記シフト量算出手段は、水平方向シフト量ΔtH及び垂直方向シフト量ΔtVを次式、
ΔtH : (H/2)−(HMAX+HMIN)/2
ΔtV : (V/2)−(VMAX+VMIN)/2
H:水平方向画像サイズ
V:垂直方向画像サイズ
HMIN:水平方向の最小アドレス
HMAX:水平方向の最大アドレス
VMIN:垂直方向の最小アドレス
VMAX:垂直方向の最大アドレス
により求めることを特徴とする請求項1記載の撮像装置。 - 前記撮像素子出力信号のブランキング部のノイズをマスクする手段を更に具備することを特徴とする請求項1記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001157489A JP4309605B2 (ja) | 2001-05-25 | 2001-05-25 | オートセンタリング機能を有する撮像装置 |
US09/945,660 US6933977B2 (en) | 2001-05-25 | 2001-09-05 | Image pickup apparatus having auto-centering function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001157489A JP4309605B2 (ja) | 2001-05-25 | 2001-05-25 | オートセンタリング機能を有する撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002354349A JP2002354349A (ja) | 2002-12-06 |
JP4309605B2 true JP4309605B2 (ja) | 2009-08-05 |
Family
ID=19001342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001157489A Expired - Fee Related JP4309605B2 (ja) | 2001-05-25 | 2001-05-25 | オートセンタリング機能を有する撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6933977B2 (ja) |
JP (1) | JP4309605B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015076293A1 (ja) * | 2013-11-21 | 2015-05-28 | オリンパス株式会社 | 内視鏡用画像生成装置及び内視鏡用画像生成方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10324371A1 (de) * | 2003-05-28 | 2004-12-23 | Siemens Ag | Verfahren zur Darstellung eines Grafikobjekts und Kommunikationsgerät |
JP4445799B2 (ja) * | 2004-05-24 | 2010-04-07 | オリンパス株式会社 | 被検体内導入装置および医療装置 |
US20070091183A1 (en) * | 2005-10-21 | 2007-04-26 | Ge Inspection Technologies, Lp | Method and apparatus for adapting the operation of a remote viewing device to correct optical misalignment |
US8373748B2 (en) * | 2005-12-14 | 2013-02-12 | Stryker Corporation | Automatic endoscope recognition and selection of image processing and display settings |
US20070265495A1 (en) * | 2005-12-15 | 2007-11-15 | Medivision, Inc. | Method and apparatus for field of view tracking |
US8594463B2 (en) * | 2011-05-06 | 2013-11-26 | Advan Int'l Corp. | Method and apparatus for processing image of medical monitor |
JP5959331B2 (ja) * | 2012-06-15 | 2016-08-02 | オリンパス株式会社 | 内視鏡装置 |
WO2015156176A1 (ja) * | 2014-04-08 | 2015-10-15 | オリンパス株式会社 | 内視鏡システム |
CN106455943B (zh) * | 2014-11-21 | 2018-12-04 | 奥林巴斯株式会社 | 摄像装置、图像处理装置、摄像装置的工作方法 |
JP6310598B2 (ja) * | 2017-04-28 | 2018-04-11 | 富士フイルム株式会社 | 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法 |
US20210127051A1 (en) * | 2019-10-28 | 2021-04-29 | Byton North America Corporation | Camera fusion and illumination for an in-cabin monitoring system of a vehicle |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5946030A (en) * | 1994-01-21 | 1999-08-31 | Texas Instruments Incorporated | Apparatus and method for electronic image centering |
US5836869A (en) * | 1994-12-13 | 1998-11-17 | Olympus Optical Co., Ltd. | Image tracking endoscope system |
JP2902966B2 (ja) * | 1994-12-16 | 1999-06-07 | 三洋電機株式会社 | 手振れ補正装置およびそれを用いたビデオカメラ |
JPH08279888A (ja) * | 1995-04-06 | 1996-10-22 | Canon Inc | 画像形成装置 |
JP4223596B2 (ja) * | 1998-09-16 | 2009-02-12 | Hoya株式会社 | 電子内視鏡システム |
JP4447080B2 (ja) | 1999-08-06 | 2010-04-07 | Hoya株式会社 | 内視鏡装置 |
US6670983B2 (en) * | 2000-02-07 | 2003-12-30 | Fuji Photo Optical Co., Ltd. | Electric mask generating apparatus of electronic endoscope |
-
2001
- 2001-05-25 JP JP2001157489A patent/JP4309605B2/ja not_active Expired - Fee Related
- 2001-09-05 US US09/945,660 patent/US6933977B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015076293A1 (ja) * | 2013-11-21 | 2015-05-28 | オリンパス株式会社 | 内視鏡用画像生成装置及び内視鏡用画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US6933977B2 (en) | 2005-08-23 |
JP2002354349A (ja) | 2002-12-06 |
US20040218060A1 (en) | 2004-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2848574B2 (ja) | 色ずれ補正装置 | |
JP4309605B2 (ja) | オートセンタリング機能を有する撮像装置 | |
JP3922890B2 (ja) | 電子内視鏡装置 | |
JP2888713B2 (ja) | 複眼撮像装置 | |
JP4646655B2 (ja) | 固体撮像装置及びその駆動方法並びに撮像システム | |
US6995786B2 (en) | Electronic endoscope forming still image by double-speed reading | |
JPS63155115A (ja) | 立体観察電子内視鏡 | |
US20160269640A1 (en) | Image reproducing apparatus, image reproducing method, and storage medium | |
JP2006162991A (ja) | 立体画像撮影装置 | |
JPH06292052A (ja) | 静止画像撮像装置 | |
JP4217493B2 (ja) | 画素シフトデジタルカメラの調整方法、画素シフトデジタルカメラシステム及び顕微鏡画素シフトデジタルカメラシステム | |
JP2010008855A (ja) | 撮像装置 | |
JP2000069353A (ja) | 手ぶれ検出装置および手ぶれ補正装置 | |
JP2021071516A (ja) | 撮像装置および撮像装置の制御方法 | |
JPH11155096A (ja) | 撮像装置、コンピュータ読み取り可能な記憶媒体及び画像処理装置 | |
JP2984281B2 (ja) | 電子カメラ | |
JP2008107480A (ja) | 合焦制御装置および撮像装置 | |
JP3302379B2 (ja) | 撮像装置 | |
JP3956284B2 (ja) | 撮像装置 | |
JP2007189602A (ja) | 撮像装置 | |
JPS6329874B2 (ja) | ||
JP4187486B2 (ja) | 電子内視鏡装置 | |
JPH0279685A (ja) | 撮像装置 | |
JP2004109708A (ja) | 撮像装置 | |
JPH03226075A (ja) | 電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4309605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |