JP4502666B2 - Videoscope of electronic endoscope device capable of brightness adjustment processing - Google Patents
Videoscope of electronic endoscope device capable of brightness adjustment processing Download PDFInfo
- Publication number
- JP4502666B2 JP4502666B2 JP2004057156A JP2004057156A JP4502666B2 JP 4502666 B2 JP4502666 B2 JP 4502666B2 JP 2004057156 A JP2004057156 A JP 2004057156A JP 2004057156 A JP2004057156 A JP 2004057156A JP 4502666 B2 JP4502666 B2 JP 4502666B2
- Authority
- JP
- Japan
- Prior art keywords
- brightness adjustment
- adjustment processing
- brightness
- processor
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、撮像素子を有するビデオスコープを備えた電子内視鏡装置に関し、特に、モニタに表示される被写体像の明るさを自動的に調整する明るさ調整処理に関する。 The present invention relates to an electronic endoscope apparatus including a video scope having an image sensor, and more particularly, to a brightness adjustment process for automatically adjusting the brightness of a subject image displayed on a monitor.
従来の電子内視鏡装置においては、表示される被写体像を適正な明るさで維持するため、絞り等を調整することにより被写体へ照射される照明光の光量を調整する調光機能がプロセッサ(あるいは光源装置)に備えられており、また、電子シャッタ動作を制御してCCDの電荷蓄積時間を調整する明るさ調整処理を行うこともできる。電子シャッタ動作可能なビデオスコープ(電子内視鏡)を電子シャッタ制御部を備えたプロセッサ(あるいは光源装置)に接続させた場合、電子シャッタ動作可能であるか否かを判別し、電子シャッタ動作を電子内視鏡装置全体で実行する(特許文献1参照)。
明るさ調整に関しては、測光方式(平均測光、ピーク測光など)や設定値(明るさレベルなど)を内視鏡操作の状況に応じて調整する必要がある。電子シャッタ制御部も備えることでプロセッサと関係なく単独で電子シャッタ動作による明るさ調整処理を実現可能なビデオスコープの場合においても、ユーザの設定操作に応じて細かな明るさ調整処理を行わなければならない。 Regarding brightness adjustment, it is necessary to adjust the photometric method (average photometry, peak photometry, etc.) and set values (brightness level, etc.) according to the status of the endoscope operation . Even in the case of a video scope that can implement brightness adjustment processing by electronic shutter operation independently of the processor by providing an electronic shutter control unit, fine brightness adjustment processing must be performed according to the user's setting operation. Don't be.
さらに、ビデオスコープが複数のプロセッサ(光源装置)に接続可能、あるいはプロセッサ(光源装置)が複数のビデオスコープに接続可能である場合、プロセッサ(光源装置)において設定された測光方式等がその接続されたビデオスコープの明るさ調整処理に適しない場合がある。 Further, when the video scope can be connected to a plurality of processors (light source devices), or when the processor (light source device) can be connected to a plurality of video scopes, the photometry method set in the processor (light source device) is connected. It may not be suitable for the brightness adjustment process of a video scope.
そこで本発明では、電子シャッタ機能による明るさ調整処理を単独で実現できるビデオスコープを使用する場合において、明るさ調整処理に関する内容を詳細に設定変更することが可能であり、さらに、使用状況に合わせた明るさ調整処理を選択可能な電子内視鏡装置のビデオスコープを提供することを課題とする。 Therefore, in the present invention, when using a video scope that can independently perform brightness adjustment processing by the electronic shutter function, it is possible to change the details of the brightness adjustment processing in detail, and further, according to the usage situation. Another object of the present invention is to provide a video scope of an electronic endoscope apparatus that can select brightness adjustment processing.
本発明のビデオスコープは、撮像素子を有し、光源装置あるいはプロセッサに接続されるビデオスコープであり、電子シャッタ機能により独自に(ビデオスコープ単独で)明るさ調整処理を実現できるビデオスコープである。本発明のビデオスコープは、明るさ調整処理手段と、メモリと、受信手段と、切替手段とを備える。 The video scope of the present invention is a video scope having an image pickup device and connected to a light source device or a processor, and is a video scope capable of realizing brightness adjustment processing independently (by the video scope alone) by an electronic shutter function. The video scope of the present invention includes brightness adjustment processing means, memory, receiving means, and switching means.
明るさ調整処理手段は、撮像素子から読み出される画像信号に基づく輝度信号に従い、表示される被写体像を適正な明るさで維持するように、撮像素子に対する電子シャッタ動作を制御した明るさ調整処理を実行する。メモリには、明るさ調整処理に関し、あらかじめビデオスコープの特性に従って定められる設定項目が格納される。設定項目として、例えば、ピーク測光、平均測光などの測光方式、明るさ調整処理において参照(基準)となる明るさレベルなどがある。あるいは、表示される被写体像を分割測光し、各領域に対して重み付けをして被写体象全体の明るさを検出する場合、ビデオスコープの特性などに応じた重み付け係数の値がある。ビデオスコープには、スコープの特性に従ってあらかじめメモリに記憶される。一方、プロセッサにおいては、これら設定項目はユーザにより設定変更可能である。 The brightness adjustment processing means performs brightness adjustment processing in which the electronic shutter operation for the image sensor is controlled so as to maintain a displayed subject image at an appropriate brightness according to a luminance signal based on an image signal read from the image sensor. Execute. The memory stores setting items determined in advance according to the characteristics of the video scope regarding the brightness adjustment processing. Examples of setting items include photometry methods such as peak photometry and average photometry, and a brightness level that serves as a reference (standard) in brightness adjustment processing. Alternatively, when the subject image to be displayed is divided and measured, and the brightness of the entire subject image is detected by weighting each region, there is a value of a weighting coefficient according to the characteristics of the video scope. The video scope is stored in advance in a memory according to the characteristics of the scope. On the other hand, in the processor, these setting items can be changed by the user.
受信手段は、明るさ調整処理に関し、光源装置およびプロセッサのいずれか一方から送信される設定項目をデータとして受信する。そして切替手段は、メモリにあらかじめ記憶された設定項目に基づく第1の明るさ調整処理の実行と、プロセッサおよび光源装置のいずれかにおいて設定された設定項目に基づく第2の明るさ調整処理の実行とを切り替える。すなわち、ビデオスコープそのものにセットされた内容による明るさ調整処理と、プロセッサ側でセットされ、またユーザにより設定変更される内容による明るさ調整処理とが選択的に切り替えられる。明るさ調整処理手段は、切替手段の切替に応じて、第1の明るさ調整処理および第2の明るさ調整処理のいずれか一方を実行する。 The receiving unit receives, as data, a setting item transmitted from either the light source device or the processor regarding the brightness adjustment processing. The switching unit executes the first brightness adjustment process based on the setting item stored in advance in the memory, and executes the second brightness adjustment process based on the setting item set in either the processor or the light source device. And switch. That is, the brightness adjustment processing based on the content set in the video scope itself and the brightness adjustment processing based on the content set and changed by the user on the processor side are selectively switched. The brightness adjustment processing means executes either one of the first brightness adjustment processing and the second brightness adjustment processing in accordance with switching of the switching means.
明るさ調整処理がビデオスコープあるいはプロセッサに基づいた処理として選択的に切替可能であることから、ビデオスコープに基づいた明るさ調整処理が接続されるプロセッサとの兼ね合いで内視鏡操作者の意図と異なる場合、あるいはプロセッサ側で設定変更された内容による明るさ調整処理が接続されたビデオスコープに適さない場合、状況に適した明るさ調整処理が選択可能になる。 Since the brightness adjustment process can be selectively switched as a process based on the video scope or the processor, the intention of the endoscope operator is balanced with the processor to which the brightness adjustment process based on the video scope is connected. If they are different , or if the brightness adjustment processing based on the contents of the setting change on the processor side is not suitable for the connected video scope, the brightness adjustment processing suitable for the situation can be selected.
このような切替はプロセッサ側において行われるのが好ましい。そのため、受信手段は、プロセッサおよび光源装置のいずれか一方から送られてくる第1、第2の明るさ調整処理の切替データを受信し、切替手段が、受信した切替データに基づいて切り替えるのがよい。プロセッサ側のオペレータによる操作(キーボードやスイッチなどの操作)に従って臨機応援に切替を行うのがよい。すなわち、切替手段は、光源装置およびプロセッサのいずれかに設けられ、第1の明るさ調整処理と第2の明るさ調整処理とを切り替えるために操作される切替操作手段に対する操作に応じて切り替えるのが好ましい。 Such switching is preferably performed on the processor side. Therefore, the receiving means receives the switching data of the first and second brightness adjustment processes sent from either the processor or the light source device, and the switching means switches based on the received switching data. Good. It is preferable to switch to the occasional support according to the operation (operation of the keyboard, switch, etc.) by the operator on the processor side. That is, the switching unit is provided in either the light source device or the processor, and switches according to an operation on the switching operation unit that is operated to switch between the first brightness adjustment process and the second brightness adjustment process. Is preferred.
本発明のプログラムは、撮像素子を有し、光源装置およびプロセッサのいずれかに接続されるビデオスコープの明るさ調整処理に関するプログラムであって、撮像素子から読み出される画像信号に基づく輝度信号に従い、表示される被写体像を適正な明るさで維持するように、撮像素子に対する電子シャッタ動作を制御した明るさ調整処理を実行する明るさ調整処理手段と、明るさ調整処理に関し、あらかじめビデオスコープの特性に従って定められる設定項目をメモリから読み出す読み出し手段と、明るさ調整処理に関し、光源装置およびプロセッサのいずれか一方から送信されるとともに、ユーザにより設定変更可能な設定項目をデータとして受信する受信手段と、メモリにあらかじめ記憶された設定項目に基づく第1の明るさ調整処理の実行と、プロセッサおよび光源装置のいずれかにおいて設定された設定項目に基づく第2の明るさ調整処理の実行とを切り替える切替手段とを機能させ、切替手段の切替に応じて第1の明るさ調整処理および第2の明るさ調整処理のいずれかを実行するように、明るさ調整処理手段を機能させることを特徴とする。 The program of the present invention is a program related to the brightness adjustment processing of a video scope that has an image sensor and is connected to either the light source device or the processor, and displays according to a luminance signal based on an image signal read from the image sensor Brightness adjustment processing means for performing brightness adjustment processing for controlling the electronic shutter operation on the image sensor so as to maintain a subject image to be captured with appropriate brightness, and brightness adjustment processing according to the characteristics of the video scope in advance Reading means for reading set items to be determined from memory, receiving means for receiving brightness setting processing, and receiving means for receiving setting items that can be set and changed by the user as data, from the light source device and the processor, and memory First brightness adjustment processing based on setting items stored in advance The switching means for switching between execution and execution of the second brightness adjustment processing based on the setting item set in either the processor or the light source device functions, and the first brightness adjustment is performed according to switching of the switching means. The brightness adjustment processing means is caused to function so as to execute either the processing or the second brightness adjustment processing.
本発明によれば、電子シャッタ機能による明るさ調整処理を単独で実現できるビデオスコープを使用する場合において、明るさ調整処理に関する内容を詳細に設定変更することが可能であり、さらに、使用状況に合わせた明るさ調整処理を選択することができる。 According to the present invention, when using a video scope that can independently implement brightness adjustment processing using the electronic shutter function, it is possible to change the details of the brightness adjustment processing in detail, and further to the usage situation. A combined brightness adjustment process can be selected.
以下、図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、第1の実施形態である電子内視鏡装置のブロック図である。 FIG. 1 is a block diagram of an electronic endoscope apparatus according to the first embodiment.
電子内視鏡装置は、CCD54を有するビデオスコープ50と、CCD54から読み出される画像信号を処理するプロセッサ10とを備え、被写体像を表示するモニタ32やキーボード34がプロセッサ10に接続される。ビデオスコープ50は、プロセッサ10に着脱自在に接続される。
The electronic endoscope apparatus includes a
ランプ点灯スイッチ(図示せず)が操作されてONになると、ランプ制御部11Aを含むランプ電源11から光源ランプ12へ電源が供給される。光源ランプ12から放射された光は、集光レンズ14を介してビデオスコープ50内に設けられたライトガイド51の入射端51Aに入射する。ライトガイド51は、光源ランプ12から放射される光をビデオスコープ50の先端側へ伝達する光ファイバー束であり、ライトガイド51を通った光は出射端51Bから出射し、拡散レンズである配光レンズ52を介して観察部位Sに光が照射される。
When a lamp lighting switch (not shown) is operated and turned on, power is supplied from the
観察部位Sにおいて反射した光は対物レンズ53を通り、これにより観察部位Sの被写体像がCCD54の受光面に形成される。本実施形態では、カラー撮像方式として単板同時式が適用されており、CCDの受光面上にはイエロー(Ye)、シアン(Cy)、マゼンタ(Mg)、グリーン(G)の色要素が市松状に並べられた補色カラーフィルタ(図示せず)が受光面の各画素に対応するよう配置されている。CCD54では、補色カラーフィルタを通る色に応じた被写体像の画像信号が光電変換により発生し、所定時間間隔ごとに1フレームもしくは1フィールド分の画像信号が、色差線順次方式に従って順次読み出される。カラーテレビジョン方式として例えばNTSC方式が適用されており、1/30秒間隔ごとに1フレーム(1/60秒間隔ごとに1フィールド)分の画像信号が順次読み出され、ゲイン調整用のAGC(Auto Gain Control、ここでは図示せず)を介して信号処理回路55へ送られる。
The light reflected at the observation site S passes through the
IC(集積回路)によって構成される信号処理回路55には、増幅処理を行うための初期プロセス回路、輝度信号と色信号に分離するための信号分離処理回路、R、G、Bの原色信号を生成するR、G、Bマトリクス回路、ホワイトバランス調整回路、ガンマ補正回路、画像輪郭の強調を行う画像輪郭強調回路、輝度信号、色差信号を生成するためのカラーマトリクス回路など様々な回路が設けられている(いずれも図示せず)。信号処理回路55に入力された画像信号に対してこれらの回路で様々な処理が施されることにより映像信号が生成され、プロセッサ10に送られる。また、CCD54を駆動するための駆動信号を所定のタイミングで出力するCCD駆動回路(図示せず)が設けられている。
The
プロセッサ信号処理回路28では、信号処理回路55から送られてくる映像信号に対して所定の処理が施される。処理された映像信号は、NTSCコンポジット信号、Y/C分離信号(Sビデオ信号)、RGB分離信号などのビデオ信号としてモニタ32へ出力され、これにより被写体像がモニタ32に映し出される。
In the processor
プロセッサCPU24を含むシステムコントロール回路22はプロセッサ10全体を制御し、調光回路23、ランプ電源11のランプ制御部11A、プロセッサ信号処理回路28などの各回路に制御信号を出力する。タイミングコントロール回路30では、信号の処理タイミングを調整するクロックパルスがプロセッサ10内の各回路に出力され、また、ビデオ信号に付随される同期信号がプロセッサ信号処理回路28に送られる。ROM25にはプロセッサの機種に関するデータが記憶されており、RAM26には、ビデオスコープ50から送られてくるデータが記憶される。
A system control circuit 22 including a
ビデオスコープ50内には、ビデオスコープ50全体を制御するスコープ制御部56、データ書き換え可能なEEPROM57が設けられており、スコープ制御に関するプログラムがスコープ制御部56内のROM58に記憶されている。スコープ制御部56はEEPROM57からスコープ特性に関するデータ等を読み出すとともに、信号処理回路55を制御する。ビデオスコープ50がプロセッサ10に接続されると、スコープ制御部56とシステムコントロール回路22との間で適時データが送受信され、必要に応じてスコープ制御部56からシステムコントロール回路22へ、あるいはシステムコントロール回路22からスコープ制御部56へデータが送信される。後述するように、EEPROM57には、明るさ調整処理に関するデータが記憶されており、ビデオスコープの特性に基づいて定められたデータが格納されている。
In the
ビデオスコープ50では、電子シャッタ動作を利用して被写体像の明るさ調整処理を実行することが可能であり、信号処理回路55において被写体像の明るさを示す輝度信号が画像信号に基づいて生成され、スコープ制御部56へ送られる。そして、検出された被写体像全体の明るさに基づいて電子シャッタ速度等を制御するため、スコープ制御部56から信号処理回路55へ制御信号が送られる。この制御信号に基づき、CCD54における電荷蓄積時間を調整する駆動信号が信号処理回路55からCCD54へ出力される。
In the
ライトガイド51の入射端51Aと集光レンズ14との間には被写体Sに照射される光の光量を調整するための絞り16が設けられており、モータ18の駆動によって開閉する。図1に示すプロセッサ10では、調光回路23によって絞り16を通過する光、すなわち被写体Sへ照射される光の光量調整が実行可能であり、電子シャッタ機能を備えていないビデオスコープが接続された場合など一定の条件においてプロセッサ10による自動調光処理が実行される。この場合、信号処理回路55から出力される輝度信号が順次調光回路23へ入力され、この輝度信号に基いて調光回路23からモータドライバ20へ制御信号が送られ、絞り16が所定量だけ開閉するように、モータ18がモータドライバ20によって駆動される。ただし、ここでは、プロセッサによる調光動作は行われない。
A
フロントパネル96には、明るさ調整処理において基準となる(参照される)明るさレベルを設定するための明るさレベル設定スイッチ96A、平均測光/ピーク測光を選択的に設定するための測光設定スイッチ96Bなどを含む一連のパネルスイッチPSが設けられている。また、被写体像の分割領域(後述)それぞれに対し定められる重み付け係数の値がキーボード34の操作によって設定可能である。一方、ビデオスコープ50には、VTRスイッチ、フリーズスイッチ、コピースイッチ(いずれも図示せず)が設けられており、必要に応じて操作される。
The
また、後述するように、ビデオスコープ50にあらかじめ記憶されていた内容で明るさ調整処理を行う明るさ調整処理方式(以下では、第1の明るさ調整処理という)と、プロセッサ10において術者により設定された内容で明るさ調整処理を行う明るさ調整処理方式(以下では、第2の明るさ調整処理という)とを切り替えるための操作がキーボード34を使って行われる。オペレータにより切替操作が行われると、システムコントロール回路22が切替操作を検知し、ビデオスコープ50へ切替信号を送信する。
In addition, as will be described later, a brightness adjustment processing method (hereinafter referred to as a first brightness adjustment process) for performing brightness adjustment processing with contents stored in advance in the
図2は、スコープ制御部56によって実行されるスコープの制御処理を示した図である。プロセッサ10からの電源供給によりビデオスコープ50の電源がON状態になると、実行開始される。
FIG. 2 is a diagram showing a scope control process executed by the
ステップS101では、CCD54や信号処理回路55などが初期設定され、信号処理回路55内のレジスタに対するデータ設定、各変数の設定等が行われる。ステップS102では、ビデオスコープ50に設けられたスイッチに関連する処理が実行される。ここでは、図示しないVTRスイッチ、フリーズスイッチ、コピースイッチに対する操作に応じた処理が実行され、操作に応じてビデオスコープ50からプロセッサ10へデータが送信される。
In step S101, the
ステップS103では、プロセッサ10に対する通信処理が実行され、プロセッサ10との間でデータが相互に送受信される。また、後述するように、明るさ調整に関するデータが設定される。ステップS104では、信号処理回路55の機能を制御するための制御信号がスコープ制御部56から信号処理回路55へ送信される。
In step S <b> 103, communication processing for the
ステップS105では、時刻カウントなど他の処理が実行される。そしてステップS106では、電子シャッタ機能を利用した明るさ調整処理が実行される。ステップS106が実行されると、ステップS102へ戻る。ビデオスコープ50の電源がOFF状態になるまでステップS102〜S106が繰り返し実行される。
In step S105, other processing such as time counting is executed. In step S106, brightness adjustment processing using the electronic shutter function is executed. When step S106 is executed, the process returns to step S102. Steps S102 to S106 are repeatedly executed until the power of the
図3は、ステップS101のサブルーチン(初期設定処理)を示した図である。 FIG. 3 is a diagram showing a subroutine (initial setting process) of step S101.
ステップS201では、スコープ制御部56のレジスタの初期設定が実行され、ステップS202では、信号処理回路55等のレジスタの初期設定が実行される。そして、ステップS203では、各変数の初期設定が実行される。
In step S201, initial setting of registers of the
ステップS204では、明るさ調整処理方式選択変数“aea”の値が1であるか否かが判断される。明るさ調整処理方式選択変数“aea”に設定される値は、EEPROM57に記憶されており、先のステップS203で、EEPROM57から読み出されて、明るさ調整処理方式選択変数“aea”に設定される。明るさ調整処理方式選択変数“aea”=0と設定されていると、第1の明るさ調整処理が実行され、明るさ調整処理方式選択変数“aea”=1と設定されていると、第2の明るさ調整処理が実行される。
In step S204, it is determined whether or not the value of the brightness adjustment processing method selection variable “aea” is 1. The value set in the brightness adjustment processing method selection variable “aea” is stored in the
ステップS204において第2の明るさ調整処理が設定されている(aea=1)と判断された場合、ステップS205へ進み、明るさ調整処理に関するデータ送信を要求するコマンドデータが接続されているプロセッサへ送信される。ステップS206では、先のデータ送信要求に対応した、プロセッサから送信された明るさ調整処理に関するデータが受信される。受信データは、重み付け係数のデータ(計9バイト)、測光方式のデータ(1バイト)、明るさレベルのデータ(1バイト)の計11バイトである。ステップS207では、プロセッサ側において定められ、あるいは設定変更された明るさ調整処理に関する受信データが対応する各変数に設定される。ステップS207が実行されると、サブルーチンは終了する。 If it is determined in step S204 that the second brightness adjustment process is set (aea = 1), the process proceeds to step S205, to the processor to which command data for requesting data transmission regarding the brightness adjustment process is connected. Sent. In step S206, data relating to the brightness adjustment processing transmitted from the processor corresponding to the previous data transmission request is received. The received data is 11 bytes in total, including weighting coefficient data (9 bytes in total), photometric data (1 byte), and brightness level data (1 byte). In step S207, the received data related to the brightness adjustment processing determined or changed in setting on the processor side is set in each corresponding variable. When step S207 is executed, the subroutine ends.
一方、ステップS204において第1の明るさ調整処理が設定されている(aea=0)と判断された場合、ステップS208へ進み、あらかじめEEPROM57に記憶されていた明るさ調整処理に関する設定項目のデータが読み出される。そして、ステップS209では、読み出された設定項目が設定される。ステップS209が実行されると、サブルーチンは終了する。
On the other hand, if it is determined in step S204 that the first brightness adjustment process is set (aea = 0), the process proceeds to step S208, and the setting item data related to the brightness adjustment process stored in advance in the
図4は、図2のステップS103のサブルーチン(プロセッサとの通信処理)である。 FIG. 4 is a subroutine (communication processing with a processor) of step S103 of FIG.
ステップS301では、接続されているプロセッサから送信されたデータを受信したか否かが判断される。プロセッサからのデータを受信していないと判断されると、このままサブルーチンは終了する。一方、プロセッサからのデータを受信したと判断された場合、ステップS302へ進む。 In step S301, it is determined whether data transmitted from the connected processor has been received. If it is determined that data from the processor is not received, the subroutine ends as it is. On the other hand, if it is determined that the data from the processor has been received, the process proceeds to step S302.
ステップS302では、プロセッサから送られてきたデータが明るさ調整処理に関する切替データであるか否かが判断される。切替データであると判断された場合、ステップS303へ進み、明るさ調整処理選択変数“aea”の値が0から1、あるいは1から0へ切り替えられる。すなわち、EEPROM57に記憶されたデータに基づく第1の明るさ調整処理からプロセッサ側で設定されたデータに基づく第2の明るさ調整処理、あるいは第2の明るさ調整処理から第1の明るさ調整処理へ切り替えられる。そして、切り替え後の明るさ調整処理選択変数“aea”の値がEEPROM57に記憶される。一方、切替データではないと判断された場合、ステップS304へ進む。
In step S302, it is determined whether or not the data sent from the processor is switching data related to brightness adjustment processing. If it is determined that the data is switching data, the process proceeds to step S303, and the value of the brightness adjustment process selection variable “aea” is switched from 0 to 1, or from 1 to 0. That is, from the first brightness adjustment process based on the data stored in the
ステップS304では、プロセッサから送られてきたデータが明るさ調整処理に関するデータであるか否かが判断される。明るさ調整処理に関するデータの場合、データの第1のバイト(16進表記)が“a1h”、“a2h”、“a3h”のいずれかで表される。データが明るさ調整処理に関するデータではないと判断されると、ステップS305へ進み、そのデータに応じた処理が施される。一方、データが明るさ調整処理に関するデータであると判断された場合、ステップS306へ進む。 In step S304, it is determined whether the data sent from the processor is data relating to brightness adjustment processing. For data relating to Is adjustment process Ru Ming, first byte of data (hexadecimal notation) is "a1h", "a2h", represented by any one of "A3H". If it is determined that the data is not data related to brightness adjustment processing, the process proceeds to step S305, and processing according to the data is performed. On the other hand, if it is determined that the data is related to the brightness adjustment process, the process proceeds to step S306.
ステップS306では、EEPROM57に記憶されている明るさ調整処理選択変数“aea”の値が1に設定されているか、すなわち第2の明るさ調整処理が設定されているか否かが判断される。明るさ調整処理選択変数“aea”の値が1に設定されていると判断された場合、ステップS307へ進む。ステップS307では、後述する設定処理が実行される。一方、明るさ調整処理選択変数“aea”の値が1に設定されていない(aea=0)と判断された場合、サブルーチンは終了する。
In step S306, it is determined whether or not the value of the brightness adjustment process selection variable “aea” stored in the
図5は、図4のステップS307のサブルーチンを示した図である。また、図6は被写体像の分割領域を示した図であり、図7はEEPROM57のアドレスとその内容を示した図である。
FIG. 5 is a diagram showing a subroutine of step S307 in FIG. FIG. 6 is a diagram showing the divided areas of the subject image, and FIG. 7 is a diagram showing the addresses of the
明るさ調整処理に関するデータの場合、データの第1のバイト(16進表記)が“a1h”、“a2h”、“a3h”のいずれかで表されている。“a1h”は重み付け係数のデータであることを示し、“a2h”は測光方式のデータであることを示し、“a3h”は明るさレベルのデータであることを示す。ステップS401では、受信したデータの第1のバイト(16進表記)が“a1h”であるか、すなわち重み付け係数のデータであるか否かが判断される。本実施形態では、図6に示すように表示される被写体像EFは9つの領域A1〜A9に分割設定されており、各領域に対して重み付け係数が定められる。9つの重み付け係数それぞれの値は、0〜9のいずれかの整数値に定められている。 In the case of data relating to brightness adjustment processing, the first byte (hexadecimal notation) of the data is represented by one of “a1h”, “a2h”, and “a3h”. “A1h” indicates weighting coefficient data, “a2h” indicates photometric data, and “a3h” indicates brightness level data. In step S401, it is determined whether or not the first byte (hexadecimal notation) of the received data is “a1h”, that is, data of a weighting coefficient. In the present embodiment, the displayed subject image EF is divided into nine areas A1 to A9 as shown in FIG. 6, and a weighting coefficient is determined for each area. The value of each of the nine weighting factors is set to an integer value from 0 to 9.
ステップS401において第1のバイトが“a1h”であると判断された場合、ステップS402へ進み、受信データ(第2のバイト〜第10のバイト)に含まれる9つの重み付け係数の値が、重み付け係数変数“aew1〜aew9”それぞれに設定される(割り当てられる)。一方、ステップS401において第1のバイトが“a1h”ではないと判断された場合、ステップS403へ進む。 If it is determined in step S401 that the first byte is “a1h”, the process proceeds to step S402, and the values of the nine weighting factors included in the received data (second byte to tenth byte) are weighting factors. It is set (assigned) to each of the variables “aew1 to aew9”. On the other hand, if it is determined in step S401 that the first byte is not “a1h”, the process proceeds to step S403.
ステップS403では、受信したデータの第1のバイト(16進表記)が“a2h”であるか、すなわち測光方式のデータであるか否かが判断される。測光方式は、ここでは平均的明るさを示す輝度平均値を算出する平均測光と、被写体像全体に対する高輝度の割合に応じて測光するピーク測光のうちいずれか一方の方式が選択、設定される。 In step S403, it is determined whether or not the first byte (hexadecimal notation) of the received data is “a2h”, that is, whether it is photometric data. Here, either one of average metering for calculating an average brightness value indicating average brightness and peak metering for metering in accordance with the ratio of high brightness to the entire subject image is selected and set. .
ステップS403において第1のバイトが“a2h”であると判断された場合、ステップS404へ進み、受信データ(第2のバイト)に含まれる測光方式のデータ値が測光方式変数“ae2”に設定される。測光方式変数“ae2”は測光方式を表し、被写体像の平均的な明るさを検出する平均測光の場合には“0”、高輝度観察部位を考慮したピーク測光の場合には“1”に設定される。一方、ステップS403において第1のバイトが“a2h”ではないと判断された場合、ステップS405へ進む。 If it is determined in step S403 that the first byte is “a2h”, the process proceeds to step S404, and the photometric method data value included in the received data (second byte) is set in the photometric method variable “ae2”. The The photometry method variable “ae2” represents the photometry method, and is set to “0” in the case of the average photometry for detecting the average brightness of the subject image, and “1” in the case of the peak photometry in consideration of the high brightness observation region. Is set. On the other hand, if it is determined in step S403 that the first byte is not “a2h”, the process proceeds to step S405 .
ステップS405では、受信したデータの第1のバイト(16進表記)が“a3h”であるか、すなわち明るさレベルのデータか否かが判断される。明るさレベルは、明るさ調整処理において基準となる参照輝度値を定めるものであり、ユーザにより設定される明るさレベルに応じて参照輝度値が変わる。ここでは、明るさレベルデータは、1〜11(明るさレベル−5〜+5に対応)のいずれかの整数値に定められる。第1のバイトが“a3h”であると判断された場合、ステップS406へ進み、受信したデータ(第2のバイト)に含まれる明るさレベルデータの値が明るさレベル変数“aeb”に設定される。一方、ステップS405において第1のバイトが“a3h”ではないと判断された場合、サブルーチンは終了する。 In step S405, it is determined whether or not the first byte (hexadecimal notation) of the received data is “a3h”, that is, whether the data is of brightness level. The brightness level determines a reference brightness value that serves as a reference in brightness adjustment processing, and the reference brightness value changes according to the brightness level set by the user. Here, the brightness level data is set to an integer value of 1 to 11 (corresponding to brightness levels of -5 to +5). If it is determined that the first byte is “a3h”, the process proceeds to step S406, and the value of the brightness level data included in the received data (second byte) is set in the brightness level variable “aeb”. The On the other hand, if it is determined in step S405 that the first byte is not “a3h”, the subroutine ends.
図8は、図2のステップS106のサブルーチン(明るさ調整処理)を示した図である。 FIG. 8 is a diagram showing a subroutine (brightness adjustment processing) in step S106 of FIG.
ステップS501では、前回の明るさ調整処理から1フィールド分の走査時間(1/60秒)が経過しているか否かが判断される。図2のステップS102〜S106にわたる実行処理時間が1フィールド走査時間に比べて非常に短いため、1画面分の被写体像に応じた輝度データの得られる時間に合わせて明るさ調整処理が実行される。1フィールド分の走査時間が経過していないと判断されると、明るさ調整処理は行われないままサブルーチンが終了する。一方、1フィールド分の走査時間が経過していると判断された場合、ステップS502へ進む。 In step S501, it is determined whether or not the scanning time for one field (1/60 seconds) has elapsed since the previous brightness adjustment processing. Since the execution processing time in steps S102 to S106 in FIG. 2 is very short compared to the one-field scanning time, the brightness adjustment processing is executed in accordance with the time for obtaining luminance data corresponding to the subject image for one screen. . If it is determined that the scanning time for one field has not elapsed, the subroutine ends without performing the brightness adjustment processing. On the other hand, if it is determined that the scanning time for one field has elapsed, the process proceeds to step S502.
ステップ502では、図3のステップS207、S209、あるいはS406において設定された明るさレベルに基づいて、参照輝度値が“参照輝度変数“aer”の値として設定される。参照輝度値は以下の式で求められる。
aer=120+10*(aeb−6) ・・・・(1)
本実施形態では、被写体像を構成する各画素の輝度値は256段階の輝度レベルによって表され、0〜255の範囲にあるいずれかの整数となる。被写体像全体の基準の明るさを示す参照輝度値は、70〜170のいずれかの整数値に定められる。ステップS502が実行されると、ステップ503に進み、測光方式変数“ae2”の値が0であるか、すなわち平均測光が設定されているか否かが判断される。
In step 502, the reference luminance value is set as the value of the “reference luminance variable“ aer ”based on the brightness level set in step S207, S209, or S406 of FIG. Is required.
aer = 120 + 10 * (aeb-6) (1)
In this embodiment, the luminance value of each pixel constituting the subject image is represented by 256 levels of luminance levels, and is any integer in the range of 0-255. The reference luminance value indicating the standard brightness of the entire subject image is set to any integer value from 70 to 170. When step S502 is executed, the process proceeds to step 503, where it is determined whether the value of the photometric method variable “ae2” is 0, that is, whether average photometry is set.
ステップS503において測光方式変数“ae2”=0であると判断された場合、ステップS504へ進む。ステップS504では、輝度データが信号処理回路55から読み出され、スコープ制御部56へ送られる。図6に示すように被写体像EFは9分割されていることから、領域A1〜A9ごとに、各領域の平均的な輝度値をもつ輝度データが読み出される。
If it is determined in step S503 that the photometric method variable “ae2” = 0, the process proceeds to step S504. In step S 504, the luminance data is read from the
ステップS505では、被写体像全体の明るさを示す輝度平均値が輝度平均値変数“aeo”として以下の式により求められる。
aeo=Σ(rd(j)*aew(j))/Σaew(j)
(j=1〜9) ・・(2)
ただし、rd(j)はステップS504で求められる各領域の輝度データを示す。ステップS505が実行されると、ステップS506へ進む。
In step S505, a luminance average value indicating the brightness of the entire subject image is obtained as the luminance average value variable “aeo” by the following equation.
aeo = Σ (rd (j) * aew (j)) / Σaew (j)
(J = 1-9) ・ ・ (2)
Here, rd (j) represents the luminance data of each region obtained in step S504. When step S505 is executed, the process proceeds to step S506.
ステップS506では、輝度平均値変数“aeo”の値と参照輝度値“aer”の値とが比較される。ステップS507では、輝度平均値変数“aeo”の値と参照輝度値“aer”の値との比あるいは差に基づいて、電子シャッタ速度が計算される。参照輝度値の方が大きい場合には電子シャッタ速度を遅くし、参照輝度値の方が小さい場合には電子シャッタ速度を速くする。ステップS507が実行されると、ステップS511へ進み、算出された電子シャッタ速度が信号処理回路55のレジスタに設定され、これにより電子シャッタ速度が調整され、被写体像の明るさが調整される。ステップS511が実行されると、サブルーチンは終了する。
In step S506, the value of the luminance average value variable “aeo” is compared with the value of the reference luminance value “aer”. In step S507, the electronic shutter speed is calculated based on the ratio or difference between the value of the brightness average value variable “aeo” and the value of the reference brightness value “aer”. When the reference luminance value is larger, the electronic shutter speed is decreased, and when the reference luminance value is smaller, the electronic shutter speed is increased. When step S507 is executed, the process proceeds to step S511, where the calculated electronic shutter speed is set in the register of the
一方、ステップS503において平均測光ではない、すなわちピーク測光が設定されていると判断された場合、ステップS508へ進む。ステップS508では、被写体像の明るさピーク値が算出される。ここでは、被写体像全体で高輝度の画素が所定の割合を満たす場合にその閾値となる輝度値がピーク値として求められる。なお、ピーク測光では被写体像は分割設定されていない。ステップS509では、ステップS506と同様に、ピーク値と参照輝度値とが比較される。そして、ステップS510では、電子シャッタ速度が算出される。ステップS510が実行されると、ステップS511へ進み、電子シャッタ速度が調整され、被写体像の明るさが調整される。 On the other hand, if it is determined in step S503 that it is not average metering, that is, peak metering is set, the process proceeds to step S508. In step S508, the brightness peak value of the subject image is calculated. Here, when high-luminance pixels in the entire subject image satisfy a predetermined ratio, the luminance value serving as the threshold value is obtained as the peak value. Note that the subject image is not set to be divided in peak metering. In step S509, as in step S506, the peak value and the reference luminance value are compared. In step S510, the electronic shutter speed is calculated. When step S510 is executed, the process proceeds to step S511, the electronic shutter speed is adjusted, and the brightness of the subject image is adjusted.
以上のように本実施形態によれば、ビデオスコープ50単独で電子シャッタ動作を制御した明るさ調整処理が実行される(S501〜511)。また、ビデオスコープ50の特性に応じて明るさレベル、測光方式、重み付け係数の値などが記憶されている一方、オペレータのキーボード34の操作により、明るさレベル、測光方式、重み付け係数の値などが設定変更可能である。スコープ電源ON状態において第1の明るさ調整処理(ビデオスコープに記憶されたデータに基づく明るさ調整処理)が選択されている場合、EEPROM57からデータが読み出され、設定される(S209)。一方、第2の明るさ調整処理(プロセッサ側で設定された内容に基づく明るさ調整処理)が選択されている場合、プロセッサから送られてくるデータが設定される(S207)。オペレータによるキーボード操作により明るさ調整処理が切り替えられると(S302、S303)、第1から第2、あるいは第2から第1へ明るさ調整処理が切り替えられる。
As described above, according to the present embodiment, the brightness adjustment process in which the electronic shutter operation is controlled by the
重み付け係数、明るさレベル、測光方式以外の明るさ調整処理に関するデータを設定、変更できるように構成してもよい。 You may comprise so that the data regarding brightness adjustment processes other than a weighting coefficient, a brightness level, and a photometry method can be set and changed.
明るさ調整処理の切替については、スコープ側に切替スイッチを設けるように構成してもよい。 Regarding switching of the brightness adjustment processing, a selector switch may be provided on the scope side.
実施形態では、プロセッサは、光源部と信号処理部の両方を備え、光源部と信号処理部は一体的である。しかしながら、光源装置と信号処理装置とをそれぞれ独立させて設ける構成にしてもよい。 In the embodiment, the processor includes both the light source unit and the signal processing unit, and the light source unit and the signal processing unit are integrated. However, the light source device and the signal processing device may be provided separately from each other.
10 プロセッサ
50 ビデオスコープ
54 CCD(撮像素子)
56 スコープ制御部
57 EEPROM(メモリ)
10
56
Claims (6)
前記撮像素子から読み出される画像信号に基づく輝度信号に従い、表示される被写体像を適正な明るさで維持するように、前記撮像素子に対する電子シャッタ動作を制御した明るさ調整処理を実行する明るさ調整処理手段と、
明るさ調整処理に関し、あらかじめ前記ビデオスコープの特性に従って定められる設定項目を格納可能なメモリと、
明るさ調整処理に関し、前記光源装置およびプロセッサのいずれか一方から送信されるとともに、前記プロセッサおよび光源装置のいずれかにおいてユーザにより設定変更可能な設定項目をデータとして受信する受信手段と、
前記メモリにあらかじめ記憶された設定項目に基づく第1の明るさ調整処理の実行と、 前記受信手段において受信した設定項目に基づく第2の明るさ調整処理の実行とを切り替える切替手段とを備え、
前記受信手段が、前記プロセッサおよび光源装置のいずれか一方から送られてくる前記第1、第2の明るさ調整処理の切替データを受信し、
前記切替手段が、受信した切替データに基づいて明るさ調整処理の実行を切り替え、
前記明るさ調整処理手段が、前記切替手段の切替に応じて、第1の明るさ調整処理および第2の明るさ調整処理のいずれかを実行することを特徴とする電子内視鏡装置のビデオスコープ。 A video scope having an image sensor and connected to either a light source device or a processor,
Brightness adjustment for executing brightness adjustment processing for controlling the electronic shutter operation on the image sensor so as to maintain a displayed subject image at an appropriate brightness according to a luminance signal based on an image signal read from the image sensor Processing means;
Regarding brightness adjustment processing, a memory capable of storing setting items determined in advance according to the characteristics of the video scope;
Receiving means for receiving brightness setting processing , which is transmitted from one of the light source device and the processor and receives setting items that can be changed by the user as data in either the processor or the light source device ;
Switching means for switching between the execution of the first brightness adjustment processing based on the setting item stored in advance in the memory and the execution of the second brightness adjustment processing based on the setting item received by the receiving means ;
The receiving means receives the switching data of the first and second brightness adjustment processing sent from one of the processor and the light source device;
The switching means switches execution of brightness adjustment processing based on the received switching data,
The video of an electronic endoscope apparatus, wherein the brightness adjustment processing means executes either a first brightness adjustment process or a second brightness adjustment process according to switching of the switching means. scope.
前記設定項目が、各分割領域の重み付け係数の値であることを特徴とする請求項1に記載の電子内視鏡装置のビデオスコープ。 The brightness adjustment processing means performs weight adjustment processing by detecting the brightness of the entire subject image by weighting each divided region defined by dividing the subject image,
The videoscope of an electronic endoscope apparatus according to claim 1, wherein the setting item is a value of a weighting coefficient of each divided region.
前記撮像素子から読み出される画像信号に基づく輝度信号に従い、表示される被写体像を適正な明るさで維持するように、前記撮像素子に対する電子シャッタ動作を制御した明るさ調整処理を実行する明るさ調整処理手段と、
明るさ調整処理に関し、あらかじめ前記ビデオスコープの特性に従って定められる設定項目をメモリから読み出す読み出し手段と、
明るさ調整処理に関し、前記光源装置およびプロセッサのいずれか一方から送信されるとともに、前記プロセッサおよび光源装置のいずれかにおいてユーザにより設定変更可能な設定項目をデータとして受信する受信手段と、
前記メモリにあらかじめ記憶された設定項目に基づく第1の明るさ調整処理の実行と、 前記受信手段において受信した設定項目に基づく第2の明るさ調整処理の実行とを切り替える切替手段とを機能させ、
前記受信手段が、前記プロセッサおよび光源装置のいずれか一方から送られてくる前記第1、第2の明るさ調整処理の切替データを受信するように、前記受信手段を機能させ、
前記切替手段が、受信した切替データに基づいて明るさ調整処理の実行を切り替えるように、前記切替手段を機能させ、
前記切替手段の切替に応じて第1の明るさ調整処理および第2の明るさ調整処理のいずれかを実行するように、前記明るさ調整処理手段を機能させることを特徴とするプログラム。 A program related to brightness adjustment processing of a video scope having an image sensor and connected to either the light source device or the processor,
Brightness adjustment for executing brightness adjustment processing for controlling the electronic shutter operation on the image sensor so as to maintain a displayed subject image at an appropriate brightness according to a luminance signal based on an image signal read from the image sensor Processing means;
Regarding brightness adjustment processing, reading means for reading setting items determined in advance according to the characteristics of the videoscope from the memory,
Receiving means for receiving a setting item that is transmitted from one of the light source device and the processor and can be set and changed by the user in either the processor or the light source device, regarding brightness adjustment processing;
And switching means for switching between execution of the first brightness adjustment processing based on the setting item stored in advance in the memory and execution of the second brightness adjustment processing based on the setting item received by the receiving means. ,
The receiving means functions to receive the switching data of the first and second brightness adjustment processes sent from one of the processor and the light source device;
The switching unit functions the switching unit to switch execution of brightness adjustment processing based on the received switching data,
A program for causing the brightness adjustment processing means to function so as to execute either the first brightness adjustment processing or the second brightness adjustment processing in response to switching of the switching means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004057156A JP4502666B2 (en) | 2004-03-02 | 2004-03-02 | Videoscope of electronic endoscope device capable of brightness adjustment processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004057156A JP4502666B2 (en) | 2004-03-02 | 2004-03-02 | Videoscope of electronic endoscope device capable of brightness adjustment processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005245561A JP2005245561A (en) | 2005-09-15 |
JP4502666B2 true JP4502666B2 (en) | 2010-07-14 |
Family
ID=35026622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004057156A Expired - Fee Related JP4502666B2 (en) | 2004-03-02 | 2004-03-02 | Videoscope of electronic endoscope device capable of brightness adjustment processing |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4502666B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7501269B2 (en) | 2020-09-17 | 2024-06-18 | 株式会社Jvcケンウッド | Endoscope System |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05146401A (en) * | 1991-11-25 | 1993-06-15 | Fuji Photo Optical Co Ltd | Electronic endoscope device |
JP2002010975A (en) * | 2000-06-29 | 2002-01-15 | Fuji Photo Optical Co Ltd | Electronic endoscope device |
JP2002143087A (en) * | 2000-11-09 | 2002-05-21 | Fuji Photo Optical Co Ltd | Electronic endoscope device |
-
2004
- 2004-03-02 JP JP2004057156A patent/JP4502666B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05146401A (en) * | 1991-11-25 | 1993-06-15 | Fuji Photo Optical Co Ltd | Electronic endoscope device |
JP2002010975A (en) * | 2000-06-29 | 2002-01-15 | Fuji Photo Optical Co Ltd | Electronic endoscope device |
JP2002143087A (en) * | 2000-11-09 | 2002-05-21 | Fuji Photo Optical Co Ltd | Electronic endoscope device |
Also Published As
Publication number | Publication date |
---|---|
JP2005245561A (en) | 2005-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4338337B2 (en) | Electronic endoscope apparatus for performing color adjustment processing and video scope of electronic endoscope apparatus | |
US7029437B2 (en) | Electronic endoscope apparatus | |
JP4349856B2 (en) | Electronic endoscope device capable of automatic dimming | |
JP2003180631A (en) | Automatic light control device for endoscope and electronic endoscopic equipment | |
JP4801381B2 (en) | Electronic endoscope device | |
JP4786875B2 (en) | Videoscope of electronic endoscope device capable of brightness adjustment processing | |
JP4502666B2 (en) | Videoscope of electronic endoscope device capable of brightness adjustment processing | |
JP4459506B2 (en) | Automatic dimming device for endoscope and electronic endoscope device | |
JP2003250760A (en) | Automatic light regulator for endoscope and electronic endoscope unit | |
JP4475874B2 (en) | Processor for electronic endoscope device | |
JP4010816B2 (en) | Electronic endoscope device | |
JP4390536B2 (en) | Endoscope white balance adjustment device and electronic endoscope device | |
JP4575691B2 (en) | Video scope of electronic endoscope device with electronic shutter function | |
JP3940016B2 (en) | Electronic endoscope device capable of recording still images | |
JP4464083B2 (en) | Electronic endoscope device | |
JP4566703B2 (en) | Electronic endoscope device | |
JP4426220B2 (en) | Electronic endoscope device capable of split photometry | |
JP2005167465A (en) | Digital camera and imaging method of digital camera | |
JP2005270266A (en) | Electronic endoscope apparatus | |
JP4024632B2 (en) | Electronic endoscope device capable of recording still images | |
JP5856792B2 (en) | Endoscope device | |
JP4555056B2 (en) | Electronic endoscope device | |
JP2010279457A (en) | Electronic endoscope, electronic endoscopic system, and color adjusting method | |
JP2008060800A (en) | White balance controller and imaging apparatus | |
JP2005033332A (en) | White balance control unit and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070216 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100420 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |