JP5581122B2 - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP5581122B2
JP5581122B2 JP2010133252A JP2010133252A JP5581122B2 JP 5581122 B2 JP5581122 B2 JP 5581122B2 JP 2010133252 A JP2010133252 A JP 2010133252A JP 2010133252 A JP2010133252 A JP 2010133252A JP 5581122 B2 JP5581122 B2 JP 5581122B2
Authority
JP
Japan
Prior art keywords
image
setting value
related setting
observation
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010133252A
Other languages
English (en)
Other versions
JP2011255038A (ja
Inventor
亘人 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2010133252A priority Critical patent/JP5581122B2/ja
Publication of JP2011255038A publication Critical patent/JP2011255038A/ja
Application granted granted Critical
Publication of JP5581122B2 publication Critical patent/JP5581122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、スコープによって器官内壁などの被写体を撮像し、観察画像をモニタに表示する電子内視鏡装置に関し、特に、観察画像に対する画像処理の設定に関する。
電子内視鏡装置では、ビデオスコープによって得られる観察画像に対し、色合い調整、明るさ調整、輪郭強調などの画像処理を実行可能であり、検査対象器官の特性(色合い)、スコープの撮像特性、作業状況などに応じてオペレータが適宜その調整レベルを設定する。例えば、観察画像に対してコントラスト強調、輪郭強調を施すことができる(特許文献1参照)。
一方、電子内視鏡装置では、スコープの種類、プロセッサ動作環境に合わせてスコープ、プロセッサの動作特性をオペレータの嗜好に合わせることも可能であり、例えば、オペレータの好みに応じてスコープの入力操作方法、プロセッサ動作特性を個別に設定し、その設定情報を記憶する。新たに内視鏡検査を行うとき、過去に記憶されたオペレータの設定情報に基づいて内視鏡作業を行う(特許文献2参照)。
特開2003−260027号公報 特開2007−313132号公報
ある特定部位を観察する場合でも、血管太さなどの違いから、オペレータの色調整といった画像処理内容は患者ごとに異なる。また、患部の病状進行具合によってオペレータの調整内容が変わる。そのため、オペレータは、作業の度に、観察画像の色調整、明るさ調整といった一連の設定値の調整を1つ1つ順に設定する必要があり、作業負担となる。
本発明の電子内視鏡装置は、患者毎に適した画像処理を実行可能な電子内視鏡装置であり、ユーザの入力操作に従って設定された少なくとも1つの画像関連設定値に基づいて、観察画像に対する画像処理を実行する画像処理手段を備える。
ここでの画像関連設定値は、観察画像に対する画像処理(輪郭強調など)、あるいは観察画像の明るさ調整処理に関連した設定値(測光方式など)であり、患部の見え方、病状進行具合、スコープ特性、オペレータの嗜好などに基づいて設定、変更される値である。例えば、観察画像に対する(基準となる)明るさ、赤、青などの色調、画像表面などのトーン強調、血管輪郭強調などの色彩強調、ノイズ除去に関する設定値のうち1つあるいはいずれかを組み合わせた複数の設定値がある。
さらに本発明の電子内視鏡装置は、登録手段と、検索手段とを備える。登録手段は、設定された画像関連設定値を、被験者となっている患者に対応づけてメモリに記憶する。例えば、登録手段は、オペレータの登録操作に従い、画像関連設定値を患者ID情報などと対応付けしながら記憶する。同一患者に対して何度も診断が行われ、画像関連設定値の設定変更がある場合、登録手段は、画像関連設定値を新たな設定がある度に記録すればよい。
一方、検索手段は、被験者となる患者に応じた画像関連設定値を検索する。同じ患者に対して再度検診等する場合、検索手段は、オペレータの検索操作などに従い、過去に記憶(登録)された一連の画像関連設定値を検索する。そして、画像処理手段は、自動的に、あるいはユーザの入力操作などに従って、検索された画像関連設定値に基づく画像処理を実行することができる。すなわち、画像関連設定値の調整作業することなく、過去の画像関連設定値に基づいた観察画像をリアルタイムで表示可能となる。
このような登録、検索処理の構成に基づき、患者ごとの画像関連設定値の登録、検索が可能となる。同じ患者に対して同一部位を何度も検診する場合、オペレータは、過去に設定した色調、色合い、輪郭強調等に基づいて観察画像を再び表示させ、その患者に適した画質で診断することが可能となる。登録回数が複数ある場合、一連の画像関連設定値を一覧表示し、オペレータの選択操作に従って画像関連設定値を選択、設定することも可能である。
過去に記憶した画像設定値によって観察画像がどのように画像処理されるか事前に検討し、検討後にその画像設定値をリアルタイムの観察画像に反映させるのが望ましい。したがって、検索された画像関連設定値に基づいて画像処理された参考となる画像(ここでは、プレビュー画像という)を、観察画像とは別に表示する表示手段を設けるのがよい。ユーザは、事前にプレビュー画像を見て実際のリアルタイム観察画像に適切な色調整等を行うことが可能となる。
一連の画像関連設定値とそれに対応する一連のプレビュー画像とを対比させて同時表示するのが望ましく、また、および画像関連設定値の選択、決定などを合わせて実行可能にすることを考慮すれば、画像とボタンを画面表示できるタッチパネルを設けるのがよい。
画像関連設定値の登録(記録)が複数ある場合、画像処理手段は、検索された複数の画像関連設定値の中でユーザにより画像関連設定値が選択された後、リアルタイムの観察画像に対して画像処理を実行するのが望ましい。一連のプレビュー画像の中で色合いなどを比較しながら画像関連設定値を選択することが可能となる。
病変部の進行状態によって観察対象部分の形状、色調などが変化することを考慮すると、登録手段は、診断時の観察画像に基づくプレビュー画像を表示するのが望ましい。したがって、登録手段は、記憶する画像関連設定値が反映された観察画像を記憶し、表示手段が、記憶された観察画像をプレビュー画像として表示するのがよい。
画像関連設定値の登録回数が多くなると、患部の状態変化等によって、過去の観察画像で使用された画像関連設定値の使用優先順位が低くなる。したがって、登録手段は、画像関連設定値の登録回数が所定の上限に達している場合、最も古く記憶された画像関連設定値を消去し、記憶する画像関連設定値を順に更新していくのが望ましい。
このように本発明によれば、診断時に煩雑な作業することなく、被験者となっている患者に適切な観察画像を表示することができる。
本実施形態である電子内視鏡装置のブロック図である。 タッチパネル画面に表示される画像関連設定値の登録、検索、設定表示を示した図である。 表示制御回路において実行される登録処理を示したフローチャートである。 表示制御回路において実行される検索処理を示したフローチャートである。 表示制御回路において実行される設定値選択・実行処理のフローチャートである。
以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。
図1は、本実施形態である電子内視鏡装置のブロック図である。
電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ10と、プロセッサ30とを備え、ビデオスコープ10はプロセッサ30に着脱自在に接続される。ランプ32から放射された照明光は、ビデオスコープ10内に設けられたライトガイドを通じてスコープ先端部10Tから照射される。
被写体(観察対象)に反射した照明光は、スコープ先端部10に設けられた対物レンズ(図示せず)を通り、被写体像がCCD14の受光面に形成される。CCD14では、1フレーム/フィールド分の画像信号がCCD14から所定の時間間隔(例えば1/30、1/60秒間隔)で読み出され、前段信号処理回路12へ送られる。
CCD14には、Cy、Ye、G、Mgから成る色要素をモザイク配列させた補色フィルタが配設されており、画素混合読み出し方式に従って1フレーム/フィールド分の画像信号が順次読み出される。前段信号処理回路12では、画像信号に対してホワイトバランス処理、ガンマ補正処理などの信号処理が施される。これにより、R、G、Bの画像信号がプロセッサ30の映像信号処理回路36へ送られる。
映像信号処理回路36では、ユーザによって観察画像の色合い調整、輪郭強調などの画像処理設定が行われると、設定内容に応じた画像処理が画像信号に対して施される。フロントパネル46には、明るさレベルを調整する明るさボタン46A、青(R)、赤(B)の色味を調整する色調ボタン46B、患部のトーンを強調するエンハンスボタン46C、血管の輪郭部分強調などでコントラスト強調を行うコントラストボタン46D、ノイズ除去レベルを調整するノイズ除去ボタン46Eが設けられており、患者の特性、病変部の状態、スコープ特性などに基づき、オペレータの好みに合わせて各画像関連の設定値が調整される。
画像処理によって得られた映像信号は、モニタ20に出力される。これにより、観察画像がリアルタイムの動画像としてモニタ20に表示される。絞りを備えた光量調整機構34は、ライトガイドに入射する照明光の光量を調整し、被写体像の明るさが一定となるように絞りの開閉制御が所定時間間隔で行われる。フロントパネル46には、平均測光、ピーク測光などの測光方式を選択するボタン46Eが設けられている。
CPU、ROM等を含むシステムコントロール回路40は、プロセッサ30の動作を制御し、ランプ32、映像信号処理回路36等へ制御信号を出力する。補助記憶装置42には、患者リスト、観察画像データ等が一時的に保存され、USBなどの外部記憶装置50には患者情報として保存される。
プロセッサ30の側面にはタッチパネル44が設けられており、表示制御回路38が、タッチパネル44の画面表示を制御する。後述するように、画像に関連する設定値の登録、検索、選択等の処理が、タッチパネル操作を通じて行われる。
図2は、タッチパネル画面に表示される画像関連設定値の登録、検索、設定表示を示した図である。図2を用いて、画像関連設定値の登録、検索等について説明する。
本実施形態では、観察画像に関連した設定値を登録、検索、選択・決定を行う設定メニューをタッチパネル画面44Sに表示させることが可能である。オペレータは、図示しない初期メニューにおいて、患者IDなどをキーボード12で入力し、設定メニューを表示させる。そして、スイッチボタン相当の役割を果たす表示されたアイコンを押下することで、設定値の登録、検索、選択などを行う。
画像関連の設定値としては、明るさレベル(Bright.)、赤(R)、青(B)の色調レベル(Blue, Red)、色調強調のエンハンスレベル(Enh.)、血管輪郭強調などのコントラスト強調レベル(Contrast Enh.)、ノイズ除去レベル(Noise Reduction)が用意されている。明るさレベルは、観察画像の輝度レベルを5段階(1〜5)で表される。赤色、青色の強調レベルは、−5〜+5の11段階で表され、エンハンスは1〜3の3段階で表される。コントラスト強調、ノイズリダクションレベルは、Off、Low、Medium、Highの4段階で表される。
上述したように、フロントパネル46に設けられたボタン46A〜46Eをオペレータが操作することによって各設定値が設定変更され、観察画像の色調、明るさなどが調整される。オペレータは、画面44Sに表示される現在の設定値群のリストLIによって各設定値を確認する。オペレータが登録ボタン45Bを押下すると、患者IDに対応させながら複数の設定値が一括で登録される。検査、処置を行う度に登録することで、一連の画像関連設定値が登録順に蓄積されていく。
一方、内視鏡装置を使って診断を行うとき、今現在、あるいはこれから診察する患者IDを初期メニュー画面で入力した後、設定メニューで検索ボタン45Aを押すことによって、過去に登録された一連の設定値リストLSが表示される。ここでは、同一患者で登録された過去3回の一連の設定値が登録順で表示される。
さらに、検索ボタン45Aが押されると、過去三回登録されたそれぞれの設定値グループが反映された観察画像IM1、IM2、IM3が、静止画像としてサムネイル表示される(以下では、プレビュー画像という)。これらの画像は画像関連設定値を一括登録するときに記録された画像である。
オペレータは、過去登録された一連の設定値リストLS傍に配置されるラジオボタン45Dを選択的に押下することにより、いずれかの設定値グループを選択する。そして、オペレータが反映ボタン45Cを押下すると、選択された設定値グループに基づく画像処理された観察画像がモニタ20に表示される。これにより、フロントパネル46のボタンによって調整されていた画像関連設定値に基づき処理されていた観察画像は、過去に登録された画像関連設定値の組み合わせに従って処理される観察画像に切り替わる。
複数の患者に対して特定器官(胃など)の同じ部位を観察対象としたとき、血管の太さなどの違いから、患者によってその観察画像の色合い、コントラスト等は一致せず、オペレータの好むセッティングもそれに応じて患者ごとに調整される。また、病変部の進行程度によって画像の色合いが変化し、再度色調整する必要性が生じる患者と、病状進行がないことで色調整の必要のない患者が出てくる。
本実施形態では、患者毎に、画像に関連する複数の設定値を一括登録する。そして、再度同じ患者で同じ部位を診察する場合、オペレータが過去に登録した設定値リストを表示し、その設定値に基づいた過去の観察画像をプレビュー画像として同時に表示する。
図3は、表示制御回路において実行される登録処理を示したフローチャートである。登録ボタンが押されると、処理が開始される。
同一患者IDが存在しない、すなわち、はじめてその患者で画像関連設定値が登録される場合、患者ID情報と対応させながら設定値データが外部記憶装置50の新たなアドレス領域に記録される(S101、S102)。一方、患者IDが存在する場合、同一内容の設定値グループが存在するか否か判断される(S103)。
過去の登録された一連の画像関連設定値の中で各設定値がすべて同じグループが存在する場合、すでに同一処理内容が存在することを示すエラーメッセージを表示し、ブザー音を鳴らす(S104)。一方、今までにない設定値の組み合わせであると判断されると、登録可能回数の上限(ここでは、3回)に達しているか判断される(S105)。
上限に達している場合、最も登録日が古い設定値グループのデータを消去し、新たな設定値グループのデータをアドレス領域に上書きする(S106)。一方、上限に達していない場合、所定の記憶領域に設定値グループのデータが記憶される(S107)。
画像関連設定値が記憶されるとき、その設定値に基づいて画像処理された観察画像が静止画像データとして外部記憶装置50に記録される(S108)。このとき、患者IDと対応づけしながら画像データが記録される。
図4は、表示制御回路において実行される検索処理を示したフローチャートである。検索ボタンが押されると、処理が開始される。
オペレータによって入力された患者IDに従い、その患者の過去に登録した設定値グループを外部記憶装置50において検索する(S201)。登録データが存在しない場合、登録データが存在しないことを示すエラーメッセージが表示される(S202、S203)。
一方、登録データが存在する場合、図2に示す容易、過去に登録された一連の画像関連設定値がリスト表示される(S202、S204)。そして、リストと同時に、プレビュー画像がサムネイル表示される(S205)。
図5は、表示制御回路において実行される設定値選択・実行処理のフローチャートである。反映ボタンが押されると、処理が開始される。
検索の結果、登録件数が1件である場合、その検索された設定値グループに基づいて画像処理が実行される(S301、S304)。一方、2件以上検索された場合、ラジオボタン45Dによって1つの設定値グループが選択されているか判断し、選択されている場合にはその設定値グループに基づく画像処理がモニタ20に表示される観察画像に対して実行される(S302、S304)。一方、設定値グループが選択されていない場合、選択が必要であることを知らせるエラーメッセージが表示される(S305)。
以上のように本実施形態によれば、オペレータの操作によって設定された、観察画像に関連する複数の設定値(明るさレベル、赤、青色レベル、エンハンス、コントラスト強調、ノイズリダクション)が、その患者情報と対応付けて外部記憶装置50に一括記憶される。一方、同じ患者に対して新たな診断を行うとき、検索操作によって、過去の設定値リストとその設定値に基づくプレビュー画像が画面に表示される。
そして、一連(3つ)の画像関連設定値グループの中でオペレータが特定の画像関連設定値グループを選択すると、その選択された画像関連設定値の組み合わせによってモニタ20に表示される観察画像が画像処理される。
このようにある特定の患者に対し有効な(オペレータが好む)画像関連設定値の組み合わせを即座に選択、決定することが出来るため、診断の度に設定作業することなく、適切な色合い、明るさをもった観察画像を表示することができる。プロセッサに設けられたタッチパネルの操作によって画像関連設定値の登録、検索するため、観察画像表示の障害とならずに一連の操作を行うことができる。
また、画像関連設定値リストと同時にプレビュー画像を表示するため、実際に画像処理された過去の観察画像をオペレータが確認し、複数のプレビュー画像から最も好ましい設定値グループを選択することが可能となる。そして、プレビュー画像が過去の登録時に記録した観察画像であるため、患部の状態を踏まえた画像処理内容を確認することが可能となる。
さらに、選択された後にリアルタイム観察画像に対して画像処理を実行することにより、今現在ユーザが設定している画像関連設定値に基づく観察画像がリアルタイムで表示される。これによって、オペレータは過去の観察画像と今現在調整中の観察画像とを比較することができる。
また、画像関連設定値リストが過去3回の登録分までしか表示されず、登録時の最も古い画像関連設定値グループが順に消去されていく。これによって、最新の患部の状態にできるだけ適合した画像関連設定値を選択することが可能となる。
本実施形態では、画像関連設定値の調整をフロントパネルボタンによって行っているが、タッチパネル画面上で操作するように構成してもよく、キーボードなど他の入力機器を使って操作するようにしてもよい。
また、同一患者に対して複数の観察対象器官(例えば、胃、大腸など)がある場合、観察対象ごとに画像関連設定値の登録リストを作成してもよい。あるいは、ビデオスコープの種類(上部消化管用、下部消化管用など)に応じて画像関連設定値の登録リストを作成してもよい。
画像関連設定値として、上述した設定値以外のパラメータを含めることも可能であり、測光方式(ピーク測光、平均測光)などの種類を設定値として組み入れることも可能である。
10 ビデオスコープ
30 プロセッサ
38 表示制御回路
40 システムコントロール回路
44 タッチパネル
50 外部記憶装置

Claims (3)

  1. ユーザの入力操作に従って設定された少なくとも1つの画像関連設定値に基づいて、リアルタイムの動画像であってモニタに表示される観察画像に対する画像処理を実行する画像処理手段と、
    設定された画像関連設定値を、被験者となっている患者に対応づけてメモリに記憶する登録手段と、
    被験者となる患者に応じた画像関連設定値を検索する検索手段と、
    タッチパネルを有し、検索された画像関連設定値に基づいて画像処理されたプレビュー画像を、観察画像が表示される前記モニタの画面とは別のタッチパネル画面に表示する表示手段とを備え、
    前記登録手段が、記憶する画像関連設定値とともに、記憶する画像関連設定値が反映された観察画像を静止画像データとして記憶し、
    前記表示手段が、検索された一連の画像関連設定値とそれに対応する一連のプレビュー画像を、選択される画像関連設定値に基づいて画像処理された観察画像表示する前に同時表示し、
    前記画像処理手段が、前記一連の画像関連設定値の中でユーザにより所定の画像関連設定値が選択された後、選択された画像関連設定値に基づく画像処理を実行し、
    選択された画像関連設定値に基づいて画像処理された観察画像を前記モニタに表示することを特徴とする内視鏡装置。
  2. 前記登録手段が、画像関連設定値の登録回数が所定の上限に達している場合、最も古く記憶された画像関連設定値を消去し、記憶する画像関連設定値を順に更新していくことを特徴とする請求項1に記載の内視鏡装置。
  3. 前記画像関連設定値が、観察画像に対する明るさ、色合い、コントラスト強調、トーン強調、ノイズ除去に関する設定値のうち少なくとも色合いを含むことを特徴とする請求項1乃至のいずれかに記載の内視鏡装置。

JP2010133252A 2010-06-10 2010-06-10 電子内視鏡装置 Active JP5581122B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010133252A JP5581122B2 (ja) 2010-06-10 2010-06-10 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010133252A JP5581122B2 (ja) 2010-06-10 2010-06-10 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2011255038A JP2011255038A (ja) 2011-12-22
JP5581122B2 true JP5581122B2 (ja) 2014-08-27

Family

ID=45471895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010133252A Active JP5581122B2 (ja) 2010-06-10 2010-06-10 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP5581122B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5959987B2 (ja) * 2012-08-15 2016-08-02 Hoya株式会社 内視鏡システム
JP6635680B2 (ja) * 2015-05-29 2020-01-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の設定方法
JP6764701B2 (ja) * 2016-06-13 2020-10-07 株式会社キーエンス 画像処理センサ、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6133474B2 (ja) * 2016-06-21 2017-05-24 Hoya株式会社 内視鏡システム
JP7164474B2 (ja) * 2019-03-26 2022-11-01 東芝Itコントロールシステム株式会社 放射線画像の画質調整装置
JP7355525B2 (ja) * 2019-05-23 2023-10-03 東芝Itコントロールシステム株式会社 放射線検査装置
WO2021033215A1 (ja) * 2019-08-16 2021-02-25 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055326A (ja) * 2004-08-19 2006-03-02 Shimadzu Corp 超音波診断装置
JP2006255013A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 超音波診断装置
JP2007313132A (ja) * 2006-05-26 2007-12-06 Pentax Corp 電子内視鏡用プロセッサ
JP5144915B2 (ja) * 2006-10-19 2013-02-13 Hoya株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
JP2011255038A (ja) 2011-12-22

Similar Documents

Publication Publication Date Title
JP5581122B2 (ja) 電子内視鏡装置
KR100707896B1 (ko) 내시경 화상 처리 장치
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP3958526B2 (ja) 電子内視鏡装置の観察部位表示システム
JP4394356B2 (ja) 電子内視鏡装置
JP2006198106A (ja) 電子内視鏡装置
KR20040069332A (ko) 내시경 화상 처리 장치
JP2006325672A (ja) 内視鏡装置
JP2006061620A (ja) 内視鏡用映像信号処理装置
JP6378846B2 (ja) 画像処理装置
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
JP4933766B2 (ja) 電子内視鏡装置
JP3884265B2 (ja) 内視鏡装置
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP2005124823A (ja) 内視鏡装置
US10462440B2 (en) Image processing apparatus
JP2012020028A (ja) 電子内視鏡用プロセッサ
JP6731065B2 (ja) 内視鏡システム及びその作動方法
JP5967952B2 (ja) 電子内視鏡システム
JP2011224185A (ja) 電子内視鏡用画像処理装置
JP2016067782A (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP2005124755A (ja) 内視鏡用画像処理装置
JP5932188B1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
EP4137035A1 (en) Image processing device and operating method therefor
EP4356813A1 (en) Medical image processing device, endoscope system, and operation method for medical image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140526

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140714

R150 Certificate of patent or registration of utility model

Ref document number: 5581122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250