JP6210874B2 - 立体観察装置の調整治具及び立体観察システム - Google Patents

立体観察装置の調整治具及び立体観察システム Download PDF

Info

Publication number
JP6210874B2
JP6210874B2 JP2013267823A JP2013267823A JP6210874B2 JP 6210874 B2 JP6210874 B2 JP 6210874B2 JP 2013267823 A JP2013267823 A JP 2013267823A JP 2013267823 A JP2013267823 A JP 2013267823A JP 6210874 B2 JP6210874 B2 JP 6210874B2
Authority
JP
Japan
Prior art keywords
index
imaging optical
optical system
eye
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013267823A
Other languages
English (en)
Other versions
JP2015126288A (ja
Inventor
聡大 松井
聡大 松井
憲志 廣瀬
憲志 廣瀬
石川 朝規
朝規 石川
溝口 正和
正和 溝口
浪井 泰志
泰志 浪井
鵜澤 勉
勉 鵜澤
原野 健二
健二 原野
なつき 堀
なつき 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013267823A priority Critical patent/JP6210874B2/ja
Publication of JP2015126288A publication Critical patent/JP2015126288A/ja
Application granted granted Critical
Publication of JP6210874B2 publication Critical patent/JP6210874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、2つの撮像光学系を用いて立体映像を得る立体観察装置の調整用治具及び立体観察システムに関する。
従来、手術用顕微鏡や内視鏡等の各種観察装置においては、左右2つの撮像光学系を用いて異なる視点から被写体を撮像する立体観察装置が知られている。この種の立体観察装置において、撮像された左右の被写体像は、例えば、モニタに対し、同時に、或いは、交互に表示される。そして、観察者等が、モニタに表示された被写体像を特殊な眼鏡等を介して観察することにより、被写体像を立体的に観察することが可能となっている。
この場合において、観察者等に対し、疲労感を与えることなく立体画像を観察させるためには、モニタ等に表示される画像の中心に位置する物体を左右間で一致させることが望ましい。(すなわち、左右画像の「図心」を一致させることが望ましい)。このため、立体観察装置では、所定の撮像距離(合焦距離)において、互いの光軸が所定の範囲内にて一致するよう、左目用撮像光学系と右目用撮像光学系との光軸調整がなされている。
その一方で、左右の各撮像光学系の光軸等は、洗浄時の熱等によって微少なズレが生じる場合がある。そこで、このような光軸のズレを、機械的な調整に頼ることなく、画像処理によって補正するための調整治具が提案されている。例えば、特許文献1には、立体視硬性内視鏡の挿入部先端に着脱自在に嵌合する筒の内側底面に、2つの撮像光学系のズレ量を校正するための基準となる像(指標)を形成した校正具が開示されている。この特許文献1に開示された校正具は、内側底面の指標と、装着された内視鏡の先端面との距離が、左右被写体像上の指標のズレ量を最適に得られる距離と略同じとなるよう形成されており、このズレ量に基づいて、制御装置がフレームメモリの読み出しを制御することにより、視差のある2つの被写体像をモニタ上で略一致して表示させることが可能となっている。
特開平6−59196号公報
ところで、立体観察装置としては、左右の撮像光学系にズーム機能を備えたものが数多く実用化されている。ここで、一般に、手術用顕微鏡等のように高倍率の立体観察装置では、焦点深度が浅い。従って、この種の立体観察装置では、倍率(焦点距離)毎にピント位置(合焦距離)が異なることが一般的であり、この場合、複数の倍率における合焦距離毎に、左右の撮像光学系のズレ量を補正することが望ましい。
しかしながら、左右の撮像光学系のズレ量を所定の合焦距離毎に検出するためには、合焦距離に応じて異なる複数種類の調整治具を用意する必要があり、しかも、合焦距離毎に調整治具を交換する必要がある等、作業性が煩雑化する。
本発明は上記事情に鑑みてなされたもので、簡単な構成で、作業性を煩雑化させることなく光軸等のズレを補正することができる立体観察装置の調整治具及び立体観察システムを提供することを目的とする。
本発明の一態様による立体観察装置の調整治具は、同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、合焦距離を複数の異なる合焦距離にそれぞれ変更可能な左眼用の撮像光学系及び右眼用の撮像光学系を有する鏡体部に対して着脱可能に装着される枠体と、前記左眼用の撮像光学系及び前記右眼用の撮像光学系の少なくとも2以上の特定の合焦距離にそれぞれ対応する位置にて前記枠体に保持された指標と、前記特定の合焦距離毎に前記指標を前記枠体に保持する指標保持部材と、を有し、前記指標保持部材のうち、少なくとも前記撮像光学系から最も遠方に位置する前記指標保持部材以外を透明な部材によって構成したものである。
また、本発明の他の態様による立体観察装置の調整治具は、同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、合焦距離を複数の異なる合焦距離にそれぞれ変更可能な左眼用の撮像光学系及び右眼用の撮像光学系を有する鏡体部に対して着脱可能に装着される枠体と、前記左眼用の撮像光学系及び前記右眼用の撮像光学系の少なくとも2以上の特定の合焦距離にそれぞれ対応する位置にて前記枠体に保持された指標と、予め設定された単一の位置に単一の前記指標を保持する指標保持部材と、前記各撮像光学系と前記指標保持部材との間に介装され、前記各撮像光学系から前記指標までの距離を光学的に変化させるレンズ部材と、を有するものである。
また、本発明の一態様による立体観察システムは、同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、合焦距離を複数の異なる合焦距離にそれぞれ変更可能な左眼用の撮像光学系及び右眼用の撮像光学系を有する鏡体部と、前記調整治具と、前記左眼用の撮像光学系及び前記右眼用の撮像光学系を用いて前記特定の合焦距離にて前記指標を撮像した左右の画像に基づいて、前記特定の合焦距離における画像の補正量を演算する画像処理装置と、を備えたものである。
本発明によれば、簡単な構成で、作業性を煩雑化させることなく光軸等のズレを補正することができる。
本発明の第1の実施形態に係わり、手術用顕微鏡システムの概略構成図 同上、ワイド側の所定倍率にて合焦された手術用顕微鏡及び調整治具を示す説明図 同上、テレ側の所定倍率にて合焦された手術用顕微鏡及び調整治具を示す説明図 同上、画像処理装置の機能ブロック図 同上、調整治具の要部断面斜視図 同上、調整治具の変形例を示す説明図 同上、調整治具の変形例を示す説明図 同上、手術用顕微鏡及び調整治具の変形例を示す説明図 同上、指標の変形例を示す平面図 同上、モニタ上の図心規格幅を示す説明図 同上、(a)は合焦距離を示す説明図であって(b)は合焦距離と指標の上下方向の幅との関係を示す説明図 同上、(a),(b)は指標プレート上に設けられた指標を示す平面図であって(c)は画像上における指標の像を示す説明図 本発明の第2の実施形態に係わり、手術用顕微鏡及び調整治具を示す説明図 同上、(a)〜(c)は合焦距離に配置された指標プレートを示す平面図 本発明の第3の実施形態に係わり、立体内視鏡の斜視図 同上、調整治具を装着した先端硬質部の要部を示す説明図 同上、調整治具を装着した先端硬質部の変形例の要部を示す説明図
以下、図面を参照して本発明の形態を説明する。図面は本発明の第1の実施形態に係わり、図1は手術用顕微鏡システムの概略構成図、図2はワイド側の所定倍率にて合焦された手術用顕微鏡及び調整治具を示す説明図、図3はテレ側の所定倍率にて合焦された手術用顕微鏡及び調整治具を示す説明図、図4は画像処理装置の機能ブロック図、図5は調整治具の要部断面斜視図である。
図1に示す立体観察システム1は、例えば、手術用顕微鏡システムであり、この立体観察システム1は、観察対象を立体的に撮像する立体観察装置としての手術用顕微鏡5と、この手術用顕微鏡5で撮像された被写体像を立体的に表示する立体表示装置としてのモニタ6と、手術用顕微鏡5の光軸調整を行うための調整治具7と、を有して構成されている。
手術用顕微鏡5は、例えば、観察対象となる術部を2つの異なる視点からステレオ撮像するための鏡体部10と、多関節アーム等からなる支持部12を介して鏡体部10を支持する架台11と、架台11内に収容された画像処理装置13と、を有して構成されている。
例えば、図2,3に示すように、鏡体部10は、ステレオ光学系の1つであるガリレオ式平行光学系20を内部に有して要部が構成されている。具体的に説明すると、本実施形態の鏡体部10の先端部には内周側が入射口10bとして開口する円筒状の突起部10aが設けられ、鏡体部10内の先端側には、左右共通の対物レンズ21が、入射口10bに対向して設けられている。また、鏡体部10内において、対物レンズ21の光軸Oと平行に設定された2つの光軸Ol,Or上には、左眼用及び右眼用の変倍光学系22l,22r及び結像光学系23l,23rが、それぞれ配設されている。さらに、鏡体部10内の基端側には、固体撮像素子(CCD)等からなる左眼用及び右眼用の撮像素子24l,24rが、左右の結像光学系23l,23rにそれぞれ対向して配設されている。そして、対物レンズ21と、左眼用の変倍光学系22l、結像光学系23l、及び、撮像素子24lと、によって左眼用の撮像光学系20lが構成されるとともに、対物レンズ21と、右眼用の変倍光学系22r、結像光学系23r、及び、撮像素子24rと、によって右眼用の撮像光学系20rが構成されている。さらに、これら左右の撮像光学系20l,20rによって、ガリレオ式平行光学系20が構成されている。
ここで、鏡体部10内には、各光軸O,Ol,Orに平行なガイド軸25及びカム軸26が設けられている。ガイド軸25には、対物レンズ21を保持する対物レンズ枠21aと、変倍光学系22l,22rを構成する所定の変倍レンズを保持する変倍レンズ枠22aと、が光軸O,Ol,Or方向に進退自在となるよう支持されている。
また、カム軸26の一端には、当該カム軸26を回動させるためのモータ・エンコーダ27が連設されている。また、カム軸26の周部には、対物レンズ枠21a及び変倍レンズ枠22aにそれぞれ係合する螺旋状のカム溝26a,26bが設けられている。
そして、モータ・エンコーダ27によってカム軸26が回動されると、対物レンズ枠21a及び変倍レンズ枠22aは、各カム溝26a,26bのピッチに応じた所定の移動量にて、光軸O,Ol,Orに対して平行に移動する。これにより、各撮像光学系20l,20rの倍率(焦点距離)が同時に変更されるとともに、当該該率に応じたピント位置(合焦距離)が同時に調整される。
ここで、本実施形態における左右の撮像光学系20l,20rは、各倍率の各ピント位置において観察対象側の各光軸Ol’,Or’が互いに一致(交叉)するよう、各光軸O,Ol,Or等が製造時或いは出荷時等において調整されている。すなわち、左右の撮像光学系20l,20rは、各倍率の各ピント位置において撮像した左右の画像の図心に同一の対象物が表示されるよう、各光軸O,Ol,Or等が調整されている。
図4に示すように、画像処理装置13は、撮像素子24l,24rが出力する電気信号を所定の映像信号に変換する撮像信号処理回路30l,30rと、撮像信号処理回路30l,30rが出力する各映像信号をフレーム毎に格納するフレームメモリ32l,32rと、フレームメモリ32l,32rから読み出された映像信号を3D映像に合成する3D映像合成回路34を有している。
画像処理装置13によって合成された映像は3D映像として、偏光方式の立体表示可能なモニタ6に出力される。観察者は偏光メガネを介して観察することにより、被写体を立体感のある像として観察することが可能となっている。なお、立体視を実現させる方式としては、モニタ6上にライン・バイ・ラインによる偏光方式で表示する以外に、時分割で表示する方法であってもよい。
さらに画像処理装置13は、画像演算部31を備えている。この画像演算部31は、洗浄時の熱などの影響によって、撮像光学系20l,20rの各光軸O、Ol、Or等に発生した機械的なズレを、画像処理によって演算する機能を有している。
この電気的な補正にかかる補正量を演算するため、手術用顕微鏡5の使用開始時において、鏡体部10には後述する調整治具7が着脱自在に装着される。そして、例えば、観察者等による操作パネル36を通じた操作入力によって補正量の演算を行う旨の指示がされると、制御部35を介して、調整治具7を用いたズレ量の検出を行う。すなわち、制御部35はモータ・エンコーダ27によって合焦距離を検出して、画像演算部31に値を渡す。また、調整治具7に設けられた指標を左右の撮像光学系20l、20rを通じて撮像素子24l、24rで撮像し、撮像信号処理回路30l、30rで各々所定の映像信号に変換したのち、画像演算部31は左右映像をフレームメモリ32l、32rから取得する。画像演算部31は、画像上の指標の位置に基づいて、左右の各画像の中心位置(図心)のズレ量を演算する。さらに、画像演算部31は検出したズレ量から左右の各画像に対する補正量(図心の補正量)を演算する。
画像演算部31は演算された補正量を基に、補正画像を演算(生成)し、フレームメモリ32l、32rに出力する。これにより、フレームメモリ32l、32rから読み出された信号に基づいてモニタ6上に表示される画像の有効領域が補正され、各光軸O、Ol、Or等に生じた機械的なズレが電気的に補正される。
また、フレームメモリ32l、32rから読み出された信号は、3D映像合成回路34で合成されて、モニタ6上で観察される。
この場合において、撮像光学系20l,20rにズーム機能(変倍光学系22l,22r)を備えた本実施形態の手術用顕微鏡5においては、各倍率での合焦距離に応じて補正量が可変に設定されることが望ましい。このように補正量を可変設定するため、本実施形態の制御部35は、少なくとも2以上の合焦距離(例えば、ワイド側及びテレ側の所定倍率における各合焦距離)において、左右の各画像の中心位置のズレ量を検出し、補正量を演算する。そして、画像演算部31は、例えば、各合焦距離において求めた補正量から、所望の合焦距離での補正量を補間計算等によって算出する。
このように複数の合焦距離において画像の中心位置のズレ量を検出するため、例えば、図2,3,5に示すように、調整治具7は、鏡体部10に対して着脱可能に装着される枠体40と、左右の各撮像光学系20l,20rが合焦可能な2つの特定の合焦距離において枠体40に保持された指標保持部材としての第1,第2の指標プレート41,42とを有する。
本実施形態において、枠体40は、例えば、樹脂製の円筒部材によって構成されている。この枠体40の基端側は、鏡体部10の先端側に設けられた突起部10aの外周に嵌合することが可能となっており、この嵌合により、枠体40は鏡体部10に対して着脱自在に装着することが可能となっている。また、枠体40の中途及び先端側の内周には、凹溝40a,40bが周設されており、これら各凹溝40a,40bには、第1,第2の指標プレート41,42がそれぞれ保持されている。
本実施形態において、枠体40の中途に保持される第1の指標プレート41は、例えば、透明なガラス基板によって構成され、その中央部には円形の点状をなす第1の指標41aが設けられている。一方、枠体40の先端部に保持される第2の指標プレート42は、例えば、白色の樹脂基板によって構成され、その中央部には円形の点状をなす第2の指標42aが設けられている。
ここで、第1の指標プレート41は、例えば、調整治具7が鏡体部10に装着された状態において、左右の撮像光学系20l,20rがワイド側の所定倍率M1でのピント位置(第1のピント位置:合焦距離l1)であって、且つ、光軸O,Ol,Orにズレが生じていないときの観察対象側の光軸Ol’,Or’が交叉する位置に第1の指標41aを配置するよう枠体40に保持されている(図2参照)。
また、第2の指標プレート42は、例えば、調整治具7が鏡体部10に装着された状態において、左右の撮像光学系20l,20rがテレ側の所定倍率M2でのピント位置(第2のピント位置:合焦距離l2)であって、且つ、光軸O,Ol,Orにズレが生じていないときの観察対象側の光軸Ol’,Or’が交叉する位置に第2の指標42aを配置するよう枠体40に保持されている(図3参照)。
さらに、第1,第2の指標プレート41,42の間隔Dは、第1のピント位置における前方の焦点深度d1、及び、第2のピント位置における後方の焦点深度d2よりも大きくなるよう設定されている。
さらに、調整治具7を構成する枠体40、及び、第1,第2の指標プレート41,42の材質は、例えば、オートクレーブ滅菌等の所定の滅菌処理に適合するよう、耐熱性及び耐薬性等を有していることが望ましい。
このように構成された調整治具7を用いることにより、例えば、手術用顕微鏡5の使用開始時等において、観察者等は、単一の調整治具7を用いて複数の合焦距離(例えば、合焦距離l1,l2)における画像の中心位置のズレ量を検出することが可能となっている。
すなわち、手術用顕微鏡5の使用開始時等において、鏡体部10に調整治具7が装着され、観察者等による操作パネル36を通じた操作入力によって補正量の演算を行う旨の指示がされると、制御部35は、モータ・エンコーダ27に対する駆動制御を通じて、左右の撮像光学系20l,20rを倍率M1、且つ、合焦距離l1に制御する。そして、制御部35は、左右の撮像素子24l,24rを通じて調整治具7内を撮像する。このとき、左右の撮像光学系20l,20rの合焦距離l1には第1の指標41aが配置されており、しかも、第1の指標41aから第2の指標42aまでの距離Dは第1のピント位置における前方の焦点深度d1よりも十分に離間しているため、撮像された左右の画像上には第1の指標41aのみを鮮明に表示させることが可能となる。従って、制御部35は、撮像した左右の画像から、合焦距離l1における画像の中心位置のズレ量を的確に検出することが可能となる。
また、合焦距離l1における画像の中心位置のズレ量の検出が終了すると、制御部35は、モータ・エンコーダ27に対する駆動制御を通じて、左右の撮像光学系20l,20rを倍率M2、且つ、合焦距離l2に制御する。そして、制御部35は、左右の撮像素子24l,24rを通じて調整治具7内を撮像する。こととき、左右の撮像光学系20l,20rの合焦距離l2には第2の指標42aが配置されており、また、第1の指標41aから第2の指標42aまでの距離Dは第2のピント位置における後方の焦点深度d2よりも十分に離間しており、しかも、第1の指標プレート41は透明基板によって構成されているため、撮像された左右の画像上には第2の指標42aのみを鮮明に表示させることが可能となる。従って、制御部35は、撮像した左右の画像から、合焦距離l2における画像の中心位置のズレ量を的確に検出することが可能となる。加えて、第2の指標プレート42は、白色のプレートで構成されていることから、制御部35は、撮像した左右の画像からホワイトバランスの調整を行うことも可能となる。
このような実施形態によれば、同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、複数の合焦距離lにて合焦可能な左眼用の撮像光学系20l及び右眼用の撮像光学系20rを有する鏡体部10に対して着脱自在に装着される枠体40と、左眼用の撮像光学系20lと右眼用の撮像光学系20rの少なくとも2以上の特定の合焦距離lにそれぞれ対応する位置にて枠体40に保持された指標41a,42aと、を有して調整治具7を構成したことにより、簡単な構成で、作業性を煩雑化させることなく光軸等のズレを補正することができる。
すなわち、単一の調整治具7によって、複数の合焦距離l1,l2における指標41a,42aの撮像を可能とすることにより、ズーム機能を備えた撮像光学系20l,20rに対しても、複数の調整治具を準備することなく、簡単な作業により、光軸等のズレを好適に補正することができる。
この場合において、調整治具7は、特定の合焦距離l1,l2毎に指標(第1,第2の指標41a,42a)を枠体40に保持する指標プレート(第1,第2の指標プレート41,42)を有し、第1,第2指標プレート41,42のうち、少なくとも各撮像光学系20l,20rから最も遠方に位置する指標プレート(第2の指標プレート42)以外を透明な部材によって構成することにより、枠体40内に複数の指標プレートを配置した場合にも各合焦距離l1,l2上の各指標41a,42aを好適に撮像することが可能となる。
ここで、上述の第1の実施形態においては、種々の変形が可能である。例えば、図6に示すように、枠体40内に保持する指標プレート45及び指標45aを単一のものとするとともに、各撮像光学系20l,20rと指標45aとの間にレンズ部材46を介装し、レンズ部材46を光軸O,Ol,Or方向に移動させることにより、各撮像光学系20l,20rから指標45aまでの距離を光学的に変化させることも可能である。
この場合、レンズ部材46を移動させるための機構としては、例えば、上述の対物レンズ21及び所定の変倍レンズを進退移動させるための機構と略同様の構成を採用することが可能である。すなわち、本変形例においては、例えば、図6に示すように、枠体40内には、各光軸O,Ol,Orに平行なガイド軸47が配置され、このガイド軸47上を進退自在なレンズ枠46aを介してレンズ部材46が保持されている。また、枠体40内には、ガイド軸47に平行なカム軸48が配置されている。このカム軸48の一端には、当該カム軸48を駆動するためのモータ・エンコーダ49が連設されている。また、カム軸48の外周には、レンズ枠46aに係合する螺旋状のカム溝48aが設けられている。そして、例えば、画像処理装置13の制御部35により、モータ・エンコーダ49が鏡体部10側のモータ・エンコーダ27と同期して駆動制御されることにより、レンズ枠46aはカム溝48aのピッチに応じた所定の移動量にて移動し、これにより、各撮像光学系のピント位置に対し、指標45aを光学的に一致させる。
このような構成によれば、上述の実施形態で得られる効果に加え、枠体40内に複数の指標プレート等を配置することなく、光学的な調整により、複数の合焦距離に対して単一の指標を実質的に配置することができる。
また、例えば、図7に示すように、調整治具7を構成する指標プレート51及び指標51aを単一のものとするとともに、指標プレート51を保持する枠体50にスライド機構50aを設け、このスライド機構50aによって各撮像光学系20l,20rから指標51aまでの距離を機械的に変化させることも可能である。
この場合、本変形例の枠体50は、例えば、鏡体部10の先端側に設けられた突起部10aの外周に嵌合可能な第1の枠体部53と、この第1の枠体部53の外周に摺動自在に外嵌する第2の枠体54と、を有して構成されている。第1の枠体部53の外周側には、複数のねじ穴部53aが、光軸O,Ol,Or方向に沿って配列されている。一方、第2の枠体部54の先端側の内周には凹溝54aが周設されており、この凹溝54aには、指標プレート51が保持されている。また、第2の枠体部54の基端側には、ねじ部材54bが設けられている。そして、第1の枠体部53に設けられたねじ穴部53aの何れかに対してねじ部材54bが選択的に螺合させることにより、枠体50は、指標プレート51(指標51a)を複数の合焦距離lにおいて保持することが可能となっている。
このような構成によれば、上述の実施形態で得られる効果に加え、枠体50内に複数の指標プレート等を配置することなく、機械的な調整により、複数の合焦距離に対して単一の指標を配置することができる。
また、上述の実施形態の画像処理装置13は、観察者等による操作パネル36を通じた操作入力に基づいて補正量の演算を開始するものであるが、例えば、図8に示すように、鏡体部10の突起部10a等に、調整治具7の装着状態を検出する治具検出部55を設け、調整治具7が装着されたことを治具検出部55が検出したとき、画像処理装置13の制御部35において左右の画像に対する図心の補正量の演算を開始するよう構成することも可能である。この場合、治具検出部55としては、例えば、突起部10aに枠体40が嵌合された際に押圧される機械式のスイッチを好適に採用することが可能である。或いは、例えば、枠体40等に磁石を設け、当該磁石の磁力によってオンオフするスイッチを治具検出部55として採用することも可能である。
このような構成によれば、鏡体部10に調整治具7を装着しただけで補正量の演算を開始させることができ、作業性をより向上させることができる。
また、上述の実施形態、或いは、各変形例において指標プレート(指標プレート41,42,45,51等)上に配置される指標(指標41a,42a,45a,51a等)としては、例えば、図9に示すように、種々の変更が可能である。すなわち、例えば、図9(a)に示すように、指標プレート60の中央寄りに配置した2つの点によって、指標61aを構成することが可能である。或いは、例えば、図9(b)に示すように、指標プレート60の中央寄りに配置した3つの点によって、指標61bを構成することも可能である。或いは、例えば、図9(c)に示すように、指標プレート60の中央に配置した十字状のマークによって、指標61cを構成することも可能である。或いは、例えば、図9(d)に示すように、指標プレート60の中央に配置した三角形状のマークによって、指標61dを構成することも可能である。或いは、図9(e)に示すように、指標プレート60の中央に配置した直線状のマークによって、指標61eを構成することも可能である。これらの指標61a〜61eを用いることにより、制御部35では、図心のズレ量のみならず、各光軸O,Ol,Or等のタオレ、或いは、左右画像間の倍率差等についても補正量を演算することが可能となる。
ところで、観察者等がモニタ6上の左右の画像を観察する場合において、人体の構造上、図心のズレは、左右方向のズレに対しては寛容である反面、上下方向のズレに対しては厳格なものとなる。すなわち、左右の眼は水平方向に配置されていることから、観察者等の疲労感を軽減するためには、特に、左右の画像間の上下方向のズレを厳密に管理する必要がある。
このような左右の画像間の上下方向のズレを厳密に管理するためには、指標プレート65上に配置される指標65aの上下方向の幅tを最適化することが有効であり(図12(a)参照)、この場合の幅tは、例えば、図10,11に示す関係を用いて設定することが可能である。
具体的に説明すると、指標65aの上下方向の幅tは、例えば、観察者が接眼レンズ等を通じて被写体を観察する際に正常な立体観察を行うために定められた左右画像間の図心規格θ(上下方向の図心のズレ量として許容される最大角度)を用いて設定することが可能である。すなわち、例えば、図10に示すように、手術室等において術者等の観察者がモニタ6を観察する際の距離をLとすると、図心規格θは、以下の(1)式により、モニタ6上における図心規格幅T(モニタ6上で許容される左右の図心間の上下方向の最大ズレ量)に換算することができる。
T=L×tanθ …(1)
また、例えば、図11(a),(b)に示すように、左右の撮像光学系20l,20rから指標65aまでの交点距離(合焦距離)をlとすると、指標プレート65上において図心規格幅Tに対応する幅tは以下の(2)式で表される。
t=T×(h/H)/α …(2)
ここで、(2)式中において、Hはモニタ6の表示面の縦長さ、hは撮像素子24l,24r上においてHに対応する縦長さ、αは合焦距離がlであるときの左右の撮像光学系20l,20rの倍率である。
以上の関係から明らかな通り、合焦距離lに配置される指標65aの上下方向の幅tを上述の(1)、(2)式に基づいて設定することにより、当該指標65aを左右の撮像光学系20l,20rで撮像した各画像の図心の上下方向のズレが許容範囲内であるか否かを、制御部35において容易に判断することが可能となる。
すなわち、制御部35は、合焦距離lにて指標65aを撮像した左右の画像を重畳させた場合に、当該左右の画像上において指標65aを示す像の少なくとも一部が重畳しているか否かに基づいて、当該合焦距離lにおいて撮像された画像は図心の上下方向に対するズレ量が許容範囲内(図心規格内)であるか否か(各画像の上下方向への補正量の演算が不要であるか否か)を判断することができる。
なお、例えば、(1)、(2)式の関係を上述の図7で示した調整治具7等に適用する場合、例えば、図12(b)に示すように、指標51aの上下方向の幅は、スライド機構50aによって切替可能な合焦距離lに応じて段階的に変化する形状に設定することが可能である。
ところで、例えば、指標65aが左右方向の長さが所定以上の長さを有している場合であって、各光軸O,Ol,Orに所定のタオレ等が発生している場合、仮に図心の上下方向のズレ量が図心規格外であっても、左右の画像上で指標65aを示す像67l,67rが端部において一部重畳する場合がある(図12(c)参照)。この場合、制御部35は、左右の画像に対する上下方向のズレ量が図心規格外であるにもかかわらず、補正量の演算は不要であると誤判断する可能性がある。そこで、指標65aの左右方向の長さは所定の長さ範囲内に設定することが望ましく、具体的には、例えば、図12(a)に示すように、上下方向の幅tの三倍以内に設定されていることが望ましい。
次に、図13,14は本発明の第2の実施形態に係わり、図13は手術用顕微鏡及び調整治具を示す説明図、図14(a)〜(c)は合焦距離に配置された指標プレートを示す平面図である。なお、本実施形態は、鏡体部を構成する光学系が、上述の第1の実施形態に対して主として異なる。その他、上述の第1の実施形態と同様の構成については、同符号を付して説明を省略する。
図13に示すように、鏡体部70は、ステレオ光学系の1つであるグリノー式光学系80を内部に有して要部が構成されている。具体的に説明すると、本実施形態の鏡体部70の先端部には内周側が入射口70bとして開口する円筒形状の突起部70aが設けられ、鏡体部70内の先端側には、左眼用及び右眼用の対物レンズ81l,81rが、入射口70bに対向して設けられている。これら左右の対物レンズ81l,81rの光軸Ol,Orは鏡体部70の中心軸に対して対象に傾斜されており、鏡体部70内において、これら光軸Ol,Or上には、左眼用及び右眼用の変倍光学系82l,82r及び結像光学系83l,83rが、それぞれ配設されている。さらに、鏡体部70内の基端側には、固体撮像素子(CCD)等からなる左眼用及び右眼用の撮像素子84l,84rが、左右の結像光学系83l,83rにそれぞれ対向して配設されている。そして、左眼用の対物レンズ81l、変倍光学系82l、結像光学系83l、及び、撮像素子84lによって左眼用の撮像光学系80lが構成されるとともに、右眼用の対物レンズ81r、右眼用の変倍光学系82r、結像光学系83r、及び、撮像素子84rによって右眼用の撮像光学系80rが構成されている。さらに、これら左右の撮像光学系80l,80rによって、グリノー式光学系80が構成されている。
ここで、鏡体部70内には、各光軸Ol,Orに平行な左眼用及び右眼用のガイド軸85l,85r及びカム軸86l,86rが設けられている。左眼用のガイド軸85lには、対物レンズ81lを保持する対物レンズ枠81laと、変倍光学系82lを構成する所定の変倍レンズを保持する変倍レンズ枠82laと、が光軸Ol方向に進退自在となるよう支持されている。一方、右眼用ガイド軸85rには、対物レンズ81rを保持する対物レンズ枠81raと、変倍光学系82rを構成する所定の変倍レンズを保持する変倍レンズ枠82raと、が光軸Or方向に進退自在となるよう支持されている。
また、左眼用のカム軸86lの一端には、当該カム軸86lを回動させるためのモータ・エンコーダ87lが連設されている。また、左眼用のカム軸86lの周部には、対物レンズ枠81la及び変倍レンズ枠82laにそれぞれ係合する螺旋状のカム溝86la,86lbが設けられている。一方、右眼用のカム軸86rの一端には、当該カム軸86rを回動させるためのモータ・エンコーダ87rが連設されている。また、右眼用のカム軸86rの周部には、対物レンズ枠81ra及び変倍レンズ枠82raにそれぞれ係合する螺旋状のカム溝86ra,86rbが設けられている。
そして、左右のモータ・エンコーダ87l,87rによってカム軸86l,86rが回動されると、対物レンズ枠81la,81ra及び変倍レンズ枠82la,82raは、各カム溝86la,86ra,86lb,86rbのピッチに応じた所定の移動量にて、光軸Ol,Orに対してそれぞれ平行に移動する。これにより、各撮像光学系80l,80rの倍率(焦点距離)が同時に変更されるとともに、当該倍率に応じたピント位置(合焦距離)が同時に調整される。
ここで、本実施形態における左右の撮像光学系80l,80rは、所定倍率のピント位置において光軸Ol,Orが互いに一致(交叉)するよう、各光軸Ol,Or等が製造時或いは出荷時等において調整されている。
また、このような鏡体部70に用いられる調整治具71は、例えば、鏡体部70に対して着脱自在に装着される枠体90と、左右の撮像光学系80l,80rが合焦可能な3つの合焦距離において枠体90に保持される指標部材としての第1,第2,第3の指標プレート91,92,93とを有する。
本実施形態において、枠体90は、例えば、樹脂製の円筒部材によって構成されている。この枠体90の基端側は、鏡体部70の先端側に設けられた突起部70aの外周に嵌合することが可能となっており、この嵌合により、枠体90は鏡体部70に対して着脱自在に装着することが可能となっている。また、枠体90の中途2箇所及び先端側の内周には、凹溝90a,90b,90cが周設されており、これら凹溝90a,90b,90cには、第1,第2,第3の指標プレート91,92,93がそれぞれ保持されている。
本実施形態において、枠体90の中途2箇所に保持される第1,第2の指標プレート91,92は、例えば、透明なガラス基板によって構成されている。これらのうち、例えば、第1の指標プレート91には、左右の撮像光学系80l,80rの光軸Ol,Orがそれぞれ横切る位置に対応して指標91l,91rが設けられている(図14(a)参照)。また、第2の指標プレート92は、例えば、左右の撮像光学系80l,80rの光軸Ol,Orが交叉する位置に配置されており、この第2の指標プレート92には、光軸Ol,Orが交叉する位置に対応して単一の指標92aが設けられている(図14(b)参照)。
一方、枠体90の先端部に保持される第3の指標プレート93は、例えば、白色の樹脂基板によって構成されている。この第3の指標プレート93には、左右の撮像光学系80l,80rの光軸Ol,Orがそれぞれ横切る位置に対応して指標93l,93rが設けられている(図14(c)参照)。
このような実施形態によれば、グリノー式光学系80を備えた鏡体部70においても、上述の第1の実施形態と略同様の作用効果を奏することができる。
次に、図15乃至図17は本発明の第3の実施形態に係わり、図15立体内視鏡の斜視図、図16は調整治具を装着した先端硬質部の要部を示す説明図である。なお、本実施形態は、手術用顕微鏡に代えて、本発明を立体観察装置としての立体内視鏡に適用した一例について説明するものである。
図15に示すように、本実施形態の立体内視鏡100は、体腔内の術部を立体的に観察する。この立体内視鏡100は、腹腔用手技に適用される例えば硬性内視鏡である。このような立体内視鏡100は、腹腔に挿入される挿入部101と、挿入部101の基端部に連結する操作部102と、を有して構成されている。
挿入部101は、硬質であり、腹腔用手技に適用される長さを有している。挿入部101は、先端側から順に、鏡体部としての先端硬質部105と、湾曲部106と、硬質部107とを有している。
また、図16に示すように、先端硬質部105を構成する外装部材である硬質部本体105aの内部には、左眼用の撮像光学系110l及び右眼用の撮像光学系110rが配置されている。なお、各撮像光学系110l,110rの構成は、上述の第1の実施形態と略同様の構成であるため、詳細については説明を省略する。ここで、ガリレオ式の撮像光学系に代えて、例えば、上述の第2の実施形態で示した構成と略同様なグリノー式の撮像光学系を採用してもよいことは勿論である。
操作部102には、図示しない画像処理装置に接続するユニバーサルコード120が連結されている。また、操作部102には、湾曲部106を上下方向に湾曲操作する上下レバー121と、湾曲部106を左右方向に湾曲操作する左右レバー122と、が設けられている。
このような立体内視鏡100に用いられる調整治具130は、例えば、先端硬質部105に対して着脱自在に装着される枠体131と、左右の撮像光学系110l,110rが合焦可能な2つの合焦距離において枠体131に保持される第1,第2の指標プレート132,133とを有する。
本実施形態において、枠体131は、例えば、樹脂製の円筒部材によって構成されている。この枠体131の基端側は、先端硬質部105の外周に嵌合することが可能となっている、また、枠体131の中途及び先端側の内周には、第1,第2の凹溝131a,131bが周設されており、これら凹溝131a,131bには、第1,第2の指標プレート132,133がそれぞれ保持されている。
本実施形態において、枠体131の中途に保持される第1の指標プレート132は、例えば、透明なガラス基板によって構成され、この第1の指標プレート132上には左右の撮像光学系110l,110rの光軸Ol,Orがそれぞれ横切る位置に対応して指標132l,132rが設けられている。一方、枠体131の先端部に保持される第2の指標プレート133は、例えば、白色の樹脂基板によって構成され、この第2の指標プレート133上には左右の撮像光学系110l,110rの光軸Ol,Orがそれぞれ横切る位置に対応して指標133l,133rが設けられている。
ここで、左右の撮像光学系110l.110rの各光軸Ol,Orと、調整治具130において対応する各指標132l,132r,133l,133rとの位置決めを行うため、硬質部本体105aの側面には、位置決め用の凹部140が設けられている。一方、調整治具130の枠体131の外周には、凹部140に対応する貫通孔141が設けられている。そして、先端硬質部105に調整治具130が外嵌された後、凹部140と貫通孔141とが位置決めされ、さらに、貫通孔141に位置決めピン142が挿入されて凹部140に係合されることにより、各光軸Ol,Orと各指標132l,132r,133l,133rとの位置決めが行われる。
このような実施形態によれば、上述の各実施形態で得られる作用効果に加え、左右の各光軸Ol,Orの指標132l,132r,133l,133rに対する位置決めを的確に行うことができるという効果を奏する。
ここで、各光軸Ol,Orと各指標132l,132r,133l,133rとの位置決めのための構成としては、例えば、図17に示すように、先端硬質部105の硬質部本体105aの先端側の一部にテーパ状の切欠部145を設けるとともに、調整治具130の枠体131の内周の一部に切欠部145に対応するテーパ面146を設け、これらを係合させることも可能である。このように構成すれば、先端硬質部105に凹部等を設けることによる汚れの残留等を回避することができ、洗浄等を効果的に行うことが可能となる。
なお、本発明は、以上説明した各実施形態に限定されることなく、種々の変形や変更が可能であり、それらも本発明の技術的範囲内である。例えば、上述の各実施形態及びその変形例で説明した各構成を適宜組み合わせてもよいことは勿論である。また、本発明の調整治具が適用される立体観察装置としては、フォーカス機能を備えたものに限定されるものではなく、例えば、左右の光学系の光路に対して単に変倍用のレンズを挿脱することにより、倍率(及び、合焦距離)を変更可能な立体観察装置等に対しても適用が可能であることは勿論である。
1…立体観察システム、5…手術用顕微鏡(立体観察装置)、6…モニタ、7…調整治具、10…鏡体部、10a…突起部、10b…入射口、11…架台、12…支持部、13…画像処理装置、20…ガリレオ式平行光学系、20l…左眼用の撮像光学系、20r…右眼用の撮像光学系、21…対物レンズ、21a…対物レンズ枠、22a…変倍レンズ枠、22l…左眼用の変倍光学系、22r…右眼用の変倍光学系、23l…左眼用の結像光学系、23r…右眼用の結像光学系、24l…左眼用の撮像素子、24r…右眼用の撮像素子、25…ガイド軸、26…カム軸、26a,26b…カム溝、27…モータ・エンコーダ、30l,30r…撮像信号処理回路、31…画像演算部、32l,32r…フレームメモリ、34…3D映像合成回路、35…制御部、36…操作パネル、40…枠体、40a,40b…凹溝、41…第1の指標プレート、41a第1の指標、42…第2の指標プレート、42a…第2の指標、45…指標プレート、45a…指標、46…レンズ部材、46a…レンズ枠、47…ガイド軸、48…カム軸、48a…カム溝、49…モータ・エンコーダ、50…枠体、50a…スライド機構、51…指標プレート、51a…指標、53…第1の枠体部、53a…ねじ穴部、54…第2の枠体部、54a…凹溝、54b…ねじ部材、55…治具検出部、60…指標プレート、61a…指標、61b…指標、61c…指標、61d…指標、61e…指標、65…指標プレート、65a…指標、67l,67r…像、70…鏡体部、70a…突起部、70b…入射口、71…調整治具、80…グリノー式光学系、80l…左眼用の撮像光学系、80r…右眼用の撮像光学系、81l…左眼用の対物レンズ、81la…左眼用の対物レンズ枠、81r…右眼用の対物レンズ、81ra…右眼用の対物レンズ枠、82l…左眼用の変倍光学系、82la…左眼用の変倍レンズ枠、82r…右眼用の変倍光学系、82ra…右眼用の変倍レンズ枠、83l…左眼用の結像光学系、83r…右眼用の結像光学系、84l…左眼用の撮像素子、84r…右眼用の撮像素子、85l…左眼用のガイド軸、85r…右眼用のガイド軸、86l…左眼用のカム軸、86la,86lb…左眼用のカム溝、86r…右眼用のカム軸、86ra,86rb…右眼用のカム溝、87l…左眼用のモータ・エンコーダ、87r…右眼用のモータ・エンコーダ、90…枠体、90a,90b,90c…凹溝、91…第1の指標プレート、91l,91r…指標、92…第2の指標プレート、92a…第2の指標、93…第3の指標プレート、93l,93r…第3の指標、100…立体内視鏡(立体観察装置)、101…挿入部、102…操作部、105…先端硬質部、105a…硬質部本体、106…湾曲部、107…硬質部、110l…左眼用の撮像光学系、110r…右眼用の撮像光学系、120…ユニバーサルコード、121…上下レバー、122…左右レバー、130…調整治具、131…枠体、131a,131b…凹溝、132…第1の指標プレート、132l,132r…第1の指標、133…第2の指標プレート、133l,133r…第2の指標、140…位置決め用の凹部、141…貫通孔、142…位置決め用のピン、145…切欠部、146…テーパ面

Claims (5)

  1. 同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、合焦距離を複数の異なる合焦距離にそれぞれ変更可能な左眼用の撮像光学系及び右眼用の撮像光学系を有する鏡体部に対して着脱可能に装着される枠体と、
    前記左眼用の撮像光学系及び前記右眼用の撮像光学系の少なくとも2以上の特定の合焦距離にそれぞれ対応する位置にて前記枠体に保持された指標と、
    前記特定の合焦距離毎に前記指標を前記枠体に保持する指標保持部材と、を有し、
    前記指標保持部材のうち、少なくとも前記撮像光学系から最も遠方に位置する前記指標保持部材以外を透明な部材によって構成したことを特徴とする立体観察装置の調整治具。
  2. 同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、合焦距離を複数の異なる合焦距離にそれぞれ変更可能な左眼用の撮像光学系及び右眼用の撮像光学系を有する鏡体部に対して着脱可能に装着される枠体と、
    前記左眼用の撮像光学系及び前記右眼用の撮像光学系の少なくとも2以上の特定の合焦距離にそれぞれ対応する位置にて前記枠体に保持された指標と、
    予め設定された単一の位置に単一の前記指標を保持する指標保持部材と、
    前記各撮像光学系と前記指標保持部材との間に介装され、前記各撮像光学系から前記指標までの距離を光学的に変化させるレンズ部材と、を有することを特徴とする立体観察装置の調整治具。
  3. 同一の観察対象を異なる視点から撮像するよう互いの光軸が設定され、且つ、合焦距離を複数の異なる合焦距離にそれぞれ変更可能な左眼用の撮像光学系及び右眼用の撮像光学系を有する鏡体部と、
    請求項1または請求項2に記載の調整治具と、
    前記左眼用の撮像光学系及び前記右眼用の撮像光学系を用いて前記特定の合焦距離にて前記指標を撮像した左右の画像に基づいて、前記特定の合焦距離における画像の補正量を演算する画像処理装置と、を備えたことを特徴とする立体観察システム。
  4. 前記鏡体部に対する前記調整治具の装着状態を判定する治具検出部を有し、
    前記画像処理装置は、前記治具検出部によって前記鏡体部に前記調整治具が装着されたことを検出したとき、前記画像の補正量の演算を開始することを特徴とする請求項3に記載の立体観察システム。
  5. 前記画像処理装置は、前記特定の合焦距離にて前記指標を撮像した左右の画像を重畳させた場合に、前記左右の画像上において前記指標を示す像の少なくとも一部が重畳している場合には、当該特定の合焦位置における画像の補正量を演算しないことを特徴とする請求項3に記載の立体観察システム。
JP2013267823A 2013-12-25 2013-12-25 立体観察装置の調整治具及び立体観察システム Active JP6210874B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013267823A JP6210874B2 (ja) 2013-12-25 2013-12-25 立体観察装置の調整治具及び立体観察システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013267823A JP6210874B2 (ja) 2013-12-25 2013-12-25 立体観察装置の調整治具及び立体観察システム

Publications (2)

Publication Number Publication Date
JP2015126288A JP2015126288A (ja) 2015-07-06
JP6210874B2 true JP6210874B2 (ja) 2017-10-11

Family

ID=53536742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013267823A Active JP6210874B2 (ja) 2013-12-25 2013-12-25 立体観察装置の調整治具及び立体観察システム

Country Status (1)

Country Link
JP (1) JP6210874B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018055888A1 (ja) * 2016-09-23 2018-03-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び医療用観察システム
CN109804290B (zh) 2016-12-01 2022-01-04 索尼公司 医疗观察装置和控制方法
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
JP6422621B1 (ja) * 2017-05-01 2018-11-14 オリンパス株式会社 内視鏡撮像装置
JP2020154208A (ja) 2019-03-22 2020-09-24 本田技研工業株式会社 カメラ焦点調整治具、及びカメラ焦点調整方法
JP7281148B2 (ja) * 2021-04-02 2023-05-25 有限会社イグノス 光軸調整ユニット、光学機器、光軸調整システム、及び光軸調整方法
WO2022269817A1 (ja) * 2021-06-23 2022-12-29 オリンパス株式会社 校正装置、内視鏡システム、校正方法、及び校正プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223193B2 (en) * 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera

Also Published As

Publication number Publication date
JP2015126288A (ja) 2015-07-06

Similar Documents

Publication Publication Date Title
JP6210874B2 (ja) 立体観察装置の調整治具及び立体観察システム
JP5730339B2 (ja) 立体内視鏡装置
US9192286B2 (en) Stereoscopic visualization system
JP3257640B2 (ja) 立体視内視鏡装置
JP4093503B2 (ja) 立体視内視鏡
JP5965726B2 (ja) 立体視内視鏡装置
US7768702B2 (en) Medical stereo observation system
JP6770500B2 (ja) 口腔内観察装置、観察ユニット及び観察方法
JP6010895B2 (ja) 撮像装置
JP6553130B2 (ja) ステレオビデオ内視鏡の光学系と、ステレオビデオ内視鏡とステレオビデオ内視鏡の光学系を操作するための方法
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP6253857B1 (ja) 立体内視鏡および立体内視鏡システム
JP6188988B1 (ja) ステレオ撮像ユニット
JP5946777B2 (ja) 立体撮像装置
JP4253493B2 (ja) 光学観察装置及びこれに用いる立体画像入力光学系
JP4727356B2 (ja) 医療用立体観察装置
KR101654589B1 (ko) 초점 및 물체 거리 자동 변환 기능을 구비한 3차원 입체 영상 기반의 의료 현미경 시스템
JP2002085330A (ja) 立体視内視鏡装置
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
JP6153675B2 (ja) 立体内視鏡装置
WO2021131921A1 (ja) 硬性鏡装置
JP2002010293A (ja) 立体画像表示装置
CN110623625A (zh) 用于二维腹腔镜的三维成像转换器
JP2007214612A (ja) 立体撮像装置
JP2017106994A (ja) 手術用立体観察装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R151 Written notification of patent or utility model registration

Ref document number: 6210874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250