JP6223056B2 - 3次元画像システム - Google Patents
3次元画像システム Download PDFInfo
- Publication number
- JP6223056B2 JP6223056B2 JP2013168211A JP2013168211A JP6223056B2 JP 6223056 B2 JP6223056 B2 JP 6223056B2 JP 2013168211 A JP2013168211 A JP 2013168211A JP 2013168211 A JP2013168211 A JP 2013168211A JP 6223056 B2 JP6223056 B2 JP 6223056B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- dimensional image
- video
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Endoscopes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
立体内視鏡を用いた場合には、奥行き感のある3次元画像が得られるため、術者は、手術等を行い易くなる場合がある。
第1の従来例としての特開平9−266879号公報は、2つの撮像装置を備えた立体内視鏡と、立体内視鏡に設けられた無線送信を行うトランシーバと、トランシーバにより送信される無線信号を受信してビデオ映像を生成する1つのビデオプロセッサと、ビデオプロセッサにより生成された3次元映像を表示するTVモニタを備えたシステムを開示している。
なお、従来の3次元画像システムとして、立体内視鏡に内蔵された2つの撮像装置に対してそれぞれ信号処理を行う2つ(2台)の信号処理装置と、2つの信号処理装置から出力される2つの映像信号(画像信号)を画像合成装置で合成して3次元画像(立体画像)を生成する画像合成装置を備えたものもある。
また、別体となる2台の信号処理装置を用いた場合には、立体画像と2次元画像との表示に使い分けて利用することができるが、従来例においては使い分けするためにケーブルの接続及び取り外しの作業が必要となる。このため、このような煩わしい作業を低減でき、簡単に立体画像と2次元画像との表示に使い分けて利用することができる利便性の高い3次元画像システムが望まれる。
本発明は上述した点に鑑みてなされたもので、簡単に立体画像と2次元画像との表示に使い分けて利用することができる利便性の高い3次元画像システムを提供することを目的とする。
(第1の実施形態)
図1又は図2に示すように本発明の第1の実施形態の3次元画像システム1は、立体画像(又は3次元画像、以下3D画像と略記)を生成するために2つの撮像装置(又は撮像部)を備えた立体内視鏡(3D内視鏡とも言う)2と、3D画像を生成するための第1及び第2の信号処理システム(又は内視鏡システム又は内視鏡装置)としての第1プロセッサシステム3及び第2プロセッサシステム4とを有する。
図2に示すように第1プロセッサシステム3及び第2プロセッサシステム4は、それぞれ移動自在となる載置手段としてのカート5,6に、それぞれ通常の2次元画像(2D画像と略記)を生成する複数の装置が載置される。
カート5には、第1プロセッサシステム3を構成する光源装置7A、第1の映像信号処理手段としての第1プロセッサ8A、3次元画像合成手段としての3Dミキサ(3次元ミキサ)9、2D及び3D画像を表示する第1モニタ10A、記録を行う記録装置11が搭載されている。
以下の説明においては、3D画像を表示する場合、第1プロセッサ8Aが右目用の画像となる第1の映像信号を生成し、第2プロセッサ8Bが左目用の画像となる第2の映像信号を生成する場合で説明する。勿論、左右を逆にしても良い。
なお、本実施形態等において使用される立体内視鏡2は、図3において説明するように照明光を伝送して、先端から出射するライトガイド21を備えているが、発光ダイオードによる光源を立体内視鏡2の内部に備えた構成にした場合には、光源装置7A,7Bを必要としない。
また、術者などのユーザは、第1モニタ10A等に表示される3D画像を観察する場合には、例えば液晶メガネ12を装着する。
また、上記ケーブル16の末端の第1の信号用コネクタ(図面では単にコネクタ)18Aは、第1プロセッサ8Aのコネクタ受け19A(図3参照、図面では単にコネクタ受け)に着脱自在に接続され、第2の信号用コネクタ18Bは、第2プロセッサ8Bのコネクタ受け19Bに着脱自在に接続される。
なお、図1においては、第1の信号用コネクタ18A及び第2の信号用コネクタ18Bが光源用コネクタ17から分岐したケーブル20A,20Bを介してコネクタ受け19A及びコネクタ受け19Bに接続する例を示しているが、このような構造の場合に限定されるものでない。例えば、図3に示すように3D内視鏡2からそれぞれケーブル20A,20Bを延出し、それぞれの末端の第1の信号用コネクタ18A及び第2の信号用コネクタ18Bをコネクタ受け19A及びコネクタ受け19Bに接続する構造にしても良い。
光源装置7Aは、白色の照明光を発生する照明光発生部としての光源ランプ22と、照明光を集光してライトガイド21の入射端部に入射させる集光レンズ23とを有する。光源ランプ22として、又は光源ランプの代わりに例えば白色光で発光する発光ダイオード(LEDと略記)を用いて照明光発生部を構成しても良い。なお、光源装置7Bは、光源装置7Aと同じ構成である。
ライトガイド21の入射端部に入射された照明光は、ライトガイド21の先端側に伝送され、挿入部14の先端部に設けた照明窓に臨む出射端部から前方側に出射され、患部などの被写体を照明する。そして、照明された患部などの被写体は、以下のような視差を有するように構成された2つの撮像部により撮像される。
上記右左の対物レンズ25a,25bと、CCD26a,26bとは、それぞれ特性が揃ったものが採用されている。
従って、第1及び第2の撮像部27a,27bは、同一の被写体を上記距離Dにより視差を有するように撮像し、撮像した第1の信号及び第2の信号を生成する。
上記のように3D内視鏡2は、色信号生成部29a,29bを備えているが、このような構成の場合に限定されるものでなく、CCD26a,26bの出力信号を(色信号生成部29a,29bを用いることなく)それぞれ第1プロセッサ8A及び第2プロセッサ8Bに第1の信号及び第2の信号として出力する構成にしても良い。
このように3D内視鏡2は、第1及び第2の撮像部27a,27bを用いてそれぞれ生成した第1の信号及び第2の信号を、第1の映像信号処理手段を構成する第1プロセッサ8Aと、第2の映像信号処理手段を構成する第2プロセッサ8Aとに出力する。
また、第1プロセッサ8Aは、1フレームの映像信号を生成するタイミングを決定する同期信号を生成する同期信号生成部(又は同期信号生成回路)33aと、3Dミキサ9と通信を行う通信制御部(又は通信部又は通信回路)34aと、3Dミキサ9との通信結果に応じたモードで映像生成部31aが映像信号を生成するように切り替えるモード切替部(又はモード切替回路)35aとを有する。なお、通信制御部34aは、通信ケーブル37aを介して3Dミキサ9の通信制御部45と通信する。なお、本明細書においては、上記のように○部を○回路と記載しても良い。以下に説明する他の○部に対しても同様である。
また、上記モードは、後述する動作の内容で説明すると、第1のモード(スタンドアローンモード)の場合には、第1プロセッサ8Aと第2プロセッサ8Bとの両者が独立して、又は両方の一方が2Dの映像信号を生成し、3Dミキサ9は一方の2Dの映像信号を生成する2Dモードで動作する。
これに対して、第2のモード(リンクモード)の場合には、第1プロセッサ8Aと第2プロセッサ8Bとが連携した右及び左の2Dの映像信号をそれぞれ生成して、3Dミキサ9に出力し、3Dミキサ9は3Dの映像信号を生成する3Dモードで動作する。
これに対して、モード切替部35aは、通信制御部34aを介して3Dミキサ9から第2のモードの送信信号を受けた場合には、3Dミキサ9から出力される同期信号を用いて該同期信号に同期した映像信号を生成し、生成した映像信号を第1の映像信号として3Dミキサ9に出力する。
また、第2プロセッサ8Bの筐体内には、入力される信号が第1プロセッサ8Aとは異なるが、第1プロセッサ8Aにおいて説明したのと同じ構成要素を備えている。但し、本実施形態においては、第1プロセッサ8Aは、有線で第1の映像信号を出力(送信)するのに対して、第2プロセッサ8Bは、無線で第1の映像信号を出力(送信)する構成である。
すなわち、第2プロセッサ8Bの筐体内には、コネクタ受け19Bから入力される第2の信号に対して第2の2D画像の第2の映像信号を生成する信号処理を行う映像生成部31bと、映像生成部31bにより生成された映像信号を第2の映像信号として外部に出力する映像出力IF32bと、映像生成部31bにより生成された第2の映像信号を無線の第2の映像信号に変換して送信する無線送信部38bとが設けてある。なお、映像生成部31bが映像出力IF32bを内部に含む構成にしても良い。
また、第2プロセッサ8Bは、1フレームの映像信号のタイミングを決定する同期信号を生成する同期信号生成部33bと、3Dミキサ9と通信を行う通信制御部(又は通信部)34bと、3Dミキサ9との通信結果に応じたモードで映像生成部31bが映像信号を生成するように切り替えるモード切替部35bとを有する。なお、通信制御部34bは、通信ケーブル37bを介して3Dミキサ9の通信制御部と通信する。
これに対して、モード切替部35bは、通信制御部34bを介して3Dミキサ9から第2のモードの送信信号を受けた場合には、3Dミキサ9から出力される同期信号を用いて該同期信号に同期した映像信号を生成する。
また、第2プロセッサ8Bの映像出力IF32bはケーブルを介して第2モニタ10Bが接続される。従って、この接続状態において、第2プロセッサ8Bの電源がONされ、かつ第2モニタの電源もONにされていると、映像生成部31bにより生成された第2の映像信号が第2モニタ10Bに入力され、第2の映像信号の画像としての第2の2D画像が第2モニタ10Bの表示面に表示される。
図4は2D/3D変換部43の構成を示す。右映像入力部41aから入力される右の2Dの映像信号と、無線受信部42bから入力される左の2Dの映像信号とはそれぞれ切替スイッチ56a,56bの接点aをそれぞれ経て倍速信号変換器(又は倍速信号変換回路)57a、57bに入力される。
なお、倍速信号変換器57a,57bは、それぞれ2つのフレームメモリを用いて構成され、書き込み時は2Dの映像信号を2Dの映像信号に対応した普通のレートで行われ、読み出し時には書き込み時の倍の速度で行うことにより、倍速の映像信号を生成する。
このような構成の2D/3D変換部43においては、2つの映像信号が2D/3D変換部43に入力される場合には、制御部47の制御信号により図4の実線で示すように切替スイッチ56a,56b,54が設定される。つまり、2D/3D変換部43は、3Dの映像信号を出力する。
これに対して、1つの映像信号(例えば右の映像信号)のみが2D/3D変換部43に入力される場合には、制御部47は、点線で示すように切替スイッチ56a,56bの接点bを選択するように切り替え、また切替スイッチ55に対しては接点aを選択するように切り替え、さらに切替スイッチ54に対しては接点bを選択するように切り替えるように制御する。そして、この場合には、2D/3D変換部43に入力される1つの映像信号(例えば右の映像信号)を2D/3D変換部43から2Dフォーマットの(2D)の映像信号として出力する。なお、左の映像信号のみが2D/3D変換部43に入力される場合には、制御部47は、切替スイッチ55の接点bが選択するように切り替える。
また、3Dミキサ9は、第1プロセッサ8Aの通信制御部34a及び第2プロセッサ8Bの通信制御部34bとそれぞれ通信ケーブル37a,37bを介して通信を行う通信制御部(又は通信部)45と、3D画像を生成する場合に用いる同期信号を生成する同期信号生成部46と、通信制御部45による通信結果等に応じて2D/3D変換部43の動作を制御する制御手段としての制御部47とを有する。
また、3Dミキサ9は、3D画像を表示する場合において液晶メガネ12にシャッタ信号を無線送信する無線送信部48と、3Dミキサ9に関する各種の設定を行う設定部49が設けてある。3D画像を表示する場合、液晶メガネ12にシャッタ信号を無線送信する動作は制御部47が制御する。
また、例えば制御部47は、映像信号の有無を検出する映像信号検出手段としての映像信号検出部47aを有し、2D/3D変換部43の2つの入力端に入力される2つの映像信号の有無を、映像信号のレベルの有無により検出する。
制御部47は、映像信号検出部47aによる検出結果と、通信制御部45による通信結果とに応じて、2D/3D変換部43の動作を制御する。なお、制御部47は、一方のみの結果(検出結果又は通信結果)により、2D/3D変換部43の動作を制御するようにしても良い。
また、本実施形態においては、制御部47は通信制御部45が通信制御部34a及び通信制御部34bと通信できる状態である通信結果を取得し、更に映像信号検出部47aにより2つの映像信号を検出した検出結果を取得した場合には、同期信号生成部46で生成した同期信号を通信制御部45を介して第1プロセッサ8A及び第2プロセッサ8Bに送信する。そして、制御部47(内の同期制御部47b)は、第1プロセッサ8A及び第2プロセッサ8Bが、3Dミキサ9から送信した同期信号に同期してそれぞれ第1及び第2の映像信号を生成するように制御を行い、かつ2D/3D変換部43を3D画像を生成するように制御する。換言すると、制御部47は、3次元画像システム1が第2のモード(リンクモード)で動作するように制御する。
図5と図6は、制御部47が第2のモードで動作させる場合と第1のモードで動作させる場合の説明図を示す。
図5に示すように、2つの映像信号が入力される第2のモード(リンクモード)の場合には、制御部47は同期信号生成部46が生成した同期信号を同期信号出力IF46aから通信ケーブル52a,52bを経由して、第1プロセッサ8Aの同期信号入力IF51aと、第2プロセッサ8Bの同期信号入力IF51bと送信する。
このモードの場合、第1プロセッサ8A及び第2プロセッサ8Bのモード切替部35a,35bは、図5に示すように送信された同期信号を映像生成部31a,13bに出力する切替スイッチとして機能する。そして、映像生成部31a,13bは、共通の同期信号を用いて、それぞれ第1の映像信号及び第2の映像信号を生成し、3Dミキサ9に出力又は送信する。第2プロセッサ8Bは第2の映像信号を生成し、無線送信部38bを介して3Dミキサ9に無線送信する。3Dミキサ9内の無線受信部42bで受信した第2の映像信号と、有線で入力された第1の映像信号とが2D/3D変換部43に入力される。
なお、このモードにおいては、第1プロセッサ8A内の同期信号生成部33a及び第2プロセッサ8Bの同期信号生成部33bは、映像生成部31a,13bが生成する映像信号に関与しない状態となる。
一方、第1のモードの場合には、図6に示すように、3Dミキサ9には1つの映像信号が入力されるため、3Dミキサ9は、同期信号生成部46で生成した同期信号を3Dミキサ9の外部に出力しない。なお、図6における動作は、例えば第1プロセッサ8Aの電源がON、第2プロセッサ8Bの電源がOFFにされている場合を想定している。
3Dミキサ9内の2D/3D変換部43は、入力された映像信号をそのまま映像出力IF44に出力する。
図3に示すように、本実施形態においては、3Dミキサ9に近くに配置され、殆どの場合この3Dミキサ9と接続して使用されるプロセッサ8Aは、生成した映像信号を有線で3Dミキサ9に入力する構成にしている。これに対して、他方のプロセッサ8Bは、プロセッサ8Aと連携して3Dミキサ9に映像信号を入力する場合があると共に、3Dミキサ9に映像信号を入力しないで、プロセッサ8A側とは独立して映像信号の生成に使用する場合もある。
そのため、プロセッサ8Bは、無線で映像信号を3Dミキサ9に入力したり、入力停止(遮断)することが簡単にできるような構成にしている。このような構成にすることにより、後述する動作の説明から分かるように簡単な操作で3D画像と2D画像との表示を使い分けができるような構成にしている。
図7に示すように3Dミキサ9を含む第1プロセッサシステム3と、3Dミキサ9を含まない第2プロセッサシステム4との電源が投入されてそれぞれ起動した場合、ステップS1に示すように3Dミキサ9内の制御部47は、第1プロセッサシステム3の3Dミキサ9にプロセッサ8A,8Bが接続されているか否かの判定を行う。
上述したように、2D/3D変換部43の映像入力端に入力される2つの映像信号の信号レベルが閾値を超えるか否かを映像検出部47aが検出することにより、接続されているか否かの判定を行うようにしても良いし、通信により2つのプロセッサ8A,8Bが接続されているか否かの判定を行うようにしても良いし、両方を用いて判定しても良い。なお、第1プロセッサシステム3と、第2プロセッサシステム4とが時間的に前後して起動する場合の動作に関しては、後述する。
そして、ステップS3に示すように、2つのプロセッサシステムは、それぞれ独立した第1のモード(スタンドアローンモード)で動作する状態になる。
一方、ステップS1の判定処理において2つの映像信号が入力される判定結果の場合にはステップS4に示すように制御部47は、2つのプロセッサ8A,8Bが第2のモード(連携モード)で動作するように切り替える(設定する)。
また、ステップS5に示すように3Dミキサ9内の2D/3D変換部43は、2つの映像信号から3D画像の映像信号を生成する3Dモード状態に切り替えられる。そして、第1モニタ10Aには、3D画像が表示される。
なお、ステップS3又はステップS5の状態においてもステップS1の処理が行われるため、第1のモードから第2のモード、又はこの逆の切り替えも行われる。
次に図8Aを参照してより詳細な動作説明を行う。図8Aは、第1プロセッサシステム3が第2プロセッサシステム4より先に起動した場合の動作を示す。
図8Aに示すように第2プロセッサシステム4の電源がOFFの状態における、ある時間において第1プロセッサシステム3の電源がONの処理Sp10がされると、制御部47は、処理Sp11に示すように3Dミキサ9に2つのプロセッサ8A,8Bが信号を入力できるように接続又はこれに等価な状態になっているか否かの接続検知を行う。なお、ここでの接続検知は、2つのプロセッサ8A,8Bが3Dミキサ9に2つの映像信号を入力する状態と、ケーブル36a,36bにより3Dミキサ9と通信を行うことができる状態であるか否かの検知を含む。このため、接続検知の代わりに、信号検知を用いても良い。
この判定結果に従って、処理Sp13に示すように制御部47は、プロセッサ8Aを第1のモード(スタンドアローンモード)に設定する。また、処理Sp14に示すように制御部47は、プロセッサシステム3の3Dミキサ9内の2D/3D変換部43を2Dモードに設定する。従って、3Dミキサ9は、2Dモードで動作する状態の設定となる。また、処理Sp15に示すようにプロセッサシステム3は、2Dモードで起動する。
プロセッサシステム3が2Dモードで起動した後の時間において、プロセッサシステム4の電源がONにされる処理Sp16が行われたとする。すると、制御部47は、処理Sp17に示すように3Dミキサ9に2つのプロセッサ8A,8Bが接続されているか否かの接続検知の判定を行った際に、プロセッサ8Bの接続(信号)が検知され、処理Sp18のようにプロセッサ8Bの接続(信号)ありと判定する。
また、処理Sp19Bに示すように制御部47は、プロセッサ8Bを第2のモード(リンクモード)に設定する。
また、処理Sp20に示すように制御部47は、2D/3D変換部43を3Dモードに設定する。換言すると、制御部47は、2D/3D変換部43を2Dモードから3Dモードに切り替える。
このようにして、処理Sp21に示すようにプロセッサシステム3と4は、3Dプロセッサシステムとして起動する。図8Aにおいては、第1プロセッサシステム3の電源が先にONとなる場合を説明したが、図8Bにおいて第2プロセッサシステム4の電源が先にONとなる場合を説明する。
このプロセッサシステム4が起動後に、第1プロセッサシステム3の電源が処理Sp32でONにされたとする。すると、処理Sp33に示すように第1プロセッサシステム3内の制御部47は、(図8Aにおいて説明したように)3Dミキサ9にプロセッサ8A,8Bが接続されているか否かの接続検知を行う(接続検知の判定を行う)。
この場合には、処理Sp34に示すように制御部47は、3Dミキサ9に2つのプロセッサ8A,8Bが接続されている(信号が入力されている)と判定する。なお、プロセッサシステム4の無線送信部38bは、起動後に無線で映像信号を送信する状態を維持するが3Dミキサ9と通信を行う状態になった後に無線送信部38bが無線送信するようにしても良い。
また、処理Sp36に示すように制御部47は、2D/3D変換部43を3Dモードに設定する。換言すると、制御部47は、2D/3D変換部43を2Dモードから3Dモードに切り替える。
このようにして、処理Sp37に示すようにプロセッサシステム3と4は、3Dプロセッサシステムとして起動する。
次に図9を参照して3Dミキサ9,第1プロセッサ8A,第2プロセッサ8B内部の動作を説明する。
また、3Dミキサ9の右映像入力部41aには第1プロセッサの右目用の映像信号が入力され、無線受信部42bには第2プロセッサ(図9ではPRと略記)の左目用の映像信号が入力され、映像出力IF44は、2Dの映像信号を出力する。なお、図9においては、3Dミキサ9の制御部として通信制御部45と制御部47とを1つのブロックで示している。
制御部47は、通信制御部45からプロセッサ8A,8Bの通信制御部34a,34bにリンクモードに設定するコマンドを送り、両通信制御部34a,34bは、そのコマンドを受信する。そして、モード切替部35a,35bをリンクモードに設定する。リンクモードに設定することにより、図5で説明したように両プロセッサ8A,8Bは3Dミキサ9からの同期信号を受信して、該同期信号に同期した映像信号をそれぞれ生成する。
また、制御部47は、3Dミキサ9の2D/3D変換部43が3Dの映像信号を出力するように制御し、映像出力部44は3Dの映像信号をモニタ10Aに出力する。
この状態においては、プロセッサ8Bの無線送信部38bは3Dミキサ9の無線受信部42bから切断された状態となり、また通信制御部34bは、3Dミキサ9の通信制御部45と通信により3Dミキサ9からの切断を確認する。そして、プロセッサ8Bのモード切替部35bは、リンクモードからスタンドアローンモードに切り替える。
また、この状態においては、3Dミキサ9の制御部47は、定期的に映像信号の入力を検知し、その際、右映像入力部41aへの映像信号の入力を検知するが、無線受信部42bへの映像信号の入力を検知しない。図9では、無信号と表記している。
従って、右及び左の映像信号有りか否かに関しては、右の映像信号のみであり、両映像信号の入力は無しになる。この結果、3Dミキサ9の制御部47は、通信制御部45を介して第1プロセッサ8Aの通信制御部34aにスタンドアローンモードに設定するコマンドを送信し、通信制御部34aはこのコマンドを受信する。そして、通信制御部34aはモード切替部35aをスタンドアローンモードに設定する。
従って、モニタ10Aには第1プロセッサ8Aによる2Dの画像を表示する状態となる。この状態において、第2プロセッサ8Bの無線送信部38bを送信する状態に設定することにより、第2プロセッサ8Bの映像信号を3Dミキサ9に入力することができる(図9では3Dミキサ9に接続と表記)。
無線送信部38bの映像信号を3Dミキサ9に入力する状態にすると、3Dミキサ9の無線受信部42bにこの映像信号が入力される状態となる。
従って、制御部47の映像検出部47aは、2つの映像信号の入力を検知し、両映像信号有りと判定する。また、制御部47は、通信制御部45を介して第1プロセッサ8Aの通信制御部34aと第2プロセッサ8Bの通信制御部34bとにリンクモードに設定するコマンドを送信し、通信制御部34aと34bはこのコマンドを受信する。そして、両通信制御部34a、34bはモード切替部35a、35bをリンクモードに設定する。
このように動作する本実施形態は、3Dミキサ9内の2D/3D変換部43に2つの映像信号を入力した場合には、3D画像を生成して第1モニタ10Aに3D画像を表示させることができ、1つの映像信号のみを入力した場合には、2D画像を生成して第1モニタ10Aに2D画像を表示させることができる。
従って、本実施形態によれば、簡単に3D画像(立体画像)と2D画像(2次元画像)との表示に使い分けて利用することができる利便性の高い3次元画像システムを提供できる。
また、本実施形態によれば、3Dミキサ9と共にプロセッサ8A等を搭載した一方のカート5に対して、(別体のカート6をカート5から引き離す等して)カート6のプロセッサシステム4を通常の2Dの映像信号を生成する内視鏡システムとして使用することが簡単な作業でできる。例えば3Dミキサ9の通信制御部45とプロセッサ8B間を接続するためのケーブル37bを外すことにより、カート6のプロセッサシステム4を通常の2Dの映像信号を生成する内視鏡システムとして使用することができる。これに対して、第1の従来例は、このような使い分けができない。
図10に示す第1変形例の3次元画像システム1Bは、図3における第1プロセッサ8Aの内部構成を第2プロセッサ8Bと同様の構成にしている。図10に示す第1プロセッサ8Aは、映像生成部31aの映像信号を映像出力IF32aに出力すると共に、無線で送信する無線送信部38aに出力する。
また、本変形例では、第1プロセッサ8Aは、第2プロセッサ8Bと同様に無線で映像信号を送信するため、図3において必要としたケーブル36aが不要となる。
そして、このような設定後においては、プロセッサ8Aにおける無線送信部38aの電源をONにすると、無線送信部38aが送信する映像信号を3Dミキサ9の無線受信部42aが受信する。また、同様に、プロセッサ8Bにおける無線送信部38bの電源をONにすると、無線送信部38bが送信する映像信号を3Dミキサ9の無線受信部42bが受信する。
その他の構成は、第1の実施形態と同様である。本変形例の動作は、上述した第1の実施形態におけるプロセッサ8Aが有線で3Dミキサ9に映像信号を入力する構成、つまりプロセッサ8Aがケーブル36aを介して3Dミキサ9に映像信号を入力する動作を無線送信部38aから無線で3Dミキサ9の無線受信部42aに映像信号を入力する動作に読み替える動作に相当する。
本変形例においては、ケーブル36aを用いることなく、プロセッサ8Aで生成した映像信号を無線で3Dミキサ9に送信することができるため、術者などのユーザがケーブル36aでプロセッサ8Aと3Dミキサ9とを接続する作業が不要となる効果を有する。その他、第1の実施形態と同様の作用効果を有する。
このため、図3又は図10において、さらに点線で示すように2Dの映像信号(ここでは右の映像信号)を映像出力IF44を介して記録装置11の内部の2D記録部(又は2D録画部)62b(図11参照)に2Dの映像信号の入力端に入力し、2D記録部62bは、入力される2Dの映像信号を専用に記録(録画)する構成にしても良い。
図11は本変形例の場合の記録装置11の概略の構成例を示す。2D/3Dの映像信号は、インタフェース(IF)61aを介して3Dの映像信号を記録する3D記録部62aに入力され、記録される。また、2Dの映像信号は、IF61bを介して2Dの映像信号を記録する2D記録部62bに入力さ、記録される。
また、制御部47からの3DモードのON/OFF信号は、通信IF61cを介して記録の制御を行う記録制御部63に入力される。
図12は、この記録装置11を用いて記録を行う場合の動作の説明図を示す。図12の動作例として、記録装置11に2D又は3Dの映像信号が入力される場合には、全て記録するように設定されている場合で説明する。より具体的には、2Dの映像信号は常時入力され、3Dの映像信号は、入力される期間と入力されない期間がある場合で説明する。
そして、制御部47(の記録制御部47c)が3Dモードの切替(ON/OFF)の信号を記録装置11に送り、記録装置11は、3Dモードに設定された場合には3D記録部62aは、3Dモードの3Dの映像信号を記録し、2D記録部62bは常時2Dの映像信号を記録する。
図12における時間t1から始まる最初の期間T1においては、第1プロセッサ8Aのみが2Dの映像信号を出力する状態(図12ではONで示す)であり、3Dミキサ9は2Dの映像信号を出力し、第1モニタ10Aも2Dの映像信号の2D画像を表示する。
この場合、記録装置11における記録部62bは、2Dフォーマット専用であるので、2Dの映像信号を記録(録画)する。これに対して、記録部62aは、3Dフォーマット専用であるので、3Dの映像信号が入力されていないために記録(録画)を行わない。
この場合、制御部47(の記録制御部47c)が3DモードONの制御信号を記録装置11の記録制御部63に送り、記録制御部63は、この信号を受けて、記録装置11における3D記録部62aが3Dの映像信号を記録を開始するように制御する。なお、第1プロセッサ8Aは、2Dの映像信号を出力するため、2D記録部62bは、2Dの映像信号を記録する。
また、時間t3になると、第2プロセッサ8Bが2Dの映像信号を出力しない状態(図12ではOFFで示す)になるため、制御部47は3DモードOFFの制御信号(図12では単にOFF)を出力する。
このような構成及び動作により、記録装置11に記録した映像信号を3Dの映像信号が生成されて出力される期間においても、2Dフォーッマトで2Dの映像信号として記録しているので、2Dモニタのみを備えた環境においても2D記録部62bに記録した2Dの映像信号を再生することが可能になる。また、3Dモニタを備える環境においては、3D記録部62bに記録した2Dの映像信号も、2D記録部62aに記録した3Dの映像信号も、再生することができる。
このような構成及び動作によると、記録装置11に記録した映像信号を3Dの映像信号が生成されて出力される期間においても、2Dフォーッマトの2Dの映像信号を記録しているので、2Dモニタのみを備えた環境においても2D記録部62bに記録した2Dの映像信号を再生することが可能になる。
また、3Dモニタを備えた環境においては、2D及び3Dの映像信号が混在した2D/3D混在映像信号の状態においても、その混在に対応して2D及び3Dの映像信号を再生することができる。その他、第1の実施形態と同様の作用効果を有する。
次に本発明の第2の実施形態を説明する。本実施形態の3次元画像システムは、第1の実施形態において、図13に示すような記録装置11Cを備える。本実施形態においては、2D画像を表示する期間と3D画像を表示する期間とが混在するような場合に対して説明する。
患部を手術するような場合には、術者は2D画像よりも3D画像から立体視できる観察状態で行う方が、患部の様子を立体的に視認し易い。しかし、立体視の観察状態は、通常の2D画像を観察する観察状態よりも、術者が疲労し易い状態となるため、立体視を必要としない状態では2D画像に切り替えられる。本実施形態は、このような場合に対応したシステムである。
図13に示す記録装置11Cは、3Dミキサ9から出力される2D/3Dの映像信号が入力されるIF71aを介して入力される映像信号のファイルを生成する処理を行うファイル化処理部72が設けられている。
ファイル化処理部72の出力端には、タイムスタンプの情報を利用して、3Dのファイルと2Dのファイルを分離すると共に、3Dのファイルを2Dのファイルに変換するファイル分離/変換部75が設けられ、このファイル分離/変換部75により処理された3Dのファイルと2Dのファイルが画像記録手段又は画像記録部としてのハードディスク装置(HDD)76に記録される。なお、タイムスタンプは、後述するユーザ(術者)による例えば音声による2Dモードと3Dモードとの切替指示で発生する(音声による切替に限定されるものでない)。
記録装置11C以外の構成は、図3又は図10に示した構成と同様である。
図14は、本実施形態における代表的な動作の説明図を示す。なお、図14における横軸は時間の経過を示す。
図14に示すように、3Dミキサ9は、1つの2Dの映像信号が時間taから入力された場合には、その時間taの情報を2Dの映像信号の開始の時間情報に付加して出力する。そして、時間tbのタイミングにおいて2つの2Dの映像信号が入力されると、その時間tbにおいて、3Dミキサ9は、3Dモードで動作する状態、つまり3DモードがONとなる。そして、3Dミキサ9は、2つの2Dの映像信号を合成して3Dの映像信号を出力開始すると共に、その時間tbの情報が3DモードONのタイムスタンプの情報となり、記録制御部47cは3DモードONのタイムスタンプの情報を記録装置11Cの記録制御部73に送信する。
さらに、時間tbのタイミングにおいて2つの2Dの映像信号が入力されると、その時間tdにおいて、3Dミキサ9は、3DモードがONとなり、3Dミキサ9は、2つの2Dの映像信号を合成して3Dの映像信号を出力開始すると共に、その時間tdの情報が3DモードONのタイムスタンプの情報となり、記録制御部47cは3DモードONのタイムスタンプの情報を記録装置11Cの記録制御部73に送信する。
ファイル化処理部72は、入力される映像信号に応じて、時間taからtbの期間Taにおいては、2Dファイルを生成し、時間tbからtcの期間Tbにおいては、3Dファイルを生成し、時間tcからtdの期間Tcにおいては、2Dファイルを生成し、時間tdからteの期間Tdにおいては、3Dファイルを生成する。
その場合、ファイル化処理部72は、各ファイルにおいて、3DモードのON/OFFの切り替わりのタイムスタンプの情報を付加する。
ファイル分離/変換部75は、タイムスタンプの情報を用いて、期間Taにおける2Dファイルはそのまま2Dファイルとし、これに対して期間Tbにおける3Dファイルに対しては、3Dファイルに分離すると共に、分離した3Dファイルから2Dファイルを生成する。なお、ファイル分離/変換部75は、3Dファイルにおける3D画像の各フレームにおける一方のフィールドの2D画像のみを抽出することにより、3Dファイルから2Dファイルを生成する画像分離手段又は映像分離手段を形成する。
また、期間Tcにおいては期間Taと同様に2Dファイルを生成するように動作し、また期間Tdにおいては期間Tbと同様に、分離した3Dファイルを生成すると共に、2Dファイルを生成する。
なお、液晶メガネ12のフレームに音声入力用マイク81aと、音声確認用のイヤフォン81bとを着脱自在に設けるようにしても良い。
また、3Dミキサ9には、無線送信部12eにより送信される音声信号を無線で受信する無線受信部83を有し、無線受信部83は受信した音声信号を制御部47に送る(図15においては無線送受信部84により無線送信部48と、無線受信部83を表す)。
制御部47は、ユーザ(例えば術者)により音声により3Dモードと2Dモードの切替指示が行われた場合、コマンド格納部47eに格納されている切替の音声データに該当するか否かの認識を行い、該当する場合には対応する切替の制御を行う。その他の構成は、図3と同様である。
図16は、本変形例の動作のフローチャートを示す。例えば図15の3次元画像システム1Dの電源が投入され、第1プロセッサシステム3と第1プロセッサシステム4とが起動する。
なお、3Dの映像信号は、図4において説明したように右の映像信号と左の映像信号が奇数及び偶数フィールドで交互に第1モニタ10Aに出力される映像信号である。従って、第1モニタ10Aには右の映像信号の2D画像と左の映像信号の2D画像が奇数及び偶数フィールドにおいて交互に表示される。
また、ステップS43に示すように制御部47は、液晶メガネ12に対して、シャッタ信号を無線送信する。
このようにして、液晶メガネ12を両眼前に液晶シャッタ12a、12bが配置されるように装着したユーザは、右目用画像及び左目用画像から立体視認(立体観察)が可能となる。
ステップS45に示すように3Dミキサ9の制御部47は、音声による切替指示の有無を監視する。術者は、3Dモードにする必要性が少ないと思うような場合には、マイク81aに対して3Dモードから2Dモードの切替指示の音声入力を行う。音声入力が行われると、ステップS46に示すように音声信号が入力された無線送信部12eは、音声信号を無線送信する。
これに対して切替指示のコマンドに該当する認識結果の場合には、ステップS49の処理に進み、このステップS49において制御部47は、3次元画像システム1Dを2Dモードとしてのスタンドアローンモードに切り替える制御を行う。例えば制御部47は、3Dミキサ9における無線受信部42bを、無線を受信する動作を休止する省電力の状態に設定する。そして、3Dミキサ9は、2Dの映像信号を第1モニタ10Aに出力する。
また、2Dモードになると、ステップS51に示すように3Dミキサ9の制御部47は、音声による切替指示の有無を監視する。ユーザは、例えば患部等を立体的に観察するために2Dモードから3Dモードへの切替指示を音声入力により行う。音声入力が行われると、ステップS52に示すように音声信号が入力された無線送信部12eは、音声信号を無線送信する。
ステップS53に示すように無線受信部83は、音声信号を受信し、制御部47に送り、制御部47の音声認識部47dは音声認識を行う。そして、ステップS54に示すように音声認識部47dは、コマンド格納部47eに格納された登録された2Dモードから3Dモードの切替指示のコマンドに該当するか否かの音声認識を行う。このコマンドに該当しない認識結果の場合には、ステップS51の処理に戻る。
このように動作する本変形例によれば、術者等のユーザはモードの切替を音声で行うことができるので、医療分野における利便性が向上する。医療分野においては、ユーザとなる術者は、内視鏡を把持したり、手術を行う処置具などを操作するために、簡単にモードの切替が行えることが望まれる。
本変形例によれば、ユーザによる音声指示により、簡単に3Dモードと2Dモード間の切替及び切替に対応した動作状態に設定することができる。その他、第1の実施形態と同様に効果を有する。
なお、上述した変形例の場合を含む実施形態を部分的に組み合わせて構成される実施形態も本発明に属する。
Claims (10)
- 同一の被写体を視差を持って撮像する第1の撮像部及び第2の撮像部を有し、前記第1の撮像部及び第2の撮像部を用いてそれぞれ生成された第1の信号及び第2の信号を出力する立体内視鏡と、
前記第1の信号に対して第1の映像信号を生成する処理を行う第1の映像信号処理手段と、
第1の映像信号処理手段と異なる筐体に設けられ、前記第2の信号に対して第2の映像信号を生成する処理を行う第2の映像信号処理手段と、
前記第1及び第2の映像信号処理手段における少なくとも一方の映像信号処理手段としての前記第2の映像信号処理手段に設けられ、少なくとも前記第2の映像信号を無線送信する無線映像送信手段と、
前記無線映像送信手段により無線送信された映像信号を受信する無線映像受信手段と、
前記無線映像受信手段を備え、前記第1の映像信号及び前記第2の映像信号が入力された場合には、前記第1の映像信号及び前記第2の映像信号を合成して3次元画像の映像信号を生成する3次元画像合成手段と、
前記3次元画像合成手段に設けられ、前記第1の映像信号及び前記第2の映像信号の2つの映像信号を検出した場合には前記3次元画像合成手段が前記3次元画像の映像信号を生成して出力するように制御し、
更に、1つの映像信号のみを検出した場合には検出した前記1つの映像信号のみを前記3次元画像合成手段が出力するように制御する制御手段と、
前記3次元画像合成手段から出力される映像信号が入力され、当該映像信号に対応する2次元画像又は3次元画像を表示する第1のモニタと、
を備えることを特徴とする3次元画像システム。 - 前記第1の映像信号処理手段は、前記第1の映像信号を前記3次元画像合成手段に有線で入力するように配置され、
前記無線映像送信手段は、前記第2の映像信号を無線送信するように配置され、
前記制御手段は、前記第1の映像信号を検出し、かつ前記第2の映像信号を検出した場合には、前記3次元画像合成手段が前記3次元画像の映像信号を生成して前記第1のモニタに出力するように制御し、
更に、前記第1の映像信号を検出し、かつ前記第2の映像信号を検出しない場合には、前記3次元画像合成手段が前記第1の映像信号を前記第1のモニタに出力するように制御することを特徴とする請求項1に記載の3次元画像システム。 - 前記3次元画像合成手段は、前記第1の映像信号処理手段により生成される前記第1の映像信号と前記第2の映像信号処理手段により生成される前記第2の映像信号とを同期させるための同期信号を生成する同期信号生成手段と、
前記3次元画像の映像信号を生成する場合には、前記同期信号を前記第1の映像信号処理手段と前記第2の映像信号処理手段に送信して、前記第1の映像信号と前記第2の映像信号とを同期させる制御を行う同期制御手段と、
を有することを特徴とする請求項1に記載の3次元画像システム。 - 前記3次元画像合成手段は、該3次元画像合成手段における2つの映像信号入力端に入力される映像信号の信号レベルが閾値以上であるか否かを判定することにより前記2つの映像信号の有無を検出する映像検出部を有することを特徴とする請求項1に記載の3次元画像システム。
- 更に、前記3次元画像合成手段の出力信号が入力され、該3次元画像合成手段から出力される前記3次元画像の映像信号又は前記2次元画像の映像信号を記録可能な画像記録装置を有し、
前記画像記録装置は、前記3次元画像合成手段が前記3次元画像の映像信号を出力する場合には、前記3次元画像の映像信号と、当該3次元画像の映像信号に対応する2次元画像の映像信号とを同時に画像記録部に記録するように制御する記録制御手段を有することを特徴とする請求項1に記載の3次元画像システム。 - 前記画像記録装置は、更に前記3次元画像の映像信号から該3次元画像の映像信号を形成する2次元画像の映像信号を生成する映像分離手段を有することを特徴とする請求項5に記載の3次元画像システム。
- 前記3次元画像合成手段は、該3次元画像合成手段に入力されるそれぞれ1フレーム分の前記第1の映像信号及び前記第2の映像信号を倍速変換回路によりそれぞれ奇数フィールドの映像信号と偶数フィールドの映像信号に変換して前記3次元画像の映像信号を生成し、
更に、ユーザの左右の眼前に装着され、前記第1のモニタに出力される前記奇数フィールドの映像信号と偶数フィールドの映像信号に同期して、遮光、透過する左右の液晶シャッタを備えた液晶メガネを有し、
前記制御手段は、前記液晶メガネにおける前記左右の液晶シャッタを無線で前記奇数フィールドの映像信号と偶数フィールドの映像信号に同期して、遮光、透過の状態にする制御を行うことを特徴とする請求項1に記載の3次元画像システム。 - 前記制御手段は、前記3次元画像合成手段が前記3次元画像の映像信号を生成する場合には、前記液晶メガネにおける左右の液晶シャッタを前記奇数フィールド及び偶数フィールドに同期して遮光、透過の状態にする制御を行い、
前記3次元画像合成手段が前記2次元画像の映像信号を生成する場合には、前記液晶メガネにおける左右の液晶シャッタを常時透過の状態にする制御を行うことを特徴とする請求項7に記載の3次元画像システム。 - 更に、前記3次元画像合成手段に前記第1の映像信号及び前記第2の映像信号の2つの映像信号が入力可能な状態において、ユーザからの音声を入力する音声入力部と、入力された音声を無線で前記3次元画像合成手段に設けた無線受信部に送信する送信部とを備え、
前記制御手段は、前記ユーザからの音声により切替指示に応じて、前記3次元画像合成手段が前記3次元画像の映像信号を出力する3次元モードと、前記2次元画像となる1つの映像信号との一方の映像信号を出力する2次元モードとの切替を行うことを特徴とする請求項7に記載の3次元画像システム。 - さらに前記第2の映像信号処理手段からの前記第2の映像信号が入力され、該第2の映像信号の2次元画像を表示する第2のモニタを有し、
前記第1の映像信号処理手段と、前記無線映像受信手段を備えた前記3次元画像合成手段と、前記第1のモニタとが配置される第1の載置手段とは別体で、移動可能な第2の載置手段に前記第2の映像信号処理手段と、前記第2のモニタとが配置されることを特徴とする請求項1に記載の3次元画像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013168211A JP6223056B2 (ja) | 2013-08-13 | 2013-08-13 | 3次元画像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013168211A JP6223056B2 (ja) | 2013-08-13 | 2013-08-13 | 3次元画像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015036060A JP2015036060A (ja) | 2015-02-23 |
JP6223056B2 true JP6223056B2 (ja) | 2017-11-01 |
Family
ID=52686777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013168211A Active JP6223056B2 (ja) | 2013-08-13 | 2013-08-13 | 3次元画像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6223056B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017176318A (ja) | 2016-03-29 | 2017-10-05 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用立体観察装置、医療用立体観察方法、プログラム、及び医療用立体観察システム |
JP6884607B2 (ja) * | 2017-03-10 | 2021-06-09 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法 |
JP6503522B1 (ja) * | 2017-06-30 | 2019-04-17 | オリンパス株式会社 | 画像処理装置、画像処理システムおよび画像処理方法 |
JP7055624B2 (ja) * | 2017-12-01 | 2022-04-18 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06261341A (ja) * | 1993-03-05 | 1994-09-16 | Olympus Optical Co Ltd | 映像表示装置 |
JP2930495B2 (ja) * | 1993-03-15 | 1999-08-03 | オリンパス光学工業株式会社 | 立体視内視鏡装置 |
JPH07336729A (ja) * | 1994-06-10 | 1995-12-22 | Canon Inc | 画像表示装置 |
EP0774231A1 (en) * | 1995-11-20 | 1997-05-21 | Wilson Greatbatch Ltd. | Battery powered electronic video endoscope |
JP2000270347A (ja) * | 1999-03-17 | 2000-09-29 | Sharp Corp | 記録装置、及び該記録装置を用いた監視システム |
JP3947404B2 (ja) * | 2002-02-06 | 2007-07-18 | オリンパス株式会社 | 内視鏡用画像表示装置 |
JP4477286B2 (ja) * | 2002-03-06 | 2010-06-09 | オリンパス株式会社 | 電子内視鏡システム |
JP4246510B2 (ja) * | 2003-01-29 | 2009-04-02 | Hoya株式会社 | 立体内視鏡システム |
EP2674099B1 (en) * | 2011-08-26 | 2016-12-14 | Olympus Corporation | Medical equipment system |
-
2013
- 2013-08-13 JP JP2013168211A patent/JP6223056B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015036060A (ja) | 2015-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5331948B2 (ja) | 内視鏡システム | |
US9584795B2 (en) | Wireless transfer system | |
WO2010122711A1 (ja) | 立体画像表示装置、立体画像再生装置および立体画像目視システム | |
CN109565563B (zh) | 多相机系统、信息处理装置以及非暂态计算机可读介质 | |
JP6223056B2 (ja) | 3次元画像システム | |
JPWO2018211782A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN113647098A (zh) | 图像处理装置、图像处理方法和程序 | |
CN108353144B (zh) | 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法 | |
JPWO2015056701A1 (ja) | 画像信号出力装置及び画像信号送受信システム | |
WO2018230510A1 (ja) | 画像処理装置、画像処理方法および撮像システム | |
JP2016046780A (ja) | 画像記録装置 | |
US10924724B2 (en) | Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system | |
JPWO2016092941A1 (ja) | カプセル内視鏡システム及びその撮像方法 | |
JP2013223666A (ja) | 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法 | |
US10855980B2 (en) | Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method | |
JP2014022947A (ja) | 立体視映像伝送装置、立体視映像伝送方法及び立体視映像処理装置 | |
JP7081597B2 (ja) | 通信システムおよび送信装置 | |
JP3766598B2 (ja) | 観察システム | |
JP6021215B2 (ja) | 立体映像記録装置と、立体映像表示装置と、それらを用いた立体映像記録システム | |
CN110771102B (zh) | 通信系统和控制设备 | |
JPH07313448A (ja) | 立体内視鏡撮像装置 | |
KR20110065905A (ko) | 영상표시 시스템 및 osd 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150422 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171003 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6223056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |