JP5848992B2 - 読取装置およびその読み取り準備方法、ならびに読み取り方法 - Google Patents

読取装置およびその読み取り準備方法、ならびに読み取り方法 Download PDF

Info

Publication number
JP5848992B2
JP5848992B2 JP2012049367A JP2012049367A JP5848992B2 JP 5848992 B2 JP5848992 B2 JP 5848992B2 JP 2012049367 A JP2012049367 A JP 2012049367A JP 2012049367 A JP2012049367 A JP 2012049367A JP 5848992 B2 JP5848992 B2 JP 5848992B2
Authority
JP
Japan
Prior art keywords
reading
calibration
unit
calibration process
prohibition period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012049367A
Other languages
English (en)
Other versions
JP2013186550A (ja
Inventor
邦夫 生藤
邦夫 生藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2012049367A priority Critical patent/JP5848992B2/ja
Publication of JP2013186550A publication Critical patent/JP2013186550A/ja
Application granted granted Critical
Publication of JP5848992B2 publication Critical patent/JP5848992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)

Description

この発明は、例えば生体細胞等を含む試料を読み取り対象物としてこれを光学的に読み取る読取装置、該装置の読み取り準備方法および読み取り方法に関するものである。
医療や生物科学の実験においては、例えばウェルとも称される窪部を多数配列して設けたプレート状の器具(例えばマイクロプレート、マイクロタイタープレート等と呼ばれる)の各ウェルに液体やゲル状の流動体(例えば培養液、培地等)を注入し、ここで細胞等を培養したものを試料として観察、計測することが行われる。近年では、CCDカメラ等で撮像してデータ化し、該画像データに種々の画像解析技術を適用して観察や分析に供することが行われるようになってきている。
この種の装置では、より高精細な画像を得る目的で、例えばCCDラインセンサなどの高解像度の受光素子を有する読取手段を試料に対して走査移動させながら読み取りを行うことで、試料の2次元画像を得る方法が用いられることがある。このような高精細での読み取りにおいては、装置特性の経時変化や周囲環境の変動によらず一定の画像品質を確保するために、定期的に装置各部の動作条件を調整するキャリブレーションが必要となる。
そのようなキャリブレーション技術の先例としては、平面原稿を光学的に読み取るドキュメントスキャナ装置に適用されたものがある。例えば特許文献1に記載の画像読取装置では、予め用意された白基準板およびAF基準板を読み取り、その読み取り結果に基づいて装置のシェーディング補正およびオートフォーカス(AF)調整をキャリブレーション処理として行う。さらにこの装置では、キャリブレーションの時間間隔を一定とせず、前回の処理での読み取り結果に基づいて動的に設定することで、装置特性の変化の態様に応じたタイミングでキャリブレーションが実行される。
特許第4181422号公報
細胞等を観察する目的で使用される読取装置に対しても、上記従来技術のようなキャリブレーション技術を応用することが考えられる。しかしながら、観察を目的とする読取装置においては、動作条件が常に最適条件に調整された状態での読み取りが期待されるドキュメントスキャナ装置とは異なる要求もある。例えば、撮像結果を比較対照する目的での撮像では、複数回の撮像において撮像条件が同一であることが求められることがある。また、読み取り対象物の状態が時間と共に変化し、キャリブレーションの実行によって読み取りの開始が遅延することが許容されない場合がある。
かかる要求に対して、利用分野が全く異なる上記従来技術では当然に対応がなされておらず、また本発明と同じ利用分野に属する読取装置においても、このような要求に応えることのできる機能を有するものはなかった。
この発明は上記課題に鑑みなされたものであり、例えば細胞等を含む試料を読み取り対象物とした読取装置にも好適に適用可能なキャリブレーション技術を提供することを目的とする。
この発明の一の態様である読取装置は、上記目的を達成するため、読み取り対象物に対し相対的に走査移動しながら、前記読み取り対象物を光学的に読み取る読取手段と、予め定められたキャリブレーション開始時が到来すると、予め用意された基準物を前記読取手段により読み取らせ、その読み取り結果に基づいて前記読取手段の動作条件を最適化するキャリブレーション処理を実行するキャリブレーション実行手段と、ユーザーによる前記キャリブレーション処理の禁止期間に関する設定入力を受け付ける受付手段とを備え、前記キャリブレーション実行手段は、前記キャリブレーション開始時の到来により開始すべき前記キャリブレーション処理の実行期間の少なくとも一部が前記禁止期間と重複するとき、前記キャリブレーション開始時を変更することを特徴としている。
また、この発明の他の態様は、読み取り対象物に対し相対的に読取手段を走査移動させながら該読み取り対象物を光学的に読み取る読取装置の読み取り準備方法であって、上記目的を達成するため、キャリブレーション処理を開始すべきキャリブレーション開始時を設定する設定工程と、前記キャリブレーション開始時が到来すると、前記キャリブレーション処理として、予め用意された基準物を前記読取手段により読み取らせるとともにその読み取り結果に基づいて前記読取手段の動作条件を最適化する処理を実行するキャリブレーション工程とを備え、ユーザーによる前記キャリブレーション処理の禁止期間に関する設定入力を受け付け、該設定入力を受け付けたときには、前記キャリブレーション開始時の到来により開始すべき前記キャリブレーション処理の実行期間の少なくとも一部が前記禁止期間と重複するか否かを判断し、重複するときには前記キャリブレーション開始時を変更することを特徴としている。
このように構成された発明では、キャリブレーション開始時が設定されることによって所定のタイミングでキャリブレーション処理が自動的に実行される一方、ユーザーが所望する間キャリブレーション処理が実行されない禁止期間を、ユーザー設定によって設けることができる。この種の撮像装置が医療や生物科学の分野に用いられるとき、高精細な画像を得る上で、キャリブレーション処理は必要である。その一方で、読み取り対象物自体が経時的に変化したり、比較対照実験の必要性等から、キャリブレーション処理が自動実行されることが却って結果に悪影響を及ぼす場合がある。
本発明では、ユーザーにより設定された禁止期間中は、キャリブレーション処理が実行されることがない。これにより、ユーザーが望まないタイミングでキャリブレーション処理が実行されるのを回避することができる。キャリブレーション処理を行わない期間の長さについては、読み取りの目的やユーザーの操作習熟度等によってまちまちであり、一義的に決めることができない。キャリブレーション処理の禁止期間をユーザー設定可能とすることで、種々の目的に応じたキャリブレーション処理を実行することができる。このような特徴は、例えば細胞等を観察するための読取装置において特に優れた効果を奏するものである。
これらの発明では、キャリブレーション処理の実行期間が禁止期間と重複するときには、例えばキャリブレーション開始時を早めてキャリブレーション処理を禁止期間の到来前に終了させるようにしてもよい。こうすることで、禁止期間の到来時にはキャリブレーション処理により動作条件が最適化された状態となっており、良好な画像品質での読み取り動作が可能である。また、禁止期間中に新たなキャリブレーション処理が実行されることも回避される。
また、この発明の他の態様は、読み取り対象物を光学的に読み取る読取手段により、前記読み取り対象物を読み取る読み取り方法であって、上記目的を達成するため、予め用意された基準物を前記読取手段により読み取らせるとともにその読み取り結果に基づいて前記読取手段の動作条件を最適化するキャリブレーション処理を実行するキャリブレーション工程と、前記読み取り対象物に対し相対的に読取手段を走査移動させながら前記読み取り対象物を光学的に読み取る読み取り工程とを備え、所定のキャリブレーション開始時が到来した時に前記キャリブレーション工程を実行する一方、ユーザーから禁止期間が設定入力されると、前記禁止期間の到来前に前記キャリブレーション工程を終了し、または、前記禁止期間の終了後に前記キャリブレーション工程を開始することを特徴としている。
このように構成された発明では、予め設定したキャリブレーション開始時が到来するとキャリブレーション処理を実行する一方、ユーザーにより禁止期間の設定入力があった場合には、当該禁止期間が到来する前にキャリブレーション処理を終了させるか、禁止期間の終了後にキャリブレーション処理を開始させるようにする。これにより、禁止期間中にキャリブレーション処理が実行されることはない。したがって、上記した発明と同様に、ユーザーの要求や目的に応じた態様でキャリブレーション処理を行うことができ、特に細胞等を観察するための読取装置に対して好適に適用することができる。
上記した各発明においては、例えば、直前のキャリブレーション処理の実行結果に基づいて、次回のキャリブレーション開始時を更新設定するようにしてもよい。こうすることで、装置特性の変動の実態に応じたタイミングでのキャリブレーション処理の実行が可能となる。
また、上記各発明におけるキャリブレーション処理は、読み取り対象物に光を照射する照明手段および読取手段のシェーディング特性を取得するための処理、および読取手段に設けられた収束光学系のフォーカス調整処理の少なくとも一方を含むものであってもよい。これらの処理は高精細な読み取りを行う上で重要な調整処理であり、これらを含むキャリブレーション処理を適宜のタイミングで行うことにより、本発明では、ユーザーの様々な要求に応じつつ、読み取りの生産性と精度とを両立させることが可能である。
この発明によれば、読取手段の動作条件を最適化して読み取り対象物の高精細な読み取りを可能とするためのキャリブレーション処理が、ユーザーの要求や目的に応じたタイミングで適切に実行されて、読み取りの生産性と精度とを両立させることができる。このような効果は、例えば細胞等を観察するための読取装置および読み取り方法に適用されたとき、特に顕著なものとなる。
本発明の読取装置の一実施形態である生体物読取装置の構成を模式的に示す図である。 制御部において実現される機能ブロックとそれらの間のデータとの関係を示す図である。 この生体物読取装置の動作の概要を示すフローチャートである。 キャリブレーション処理の動作を示すフローチャートである。 ユーザー操作に起因して実行される割込み処理を示すフローチャートである。 タイマー値とキャリブレーション実行タイミングとの関係を示す図である。
図1は本発明の読取装置の一実施形態である生体物読取装置の構成を模式的に示す図である。この生体物読取装置(以下、単に「読取装置」と称することがある)100は、CCDラインセンサを撮像素子とするいわゆるラインCCD型のスキャナ装置であり、試料保持部10と、光学走査部20と、制御部30とを備えている。
試料保持部10は、読み取り対象物である生体試料を保持するウェルWが上面に形成されたウェルプレートWPの下面周縁部に当接することでウェルプレートWPを略水平姿勢に保持するホルダ11と、それぞれ後述するシェーディング補正処理およびオートフォーカス(AF)調整処理とにおいて基準物として読み取られる白基準板12およびAF基準板13とを備えている。
ウェルプレートWPは、断面が略円形で、それぞれに例えば培養液、培地、試薬などの液体等を注入可能な複数の、例えば96個(12×8のマトリクス配列)のウェルWを有している。各ウェルWの直径および深さは代表的には数mm程度である。なお、この生体物読取装置100が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば384穴のものであってもよい。
これらのウェルWに生体物を含む培地等が保持された状態でウェルプレートWPがホルダ11に載置されると、光源29からウェルプレートWPに光(例えば白色光)が照射される。光源29は例えばLEDランプにより構成され、ホルダ11に保持されるウェルプレートWPに対して上方に配置される。
光学走査部20は生体物試料からの透過光を受光することで試料を光学的に読み取る読取手段として設けられる。光学走査部20は、ウェルプレートWPの下方に、受光素子であるCCD素子22および透過光による光学像の倍率を調整する収束光学系23を有する撮像部21と、収束光学系23のフォーカス調整を行うフォーカス調整機構24と、例えばベルトドライブによって撮像部21を所定の方向(図1においては左右方向)に駆動する走査駆動機構25とを備えている。
光源29からウェルプレートWPに向けて照射された光のうち、ウェルWの底面から下方へ透過してくる光が収束光学系23により収束されてCCD素子22に受光され、光学像が電気信号に変換される。フォーカス調整機構24は制御部30からの制御指令に応じて収束光学系23を駆動することで、CCD素子22に結像する光学像のフォーカス位置を調整する。また、走査駆動機構25は、光源29と撮像部21とを一体的に水平面内で移動させる。したがって、光源29と撮像部21との間の位置関係は固定されている。
ウェルプレートWPに対してラインセンサであるCCD素子22をその素子配列方向と直交する方向に相対移動させることで、ウェルプレートWPに対するCCD素子22の走査移動が実現され、これによりウェルWの内容物である生体試料の二次元画像が撮像される。光学走査部20は制御部30により制御される。
制御部30は、ウェルW内の試料からの透過光の受光量に応じてCCD素子22から出力される電気信号を輝度情報(色濃度値)に変換するA/Dコンバータ31と、試料から取得された各画素ごとの色濃度値の集合を画像データとして保持したり、各種の設定データを記憶するメモリ32と、装置各部を制御する制御手段として機能するCPU33と、CPU33からの制御指令に応じてフォーカス調整機構24および走査駆動機構25を駆動するドライバ34とを備えている。なお、メモリ32は、ROMやRAMあるいは不揮発性メモリなどにより構成されるものであり、画像データを保持する画像メモリ32aを備えるほか、後述するキャリブレーション処理の実行タイミングを設定する際に参照される参照テーブル(LUT)32bなどの種々の参照データが予め記憶されている。
また、制御部30は、ユーザーからの各種操作入力を受け付けたり、ユーザーに対して種々の情報を提示するためのユーザーインターフェース(UI)部36を備えている。より具体的には、UI部36は、ユーザーからの操作入力を受け付ける受付手段として、操作ボタン、キーボード、マウス、タッチパネル等の入力デバイスを少なくとも1種類備えている。また、ユーザーに情報を提示するための出力手段として、例えば取得した画像やメッセージ等を画面表示するディスプレイを備えている。
制御部30においては、メモリ32およびCPU33の作用により、各種の処理を行うための機能ブロックとしてスキャン処理部41と、オートフォーカス(AF)処理部42と、シェーディング処理部43と、第1仮タイマー値決定部44と、第2仮タイマー値決定部45と、タイマー値設定部46と、ユーザー入力値設定部47と、優先タイマー選択部48とが実現される(図2参照)。
図2は制御部において実現される機能ブロックとそれらの間のデータとの関係を示す図である。同図において、長方形で囲んだ要素はメモリ32およびCPU33の作用により実現される機能ブロックを表し、長円形で囲んだ要素はデータを表す。
スキャン処理部41は、実際に生体試料の読み取りを行う本スキャンに係る処理を担う。スキャン処理部41は、UI部36を通じてユーザーから与えられる、読み取り解像度、読み取り領域など本スキャンにおける種々の動作設定に従って光学走査部20を動作させ、設定された条件で画像データDDを取得する。
AF処理部42は、収束光学系23の合焦位置を設定するフォーカス調整処理を担う。AF処理部42は、フォーカス調整機構24を駆動させて、収束光学系23の合焦位置を変化させつつAF基準板13の読み取りを行い、その結果に基づいて収束光学系23の合焦位置を設定する。
シェーディング処理部43は、読取画像データDDに対するシェーディング補正のための処理を行う。シェーディング処理部43は、白基準板12の読み取りを行い、その結果に基づいて、シェーディング補正の際の補正係数(後述)を取得するほか、該補正係数を用いて読取画像データDDに対しシェーディング補正を行い補正画像データDCを生成する。
第1仮タイマー値決定部44、第2仮タイマー値決定部45およびタイマー値設定部46は、いずれも次回のキャリブレーション処理の実行開始時を設定するための処理を担う。また、ユーザー入力値設定部47は、ユーザーにより設定入力された、当該装置の使用予定時間に関する情報を出力し、優先タイマー値選択部48は、それらの情報と、タイマー値設定部46から出力される情報とに基づいて、キャリブレーション処理の実行間隔を規定するタイマー値を最終的に決定する。後述する読取装置100の動作説明においても、図2に示す処理の流れが随時引用される。
なお、生体物読取装置100については、試料保持部10、光学走査部20および制御部30が全て一の筐体に一体のものとして組み込まれてもよく、また試料保持部10および光学走査部20が一の筐体に本体部として組み込まれ、制御部30が汎用のパーソナルコンピュータやワークステーションによって実現されて、本体部と通信可能に構成された態様であってもよい。
次に、上記のように構成された生体物読取装置100の動作について説明する。この生体物読取装置100は、ユーザーから本スキャン、すなわち試料保持部10に保持された試料の読み取り動作を開始する旨の指示を受け付けると、指定された条件での読み取り動作(本スキャン)を実行する。また、本スキャンの指示を受けて直ちに読み取り動作を開始できるように、読み取り準備のためのキャリブレーション処理(プレスキャン)を所定の時間間隔で実行する。そして、その時間間隔については一定値とせず、キャリブレーション処理の結果に基づいて動的に更新設定することで、装置の状態変化に対して柔軟に対応することができるようにしている。以下、装置の起動直後からの一連の動作の流れについて説明する。
図3はこの生体物読取装置の動作の概要を示すフローチャートである。また、図4はキャリブレーション処理の動作を示すフローチャートである。これらの処理は、CPU33がメモリ32に予め記憶された制御プログラムを実行して装置各部に所定の動作を行わせることにより実現される。
装置が起動された後、まず、UI部36を介したユーザーによる解像度の設定入力を受け付ける(ステップS101)。こうして設定された解像度については、以後の一連の動作においては変更されないものとする。解像度が設定されると、本スキャンの前段階の動作として、装置の動作条件を初期化するためにキャリブレーション処理を実行する(ステップS102)。
なお、本実施形態のキャリブレーション処理においては、オートフォーカス調整処理とシェーディング特性を取得するための処理(シェーディング処理)とを実行するが、これらの処理内容としては公知の技術、例えば前述の特許文献1(特許第4181422号公報)に記載のものを適用することができる。そこで、ここでは特許文献1に記載の処理を適用するものとして、これらの処理の原理および詳しい動作については説明を省略する。
図4に示すように、キャリブレーション処理では、AF処理部42の作用によるAF調整動作が実行される(ステップS201〜S204)。具体的には、走査駆動機構25を動作させて撮像部21をAF基準板13の直下位置に移動させ(ステップS201)、光学走査部20によりAF基準板13の読み取りを行う(ステップS202)。AF基準板13には所定の基準線が引かれており、収束光学系23のフォーカス位置をフォーカス調整機構24により多段階に変更設定しながらその都度基準線の像を取得する。基準線の画像コントラストが最大となるときのフォーカス位置を合焦位置として、そのときの収束光学系23の設定を第1AFデータDA1として記憶するとともに(ステップS203)、収束光学系23をその設定に合わせる(ステップS204)。
これにより、撮像部21の合焦位置が最適化される。後述するように、再度のオートフォーカス調整処理が実行されるまでは、このときの第1AFデータDA1に基づいて収束光学系23が調整された状態で、本スキャンが行われる。
次に、シェーディング処理部43の作用によるシェーディング処理が実行される(ステップS205〜S207)。具体的には、走査駆動機構25を動作させて撮像部21を白基準板12の直下位置に移動させ(ステップS205)、光学走査部20により白基準板12の読み取りを行う(ステップS206)。白基準板12は所定の光透過率を有する白色の平板であり、白基準板12の上方に位置決めされた光源29からの光の一部を透過させて光学走査部20に入射させる。
白基準板12の真の色濃度値をV、光学走査部20が白基準板12を読み取った際の出力値を第1シェーディングデータDS1とすると、試料を読み取った読取画像データDDとシェーディング補正後の補正画像データDCとの間には、
DC=DD×V/DS1 … (式1)
なる関係が、各画素について成り立つ。
シェーディング補正を実行することは、(式1)の関係に基づいて、読取画像データDDから補正画像データDCを得ることに他ならない。言い換えると、シェーディング処理を実行して第1シェーディングデータDS1を取得することで、以後の読み取りにおけるシェーディング補正を行う際の補正係数、すなわち(式1)右辺の係数(V/DS1)が得られることになる。そこで、読み取り結果からこの第1シェーディングデータDS1を取得し記憶保存しておく(ステップS207)。
このように、シェーディング処理を行うことにより、シェーディング補正を行うために必要な情報が取得される。後述するように、再度のシェーディング処理が実行されるまでは、このときの第1シェーディングデータDS1から求められる係数(V/DS1)を補正係数として用いたシェーディング補正が実行されることになる。
図3に戻って、上記のようにしてキャリブレーション処理が終了すると、実際に生体試料を読み取る本スキャンが可能となる。この時点で、タイマー35に対し、次回のキャリブレーション処理を実行するまでの時間の初期値T0がタイマー値Tとして与えられ(ステップS103)、直ちにタイマー35により計時動作(減算カウント)が開始される(ステップS104)。次のステップS105〜S107については後に詳しく説明する。
タイマー35の動作中は、スキャン処理部41によって常にユーザーからのUI部36を介したスキャン指示の有無が監視される(ステップS108)。タイマー動作中に試料保持部10にウェルプレートWPが載置されてスキャン指示が与えられると(ステップS108においてYES)、スキャン処理部41の作用により、生体試料を読み取る本スキャンが実行される(ステップS109)。スキャン処理部41は、ドライバ34を通じて走査駆動機構25を駆動しつつ、光源29から照射される光のウェルWからの透過光をCCD素子22で受光し、A/Dコンバータ31を介して読取画像データDDを取得する。読取画像データDDに対して、各画素ごとに(式1)に基づいてシェーディング補正が実行されて、補正画像データDCが得られる。補正画像データDCが、生体物読取装置100の出力として、種々の画像処理装置等で利用される。
本スキャンの実行の有無に関わらず、タイマー35の動作開始から時間T0が経過してタイマー値が0に達すると(ステップS110においてYES)、再びキャリブレーション処理が実行される(ステップS111)。本スキャンが実行されているときは、本スキャン実行後にステップS110の判断がなされることで、本スキャンの実行後にキャリブレーション処理が行われる。
このときのキャリブレーション処理の内容は、上述の場合と同様である。ただしその際、前回に取得された第1シェーディングデータDS1および第1AFデータDA1はそれぞれ第2シェーディングデータDS2および第2AFデータDA2として保存される。そして、新たに実行されるキャリブレーション処理によって、第1シェーディングデータDS1および第1AFデータDA1の新たな値が取得される。以降、キャリブレーション処理が実行される度に、前回取得された第1シェーディングデータDS1および第1AFデータDA1によって第2シェーディングデータDS2および第2AFデータDA2がそれぞれ書き換えられる。
ステップS111において再度のキャリブレーション処理が行われると、前回取得されたデータと今回新たに取得されたデータとの差異に基づいて、次回のタイマー35の動作のためのタイマー値Tが新たに設定される(ステップS112〜S114)。具体的には、まず第1タイマー値決定部44により、第1AFデータDA1と第2AFデータDA2との差分値に基づいて第1仮タイマー値Txが決定される(ステップS112)。さらに、第2仮タイマー値決定部45により、第1シェーディングデータDS1と第2シェーディングデータDS2との差分値に基づいて第2仮タイマー値Tyが決定される(ステップS113)。そして、タイマー値設定部46により、第1仮タイマー値Txと第2仮タイマー値Tyとが比較され、より小さい値が、次回のタイマー値Tとして設定される(ステップS114)。ここで、Min(X,Y)は、値X、Yのうち小さい方の値を返す関数を表す。
第1仮タイマー値決定部44における第1仮タイマー値Txの決定と、第2仮タイマー値決定部45における第2仮タイマー値Tyの決定とは、いずれも、相前後する2回のキャリブレーション処理におけるデータの差分値について参照テーブル32bを参照することにより行われる。具体的には、第1参照テーブル(LUT)は、第1AFデータDA1と第2AFデータDA2との差分値ΔXと第1仮タイマー値Txとの関係を表し、第2参照テーブル(LUT)は第1シェーディングデータDS1と第2シェーディングデータDS2との差分値ΔYと第2仮タイマー値Tyとの関係を表している。
第1LUTおよび第2LUTのいずれにおいても、差分ΔXあるいはΔYが大きいほど、第1仮タイマー値Txあるいは第2仮タイマー値Tyを小さな値として設定するように、差分値と仮タイマー値との対応付けがなされている。例えば起動直後など、生体物読取装置100の動作が十分に安定していないときには、光源29の光量の変動が大きいなどの理由で、シェーディング処理やAF調整処理において取得される第1シェーディングデータDS1や第1AFデータDA1の変化が大きく、それぞれの差分値が大きくなると推定される。こうした場合は、それらの変化を読み取り画像品質の維持に適切に反映するにはキャリブレーション処理を短い時間間隔で行うことが望ましい。よって、仮タイマー値が小さな値として設定されることになる。
反対に、動作が安定している場合には、第1シェーディングデータDS1や第1AFデータDA1の経時的な変動は小さいものと推定される。こうした場合は、取得されてから比較的長い時間が経過した第1シェーディングデータDS1や第1AFデータDA1を用いて本スキャンやシェーディング補正などを行っても、読み取り画像の品質に対する影響は小さいと考えられるので、仮タイマー値が大きな値として設定されることになる。ステップS114において、第1仮タイマー値Txおよび第2仮タイマー値Tyのうち値が小さい方がタイマー値Tとして設定されるのは、変動の影響がなるべく生じないようにするためである。
こうしてタイマー値Tが更新設定されると、ステップS104に戻り、新たにタイマー動作が開始されて上記のような処理が繰り返されることとなる。すなわち、ユーザーからスキャンの指示があった場合には、直前のキャリブレーション処理の結果により得られた第1シェーディングデータDS1および第1AFデータDA1に基づいて、直ちに本スキャンおよびその後のシェーディング補正が行われる。また、生体物読取装置100の稼働安定性に応じて定まるタイマー値Tが0に達する度に、キャリブレーション処理が行われ、第1シェーディングデータDS1および第1AFデータDA1が更新される。そのため、以降のスキャン指示に対して、直近の装置の状態をより反映した試料の読み取りが行われることになる。これにより、スキャン指示を行ってから本スキャンの待ち時間が削減されてスループットが向上し、かつ、読み取り品質が劣化することもない生体物読取装置100が実現されることになる。
ところで、上記のような生体物読取装置100のように、生物・医療などの理化学分野で用いられる読取装置においては、キャリブレーション処理により常に動作条件が最適化された状態で品質の良好な画像を得たいという要求が当然にある。その反面、ユーザーが所望する一定の期間については、キャリブレーション処理が実行されない方が望ましい場合がある。例えば、複数の試料を比較対照したり、あるいは同一の試料を異なるタイミングで観察する際に、それぞれの読み取りが同一の読み取り動作条件で行われることが求められることがある。また、ユーザーが読み取りを開始しようとした時にキャリブレーション処理が実行中であると、処理が終わるまでユーザーは待たされることになるが、例えば生体試料では時間とともに試料自体が変化してゆくためこのような待ち時間が許容されない場合もある。このようなニーズに対応して、一定の期間、キャリブレーション処理を禁止する期間をユーザー設定により設けることができる機能が望まれる。
そこで、この実施形態では、キャリブレーション処理の禁止期間に関するユーザーからの予約設定入力を受け付け、設定された内容と現在のタイマー値とを比較して、必要に応じキャリブレーション処理の実行タイミングを調整することができるようにしている。これを可能とするための処理ステップが、図3に示すステップS105〜S107である。なお、禁止期間の設定処理については、ユーザーが任意のタイミングで設定入力を行うことができるよう、割込み処理としている。したがって、ユーザーは、装置の動作中はいつでも禁止期間の設定操作を行うことができる。
図5はユーザー操作に起因して実行される割込み処理を示すフローチャートである。本スキャン動作中、キャリブレーション処理中および待機中の期間を含め、装置の動作中UI部36は常時ユーザーからの操作入力を受け付け可能な待機状態となっている。ユーザーからの予約入力操作を受け付けると、図5に示す割込み処理がCPU33により実行される。
ユーザーは、次回に実行すべき本スキャンに関する予約入力として、次回の本スキャンを開始する読み取り開始時に関する設定と、読み取り開始時以降、装置の動作条件を変えずに維持すべき時間(使用時間)に関する設定と、これらにより設定される予約内容の実行指示に関する設定とを行うことができる。ユーザーの操作が、次の本スキャンを開始すべき読み取り開始時の設定に関するものであれば(ステップS301)、UI部36が該入力を受け付け、ユーザー入力値設定部47が入力された内容を開始時間Tsとして設定する(ステップS302)。この際の設定入力としては、読み取りを開始すべき時刻に関するものであってもよく、また現時点から読み取りを開始すべき時までの待機時間の長さに関するものであってもよい。いずれの場合でも、ユーザー入力値設定部47は現在から次の読み取りを開始するまでの時間として開始時間Tsを設定する。
また、ユーザーの操作が使用時間の設定に関するものであれば(ステップS303)、UI部36が該入力を受け付け、ユーザー入力値設定部47が入力された内容を使用時間Ttとして設定する(ステップS304)。この際の設定入力としては、キャリブレーション処理を禁止する禁止期間の終了時刻に関するものであってもよく、また読み取り開始から禁止期間の終了までの時間の長さに関するものであってもよい。いずれの場合でも、ユーザー入力値設定部47は次の読み取り開始からそれが終了するまでの時間として使用時間Ttを設定する。開始時間Tsおよび使用時間Ttによって規定される期間が、キャリブレーション処理を回避すべきキャリブレーション禁止期間として扱われる。
また、ユーザーの操作が、設定された予約内容の実行指示に関するものであれば(ステップS305)、予約実行の指示があったことを示すCPU33内の予約フラグをセットして(ステップS306)、割込み処理を終了する。一連の割込み処理ではこれらの設定入力を個別に行うことができる。したがって、例えば読み取り開始までの待機時間およびそこからの使用時間に関する予約設定だけを事前に行っておき、必要なタイミングで該予約の実行を開始させるといった使い方が可能である。
こうして予約入力がなされたときの生体物読取装置100の動作について、図3を参照して説明する。タイマー35の計時動作中、予約フラグがセットされているか否かが判定される(ステップS105)。予約フラグがセットされていないとき(ステップS105においてNO)の動作は前述の通りであり、ユーザーからスキャン指示があれば本スキャンを実行し(ステップS108、S109)、タイマー値Tが0になれば(ステップS110)、キャリブレーション処理を実行してタイマー値Tの更新設定を行う(ステップS111〜S114)。
一方、ステップS105においてYES、つまり予約フラグがセットされていたときには、現在のタイマー値Tと、予約入力により設定された開始時間Tsおよび使用時間Ttと、装置内で予め把握されている、キャリブレーション処理の所要時間Tcとを以下の不等式:
Ts−Tc<T<Ts+Tt … (式2)
に適用して、当該不等式(式2)が成立するか否かを判断する(ステップS106)。なお、予約フラグはリセットされる。
ステップS106においてYES、つまり(式2)の関係が成立しているとき、タイマー値Tはそのときの値に関わらず(Ts−Tc)に変更される(ステップS107)。一方、ステップS106においてNO、つまり(式2)が成立しなかったときは、ステップS107がスキップされる。したがってこの場合、タイマー値Tはそのまま維持される。具体的には、優先タイマー値選択部48が上記判断を行い、必要に応じてタイマー値Tの更新を行う。このようにすることで、上記したユーザーのニーズに応えることが可能である。その原理について以下に説明する。
図6はタイマー値とキャリブレーション処理の実行タイミングとの関係を示す図である。図6(a)および図6(b)では、横軸を時刻、縦軸をタイマー値Tとして、タイマー値Tの変化およびそれに基づくキャリブレーション処理の実行タイミングを示している。
まず、ユーザーによる予約入力がない場合の動作について、図6(a)を参照して説明する。時刻0で装置が起動されると、直後に最初のキャリブレーション処理(図3のステップS102)が実行される。キャリブレーション処理の実行に要する時間がキャリブレーション所要時間Tcである。そして、タイマー値Tが初期値T0に設定されてタイマー35による計時動作が開始される。時刻が進むにつれてタイマー値Tは減ってゆき、0になった時点で新たにキャリブレーション処理が実行されて、その結果、タイマー値Tは新たな値T1に更新される。
そして、時間T1が経過しタイマー値Tが0になると、再びキャリブレーション処理が実行され、タイマー値Tがさらに新たな値T2に更新設定される。このようにして、キャリブレーション処理が繰り返し実行される。なお、ユーザーから本スキャンの指示入力があった場合、該指示がキャリブレーション処理の実行中にあれば当該キャリブレーションを完了してから本スキャンを実行する。また、キャリブレーション処理を実行しない待機期間中に本スキャンの指示入力があれば、直ちに本スキャンを実行し、その実行中にタイマー値Tが0に達すれば本スキャンの終了後にキャリブレーション処理を実行する。なお、図におけるタイマー設定値T0、T1およびT2は一例を示したものにすぎず、これらの値の大小関係は装置の状態に応じて変化するものである。
一方、ユーザーからの予約入力があった場合には、現在のタイマー値Tと、予約入力により設定された開始時間Tsおよび使用時間Ttと、キャリブレーション処理の所要時間Tcとの値に応じてその後の動作が異なる。図6(b)に示すように、ある時刻t0においてユーザーから予約設定がなされた場合を考える。ユーザー操作により設定されるのは、現在時刻t0から次の読み取りを開始するまでの開始時間Tsと、該読み取り開始時から禁止期間が終了するまでの使用時間Ttとである。図6(b)に示す関係から明らかなように、ユーザーがキャリブレーション処理を禁止したいキャリブレーション禁止期間は、現在の時刻t0から開始時間Tsが経過した時刻t1(=t0+Ts)から始まり、それからさらに使用時間Ttが経過した時刻t2(=t0+Ts+Tt)に終了する。
このとき、同図に「ケース1」として示すように、時刻t0におけるタイマー値Tが(Ts−Tc)以下であれば、その後タイマー値Tが0に達しキャリブレーション処理が行われたとしても、キャリブレーション禁止期間の始まりである時刻t1の時点でキャリブレーション処理を終了させておくことが可能である。したがって、キャリブレーション禁止期間の到来と同時に、ユーザーはキャリブレーション処理により最適化された動作条件下で本スキャンを実行することができる。したがってこのケースでは、キャリブレーション禁止期間中にキャリブレーション処理を実行すべきタイミングが到来することがないので、キャリブレーション処理の実行タイミングを調整する必要はない。
また、「ケース2」として示すように、時刻t0におけるタイマー値Tが(Ts+Tt)以上であれば、次回のキャリブレーション処理が開始されるのはキャリブレーション禁止期間が終了する時刻t2以後であるので、この場合もキャリブレーション処理の実行タイミングの調整は不要である。
一方、時刻t0におけるタイマー値Tがこれらの中間の値である、つまり(式2)が成立するときには、そのままタイマー計時を継続した場合、「ケース3」として示す比較例のように、キャリブレーション禁止期間と、キャリブレーション処理の実行期間とが少なくとも一部において重複してしまう。すなわち、キャリブレーション禁止期間中にキャリブレーション処理を開始すべきタイミングが到来するか、キャリブレーション処理の実行中にキャリブレーション禁止期間が到来するかのいずれかの状態となる。そのため、キャリブレーション処理の実行タイミングの調整が必要である。
ここで、キャリブレーション禁止期間中に実行時期が到来するキャリブレーション処理については、キャリブレーション禁止期間の到来前に実行するケースと、該期間の終了後まで実行を保留するケースとが考えられる。後者の場合、本来実行されるべき時間間隔を超えてキャリブレーション処理が実行されない状態となるため、装置特性の経時変化に起因する読み取り品質の低下が問題となり得る。したがって、キャリブレーション処理の実行タイミングを本来より早め、しかも、該処理がキャリブレーション禁止期間の到来前に終了するようにする必要がある。
そこで、この実施形態では、「ケース4」として示すように、時刻t0におけるタイマー値Tが(式2)を満たすときには、タイマー値Tを(Ts−Tc)に変更する(図3のステップS107)。このようにすると、その後のタイマー計時動作でタイマー値Tが0になるのは、キャリブレーション禁止期間の開始時刻t1よりもキャリブレーション所要時間Tcだけ早い時刻となる。したがって、その時点でキャリブレーション処理が行われると、当該キャリブレーション処理の終了とともにキャリブレーション禁止期間が開始されることになる。これにより、キャリブレーション禁止期間中のキャリブレーション処理が回避されるとともに、該期間中は直前のキャリブレーション処理により最適化された動作条件で読み取りを行うことができる。
生体物読取装置においては、次の読み取り作業を開始するまでの準備期間の長さや読み取り作業に要する時間は、読み取りの対象物や目的、また各種器具についてのユーザーの操作習熟度等によってまちまちである。したがって、例えば一定時間ごとに、あるいは装置の状態変化の態様に応じて自動的に定まる周期でキャリブレーション処理を行うだけでは、そのような多様なニーズに応えることができない。これに対し、この実施形態の生体物読取装置100では、開始時および終了時をユーザー操作により設定可能なキャリブレーション禁止期間を設け、この間にはキャリブレーション処理が行われないようにする。これにより、上記した種々のニーズに対応することが可能となっており、特に細胞等を含む試料の読み取りを求められる読取装置として有用なものとなっている。
より具体的には、キャリブレーション禁止期間中に到来するキャリブレーション処理についてはその開始タイミングを早め、かつキャリブレーション禁止期間の到来時点でキャリブレーション処理が終了するようにしている。このように、本来の実行タイミングよりも早めてキャリブレーション処理を実行することで、装置特性の経時変化に起因する読み取り品質の低下を防止して、動作条件が最適化された状態でキャリブレーション禁止期間が到来することとなる。そのため、ユーザーが設定したキャリブレーション禁止期間中は、直前に最適化された動作条件下での読み取りが可能となり、良好な読み取り品質を得ることができる。
以上説明したように、この実施形態においては、ウェルプレートWP、特にそのウェルWとその内部の試料とが本発明の「読み取り対象物」に相当している。また、走査光学部20、特に撮像部21が本発明の「読取手段」として機能しており、そのうちCCD素子22および収束光学系23がそれぞれ本発明の「受光部」および「収束光学系」として機能している。また、光源29が本発明の「照明手段」として機能している。また、UI部36が本発明の「受付手段」として機能している。また、白基準板12およびAF基準板13がいずれも本発明の「基準物」として機能している。
また、図3のフローチャートにおいては、ステップS103およびS112〜S114が本発明の「設定工程」に相当する一方、ステップS102、S111および図4の全ステップが本発明の「キャリブレーション工程」に相当している。また、ステップS109が、本発明の「読み取り工程」に相当している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、キャリブレーション処理としてフォーカス調整処理およびシェーディング特性を取得するための処理を行っているが、本発明の「キャリブレーション処理」の内容はこれに限定されず、装置の動作条件を最適化するための種々の調整処理をキャリブレーション処理として適用することが可能である。また例えば、上記のフォーカス調整処理およびシェーディング特性を取得するための処理の一方のみをキャリブレーション処理として実行してもよい。またそれらの処理内容も、上記したものに限定されない。
また、上記実施形態では、キャリブレーション処理の実行結果に基づいて次回のキャリブレーション処理の開始時を動的に設定しているが、本発明の適用対象はこれに限定されない。すなわち、例えば予め定められた一定の時間間隔で定期的にキャリブレーション処理を実行する装置に対しても、本発明を適用することが可能である。また、次回のキャリブレーション処理の開始時を設定する方法についても、上記に限定されない。
また、上記実施形態では、ウェルプレートWPに対する撮像部21の走査移動を、ウェルプレートWPを固定し、光源29と撮像部21とを一体的にウェルプレートWPに対して移動させることにより実現している。しかしながら、光源29と撮像部21とを固定してウェルプレートWPを移動させる構成によっても同様の走査移動を実現することが可能であり、そのような構成の装置に対しても、本発明を適用することが可能である。また上記実施形態では読み取り対象物であるウェルプレートWPを挟んで光源29および撮像部21を配置した構成であるが、これらをウェルプレートWPに対して同じ側に配置し、ウェルWからの反射光を読み取る装置に対しても、本発明を適用可能である。
この発明は、例えば医療・生物科学分野で用いられるウェルプレート上のウェルのような、例えば生体物を含む試料の読み取りを必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。
12 白基準板(基準物)
13 AF基準板(基準物)
20 走査光学部(読取手段)
21 撮像部(読取手段)
22 CCD素子(受光部)
23 収束光学系
29 光源(照明手段)
36 UI部(受付手段)
100 生体物読取装置
S102,S111,S201〜S207 キャリブレーション工程
S103,S112〜S114 設定工程
S109 読み取り工程
W ウェル(読み取り対象物)
WP ウェルプレート(読み取り対象物)

Claims (12)

  1. 読み取り対象物に対し相対的に走査移動しながら、前記読み取り対象物を光学的に読み取る読取手段と、
    予め定められたキャリブレーション開始時が到来すると、予め用意された基準物を前記読取手段により読み取らせ、その読み取り結果に基づいて前記読取手段の動作条件を最適化するキャリブレーション処理を実行するキャリブレーション実行手段と、
    ユーザーによる前記キャリブレーション処理の禁止期間に関する設定入力を受け付ける受付手段と
    を備え、
    前記キャリブレーション実行手段は、前記キャリブレーション開始時の到来により開始すべき前記キャリブレーション処理の実行期間の少なくとも一部が前記禁止期間と重複するとき、前記キャリブレーション開始時を変更する
    ことを特徴とする読取装置。
  2. 前記キャリブレーション実行手段は、前記キャリブレーション開始時を早めて前記キャリブレーション処理を前記禁止期間の到来前に終了させる請求項1に記載の読取装置。
  3. 前記キャリブレーション実行手段は、前記キャリブレーション処理の実行結果に基づいて、次回の前記キャリブレーション開始時を更新設定する請求項1または2に記載の読取装置。
  4. 前記受付手段は、前記禁止期間の開始時と、前記禁止期間の長さとに関する設定入力を受け付ける請求項1ないし3のいずれかに記載の読取装置。
  5. 前記読み取り対象物に光を照射する照明手段を有し、前記キャリブレーション実行手段は前記照明手段および前記読取手段のシェーディング特性を取得する処理を含む前記キャリブレーション処理を実行する請求項1ないし4のいずれかに記載の読取装置。
  6. 前記読取手段は、光を受光して電気信号に変換する受光部と、前記読み取り対象物の像を前記受光部に結像させる収束光学系とを有し、前記キャリブレーション実行手段は、前記収束光学系のフォーカス調整処理を含む前記キャリブレーション処理を実行する請求項1ないし5のいずれかに記載の読取装置。
  7. 読み取り対象物に対し相対的に読取手段を走査移動させながら該読み取り対象物を光学的に読み取る読取装置の読み取り準備方法において、
    キャリブレーション処理を開始すべきキャリブレーション開始時を設定する設定工程と、
    前記キャリブレーション開始時が到来すると、前記キャリブレーション処理として、予め用意された基準物を前記読取手段により読み取らせるとともにその読み取り結果に基づいて前記読取手段の動作条件を最適化する処理を実行するキャリブレーション工程と
    を備え、
    ユーザーによる前記キャリブレーション処理の禁止期間に関する設定入力を受け付け、該設定入力を受け付けたときには、前記キャリブレーション開始時の到来により開始すべき前記キャリブレーション処理の実行期間の少なくとも一部が前記禁止期間と重複するか否かを判断し、重複するときには前記キャリブレーション開始時を変更する
    ことを特徴とする読み取り準備方法。
  8. 前記キャリブレーション処理の実行期間が前記禁止期間と重複するとき、前記キャリブレーション開始時を早めて前記キャリブレーション処理を前記禁止期間の到来前に終了させる請求項7に記載の読み取り準備方法。
  9. 前記設定工程では、直前の前記キャリブレーション処理の実行結果に基づいて、次回の前記キャリブレーション開始時を更新設定する請求項7または8に記載の読み取り準備方法。
  10. 前記キャリブレーション処理は、前記読み取り対象物に光を照射する照明手段および前記読取手段のシェーディング特性を取得する処理を含む請求項7ないし9のいずれかに記載の読み取り準備方法。
  11. 前記キャリブレーション処理は、前記読取手段に設けられた収束光学系のフォーカス調整処理を含む請求項7ないし10のいずれかに記載の読み取り準備方法。
  12. 読み取り対象物を光学的に読み取る読取手段により、前記読み取り対象物を読み取る読み取り方法において、
    予め用意された基準物を前記読取手段により読み取らせるとともにその読み取り結果に基づいて前記読取手段の動作条件を最適化するキャリブレーション処理を実行するキャリブレーション工程と、
    前記読み取り対象物に対し相対的に読取手段を走査移動させながら前記読み取り対象物を光学的に読み取る読み取り工程と
    を備え、
    所定のキャリブレーション開始時が到来した時に前記キャリブレーション工程を実行する一方、ユーザーから禁止期間が設定入力されると、前記禁止期間の到来前に前記キャリブレーション工程を終了し、または、前記禁止期間の終了後に前記キャリブレーション工程を開始する
    ことを特徴とする読み取り方法。
JP2012049367A 2012-03-06 2012-03-06 読取装置およびその読み取り準備方法、ならびに読み取り方法 Active JP5848992B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012049367A JP5848992B2 (ja) 2012-03-06 2012-03-06 読取装置およびその読み取り準備方法、ならびに読み取り方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012049367A JP5848992B2 (ja) 2012-03-06 2012-03-06 読取装置およびその読み取り準備方法、ならびに読み取り方法

Publications (2)

Publication Number Publication Date
JP2013186550A JP2013186550A (ja) 2013-09-19
JP5848992B2 true JP5848992B2 (ja) 2016-01-27

Family

ID=49387953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012049367A Active JP5848992B2 (ja) 2012-03-06 2012-03-06 読取装置およびその読み取り準備方法、ならびに読み取り方法

Country Status (1)

Country Link
JP (1) JP5848992B2 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181422B2 (ja) * 2003-01-16 2008-11-12 大日本スクリーン製造株式会社 画像読取装置および画像読取装置における読取準備方法

Also Published As

Publication number Publication date
JP2013186550A (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
JP5819897B2 (ja) 撮像システムおよび撮像方法
US10466465B2 (en) Organism sample observation device
US20170002307A1 (en) Imaging Apparatus, Imaging System and Incubator
US10674044B2 (en) Observation apparatus, method for controlling observation apparatus, and non-transitory computer-readable medium storing control program for observation apparatus
JPWO2009031476A1 (ja) 顕微鏡装置、およびプログラム
JP2007006852A (ja) 顕微鏡
JP6419761B2 (ja) 撮像配置決定方法、撮像方法、および撮像装置
JP2019013191A (ja) 培養細胞解析システム、培養細胞解析方法、及び、プログラム
JP2005275199A (ja) 3次元共焦点顕微鏡システム
JP5848992B2 (ja) 読取装置およびその読み取り準備方法、ならびに読み取り方法
KR102103663B1 (ko) 촬영 장치 및 방법과 촬영 장치 제어 프로그램
TWI625548B (zh) Imaging configuration determination method and imaging device in imaging device
US10310242B2 (en) Observation apparatus, method for controlling observation apparatus, and non-transitory computer readable storage medium storing control program for observation apparatus
KR102157450B1 (ko) 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
KR102116199B1 (ko) 관찰 장치 및 방법과 관찰 장치 제어 프로그램
US20170280051A1 (en) Observation apparatus, measurement system, culture vessel and control method for observation apparatus
US20170257569A1 (en) Observation apparatus, measurement system and observation method
JP2014010136A (ja) 画像解析装置および画像解析方法
US20180179483A1 (en) Imaging apparatus for experimental use, experimental system, and control method of experimental system
JP7405678B2 (ja) 合焦位置検出方法、合焦位置検出装置および合焦位置検出用プログラム
JP2016191646A (ja) 撮像装置、撮像方法および培養容器
US20220415609A1 (en) Scanning Electron Microscope
WO2019097954A1 (ja) 顕微鏡装置及びプログラム
US20200004005A1 (en) Magnified observation apparatus
JP2021183994A (ja) 顕微鏡システム、制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151130

R150 Certificate of patent or registration of utility model

Ref document number: 5848992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250